CN113033395A - 基于DeFCN和灭点边缘检测的可行驶区域分割方法 - Google Patents

基于DeFCN和灭点边缘检测的可行驶区域分割方法 Download PDF

Info

Publication number
CN113033395A
CN113033395A CN202110316400.3A CN202110316400A CN113033395A CN 113033395 A CN113033395 A CN 113033395A CN 202110316400 A CN202110316400 A CN 202110316400A CN 113033395 A CN113033395 A CN 113033395A
Authority
CN
China
Prior art keywords
defcn
vanishing point
road data
edge detection
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110316400.3A
Other languages
English (en)
Inventor
谢刚
张浩雪
谢新林
王银
胡啸
尹东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202110316400.3A priority Critical patent/CN113033395A/zh
Publication of CN113033395A publication Critical patent/CN113033395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种基于DeFCN和灭点边缘检测的可行驶区域分割方法，包括获取道路数据集；利用道路数据集中的训练集训练DeFCN网络，使用训练得到的DeFCN网络对道路数据中的测试集中图片进行分割，输出预测图；将道路数据集中测试集中的图片进行边缘检测，输出拟合车道线图；将拟合车道线图和预测图进行叠加，修正预测图的分割边缘，输出最终分割图。本发明有效地改善了分割图像的边缘，提高了边缘的贴合度，提高了图像分割的准确度，此外，还提高了图像分割出的车道线的简洁度和清晰度。本发明适用于可行驶区域的分割。

Description

基于DeFCN和灭点边缘检测的可行驶区域分割方法
技术领域
本发明属于图像处理技术领域，涉及可行驶区域的分割，具体地说是一种基于DeFCN和灭点边缘检测的可行驶区域分割方法。
背景技术
随着现代社会的高速发展，自动驾驶及辅助驾驶成为一项新兴的技术，得到了广泛的研究，而其中较为重要的一个基础技术则是可行驶区域的检测。可行驶区域界定了车辆能够行驶的范围，能够有效预警以规避车道偏离、逆向行驶等危险情况。
目前的可行驶区域检测的视觉方法主要有如下几种：基于多检测设备的方法、基于道路模型的方法和基于图像分割的方法。基于多检测设备的方法，主要是三维激光雷达、双目(立体视觉)相机等利用三维点云、视差等信息对可行驶区域进行检测，但需要对雷达、相机等进行标定，建立三维空间关系，再转换为平面信息，该方法对检测的立体信息要求较高，在信息不充分的情况下易造成错分。基于道路模型的方法，主要思想是通过车辆前进方向、道路方向和区域等场景中的一些不变的“大轮廓特征”，包括道路的走向(主要为直行、拐弯)，如根据拐弯的程度可以分为急拐弯和缓拐弯，利用这个基本思想，可以提前设定一些基本的道路模型，在提取一定的道路特征基础上，拿已有的道路模型去匹配，也可以变换基本道路模型适应更多的路面场景，在提取基本特征的基础上获得准确度道路路面区域，但是这种方法比较僵化，难以设定全部的道路场景，且需要针对障碍物的遮挡等也进行提前设定。可行驶区域的检测可以被认为是语义分割问题，因此可以利用图像分割的方法来处理，而图像分割又分为传统的基于底层特征的分割方法和机器学习方法。传统检测方法一般利用的底层特征的颜色、纹理、边缘等对可行驶区域进行检测，这类方法检测速度快，对结构化的路面提取准确度高，但对于一些非结构化的路面(即非标准化路面)，检测效果较差，而且该方法对图像的清晰度、光照、阴影等都有很高的要求；基于机器学习的方法则包括早期的支持向量机(SVM)和后来的深度神经网络，但机器学习方法普遍采用全监督方式，需要大量已标注好的数据集，标注成本较高。
发明内容
本发明的目的，是要提供一种基于DeFCN和灭点边缘检测的可行驶区域分割方法，以克服现有技术中深度卷积神经网络分割边缘不够准确，以及提取底层特征的传统检测方法对输入图像的清晰度及光照等要求高且部分分割效果差的缺点。
本发明为实现上述目的，所采用的技术方法如下：
一种基于DeFCN和灭点边缘检测的可行驶区域分割方法，包括以下步骤：
S1、获取道路数据集；
S2、利用道路数据集中的训练集训练DeFCN网络，使用训练得到的DeFCN网络对道路数据中的测试集中图片进行分割，输出预测图；将道路数据集中测试集中的图片进行边缘检测，输出拟合车道线图；
S3、将步骤S2中得到的拟合车道线图和预测图进行叠加，修正预测图的分割边缘，输出最终分割图。
作为限定：道路数据集采用BDD100K道路数据集，包括七万张图片训练集、两万张图片验证集与一万张图片测试集。
作为另一种限定：DeFCN网络的骨干网络为Inception v3模型，在标准卷积层的纵向两侧的卷积位置上增加由双线性插值实现的微小偏移量。
作为进一步限定：步骤S2中对测试集中图片分割前进行预处理，减少噪声干扰。
作为更进一步限定：步骤S2中将测试集中的图片进行边缘化检测的具体过程为将测试集中的图片进行灰度化处理，再设置感兴趣区域，进行边缘强化和检测，经过霍夫变换后进行灭点计算，删除不经过灭点的直线，输出拟合车道线。
本发明由于采用了上述方案，与现有技术相比，所取得的有益效果是：
(1)本发明提供的基于DeFCN和灭点边缘检测的可行驶区域分割方法，DeFCN(Deformable fully convolutional network)为可变形全卷积神经网络，通过DeFCN网络对图像中的车道进行分割，可以适应图像中不同形状与尺度变化的车道，提高了图像分割的准确度；通过对图像中的车道进行边缘检测，输出简洁清晰的车道线，再与经过DeFCN网络分割的图像进行叠加，对分割图像边缘不平滑的地方进行填补与切割，将不平整的边缘优化为直线或平滑曲线，有效地改善了分割图像的边缘，提高了边缘的贴合度；
(2)本发明提供的基于DeFCN和灭点边缘检测的可行驶区域分割方法，将卷积神经网络传统的主干网络VGG16替换为Inception v3模型，有效地减少了参数量与其所占的内存，提高了训练与检测的速度；在纵向两侧位置上增加了可被学习的微小偏移量的可变形卷积，较好地适应了图像中因拍摄角度原因而造成的车道两侧视觉不平行问题，从而更准确地贴合了道路边缘，提高了分割准确度；
(3)本发明提供的基于DeFCN和灭点边缘检测的可行驶区域分割方法，对图像灰度化处理，可以有效地检测出图像中的颜色、纹理和边缘，再经过霍夫变化后进行灭点计算，提高了图像分割出的车道线的简洁度和清晰度。
本发明适用于可行驶区域的分割。
附图说明
下面结合附图及具体实施例对本发明作更进一步详细说明。
图1为本发明实施例的流程图；
图2(a)为本发明实施例步骤S2中输出的预测图；
图2(b)为本发明实施例步骤S2中输出的预测图；
图3(a)为本发明实施例步骤S2中输出拟合车道线的过程；
图3(b)为本发明实施例步骤S2中输出拟合车道线的过程；
图4(a)为本发明实施例步骤S3中输出的最终分割图；
图4(b)为本发明实施例步骤S3中输出的最终分割图。
具体实施方式
下面结合实施例对本发明作进一步说明，但本领域的技术人员应当理解，本发明并不限于以下实施例，任何在本发明具体实施例基础上做出的改进和等效变化，都在本发明权利要求保护的范围之内。
实施例 基于DeFCN和灭点边缘检测的可行驶区域分割方法
一种基于DeFCN和灭点边缘检测的可行驶区域分割方法，该方法流程图如图1所示，包括以下步骤：
S1、获取道路数据集BDD100K，道路数据集BDD100K包括七万张图片训练集、两万张图片验证集与一万张图片测试集。
S2、利用道路数据集BDD100K的训练集训练DeFCN网络，其中epoch设置为200，初始学习率lr设置为1e-4且每20个Epoch学习率下降二分之一，对道路数据集BDD100K的测试集中图片进行预处理，减少噪声干扰，再使用训练得到的DeFCN网络对测试集中图片进行分割，输出预测图，如图2所示，图2(a)和图2(b)为预测图中的两幅；对测试集中图片预处理后进行灰度化处理，再设置图像的下半部分为感兴趣区域，进行边缘强化与检测，经过霍夫变换后进行灭点计算，删除不经过灭点的直线，输出拟合车道线图，如图3所示，其中，图3(a)与图2(a)所采用的测试集图像相同，图3(b)与图2(b)所采用的测试集图像相同；
其中，DeFCN网络的骨干网络为Inception v3模型，在标准卷积层的纵向两侧的卷积位置上增加由双线性插值实现的微小偏移量并对DeFCN网络进行训练，DeFCN网络的卷积层中的卷积为3×3的卷积核，输出为：
Figure BDA0002991510170000041
其中，x、y分别表示点的横、纵坐标,W(Pn)表示权重,Pn表示卷积网格中的第n个位置，ΔPn表示微小偏移量；
其中，霍夫变换能够自动检测出图像中的固定形状，本发明采用霍夫变换进行直线检测。假设一条直线可被表示为y＝kx+b，则将其映射到(ρ，θ)坐标系中时，直线上的一点(x0,y0)对应(ρ，θ)坐标系中的一条曲线：
r＝x0cosθ+y0sinθ
而原图上的两个点(x1,y1)和(x2,y2)则在(ρ，θ)坐标系中为经过同一点的两条曲线，而这个点就是原图中直线对应的参数点(ρ，θ)。相应地，原图中此直线上的所有点所映射到(ρ，θ)坐标系的曲线都会经过这个点。因此，在霍夫变换后的(ρ，θ)坐标系中，找到曲线最为密集集中的点便可确定原空间上的直线的位置的方向。
S3、将步骤S2中得到的拟合车道线图与预测图进行叠加，修正预测图的分割边缘，输出最终分割图，如图4所示，其中图4(a)为图3(a)和图2(a)的叠加，图4(b)为图3(b)和图2(b)的叠加。

Claims (6)

1.一种基于DeFCN和灭点边缘检测的可行驶区域分割方法，其特征在于，包括以下步骤：
S1、获取道路数据集；
S2、利用道路数据集中的训练集训练DeFCN网络，使用训练得到的DeFCN网络对道路数据中的测试集中图片进行分割，输出预测图；将道路数据集中测试集中的图片进行边缘检测，输出拟合车道线图；
S3、将步骤S2中得到的拟合车道线图和预测图进行叠加，修正预测图的分割边缘，输出最终分割图。
2.根据权利要求1所述的基于DeFCN和灭点边缘检测的可行驶区域分割方法，其特征在于，道路数据集采用BDD100K道路数据集，包括七万张图片训练集、两万张图片验证集与一万张图片测试集。
3.根据权利要求1所述的基于DeFCN和灭点边缘检测的可行驶区域分割方法，其特征在于，DeFCN网络的骨干网络为Inception v3模型，在标准卷积层的纵向两侧的卷积位置上增加由双线性插值实现的微小偏移量。
4.根据权利要求1-3中任意一项所述的基于DeFCN和灭点边缘检测的可行驶区域分割方法，其特征在于，步骤S2中对测试集中图片分割前进行预处理，减少噪声干扰。
5.根据权利要求1-3中任意一项所述的基于DeFCN和灭点边缘检测的可行驶区域分割方法，其特征在于，步骤S2中将测试集中的图片进行边缘化检测的具体过程为将测试集中的图片进行灰度化处理，再设置感兴趣区域，进行边缘强化和检测，经过霍夫变换后进行灭点计算，删除不经过灭点的直线，输出拟合车道线。
6.根据权利要求4所述的基于DeFCN和灭点边缘检测的可行驶区域分割方法，其特征在于，步骤S2中将测试集中的图片进行边缘化检测的具体过程为将测试集中的图片进行灰度化处理，再设置感兴趣区域，进行边缘强化和检测，经过霍夫变换后进行灭点计算，删除不经过灭点的直线，输出拟合车道线。
CN202110316400.3A 2021-03-25 2021-03-25 基于DeFCN和灭点边缘检测的可行驶区域分割方法 Pending CN113033395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110316400.3A CN113033395A (zh) 2021-03-25 2021-03-25 基于DeFCN和灭点边缘检测的可行驶区域分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110316400.3A CN113033395A (zh) 2021-03-25 2021-03-25 基于DeFCN和灭点边缘检测的可行驶区域分割方法

Publications (1)

Publication Number Publication Date
CN113033395A true CN113033395A (zh) 2021-06-25

Family

ID=76473488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110316400.3A Pending CN113033395A (zh) 2021-03-25 2021-03-25 基于DeFCN和灭点边缘检测的可行驶区域分割方法

Country Status (1)

Country Link
CN (1) CN113033395A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171695A (zh) * 2017-12-29 2018-06-15 安徽农业大学 一种基于图像处理的高速公路路面检测方法
CN110334634A (zh) * 2019-06-28 2019-10-15 广州鹰瞰信息科技有限公司 一种车道线类别的检测方法和预警装置
GB202002884D0 (en) * 2020-02-28 2020-04-15 Disperse Io Ltd Aligning images
CN111368684A (zh) * 2020-02-27 2020-07-03 北华航天工业学院 一种基于可变形全卷积神经网络的冬小麦自动解译方法
CN111882620A (zh) * 2020-06-19 2020-11-03 江苏大学 一种基于多尺度信息道路可行驶区域分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171695A (zh) * 2017-12-29 2018-06-15 安徽农业大学 一种基于图像处理的高速公路路面检测方法
CN110334634A (zh) * 2019-06-28 2019-10-15 广州鹰瞰信息科技有限公司 一种车道线类别的检测方法和预警装置
CN111368684A (zh) * 2020-02-27 2020-07-03 北华航天工业学院 一种基于可变形全卷积神经网络的冬小麦自动解译方法
GB202002884D0 (en) * 2020-02-28 2020-04-15 Disperse Io Ltd Aligning images
CN111882620A (zh) * 2020-06-19 2020-11-03 江苏大学 一种基于多尺度信息道路可行驶区域分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵雪灿: "基于Android平台的车道偏离预警算法的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN107045629B (zh) 一种多车道线检测方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
US20200041284A1 (en) Map road marking and road quality collecting apparatus and method based on adas system
CN102722705B (zh) 一种基于ransac算法的多车道线检测方法
CN107133985B (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
EP3296953B1 (en) Method and device for processing depth images
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN106485182A (zh) 一种基于仿射变换的模糊qr码复原方法
CN103206957B (zh) 车辆自主导航的车道线检测与跟踪方法
CN108171695A (zh) 一种基于图像处理的高速公路路面检测方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN113917487A (zh) 基于激光雷达的封闭道路路沿和可行驶区域检测方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
CN115345881A (zh) 一种基于计算机视觉的路面病害检测方法
CN116168028A (zh) 低可见度下基于边缘滤波的高铁原始图像处理方法和系统
CN113221739B (zh) 基于单目视觉的车距测量方法
CN113033395A (zh) 基于DeFCN和灭点边缘检测的可行驶区域分割方法
CN108460348B (zh) 基于三维模型的道路目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625

RJ01 Rejection of invention patent application after publication