CN110942024A - 一种基于深度学习的无人车路牙检测方法 - Google Patents

一种基于深度学习的无人车路牙检测方法 Download PDF

Info

Publication number
CN110942024A
CN110942024A CN201911172548.3A CN201911172548A CN110942024A CN 110942024 A CN110942024 A CN 110942024A CN 201911172548 A CN201911172548 A CN 201911172548A CN 110942024 A CN110942024 A CN 110942024A
Authority
CN
China
Prior art keywords
image
training
road
unmanned vehicle
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911172548.3A
Other languages
English (en)
Inventor
徐涛
印兆炜
陈剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Tianze Robot Technology Co ltd
Original Assignee
Jiangsu Tianze Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Tianze Robot Technology Co ltd filed Critical Jiangsu Tianze Robot Technology Co ltd
Priority to CN201911172548.3A priority Critical patent/CN110942024A/zh
Publication of CN110942024A publication Critical patent/CN110942024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的无人车路牙检测方法，包括制作样本训练CNN模型；训练样本；识别图像；提取直线特征；路牙位姿的坐标系转换等步骤。本发明通过对传统直线提取算法进行优化，加入对栅格化的图像的CNN识别来提取分割路牙区域，相对于传统方法降低了其他对象在直线提取部分的干扰，相比于FCN网络全图像素级的预测，降低了对GPU的要求和功耗。

Description

一种基于深度学习的无人车路牙检测方法
技术领域
本发明涉及一种路牙检测方法，尤其涉及一种基于深度学习的无人驾驶车路牙检测方法，属于人工智能技术领域。
背景技术
无人驾驶汽车是一种智能汽车，也称之为轮式移动机器人，利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。低速无人驾驶汽车，或称低速无人车,一般是指行驶速度控制在10-40km/h。低速无人车在物流、城市清扫等领域具有广泛的应用空间。
检测和识别低速无人车右侧的路牙，使其具备对道路边缘感知的能力，以实现路牙防撞和沿路牙贴边行驶的能力，是低速无人车安全行驶的关键性能之一。现有技术中，一般采用下述技术对路牙进行检测和识别：1.将采集的图像通过边缘提取算法如Canny，提取图像轮廓边缘，然后通过Hough直线提取来提取直线，从而得到直线位姿。2.通过全卷积神经网络FCN像素级预测某像素特征所属的对象。3.基于卷积神经网络的图像识别分类
但是，直线提取算法对抗干扰的能力较弱，对路面污垢、车道线、树木阴影或斑驳等的识别效果较差；而FCN网络全图像素级的预测对系统及CPU的要求高，从而系统成本较高且运算速度慢。
发明内容
为了解决上述问题，本发明提供一种基于深度学习的无人车路牙检测方法，对传统直线提取算法进行优化，加入对栅格化的图像的CNN识别来提取分割路牙区域，相对于传统方法降低了其他对象在直线提取部分的干扰，相比于FCN网络全图像素级的预测，降低了对GPU的要求和功耗。
为此，本发明采用如下技术方案：
一种基于深度学习的无人车路牙检测方法，包括如下步骤：
S1:制作样本训练CNN模型：
S1-1：将目标样本按类别进行标注，所述类别包括3类：路牙，路面和绿化带；
S1-2：采集大量含有路面材质、路牙、绿化带的图片，以及上述图片在不同亮度、对比度下的图片，将这些图片中的对象区域截取出来作为该类别的训练图集，并按照类别通过类标签进行标定；
S2：训练样本：将整理好的训练图集、类标签作为训练样本，按照设定的比例分配训练集和测试集并训练CNN网络模型；
其中,训练图集按照设定的比例分为两份，分别为训练集和测试集,训练集和测试集在整个训练过程中都会用到，测试集的预测结果会作为下一次对训练集训练的参考。
S3：识别图像：
S3-1：视频采集：视频采集装置安装在无人车右侧，对准车辆下方，采集车辆右侧区域的图像；
S3-2：栅格化图像：通过视频采集装置对每一帧图像进行格栅化处理，将整张图像分割成M*N个的小图区域，且每一个小图区域需包含路牙信息；
首先将整张图像分割成m x n小图。从大图中分割出的小图的大小不宜过大或过小，过小会造成图中不包含需要识别的对象；过大则造成之后确定的路牙区域过大，未能有效降噪。m和n需要根据实际识别结果做出相应调整。
S3-3：通过训练好的CNN模型识别图像：将这些栅格化的小图区域作为待预测集合输入CNN模型得到每一个小图区域的预测结果，通过这些预测结果所代表的图像区域来确定整张图像中路牙的区域，然后将该区域作为ROI提取出来，之后的操作都将只针对该区域进行；
S4：提取直线特征：针对识别的路牙区域，通过Canny算子提取路牙边缘，然后通过霍夫变换识别直线并精准定位路牙在图像中的位置；
S5：路牙位姿的坐标系转换：根据图像中路牙在相机坐标系Y轴方向上的坐标，通过校准的相机内参参数，换算出路牙在X和Z方向上的坐标。
进一步地，在步骤S2中，所述训练集和测试集的比例为0.8-0.9：0.1-0.2；训练模型的精度达到99.68％。
进一步地，在步骤S2中，所述训练集和测试集的比例为0.85：0.15；
进一步地，在步骤S1-2中，所述类标签由0-2的整数表示。
与现有技术相比，本发明具有如下有益效果：对传统直线提取算法进行优化，加入了对栅格化的图像的CNN识别来提取分割路牙区域，相对于传统方法降低了其他对象在直线提取部分的干扰，相比于FCN网络全图像素级的预测，降低了对GPU的要求和功耗。经过申请人实际测试，本发明的无人车路牙检测方法中的算法在NVIDIA GTX 1660_6G上运行，当图像分辨率640*480时，处理速度达到30fps。
附图说明
图1为本发明CNN路牙检测的流程图；
图2为本发明CNN网络构架，；
图3为本发明CNN训练样本集，图示为道路的训练样本集；
图4为本发明CNN训练样本集，图示为路牙的训练样本集；
图5为本发明CNN训练样本集，图示为绿化带的训练样本集；
图6为本发明的测试样本举例；
图7为本发明CNN识别的路牙区域；
图8示出了对图7的路牙区域进行边缘提取；
图9示出了对图8的路牙区域进行边缘提取。
具体实施方式
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明做进一步详细的说明。
如图1所示，本发明的基于深度学习的无人车路牙检测方法，包括如下步骤：
S1:制作样本训练CNN模型：
S1-1：将目标样本按类别进行标注，所述类别包括3类：路牙，路面和绿化带；
S1-2：采集大量含有路面材质、路牙、绿化带的图片，以及上述图片在不同亮度、对比度下的图片，将这些图片中的对象区域截取出来作为该类别的训练图集，并按照类别通过类标签进行标定，类标签由0-2的整数表示；图3示出了训练样本中的路面；图4示出了训练样本中的路牙；图5示出了训练样本中的绿化带；
S2：训练样本：将整理好的训练图集、类标签作为训练样本，按照设定的比例分配训练集和测试集并训练CNN网络模型，在本实施例中，训练集和测试集的比例为0.85：0.15；训练模型的进度达到99.68；网络架构如图2所示。
S3：识别图像：
S3-1：视频采集：视频采集装置安装在无人车右侧，对准车辆下方，采集车辆右侧区域的图像；图6示出了一个待测试图像；
S3-2：栅格化图像：通过视频采集装置对每一帧图像进行格栅化处理，将整张图像分割成M*N个的小图区域，且每一个小图区域需包含路牙信息；
从一帧图像中分割出的小图区域的大小不宜过大或过小，过小会造成图中不包含需要识别的对象；过大则造成之后确定的路牙区域过大，未能有效降噪；因此，M和N需要根据实际识别结果做出相应调整。
S3-3：通过训练好的CNN模型识别图像：将这些栅格化的小图区域作为待预测集合输入CNN模型得到每一个小图区域的预测结果，通过这些预测结果所代表的图像区域来确定整张图像中路牙的区域，如图7所示，然后将该区域作为ROI提取出来，之后的操作都将只针对该区域进行；
S4：提取直线特征：针对识别的路牙区域，通过Canny算子提取路牙边缘，如图8所示；然后通过霍夫变换识别直线并精准定位路牙在图像中的位置，如图9所示；
S5：路牙位姿的坐标系转换：根据图像中路牙在相机坐标系Y轴方向上的坐标，通过校准的相机内参参数，换算出路牙在X和Z方向上的坐标。
本发明还有其他实施方式，上文所列仅为本发明的较佳实施例，并非用来限制本发明的实施范围。凡依本发明范围的内容所作的等效变化与修饰，都应为本发明的技术范畴。

Claims (4)

1.一种基于深度学习的无人车路牙检测方法，其特征在于：包括如下步骤：
S1:制作样本训练CNN模型：
S1-1：将目标样本按类别进行标注，所述类别包括3类：路牙，路面和绿化带；
S1-2：采集大量含有路面材质、路牙、绿化带的图片，以及上述图片在不同亮度、对比度下的图片，将这些图片中的对象区域截取出来作为该类别的训练图集，并按照类别通过类标签进行标定；
S2：训练样本：将整理好的训练图集、类标签作为训练样本，按照设定的比例分配训练集和测试集并训练CNN网络模型；
S3：识别图像：
S3-1：视频采集：视频采集装置安装在无人车右侧，对准车辆下方，采集车辆右侧区域的图像；
S3-2：栅格化图像：通过视频采集装置对每一帧图像进行格栅化处理，将整张图像分割成M*N个的小图区域，且每一个小图区域需包含路牙信息；
S3-3：通过训练好的CNN模型识别图像：将这些栅格化的小图区域作为待预测集合输入CNN模型得到每一个小图区域的预测结果，通过这些预测结果所代表的图像区域来确定整张图像中路牙的区域，然后将该区域作为ROI提取出来，之后的操作都将只针对该区域进行；
S4：提取直线特征：针对识别的路牙区域，通过Canny算子提取路牙边缘，然后通过霍夫变换识别直线并精准定位路牙在图像中的位置；
S5：路牙位姿的坐标系转换：根据图像中路牙在相机坐标系Y轴方向上的坐标，通过校准的相机内参参数，换算出路牙在X和Z方向上的坐标。
2.根据权利要求1所述的基于深度学习的无人车路牙检测方法，其特征在于：在步骤S2中，所述训练集和测试集的比例为0.8-0.9：0.1-0.2；训练模型的精度达到99.68％。
3.根据权利要求2所述的基于深度学习的无人车路牙检测方法，其特征在于：在步骤S2中，所述训练集和测试集的比例为0.85：0.15。
4.根据权利要求1所述的基于深度学习的无人车路牙检测方法，其特征在于：在步骤S1-2中，所述类标签由0-2的整数表示。
CN201911172548.3A 2019-11-26 2019-11-26 一种基于深度学习的无人车路牙检测方法 Pending CN110942024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911172548.3A CN110942024A (zh) 2019-11-26 2019-11-26 一种基于深度学习的无人车路牙检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911172548.3A CN110942024A (zh) 2019-11-26 2019-11-26 一种基于深度学习的无人车路牙检测方法

Publications (1)

Publication Number Publication Date
CN110942024A true CN110942024A (zh) 2020-03-31

Family

ID=69908292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911172548.3A Pending CN110942024A (zh) 2019-11-26 2019-11-26 一种基于深度学习的无人车路牙检测方法

Country Status (1)

Country Link
CN (1) CN110942024A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539363A (zh) * 2020-04-28 2020-08-14 中交信息技术国家工程实验室有限公司 一种公路落石识别分析方法
WO2023040437A1 (zh) * 2021-09-18 2023-03-23 北京京东乾石科技有限公司 路牙确定方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726681A (zh) * 2018-12-29 2019-05-07 北京航空航天大学 一种基于机器学习识别与图像分割的盲道识别定位算法
CN109993099A (zh) * 2019-03-27 2019-07-09 西安航空职业技术学院 一种基于机器视觉的车道线提取识别方法
CN110097055A (zh) * 2019-04-29 2019-08-06 上海工程技术大学 一种基于栅格卷积神经网络的车辆姿态检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726681A (zh) * 2018-12-29 2019-05-07 北京航空航天大学 一种基于机器学习识别与图像分割的盲道识别定位算法
CN109993099A (zh) * 2019-03-27 2019-07-09 西安航空职业技术学院 一种基于机器视觉的车道线提取识别方法
CN110097055A (zh) * 2019-04-29 2019-08-06 上海工程技术大学 一种基于栅格卷积神经网络的车辆姿态检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539363A (zh) * 2020-04-28 2020-08-14 中交信息技术国家工程实验室有限公司 一种公路落石识别分析方法
WO2023040437A1 (zh) * 2021-09-18 2023-03-23 北京京东乾石科技有限公司 路牙确定方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
Mammeri et al. A real-time lane marking localization, tracking and communication system
CN109726717B (zh) 一种车辆综合信息检测系统
Yenikaya et al. Keeping the vehicle on the road: A survey on on-road lane detection systems
CN104217427B (zh) 一种交通监控视频中车道线定位方法
Tang et al. Automatic road environment classification
CN111666805B (zh) 用于自动驾驶的类别标记系统
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN111563469A (zh) 一种不规范停车行为识别方法及装置
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
Wang et al. A vision-based road edge detection algorithm
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN110619279A (zh) 一种基于跟踪的路面交通标志实例分割方法
CN102243705B (zh) 基于边缘检测的车牌定位方法
Li et al. Inverse perspective mapping based urban road markings detection
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
Rathore Lane detection for autonomous vehicles using OpenCV library
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN110942024A (zh) 一种基于深度学习的无人车路牙检测方法
Wei et al. Damage inspection for road markings based on images with hierarchical semantic segmentation strategy and dynamic homography estimation
Bu et al. A UAV photography–based detection method for defective road marking
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions
Hernández et al. Lane marking detection using image features and line fitting model
Chen et al. Lane detection algorithm based on inverse perspective mapping
CN111160231A (zh) 一种基于Mask R-CNN的自动驾驶环境道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination