CN106971155B - 一种基于高度信息的无人车车道场景分割方法 - Google Patents

一种基于高度信息的无人车车道场景分割方法 Download PDF

Info

Publication number
CN106971155B
CN106971155B CN201710170216.6A CN201710170216A CN106971155B CN 106971155 B CN106971155 B CN 106971155B CN 201710170216 A CN201710170216 A CN 201710170216A CN 106971155 B CN106971155 B CN 106971155B
Authority
CN
China
Prior art keywords
lane
pixel point
pixel
pixel value
scene segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710170216.6A
Other languages
English (en)
Other versions
CN106971155A (zh
Inventor
程洪
郭智豪
杨路
林子彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710170216.6A priority Critical patent/CN106971155B/zh
Publication of CN106971155A publication Critical patent/CN106971155A/zh
Application granted granted Critical
Publication of CN106971155B publication Critical patent/CN106971155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明公开了一种基于高度信息的无人车车道场景分割方法，先利用神经网络对车道图片进行编码、解码得到稠化特征图，再通过softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图，最后利用基于高度信息的误差处理的校正，实现车辆道路区域和非道路区域的划分。这样减少分割时出现的噪声，以及由噪声带来的道路区域与非道路区域边界识别不明等问题。

Description

一种基于高度信息的无人车车道场景分割方法
技术领域
本发明属于场景分割技术领域，更为具体地讲，涉及一种基于高度信息的无人车车道场景分割方法。
背景技术
随着国家科技的迅猛发展，也带动了诸如无人车技术的提升，在无人车车载智能系统中起到关键作用的机器视觉领域占据着越来越重要的位置,而道路场景的分析与理解作为车载智能系统的重要内容自然成为了研究的热点。场景理解是基于图像分析的更深层次的物体识别，语义图像分割，最终要得到对应位置每个像素的分类结果，在未来计算机视觉将致力于在语义层面实现更加深刻的图像理解，不仅满足于识别出图像中的物体，还能给出图像标题进而讲出图像背后的场景内容。
在现有技术中，对于语义分割的经典做法是以某个像素点为中心取一个图像块,然后取图像块的特征作为样本去训练分类器。在测试阶段,同样的在测试图片上以每个像素点为中心采一个图像块进行分类,分类结果作为该像素点的预测值，最后实现像素的分类从而达到场景分割的目的。但这样对场景分割会出现较多噪声，且非道路区域与道路区域由于噪声的存在造成的边界不明。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于高度信息的无人车车道场景分割方法，通过高度信息的误差处理，实现车辆道路区域和非道路区域的划分。
为实现上述发明目的，本发明一种基于高度信息的无人车车道场景分割方法，其特征在于，包括以下步骤：
(1)、神经网络对车道图片进行编码、解码
将摄像头采集的车道图片输入神经网络，神经网络通过编码部分的卷积操作、池化操作对输入的车道图像进行特征提取得到稀疏特征图；通过解码部分的反卷积操作、反池化操作对特征图稠化，得到稠化特征图；
(2)、利用神经网络末端的softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图；
(3)、对步骤(2)中的车道场景分割图进行基于高度信息的误差处理，得到最终车道场景分割图。
其中，所述的池化操作为：将车道图片划分为m*m的像素点区域，在每个像素点区域中记录最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系；
所述的反池化操作为：根据最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系，在对应位置处写入最大像素值和第二大像素值，其他位置置0。
进一步的，所述步骤(3)中，对车道场景分割图进行基于高度信息的误差处理的方法为：
(3.1)、将车道场景分割图从中间一分为二；
(3.2)、取车道场景分割图的下半部分图像，并从左到右，自上而下的遍历每个像素点，当遍历到第i行第j个像素点xi,j时，该像素点xi,j映射到实际空间中同一行右侧L距离处的像素点为xi,j+k，那么像素点xi,j与像素点xi,j+k之间的像素点为道路区域中的像素点，且xi,j为道路区域中左边车道边缘像素点；
同理，按照上述方法从右到左，自上而下的遍历每个像素点，得到右边车道边缘像素点yi',j'；
(3.3)、根据左边车道边缘像素点xi,j和右边车道边缘像素点yi',j'确定一条车道直线xi,jyi',j'；
(3.4)、判断车道直线xi,jyi',j'上的所有像素点的高度是否小于h，如果小于h，则该像素点置为道路区域，否则置为非道路区域。
本发明的发明目的是这样实现的：
本发明一种基于高度信息的无人车车道场景分割方法，先利用神经网络对车道图片进行编码、解码得到稠化特征图，再通过softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图，最后利用基于高度信息的误差处理的校正，实现车辆道路区域和非道路区域的划分。这样减少分割时出现的噪声，以及由噪声带来的道路区域与非道路区域边界识别不明等问题。
附图说明
图1是本发明基于高度信息的无人车车道场景分割方法流程图；
图2为本发明深度神经网络中池化与反池化操作示意图；
图3是本发明基于高度信息的误差处理示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于高度信息的无人车车道场景分割方法流程图。
在本实施例中，如图1所示，本发明一种基于高度信息的无人车车道场景分割方法，包括以下步骤：
S1、利用神经网络对车道图片进行编码
在本实施例中，利用车载摄像头采集车道图片，再将采集的车道图片输入神经网络，利用神经网络的编码部分的卷积操作、池化操作对输入的车道图像进行特征提取得到稀疏特征图。
在本实施例中，每一个卷积层的具体操作为：1)、用模板矩阵对图片像素矩阵进行矩阵移位相乘运算，即矩阵对应位置相乘最后求和；2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历；
S2、利用神经网络对车道图片进行解码
在得到稀疏特征图后，利用神经网络的解码部分对稀疏特征图的反卷积操作、反池化操作对特征图稠化，得到稠化特征图。
池化操作为：建立2*2的像素点区域矩阵模板，用该矩阵模板对车道图像进行划窗——从左向右、自上而下的运算操作，在划窗过程中记录每个像素点区域中最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系。也即实现遍历到的每个2*2像素区域变为1*1区域，保留其值为操作前2*2区域中像素点的最大值。
反池化操作为：根据最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系，在对应位置处写入最大像素值和第二大像素值，其他位置置0，如图2所示。
这样通过增加第二大像素值的位置以及最大像素值和第二大像素值的位置关系，可以避免现有的反池化操作中仅仅只记录最大值位置，其他位置置0时所带来的误差。
S3、利用神经网络末端的softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图；
S4、将基于像素点的车道场景分割图从中间一分为二，车道主要位于图像的下半部分，上半部分主要为远景和天空图像，不影响后续处理，因此在此处舍弃。
S5、取车道场景分割图的下半部分图像，并从左到右，自上而下的遍历每个像素点，当遍历到第i行第j个像素点xi,j时，该像素点xi,j映射到实际空间中同一行右侧L＝10cm距离处的像素点为xi,j+k，那么像素点xi,j与像素点xi,j+k之间的像素点为道路区域中的像素点，且xi,j为道路区域中左边车道边缘像素点；
在本实施例中，如图3所示，像素点xi,j与像素点xi,j+k之间的像素点其实并不全是道路区域中的像素点，通常情况下由80％以上的像素点是道路区域内的像素点，因此还需要对这些像素点一一进行校正；
同理，按照上述方法从右到左，自上而下的遍历每个像素点，得到右边车道边缘像素点yi',j'；
S6、根据左边车道边缘像素点xi,j和右边车道边缘像素点yi',j'确定一条车道直线xi,jyi',j'；
在本实施例中，道路区域内的像素点的高度应该小于5cm的，因为道路高度一般是很低的，基于这一点，我们需要判断车道直线xi,jyi',j'上的所有像素点的高度是否小于h＝5cm，如果小于h，则该像素点置为道路区域，否则置为非道路区域。
S7、按照步骤S5、S6描述的高度信息的误差处理方法处理完下半部分图像中所有像素点后，就可以得到最终车道场景分割图。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于高度信息的无人车车道场景分割方法，其特征在于，包括以下步骤：
(1)、神经网络对车道图片进行编码、解码
将摄像头采集的车道图片输入神经网络，神经网络通过编码部分的卷积操作、池化操作对输入的车道图像进行特征提取得到稀疏特征图；通过解码部分的反卷积操作、反池化操作对特征图稠化，得到稠化特征图；
(2)、利用神经网络末端的softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图；
(3)、对步骤(2)中的车道场景分割图进行基于高度信息的误差处理，得到最终车道场景分割图；
其中，所述的池化操作为：建立m*m的像素点区域矩阵模板，用该矩阵模板对车道图像进行划窗——从左向右、自上而下的运算操作，在划窗过程中记录每个像素点区域中最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系；
所述的反池化操作为：根据最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系，在对应位置处写入最大像素值和第二大像素值，其他位置置0。
2.根据权利要求1所述的基于高度信息的无人车车道场景分割方法，其特征在于，所述步骤(3)中，对车道场景分割图进行基于高度信息的误差处理的方法为：
(3.1)、将车道场景分割图从中间一分为二；
(3.2)、取车道场景分割图的下半部分图像，并从左到右，自上而下的遍历每个像素点，当遍历到第i行第j个像素点xi,j时，该像素点xi,j映射到实际空间中同一行右侧L距离处的像素点为xi,j+k，那么像素点xi,j与像素点xi,j+k之间的像素点为道路区域中的像素点，且xi,j为道路区域中左边车道边缘像素点；
同理，按照上述方法从右到左，自上而下的遍历每个像素点，得到右边车道边缘像素点yi',j'；
(3.3)、根据左边车道边缘像素点xi,j和右边车道边缘像素点yi',j'确定一条车道直线xi,jyi',j'；
(3.4)、判断车道直线xi,jyi',j'上的所有像素点的高度是否小于h，如果小于h，则该像素点置为道路区域，否则置为非道路区域。
CN201710170216.6A 2017-03-21 2017-03-21 一种基于高度信息的无人车车道场景分割方法 Active CN106971155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710170216.6A CN106971155B (zh) 2017-03-21 2017-03-21 一种基于高度信息的无人车车道场景分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710170216.6A CN106971155B (zh) 2017-03-21 2017-03-21 一种基于高度信息的无人车车道场景分割方法

Publications (2)

Publication Number Publication Date
CN106971155A CN106971155A (zh) 2017-07-21
CN106971155B true CN106971155B (zh) 2020-03-24

Family

ID=59329931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710170216.6A Active CN106971155B (zh) 2017-03-21 2017-03-21 一种基于高度信息的无人车车道场景分割方法

Country Status (1)

Country Link
CN (1) CN106971155B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062754B (zh) * 2018-01-19 2020-08-25 深圳大学 基于密集网络图像的分割、识别方法和装置
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN109190752B (zh) * 2018-07-27 2021-07-23 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
CN110148170A (zh) * 2018-08-31 2019-08-20 北京初速度科技有限公司 一种应用于车辆定位的定位初始化方法及车载终端
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
CN109389046B (zh) * 2018-09-11 2022-03-29 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
WO2020146980A1 (zh) * 2019-01-14 2020-07-23 京东方科技集团股份有限公司 车道线识别方法、车道线识别装置以及非易失性存储介质
CN109784402A (zh) * 2019-01-15 2019-05-21 中国第一汽车股份有限公司 基于多层次特征融合的快速无人车驾驶场景分割方法
CN113392682A (zh) * 2020-03-13 2021-09-14 富士通株式会社 车道线识别装置及方法、电子设备
CN111428688B (zh) * 2020-04-16 2022-07-26 成都旸谷信息技术有限公司 基于mask矩阵的车辆的行驶车道智能识别方法、系统
CN112488221B (zh) * 2020-12-07 2022-06-14 电子科技大学 一种基于动态刷新正样本图像库的道路路面异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577790A (zh) * 2012-07-26 2014-02-12 株式会社理光 道路转弯类型检测方法和装置
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106022384A (zh) * 2016-05-27 2016-10-12 中国人民解放军信息工程大学 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法
CN106355643A (zh) * 2016-08-31 2017-01-25 武汉理工大学 一种高速公路三维实景道路模型的生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016141282A1 (en) * 2015-03-04 2016-09-09 The Regents Of The University Of California Convolutional neural network with tree pooling and tree feature map selection
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
CN105373777B (zh) * 2015-10-30 2019-01-08 中国科学院自动化研究所 一种用于人脸识别的方法及装置
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN105574550B (zh) * 2016-02-02 2019-04-12 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577790A (zh) * 2012-07-26 2014-02-12 株式会社理光 道路转弯类型检测方法和装置
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106022384A (zh) * 2016-05-27 2016-10-12 中国人民解放军信息工程大学 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法
CN106355643A (zh) * 2016-08-31 2017-01-25 武汉理工大学 一种高速公路三维实景道路模型的生成方法

Also Published As

Publication number Publication date
CN106971155A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
CN106971155B (zh) 一种基于高度信息的无人车车道场景分割方法
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN108304808B (zh) 一种基于时空信息与深度网络的监控视频对象检测方法
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN108416316B (zh) 一种黑烟车的检测方法及系统
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111563516B (zh) 行人掩码与三维场景融合显示的方法、终端及存储介质
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN111914698A (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN111353446A (zh) 一种车道线检测方法及系统
CN114693924A (zh) 一种基于多模型融合的道路场景语义分割方法
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN112364855A (zh) 一种基于多尺度特征融合的视频目标检测方法及系统
CN109063630B (zh) 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
Yamashita et al. Multiple skip connections of dilated convolution network for semantic segmentation
CN115116018A (zh) 一种拟合车道线的方法和装置
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN114463205A (zh) 一种基于双分支Unet噪声抑制的车辆目标分割方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant