CN111881832A - 车道目标检测方法、装置、设备及计算机可读存储介质 - Google Patents

车道目标检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111881832A
CN111881832A CN202010740309.XA CN202010740309A CN111881832A CN 111881832 A CN111881832 A CN 111881832A CN 202010740309 A CN202010740309 A CN 202010740309A CN 111881832 A CN111881832 A CN 111881832A
Authority
CN
China
Prior art keywords
image
vehicle
lane
detected
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010740309.XA
Other languages
English (en)
Inventor
何志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010740309.XA priority Critical patent/CN111881832A/zh
Publication of CN111881832A publication Critical patent/CN111881832A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车道目标检测方法、装置、设备及计算机可读存储介质,该方法包括:获取车辆上的图像采集设备采集的待检测图像;对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像;利用阈值筛选算法和实例化打分筛选算法,跟踪检测处理图像中的车道线;本发明通过对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像,去除待检测图像中的干扰因素,以减少运算量;通过阈值筛选算法和实例化打分筛选算法的使用,在保证车道线检测较高的精度和鲁棒性的基础上,提升检测效率,从而能够实现车规级芯片上的实时准确的检测;并且避免了毫米波雷达和激光雷达的使用,降低了车辆成本。

Description

车道目标检测方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及图像处理领域,特别涉及一种车道目标检测方法、装置、设备及计算机可读存储介质。
背景技术
近年来家用轿车逐渐进入千家万户,极大的便利了人们的生活和工作的同时,也导致了交通拥堵、交通事故频发等社会问题。为减少道路交通事故的发生,最大限度地保障道路交通安全,检测车道目标(如车道线、车辆和行人等)并进行预警的车道目标检测方法的需求应运而生。
目前车道目标检测的实现手段主要有两种,第一是如图1所示的基于硬件的检测方法,该方法大多以车载毫米波雷达、激光雷达等探测道路环境。毫米波雷达和激光雷达均不能分辨出周围物体的种类,它们获取的周围环境信息相对单一,都是需要搭配多种其他传感器才能有效发挥作用。同时,毫米波雷达和激光雷达均价格高昂,采用毫米波雷达和激光雷达作为车道目标检测的环境感知模块必然会造成汽车整体价格上涨,导致目前这种解决方法只适用于部分高端轿车。第二是基于图像的检测方法,该方法大多是通过在车辆的顶部或前方安装摄像头来获取图像,再传给处理器进行计算决策。与毫米波雷达和激光雷达不同的是,普通的RGB(一种颜色标准)图像即可包含多种丰富的场景信息,比如周围物体的形状、纹理以及颜色等,同时普通的RGB摄像头价格远低于毫米波雷达和激光雷达,是理想的环境感知传感器。然而,现有技术中的基于图像的检测方法大多采用传统的目标检测算法,使得检测准确率低且鲁棒性较差。
因此,如何能够提供一种车道目标检测方法,以较低的成本实现车道目标的准确检测,提高鲁棒性,是现今急需解决的问题。
发明内容
本发明的目的是提供一种车道目标检测方法、装置、设备及计算机可读存储介质,以较低的成本实现车道目标的准确检测,提高鲁棒性。
为解决上述技术问题,本发明提供一种车道目标检测方法,包括:
获取车辆上的图像采集设备采集的待检测图像;
对所述待检测图像进行预处理,获取所述待检测图像中的感兴趣区域对应的处理图像;其中,所述感兴趣区域处于所述待检测图像的道路区域,所述处理图像具体为二值化图像;
利用阈值筛选算法和实例化打分筛选算法,跟踪检测所述处理图像中的车道线;其中,所述车道线包括目标左车道线和目标右车道线,所述目标左车道线为所述车辆左侧与所述车辆最近的一条车道线,所述目标右车道线为所述车辆右侧与所述车辆最近的一条车道线;
计算所述车辆分别与所述目标左车道线和所述目标右车道线的第一距离值;
根据所述第一距离值,利用所述车辆上设置的第一预警设备进行车道偏离预警。
可选的,所述对所述待检测图像进行预处理,获取所述待检测图像中的感兴趣区域对应的处理图像,包括:
利用感兴趣区域提取算法,提取所述待检测图像中的所述感兴趣区域;
在检测到所述感兴趣区域有雾时,对所述感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;
在检测到所述去雾图像为暗光图像时,对所述去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;
对所述去雾增强图像进行灰度化处理,获取灰度图像;
利用大津法自适应阈值分割算法,获取所述灰度图像对应的二值化图像,并将所述二值化图像作为所述处理图像。
可选的,所述利用阈值筛选算法和实例化打分筛选算法,跟踪检测所述处理图像中的车道线,包括:
利用统计概率霍夫直线检测算法,检测当前处理图像中每条直线对应的两个端点的端点坐标;
利用所述阈值筛选算法,根据所述直线的斜率和截距以及所述直线与前一处理图像中的直线的位置关系,获取所述直线中的筛选直线;
利用所述实例化打分筛选算法,对所述车辆左侧和右侧的所述筛选直线进行实例化,并根据实例化的所述筛选直线的条数、斜率、截距、车道线位置和车道线交点位置以及与前一处理图像中的筛选直线的相似性,对实例化的所述筛选直线进行打分处理,获取目标直线;
利用预设状态机对所述目标直线进行跟踪和拟合,得到所述车道线;其中,所述预设状态机为利用卡尔曼滤波器构建的状态机。
可选的,所述计算所述车辆分别与所述目标左车道线和所述目标右车道线的第一距离值,包括:
根据所述目标左车道线和所述目标右车道线的斜率以及所述图像采集设备的高度,计算所述图像采集设备分别与所述目标左车道线和所述目标右车道线的水平距离;
根据获取的所述图像采集设备与所述车辆的左车轮和右车轮的距离以及所述所述图像采集设备分别与所述目标左车道线和所述目标右车道线的水平距离,计算得到所述第一距离值。
可选的,所述获取所述待检测图像中的感兴趣区域对应的处理图像之后,还包括:
将所述处理图像输出到预设卷积神经网络,得到所述处理图像中的边界框和对应的预设边界框种类;其中,所述预设卷积神经网络采用One-stage目标检测算法;所述预设卷积神经网络利用卷积层代替全连接层,并采用多尺度预测算法,所述预设卷积神经网络的所述卷积层采用深度可分离卷积且使用宽度因子,所述卷积层采用残差结构;所述卷积层的窄卷层后不设置激活函数,所述卷积层的其它层后采用ReLU6激活函数;
计算所述车辆与每个所述边界框的第二距离值;
根据所述第二距离值和所述预设边界框种类,利用所述车辆上设置的第二预警设备进行碰撞预警。
可选的,该方法还包括:
利用基于YOLOv3算法的自动标注工具,生成每张训练图片对应的标注结果文件;其中,所述标注结果文件包括边界框和预设边界框种类;
利用所述训练图片和所述标注结果文件,训练得到所述预设卷积神经网络。
本发明还提供了一种车道目标检测装置,包括:
采集模块,用于获取车辆上的图像采集设备采集的待检测图像;
预处理模块,用于对所述待检测图像进行预处理,获取所述待检测图像中的感兴趣区域对应的处理图像;其中,所述感兴趣区域处于所述待检测图像的道路区域,所述处理图像具体为二值化图像;
检测模块,用于利用阈值筛选算法和实例化打分筛选算法,跟踪检测所述处理图像中的车道线;其中,所述车道线包括目标左车道线和目标右车道线,所述目标左车道线为所述车辆左侧与所述车辆最近的一条车道线,所述目标右车道线为所述车辆右侧与所述车辆最近的一条车道线;
计算模块,用于计算所述车辆分别与所述目标左车道线和所述目标右车道线的第一距离值;
预警模块,用于根据所述第一距离值,利用所述车辆上设置的第一预警设备进行车道偏离预警。
可选的,所述预处理模块,包括:
提取子模块,用于利用感兴趣区域提取算法,提取所述待检测图像中的所述感兴趣区域;
去雾子模块,用于在检测到所述感兴趣区域有雾时,对所述感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;
增强子模块,用于在检测到所述去雾图像为暗光图像时,对所述去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;
灰度化子模块,用于对所述去雾增强图像进行灰度化处理,获取灰度图像;
二值化子模块,用于利用大津法自适应阈值分割算法,获取所述灰度图像对应的二值化图像,并将所述二值化图像作为所述处理图像。
本发明还提供了一种车道目标检测设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一项所述的车道目标检测方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的车道目标检测方法的步骤。
本发明所提供的一种车道目标检测方法,包括:获取车辆上的图像采集设备采集的待检测图像;对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像;其中,感兴趣区域处于待检测图像的道路区域,处理图像具体为二值化图像;利用阈值筛选算法和实例化打分筛选算法,跟踪检测处理图像中的车道线;其中,车道线包括目标左车道线和目标右车道线,目标左车道线为车辆左侧与车辆最近的一条车道线,目标右车道线为车辆右侧与车辆最近的一条车道线;计算车辆分别与目标左车道线和目标右车道线的第一距离值;根据第一距离值,利用车辆上设置的第一预警设备进行车道偏离预警;
可见,本发明通过对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像,去除待检测图像中的干扰因素,以减少运算量;通过阈值筛选算法和实例化打分筛选算法的使用,在保证车道线检测较高的精度和鲁棒性的基础上,提升检测效率,从而能够实现车规级芯片上的实时准确的检测;并且避免了毫米波雷达和激光雷达的使用,降低了车辆成本。此外,本发明还提供了一种车道目标检测装置、设备及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有技术中的一种车道目标检测方法的车辆配置示意图;
图2为本发明实施例所提供的一种车道目标检测方法的流程图;
图3为本发明实施例所提供的另一种车道目标检测方法的流程示意图;
图4为本发明实施例所提供的一种车道目标检测装置的结构框图;
图5为本发明实施例所提供的一种车道目标检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图2,图2为本发明实施例所提供的一种车道目标检测方法的流程图。该方法可以包括:
步骤101:获取车辆上的图像采集设备采集的待检测图像。
可以理解的是,本步骤的目的可以为处理器(如车辆上设置的车规级芯片)利用车辆上的图像采集设备(如RGB摄像头),采集需要进行车道目标检测的图像(即待检测图像)。
具体的,对于本步骤中处理器获取车辆上的图像采集设备采集的待检测图像的具体方式,可以由设计人员自行设置,如图2所示,处理器可以获取图像采集设备采集的视频后,通过抽取帧序列,获取每一帧对应的图像(即待检测图像)。只要处理器可以获取车辆上的图像采集设备采集的待检测图像,本实施例对此不做任何限制。
步骤102:对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像;其中,感兴趣区域处于待检测图像的道路区域,处理图像具体为二值化图像。
可以理解的是,本步骤的目的可以为处理器通过对待检测图像进行预处理,提取出待检测图像中道路区域对应的感兴趣区域,得到处理图像,从而去除与检测目标(如车道线)检测无关的建筑物、树木和天空等区域的干扰,提高车道目标检测的准确性且减少后续的运算量。
具体的,本步骤中的处理图像可以为对待检测图像进行预处理后得到的二值化图像。具体的,对于本步骤中处理器对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像的具体方式,可以由设计人员自行设置,如可以仅对待检测图像进行感兴趣区域(ROI)提取和二值化处理;为了进一步提高车道目标检测的准确性,还可以在预处理过程中加入图像是否有雾和是否暗光的分析以及相应的去雾处理及暗光增强处理的过程;例如,本步骤可以对待检测图像依次进行感兴趣区域提取、基于单幅图像的快速去雾处理、基于对数变换的暗光增强处理、自定义图像灰度化、大津法自适应求取最佳分割阈值进行二值化处理。由于包含待检测的车道线、车辆和行人等车道目标的车道区域主要位于待检测图像的中下部,占整幅图像的比例不大,因此,可以利用感兴趣区域提取算法,提取待检测图像中的车道区域(即感兴趣区域),从而将待检测图像中与车道目标无关的建筑物、树木和天空等区域删除,使车道区域的像素占比大幅提高,并且图像中的非车道目标等干扰因素减少,有利于更加准确的进行车道目标检测、跟踪和预警。为了提高鲁棒性,减小不良天气和光照条件下的影响,处理器可以对提取得到的感兴趣区域的图像进行有雾判断与去雾处理和暗光判断与暗光增强处理;如处理器可以利用在检测到感兴趣区域有雾时,对感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;在检测到去雾图像为暗光图像时,对去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;从而通过快速去雾算法的使用,在保证去雾法效果比较明显的前提下,保留原图中的景深信息,且计算量较低,确保了实时性,并且基于对数变换的图像增强算法的使用能够明显提升图像的亮度,同时暗光增强后图像中没有明显的噪点。
也就是说,本步骤可以包括:利用感兴趣区域提取算法,提取待检测图像中的感兴趣区域;在检测到感兴趣区域有雾时,对感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;在检测到去雾图像为暗光图像时,对去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;对去雾增强图像进行灰度化处理,获取灰度图像;利用大津法自适应阈值分割算法,获取灰度图像对应的二值化图像,并将二值化图像作为处理图像。
对应的,上述过程还可以包括检测感兴趣区域是否有雾和检测没雾图像或去雾图像是否为暗光图像的步骤。在检测感兴趣区域没雾时,可以直接检测没雾图像是否为暗光图像;在没雾图像和去雾图像不为暗光图像时,可以直接对没雾图像和去雾图像进行灰度化处理,获取灰度图像。
步骤103:利用阈值筛选算法和实例化打分筛选算法,跟踪检测处理图像中的车道线;其中,车道线包括目标左车道线和目标右车道线,目标左车道线为车辆左侧与车辆最近的一条车道线,目标右车道线为车辆右侧与车辆最近的一条车道线。
可以理解的是,本步骤的目的通过阈值筛选算法和实例化打分筛选算法的使用,在保证车道线检测较高的精度和鲁棒性的基础上,提升检测效率,从而能够实现车规级芯片上的实时准确的检测。
具体的,对于本步骤中处理器利用阈值筛选算法和实例化打分筛选算法,跟踪检测处理图像中的车道线的具体方式,可以由设计人员根据实用场景和用户需求自行设置,例如可以依次利用统计概率霍夫直线检测算法、阈值筛选算法、实例化打分筛选算法、卡尔曼滤波算法和状态机跟踪算法,跟踪检测处理图像中的车道线。统计概率霍夫直线检测算法相比标准霍夫直线检测算法执行效率更高,而且能输出检测到的直线的两端点的坐标(x0,y0,x1,y1);利用统计概率霍夫直线检测之后,可能会有误检发生,因此可以对检测出来的直线进行阈值筛选及打分筛选;通过阈值筛选算法可以根据检测到的直线的斜率、截距及与图像之间的位置关系进行阈值筛选,从而避免将其他车辆或周边建筑物上的线条误检为车道线;阈值筛选仅能过滤掉一些明显误检的直线,为进一步筛选直线,可以通过实例化打分筛选算法选择对车辆左右两边的直线分别实例化,从左右车道线的条数、斜率、截距、车道线和图像底部车道线交点的位置以及前后帧车道线的相似性(如位置和斜率相似性)等多重维度对阈值筛选得到的直线进行打分处理,进一步筛选出符合要求的直线(即车道线);由于车道线检测容易受到恶劣天气、路面污损、其他车辆遮挡和车道线不连续等因素的影响,造成车道线的漏检、误检等问题,因此需要对车道线进行跟踪和拟合,避免因某一两帧的漏检、误检而导致错误的输出,保证稳定且连续地输出车道线,可以采用卡尔曼滤波算法来对车道线的斜率和截距进行跟踪和估计,且因车道线检测、跟踪和变化的逻辑比较复杂,故可以用卡尔曼滤波算法构建一个跟踪车道线的状态机(即预设状态机)实现车道线稳定且连续地检测。
也就是说,本步骤可以包括:利用统计概率霍夫直线检测算法,检测当前处理图像中每条直线对应的两个端点的端点坐标;利用阈值筛选算法,根据直线的斜率和截距以及直线与前一处理图像中的直线的位置关系,获取直线中的筛选直线;利用实例化打分筛选算法,对车辆左侧和右侧的筛选直线进行实例化,并根据实例化的筛选直线的条数、斜率、截距、车道线位置和车道线交点位置以及与前一处理图像中的筛选直线的相似性,对实例化的筛选直线进行打分处理,获取目标直线;利用预设状态机对目标直线进行跟踪和拟合,得到车道线;其中,预设状态机为利用卡尔曼滤波器构建的状态机。
步骤104:计算车辆分别与目标左车道线和目标右车道线的第一距离值。
其中,本步骤中的第一距离值可以为车辆分别与目标左车道线和目标右车道线的距离值,即第一距离值可以包括车辆与目标左车道线的距离值和车辆与目标右车道线的距离值,
具体的,对于本步骤中处理器计算车辆分别与目标左车道线和目标右车道线的第一距离值的具体方式,可以由设计人员自行设置,如根据目标左车道线和目标右车道线的斜率以及图像采集设备的高度,计算图像采集设备分别与目标左车道线和目标右车道线的水平距离;根据获取的图像采集设备与车辆的左车轮和右车轮的距离以及图像采集设备分别与目标左车道线和目标右车道线的水平距离,计算得到第一距离值。也就是说,处理器可以利用目标左车道线和目标右车道线这两条车道线的斜率(k1和k2)以及图像采集设备的安装高度(h),通过x=k*h计算图像采集设备到目标左车道线和目标右车道线的水平距离(x1和x2),然后根据预先设置或计算得到的相机到车辆的左车轮和右车轮的水平距离(L1和L2),通过D1=x1-L1和D2=x2-L2计算得到车辆分别与目标左车道线和目标右车道线的距离值(D1和D2)。
步骤105:根据第一距离值,利用车辆上设置的第一预警设备进行车道偏离预警。
其中,本步骤中的第一预警设备可以为车辆上设置的用于进行车道偏离预警的设备,如显示屏、指示灯或扬声器等。
具体的。本步骤可以为处理器根据每个第一距离值与偏离阈值的比较,判断车辆是否即将或已经偏离车道;若是,则利用车辆上设置的第一预警设备进行车道偏离预警;若否,则可以返回步骤101继续获取下一待检测图像。
可以理解的是,本实施例是以车道目标中的车道线的检测和车道偏离预警为例进行的展示,对应的,如图3所示,本实施例还可以检测车道目标中的车辆和行人;例如,本实施例中在获取待检测图像中的感兴趣区域对应的处理图像之后,处理器可以利用预设卷积神经网络(如LaneTargetNet网络)检测处理图像中的车辆和行人,预设卷积神经网络可以采用One-Stage目标检测算法,仅需要将处理图像送入网络一次就可以检测出所有的边界框(如圈定车辆和行人的边界框)和种类(即边界框所对应的种类,如车辆和行人),因而算法复杂度低,运算速度较快;同时该网络可以使用卷积层来代替全连接层进行网络的输出,并且引入了anchor box的思想,采用多尺度预测的算法,因此该网络识别的精度、运行的速度以及检测框定位的准确性等方面都有大幅提升;此外该网络采用深度可分离卷积(Depthwise separable convolution)代替标准的卷积,并使用宽度因子(widthmultiply)减少参数量,一般情况下深度可分离卷积计算量可显著降低到标准卷积计算量的1/8-1/9;并且引入残差结构,先升维再降维,增强梯度的传播,显著减少推理期间所需的内存占用;去掉低维度或低深度(low dimension or depth)的窄卷层(Narrow Layer)后的ReLU激活函数,保留了特征多样性,增强了网络的表达能力;最后采用ReLU6激活函数代替传统的ReLU激活函数,ReLU6激活函数就是普通的ReLU激活函数但是限制最大输出值为6,即对输出值做剪裁(clip),这是为了在移动端设备使用float16低精度的时候,也能有很好的数值分辨率。如果对ReLU激活函数的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范围的数值,带来精度损失,使用ReLU6激活函数作为激活函数可以有效避免网络过拟合,降低计算量,提高训练速度、加快模型收敛。综上所述该网络具有网络窄、参数少、计算量小、效率高和精度高等特点,更适用于移动端(如车规级芯片)。
也就是说,本实施例可以包括将处理图像输出到预设卷积神经网络,得到处理图像中的边界框和对应的预设边界框种类的步骤,利用预设卷积神经网络检测处理图像中的行人和车辆对应的边界框;其中,预设卷积神经网络采用One-stage目标检测算法;预设卷积神经网络利用卷积层代替全连接层,并采用多尺度预测算法,预设卷积神经网络的卷积层采用深度可分离卷积且使用宽度因子,卷积层采用残差结构;卷积层的窄卷层后不设置激活函数,卷积层的其它层后采用ReLU6激活函数。
对应的,本实施例还可以包括:计算车辆与每个边界框的第二距离值;根据第二距离值和预设边界框种类,利用车辆上设置的第二预警设备进行碰撞预警的步骤。也就是说,可以通过计算车辆与每个边界框的距离值(即第二距离值),再根据车辆与一个边界框的距离值和该边界框的预设边界框种类对应的碰撞阈值的比较,判断车辆是否存在碰撞风险,从而在存在碰撞风险时,利用车辆上设置的第二预警设备进行碰撞预警;例如车辆在与预设边界框种类为同一车道的车辆的边界框的距离值小于该预设边界框种类对应的碰撞阈值时,处理器可以确定车辆存在碰撞风险,利用车辆上设置的第二预警设备进行碰撞预警。
具体的,上述第二预警设备可以为车辆上设置的用于进行碰撞预警的设备,如显示屏、指示灯或扬声器等。第二预警设备可以与第一预警设备为同一设备,也可以为不同设备,本实施例对此不做任何限制。
具体的,对于上述预设卷积神经网络的具体训练方式,可以由设计人员自行设置,如本实施例可以利用基于YOLOv3(一种目标检测算法)的自动标注工具,将训练图片(如行车记录仪采集的真实图片)中的行人和车辆对应的标注数据(即边界框和预设边界框种类)保存在每张训练图片对应的标注结果文件(如txt文件)中,实现快速且高质量的自动标注;也就是说,本实施例还可以包括:利用基于YOLOv3算法的自动标注工具,生成每张训练图片对应的标注结果文件;其中,标注结果文件包括边界框和预设边界框种类;利用训练图片和标注结果文件,训练得到预设卷积神经网络的步骤。
对应的,本实施例中可以利用YOLOv3损失函数的相关源代码,在Caffe(Convolutional Architecture for Fast Feature Embedding,一种深度学习框架)中实现INSTANTIATE_CLASS(Yolov3Layer)及REGISTER_LAYER_CLASS(Yolov3),在预设卷积神经网络中使用了自定义的损失函数,通过实验得出自定义的损失函数的效果好于Caffe提供的损失函数;并且可以采用NCNN(一种深度学习框架)框架对预设卷积神经网络的模型进行压缩和加速处理。
也就是说,由于预设卷积神经网络设置,使得本实施例所提供的方法相比于大型的深度学习车道目标检测方法计算量较低,可以实时运行于移动端的ARM(一种处理器)平台,使得车道目标检测的功耗及成本均大大降低。
进一步的,如图3所示,本实施例中处理器还可以在确定车辆即将或已经偏离车道时,即利用车辆上设置的第一预警设备进行车道偏离预警时,存储对应的处理图像或待检测图像,以便于后续可以利用预警时存储的图像(即预警存图)进行分析调优。
本实施例中,本发明实施例通过对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像,去除待检测图像中的干扰因素,以减少运算量;通过阈值筛选算法和实例化打分筛选算法的使用,在保证车道线检测较高的精度和鲁棒性的基础上,提升检测效率,从而能够实现车规级芯片上的实时准确的检测;并且避免了毫米波雷达和激光雷达的使用,降低了车辆成本。
请参考图4,图4为本发明实施例所提供的一种车道目标检测装置的结构框图。该装置可以包括:
采集模块10,用于获取车辆上的图像采集设备采集的待检测图像;
预处理模块20,用于对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像;其中,感兴趣区域处于待检测图像的道路区域,处理图像具体为二值化图像;
检测模块30,用于利用阈值筛选算法和实例化打分筛选算法,跟踪检测处理图像中的车道线;其中,车道线包括目标左车道线和目标右车道线,目标左车道线为车辆左侧与车辆最近的一条车道线,目标右车道线为车辆右侧与车辆最近的一条车道线;
计算模块40,用于计算车辆分别与目标左车道线和目标右车道线的第一距离值;
预警模块50,用于根据第一距离值,利用车辆上设置的第一预警设备进行车道偏离预警。
可选的,预处理模块20,可以包括:
提取子模块,用于利用感兴趣区域提取算法,提取待检测图像中的感兴趣区域;
去雾子模块,用于在检测到感兴趣区域有雾时,对感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;
增强子模块,用于在检测到去雾图像为暗光图像时,对去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;
灰度化子模块,用于对去雾增强图像进行灰度化处理,获取灰度图像;
二值化子模块,用于利用大津法自适应阈值分割算法,获取灰度图像对应的二值化图像,并将二值化图像作为处理图像。
可选的,检测模块30,可以包括:
直线检测子模块,用于利用统计概率霍夫直线检测算法,检测当前处理图像中每条直线对应的两个端点的端点坐标;
阈值筛选子模块,用于利用阈值筛选算法,根据直线的斜率和截距以及直线与前一处理图像中的直线的位置关系,获取直线中的筛选直线;
打分筛选子模块,用于利用实例化打分筛选算法,对车辆左侧和右侧的筛选直线进行实例化,并根据实例化的筛选直线的条数、斜率、截距、车道线位置和车道线交点位置以及与前一处理图像中的筛选直线的相似性,对实例化的筛选直线进行打分处理,获取目标直线;
跟踪检测子模块,用于利用预设状态机对目标直线进行跟踪和拟合,得到车道线;其中,预设状态机为利用卡尔曼滤波器构建的状态机。
可选的,计算模块40,可以包括:
第一计算子模块,用于根据目标左车道线和目标右车道线的斜率以及图像采集设备的高度,计算图像采集设备分别与目标左车道线和目标右车道线的水平距离;
第二计算子模块,用于根据获取的图像采集设备与车辆的左车轮和右车轮的距离以及图像采集设备分别与目标左车道线和目标右车道线的水平距离,计算得到第一距离值。
可选的,该装置可以还包括:
边界框检测模块,用于将处理图像输出到预设卷积神经网络,得到处理图像中的边界框和对应的预设边界框种类;其中,预设卷积神经网络采用One-stage目标检测算法;预设卷积神经网络利用卷积层代替全连接层,并采用多尺度预测算法,预设卷积神经网络的卷积层采用深度可分离卷积且使用宽度因子,卷积层采用残差结构;卷积层的窄卷层后不设置激活函数,卷积层的其它层后采用ReLU6激活函数;
碰撞计算模块,用于计算车辆与每个边界框的第二距离值;
碰撞预警模块,用于根据第二距离值和预设边界框种类,利用车辆上设置的第二预警设备进行碰撞预警。
可选的,该装置可以还包括:
生成模块,用于利用基于YOLOv3算法的自动标注工具,生成每张训练图片对应的标注结果文件;其中,标注结果文件包括边界框和预设边界框种类;
训练模块,用于利用训练图片和标注结果文件,训练得到预设卷积神经网络。
本实施例中,本发明实施例通过预处理模块20对待检测图像进行预处理,获取待检测图像中的感兴趣区域对应的处理图像,去除待检测图像中的干扰因素,以减少运算量;通过阈值筛选算法和实例化打分筛选算法的使用,在保证车道线检测较高的精度和鲁棒性的基础上,提升检测效率,从而能够实现车规级芯片上的实时准确的检测;并且避免了毫米波雷达和激光雷达的使用,降低了车辆成本。
请参考图5,图5为本发明实施例所提供的一种车道目标检测设备的结构示意图。该设备1可以包括:
存储器11,用于存储计算机程序;处理器12,用于执行该计算机程序时实现如上述实施例所提供的车道目标检测方法的步骤。
设备1可以包括存储器11、处理器12和总线13。
其中,存储器11至少包括一种类型的可读存储介质,该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备1的内部存储单元。存储器11在另一些实施例中也可以是设备1的外部存储设备,例如设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备1的应用软件及各类数据,例如:执行车道目标检测方法的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行车道目标检测方法的程序的代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,设备还可以包括网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该设备1与其他电子设备之间建立通信连接。
可选地,该设备1还可以包括用户接口15,用户接口15可以包括显示器(Display)、输入单元比如触摸屏,可选的用户接口15还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在设备1中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件11-15的设备1,本领域技术人员可以理解的是,图5示出的结构并不构成对设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
此外,本发明实施例还公开了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如上述实施例所提供的车道目标检测方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
以上对本发明所提供的一种车道目标检测方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种车道目标检测方法,其特征在于,包括:
获取车辆上的图像采集设备采集的待检测图像;
对所述待检测图像进行预处理,获取所述待检测图像中的感兴趣区域对应的处理图像;其中,所述感兴趣区域处于所述待检测图像的道路区域,所述处理图像具体为二值化图像;
利用阈值筛选算法和实例化打分筛选算法,跟踪检测所述处理图像中的车道线;其中,所述车道线包括目标左车道线和目标右车道线,所述目标左车道线为所述车辆左侧与所述车辆最近的一条车道线,所述目标右车道线为所述车辆右侧与所述车辆最近的一条车道线;
计算所述车辆分别与所述目标左车道线和所述目标右车道线的第一距离值;
根据所述第一距离值,利用所述车辆上设置的第一预警设备进行车道偏离预警。
2.根据权利要求1所述的车道目标检测方法,其特征在于,所述对所述待检测图像进行预处理,获取所述待检测图像中的感兴趣区域对应的处理图像,包括:
利用感兴趣区域提取算法,提取所述待检测图像中的所述感兴趣区域;
在检测到所述感兴趣区域有雾时,对所述感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;
在检测到所述去雾图像为暗光图像时,对所述去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;
对所述去雾增强图像进行灰度化处理,获取灰度图像;
利用大津法自适应阈值分割算法,获取所述灰度图像对应的二值化图像,并将所述二值化图像作为所述处理图像。
3.根据权利要求1所述的车道目标检测方法,其特征在于,所述利用阈值筛选算法和实例化打分筛选算法,跟踪检测所述处理图像中的车道线,包括:
利用统计概率霍夫直线检测算法,检测当前处理图像中每条直线对应的两个端点的端点坐标;
利用所述阈值筛选算法,根据所述直线的斜率和截距以及所述直线与前一处理图像中的直线的位置关系,获取所述直线中的筛选直线;
利用所述实例化打分筛选算法,对所述车辆左侧和右侧的所述筛选直线进行实例化,并根据实例化的所述筛选直线的条数、斜率、截距、车道线位置和车道线交点位置以及与前一处理图像中的筛选直线的相似性,对实例化的所述筛选直线进行打分处理,获取目标直线;
利用预设状态机对所述目标直线进行跟踪和拟合,得到所述车道线;其中,所述预设状态机为利用卡尔曼滤波器构建的状态机。
4.根据权利要求1所述的车道目标检测方法,其特征在于,所述计算所述车辆分别与所述目标左车道线和所述目标右车道线的第一距离值,包括:
根据所述目标左车道线和所述目标右车道线的斜率以及所述图像采集设备的高度,计算所述图像采集设备分别与所述目标左车道线和所述目标右车道线的水平距离;
根据获取的所述图像采集设备与所述车辆的左车轮和右车轮的距离以及所述所述图像采集设备分别与所述目标左车道线和所述目标右车道线的水平距离,计算得到所述第一距离值。
5.根据权利要求1至4任一项所述的车道目标检测方法,其特征在于,所述获取所述待检测图像中的感兴趣区域对应的处理图像之后,还包括:
将所述处理图像输出到预设卷积神经网络,得到所述处理图像中的边界框和对应的预设边界框种类;其中,所述预设卷积神经网络采用One-stage目标检测算法;所述预设卷积神经网络利用卷积层代替全连接层,并采用多尺度预测算法,所述预设卷积神经网络的所述卷积层采用深度可分离卷积且使用宽度因子,所述卷积层采用残差结构;所述卷积层的窄卷层后不设置激活函数,所述卷积层的其它层后采用ReLU6激活函数;
计算所述车辆与每个所述边界框的第二距离值;
根据所述第二距离值和所述预设边界框种类,利用所述车辆上设置的第二预警设备进行碰撞预警。
6.根据权利要求5所述的车道目标检测方法,其特征在于,还包括:
利用基于YOLOv3算法的自动标注工具,生成每张训练图片对应的标注结果文件;其中,所述标注结果文件包括边界框和预设边界框种类;
利用所述训练图片和所述标注结果文件,训练得到所述预设卷积神经网络。
7.一种车道目标检测装置,其特征在于,包括:
采集模块,用于获取车辆上的图像采集设备采集的待检测图像;
预处理模块,用于对所述待检测图像进行预处理,获取所述待检测图像中的感兴趣区域对应的处理图像;其中,所述感兴趣区域处于所述待检测图像的道路区域,所述处理图像具体为二值化图像;
检测模块,用于利用阈值筛选算法和实例化打分筛选算法,跟踪检测所述处理图像中的车道线;其中,所述车道线包括目标左车道线和目标右车道线,所述目标左车道线为所述车辆左侧与所述车辆最近的一条车道线,所述目标右车道线为所述车辆右侧与所述车辆最近的一条车道线;
计算模块,用于计算所述车辆分别与所述目标左车道线和所述目标右车道线的第一距离值;
预警模块,用于根据所述第一距离值,利用所述车辆上设置的第一预警设备进行车道偏离预警。
8.根据权利要求7所述的车道目标检测装置,其特征在于,所述预处理模块,包括:
提取子模块,用于利用感兴趣区域提取算法,提取所述待检测图像中的所述感兴趣区域;
去雾子模块,用于在检测到所述感兴趣区域有雾时,对所述感兴趣区域进行基于单幅图像的快速去雾处理,获取去雾图像;
增强子模块,用于在检测到所述去雾图像为暗光图像时,对所述去雾图像进行基于对数变换的暗光增强处理,获取去雾增强图像;
灰度化子模块,用于对所述去雾增强图像进行灰度化处理,获取灰度图像;
二值化子模块,用于利用大津法自适应阈值分割算法,获取所述灰度图像对应的二值化图像,并将所述二值化图像作为所述处理图像。
9.一种车道目标检测设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的车道目标检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的车道目标检测方法的步骤。
CN202010740309.XA 2020-07-28 2020-07-28 车道目标检测方法、装置、设备及计算机可读存储介质 Withdrawn CN111881832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010740309.XA CN111881832A (zh) 2020-07-28 2020-07-28 车道目标检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010740309.XA CN111881832A (zh) 2020-07-28 2020-07-28 车道目标检测方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111881832A true CN111881832A (zh) 2020-11-03

Family

ID=73200944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010740309.XA Withdrawn CN111881832A (zh) 2020-07-28 2020-07-28 车道目标检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111881832A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597846A (zh) * 2020-12-14 2021-04-02 合肥英睿系统技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112990057A (zh) * 2021-03-26 2021-06-18 北京易华录信息技术股份有限公司 一种人体姿态识别方法、装置及电子设备
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN114594103A (zh) * 2022-04-12 2022-06-07 四川大学 核工业设备表面缺陷自动检测及报告自动生成方法及系统
CN114612736A (zh) * 2020-12-08 2022-06-10 广州汽车集团股份有限公司 一种车道线检测方法、系统及计算机可读介质
CN117037078A (zh) * 2023-06-02 2023-11-10 阿里巴巴(中国)有限公司 确定道路区域的方法、检测违章行为的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612736A (zh) * 2020-12-08 2022-06-10 广州汽车集团股份有限公司 一种车道线检测方法、系统及计算机可读介质
CN112597846A (zh) * 2020-12-14 2021-04-02 合肥英睿系统技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112597846B (zh) * 2020-12-14 2022-11-11 合肥英睿系统技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112990057A (zh) * 2021-03-26 2021-06-18 北京易华录信息技术股份有限公司 一种人体姿态识别方法、装置及电子设备
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN114594103A (zh) * 2022-04-12 2022-06-07 四川大学 核工业设备表面缺陷自动检测及报告自动生成方法及系统
CN114594103B (zh) * 2022-04-12 2023-05-16 四川大学 核工业设备表面缺陷自动检测及报告自动生成方法及系统
CN117037078A (zh) * 2023-06-02 2023-11-10 阿里巴巴(中国)有限公司 确定道路区域的方法、检测违章行为的方法及装置

Similar Documents

Publication Publication Date Title
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
CN107506760B (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN107590470B (zh) 一种车道线检测方法及装置
CN107891808B (zh) 行车提醒方法、装置及车辆
Chen et al. Nighttime vehicle detection for driver assistance and autonomous vehicles
CN110929655B (zh) 一种行驶过程中车道线识别方法、终端设备及存储介质
WO2020258077A1 (zh) 一种行人检测方法及装置
CN112800860A (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN112528917A (zh) 斑马线区域识别方法、装置、电子设备和存储介质
CN117037103A (zh) 一种道路检测方法和装置
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN111046741A (zh) 车道线识别的方法和装置
FAN et al. Robust lane detection and tracking based on machine vision
JP7264428B2 (ja) 道路標識認識装置及びそのプログラム
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
Diaz-Cabrera et al. Traffic light recognition during the night based on fuzzy logic clustering
Dai et al. A driving assistance system with vision based vehicle detection techniques
CN116311205A (zh) 车牌识别方法、车牌识别装置、电子设备及存储介质
CN116071713A (zh) 斑马线确定方法、装置、电子设备和介质
CN115376106A (zh) 基于雷达图的车型识别方法、装置、设备及介质
CN113449629B (zh) 基于行车视频的车道线虚实识别装置、方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201103