CN110502983A - 一种检测高速公路中障碍物的方法、装置及计算机设备 - Google Patents

一种检测高速公路中障碍物的方法、装置及计算机设备 Download PDF

Info

Publication number
CN110502983A
CN110502983A CN201910625529.5A CN201910625529A CN110502983A CN 110502983 A CN110502983 A CN 110502983A CN 201910625529 A CN201910625529 A CN 201910625529A CN 110502983 A CN110502983 A CN 110502983A
Authority
CN
China
Prior art keywords
picture
target detection
detection
barrier
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625529.5A
Other languages
English (en)
Other versions
CN110502983B (zh
Inventor
雷晨雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910625529.5A priority Critical patent/CN110502983B/zh
Publication of CN110502983A publication Critical patent/CN110502983A/zh
Application granted granted Critical
Publication of CN110502983B publication Critical patent/CN110502983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures

Abstract

本申请公开了一种检测高速公路中障碍物的方法、装置及计算机设备,涉及计算机技术领域,可以解决在对高速公路中障碍物的检测时,检测的准确度较低、实时性差且工作效率低下的问题。其中方法包括:对获取到的目标检测图片进行数据平滑处理;从处理后的所述目标检测图片中分割出车道区域图片;基于目标检测算法对所述车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。本申请适用于对高速公路中障碍物的检测。

Description

一种检测高速公路中障碍物的方法、装置及计算机设备
技术领域
本申请涉及计算机技术领域,尤其涉及到一种检测高速公路中障碍物的方法、装置及计算机设备。
背景技术
随着我国经济水平的不断发展,汽车工业发生日新月异的进步,汽车早已成为人们日常出行中普遍使用的交通工具,并且人均汽车保有量呈现逐年上升的趋势。汽车数量不断上升,交通秩序不理想以及路面存在缺陷或障碍物等都是影响道路交通安全的重要因素。在高速公路上,车速较快以及其它不可预测的因素都可能导致交通事故的发生。其中,因高速公路上未及时清除的障碍物所引发的安全隐患,更是受到全国范围的广泛关注。因此,实现对高速公路上的障碍物检测是保障高速公路行车安全、降低交通事故数量和减少人员伤亡的有效手段。
检测障碍物的方法主要有红外检测、雷达探测、基于视觉的检测以及多传感器融合检测技术等。然而这些检测方法往往无法获取到准确的障碍物信息,使准确度较低,也不能满足实时性要求。
发明内容
有鉴于此,本申请提供了一种检测高速公路中障碍物的方法、装置及计算机设备,主要目的在于解决在对高速公路中障碍物的检测时,容易产生的效率低下,准确性低,且实时性差的问题。
根据本申请的一个方面,提供了一种检测高速公路中障碍物的方法,该方法包括:
对获取到的目标检测图片进行数据平滑处理;
从处理后的所述目标检测图片中分割出车道区域图片;
基于目标检测算法对所述车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。
根据本申请的另一个方面,提供了一种检测高速公路中障碍物的装置,该装置包括:
处理模块,用于对获取到的目标检测图片进行数据平滑处理;
分割模块,用于从处理后的所述目标检测图片中分割出车道区域图片;
检测模块,用于基于目标检测算法对所述车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。
根据本申请的又一个方面,提供了一种非易失性可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述检测高速公路中障碍物的方法。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述检测高速公路中障碍物的方法。
借由上述技术方案,本申请提供的一种检测高速公路中障碍物的方法、装置及计算机设备,与目前普遍采用的检测方式相比,本申请可通过无人机获取高速公路的高清航拍图片,将航拍图片作为待检测的目标检测图片,在通过数据平滑处理消除噪声对目标检测图片的影响后,利用边缘检测算法对获取到的目标检测图片进行边缘检测,在获取到目标检测图片中的边缘检测结果后,从目标检测图片中分割出车道区域图片,之后利用yolo目标检测算法对车道区域图片中的障碍物进行检测,进一步确定出高速公路路面中包含的所有障碍物信息。通过本申请中的技术方案,可以根据无人机航拍的路面图片进行实时跟踪监测,提高了检测效率的同时,也能满足检测实时性的要求;并且在本方案中,将计算机技术融合到障碍物的数据检测中,可增强检测的科学性、准确性,使检测出的数据结果更加真实可靠。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种检测高速公路中障碍物的方法的流程示意图;
图2示出了本申请实施例提供的另一种检测高速公路中障碍物的方法的流程示意图;
图3示出了本申请实施例提供的一种检测高速公路中障碍物的装置的结构示意图;
图4示出了本申请实施例提供的另一种检测高速公路中障碍物的装置的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对目前高速公路中障碍物进行检测时,容易产生的效率低下,准确性低,且实时性差的问题,本申请实施例提供了一种检测高速公路中障碍物的方法,如图1所示,该方法包括:
101、对获取到的目标检测图片进行数据平滑处理。
在具体的应用场景中,为了尽可能减少噪声对边缘检测结果的影响,所以必须滤除噪声以防止由噪声引起的错误检测。为了平滑图像,使用高斯滤波器与目标检测图片进行卷积,以减少边缘检测器上明显的噪声影响。
102、从处理后的目标检测图片中分割出车道区域图片。
对于本实施例,在具体的应用场景中,为了排除不相关图像对高速公路中障碍物检测结果的干扰,故需要制定相关的策略排除这种图像识别干扰,进而使检测出的结果更为准确,在本实施例中,可通过识别高速公路中的车道区域图片,进而切除目标检测图片中车道区域图片之外的部分,起到排除干扰的目的。
103、基于目标检测算法对车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。
其中,在本实施例中目标检测算法采用的是yolo目标检测的方法,即将障碍物检测任务当做回归问题(regression problem)来处理,直接通过整张图片的所有像素得到检测框bounding box的坐标、bounding box中包含物体的置信度和条件类别概率。每个bounding box的位置坐标为(x,y,w,h),x和y表示bounding box中心点坐标,w和h表示bounding box宽度和高度。通过yolo对目标进行检测,通过识别图像就判断出图像中都有哪些物体和这些物体的位置。yolo检测网络包括24个卷积层和2个全连接层,其中,卷积层用来提取图像特征,全连接层用来预测图像位置和类别概率值。
通过本实施例中检测高速公路中障碍物的方法,可将航拍图片作为待检测的目标检测图片,在通过数据平滑处理消除噪声对目标检测图片的影响后,利用边缘检测算法对获取到的目标检测图片进行边缘检测,在获取到目标检测图片中的边缘检测结果后,从目标检测图片中分割出车道区域图片,之后利用yolo目标检测算法对车道区域图片中的障碍物进行检测,进一步确定出高速公路路面中包含的所有障碍物信息。通过本申请中的技术方案,可以根据无人机航拍的路面图片进行实时跟踪监测,提高了检测效率的同时,也能满足检测实时性的要求;并且在本方案中,将计算机技术融合到障碍物的数据检测中,可增强检测的科学性、准确性,使检测出的数据结果更加真实可靠。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种检测高速公路中障碍物的方法,如图2所示,该方法包括:
201、对获取到的目标检测图片进行数据平滑处理。
对于本实施例,在具体的应用场景中,为了消除噪声对目标检测图片的影响,实施例步骤201具体可以包括:计算目标检测图片中各个像素点对应的高斯卷积核;将高斯卷积核与目标检测图片中对应像素点进行卷积运算,以平滑目标检测图片。
相应的,高斯卷积核计算公式为:其中,x、y分别为初始图片中各个像素点的横纵坐标,G(x,y)为经过高斯滤波后各个像素点的高斯卷积核。
对目标检测图片进行数据平滑处理就是将目标检测图片中包含的各个像素点的坐标代入高斯卷积核计算公式中,得出在核矩阵上的空间分布特性,这些特性将作为权值反应在核矩阵的各个点上,最终将各个像素点的高斯卷积核与目标检测图片中各个像素点作卷积运算,从而完成对目标检测图片的数据平滑处理,起到滤除噪声的目的。
例如,目标检测图片中共包含M个像素点,则依次将这M个像素点与对应计算出的高斯卷积核进行卷积,如像素点A(x1,y1),则需要与像素点A对应的高斯卷积核G(x1,y1)卷积,在完成对M个像素点的卷积处理后,即实现了对目标检测图片的数据平滑处理。
202、提取目标检测图片中梯度强度大于预设梯度强度阈值的第一边缘像素点。
对于本实施例,在具体的应用场景中,需要预先计算出目标检测图片的图像梯度信息,根据图像梯度信息确定出梯度强度大于预设梯度强度阈值的第一边缘像素点。
其中,预设梯度强度阈值是预先根据实际需求进行设定的,梯度强度阈值越大,代表依据图像梯度信息提取出的边缘图片越清晰;图像梯度信息包括经数据平滑处理后的目标检测图片中各个像素点的梯度信息及梯度方向。
梯度强度G和梯度方向θ的计算公式为:
θ=arctan(Gy/Gx)
其中,Gx、Gy分别为像素点e在x和y方向的梯度值,arctan为反正切函数。Gx、Gy可通过Sobel算子来进行计算,该算子包含两组3x3的矩阵,分别为横向及纵向,将之与目标检测图片作平面卷积,即可分别得出横向及纵向的亮度差分近似值。如果以A代表目标检测图片中的各个像素点,Gx及Gy分别代表经横向及纵向边缘检测的图像,其计算公式如下:
在具体的应用场景中,对于本实施例,根据图像梯度信息确定目标检测图片中包含的第一边缘像素点的原理为:梯度的方向是函数f(x,y)变化最快的方向,当图像中存在边缘时,一定有较大的梯度强度,相反,当图像中有比较平滑的部分时,灰度值变化较小,则相应的梯度强度也较小。
203、若第一边缘像素点的梯度强度大于沿正负梯度方向上两个相邻第一边缘像素点的梯度强度,则将第一边缘像素点确定为第二边缘像素点,进一步确定出第一边缘像素点中包含的所有第二边缘像素点。
对于本实施例从第一边缘像素点中筛选出所有第二边缘像素点的原理为,基于实施例步骤202中利用图像梯度信息提取出的边缘图片仍然很模糊,故需要基于非极大值抑制进一步确定出准确的边缘图片,非极大值抑制可以将第一边缘像素点中局部最大值之外的所有梯度值抑制为0,通过抑制孤立的弱边缘最终完成边缘检测,获取得到第二边缘像素点。
204、利用双阈值法筛选出第二边缘像素点中包含的所有强边缘像素点。
对于本实施例,在具体的应用场景中,利用双阈值法确定强边缘像素点的具体方法可为:利用双阈值法将第二边缘像素点划分为强边缘像素点、弱边缘像素点和极弱边缘像素点,并滤除极弱边缘像素点;获取弱边缘像素点的八个邻域第二边缘像素点,若确定八个邻域第二边缘像素点中至少存在一个强边缘像素点,则将弱边缘像素点定义为强边缘像素点;若确定八个邻域第二边缘像素点均不属于强边缘像素点,则滤除弱边缘像素点;将原强边缘像素点和从弱边缘像素点中筛选出的强边缘像素点统一确定为最终的强边缘像素点。
其中,双阈值法即预先设定用于评判第二边缘像素点所属类别的高梯度阈值和低梯度阈值,高梯度阈值和低梯度阈值的数值选择取决于给定输入图像的内容。利用双阈值法对第二边缘像素点进行属性划分且消除杂散响应的步骤具体为:若判定第二边缘像素点的梯度值大于或等于高梯度阈值,则将该第二边缘像素点标记为强边缘像素点;若判定第二边缘像素点的梯度值大于低梯度阈值且小于高梯度阈值,则将该第二边缘像素点标记为弱边缘像素点;若判定第二边缘像素点的梯度值小于或等于低梯度阈值,则将该第二边缘像素点标记为极弱边缘像素点,其中,极弱边缘像素点认定为由噪声和颜色变化引起的杂散响应;将第二边缘像素点中包含的所有极弱边缘像素点的灰度值置为0。
相应的,基于双阈值法首次提前取出的强边缘像素点已经被确定为真实的边缘。然而,对于弱边缘像素点,仍存在一定争论,弱边缘像素点可以是从真实边缘提取的,也可以是由噪声或颜色变化引起的。为了获得准确的结果,应该抑制由噪声或颜色变化引起的弱边缘像素点。通常,由真实边缘引起的弱边缘像素点将连接到强边缘像素点,故该弱边缘像素点周围的八个第二边缘像素点中会存在与之连接的强边缘像素点,而由噪声响应引起的弱边缘像素点则不会连接到强边缘像素点,故该弱边缘像素点周围的八个第二边缘像素点中一定不会存在强边缘像素点,即噪声响应引起的弱边缘像素点周围全是弱边缘像素点。为了跟踪边缘连接,通过查看弱边缘像素点及其8个邻域像素,只要其中一个为强边缘像素点,则该弱边缘像素点就可以保留为真实的边缘,即将该弱边缘像素点定义为强边缘像素点。若确定弱边缘像素点的8个邻域像素点均不属于强边缘像素点,则可说明该弱边缘像素点是由噪声或颜色变化引起的,故将该弱边缘像素点的灰度值置为0,实现对多余像素点的滤除。
205、获取由所有强边缘像素点构成的边缘图片。
在具体的应用场景中,在滤除了第二边缘像素点中的极弱边缘像素点以及由噪声或颜色变化引起的弱边缘像素点后,剩余的第二边缘像素点均为目标检测图片中的实际边缘,即可通过这些像素点构成整体的边缘图片。
206、通过霍夫变换检测边缘图片中的直线线段。
其中,霍夫变换的思想为:将直线方程的参数和变量交换,在原始图像坐标系下的一个点对应了参数坐标系中的一条直线,同样参数坐标系的一条直线对应了原始坐标系下的一个点,然后,原始坐标系下呈现直线的所有点,它们的斜率和截距是相同的,所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后,看参数坐标系下有没有聚集点,这样的聚集点就对应了原始坐标系下的直线。
对于本实施例,在具体的应用场景中,实施例步骤206具体可以包括:将边缘图片上的每一个强边缘像素点变换为参数空间中的参数直线;统计参数直线间的相交点以及各个相交点包含的参数直线个数;根据参数直线个数大于预设阈值的第一相交点确定直角坐标系中的直线线段,直线线段是由相交的参数直线对应直角坐标中的强边缘像素点构成的。
例如,对于x-y平面上任意一条直线y=ax+b,对应在参数a-b平面上都有一个点,如果直角坐标系中点(x1,y1)与点(x2,y2)共线,则这两个点在参数a-b平面上的直线将有一个交点;若设定预设阈值为N,且确定参数坐标系中包含参数直线数大于N的第一相交点共有五个,为a、b、c、d、e,则分别确定构成第一相交点的所有参数直线,并利用参数直线对应直角坐标系中的强边缘像素点,构成在x-y平面上的五个独立直线线段。
207、基于直线线段的颜色特征提取出车道线线段。
对于本实施例,鉴于车道线的颜色为白色,故可基于直线线段中RGB的取值,筛选出所有颜色为白色的车道线线段,其中白色的RGB取值范围为[180,255]。
例如,基于实施例步骤206,通过霍夫变换共从边缘图片中检测出150段直线线段,则可从150段直线线段中筛选出所有RGB值在[180,255]区间内的车道线线段。
208、通过图形膨胀操作将车道线线段连接成车道线。
其中,图形膨胀操作的原理与卷积操作类似,假设有图像A和结构元素B,结构元素B在A上面移动,其中B定义其中心为锚点,计算B覆盖下A的最大像素值用来替换锚点的像素,其中B作为结构体可以是任意形状。图像的膨胀操作与中值平滑操作类似,它是取每个位置矩形领域内值的最大值作为该位置的输出灰度值。不同的是,这里的领域不再单纯是矩形结构的,也可以是椭圆形结构的、十字交叉形结构的等。
在本实施例中,可通过选取每段车道线线段内像素的最大值,进一步将处于同一水平位置且不连续的车道线线段通过图像的膨胀连接起来,进而得到最终连续的车道线。
209、分割出两侧外围车道线之间的车道区域图片。
对于本实施例,在具体的应用场景中,在识别出所有的车道线后,可将两侧外围车道线之内的区域确定为车道区域,之后将车道区域图片分割出来,用于查找车道中存在的障碍物信息。
210、基于目标检测算法训练得到训练结果满足预设标准的目标检测模型。
在具体的应用场景中,为了根据目标检测算法训练得到训练结果满足预设标准的目标检测模型,实施例步骤210具体可以包括:采集多个车道区域的样本图像;标注样本图像中各个连通分量的位置坐标和类别信息;将已标注坐标位置的样本图像作为训练集,输入预先基于yolo目标检测算法创建的初始目标检测模型中;利用初始目标检测模型提取样本图像中各类连通分量的图像特征,并基于图像特征生成各个连通分量的建议窗口以及建议窗口对应各类连通分量的条件类别概率;将条件类别概率最大的连通分量类别确定为建议窗口内连通分量的类别识别结果;若判定所有建议窗口的置信度均大于第一预设阈值,且类别识别结果与标注的类别信息匹配,则判定初始目标检测模型通过训练;若判定初始目标检测模型未通过训练,则利用样本图像中标注的各个连通分量的位置坐标和类别信息修正训练初始目标检测模型,以使初始目标检测模型的判定结果满足预设标准。
其中,置信度confidence是用于判定识别检测框中是否含有物体,且存在物体的概率。其计算公式为:Pr(Object)是用于识别检测框中有无物体,Pr(Object)∈{0,1},当Pr(Object)=0时,说明检测框中不包含物体,则计算出置信度confidence=0,即代表未识别出物体;当Pr(Object)=1时,说明检测框中包含物体,则置信度confidence的取值为交并比 是产生检测出的候选框(candidate bound)与实际标记框(ground truth bound)的交叠率,即它们的交集与并集的比值。最理想情况是完全重叠,即比值为1。第一预设阈值是用于评定初始目标检测模型是否通过训练的评判标准,将判定出非零的置信度与第一预设阈值比较,当置信度大于第一预设阈值,则判定初始目标检测模型通过训练,否则未通过训练。由于置信度的取值在0到1之间,故设定的第一预设阈值的最大值为1,设定的第一预设阈值越大,代表模型训练得越精准,具体设定数值可根据具体应用场景来进行确定。类别信息为车道区域中包含连通分量的类别,如障碍物、汽车、安全警戒标志等,为了更加准确的利用检测模型从车道区域图片中准确筛选出障碍物信息,故需要将车道中所有能出现的物体分成多个类别,训练目标检测模型对各个类别的识别检测,以便排除检测过程中其他物体对待识别障碍物的识别干扰。初始目标检测模型为预先根据设计需要创建的,与目标检测模型的区别是:初始目标检测模型只是初步创建完成,未通过模型训练,且未满足预设标准,而目标检测模型是指通过模型训练,已达到预设标准、可应用于对路面中障碍物检测的检测模型。
在具体的应用场景中,置信度confidence是针对每个建议窗口的,而条件类别概率conditional class probability信息是针对每个网格的,即各个建议窗口中物体对应各个类别的概率,如训练识别a、b、c、d、e五个类别,则依据置信度判定建议窗口A包含物体,则分别预测建议窗口A对应a、b、c、d、e五个类别的条件类别概率,如预测结果分别为:80%、55%、50%、37%、15%,则将条件类别概率最高的a类别判定为识别结果,则需要验证检测框中实际标定的物体类别是否为a类别,如为a类别,则判定初始目标检测模型识别此建议窗口中类别信息是正确的。在判定所有识别出的建议窗口置信度均大于第一预设阈值,且类别识别结果与标注的类别信息匹配,则判定初始目标检测模型通过训练。
211、将车道区域图片输入目标检测模型中,获取车道区域图片对应的检测数据信息。
在具体的应用场景中,为了利用目标检测模型获取车道区域图片对应的检测数据信息,实施例步骤211具体可以包括:将车道区域图片切分成预设数量个小块图像;利用目标检测模型确定各个小块图像的置信度;若置信度大于第二预设阈值,则进一步确定小块图像中包含的连通分量类别;提取出所有确定连通分量类别为障碍物的目标小块图像;将目标小块图像的坐标位置信息确定为检测数据信息。
相应的,为了便于对图像的统一分析,在完成对车道区域图片的切割后,可将车道区域图片处理成预定格式大小,如可将图片尺寸缩放到448*448,并进行灰度化处理,之后将车道区域图片切分成预设数量个小块图像,便于目标检测模型对各个小块图像分别进行针对性识别检测,其中预定数据可根据具体应用场景进行设定,在本实施例中,设定预设数量为7*7。第二预设阈值为可判定出建议窗口中包含物体的最小置信度,当目标检测模型中输出的置信度大于第二预设阈值时,才可判定小块图像中包含连通分量。
212、根据检测数据信息确定目标检测图片中包含的障碍物信息。
相应的,为了确定出目标检测图片中包含的障碍物信息,实施例步骤212具体可以包括:根据检测数据信息确定障碍物边缘像素点的坐标位置,并计算障碍物的占地面积;将障碍物的占地面积与预设面积阈值进行比较,进一步确定障碍物的大小属性;将障碍物的位置信息及障碍物的大小属性确定为障碍物信息。
例如,从障碍物C的障碍物信息中获取到对应的长度为x,宽度为y,则可初步计算出障碍物C的占地面积S为x*y,之后利用障碍物中各个像素点的坐标位置,修正计算出的占地面积S,并将占地面积S与预设阈值进行对比,进一步确定出障碍物C的大小属性。其中,预设阈值可根据大小属性的划分来设定具体的数值及阈值数量。
213、输出所有障碍物信息。
对于本实施例,在完成对车道损坏信息的检测后,可通过音频、视频、或文字等多种形式,将检测到的多个障碍物信息依次输出,即完成对高速公路路面障碍物的检测。另外,作为一种优选方式,在步骤211中,若未提取出检测出分量类别为障碍物的目标小块图像,则可在检测实施过程中直接输出未检测出障碍物信息的提示信息。即实现对目标检测图片中障碍物信息的排查。
通过上述检测高速公路中障碍物的方法,可在完成对目标检测图片的数据平滑处理后,利用边缘检测算法对获取到的目标检测图片进行边缘检测,获取边缘图片,之后对边缘图片采用霍夫变换检测直线,再根据直线区域的颜色特征找到车道线段、使用图形学膨胀操作将车道线段连接成连续的车道线,最终将确定出的车道区域进行小块分割处理,将小块图像输入训练好的目标检测模型中,获取车道区域图片对应的检测数据信息,最后从检测数据信息中提取出障碍物信息,并进行输出。本方案将计算机技术融合到障碍物的数据检测中,可增强检测的科学性、准确性,同样也能降低检测中的风险系数,保证检测过程的安全性。在检测过程中,无需到现场进行勘察,即可获取到关于障碍物较为精准的数据信息,从而根据障碍物的数据信息制定相关的清理策略;若从目标检测图片中未检测出障碍物信息,则可起到成功排查目标检测图片中车道障碍物的目的,使检测过程非常的方便高效。
进一步的,作为图1和图2所示方法的具体体现,本申请实施例提供了一种检测高速公路中障碍物的装置,如图3所示,该装置包括:处理模块31、分割模块32、确定模块33。
处理模块31,用于对获取到的目标检测图片进行数据平滑处理;
分割模块32,用于从处理后的目标检测图片中分割出车道区域图片;
确定模块33,用于基于目标检测算法对车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。
在具体的应用场景中,为了对获取到的目标检测图片进行数据平滑处理,从而排除噪声对检测过程的干扰,处理模块31,具体用于计算目标检测图片中各个像素点对应的高斯卷积核;将高斯卷积核与目标检测图片中对应像素点进行卷积运算,以平滑目标检测图片。
相应的,为了排除不相关图片干扰,从处理后的目标检测图片中分割出车道区域图片,分割模块32,具体用于提取目标检测图片中梯度强度大于预设梯度强度阈值的第一边缘像素点;若第一边缘像素点的梯度强度大于沿正负梯度方向上两个相邻第一边缘像素点的梯度强度,则将第一边缘像素点确定为第二边缘像素点,进一步确定出第一边缘像素点中包含的所有第二边缘像素点;利用双阈值法筛选出第二边缘像素点中包含的所有强边缘像素点;获取由所有强边缘像素点构成的边缘图片;通过霍夫变换检测边缘图片中的直线线段;基于直线线段的颜色特征提取出车道线线段;通过图形膨胀操作将车道线线段连接成车道线;分割出两侧外围车道线之间的车道区域图片。
在具体的应用场景中,为了基于目标检测算法对车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息,确定模块33,具体用于基于目标检测算法训练得到训练结果满足预设标准的目标检测模型;将车道区域图片输入目标检测模型中,获取车道区域图片对应的检测数据信息;根据检测数据信息确定目标检测图片中包含的障碍物信息。
相应的,为了训练得到训练结果满足预设标准的目标检测模型,确定模块33,具体用于采集多个车道区域的样本图像;标注样本图像中各个连通分量的位置坐标和类别信息;将已标注坐标位置的样本图像作为训练集,输入预先基于yolo目标检测算法创建的初始目标检测模型中;利用初始目标检测模型提取样本图像中各类连通分量的图像特征,并基于图像特征生成各个连通分量的建议窗口以及建议窗口对应各类连通分量的条件类别概率;将条件类别概率最大的连通分量类别确定为建议窗口内连通分量的类别识别结果;若判定所有建议窗口的置信度均大于第一预设阈值,且类别识别结果与标注的类别信息匹配,则判定初始目标检测模型通过训练;若判定初始目标检测模型未通过训练,则利用样本图像中标注的各个连通分量的位置坐标和类别信息修正训练初始目标检测模型,以使初始目标检测模型的判定结果满足预设标准。
在具体的应用场景中,为了获取车道区域图片对应的检测数据信息,确定模块33,具体用于将车道区域图片切分成预设数量个小块图像;利用目标检测模型确定各个小块图像的置信度;若置信度大于第二预设阈值,则进一步确定小块图像中包含的连通分量类别;提取出所有确定连通分量类别为障碍物的目标小块图像;将目标小块图像的坐标位置信息确定为检测数据信息。
相应的,为了从检测数据信息中筛选出障碍物信息,确定模块33,具体用于根据检测数据信息确定障碍物边缘像素点的坐标位置,并计算障碍物的占地面积;将障碍物的占地面积与预设面积阈值进行比较,进一步确定障碍物的大小属性;将障碍物的位置信息及障碍物的大小属性确定为障碍物信息。
在具体的应用场景中,为了将障碍物信息进行直观显示,如图4所示,本装置还包括:输出模块34。
输出模块34,可用于输出所有障碍物信息。
需要说明的是,本实施例提供的一种检测高速公路中障碍物的装置所涉及各功能单元的其它相应描述,可以参考图1至图2中的对应描述,在此不再赘述。
基于上述如图1和图2所示方法,相应的,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1和图2所示的检测高速公路中障碍物的方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法,以及图3、图4所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种计算机设备,具体可以为个人计算机、服务器、网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1和图2所示的检测高速公路中障碍物的方法。
可选地,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是检测高速公路中障碍物的实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信,以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案,与目前现有技术相比,本申请可在完成对目标检测图片的数据平滑处理后,利用边缘检测算法获取目标检测图片中的边缘图片,之后对边缘图片采用霍夫变换检测直线,再根据直线区域的颜色特征找到车道线段、使用图形学膨胀操作将车道线段连接成连续的车道线,最终将确定出的车道区域进行小块分割处理,将小块图像输入训练好的yolo目标检测模型中,获取车道区域图片对应的检测数据信息,最后从检测数据信息中提取出障碍物信息,并进行输出。本方案将计算机技术融合到障碍物的数据检测中,可增强检测的科学性、准确性,同样也能降低检测中的风险系数,保证检测过程的安全性。在检测过程中,无需到现场进行勘察,即可获取到关于障碍物较为精准的数据信息,从而根据障碍物的数据信息制定相关的清理策略;若从目标检测图片中未检测出障碍物信息,则可起到成功排查目标检测图片中车道障碍物的目的,使检测过程非常的方便高效。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种检测高速公路中障碍物的方法,其特征在于,包括:
对获取到的目标检测图片进行数据平滑处理;
从处理后的所述目标检测图片中分割出车道区域图片;
基于目标检测算法对所述车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。
2.根据权利要求1所述的方法,其特征在于,所述基于目标检测算法对所述车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息,具体包括:
基于目标检测算法训练得到训练结果满足预设标准的目标检测模型;
将所述车道区域图片输入所述目标检测模型中,获取所述车道区域图片对应的检测数据信息;
根据所述检测数据信息确定所述目标检测图片中包含的障碍物信息。
3.根据权利要求2所述的方法,其特征在于,所述基于目标检测算法训练得到训练结果满足预设标准的目标检测模型,具体包括:
采集多个车道区域的样本图像;
标注所述样本图像中各个连通分量的位置坐标和类别信息;
将已标注坐标位置的所述样本图像作为训练集,输入预先基于yolo目标检测算法创建的初始目标检测模型中;
利用所述初始目标检测模型提取所述样本图像中各类连通分量的图像特征,并基于所述图像特征生成各个所述连通分量的建议窗口以及所述建议窗口对应各类连通分量的条件类别概率;
将所述条件类别概率最大的连通分量类别确定为所述建议窗口内连通分量的类别识别结果;
若判定所有所述建议窗口的置信度均大于第一预设阈值,且所述类别识别结果与标注的所述类别信息匹配,则判定所述初始目标检测模型通过训练;
若判定所述初始目标检测模型未通过训练,则利用所述样本图像中标注的各个连通分量的位置坐标和类别信息修正训练所述初始目标检测模型,以使所述初始目标检测模型的判定结果满足预设标准。
4.根据权利要求3所述的方法,其特征在于,所述将所述车道区域图片输入所述目标检测模型中,获取所述车道区域图片对应的检测数据信息,具体包括:
将所述车道区域图片切分成预设数量个小块图像;
利用所述目标检测模型确定各个小块图像的置信度;
若所述置信度大于第二预设阈值,则进一步确定所述小块图像中包含的连通分量类别;
提取出所有确定所述连通分量类别为障碍物的目标小块图像;
将所述目标小块图像的坐标位置信息确定为所述检测数据信息。
5.根据权利要求4所述的方法,其特征在于,根据所述检测数据信息确定所述目标检测图片中包含的障碍物信息,具体包括:
根据所述检测数据信息确定障碍物边缘像素点的坐标位置,并计算所述障碍物的占地面积;
将所述障碍物的占地面积与预设面积阈值进行比较,进一步确定所述障碍物的大小属性;
将所述障碍物的位置信息及所述障碍物的大小属性确定为所述障碍物信息;
在根据所述检测数据信息确定所述目标检测图片中包含的障碍物信息之后,具体还包括:
输出所有所述障碍物信息。
6.根据权利要求1所述的方法,其特征在于,所述对获取到的目标检测图片进行数据平滑处理,具体包括:
计算所述目标检测图片中各个像素点对应的高斯卷积核;
将所述高斯卷积核与所述目标检测图片中对应像素点进行卷积运算,以平滑所述目标检测图片。
7.根据权利要求6所述的方法,其特征在于,所述从处理后的所述目标检测图片中分割出车道区域图片,具体包括:
提取所述目标检测图片中梯度强度大于预设梯度强度阈值的第一边缘像素点;
若所述第一边缘像素点的梯度强度大于沿正负梯度方向上两个相邻第一边缘像素点的梯度强度,则将所述第一边缘像素点确定为第二边缘像素点,进一步确定出所述第一边缘像素点中包含的所有所述第二边缘像素点;
利用双阈值法筛选出所述第二边缘像素点中包含的所有强边缘像素点;
获取由所有所述强边缘像素点构成的边缘图片;
通过霍夫变换检测所述边缘图片中的直线线段;
基于所述直线线段的颜色特征提取出车道线线段;
通过图形膨胀操作将所述车道线线段连接成车道线;
分割出两侧外围所述车道线之间的车道区域图片。
8.一种检测高速公路中障碍物的装置,其特征在于,包括:
处理模块,用于对获取到的目标检测图片进行数据平滑处理;
分割模块,用于从处理后的所述目标检测图片中分割出车道区域图片;
检测模块,用于基于目标检测算法对所述车道区域图片进行障碍物检测,确定高速公路中包含的障碍物信息。
9.一种非易失性可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至7中任一项所述的检测高速公路中障碍物的方法。
10.一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的检测高速公路中障碍物的方法。
CN201910625529.5A 2019-07-11 2019-07-11 一种检测高速公路中障碍物的方法、装置及计算机设备 Active CN110502983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625529.5A CN110502983B (zh) 2019-07-11 2019-07-11 一种检测高速公路中障碍物的方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625529.5A CN110502983B (zh) 2019-07-11 2019-07-11 一种检测高速公路中障碍物的方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110502983A true CN110502983A (zh) 2019-11-26
CN110502983B CN110502983B (zh) 2022-05-06

Family

ID=68585938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625529.5A Active CN110502983B (zh) 2019-07-11 2019-07-11 一种检测高速公路中障碍物的方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110502983B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462368A (zh) * 2020-11-25 2021-03-09 中国第一汽车股份有限公司 一种障碍物检测方法、装置、车辆及存储介质
CN113033433A (zh) * 2021-03-30 2021-06-25 北京斯年智驾科技有限公司 港口车道线检测方法、装置、系统、电子装置和存储介质
CN113095288A (zh) * 2021-04-30 2021-07-09 浙江吉利控股集团有限公司 障碍物漏检修复方法、装置、设备及存储介质
CN113378628A (zh) * 2021-04-27 2021-09-10 阿里云计算有限公司 一种道路障碍物区域检测方法
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113516322A (zh) * 2021-09-14 2021-10-19 南通海扬食品有限公司 基于人工智能的工厂障碍物风险评估方法及系统
CN113516010A (zh) * 2021-04-08 2021-10-19 柯利达信息技术有限公司 高速公路上异物智能网联识别与处理系统
CN116704473A (zh) * 2023-05-24 2023-09-05 禾多科技(北京)有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862620A (zh) * 2006-06-12 2006-11-15 黄席樾 高速公路汽车行驶智能检测预警方法及其预警系统
US20080046150A1 (en) * 1994-05-23 2008-02-21 Automotive Technologies International, Inc. System and Method for Detecting and Protecting Pedestrians
US20150302591A1 (en) * 2014-04-16 2015-10-22 Hyundai Motor Company System for detecting obstacle using road surface model setting and method thereof
US20160031372A1 (en) * 2005-11-23 2016-02-04 Mobileye Vision Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
CN107909010A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种道路障碍物检测方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046150A1 (en) * 1994-05-23 2008-02-21 Automotive Technologies International, Inc. System and Method for Detecting and Protecting Pedestrians
US20160031372A1 (en) * 2005-11-23 2016-02-04 Mobileye Vision Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
CN1862620A (zh) * 2006-06-12 2006-11-15 黄席樾 高速公路汽车行驶智能检测预警方法及其预警系统
US20150302591A1 (en) * 2014-04-16 2015-10-22 Hyundai Motor Company System for detecting obstacle using road surface model setting and method thereof
CN107909010A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种道路障碍物检测方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王磊等: "基于活动轮廓模型的道路障碍物检测算法的研究", 《控制工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462368A (zh) * 2020-11-25 2021-03-09 中国第一汽车股份有限公司 一种障碍物检测方法、装置、车辆及存储介质
CN112462368B (zh) * 2020-11-25 2022-07-12 中国第一汽车股份有限公司 一种障碍物检测方法、装置、车辆及存储介质
CN113033433A (zh) * 2021-03-30 2021-06-25 北京斯年智驾科技有限公司 港口车道线检测方法、装置、系统、电子装置和存储介质
CN113033433B (zh) * 2021-03-30 2024-03-15 北京斯年智驾科技有限公司 港口车道线检测方法、装置、系统、电子装置和存储介质
CN113516010A (zh) * 2021-04-08 2021-10-19 柯利达信息技术有限公司 高速公路上异物智能网联识别与处理系统
CN113378628A (zh) * 2021-04-27 2021-09-10 阿里云计算有限公司 一种道路障碍物区域检测方法
CN113095288A (zh) * 2021-04-30 2021-07-09 浙江吉利控股集团有限公司 障碍物漏检修复方法、装置、设备及存储介质
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113378752B (zh) * 2021-06-23 2022-09-06 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113516322A (zh) * 2021-09-14 2021-10-19 南通海扬食品有限公司 基于人工智能的工厂障碍物风险评估方法及系统
CN113516322B (zh) * 2021-09-14 2022-02-11 南通海扬食品有限公司 基于人工智能的工厂障碍物风险评估方法及系统
CN116704473A (zh) * 2023-05-24 2023-09-05 禾多科技(北京)有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质
CN116704473B (zh) * 2023-05-24 2024-03-08 禾多科技(北京)有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN110502983B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110502983A (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
Son et al. Real-time illumination invariant lane detection for lane departure warning system
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US9245200B2 (en) Method for detecting a straight line in a digital image
JP6662388B2 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
CN103268471B (zh) 一种车辆非法占道检测方法及装置
CN110491132B (zh) 基于视频帧图片分析的车辆违停检测方法及装置
CN111932537B (zh) 对象形变检测方法、装置、计算机设备和存储介质
Ding et al. An adaptive road ROI determination algorithm for lane detection
Danescu et al. Detection and classification of painted road objects for intersection assistance applications
CN110490839A (zh) 一种检测高速公路中损坏区域的方法、装置及计算机设备
Phung et al. Pedestrian lane detection in unstructured scenes for assistive navigation
CN105303189A (zh) 一种用于检测预定区域中特定标识图像的方法及装置
CN108280450A (zh) 一种基于车道线的高速公路路面检测方法
EP0380659A1 (en) Method of recognizing linear pattern
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
Hadjidemetriou et al. Vision-and entropy-based detection of distressed areas for integrated pavement condition assessment
CN109074490A (zh) 通路检测方法、相关装置及计算机可读存储介质
CN110619674B (zh) 用于事故和警情场景还原的三维增强现实设备及方法
Madrid et al. Lane departure warning for mobile devices based on a fuzzy representation of images
Boumediene et al. Triangular traffic signs detection based on RSLD algorithm
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
CN108052921B (zh) 一种车道线检测方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant