CN110502982A - 一种检测高速公路中障碍物的方法、装置及计算机设备 - Google Patents
一种检测高速公路中障碍物的方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN110502982A CN110502982A CN201910624978.8A CN201910624978A CN110502982A CN 110502982 A CN110502982 A CN 110502982A CN 201910624978 A CN201910624978 A CN 201910624978A CN 110502982 A CN110502982 A CN 110502982A
- Authority
- CN
- China
- Prior art keywords
- pixel
- lane
- target
- detection
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 159
- 230000004888 barrier function Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 239000000284 extract Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种检测高速公路中障碍物的方法、装置及计算机设备，涉及计算机技术领域，可以解决在进行高速公路中障碍物的检测时，容易产生的工作效率低下，准确性低，且危险系数高的问题。其中方法包括：对获取到的目标检测图片进行归一化处理；基于卷积神经网络从所述目标检测图片中分割出车道区域图片；分析所述车道区域图片中包含的障碍物信息。本申请适用于对高速公路中障碍物的检测。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及到一种检测高速公路中障碍物的方法、装置及计算机设备。
背景技术
高速公路具有行车通行量大，速度快，承受的负荷大等特点，随着机动车的普及，高速公路上行驶的车辆越来越多，来自机动车上的障碍物脱落(乘客丢弃或货物洒落等)，会引发一些严重的交通安全隐患。从而影响到公路的使用性，对通行的汽车造成安全隐患，故提高路面检测技术，增强路面障碍物检测的准确性以及及时性，对于公路尤其是高速公路的现代化水平有着重要的研究意义。
就国内外路面检测技术的发展而言，路面检测的自动化水平以及检测精度还需要进一步的提高，目前普遍采用的检测方法仍然为人工目测丈量的方法，但此种方法非常费工费时，效率低下，准确性低，且危险系数极高。
发明内容
有鉴于此，本申请提供了一种检测高速公路中障碍物的方法、装置及计算机设备，主要目的在于解决在对高速公路中障碍物的检测时，容易产生的效率低下，准确性低，且危险系数高的问题。
根据本申请的一个方面，提供了一种检测高速公路中障碍物的方法，该方法包括：
对获取到的目标检测图片进行归一化处理；
基于卷积神经网络从所述目标检测图片中分割出车道区域图片；
分析所述车道区域图片中包含的障碍物信息。
根据本申请的另一个方面，提供了一种检测高速公路中障碍物的装置，该装置包括：
处理模块，用于对获取到的目标检测图片进行归一化处理；
分割模块，用于基于卷积神经网络从所述目标检测图片中分割出车道区域图片；
分析模块，用于分析所述车道区域图片中包含的障碍物信息。
根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述检测高速公路中障碍物的方法。
根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述检测高速公路中障碍物的方法。
借由上述技术方案，本申请提供的一种检测高速公路中障碍物的方法、装置及计算机设备，与目前普遍采用的人工目测丈量的方式相比，本申请可通过无人机获取高速公路的高清航拍图片，将航拍图片作为待检测的目标检测图片，在对目标检测图片进行归一化处理后，基于卷积神经网络从目标检测图片中分割出车道区域图片，即将车道区域外的图片区域切除，之后对车道区域图片进行障碍物信息的检测，进一步获取到路面中的障碍物信息。通过本申请中的技术方案，可以有效减少利用人工丈量所耗费的时间，提高检测的效率；且将计算机技术融合到障碍物的数据检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数，保证检测过程的安全性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种检测高速公路中障碍物的方法的流程示意图；
图2示出了本申请实施例提供的另一种检测高速公路中障碍物的方法的流程示意图；
图3示出了本申请实施例提供的一种检测高速公路中障碍物的装置的结构示意图；
图4示出了本申请实施例提供的另一种检测高速公路中障碍物的装置的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
针对目前高速公路中障碍物进行检测时，容易产生的效率低下，准确性低，且危险系数高的问题，本申请实施例提供了一种检测高速公路中障碍物的方法，如图1所示，该方法包括：
101、对获取到的目标检测图片进行归一化处理。
其中，归一化处理是指对目标检测图片进行一系列标准的处理变换，使之变换为固定标准形式的过程，即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的目标检测图片转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。
图像归一化处理使得图像可以抵抗几何变换的攻击，它能够找出图像中的那些不变量，从而得知这些图像原本就是一样的或者一个系列的。例如，有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。
102、基于卷积神经网络从处理后的目标检测图片中分割出车道区域图片。
对于本实施例，在具体的应用场景中，为了排除不相关图像对高速公路中障碍物检测结果的干扰，故需要制定相关的策略排除这种图像识别干扰，进而使检测出的结果更为准确，在本实施例中，可通过识别高速公路中的车道区域图片，进而切除目标检测图片中车道区域图片之外的部分，起到排除干扰的目的。
103、对车道区域图片进行障碍物信息的检测。
对于本实施例，在确定出车道区域图片后，即进行对车道区域图片中障碍物信息的检测，在检测过程中，需要排除高速公路中的车辆、路标以及安全设备。若检测出障碍物，则输出障碍物信息到检测设备，无需到现场进行勘察，即可获取到关于障碍物较为精准的数据信息，从而根据障碍物的数据信息制定相关的清理策略；若从目标检测图片中未检测出障碍物信息，则可起到成功排查目标检测图片中车道障碍物的目的。
通过本实施例中检测高速公路中障碍物的方法，可以通过无人机定时获取高速公路的高清航拍图片，将航拍图片作为待检测的目标检测图片，在对目标检测图片进行归一化处理后，基于卷积神经网络从目标检测图片中分割出车道区域图片，即将车道区域外的图片区域切除，之后对车道区域图片进行障碍物信息的检测，进一步获取到路面中的障碍物信息。通过本申请中的技术方案，可以有效减少利用人工丈量所耗费的时间，提高检测的效率；且将计算机技术融合到障碍物的数据检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数，保证检测过程的安全性。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种检测高速公路中障碍物的方法，如图2所示，该方法包括：
201、对获取到的目标检测图片进行归一化处理。
对于本实施例，在具体的应用场景中，对获取到的目标检测图片进行归一化处理的步骤可为：利用目标检测图像中对仿射变换具有不变性的矩来确定变换函数的参数，然后利用此参数确定的变换函数把原始图像变换为一个标准形式的图像，该图像与仿射变换无关。一般说来，图像归一化过程包括4个步骤，即坐标中心化、x-shearing归一化、缩放归一化和旋转归一化。
202、标注样本图片中的车道线及车道线内的车道像素点。
对于本实施例，在具体的应用场景中，在进行标注时，无论是车道线还是虚线或者车道线被遮挡的情况，都需要把它们标注出来，并给每个车道像素(lane pixel)分配所属车道线的标识id。这样就算对车道线没有完全露出来的情况，卷积神经网络也可以比较好的学习。
实例分割(instance segmentation)的设计思想和传统统计学习的很多算法都类似，不同的车道线(lane)看作不同的类，而预测的结果力求类内最小化和类间最大化。使得属于同一条车道线的像素向量距离很小，属于不同车道线的像素向量距离很大。
203、利用标注好的样本图片训练车道线检测模型。
对于本实施例，在具体的应用场景中，可通过设计的损失函数来评定车道线检测模型的训练程度。实施例步骤203具体可以包括：创建损失函数，损失函数包括方差项和距离项；利用方差项确定样本图片中属于同一车道线的像素点，以使样本图片中同一车道线内的像素点与车道线中心点的距离小于第一预设阈值；利用距离项识别样本图片中不属于同一车道线的像素点，以使不同类别车道线的中心间距大于第二预设阈值；将利用损失函数划分出的车道线与样本图片中标注好的车道线进行对比，确定划分正确的像素点所占的比例；若比例大于第三预设阈值，则确定车道线检测模型通过训练。
其中，设定的损失函数可为：
方差项：
距离项：
总的损失函数Loss是方差项和距离项两个loss之和，即L＝Lvar+Ldist。
其中，第一个方差项公式的主要作用就是把属于同一条lane的像素点往一起推，如果像素点和车道线中心点距离超过第一预设阈值δv，就会产生loss；第二个距离项公式的主要作用是把不同类中心点往距离加大的方向拉，如果中心点之间的距离小于第二预设阈值δd，就会产生loss，在具体的应用场景中，可设置δd>6δv。在方差项和距离项两个公式中，C代表聚类的个数，NC代表每个聚类里面元素的个数，xi是嵌入像素，μc是聚类c的嵌入像素的平均值，||·||是L2距离，“+”的意思代表若大于等于0不变，否则看作0；第一预设阈值和第二预设阈值分别为同一车道线内像素点和车道线中心点的最大距离及两个相邻车道线中心点间的最小距离，均可根据车道线的设定标准或者具体的应用场景进行设定，第三预设阈值是用于判定车道线检测模型是否通过训练的评定标准，设定的最大值为1，最小值应大于0，设定的第三预设阈值越大，代表训练的精度越高，例如，若设定第三预设阈值为98％，将划分出的车道线与标注好的样本图片中的车道线进行对比，若确定划分正确的像素点个数为9905，而样本图片中包含的像素点总数为10000，则可计算出划分正确的像素点所占的比例为9905÷10000*100％＝99.05％，因计算出的正确识别比例大于第三预设阈值，则可确定车道线检测模型通过训练，即判定车道线检测模型可应用于实际场景的预测。
204、若判定车道线检测模型通过训练，则利用车道线检测模型确定目标检测图片中各个目标车道线的像素点集合。
对于本实施例，在具体的应用场景中，实施例步骤204具体可以包括：从目标检测图片中选取一个未标识的车道像素点，为车道像素点配置第一目标车道线的第一标识；利用方差项确定目标检测图片中与第一标识车道像素点的距离小于第一预设阈值的目标像素点；为目标像素点配置第一标识，用于继续查找第一目标车道线中的目标像素点，以便遍历查找出目标检测图片中第一目标车道线包含的所有像素点，并配置第一标识；在确定目标检测图片中不存在与配置第一标识的像素点距离小于第一预设阈值的目标像素点后，利用方差项及距离项继续对目标检测图片中未被标识的车道像素点进行目标车道线的划分，进一步分离出目标检测图片中包含的所有目标车道线及目标车道线中包含的所有像素点集合。
对于本实施例，用训练好的车道线检测模型去做预测的原理如下：随机选取一个车道像素(lane pixel)视作当前车道线lane内的点集，将周围和它距离小于类内点阈值(即设定的第一预设阈值)的所有点视作同一类，之后再遍历其它点，如果有某个点和点集内任意点距离小于第一预设阈值，则将该点加入点集，重复该过程直到点集不再发生变化，给这些点集分配一个lane的id；然后再选取没有被分配id的任意一个像素点，重复该过程，直至全部像素点均分配到具体的lane中，则可进一步确定出目标检测图片中各个目标车道线的像素点集合。
205、将各个目标车道线的像素点集合回归成目标车道线。
对于本实施例，在具体的应用场景中，实施例步骤205具体可以包括：获取目标车道线内的第一像素点；将像素点通过H-Net网络学习输出变换矩阵；利用变换矩阵将像素点变换为俯视图下的第二像素点；通过多项式及第二像素点中的纵坐标计算出第二像素点的修正横坐标；通过变换矩阵及第二像素点的修正横坐标确定第一像素点的修正横坐标；利用最小平方项对所有修正横坐标后的像素点进行曲线拟合，进一步得到连续的目标车道线。
相应的，将各个目标车道线的像素点集合回归成所述目标车道线的原理为：将目标检测图片输入H-Net网络中；H-Net网络输出转置矩阵H；使用转换矩阵H计算转换后的像素点P′i；使用最小二乘法对多项式的参数进行预测：w＝(YTY)-1YTx′，使用得到的多项式参数w＝[α,β,γ]T及y′i计算俯视图下像素点的修正横坐标即通过转置逆矩阵将投影回去，即Pi *＝H-1Pi′*，可计算得到修正后的像素点Pi *，Pi *对应的坐标即为经过修正后的像素点坐标；在完成对每条车道线中集合像素的修正后，利用最小平方项对所有修正后的像素点进行曲线拟合，进一步得到连续的车道线。
206、分割出两侧外围目标车道线之间的车道区域图片。
对于本实施例，在具体的应用场景中，在识别出所有的车道线后，可将两侧外围车道线之内的区域确定为车道区域，之后将车道区域图片分割出来，用于查找车道中存在的障碍物信息。
相应的，为了便于对图像的统一分析，在完成对车道区域图片的切割后，可将车道区域图片处理成预定格式大小，如可将图片尺寸缩放到480*640，并进行灰度化处理，在将车道区域图片缩放到480*640大小时，像素长为480，像素宽为640，它有横向480个像素和纵向640个像素,像素总数为480*640＝307,200。
207、将车道区域图片切分成预设数量个小块图像。
其中，预定数量可根据实际情况接受用户的自定义。
例如，基于步骤206的实例，若将图片尺寸缩放到480*640，且设置将车道区域图片不重叠的分割成40*40个小块，则切割完成后的每个小块图像中均包含12*16个像素点。
对于本实施例，在具体的应用场景中，在将车道区域图片切分成预设数量个小块图像之后，为了便于图像分析及障碍物的定位，需要对各个小块图像进行二值化处理，还需要确定每个小块像素点所在图形象限中的坐标位置。
208、计算各个小块图像内像素点的方差值。
相应的，计算每个小块图像方差值的目的是：通过方差大小显示小块中像素点的波动程度，即图像的高频部分的大小。其中，方差越大，说明像素点的波动越大，即说明存在异常像素，像素点聚集的越多，越有可能出现连通分量。
在具体的应用场景中，小块图像方差的计算方法为：
其中，dFi为每个小块图像的方差，x为每个小块图像中每个像素点的灰度值，xi为每个小块图像的平均灰度值，N为每个小块图像中像素点的个数。
209、通过方差值确定存在连通分量的目标小块图像。
其中，连通分量可包括障碍物，车辆、路标以及安全设备等。
在具体的应用场景中，如基于步骤207的实例，通过步骤208中方差计算公式分别计算出40*40个小块图像中每个小块图像对应的方差dFi,i＝1,2,3...40*40。则进一步对40*40个小块图像按照方差dFi大小进行顺序排列，按照排列顺序从列队中选取预定数量个方差较大的小块图片，将剩余的小块图像中所有的像素值置为0。这样进行处理的目的是为了直观显示出连通分量的位置信息，便于查询出存在连通分量的目标小块图像。
210、从目标小块图像包含的连通分量中提取出障碍物信息。
在具体的应用场景中，实施例步骤210具体可以包括：基于支持向量机创建用于区分所述连通分量类别的分类器；利用支持向量机分类器从连通分量中提取出所有障碍物信息。
相应的，支持向量机分类器(Support Vector Machine，SVM)的训练过程采用一对一法(one-versus-one,简称OVO SVMs或者pairwise)，具体可为：
若设定三类样本，分别为障碍物，汽车和其他，在任意两类样本之间设计一个支持向量机分类器SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。
例如有A,B,C三类，在训练的时候可选择A,B；A,C；B,C所对应的向量作为训练集，然后得到三个训练结果，在测试的时候，把对应的向量分别对三个结果进行测试，然后采取投票形式，最后将A,B,C三类中获得投票数最多的一类确定为训练出的识别结果。投票过程如下：
A＝B＝C＝0；
(A,B)-classifier如果是Awin,则A＝A+1；otherwise,B＝B+1；
(A,C)-classifier如果是Awin,则A＝A+1；otherwise,C＝C+1；
(B,C)-classifier如果是Bwin,则B＝B+1；otherwise,C＝C+1；
ThedecisionistheMax(A,B,C)。
在完成对所有目标小块图像中连通分量的类别确定后，则可提取出障碍物这一类别的所有连通分量，并分析确定对应的障碍物信息。其中，障碍物信息可包括障碍物所在小块图像及对应各个像素点的位置信息、障碍物的长度、宽度及高度。
211、根据障碍物信息确定障碍物的大小属性。
在具体的应用场景中，实施例步骤211具体可以包括：根据障碍物中各个像素点的坐标位置计算障碍物的占地面积；将障碍物的占地面积与预设阈值进行比较，进一步确定障碍物的大小属性。
例如，从障碍物A的障碍物信息中获取到对应的长度为x，宽度为y，则可初步计算出障碍物A的占地面积S为x*y，之后利用障碍物中各个像素点的坐标位置，修正计算出的占地面积S，并将占地面积S与预设阈值进行对比，进一步确定出障碍物A的大小属性。其中，预设阈值可根据大小属性的划分来设定具体的数值及阈值数量。
212、输出障碍物信息及障碍物的大小属性。
对于本实施例，在完成障碍物信息的检测后，可通过音频、视频、或文字等多种形式，将检测到的多个障碍物信息及障碍物的大小属性依次输出，即完成对高速公路路面障碍物的检测。另外，作为一种优选方式，在步骤210中，若未检测出障碍物信息，则可在检测实施过程中略过步骤211，直接输出未检测出障碍物信息的提示信息。
通过上述检测高速公路中障碍物的方法，可在完成对目标检测图片的归一化处理后，利用标注好的样本图片训练车道线检测模型，在车道线检测模型通过训练时，利用车道线检测模型确定目标检测图片中各个目标车道线的像素点集合，并进一步回归成目标车道线。提取两侧外围目标车道线之间的车道区域部分并进行小块分割处理，之后基于方差及支持向量机分类器从目标小块图像包含的连通分量中提取出障碍物信息，并在确定出障碍物的大小属性后，输出障碍物检测信息及大小属性。本方案将计算机技术融合到障碍物的数据检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数，保证检测过程的安全性。在检测过程中，无需到现场进行勘察，即可获取到关于障碍物较为精准的数据信息，从而根据障碍物的数据信息制定相关的清理策略；若从目标检测图片中未检测出障碍物信息，则可起到成功排查目标检测图片中车道障碍物的目的，使检测过程非常的方便高效。
进一步的，作为图1和图2所示方法的具体体现，本申请实施例提供了一种检测高速公路中障碍物的装置，如图3所示，该装置包括：处理模块31、分割模块32、检测模块33。
处理模块31，可用于对获取到的目标检测图片进行归一化处理；
分割模块32，可用于基于卷积神经网络从处理后的目标检测图片中分割出车道区域图片；
检测模块33，可用于对车道区域图片进行障碍物信息的检测。
在具体的应用场景中，为了准确从目标检测图片中分割出车道区域图片，分割模块32，具体可用于标注样本图片中的车道线及车道线内的车道像素点；利用标注好的样本图片训练车道线检测模型；若判定车道线检测模型通过训练，则利用车道线检测模型确定目标检测图片中各个目标车道线的像素点集合；将各个目标车道线的像素点集合回归成目标车道线；分割出两侧外围目标车道线之间的车道区域图片。
相应的，为了利用标注好的样本图片实现对车道线检测模型的训练，分割模块32，具体可用于创建损失函数，损失函数包括方差项和距离项；利用方差项确定样本图片中属于同一车道线的像素点，以使样本图片中同一车道线内的像素点与车道线中心点的距离小于第一预设阈值；利用距离项识别样本图片中不属于同一车道线的像素点，以使不同类别车道线的中心间距大于第二预设阈值；将利用损失函数划分出的车道线与样本图片中标注好的车道线进行对比，确定划分正确的像素点所占的比例；若比例大于第三预设阈值，则确定车道线检测模型通过训练。
在具体的应用场景中，若判定车道线检测模型通过训练，为了利用标注好的样本图片训练车道线检测模型，分割模块32，具体可用于从目标检测图片中选取一个未标识的车道像素点，为车道像素点配置第一目标车道线的第一标识；利用方差项确定目标检测图片中与第一标识车道像素点的距离小于第一预设阈值的目标像素点；为目标像素点配置第一标识，用于继续查找第一目标车道线中的目标像素点，以便遍历查找出目标检测图片中第一目标车道线包含的所有像素点，并配置第一标识；在确定目标检测图片中不存在与配置第一标识的像素点距离小于第一预设阈值的目标像素点后，利用方差项及距离项继续对目标检测图片中未被标识的车道像素点进行目标车道线的划分，进一步分离出目标检测图片中包含的所有目标车道线及目标车道线中包含的所有像素点集合。
相应的，为了实现将各个目标车道线的像素点集合回归成目标车道线，分割模块32，具体可用于获取目标车道线内的第一像素点；将像素点通过H-Net网络学习输出变换矩阵；利用变换矩阵将像素点变换为俯视图下的第二像素点；通过多项式及第二像素点中的纵坐标计算出第二像素点的修正横坐标；通过变换矩阵及第二像素点的修正横坐标确定第一像素点的修正横坐标；利用最小平方项对所有修正横坐标后的像素点进行曲线拟合，进一步得到连续的目标车道线。
在具体的应用场景中，为了检测出车道区域图片中包含的障碍物信息，检测模块33，具体可用于将车道区域图片切分成预设数量个小块图像；计算各个小块图像内像素点的方差值；通过方差值确定存在连通分量的目标小块图像；从目标小块图像包含的连通分量中提取出障碍物信息。
相应的，为了精确提取出障碍物信息，检测模块33，具体可用于基于支持向量机创建用于区分连通分量类别的分类器；利用支持向量机分类器从连通分量中提取出所有障碍物信息。
在具体的应用场景中，为了将障碍物信息进行直观显示，如图4所示，本装置还包括：计算模块34、确定模块35、输出模块36。
计算模块34，可用于根据所述障碍物中各个像素点的坐标位置计算所述障碍物的占地面积；
确定模块35，可用于将所述障碍物的占地面积与预设阈值进行比较，进一步确定所述障碍物的大小属性；
输出模块36，可用于输出障碍物信息及障碍物的大小属性。
需要说明的是，本实施例提供的一种检测高速公路中障碍物的装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的检测高速公路中障碍物的方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的检测高速公路中障碍物的方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是检测高速公路中障碍物的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请可在完成对目标检测图片的归一化处理后，利用标注好的样本图片训练车道线检测模型，在车道线检测模型通过训练时，利用车道线检测模型确定目标检测图片中各个目标车道线的像素点集合，并进一步回归成目标车道线。提取两侧外围目标车道线之间的车道区域部分并进行小块分割处理，之后基于方差及支持向量机分类器从目标小块图像包含的连通分量中提取出障碍物信息，并在确定出障碍物的大小属性后，输出障碍物检测信息及大小属性。本方案将将计算机技术融合到障碍物的数据检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数，保证检测过程的安全性。在检测过程中，无需到现场进行勘察，即可获取到关于障碍物较为精准的数据信息，从而根据障碍物的数据信息制定相关的清理策略；若从目标检测图片中未检测出障碍物信息，则可起到成功排查目标检测图片中车道障碍物的目的，使检测过程非常的方便高效。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种检测高速公路中障碍物的方法，其特征在于，包括：
对获取到的目标检测图片进行归一化处理；
基于卷积神经网络从处理后的所述目标检测图片中分割出车道区域图片；
对所述车道区域图片进行障碍物信息的检测。
2.根据权利要求1所述的方法，其特征在于，所述基于卷积神经网络从处理后的所述目标检测图片中分割出车道区域图片，具体包括：
标注样本图片中的车道线及所述车道线内的车道像素点；
利用标注好的所述样本图片训练车道线检测模型；
若判定所述车道线检测模型通过训练，则利用所述车道线检测模型确定所述目标检测图片中各个目标车道线的像素点集合；
将所述各个目标车道线的像素点集合回归成所述目标车道线；
分割出两侧外围所述目标车道线之间的所述车道区域图片。
3.根据权利要求2所述的方法，其特征在于，所述利用标注好的所述样本图片训练车道线检测模型，具体包括：
创建损失函数，所述损失函数包括方差项和距离项；
利用所述方差项确定所述样本图片中属于同一车道线的像素点，以使所述样本图片中同一车道线内的像素点与所述车道线中心点的距离小于第一预设阈值；
利用所述距离项识别所述样本图片中不属于同一车道线的像素点，以使不同类别车道线的中心间距大于第二预设阈值；
将利用所述损失函数划分出的车道线与所述样本图片中标注好的车道线进行对比，确定划分正确的像素点所占的比例；
若所述比例大于第三预设阈值，则确定所述车道线检测模型通过训练；
所述利用所述车道线检测模型确定所述目标检测图片中各个目标车道线的像素点集合，具体包括：
从所述目标检测图片中选取一个未标识的车道像素点，为所述车道像素点配置第一目标车道线的第一标识；
利用所述方差项确定所述目标检测图片中与第一标识车道像素点的距离小于所述第一预设阈值的目标像素点；
为所述目标像素点配置所述第一标识，用于继续查找所述第一目标车道线中的所述目标像素点，以便遍历查找出所述目标检测图片中第一目标车道线包含的所有像素点，并配置所述第一标识；
在确定所述目标检测图片中不存在与配置第一标识的像素点距离小于所述第一预设阈值的目标像素点后，利用所述方差项及所述距离项继续对所述目标检测图片中未被标识的车道像素点进行所述目标车道线的划分，进一步分离出所述目标检测图片中包含的所有目标车道线及所述目标车道线中包含的所有像素点集合。
4.根据权利要求3所述的方法，其特征在于，所述将所述各个目标车道线的像素点集合回归成所述目标车道线，具体包括：
获取所述目标车道线内的第一像素点；
将所述像素点通过H-Net网络学习输出变换矩阵；
利用所述变换矩阵将所述像素点变换为俯视图下的第二像素点；
通过多项式及所述第二像素点中的纵坐标计算出所述第二像素点的修正横坐标；
通过所述变换矩阵及所述第二像素点的修正横坐标确定所述第一像素点的修正横坐标；
利用最小平方项对所有修正横坐标后的像素点进行曲线拟合，进一步得到连续的所述目标车道线。
5.根据权利要求4所述的方法，其特征在于，所述对所述车道区域图片进行障碍物信息的检测，具体包括：
将所述车道区域图片切分成预设数量个小块图像；
计算各个所述小块图像内像素点的方差值；
通过所述方差值确定存在连通分量的目标小块图像；
从所述目标小块图像包含的所述连通分量中提取出障碍物信息。
6.根据权利要求5所述的方法，其特征在于，所述从所述目标小块图像包含的所述连通分量中提取出障碍物信息，具体包括：
基于支持向量机创建用于区分所述连通分量类别的分类器；
利用所述分类器从所述连通分量中提取出所有所述障碍物信息。
7.根据权利要求6所述的方法，其特征在于，在从所述目标小块图像包含的所述连通分量中提取出障碍物信息之后，具体还包括：
根据所述障碍物中各个像素点的坐标位置计算所述障碍物的占地面积；
将所述障碍物的占地面积与预设阈值进行比较，进一步确定所述障碍物的大小属性；
输出所述障碍物信息及所述障碍物的大小属性。
8.一种检测高速公路中障碍物的装置，其特征在于，包括：
处理模块，用于对获取到的目标检测图片进行归一化处理；
分割模块，用于基于卷积神经网络从处理后的所述目标检测图片中分割出车道区域图片；
分析模块，用于分析所述车道区域图片中包含的障碍物信息。
9.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的检测高速公路中障碍物的方法。
10.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的检测高速公路中障碍物的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624978.8A CN110502982B (zh) | 2019-07-11 | 2019-07-11 | 一种检测高速公路中障碍物的方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624978.8A CN110502982B (zh) | 2019-07-11 | 2019-07-11 | 一种检测高速公路中障碍物的方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110502982A true CN110502982A (zh) | 2019-11-26 |
| CN110502982B CN110502982B (zh) | 2024-03-05 |
Family
ID=68585582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910624978.8A Active CN110502982B (zh) | 2019-07-11 | 2019-07-11 | 一种检测高速公路中障碍物的方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502982B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956128A (zh) * | 2019-11-28 | 2020-04-03 | 重庆中星微人工智能芯片技术有限公司 | 生成车道线图像的方法、装置、电子设备和介质 |
| CN111008600A (zh) * | 2019-12-06 | 2020-04-14 | 中国科学技术大学 | 一种车道线检测方法 |
| CN111401251A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 车道线提取方法、装置、电子设备及计算机可读存储介质 |
| CN112329631A (zh) * | 2020-11-05 | 2021-02-05 | 浙江点辰航空科技有限公司 | 一种使用无人机对高速公路进行车流量统计的方法 |
| CN112784797A (zh) * | 2021-01-29 | 2021-05-11 | 北京百度网讯科技有限公司 | 目标图像识别方法和装置 |
| CN112926365A (zh) * | 2019-12-06 | 2021-06-08 | 广州汽车集团股份有限公司 | 一种车道线检测方法及其系统 |
| CN113096016A (zh) * | 2021-04-12 | 2021-07-09 | 广东省智能机器人研究院 | 一种低空航拍图像拼接方法和系统 |
| CN113392762A (zh) * | 2021-06-15 | 2021-09-14 | 北京纵目安驰智能科技有限公司 | 路口的检测方法、系统、终端及计算机可读存储介质 |
| CN115131957A (zh) * | 2021-03-19 | 2022-09-30 | 三一汽车制造有限公司 | 路况预警方法及装置 |
| CN116164770A (zh) * | 2023-04-23 | 2023-05-26 | 禾多科技（北京）有限公司 | 路径规划方法、装置、电子设备和计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066986A (zh) * | 2017-04-21 | 2017-08-18 | 哈尔滨工业大学 | 一种基于单目视觉的车道线与前方障碍物检测方法 |
| WO2018120027A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种障碍物检测方法及装置 |
| CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的系统 |
| US20190065867A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
-
2019
- 2019-07-11 CN CN201910624978.8A patent/CN110502982B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120027A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种障碍物检测方法及装置 |
| CN107066986A (zh) * | 2017-04-21 | 2017-08-18 | 哈尔滨工业大学 | 一种基于单目视觉的车道线与前方障碍物检测方法 |
| US20190065867A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
| CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的系统 |
Non-Patent Citations (1)
| Title |
|---|
| BERT DE BRABANDERE ET AL.: "Semantic Instance Segmentation with a Discriminative Loss Function", 《ARXIV:1708.02551V1》, pages 1 - 10 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956128A (zh) * | 2019-11-28 | 2020-04-03 | 重庆中星微人工智能芯片技术有限公司 | 生成车道线图像的方法、装置、电子设备和介质 |
| CN111008600B (zh) * | 2019-12-06 | 2023-04-07 | 中国科学技术大学 | 一种车道线检测方法 |
| CN111008600A (zh) * | 2019-12-06 | 2020-04-14 | 中国科学技术大学 | 一种车道线检测方法 |
| CN112926365A (zh) * | 2019-12-06 | 2021-06-08 | 广州汽车集团股份有限公司 | 一种车道线检测方法及其系统 |
| CN111401251A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 车道线提取方法、装置、电子设备及计算机可读存储介质 |
| CN111401251B (zh) * | 2020-03-17 | 2023-12-26 | 北京百度网讯科技有限公司 | 车道线提取方法、装置、电子设备及计算机可读存储介质 |
| CN112329631A (zh) * | 2020-11-05 | 2021-02-05 | 浙江点辰航空科技有限公司 | 一种使用无人机对高速公路进行车流量统计的方法 |
| CN112784797A (zh) * | 2021-01-29 | 2021-05-11 | 北京百度网讯科技有限公司 | 目标图像识别方法和装置 |
| CN115131957A (zh) * | 2021-03-19 | 2022-09-30 | 三一汽车制造有限公司 | 路况预警方法及装置 |
| CN115131957B (zh) * | 2021-03-19 | 2024-02-23 | 三一汽车制造有限公司 | 路况预警方法及装置 |
| CN113096016A (zh) * | 2021-04-12 | 2021-07-09 | 广东省智能机器人研究院 | 一种低空航拍图像拼接方法和系统 |
| CN113392762A (zh) * | 2021-06-15 | 2021-09-14 | 北京纵目安驰智能科技有限公司 | 路口的检测方法、系统、终端及计算机可读存储介质 |
| CN113392762B (zh) * | 2021-06-15 | 2024-04-26 | 北京纵目安驰智能科技有限公司 | 路口的检测方法、系统、终端及计算机可读存储介质 |
| CN116164770A (zh) * | 2023-04-23 | 2023-05-26 | 禾多科技（北京）有限公司 | 路径规划方法、装置、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110502982B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502982A (zh) | 一种检测高速公路中障碍物的方法、装置及计算机设备 | |
| JP6832504B2 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
| WO2022083402A1 (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| US20180189577A1 (en) | Systems and methods for lane-marker detection | |
| Huang et al. | Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads | |
| US20130258107A1 (en) | Method of determining parking lot occupancy from digital camera images | |
| CN108280477A (zh) | 用于聚类图像的方法和装置 | |
| CN110751012B (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
| US11255678B2 (en) | Classifying entities in digital maps using discrete non-trace positioning data | |
| CN111652230B (zh) | 车牌识别方法、电子设备及存储介质 | |
| CN110490839A (zh) | 一种检测高速公路中损坏区域的方法、装置及计算机设备 | |
| CN108304852B (zh) | 道路路段类型的确定方法、装置以及存储介质、电子装置 | |
| US20170053172A1 (en) | Image processing apparatus, and image processing method | |
| CN117542223B (zh) | 基于计算机视觉的停车管理方法及系统 | |
| JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
| CN112990009A (zh) | 基于端到端的车道线检测方法、装置、设备及存储介质 | |
| CN113673288A (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
| CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN115131726A (zh) | 一种车位检测方法、装置、设备及介质 | |
| CN114842198A (zh) | 车辆智能定损方法、装置、设备及存储介质 | |
| CN112381034A (zh) | 一种车道线检测方法、装置、设备及存储介质 | |
| Cheda et al. | Pedestrian candidates generation using monocular cues | |
| Pai et al. | Realization of Internet of vehicles technology integrated into an augmented reality system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |