CN113989779A - 一种港口码头辅助障碍物过滤的快速车道线检测方法 - Google Patents
一种港口码头辅助障碍物过滤的快速车道线检测方法 Download PDFInfo
- Publication number
- CN113989779A CN113989779A CN202111282391.7A CN202111282391A CN113989779A CN 113989779 A CN113989779 A CN 113989779A CN 202111282391 A CN202111282391 A CN 202111282391A CN 113989779 A CN113989779 A CN 113989779A
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- lane
- line
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000001914 filtration Methods 0.000 title claims abstract description 22
- 230000004888 barrier function Effects 0.000 title claims description 11
- 238000003708 edge detection Methods 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 31
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000004660 morphological change Effects 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 claims description 2
- 238000013526 transfer learning Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003628 erosive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000006740 morphological transformation Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种港口码头辅助障碍物过滤的快速车道线检测方法，包括：步骤1，安装摄像头，采集数据微调预训练模型用于障碍物检测，实时读取图片并检测画面中的障碍物；步骤2，根据HSV颜色空间信息，设置色域提取范围，并行地从实时图像中提取出车道线信息然后进行降噪处理；步骤3，对提取出的车道线信息进行滤波、边缘检测、直线检测，得到候选直线列表；步骤4，过滤候选直线中的相似直线，设置规则进行筛选，直至找到左右两条内侧车道线；步骤5，确定左右车道线后进行延长，得到需要预警的危险区范围，结合障碍物检测得到的目标信息，落在该危险区内的给出预警信号。本发明在障碍物检测结果的基础上可以完成障碍物检测结果的过滤及预警。
Description
技术领域
本发明涉及车道线检测方法，特别是一种港口码头辅助障碍物过滤的快速车道线检测方法。
背景技术
港口码头货运主要工作任务是进行集装箱的堆码和运输，而具体实施方式需要工作人员驾驶相关运输车辆来完成各项任务，这些器械仅用于港口码头等类似场景，设计重心在于货物的堆码和运输，相比之下其驾驶系统的设计比较简单，仅需满足在港口码头此类场地上按照地面标定的固定宽度的黄色专用行驶车道线上行驶即可，而工作人员驾驶运输器械需要避开行驶方向前方的障碍物，场景内其余不影响运输器械行驶的障碍物则不需要考虑。为了适配于集装箱的大小及港口码头作业环境，一般运输车辆的司机室位置都比较高，照明设备也较为简单，光线条件不佳且存在视野盲区，因此司机在完成作业任务时难以兼顾运输车辆的运行方向是否偏离标准车道线位置以及判断障碍物是否位于行驶方向正前方并避障。当运输器械负重行驶时，如果前方有行人或者障碍物但没能及时减速停车，就很有可能造成货损或者人员伤亡。而出现在摄像头视野中但并未影响运输器械行驶的障碍物如果不加以筛选，则会导致运输器械无故停车，影响工作效率。因此，需要通过辅助手段，及时判断运输器械是否偏离预定行驶路线以及行驶方向上是否存在障碍物遮挡，从而提前预警，工作人员在系统预警下做出是否需要减速或停车的操控判断。
目前常见的车道线检测的方法主要可以分为两大类：基于传统视觉算法的方法、基于深度学习模型的方法。基于传统视觉的方法计算速度较快，通常以线性或者曲线为基准模板对视觉图像进行分析，但由于实际汽车行驶的路面环境较复杂，该类方法需要考虑众多环境因素且准确度不高。基于深度学习模型的方法需要针对车道线检测这一任务构建网络模型，使用卷积神经网络的方法训练预先标记好的样本集以获取网络参数，计算成本高且算法运行速度慢。现有车道线检测技术处理的车道线环境过于复杂，需要充分考虑地面标识、人行道、弯道、交叉路口等复杂的路面情况，为了保证车道线检测的鲁棒性强，在准确率上就会有一定损失。
发明内容
发明目的：港口码头等工业场景有着车道线标志单一、干扰元素少的特点，且该场景下较复杂和耗时的任务是障碍物识别，因此需要一种计算速度快、准确率高的车道线检测方法，用于后续障碍物的筛选和过滤，该方法的时间成本和计算成本应尽可能低。以检测出的车道线为基准，结合目标检测得到的画面障碍物信息，判断画面中哪些障碍物位于车道线内侧，即预警区域内，落在该区域内侧的障碍物则系统给出预警信号。
为了解决上述问题，本发明公开了一种港口码头辅助障碍物过滤的快速车道线检测方法，该方法适用于码头港口等车道线信息简单的工业场景，耗时短准确率高，可以用作障碍物检测后的区域过滤，辅助筛选视野中需要给出预警的障碍物。包括如下步骤：
步骤1，安装单目摄像头并收集实际场景下的RGB图像数据构成数据集，基于该数据集对目标检测模型centerNet进行调整训练，将实时读取的RGB图像送入调整后的模型进行检测，得到每帧图像中的障碍物列表O1；
步骤2，设定感兴趣区域ROI为图像下1/2区域，根据所述感兴趣区域ROI对读取的RGB图像进行拷贝裁剪；
步骤3，将步骤2中裁剪后的图像进行色度转换，从RGB图像转为HSV图像；根据实际场景的黄色车道线设定色域范围，记上限为upper，下限为lower，根据此色域范围从HSV图像中提取出车道线信息，结果为二值图；
步骤4，对步骤3得到的二值图进行两次形态学变化，分别对白色区域和黑色区域进行降噪以及修复误差；
步骤5，对步骤4处理后的图像分别进行高斯模糊、边缘检测以及直线检测，得到图像中与车道线相关的一组直线列表L1；
步骤6，遍历步骤5得到的直线列表L1，过滤近似直线，并选出斜率最大和最小的两条直线作为左右两条内侧车道线的候选直线，分别记为lmax、lmin；
步骤7，根据摄像头与车道线的相对位置及视觉原理，判断左右两侧候选车道线lmax、lmin是否需要替换，假设lmax需要被替换，则将该直线从列表L1中删除并选出新的lmax，重复此操作直至左右两侧候选车道线lmax、lmin均满足预设条件；
步骤8，延长内侧左右两侧车道线lmax、lmin得到一个近似三角区A1，在该区域内的障碍物则认为是遮挡运输车行进的障碍物，判断障碍物列表O1中障碍物是否落在该近似三角区A1内侧，即车道线以内，若是，则进行预警，否则不预警；
步骤9，摄像头安装完成后角度固定，根据安装角度标定车道线在摄像头画面中左右车道线的标准位置lleft、lright，据此可以计算lleft、lright的车道线对称轴lsymmetry，若实时检测中只得到内侧左右两侧车道线lmax、lmin的其中一个，则以对称轴lsymmetry为参考，补全另一个。
步骤1中，每个运输车仅需安装一个摄像头，避免了激光设备高昂的成本和双目摄像头复杂的标定程序，部署设备后采集实际场景下的图像数据，采集的数据需要覆盖有障碍物和无障碍物的情况；结合迁移学习，将采集到的数据集进行标注并用于训练目标检测模型CenterNet官方提供的以101个隐藏层的残差网络ResNet-101为模型核心backbone的预训练模型，模型在进行快速的调整后更适配于真实使用环境，即可用于后续障碍物的检测；参考文献：Zhou，Xingyi，Dequan Wang and Philipp
“Objects asPoints.”ArXiv abs/1904.07850(2019)：n.pag.。
步骤2中，实时读取RGB图像进行车道线检测(步骤2-步骤9)与步骤1所述的障碍物检测可以并行，进一步缩短整个系统的运算时间。根据摄像头的安装位置及拍摄角度，实际场景采集的图像中，车道线信息集中位于图像下1/3区域，为了增加容错率，将感兴趣区域ROI窗口设置为1/2图像大小。最终采用的感兴趣区域ROI窗口左上角顶点为
右下角顶点为[cols，rows]，其中rows为图像纵向宽度，cols为横向长度，单位均为像素pixel，顶点坐标遵循图像坐标系，即感兴趣区域ROI窗口为
步骤3中，将读取的RGB图像进行色度空间转换，从RGB图像转为HSV图像，HSV的三个分量分别包含了色调、饱和度、明度三个层面的信息。再设置目标色域范围，本方法中设置的目标颜色即为标示车道线的黄色；参考文献：S.Sural，Gang Qian and S.Pramanik，″Segmentation and histogram generation using the HSV color space for imageretrieval，″Proceedings.International Conference on Image Processing，2002，pp.II-II，doi：10.1109/ICIP.2002.1040019.。
根据HSV颜色空间中的颜色数据，或是从实际场景中不同光线拍摄得到的图像中提取车道线所在位置的HSV值得到一组变化范围，可得到一组车道线的颜色范围参数，上限为upper，下限为lower。根据设定的色域范围使用opencv软件库中的inRange函数对HSV图像进行车道线信息提取，落在范围内的判定是所需车道线信息，覆盖为白色(像素值为255)，未落在范围内的覆盖为黑色(像素值为0)，得到一张8位单通道的二值图。
步骤4中，对步骤3中利用上下限双阈值二值化后的图像进行降噪，步骤4中的降噪操作需要根据像素点是黑色或是白色来区分像素点类型，分别对白色区域和黑色区域进行降噪；参考文献：Merzougui R,Hadjila M,Benmessaoud N,et al.Tele-OphthalmologyAndroid Application:Design and Implementation[J].INTERNATIONAL JOURNAL OFADVANCED COMPUTER SCIENCE AND APPLICATIONS,2018,9(11):632-638。具体步骤如下：
步骤4-1，对含有车道线信息的二值图先做erode(图像腐蚀)，再做dilate(图像膨胀)，操作单元大小为2×2像素大小，用于去除车道线区域所含噪声，具体通过opencv软件库中的形态学变换函数morphologyEx来实现，先erode(图像腐蚀)再dilate(图像膨胀)在morphologyEx函数中即为MORPH_OPEN(开运算，先腐蚀后膨胀)运行模式；参考文献：Brahmbhatt,Samarth.Practical OpenCV.Apress,2013.；
步骤4-2，对步骤4-1得到的结果图再用3×3像素大小的操作单元先dilate(图像膨胀)，再erode(图像腐蚀)，用于去除环境噪声并连接轻微分段的车道线，因此需要适当放大操作单元的大小来实现连接轻微分段的车道线的效果，先dilate(图像膨胀)再erode(图像腐蚀)在morphologyEx函数中即为MORPH_CLOSE(闭运算，先膨胀后腐蚀)运行模式。
步骤5中，有别于步骤4中区分像素点类型进行的降噪，步骤5中不区分像素点类型，进行全局降噪并检测边缘和直线信息。具体步骤如下：
步骤5-1：对步骤4得到得结果图进行高斯滤波Gaussian filter，不区分像素点类型，在整个图像窗口中进行滤波，用一个卷积核(常用3×3像素大小)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，对于一个位置(m,n)的像素点，其灰度值(这里只考虑二值图)为f(m,n)，那么经过高斯滤波后的灰度值将变为：
参考文献：Robert A.Hummel,B.Kimia,Steven W.Zucker,Deblurring Gaussianblur,Computer Vision,Graphics,and Image Processing,Volume 38,Issue 1,1987,Pages66-80，ISSN 0734-189X；
步骤5-2：对步骤5-1滤波后的图片进行Canny边缘检测，首先进行图像灰度化，只有灰度图才能进行边缘检测；再使用高斯滤波器，以平滑图像；然后计算图像中每个像素点的梯度强度和方向；进一步应用非极大值抑制Non-Maximum Suppression，以消除边缘检测带来的杂散响应；接着应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；最后通过抑制孤立的弱边缘最终完成边缘检测，提取出车道线轮廓。Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘。边缘检测的算子(如Roberts算子，Prewitt算子，Sobel算子等)返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ：
其中G为梯度强度，θ表示梯度方向，arctan为反正切函数。
参考文献：Canny J.A computational approach to edge detection[J].IEEETransactions on pattern analysis and machine intelligence，1986(6)：679-698.
步骤5-3：对步骤5-2提取出的轮廓再进行Hough直线检测，通过opencv软件库中的HoughLinesP函数实现，得到与车道线相关的候选直线列表L1。
步骤6中，需要检查列表L1中的所有直线，对相似直线进行过滤，过滤完成后按斜率大小顺序选出两侧车道线的候选直线。具体步骤如下：
步骤6-1：遍历步骤5得到的候选直线列表L1，参考图像坐标系计算每条直线的斜率k和截距b，对于首次出现的直线直接存入新的列表L2，继续遍历列表L1，若当前直线与列表L2中已存入的某直线斜率k差值在阈值Δk_threshold(Δk_threshold＝0.5)以内或截距b差值在阈值Δb_threshold(Δb_threshold＝50)像素以内，则认为当前直线已出现过，跳过该直线继续遍历列表L1，直至列表L1中所有直线均被遍历且列表L2中不存在近似直线；
步骤6-2：根据视觉原理，最内侧的两条车道线应为纵向直线，且斜率值分别为最小和最大，因此从列表L2中选出斜率值k最大和最小的两条直线，分别记为lmax、lmin，作为左右两条内侧车道线的候选直线。
步骤7中，设定规则判断候选直线lmax、lmin的位置特征及相对关系是否能够构成两条内侧车道线，利用如下规则即可筛选出位于合理位置的候选直线，作为内侧两条车道线：
(1)左侧车道线应是候选直线中斜率k最小的直线且截距值不小于图像高度值的1/2；
(2)右侧车道线应是候选直线中斜率k最大的直线且截距值不大于图像高度值的1/2再取反；
(3)右侧车道线不会出现在左侧车道线的左边；
(4)左侧车道线斜率值一定为负数且其斜率绝对值不小于阈值k_threshold(k_threshold＝0.5)；
(5)右侧车道线斜率值一定为正数且其斜率绝对值不小于阈值k_threshold(k_threshold＝0.5)；
(6)左右两侧车道线与图像底部交点的坐标差不小于图像宽度的1/10；
(7)按照图像坐标系沿着x轴将图像的长边从左至右三等分，原图像横向长度范围为[0，cols]，三等分后得到三个分段：
cols为横向长度；其中：左侧车道线与图像下边缘的交点不落在第3个分段内，右侧车道线与图像下边缘的交点不落在第1个分段内；
判断当前内侧车道线的两条候选直线是否满足上述条件，若任意一条不满足，则从列表L2中删除该直线并重新遍历列表L2选择新的候选车道线，重复步骤7直至l_max、l_min能够作为最终的内侧车道线或列表L2为空。
步骤8中，利用步骤7得到的内侧左右两条车道线信息，结合感兴趣区域ROI窗口和图像坐标系，建立当前裁剪后图像坐标系与原图像坐标系的映射关系。在读取的原RGB图像上绘制左右两条内侧车道线lmax、lmin并延长，得到一个封闭的三角区或上底边较窄的近似三角区A1，该区域以内的障碍物即为运输车辆行驶路线上需要预警的障碍物，图像内检测出但未落在近似三角区A1区域内的障碍物则被过滤掉不预警。
步骤9中，根据摄像头的安装位置和拍摄角度对内侧车道线在画面中的标准位置进行标定，分别记为lleft、lright，据此可以计算运输车处于标准运行位置时的车道线对称轴lsymmetry，也即左右两条标准内侧车道线lleft、lright延长至产生交点后的角平分线；当车道线检测算法仅检测到符合条件的左右两条内侧车道线lmax、lmin的其中一个时，利用lsymmetry对另一个进行补全，增加方法的容错性和鲁棒性。
有益效果：本发明的显著优点是，在港口码头这类车道线信息简单的场景下，能够根据环境特点简化算法，快速且准确地检测出运输器械行驶路线的内侧车道线。作为避障系统的辅助，在目标检测模型检测出画面内的障碍物后，通过本发明的车道线检测算法，用最低的时间成本完成车道线检测并根据检测结果划定预警区域，在该区域内的障碍物则进行预警。本方法相比于一般的车道线检测算法更加简单快速，能够与其他系统很好的兼容并提供辅助，而不占用过多的时间成本和硬件成本。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明运行流程图。
图2为本发明中涉及的港口码头作业环境及车道线信息。
图3为本发明中相机安装的实装图，其中摄像头的位置安装单目即可。
图4为HSV颜色空间图示。
图5a为根据设定的HSV双阈值从下1/2图像中提取出的车道线信息，
图5b为提取车道线信息并进行腐蚀操作的结果，
图5c为图像腐蚀后更换更大的卷积核进行膨胀操作的结果，
图5d为图像经腐蚀膨胀后进行Canny边缘检测的结果，
图6从左至右分别为RGB原图、根据HSV信息提取车道线并降噪、边缘检测结果。
图7为运输器械行驶方向车道线以内有卡车障碍物且需要预警。
图8为运输器械行驶方向车道线以外有人但不需要预警。
图9为图像中标明了车道线及预警区位置，且有人位于预警区内并给出避障警报的情况。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
图1是本发明的运行流程图，包括9个步骤，没有相互依赖的情况下可以并行执行。
步骤1中，使用如图3的方式安装摄像头，为了保持各个运输器械上摄像头的角度大体一致，可以通过定制简单的摄像头固定支架来实现。要求摄像头正对行驶的路线进行安装，港口码头的工作场景如图2所示。安装完成后在正常工作状态下运行运输器械并采集有障碍物遮挡和无障碍物遮挡时的数据，构建数据集。利用收集到的数据集对预训练模型centerNet进行调整，后续对实时图像中的障碍物检测就依赖训练好的模型来实现。
步骤2中，摄像头在运行中实时采集RGB图像并传输至后端，并行的进行障碍物检测和车道线检测，车道线检测前需要对原图进行拷贝并按照感兴趣区域ROI裁剪。
步骤3中，参照图4给出的HSV颜色空间信息：H(色调Hue)参数表示色彩信息，即所处的光谱颜色的位置，S(饱和度Saturation)参数为一比例值，表示成所选颜色的纯度和该颜色最大的纯度之间的比率，V(明度Value)参数表示色彩的明亮程度；根据所示的HSV颜色空间信息，以及收集到的实际场景下车道线颜色变化范围，设定上限upper和下限lower两个阈值对车道线信息进行提取，落在该阈值内的认为是图像中车道线所在位置的信息，提取结果如图5a所示，图5a中白色区域为车道线信息，分别是车辆行驶方向上左右两边的内侧车道线和外侧车道线，其余环境信息均被覆盖为黑色。
步骤4中，对步骤3中利用双阈值二值化后的图像进行形态学变换，图5b所示为二值图进行2×2操作单元的腐蚀后的结果，图5b和图5a相比，车道线明显变窄且白色区域的小面积噪点已被去除；图5c为腐蚀后的图像再进行3×3操作单元的膨胀后的结果，图5c和图5b相比，车道线变宽、小面积的黑色噪点已去除、部分缺口已被修复，边缘更为平滑。
步骤5中，对步骤4进行形态学变换降噪后的二值图分别进行高斯模糊、边缘检测、直线检测，得到图像中与车道线相关的一组直线列表L1。其中边缘检测的效果如图5d所示，图5d提取出了图像进行降噪及平滑后的车道线轮廓；图6给出了同一帧图片RGB原图、根据HSV信息提取车道线并降噪、边缘检测结果的对比。
步骤6，遍历步骤5得到的直线列表L1，过滤近似直线，并选出斜率最大和最小的两条直线作为左右两条内侧车道线的候选直线，分别记为lmax、lmin。
步骤7，根据摄像头与车道线的相对位置及视觉原理，判断候选车道线lmax、lmin是否需要替换，假设lmax需要被替换，则将该直线从列表L1中删除并选出新的lmax，重复此操作直至候选车道线lmax、lmin均满足预设条件。
步骤8，延长内侧左右两侧车道线lmax、lmin得到一个近似三角区A1，在该区域内的障碍物则认为是遮挡运输车行进的障碍物，图9画出了预警区的位置，出于视觉效果的考虑仅画出了A1落在图像下1/2区域中的位置，实际预警区有延长，图9中人员障碍物的位置在预警区内，因此需要给出避障预警。根据延长内侧左右两侧车道线lmax、lmin得到的近似三角区A1，判断画面中各个障碍物是否落在该近似三角区A1内侧，即车道线以内，若是，则进行预警，否则不预警。图7是障碍物位于预警区以内需要避障的情况，图8是障碍物位于预警区以外不需要避障的情况；其中图7、图8、图9中障碍物上方的文字标记信息为障碍物检测模型检测出的障碍物信息(包括类别、置信度以及距离信息)。
步骤9，摄像头安装完成后角度固定，根据安装角度标定车道线在摄像头画面中左右车道线的标准位置lleft、lright，据此可以计算lleft、lright的车道线对称轴lsymmetry，若实时检测中只得到内侧左右两侧车道线lmax、lmin的其中一个，则可以以对称轴lsymmetry为参考，补全另一个，增加方法的鲁棒性。
实施例
为了使本系统较好的运作，首先对摄像头如之前要求的那样进行安装，通过固定支架安装摄像头，就可以保证各个摄像头的拍摄角度大体一致。实施例中采集的图像分辨率都是1280*960像素，但为了避免不同型号摄像头拍摄图像大小的差异，在检测障碍物和车道线之前将读入图像统一缩放成960*540像素大小，后续处理都基于此图像大小进行。
在检测障碍物及车道线之前需要利用实际场景数据对选用的预训练模型进行微调，此过程也不涉及过多的深度学习架构，适用于简单的工业场景，仅需小批量的训练数据即可完成预训练模型和实际场景的适配。
之后对于视频流，本发明对每一帧单帧处理，摄像头实时读取RGB图像后并行的进行障碍物检测和车道线检测，由于本发明的方法主要是用于辅助障碍物的筛选和过滤，因此障碍物检测部分不作过多赘述。每帧图像经目标检测模型进行检测，即可得到该帧图像中所有的障碍物信息，在进行障碍物检测的同时也按照之前所述步骤2-9进行快速的车道线检测。经过检测及筛选，得到每帧图像的内侧车道线信息后，对车道线进行延长从而得到一个预警区，再根据该帧图像中障碍物的位置，判断是否落在预警区内，若是，则给出避障预警。
综上所述，本发明作为辅助障碍物过滤的检测方案，其耗时需要尽可能短，在每帧图像障碍物检测产生结果前就需要给出预警区范围，否则就会占用整个系统的运行时间。因此与常见的车道线检测方法相比，本发明中的方法更适用于特定的工业场景，算法上进行了很多的简化，实时性强且准确率高。
经测试，本发明在白天、夜晚、雨天等情况下都可以较为稳定地检测到车道线，并在障碍物检测这一步骤完成前就给出预警区范围，便于后续进行视野中障碍物的过滤和筛选，对未落在预警区内的障碍物则不预警。
本发明提供了一种辅助障碍物过滤的快速车道线检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式。本说明书中各个实例之间相同相似的部分互相参见即可。在不脱离本发明原理的前提下，还可以做出若干改进和润饰。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种港口码头辅助障碍物过滤的快速车道线检测方法，其特征在于，包括如下步骤：
步骤1，安装单目摄像头并收集实际场景下的RGB图像数据构成数据集，基于该数据集对目标检测模型centerNet进行调整训练，将实时读取的RGB图像送入调整后的模型进行检测，得到每帧图像中的障碍物列表O1；
步骤2，设定感兴趣区域ROI为图像下1/2区域，根据所述感兴趣区域ROI对读取的RGB图像进行拷贝裁剪；
步骤3，将步骤2中裁剪后的图像进行色度转换，从RGB图像转为HSV图像；根据实际场景的黄色车道线设定色域范围，记上限为upper，下限为lower，根据此色域范围从HSV图像中提取出车道线信息，结果为二值图；
步骤4，对步骤3得到的二值图进行两次形态学变化，分别对白色区域和黑色区域进行降噪以及修复误差；
步骤5，对步骤4处理后的图像分别进行高斯模糊、边缘检测以及直线检测，得到图像中与车道线相关的一组直线列表L1；
步骤6，遍历步骤5得到的直线列表L1，过滤近似直线，并选出斜率最大和最小的两条直线作为左右两条内侧车道线的候选直线，分别记为lmax、lmin；
步骤7，根据摄像头与车道线的相对位置及视觉原理，判断候选直线lmax、lmin是否需要替换，假设候选直线lmax需要替换，则将该直线从直线列表L1中删除并选出新的候选直线lmax，重复本步骤直至候选直线lmax、lmin均满足预设条件由此确定最终的左右两侧车道线lmax、lmin；
步骤8，延长左右两侧车道线lmax、lmin得到一个近似三角区A1，在该区域内的障碍物则认为是遮挡运输车行进的障碍物，判断障碍物列表O1中障碍物是否落在该近似三角区A1内侧，即车道线以内，若是，则进行预警，否则不预警；
步骤9，摄像头安装完成后角度固定，根据安装角度标定车道线在摄像头画面中左右车道线的标准位置lleft、lright，据此可以计算lleft、lright的车道线对称轴lsymmetry；若实时检测中只得到lmax、lmin的其中一个，则以对称轴lsymmetry为参考，补全另一个。
2.根据权利要求1所述的方法，其特征在于，步骤1中：
每个运输车仅安装一个摄像头，部署后采集实际场景下的图像数据，采集的数据需要覆盖有障碍物和无障碍物的情况；结合迁移学习，将采集到的数据集进行标注并用于训练目标检测模型CenterNet提供的以101个隐藏层的残差网络ResNet-101为模型核心backbone的预训练模型。
3.根据权利要求1所述的方法，其特征在于，步骤2中：
将感兴趣区域ROI窗口设置为图像下1/2区域，采用的感兴趣区域ROI窗口左上角顶点为
右下角顶点为[cols,rows]，其中rows为图像纵向宽度，cols为横向长度，单位均为像素pixel，顶点坐标遵循图像坐标系。
4.根据权利要求1所述的方法，其特征在于，步骤3中：
HSV的三个分量分别包含了色调、饱和度、明度三个层面的信息，再设置目标色域范围，目标颜色即为标示车道线的黄色；
根据设定的色域范围使用opencv软件库中的inRange函数对HSV图像进行车道线提取，落在范围内的判定是所需车道线信息，覆盖为白色，未落在范围内的覆盖为黑色，得到一张8位单通道的二值图。
5.根据权利要求1所述的方法，其特征在于，步骤4中：
步骤4-1，对含有车道线信息的二值图先做图像腐蚀，再做图像膨胀，操作单元大小为2×2像素大小，用于去除车道线区域所含噪声；
步骤4-2，对步骤4-1得到的结果图再用3×3像素大小的操作单元先做图像膨胀，再做图像腐蚀，用于去除环境噪声并连接轻微分段的车道线。
6.根据权利要求1所述的方法，其特征在于，步骤5中：
步骤5-1，对步骤4得到得结果图进行高斯滤波，不区分像素点类型，在整个图像窗口中进行降噪；
步骤5-2，对步骤5-1滤波后的图片进行Canny边缘检测，提取出车道线轮廓；
步骤5-3，对步骤5-2提取出的轮廓再进行Hough直线检测，得到与车道线相关的候选直线列表L1。
7.根据权利要求1所述的方法，其特征在于，步骤6中：
步骤6-1：遍历步骤5得到的候选直线列表L1，参考图像坐标系计算每条直线的斜率k和截距b，对于首次出现的直线直接存入新的列表L2，继续遍历列表L1，若当前遍历直线与列表L2中已存入的某一条直线斜率k差值在阈值Δk_threshold以内或截距b差值在阈值Δb_threshold像素以内，则判定当前直线已在列表L2中出现过，跳过该直线继续遍历列表L1，直至列表L1中所有直线均被遍历且列表L2中不存在近似直线；
步骤6-2：从列表L2中选出斜率值k最大和最小的两条直线，分别记为lmax、lmin，作为左右两条内侧车道线的候选直线。
8.根据权利要求1所述的方法，其特征在于，步骤7中：
设定规则判断候选直线lmax、lmin的位置特征及相对关系是否能够构成两条内侧车道线，设定规则包括如下条件：
(1)左侧车道线应是候选直线中斜率k最小的直线且截距值不小于图像高度值的1/2；
(2)右侧车道线应是候选直线中斜率k最大的直线且截距值不大于图像高度值的1/2再取反；
(3)右侧车道线不会出现在左侧车道线的左边；
(4)左侧车道线斜率值一定为负数且其斜率绝对值不小于阈值k_threshold；
(5)右侧车道线斜率值一定为正数且其斜率绝对值不小于阈值k_threshold；
(6)左右两侧车道线与图像底部交点的坐标差不小于图像宽度的1/10；
(7)按照图像坐标系沿着x轴将图像的长边从左至右三等分，原图像横向长度范围为[0,cols],三等分后得到三个分段：
cols为横向长度；其中左侧车道线与图像下边缘的交点不落在第3个分段内，右侧车道线与图像下边缘的交点不落在第1个分段内；
判断当前内侧车道线的两条候选直线是否满足上述条件，若任意一条不满足，则从列表L2中删除该直线并重新遍历列表L2选择新的候选车道线，重复步骤7直至lmax、lmin能够作为最终的内侧车道线或列表L2为空。
9.根据权利要求1所述的方法，其特征在于，步骤8中：
利用步骤7得到的内侧左右两侧车道线信息，结合感兴趣区域ROI窗口和图像坐标系，建立当前裁剪后图像坐标系与原图像坐标系的映射关系；在读取的原RGB图像上绘制内侧左右两侧车道线lmax、lmin并延长，得到一个封闭的三角区或上底边较窄的近似三角区A1，该区域以内的障碍物即为运输车辆行驶路线上需要预警的障碍物，图像内检测出但未落在近似三角区A1区域内的障碍物则被过滤掉不预警。
10.根据权利要求1所述的方法，其特征在于，步骤9中：
根据摄像头的安装位置和拍摄角度对内侧车道线在画面中的标准位置进行标定，分别记为左右车道线的标准位置lleft、lright，计算车辆处于标准运行位置时的车道线对称轴lsymmetry；当车道线检测算法仅检测到符合条件的内侧左右两侧车道线lmax、lmin的其中一个时，利用对称轴lsymmetry对另一个进行补全。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111282391.7A CN113989779A (zh) | 2021-11-01 | 2021-11-01 | 一种港口码头辅助障碍物过滤的快速车道线检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111282391.7A CN113989779A (zh) | 2021-11-01 | 2021-11-01 | 一种港口码头辅助障碍物过滤的快速车道线检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989779A true CN113989779A (zh) | 2022-01-28 |
Family
ID=79745306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111282391.7A Pending CN113989779A (zh) | 2021-11-01 | 2021-11-01 | 一种港口码头辅助障碍物过滤的快速车道线检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989779A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742958A (zh) * | 2022-02-18 | 2022-07-12 | 禾多科技（北京）有限公司 | 三维车道信息生成方法、装置、设备和计算机可读介质 |
| CN116071716A (zh) * | 2023-02-02 | 2023-05-05 | 吉林大学 | 车道线识别测试方法、设备、系统及存储介质 |
-
2021
- 2021-11-01 CN CN202111282391.7A patent/CN113989779A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742958A (zh) * | 2022-02-18 | 2022-07-12 | 禾多科技（北京）有限公司 | 三维车道信息生成方法、装置、设备和计算机可读介质 |
| CN114742958B (zh) * | 2022-02-18 | 2023-02-17 | 禾多科技（北京）有限公司 | 三维车道信息生成方法、装置、设备和计算机可读介质 |
| CN116071716A (zh) * | 2023-02-02 | 2023-05-05 | 吉林大学 | 车道线识别测试方法、设备、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460709B (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN110261436B (zh) | 基于红外热成像和计算机视觉的轨道故障检测方法及系统 | |
| CN110619750B (zh) | 面向违停车辆的智能航拍识别方法及系统 | |
| CN106652468B (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
| CN107330376B (zh) | 一种车道线识别方法及系统 | |
| CN101950350B (zh) | 使用分级方法的畅通路径检测 | |
| CN105825185B (zh) | 车辆防碰撞预警方法及装置 | |
| US10552706B2 (en) | Attachable matter detection apparatus and attachable matter detection method | |
| US20100098297A1 (en) | Clear path detection using segmentation-based method | |
| CN104899554A (zh) | 一种基于单目视觉的车辆测距方法 | |
| US20100104137A1 (en) | Clear path detection using patch approach | |
| KR101464489B1 (ko) | 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템 | |
| CN109269478A (zh) | 一种基于双目视觉的集装箱码头场桥障碍物检测方法 | |
| CN113989779A (zh) | 一种港口码头辅助障碍物过滤的快速车道线检测方法 | |
| Aminuddin et al. | A new approach to highway lane detection by using Hough transform technique | |
| CN110298216A (zh) | 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法 | |
| KR101067437B1 (ko) | 차선검출방법 및 이를 이용한 차선이탈검출시스템 | |
| CN113518995A (zh) | 用于训练和使用神经网络以检测自部件位置的方法 | |
| JP6678552B2 (ja) | 車種判別装置および車種判別方法 | |
| CN110705553B (zh) | 一种适用于车辆远景图像的划痕检测方法 | |
| Balisavira et al. | Real-time object detection by road plane segmentation technique for ADAS | |
| Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
| Ahmed et al. | Robust lane departure warning system for adas on highways | |
| CN115760058A (zh) | 用于车辆底盘腐蚀评估的agv系统 | |
| CN113177557B (zh) | 一种基于机器视觉和深度学习的防打保龄的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |