CN113221861A - 一种多车道线检测方法、装置及检测设备 - Google Patents

一种多车道线检测方法、装置及检测设备 Download PDF

Info

Publication number
CN113221861A
CN113221861A CN202110770354.4A CN202110770354A CN113221861A CN 113221861 A CN113221861 A CN 113221861A CN 202110770354 A CN202110770354 A CN 202110770354A CN 113221861 A CN113221861 A CN 113221861A
Authority
CN
China
Prior art keywords
straight line
line segments
lane
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110770354.4A
Other languages
English (en)
Other versions
CN113221861B (zh
Inventor
李�杰
李森
张尉
马坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110770354.4A priority Critical patent/CN113221861B/zh
Publication of CN113221861A publication Critical patent/CN113221861A/zh
Application granted granted Critical
Publication of CN113221861B publication Critical patent/CN113221861B/zh
Priority to PCT/CN2022/100542 priority patent/WO2023279966A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明提供一种多车道线检测方法、装置及检测设备，属于图像处理技术领域，所述多车道线检测方法包括：从具有多车道线的道路的视频中抽取若干帧图像；对每一帧图像进行二值化处理以及边缘检测，得到多条直线段；根据多条直线段对应的位置信息对非车道线进行筛除；将经筛除后得到的多条直线段进行第一次合并处理；将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；根据第二次合并处理后得到的直线段确定车道线。本发明通过抽取道路视频中的多帧图像进行检测，利用多帧图像之间的互相补充和验证，既避免了因车辆遮挡车道线造成漏检的情况，也防止了将路面符号标识等非车道线误检为车道线，提高了车道线检测的准确率。

Description

一种多车道线检测方法、装置及检测设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种多车道线检测方法、装置及检测设备。
背景技术
目前，如何准确地把道路的车道线检测出来，是在进行智能驾驶、交通状况检测、交通调度等方面的研究时经常要面对的一个问题。随着计算机视觉和人工智能技术的发展，车道线检测算法也有了很大的进步，但还是存在一些问题，例如，不能一次性把所有车道线全部检测出来、道路上的车辆会对车道线进行遮挡从而影响检测效果、道路上的一些标识符和标识文字会被误检成车道线。
发明内容
有鉴于此，本发明提供一种多车道线检测方法、装置及检测设备，用于解决现有技术中不能一次性把所有车道线全部检测出来、道路上的车辆会对车道线进行遮挡从而影响检测效果、道路上的一些标识符和标识文字会被误检成车道线的问题。
为解决上述技术问题，第一方面，本发明提供一种多车道线检测方法，包括：
从具有多车道线的道路的视频中抽取若干帧图像；
对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段；
根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除；
将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理；
将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；
根据第二次合并处理后得到的直线段确定车道线；
所述根据第二次合并处理后得到的直线段确定车道线包括：
将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
可选的，所述根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除包括：
确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
可选的，所述根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线包括：
若一直线段的斜率与所述第一角度满足：
Figure 165112DEST_PATH_IMAGE001
，则保留所述直线段；
若一直线段的斜率与所述第一角度满足：
Figure 895301DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
可选的，所述第一次合并处理和/或所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
可选的，针对每两条直线段，所述预设条件为：
Figure 471776DEST_PATH_IMAGE003
且
Figure 414456DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 25566DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 644766DEST_PATH_IMAGE006
，
Figure 724848DEST_PATH_IMAGE007
、
Figure 720486DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 199485DEST_PATH_IMAGE009
，
Figure 989586DEST_PATH_IMAGE010
，
Figure 275074DEST_PATH_IMAGE011
、
Figure 559556DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 879679DEST_PATH_IMAGE013
，
Figure 122572DEST_PATH_IMAGE014
。
可选的，所述根据第二次合并处理后得到的直线段确定车道线的步骤之后，还包括：
将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
第二方面，本发明还提供一种多车道线检测装置，包括：
抽取模块，用于从具有多车道线的道路的视频中抽取若干帧图像；
处理模块，用于对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段；
筛除模块，用于根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除；
第一合并模块，用于将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理；
第二合并模块，用于将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；
确定模块，用于根据第二次合并处理后得到的直线段确定车道线；
所述确定模块包括：
确定单元，用于将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
可选的，所述筛除模块包括：
角度单元，用于确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
筛除单元，用于根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
可选的，所述筛除单元包括：
第一子单元，用于若一直线段的斜率与所述第一角度满足：
Figure 895356DEST_PATH_IMAGE001
，则保留所述直线段；
第二子单元，用于若一直线段的斜率与所述第一角度满足：
Figure 967217DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
可选的，所述第一次合并处理和/或所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
可选的，针对每两条直线段，所述预设条件为：
Figure 158158DEST_PATH_IMAGE003
且
Figure 24483DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 550143DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 160115DEST_PATH_IMAGE006
，
Figure 196774DEST_PATH_IMAGE007
、
Figure 499579DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 246955DEST_PATH_IMAGE009
，
Figure 411352DEST_PATH_IMAGE010
，
Figure 560573DEST_PATH_IMAGE011
、
Figure 34280DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 19685DEST_PATH_IMAGE013
，
Figure 237039DEST_PATH_IMAGE014
。
可选的，还包括：
第三合并模块，用于将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
第三方面，本发明还提供一种检测设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现上述任一种多车道线检测方法。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种多车道线检测方法中的步骤。
本发明的上述技术方案的有益效果如下：
本发明实施例中，通过抽取道路视频中的多帧图像进行多车道线的检测，利用多帧图像之间的互相补充、互相验证，既避免了因车辆遮挡车道线造成漏检的情况，也防止了将路面符号标识、文字标识等非车道线误检为车道线，提高了车道线检测的准确率。
附图说明
图1为本发明实施例一提供的一种多车道线检测方法的流程示意图；
图2为本发明实施例一中的图像进行二值化处理后的结果图；
图3为本发明实施例一中的图像进行边缘检测后的结果图；
图4为本发明实施例二中的一种多车道线检测装置的结构示意图；
图5为本发明实施例三中的一种检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种多车道线检测方法的流程示意图，该方法包括以下步骤：
步骤11：从具有多车道线的道路的视频中抽取若干帧图像。
本发明实施例中，先获取拍摄有某一道路的视频，该视频中拍摄的道路具有多车道线，然后解析获取到的视频的连续帧，从该视频中抽取若干帧图像；可选的，抽取时可以从连续帧中间隔地抽取若干帧图像，间隔的大小以及抽取的具体帧数可以根据道路和交通的具体情况进行调整。由于单帧道路图像中，道路上正在行驶的车辆通常会对车道线形成一定的遮挡，使得被遮挡的车道线的检测困难增大，同时，如果道路上有符号标志、文字标识等非车道线图形时，这些非车道线图形的线条与车道线很难通过算法进行区分，容易被误检为车道线，而由于拍摄某一道路的视频中，不同的时刻道路上的车辆数量、车辆大小、车辆位置等通常会发生变化，因此在某一帧图像中被遮挡的车道线通常可以在其他帧中显露出来，由此，本发明通过从道路视频中抽取若干帧图像，道路上的符号标志、文字标识等非车道线图形大概率存在被行驶的车辆遮挡住的情况，这样便可将非车道线筛除，从而提高检测的准确度，而对于真正的车道线而言，被遮挡的概率较小，根据在若干帧图像中出现的直线段的次数即可实现判别。采用多帧图像之间互为验证、互为补充的方法，可以使车道线检测结果更加完整、更加准确，使道路上存在的车道线都被完整地检测出来，同时不属于车道线的干扰物可以被有效剔除。
步骤12：对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段。
可选的，在抽取出若干帧图像后，为了提高检测效果，可以先对每一帧图像进行预处理。所述预处理可以包括：根据拍摄所述道路视频的摄像头的相机参数对每一帧图像进行畸变校正，以免道路上的直线线条在图像中因为畸变而呈现出非直线；所述预处理还可以包括：根据摄像头的安装位置、高度、角度等相对于所拍摄的道路的空间位置关系，通过几何计算获得每一帧图像中的道路的大致图像范围，并根据此范围设置图像感兴趣区域（region of interest，ROI），后续过程可以只对图像感兴趣区域进行处理，这样可以节省计算时间；所述预处理还可以包括：将每一帧图像通过彩色图像转灰度图像公式，转换成灰度图像，由于彩色图像和灰度图像在检测效果方面影响不大，而多通道图像变成单通道则有利于加快图像处理速度。
请参考图2，为本发明实施例一中的图像进行二值化处理后的结果图。本发明实施例中，由于车道线一般是白色或者黄色这样较浅的颜色，与深色的路面区别较大，为了进一步突出车道线，可以对每一帧图像进行二值化处理，也即二值化分割，例如：给出一个阈值，图像中灰度高于此阈值的像素即赋值255，低于或等于此阈值的像素即赋值为0。二值化分割的关键在于阈值的确定，阈值的计算有多种方法，如图像灰度均值法等等，二值化处理后的结果如图2所示。可选的，在二值化处理之后，还可以对图像进行滤波处理，以提升下一步的图像边缘检测的效果。
请参考图3，为本发明实施例一中的图像进行边缘检测后的结果图。本发明实施例中，在对图像进行二值化处理后，进一步对图像进行边缘检测，边缘检测后的结果如图3所示。由于边缘检测后得到的边缘依旧显示为离散的一个个像素点，因此可以用直线拟合的方式来得到矢量的直线段，以得到每一帧图像中的多条直线段，拟合之后得到的每条直线段可以用两个端点的坐标（x1，y1）和（x2，y2）来表示，也可以根据两个端点计算得到形如y=ax+b的直线表达式。
步骤13：根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除。
由于边缘检测后拟合得到的直线段中有一部分明显不是车道线，例如，车道线与道路的走向保持一致，若直线段的走向与道路的走向的夹角超过一定值，则认为该直线段明显不是车道线，本发明实施例中可以根据每一帧图像中的多条直线段对应的位置信息对一部分明显不是车道线的直线段进行筛除。
本发明实施例中，可选的，所述根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除包括：
确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
具体的，直线段对应的位置信息可以包括直线段在图像中的位置/坐标、直线段的斜率，通过设置一个斜率阈值，即可以筛除一部分明显不是车道线的直线段，斜率阈值的确定与拍摄所述视频的摄像头和道路之间的方位关系相关。从而，确定所述视频的拍摄方向和被拍摄的道路的走向之间所成的第一角度，根据每一直线段的斜率以及所述第一角度之间的关系，即可筛除部分直线段。
可选的，所述根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线包括：
若一直线段的斜率与所述第一角度满足：
Figure 506347DEST_PATH_IMAGE001
，则保留所述直线段；
若一直线段的斜率与所述第一角度满足：
Figure 901687DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
本发明实施例中，设θ为所述视频的拍摄方向和被拍摄的道路的走向之间所成的第一角度，α为每一帧图像中拟合得到的多条直线段的斜率，则通过反正切arctan计算出直线段的角度，再通过正切值限定第一角度θ与直线段的角度关系，即可筛除一部分明显不是车道线的直线段。
步骤14：将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理。
对于一帧图像而言，筛除部分非车道线之后，由于道路的车道线有实线条和虚线条之分，实线车道线的边缘拟合得到的是一条完整的直线段，即一条实线车道线的边缘对应于一条直线段；而虚线车道线的每一小段都会拟合得到一条直线段，即一条虚线车道线的边缘将对应于多条直线段，实际上这些直线段均位于同一直线上，因此，在检测过程中，需要把这些实际上处于同一直线的直线段进行合并处理。
可选的，所述第一次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
也就是说，合并处理的依据是，对于每两条直线段，若两条直线段的旋转角度和间距都非常接近，即可以判定这两条直线段位于同一直线上，可以将这两条直线段进行合并处理。
其中，针对每两条直线段，所述预设条件为：
Figure 358076DEST_PATH_IMAGE003
且
Figure 379122DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 985159DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 800668DEST_PATH_IMAGE006
，
Figure 9933DEST_PATH_IMAGE007
、
Figure 585402DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 298143DEST_PATH_IMAGE009
，
Figure 284553DEST_PATH_IMAGE010
，
Figure 466267DEST_PATH_IMAGE011
、
Figure 829115DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 927521DEST_PATH_IMAGE013
，
Figure 569986DEST_PATH_IMAGE014
。
具体的，由于每一帧图像经筛除后得到的直线段均可以用形如y=ax+b的直线表达式进行描述，因此，对于每两条直线段而言，可以令其中一条直线段的表达式为
Figure 753843DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 185961DEST_PATH_IMAGE006
，并令
Figure 626957DEST_PATH_IMAGE007
、
Figure 220749DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，则
Figure 360744DEST_PATH_IMAGE009
，
Figure 81706DEST_PATH_IMAGE015
，其中，
Figure 889125DEST_PATH_IMAGE016
均为常数；而令
Figure 388240DEST_PATH_IMAGE011
、
Figure 31842DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，则通过令y=0，可以求得
Figure 274604DEST_PATH_IMAGE013
，
Figure 936530DEST_PATH_IMAGE014
。由此，若
Figure 622857DEST_PATH_IMAGE003
，即两条直线段相对于x轴的旋转角度的正差值小于等于预设角度β，并且
Figure 737444DEST_PATH_IMAGE004
，即两条直线段所在直线与x轴的交点的横坐标的正差值小于预设距离D，即判定这两条直线段在同一条直线上，可以将这两条直线段合并为一条新的直线段。可选的，合并后的直线段的端点可以取合并前的两条直线段的端点（共四个端点）中距离最远的两个端点，不断重复上述合并处理过程，直到将虚线车道线对应的直线段中位于同一直线上的所有直线段连接起来。
本发明实施例中，可选的，可以开辟一个vector类型的存储容器存储从每一帧图像中处理得到的直线段。
步骤15：将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理。
由前述分析可知，若拍摄所述视频的摄像头位置不发生变化，即所述视频中的道路始终为同一区域，则从所述视频中抽取的若干帧图像经上述步骤之后得到的多条直线段中必然有许多是同一车道线的边缘在多张图像上的重复，因此，需要对这些重复的直线段进行第二次合并处理。
所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
其中，针对每两条直线段，所述预设条件为：
Figure 783897DEST_PATH_IMAGE003
且
Figure 313711DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 154628DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 22090DEST_PATH_IMAGE006
，
Figure 357387DEST_PATH_IMAGE007
、
Figure 993905DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 5723DEST_PATH_IMAGE009
，
Figure 845635DEST_PATH_IMAGE010
，
Figure 233891DEST_PATH_IMAGE011
、
Figure 724915DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 923946DEST_PATH_IMAGE013
，
Figure 500421DEST_PATH_IMAGE014
。
也就是说，所述第二次合并处理和所述第一次合并处理的原理可以相同，为避免重复，在此不再赘述。
步骤16：根据第二次合并处理后得到的直线段确定车道线，所述根据第二次合并处理后得到的直线段确定车道线包括：
将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
本发明实施例中，由于道路上的车辆会从道路上的符号标识、文字标识上驶过，这些符号标识、文字标识对应的直线段在所有帧图像中的重复次数通常比车道线对应的直线段的重复次数要少，因此，通过统计经过第二次合并处理后得到的直线段中每一直线段所合并的经过第一次合并处理后得到的直线段的数量，即可确定哪些直线段为车道线。例如，可以设进行第二次合并处理前的直线段（即经过第一次合并处理后得到的直线段）的集合为A，而进行第二次合并处理后的直线段的集合为B，在进行第二次合并处理的同时还统计集合B中的每一条直线段是由集合A中的多少条直线段合并而来，若集合B中的某一直线段所合并的集合A中的直线段的数量大于预设阈值，则将该直线段确定为车道线，由此，通过设置预设阈值，可以筛除道路上的符号标识、文字标识所对应的直线段，从而提高检测的准确度。具体实施时，预设阈值的数值可以根据具体的道路情况进行调整。
本发明的一些实施例中，所述根据第二次合并处理后得到的直线段确定车道线的步骤之后，还包括：
将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
具体来说，由于道路上的车道线具有一定的宽度，因此道路上的一条车道线在图像中将检测到两条直线段，即车道线的长度方向两侧边缘对应的直线段，而检测车道线的目标是为了给智能驾驶、交通监测、交通调度等提供准确的车道分隔信息，因此车道线的检测结果中每条实际的车道线只以一条直线段进行标识会更加方便，因此，确定为车道线的直线段中，若两条直线段对应于同一条车道线的两侧边缘，则可以把这两条直线段合并为一条线。可选的，可以根据道路上的车道的实际宽度和/或车道线的实际宽度，对直线段进行合并。例如，将间距小于预设间距的两条直线段合并为一条直线段作为最终车道线，可选的，最终车道线取中间值，即该两条直线段之间的等距线。具体的，可以把确定为车道线的直线段根据其延长线与x轴的交点的位置从左到右进行排序，然后对排好序的直线段进行聚类分析，即根据两条直线段与x轴的交点的间距做聚类分析，若间距小于预设间距，则判断两条直线段属于同一条车道线的两侧边缘，此时可以把这两条直线段进行合并为一条，而若间距大于预设间距，则判断两条直线段不属于同一条车道线的两侧边缘。
最后，把经上述处理后最终得到的直线段进行输出，作为最终的检测结果。
由此，本发明实施例中，通过抽取道路视频中的多帧图像进行多车道线的检测，利用多帧图像之间的互相补充、互相验证，既避免了因车辆遮挡车道线造成漏检的情况，也防止了将路面符号标识、文字标识等非车道线误检为车道线，提高了车道线检测的准确率。
请参阅图4，图4是本发明实施例二提供的一种多车道线检测装置的结构示意图，该检测装置40包括：
抽取模块41，用于从具有多车道线的道路的视频中抽取若干帧图像；
处理模块42，用于对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段；
筛除模块43，用于根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除；
第一合并模块44，用于将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理；
第二合并模块45，用于将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；
确定模块46，用于根据第二次合并处理后得到的直线段确定车道线；
所述确定模块46包括：
确定单元，用于将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
可选的，所述筛除模块包括：
角度单元，用于确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
筛除单元，用于根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
可选的，所述筛除单元包括：
第一子单元，用于若一直线段的斜率与所述第一角度满足：
Figure 426789DEST_PATH_IMAGE001
，则保留所述直线段；
第二子单元，用于若一直线段的斜率与所述第一角度满足：
Figure 537700DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
可选的，所述第一次合并处理和/或所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
可选的，针对每两条直线段，所述预设条件为：
Figure 422480DEST_PATH_IMAGE003
且
Figure 220671DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 967041DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 901499DEST_PATH_IMAGE006
，
Figure 957180DEST_PATH_IMAGE007
、
Figure 258980DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 527150DEST_PATH_IMAGE009
，
Figure 581694DEST_PATH_IMAGE010
，
Figure 808276DEST_PATH_IMAGE011
、
Figure 331792DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 403653DEST_PATH_IMAGE013
，
Figure 843862DEST_PATH_IMAGE014
。
可选的，还包括：
第三合并模块，用于将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
本发明实施例是与上述方法实施例一对应的产品实施例，故在此不再赘述，详细请参阅上述实施例一。
请参阅图5，图5是本发明实施例三提供的一种检测设备的结构示意图，该检测设备50包括处理器51、存储器52及存储在所述存储器52上并可在所述处理器51上运行的计算机程序；所述处理器51执行所述计算机程序时实现如下步骤：
从具有多车道线的道路的视频中抽取若干帧图像；
对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段；
根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除；
将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理；
将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；
根据第二次合并处理后得到的直线段确定车道线；
所述根据第二次合并处理后得到的直线段确定车道线包括：
将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
本发明实施例中，可选的，所述处理器51执行所述计算机程序时还可实现如下步骤：
所述根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除包括：
确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
可选的，所述根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线包括：
若一直线段的斜率与所述第一角度满足：
Figure 457989DEST_PATH_IMAGE001
，则保留所述直线段；
若一直线段的斜率与所述第一角度满足：
Figure 983649DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
可选的，所述第一次合并处理和/或所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
可选的，针对每两条直线段，所述预设条件为：
Figure 593621DEST_PATH_IMAGE003
且
Figure 639069DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 941874DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 689251DEST_PATH_IMAGE006
，
Figure 853647DEST_PATH_IMAGE007
、
Figure 2868DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 742154DEST_PATH_IMAGE009
，
Figure 461980DEST_PATH_IMAGE010
，
Figure 679334DEST_PATH_IMAGE011
、
Figure 683062DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 81333DEST_PATH_IMAGE013
，
Figure 803301DEST_PATH_IMAGE014
。
可选的，所述根据第二次合并处理后得到的直线段确定车道线的步骤之后，还包括：
将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
本发明实施例的具体工作过程与上述方法实施例一中的一致，故在此不再赘述，详细请参阅上述实施例一中方法步骤的说明。
本发明实施例四提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例一中多车道线检测方法中的步骤。详细请参阅以上对应实施例中方法步骤的说明。
上述计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种多车道线检测方法，其特征在于，包括：
从具有多车道线的道路的视频中抽取若干帧图像；
对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段；
根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除；
将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理；
将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；
根据第二次合并处理后得到的直线段确定车道线；
所述根据第二次合并处理后得到的直线段确定车道线包括：
将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
2.根据权利要求1所述的多车道线检测方法，其特征在于，所述根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除包括：
确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
3.根据权利要求2所述的多车道线检测方法，其特征在于，所述根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线包括：
若一直线段的斜率与所述第一角度满足：
Figure 118984DEST_PATH_IMAGE001
，则保留所述直线段；
若一直线段的斜率与所述第一角度满足：
Figure 98442DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
4.根据权利要求1所述的多车道线检测方法，其特征在于，所述第一次合并处理和/或所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
5.根据权利要求4所述的多车道线检测方法，其特征在于，针对每两条直线段，所述预设条件为：
Figure 940496DEST_PATH_IMAGE003
且
Figure 398022DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 513526DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 663885DEST_PATH_IMAGE006
，
Figure 993235DEST_PATH_IMAGE007
、
Figure 254452DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 690375DEST_PATH_IMAGE009
，
Figure 746056DEST_PATH_IMAGE010
，
Figure 828281DEST_PATH_IMAGE011
、
Figure 96452DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 885416DEST_PATH_IMAGE013
，
Figure 876112DEST_PATH_IMAGE014
。
6.根据权利要求1所述的多车道线检测方法，其特征在于，所述根据第二次合并处理后得到的直线段确定车道线的步骤之后，还包括：
将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
7.一种多车道线检测装置，其特征在于，包括：
抽取模块，用于从具有多车道线的道路的视频中抽取若干帧图像；
处理模块，用于对每一帧图像进行二值化处理以及边缘检测，得到每一帧图像中的多条直线段；
筛除模块，用于根据每一帧图像中的多条直线段对应的位置信息对非车道线进行筛除；
第一合并模块，用于将每一帧图像中经筛除后得到的多条直线段中位于同一直线的直线段进行第一次合并处理；
第二合并模块，用于将所有帧图像中经第一次合并处理后得到的直线段进行第二次合并处理；
确定模块，用于根据第二次合并处理后得到的直线段确定车道线；
所述确定模块包括：
确定单元，用于将第二次合并处理后得到的直线段中所合并的经第一次合并处理后得到的直线段的数量大于预设阈值的直线段确定为车道线。
8.根据权利要求7所述的多车道线检测装置，其特征在于，所述筛除模块包括：
角度单元，用于确定所述视频的拍摄方向和所述道路的走向之间所成的第一角度；
筛除单元，用于根据每一帧图像中的多条直线段的斜率以及所述第一角度，筛除所述多条直线段中的非车道线。
9.根据权利要求8所述的多车道线检测装置，其特征在于，所述筛除单元包括：
第一子单元，用于若一直线段的斜率与所述第一角度满足：
Figure 711213DEST_PATH_IMAGE001
，则保留所述直线段；
第二子单元，用于若一直线段的斜率与所述第一角度满足：
Figure 314233DEST_PATH_IMAGE002
，则筛除所述直线段；
其中，θ为所述第一角度，α为直线段的斜率。
10.根据权利要求7所述的多车道线检测装置，其特征在于，所述第一次合并处理和/或所述第二次合并处理包括：
若直线段之间的距离以及相对于一参考轴的旋转角度满足预设条件，则将满足预设条件的直线段合并为一条直线段。
11.根据权利要求10所述的多车道线检测装置，其特征在于，针对每两条直线段，所述预设条件为：
Figure 223283DEST_PATH_IMAGE003
且
Figure 387810DEST_PATH_IMAGE004
；
其中，β为预设角度，D为预设距离，一直线段的表达式为
Figure 382311DEST_PATH_IMAGE005
另一直线段的表达式为
Figure 523443DEST_PATH_IMAGE006
，
Figure 349316DEST_PATH_IMAGE007
、
Figure 386542DEST_PATH_IMAGE008
分别为两条直线段相对于x轴的旋转角度，
Figure 892173DEST_PATH_IMAGE009
，
Figure 102575DEST_PATH_IMAGE010
，
Figure 517376DEST_PATH_IMAGE011
、
Figure 725503DEST_PATH_IMAGE012
分别为两条直线段所在直线与x轴的交点的横坐标，
Figure 491334DEST_PATH_IMAGE016
，
Figure 678995DEST_PATH_IMAGE018
。
12.根据权利要求7所述的多车道线检测装置，其特征在于，还包括：
第三合并模块，用于将间距小于预设间距的两条直线段合并为一条直线段，作为最终车道线。
13.一种检测设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的多车道线检测方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多车道线检测方法中的步骤。
CN202110770354.4A 2021-07-08 2021-07-08 一种多车道线检测方法、装置及检测设备 Active CN113221861B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110770354.4A CN113221861B (zh) 2021-07-08 2021-07-08 一种多车道线检测方法、装置及检测设备
PCT/CN2022/100542 WO2023279966A1 (zh) 2021-07-08 2022-06-22 一种多车道线检测方法、装置及检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110770354.4A CN113221861B (zh) 2021-07-08 2021-07-08 一种多车道线检测方法、装置及检测设备

Publications (2)

Publication Number Publication Date
CN113221861A true CN113221861A (zh) 2021-08-06
CN113221861B CN113221861B (zh) 2021-11-09

Family

ID=77081151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110770354.4A Active CN113221861B (zh) 2021-07-08 2021-07-08 一种多车道线检测方法、装置及检测设备

Country Status (2)

Country Link
CN (1) CN113221861B (zh)
WO (1) WO2023279966A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279966A1 (zh) * 2021-07-08 2023-01-12 中移(上海)信息通信科技有限公司 一种多车道线检测方法、装置及检测设备
CN117611752A (zh) * 2024-01-22 2024-02-27 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116599699A (zh) * 2023-04-19 2023-08-15 泉州年盛信息科技有限公司 基于云计算的工业互联网平台数据安全防护系统
CN116912273B (zh) * 2023-09-13 2023-12-12 国网山东省电力公司莱芜供电公司 基于三维gis的输电线路跨越施工方案可视化方法
CN117237240B (zh) * 2023-11-15 2024-02-02 湖南蚁为软件有限公司 基于数据特征的数据智能采集方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663403A (zh) * 2012-04-26 2012-09-12 北京工业大学 基于视觉的快速路智能车导航中车道信息提取系统及方法
CN102722705A (zh) * 2012-06-12 2012-10-10 武汉大学 一种基于ransac算法的多车道线检测方法
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法
CN104392212A (zh) * 2014-11-14 2015-03-04 北京工业大学 一种基于视觉的道路信息检测及前方车辆识别方法
CN104537342A (zh) * 2014-12-24 2015-04-22 福州大学 一种结合山脊边界检测及霍夫变换的快速车道线检测方法
CN105426864A (zh) * 2015-12-04 2016-03-23 华中科技大学 一种基于等距边缘点匹配的多车道线检测方法
CN105740836A (zh) * 2016-02-03 2016-07-06 安徽清新互联信息科技有限公司 一种违法占用应急车道的检测方法
CN105868696A (zh) * 2016-03-23 2016-08-17 奇瑞汽车股份有限公司 一种检测多车道车道线的方法和装置
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107563331A (zh) * 2017-09-04 2018-01-09 中国地质大学（武汉） 一种基于几何关系的道路标志线检测方法及系统
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229908B (zh) * 2017-05-16 2019-11-29 浙江理工大学 一种车道线检测方法
CN111291603B (zh) * 2018-12-07 2023-09-29 长沙智能驾驶研究院有限公司 车道线检测方法、装置、系统及存储介质
CN112507852A (zh) * 2020-12-02 2021-03-16 上海眼控科技股份有限公司 一种车道线识别方法、装置、设备及存储介质
CN112597846B (zh) * 2020-12-14 2022-11-11 合肥英睿系统技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN113221861B (zh) * 2021-07-08 2021-11-09 中移(上海)信息通信科技有限公司 一种多车道线检测方法、装置及检测设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663403A (zh) * 2012-04-26 2012-09-12 北京工业大学 基于视觉的快速路智能车导航中车道信息提取系统及方法
CN102722705A (zh) * 2012-06-12 2012-10-10 武汉大学 一种基于ransac算法的多车道线检测方法
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法
CN104392212A (zh) * 2014-11-14 2015-03-04 北京工业大学 一种基于视觉的道路信息检测及前方车辆识别方法
CN104537342A (zh) * 2014-12-24 2015-04-22 福州大学 一种结合山脊边界检测及霍夫变换的快速车道线检测方法
CN105426864A (zh) * 2015-12-04 2016-03-23 华中科技大学 一种基于等距边缘点匹配的多车道线检测方法
CN105740836A (zh) * 2016-02-03 2016-07-06 安徽清新互联信息科技有限公司 一种违法占用应急车道的检测方法
CN105868696A (zh) * 2016-03-23 2016-08-17 奇瑞汽车股份有限公司 一种检测多车道车道线的方法和装置
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107563331A (zh) * 2017-09-04 2018-01-09 中国地质大学（武汉） 一种基于几何关系的道路标志线检测方法及系统
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SERGIU NEDEVSCHI等: "《3D Lane Detection System Based on Stereovision》", 《2004IEEE INTELLIGENT TRANSPORTATION SYSTEM CONFERENCE》 *
刘亚群: "《基于视觉的车道级定位算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279966A1 (zh) * 2021-07-08 2023-01-12 中移(上海)信息通信科技有限公司 一种多车道线检测方法、装置及检测设备
CN117611752A (zh) * 2024-01-22 2024-02-27 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统
CN117611752B (zh) * 2024-01-22 2024-04-02 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统

Also Published As

Publication number Publication date
CN113221861B (zh) 2021-11-09
WO2023279966A1 (zh) 2023-01-12

Similar Documents

Publication Publication Date Title
CN113221861B (zh) 一种多车道线检测方法、装置及检测设备
US8902053B2 (en) Method and system for lane departure warning
US9892328B2 (en) Hazard detection from a camera in a scene with moving shadows
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN108921813B (zh) 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
CN110298300B (zh) 一种检测车辆违章压线的方法
WO2021109697A1 (zh) 字符分割方法、装置以及计算机可读存储介质
CN103324930A (zh) 一种基于灰度直方图二值化的车牌字符分割方法
JP6226368B2 (ja) 車両監視装置、および車両監視方法
CN107895151A (zh) 一种强光照条件下基于机器视觉的车道线检测方法
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN112580447B (zh) 一种基于边缘二阶统计与融合的电力线检测方法
Rabiu Vehicle detection and classification for cluttered urban intersection
CN108830204B (zh) 面对目标的监控视频中异常检测方法
KR20130000023A (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
CN111310576B (zh) 一种通道目标通行检测方法、装置以及设备
CN111079541B (zh) 一种基于单目视觉的道路停止线检测方法
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN107066929B (zh) 一种融合多种特征的高速公路隧道停车事件分级识别方法
JP3416058B2 (ja) 濃淡画像の文字抽出方法及びそのプログラムを記録した記録媒体
Chen et al. A novel lane departure warning system for improving road safety
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
Lu A lane detection, tracking and recognition system for smart vehicles
CN108389177B (zh) 一种车辆保险杠破损检测方法及交通安全预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant