CN111160086A - 车道线识别方法、装置、设备和存储介质 - Google Patents
车道线识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111160086A CN111160086A CN201911147428.8A CN201911147428A CN111160086A CN 111160086 A CN111160086 A CN 111160086A CN 201911147428 A CN201911147428 A CN 201911147428A CN 111160086 A CN111160086 A CN 111160086A
- Authority
- CN
- China
- Prior art keywords
- lane line
- frame image
- current frame
- position information
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 120
- 238000003708 edge detection Methods 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种车道线识别方法、装置、设备和存储介质,车道线所在的位置信息是先对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框,并根据多个检测框的位置信息,确定连通区域,连通区域包括车道线,进而对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息,也即是说,车道线所在的位置信息是先将当前帧图像划分成多个检测框,进而将检测框连通得到包括车道线的连通区域,进而对连通区域进行边缘检测得到的,避免了环境图像的像素灰度剧烈变化时,所确定的车道线所在的位置信息不准确的问题,提高了所确定的车道线所在的位置信息的准确度。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及了一种车道线识别方法、装置、设备和存储介质。
背景技术
随着人工智能技术的蓬勃发展,自动驾驶成为一种可能的驾驶方法,自动驾驶通常是通过摄像头获取车辆周围的环境图像,并利用人工智能技术从环境图像中获取道路信息,以控制车辆根据道路信息行驶。
利用人工智能技术从环境图像中获取的道路信息的过程,通常包括从环境图像中确定车辆行驶路段中的车道线,车道线作为常见的交通标识,包括多种不同类型的车道线。例如,从颜色上划分,车道线包括白线和黄线,从用途上划分,车道线分为虚线、实线、双实线和双虚线。终端在从环境图像中确定车道线时,通常是通过环境图像中不同区域的像素灰度来确定车道线的,例如,将环境图像中像素灰度明显高于周围的区域确定为实线区域。
然而,环境图像的像素灰度会受到图像传感器白平衡算法、不同光照强度和地面反光等因素的影响而变化,导致根据环境图像的像素灰度确定的车道线不准确。
发明内容
基于此,有必要针对传统方法确定的车道线不准确的问题,提供了一种车道线识别方法、装置、设备和存储介质。
第一方面,一种车道线识别方法,该方法包括:
对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框;
根据多个检测框的位置信息,确定连通区域,连通区域包括车道线;
对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息。
在其中一个实施例中,上述对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框,包括:
将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框;车道线分类模型包括至少两个级联的分类器。
在其中一个实施例中,上述将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框,包括:
根据车道线分类模型可识别的区域尺寸,对当前帧图像进行缩放运算,得到缩放后的当前帧图像;
根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框。
在其中一个实施例中,上述根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框,包括:
按照预设的滑窗尺寸,对缩放后的当前帧图像进行滑窗运算,得到多个待识别图像;
将多个待识别图像依次输入车道线分类模型,得到车道线所在的多个检测框。
在其中一个实施例中,上述根据多个检测框的位置信息,确定连通区域,包括:
根据多个检测框的位置信息,对多个检测框进行合并,确定多个检测框所在的合并区域;
根据合并区域,确定多个检测框对应的连通区域。
在其中一个实施例中,上述对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息,包括:
对连通区域进行边缘检测,得到目标边缘区域;
当目标边缘区域满足预设条件时,则将目标边缘区域所在的位置信息作为车道线所在的位置信息。
在其中一个实施例中,上述预设条件包括以下至少其中之一:目标边缘区域包括左边缘和右边缘、目标边缘区域的远端宽度小于近端宽度和目标边缘区域的远端宽度大于近端宽度与宽度系数的乘积。
在其中一个实施例中,该方法还包括:
根据当前帧图像中车道线所在的位置信息,对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息。
在其中一个实施例中,上述根据识别结果,对根据当前帧图像中车道线所在的位置信息,对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息,包括:
将下一帧图像划分为多个区域图像;
选取当前帧图像中车道线所在的位置信息对应的下一帧图像中的区域图像作为目标区域图像;
对目标区域图像进行目标跟踪,获取下一帧图像中的车道线所在的位置信息。
在其中一个实施例中,该方法还包括:
根据当前帧图像中车道线所在的位置信息,确定车道线的交汇点;
根据车道线的交汇点和当前帧图像中车道线所在的位置信息,确定车道线预估区域;
选取当前帧图像的下一帧图像中车道线预估区域对应的区域图像,作为下一帧图像。
在其中一个实施例中,该方法还包括:
根据车道线所在的位置信息确定车辆的行驶状态,车辆的行驶状态包括压线行驶;
若车辆的行驶状态满足预设的预警条件,输出预警信息。
在其中一个实施例中,上述预警条件包括车辆压实线行驶,或车辆压虚线时长超过预设的时长阈值。
第二方面,一种车道线识别装置,该装置包括:
检测模块,用于对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框;
第一确定模块,用于根据多个检测框的位置信息,确定连通区域,连通区域包括车道线;
第二确定模块,用于对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息。
第三方面,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述车道线识别方法的步骤。
第四方面,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述车道线识别方法的步骤。
上述车道线识别方法、装置、设备和存储介质,车道线所在的位置信息是先对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框,并根据多个检测框的位置信息,确定连通区域,连通区域包括车道线,进而对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息,也即是说,车道线所在的位置信息是先将当前帧图像划分成多个检测框,进而将检测框连通得到包括车道线的连通区域,进而对连通区域进行边缘检测得到的,避免了环境图像的像素灰度剧烈变化时,所确定的车道线所在的位置信息不准确的问题,提高了所确定的车道线所在的位置信息的准确度。
附图说明
图1为一个实施例中车道线识别方法的应用环境的示意图;
图2为一个实施例中车道线识别方法的流程示意图;
图2a为一个实施例中车道线识别模型的结构示意图;
图3为另一个实施例中车道线识别方法的流程示意图;
图4为另一个实施例中车道线识别方法的流程示意图;
图4a为一个实施例中合并区域的示意图;
图5为另一个实施例中车道线识别方法的流程示意图;
图5a为一个实施例中连通区域的示意图;
图6为另一个实施例中车道线识别方法的流程示意图;
图7为另一个实施例中车道线识别方法的流程示意图;
图8为另一个实施例中车道线识别方法的流程示意图;
图8a为一个实施例中车道线的交汇点的示意图;
图9为另一个实施例中车道线识别方法的流程示意图;
图10为一个实施例中提供的车道线识别装置的结构示意图;
图11为另一个实施例中提供的车道线识别装置的结构示意图;
图12为另一个实施例中提供的车道线识别装置的结构示意图;
图13为另一个实施例中提供的车道线识别装置的结构示意图;
图14为另一个实施例中提供的车道线识别装置的结构示意图;
图15为另一个实施例中提供的车道线识别装置的结构示意图;
图16为另一个实施例中提供的车道线识别装置的结构示意图;
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
本申请提供的车道线识别方法、装置、设备和存储介质,旨在解决传统方法确定的车道线不准确的的问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本实施例提供的车道线识别方法,可以适用于如图1所示的应用环境中。其中,车辆100上设置的车道线识别装置101用于执行下述图2-9所示的方法步骤。需要说明的是,本实施例提供的车道线识别方法还可以适用于物流仓库中机器人寻路的应用环境中,其中,机器人通过识别车道线进行路径识别,本申请实施例对此不做限制。
需要说明的是,本申请实施例提供的车道线识别方法,其执行主体可以是车道线识别装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为车道线识别终端的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
图2为一个实施例中车道线识别方法的流程示意图。本实施例涉及的是通过对当前帧图像进行检测,得到车道线所在的位置信息的具体过程。如图2所示,该方法包括以下步骤:
S101、对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框。
其中,当前帧图像可以是通过车辆上设置的图像采集设备采集到的图像,当前帧图像中可以包括车辆行驶时车辆周围的环境信息。通常图像采集设备为摄像头,其采集的数据是视频数据,也即是说,当前帧图像可以是视频数据中当前帧对应的图像。检测框可以是当前帧图像中包括车道线的区域,是当前帧图像中车道线的粗选区域。检测框的位置信息可以用于指示车道线区域在当前帧图像的位置。需要说明的是,检测框可以是小于全部车道线所在位置的区域,也即是说,一个检测框中通常只包括部分车道线,而不是全部的车道线。
在车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框时,可以通过图像检测技术来实现。例如,可以通过车道线区域识别模型,确定当前帧图像中车道线所在的多个检测框。
S102、根据多个检测框的位置信息,确定连通区域,连通区域包括车道线。
通常,一帧图像中可以包括多个车道线,因此可以先将指示同一车道线的检测框连通,的到一个连通区域,该连通区域中包括一个车道线。也即是,在获取多个检测框时,可以根据检测框的位置信息,将指示车道线重合的检测框进行连通,得到连通区域。
S103、对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息。
车道线所在的位置信息可以用于指示环境图像中的车道线所在区域,其可以在环境图像中用不同的颜色标记车道线。当得到了连通区域时,可以对连通区域指示的当前帧图像中的位置,进行边缘检测,也即是将连通区域中图像像素灰度明显不同的边缘区域选取出来,确定车道线所在的位置信息。
上述车道线识别方法,车道线所在的位置信息是先对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框,并根据多个检测框的位置信息,确定连通区域,连通区域包括车道线,进而对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息,也即是说,车道线所在的位置信息是先将当前帧图像划分成多个检测框,进而将检测框连通得到包括车道线的连通区域,进而对连通区域进行边缘检测得到的,避免了环境图像的像素灰度剧烈变化时,所确定的车道线所在的位置信息不准确的问题,提高了所确定的车道线所在的位置信息的准确度。
可选地,将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框;车道线分类模型包括至少两个级联的分类器。
车道线分类模型可以传统的神经网络模型,例如车道线分类模型可以是Adaboost模型,其结构可以如图2a所示,该车道线分类模型可以包括至少两个级联的分类器,通过每一级分类判断图像中是否包括车道线。
在将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框时,可以将车辆的当前帧图像直接输入车道线分类模型中,通过车道线分类模型中预设的当前帧图像与检测框的映射关系,输出当前帧图像对应的多个检测框;也可以先根据预设的缩放比列,对车辆的当前帧图像进行缩放运算,使得缩放后的当前帧图像的尺寸与车道线分类模型可识别的区域尺寸相匹配,在将缩放后的当前帧图像输入车道线分类模型中,通过车道线分类模型中预设的当前帧图像与检测框的映射关系,输出当前帧图像对应的多个检测框;本申请实施例对此不做限制。
图3为另一个实施例中车道线识别方法的流程示意图。本实施例涉及的是如何对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框的具体过程。如图3所示,上述S101“对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框”一种可能的实现方法包括以下步骤:
S201、根据车道线分类模型可识别的区域尺寸,对当前帧图像进行缩放运算,得到缩放后的当前帧图像。
当车道线分类模型是传统的神经网络模型时,通过传统的神经网络模型所识别的区域尺寸为固定尺寸,例如,固定尺寸为20×20,或者,固定尺寸为30×30。当通过图像采集设备采集的当前帧图像中的车道线区域的尺寸大于上述固定尺寸时,直接将当前帧图像输入车道线分类模型时,车道线分类模型无法根据当前帧图像识别得到多个车道线区域的位置信息。可以通过缩放运算,对当前帧图像进行缩放,得到缩放后的当前帧图像,使得缩放后的当前帧图像中的车道线区域的尺寸,能够与车道线分类模型可识别的区域的尺寸相匹配。
S202、根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框。
可选地,在具体的根据缩放后的当前帧图像和车道线分类模型,得到多个车道线区域的位置信息的过程,可以如图4所示。如图4所示,上述S202“根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框”一种可能的实现方法包括以下步骤:
S301、按照预设的滑窗尺寸,对缩放后的当前帧图像进行滑窗运算,得到多个待识别图像。
其中,预设的滑窗尺寸可以是根据上述车道线分类模型可识别的区域尺寸得到的,预设的滑窗尺寸可以与车道线分类模型可识别的区域尺寸相同,也可以略小于车道线分类模型可识别的区域尺寸,本申请实施例对此不做限制。可以根据预设的滑窗尺寸,对缩放后的当前帧图像进行滑窗运算,得到多个待识别图像,其中,待识别图像的尺寸是根据预设的滑窗尺寸得到的。例如,缩放后的当前帧图像的尺寸为800×600,预设的滑窗尺寸为20×20,则可以按照预设的滑窗尺寸,将坐标(0,0)为起点,坐标(20,20)为终点确定的窗口内的图像作为第一个待识别图像,进而按照预设的滑窗步进2,沿x轴坐标滑动2,得到坐标(2,0)为起点,坐标(22,20)为终点确定的窗口内的图像作为第二个待识别图像,依次滑窗,直至将坐标(780,580)为起点,坐标(800,600)为终点确定的窗口内的图像作为最后一个待识别图像,得到多个待识别图像。
S302、将多个待识别图像依次输入车道线分类模型,得到车道线所在的多个检测框。
其中,将多个待识别图像依次输入车道线分类模型时,车道线分类模型可以通过分类器判断待识别图像是否是车道线的图像,其中分类器可以是至少两个级联的分类器,当最后一级分类器判断该待识别图像是车道线图像时,可以将判断为是车道线图像的待识别图像对应的位置信息确定为车道线所在的多个检测框,也即是说车道线所在的多个检测框可以是如图4a中所示的小窗口。
上述车道线识别方法,终端根据车道线分类模型可识别的区域尺寸,对当前帧图像进行缩放运算,得到缩放后的当前帧图像,根据缩放后的当前帧图像和车道线分类模型,得到多个车道线区域的位置信息,使得当车道线分类模型为传统的神经网络模型时,无法识别与传统的神经网络模型可识别的区域尺寸不匹配的当前帧图像的情况。同时,由于传统的神经网络模型的结构简单,使得通过传统的神经网络模型作为车道线分类模型,得到当前帧图像的车道线区域的位置信息,所需的计算量较小,因此不需要使用计算能力高的芯片获取当前帧图像的车道线区域的位置信息,进而降低了车道线识别所需的装置的成本。
图5为另一个实施例中车道线识别方法的流程示意图。本实施例涉及的是如何根据多个检测框的位置信息,确定连通区域的具体过程。如图5所示,上述S102“根据多个检测框的位置信息,确定连通区域”一种可能的实现方法包括以下步骤:
S401、根据多个检测框的位置信息,对多个检测框进行合并,确定多个检测框所在的合并区域。
其中,根据检测框的位置信息,确定位置重合的多个检测框,将位置重合的检测框进行合并,得到多个检测框所在的合并区域。基于上述实施例中的描述,每个检测框中包括部分车道线,位置重合的多个检测框通常对应一个完整的车道线,因此将位置重合的多个检测框进行合并,得到多个检测框所在的合并区域,该合并区域中通常包括一个完整的车道线。例如,合并区域可以是如图4a所示的两个合并区域。
S402、根据合并区域,确定多个检测框对应的连通区域。
在上述S401的基础上,当得到了合并区域后,可以对合并区域,进行框体检测,得到多个检测框对应的连通区域,需要说明的是,该连通区域可以是合并区域对应的最大外接多边形,也可以是合并区域对应的最大外接圆形,还可以是合并区域对应的最大外接扇形,本申请实施例对此不做限制。例如,连通区域可以是如图5a所示的两个合并区域的最大外接多边形。
可选地,可以通过图6所示实施例来对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息,如图6所示,上述103“对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息”一种可能的实现方法包括以下步骤:
S501、对连通区域进行边缘检测,得到目标边缘区域。
S502、当目标边缘区域满足预设条件时,则将目标边缘区域所在的位置信息作为车道线所在的位置信息。
其中,当对连通区域进行边缘检测,得到目标边缘区域不准确时,也即是存在目标边缘区域并不是车道线的情况,可以通过判断目标边缘区域是否满足预设条件,来确定目标边缘区域中是否包括车道线。当目标边缘区域满足预设条件时,目标边缘区域所在的位置信息作为车道线所在的位置信息。
可选地,预设条件包括以下至少其中之一:目标边缘区域包括左边缘和右边缘、目标边缘区域的远端宽度小于近端宽度和目标边缘区域的远端宽度大于近端宽度与宽度系数的乘积。
由于在平面图像上,车道线通常是预设宽度的线,因此,当目标边缘区域同时包括左边缘和右边缘时,才能确定目标边缘区域可能为车道线。当目标边缘区域只包括左边缘,或者只包括右边缘时,则目标边缘区域不可能为车道线,是误判。同时,在平面图像中,车道线满足“近粗远细”的原则,因此当目标边缘区域的远端宽度小于近端宽度时,目标边缘区域可能为车道线。进一步地,可以通过目标边缘区域的远端宽度大于近端宽度与宽度系数的乘积来限定车道线的宽度的变化程度。例如,在具体判断目标边缘区域的远端宽度是否小于近端宽度,可以通过下述公式来判断:
length(i)≥length(i+1)and 0.7*length(i)<length(i+1)
也即是说,当目标边缘区域包括左边缘和右边缘;目标边缘区域的远端宽度小于近端宽度,目标边缘区域为车道线的识别结果。
上述车道线识别方法,终端对连通区域进行边缘检测,得到目标边缘区域,若目标边缘区域满足预设条件,则将目标边缘区域所在的位置信息作为车道线所在的位置信息,其中预设条件用于确定目标边缘区域中是否包括车道线,也即是说,在对连通区域进行边缘检测之后,得到目标边缘区域时,进一步地,通过判断目标边缘区域是否满足预设条件,并将满足预设条件的目标边缘区域所在的位置信息作为车道线所在的位置信息,避免了将目标区域进行边缘提取得到目标边缘区域所在的位置信息直接作为车道线所在的位置信息时,由于误判导致所确定的车道线所在的位置信息不准确的情况,进一步地提高了确定的车道线所在的位置信息的准确性。
在上述实施例的基础上,在对当前帧图像的下一帧图像进行车道线识别时,可以根据当前帧图像的车道线车道线所在的位置信息,对下一帧图像进行目标跟踪,得到下一帧图像的车道线所在的位置信息。可选地,根据当前帧图像中车道线所在的位置信息,对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息。
其中,当确定了当前帧图像的车道线所在的位置信息时,可以将车道线所在的位置信息中车道线的颜色和亮度,与当前帧图像的下一帧图像进行对比,跟踪下一帧图像中与当前帧图像的车道线的颜色和亮度相匹配的区域,得到下一帧图像中的车道线所在的位置信息。
可选地,可以通过图7所示实施例来对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息,包括以下步骤:
S601、将下一帧图像划分为多个区域图像。
当根据车道线所在的位置信息,对下一帧图像进行目标跟踪时,当下一帧图像中光照发生变化时,例如路面积水导致的反光,导致下一帧图像中存在一个积水区域,该积水区域内的亮度与其他区域明显不同,直接对下一帧图像进行目标跟踪时,容易出现由于积水区域亮度过高导致的误判。此时,可以将下一帧图像划分为多个区域图像,以使每个区域图像中车道线亮度是均匀的,避免出现由于积水区域亮度过高导致的误判。
S602、选取当前帧图像中车道线所在的位置信息对应的下一帧图像中的区域图像作为目标区域图像。
S603、对目标区域图像进行目标跟踪,获取下一帧图像中的车道线所在的位置信息。
上述车道线识别方法,将下一帧图像划分为多个区域图像,选取当前帧图像中车道线所在的位置信息对应的下一帧图像中的区域图像作为目标区域图像,对目标区域图像进行目标跟踪,获取下一帧图像中的车道线所在的位置信息,避免了下一帧图像中存在由于光照变化导致的异常亮度区域,进而避免对异常亮度区域的误判得到的错误的目标区域图像的情况,提高了对目标区域图像进行目标跟踪,得到下一帧图像中的车道线所在的位置信息的准确度。
当确定了当前帧图像中车道线所在的位置信息之后,需要对当前帧图像的下一帧图像确定车道线所在的位置信息时,可以根据当前帧图像中车道线所在的位置信息确定车道线预估区域,并将下一帧图像中车道线预估区域对应的区域图像,作为下一帧图像。下面通过图8来详细说明,如图8所示,该方法还包括以下步骤:
S701、根据当前帧图像中车道线所在的位置信息,确定车道线的交汇点。
通常,车道线是成对出现的,也即是说通常环境图像中的车道线为两条车道线,如图8a所示,两条车道线的延长线上存在一个交点,即为车道线的交汇点。该交汇点通常位于图像的地平线上。
S702、根据车道线的交汇点和当前帧图像中车道线所在的位置信息,确定车道线预估区域。
当得到了车道线的交汇点时,可以根据车道线的交汇点将当前帧图像分为两个区域。将包括车道线的区域,作为车道线预估区域。当将当前帧图像分为的两个区域为图像的上区域和图像的下区域时,一般来说,由于交汇点通常位于图像的地平线上,也即是说,图像的上区域为天空,图像的下区域为地面,也即是车道线所在的区域。将图像的下区域确定为车道线预估区域。
S703、选取当前帧图像的下一帧图像中车道线预估区域对应的区域图像,作为下一帧的环境图像。
上述车道线识别方法,根据当前帧图像中车道线所在的位置信息,确定车道线的交汇点,根据车道线的交汇点和当前帧图像中车道线所在的位置信息,确定车道线预估区域,选取当前帧图像的下一帧图像中车道线预估区域对应的区域图像,作为下一帧的环境图像,也即是说,下一帧图像中仅包括车道线预估区域,使得在确定下一帧图像中车道线所在的位置信息时,所需计算的数据量小,提高了确定下一帧图像中车道线所在的位置信息的效率。
当确定了车道线的识别结果时,还可以根据识别结果和车辆当前位置信息,确定是否输出预警信息。下面通过图9来详细说明。
图9为另一个实施例中车道线识别方法的流程示意图。本实施例涉及的是根据车道线所在的位置信息和车辆当前位置信息,确定是否输出预警信息的具体过程。如图9所示,该方法还包括以下步骤:
S801、根据车道线所在的位置信息确定车辆的行驶状态,车辆的行驶状态包括压线行驶。
在上述实施例的基础上,当确定了车道线所在的位置信息之后,可以根据获取安装在车辆上的图像采集设备安装的位置信息,计算得到车辆的行驶状态,也即是车辆是否压线行驶。例如,当图像采集设备安装在车辆上时,根据图像采集设备安装在车辆上的位置、车道线识别结果和车辆自身参数,例如,车辆的高度和宽度,确定车辆是否压线行驶。
S802、若车辆的行驶状态满足预设的预警条件,输出预警信息。
当车辆的行驶状态是压线行驶时,且满足预设的预警条件时,输出预警信息。可选地,预警条件包括车辆压实线行驶,或车辆压虚线时长超过预设的时长阈值,也即是说,当车辆的行驶状态是压线行驶时,且车辆是压实线行驶,或者车辆是压线行驶状态,且车辆压虚线的时长超过预设的时长阈值时,车辆的行驶状态满足预设的预警条件,则输出预警信息,其中,预警信息可以是语音提示,也可以是蜂鸣警报,还可以是灯光闪烁,本申请实施例对此不做限制。
上述车道线识别方法,终端根据车道线所在的位置信息和车辆当前位置信息,确定车辆的行驶状态,车辆的行驶状态包括压线行驶,若车辆的行驶状态满足预设的预警条件,输出预警信息;预警条件包括车辆压实线行驶,或车辆压虚线时长超过预设的时长阈值,使得在车辆压实线,或者压虚线的时长超过预设的时长阈值时,可以输出预警信息,已提示驾驶员,确保行车安全。
应该理解的是,虽然图2-9的流程图中的各个步骤按照箭头的指示,依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-9中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例中提供的车道线识别装置的结构示意图,如图10所示,该车道线识别装置包括:检测模块10、第一确定模块20和第二确定模块30,其中:
检测模块10,用于检测模块,用于对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框;
第一确定模块20,用于根据多个检测框的位置信息,确定连通区域,连通区域包括车道线;
第二确定模块30,用于对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息。
在一个实施例中,检测模块10具体用于将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框;车道线分类模型包括至少两个级联的分类器。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图11为另一个实施例中提供的车道线识别装置的结构示意图,在图10所示实施例的基础上,如图11所示,检测模块10包括:缩放单元101和第一获取单元102,其中
缩放单元101,用于根据车道线分类模型可识别的区域尺寸,对当前帧图像进行缩放运算,得到缩放后的当前帧图像;
第一获取单元102,用于根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框。
在一个实施例中,第一获取单元102具体用于按照预设的滑窗尺寸,对缩放后的当前帧图像进行滑窗运算,得到多个待识别图像;将多个待识别图像依次输入车道线分类模型,得到车道线所在的多个检测框。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图12为另一个实施例中提供的车道线识别装置的结构示意图,在图10或图11所示实施例的基础上,如图12所示,第一确定模块20包括:合并单元201和第一确定单元202,其中:
合并单元201,用于根据多个检测框的位置信息,对多个检测框进行合并,确定多个检测框所在的合并区域;
第一确定单元202,用于根据合并区域,确定多个检测框对应的连通区域。
需要说明的是,图12是基于图11的基础上进行示出的,当然图12也可以基于图10的基础上进行示出,这里仅是一种示例。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图13为另一个实施例中提供的车道线识别装置的结构示意图,在图10-12任一项所示实施例的基础上,如图13所示,第二确定模块30包括:检测单元301和第二确定单元302,其中:
检测单元301用于对连通区域进行边缘检测,得到目标边缘区域;
第二确定单元302用于当目标边缘区域满足预设条件时,则将目标边缘区域所在的位置信息作为车道线所在的位置信息。
在一个实施例中,上述预设条件包括以下至少其中之一:目标边缘区域包括左边缘和右边缘、目标边缘区域的远端宽度小于近端宽度和目标边缘区域的远端宽度大于近端宽度与宽度系数的乘积。
需要说明的是,图13是基于图12的基础上进行示出的,当然图13也可以基于图10或图11的基础上进行示出,这里仅是一种示例。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图14为另一个实施例中提供的车道线识别装置的结构示意图,在图10-13任一项所示实施例的基础上,如图14所示,该车道线识别装置还包括:跟踪模块40,其中:
跟踪模块40用于根据当前帧图像中车道线所在的位置信息,对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息。
在一个实施例中,跟踪模块40具体用于将下一帧图像划分为多个区域图像;选取当前帧图像中车道线的识别结果对应的下一帧图像中的区域图像作为目标区域图像;对目标区域图像进行目标跟踪,获取下一帧图像中的车道线所在的位置信息。
需要说明的是,图14是基于图13的基础上进行示出的,当然图14也可以基于图10-12任一项的基础上进行示出,这里仅是一种示例。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图15为另一个实施例中提供的车道线识别装置的结构示意图,在图10-14任一项所示实施例的基础上,如图15所示,该车道线识别装置还包括:选取模块50,其中:
选取模块50具体用于根据当前帧图像中车道线所在的位置信息,确定车道线的交汇点;根据车道线的交汇点和当前帧图像中车道线所在的位置信息,确定车道线预估区域;选取当前帧图像的下一帧图像中车道线预估区域对应的区域图像,作为下一帧图像。
需要说明的是,图15是基于图14的基础上进行示出的,当然图15也可以基于图10-13任一项的基础上进行示出,这里仅是一种示例。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图16为另一个实施例中提供的车道线识别装置的结构示意图,在图10-15任一项所示实施例的基础上,如图16所示,该车道线识别装置还包括:预警模块60,其中:
预警模块60具体用于根据车道线所在的位置信息确定车辆的行驶状态,车辆的行驶状态包括压线行驶;若车辆的行驶状态满足预设的预警条件,输出预警信息。
在一个实施例中,上述预警条件包括车辆压实线行驶,或车辆压虚线时长超过预设的时长阈值。
需要说明的是,图16是基于图15的基础上进行示出的,当然图16也可以基于图10-14任一项的基础上进行示出,这里仅是一种示例。
本申请实施例提供的车道线识别装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于一种车道线识别装置的具体限定可以参见上文中对车道线识别方法的限定,在此不再赘述。上述车道线识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端设备,其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车道线识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框;
根据多个检测框的位置信息,确定连通区域,连通区域包括车道线;
对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框;车道线分类模型包括至少两个级联的分类器。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据车道线分类模型可识别的区域尺寸,对当前帧图像进行缩放运算,得到缩放后的当前帧图像;根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:按照预设的滑窗尺寸,对缩放后的当前帧图像进行滑窗运算,得到多个待识别图像;将多个待识别图像依次输入车道线分类模型,得到车道线所在的多个检测框。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据多个检测框的位置信息,对多个检测框进行合并,确定多个检测框所在的合并区域;根据合并区域,确定多个检测框对应的连通区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对连通区域进行边缘检测,得到目标边缘区域;当目标边缘区域满足预设条件时,则将目标边缘区域所在的位置信息作为车道线所在的位置信息。
在其中一个实施例中,上述预设条件包括以下至少其中之一:目标边缘区域包括左边缘和右边缘、目标边缘区域的远端宽度小于近端宽度和目标边缘区域的远端宽度大于近端宽度与宽度系数的乘积。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据当前帧图像中车道线所在的位置信息,对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将下一帧图像划分为多个区域图像;选取当前帧图像中车道线所在的位置信息对应的下一帧图像中的区域图像作为目标区域图像;
对目标区域图像进行目标跟踪,获取下一帧图像中的车道线所在的位置信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据当前帧图像中车道线所在的位置信息,确定车道线的交汇点;根据车道线的交汇点和当前帧图像中车道线所在的位置信息,确定车道线预估区域;选取当前帧图像的下一帧图像中车道线预估区域对应的区域图像,作为下一帧图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据车道线所在的位置信息确定车辆的行驶状态,车辆的行驶状态包括压线行驶;若车辆的行驶状态满足预设的预警条件,输出预警信息。
在一个实施例中,上述预警条件包括车辆压实线行驶,或车辆压虚线时长超过预设的时长阈值。
本实施例提供的终端设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对车辆采集的当前帧图像进行检测,确定当前帧图像中的车道线所在的多个检测框;
根据多个检测框的位置信息,确定连通区域,连通区域包括车道线;
对连通区域进行边缘检测,确定连通区域中车道线所在的位置信息。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:将当前帧图像输入车道线分类模型,得到当前帧图像中的车道线所在的多个检测框;车道线分类模型包括至少两个级联的分类器。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:根据车道线分类模型可识别的区域尺寸,对当前帧图像进行缩放运算,得到缩放后的当前帧图像;根据缩放后的当前帧图像和车道线分类模型,得到当前帧图像中的车道线所在的多个检测框。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:按照预设的滑窗尺寸,对缩放后的当前帧图像进行滑窗运算,得到多个待识别图像;将多个待识别图像依次输入车道线分类模型,得到车道线所在的多个检测框。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:根据多个检测框的位置信息,对多个检测框进行合并,确定多个检测框所在的合并区域;根据合并区域,确定多个检测框对应的连通区域。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:对连通区域进行边缘检测,得到目标边缘区域;当目标边缘区域满足预设条件时,则将目标边缘区域所在的位置信息作为车道线所在的位置信息。
在其中一个实施例中,上述预设条件包括以下至少其中之一:目标边缘区域包括左边缘和右边缘、目标边缘区域的远端宽度小于近端宽度和目标边缘区域的远端宽度大于近端宽度与宽度系数的乘积。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:根据当前帧图像中车道线所在的位置信息,对当前帧图像的下一帧图像进行目标跟踪,获取下一帧图像中车道线所在的位置信息。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:将下一帧图像划分为多个区域图像;选取当前帧图像中车道线所在的位置信息对应的下一帧图像中的区域图像作为目标区域图像;
对目标区域图像进行目标跟踪,获取下一帧图像中的车道线所在的位置信息。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:根据当前帧图像中车道线所在的位置信息,确定车道线的交汇点;根据车道线的交汇点和当前帧图像中车道线所在的位置信息,确定车道线预估区域;选取当前帧图像的下一帧图像中车道线预估区域对应的区域图像,作为下一帧图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:根据车道线所在的位置信息确定车辆的行驶状态,车辆的行驶状态包括压线行驶;若车辆的行驶状态满足预设的预警条件,输出预警信息。
在一个实施例中,上述预警条件包括车辆压实线行驶,或车辆压虚线时长超过预设的时长阈值。
本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种车道线识别方法,其特征在于,所述方法包括:
对车辆采集的当前帧图像进行检测,确定所述当前帧图像中的车道线所在的多个检测框;
根据所述多个检测框的位置信息,确定连通区域,所述连通区域包括所述车道线;
对所述连通区域进行边缘检测,确定所述连通区域中车道线所在的位置信息。
2.根据权利要求1所述方法,其特征在于,所述对车辆采集的当前帧图像进行检测,确定所述当前帧图像中的车道线所在的多个检测框,包括:
将所述当前帧图像输入车道线分类模型,得到所述当前帧图像中的车道线所在的多个检测框;所述车道线分类模型包括至少两个级联的分类器。
3.根据权利要求2所述方法,其特征在于,所述将所述当前帧图像输入车道线分类模型,得到所述当前帧图像中的车道线所在的多个检测框,包括:
根据所述车道线分类模型可识别的区域尺寸,对所述当前帧图像进行缩放运算,得到缩放后的当前帧图像;
根据所述缩放后的当前帧图像和所述车道线分类模型,得到所述当前帧图像中的车道线所在的多个检测框。
4.根据权利要求3所述方法,其特征在于,所述根据所述缩放后的当前帧图像和所述车道线分类模型,得到所述当前帧图像中的车道线所在的多个检测框,包括:
按照预设的滑窗尺寸,对所述缩放后的当前帧图像进行滑窗运算,得到多个待识别图像;
将所述多个待识别图像依次输入所述车道线分类模型,得到所述车道线所在的多个检测框。
5.根据权利要求1-4任一项所述方法,其特征在于,所述根据所述多个检测框的位置信息,确定连通区域,包括:
根据所述多个检测框的位置信息,对所述多个检测框进行合并,确定所述多个检测框所在的合并区域;
根据所述合并区域,确定所述多个检测框对应的所述连通区域。
6.根据权利要求1-4任一项所述方法,其特征在于,所述对所述连通区域进行边缘检测,确定所述连通区域中车道线所在的位置信息,包括:
对所述连通区域进行所述边缘检测,得到目标边缘区域;
当所述目标边缘区域满足预设条件时,将所述目标边缘区域所在的位置信息作为所述车道线所在的位置信息。
7.根据权利要求6所述方法,其特征在于,所述预设条件包括以下至少其中之一:所述目标边缘区域包括左边缘和右边缘、所述目标边缘区域的远端宽度小于近端宽度和所述目标边缘区域的远端宽度大于所述近端宽度与宽度系数的乘积。
8.根据权利要求1-3任一项所述方法,其特征在于,所述方法还包括:
根据所述当前帧图像中车道线所在的位置信息,对所述当前帧图像的下一帧图像进行目标跟踪,确定所述下一帧图像中车道线所在的位置信息。
9.根据权利要求8所述方法,其特征在于,所述根据所述当前帧图像中车道线所在的位置信息,对所述当前帧图像的下一帧图像进行目标跟踪,确定所述下一帧图像中车道线所在的位置信息,包括:
将所述下一帧图像划分为多个区域图像;
选取所述当前帧图像中车道线所在的位置信息对应的所述下一帧图像中的区域图像作为目标区域图像;
对所述目标区域图像进行目标跟踪,获取所述下一帧图像中的车道线所在的位置信息。
10.根据权利要求8所述方法,其特征在于,所述方法还包括:
根据所述当前帧图像中车道线所在的位置信息,确定所述车道线的交汇点;
根据所述车道线的交汇点和所述当前帧图像中车道线所在的位置信息,确定车道线预估区域;
选取所述当前帧图像的下一帧图像中所述车道线预估区域对应的区域图像,作为所述下一帧图像。
11.根据权利要求1-4任一项所述方法,其特征在于,所述方法还包括:
根据所述车道线所在的位置信息确定所述车辆的行驶状态,所述车辆的行驶状态包括压线行驶;
当所述车辆的行驶状态满足预设的预警条件时,输出预警信息。
12.根据权利要求11所述方法,其特征在于,所述预警条件包括所述车辆压实线行驶,或所述车辆压虚线时长超过预设的时长阈值。
13.一种车道线识别装置,其特征在于,所述装置包括:
检测模块,用于对车辆采集的当前帧图像进行检测,确定所述当前帧图像中的车道线所在的多个检测框;
第一确定模块,用于根据所述多个检测框的位置信息,确定连通区域,所述连通区域包括所述车道线;
第二确定模块,用于对所述连通区域进行边缘检测,确定所述连通区域中车道线所在的位置信息。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-12中任一项所述方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-12中任一项所述的方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911147428.8A CN111160086B (zh) | 2019-11-21 | 2019-11-21 | 车道线识别方法、装置、设备和存储介质 |
US17/767,367 US20220375234A1 (en) | 2019-11-21 | 2020-09-15 | Lane line recognition method, device and storage medium |
PCT/CN2020/115390 WO2021098359A1 (zh) | 2019-11-21 | 2020-09-15 | 车道线识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911147428.8A CN111160086B (zh) | 2019-11-21 | 2019-11-21 | 车道线识别方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160086A true CN111160086A (zh) | 2020-05-15 |
CN111160086B CN111160086B (zh) | 2023-10-13 |
Family
ID=70556048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911147428.8A Active CN111160086B (zh) | 2019-11-21 | 2019-11-21 | 车道线识别方法、装置、设备和存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220375234A1 (zh) |
CN (1) | CN111160086B (zh) |
WO (1) | WO2021098359A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200142A (zh) * | 2020-08-07 | 2021-01-08 | 平安科技(深圳)有限公司 | 一种识别车道线的方法、装置、设备及存储介质 |
CN112507852A (zh) * | 2020-12-02 | 2021-03-16 | 上海眼控科技股份有限公司 | 一种车道线识别方法、装置、设备及存储介质 |
WO2021098359A1 (zh) * | 2019-11-21 | 2021-05-27 | 成都旷视金智科技有限公司 | 车道线识别方法、装置、设备和存储介质 |
CN114332699A (zh) * | 2021-12-24 | 2022-04-12 | 中国电信股份有限公司 | 路况预测方法、装置、设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113178074A (zh) * | 2021-04-26 | 2021-07-27 | 蔚来汽车科技(安徽)有限公司 | 应用于车辆的交通流机器学习建模系统及其方法 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103117005A (zh) * | 2011-11-16 | 2013-05-22 | 财团法人工业技术研究院 | 车道偏移警示方法及系统 |
CN103500322A (zh) * | 2013-09-10 | 2014-01-08 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
CN103632140A (zh) * | 2013-11-27 | 2014-03-12 | 智慧城市系统服务(中国)有限公司 | 一种车道线检测方法及装置 |
CN103630122A (zh) * | 2013-10-15 | 2014-03-12 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
CN104036253A (zh) * | 2014-06-20 | 2014-09-10 | 智慧城市系统服务(中国)有限公司 | 一种车道线追踪方法及系统 |
CN104657727A (zh) * | 2015-03-18 | 2015-05-27 | 厦门麦克玛视电子信息技术有限公司 | 一种车道线的检测方法 |
CN105069411A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 道路识别方法和装置 |
CN105260713A (zh) * | 2015-10-09 | 2016-01-20 | 东方网力科技股份有限公司 | 一种车道线检测方法和装置 |
CN106228125A (zh) * | 2016-07-15 | 2016-12-14 | 浙江工商大学 | 基于集成学习级联分类器的车道线检测方法 |
CN107229908A (zh) * | 2017-05-16 | 2017-10-03 | 浙江理工大学 | 一种车道线检测方法 |
CN108038416A (zh) * | 2017-11-10 | 2018-05-15 | 智车优行科技(北京)有限公司 | 车道线检测方法及系统 |
CN108875607A (zh) * | 2017-09-29 | 2018-11-23 | 惠州华阳通用电子有限公司 | 车道线检测方法、装置以及计算机可读存储介质 |
CN109101957A (zh) * | 2018-10-29 | 2018-12-28 | 长沙智能驾驶研究院有限公司 | 双目立体数据处理方法、装置、智能驾驶设备及存储介质 |
CN109325389A (zh) * | 2017-07-31 | 2019-02-12 | 比亚迪股份有限公司 | 车道线识别方法、装置及车辆 |
CN109543493A (zh) * | 2017-09-22 | 2019-03-29 | 杭州海康威视数字技术股份有限公司 | 一种车道线的检测方法、装置及电子设备 |
CN109858307A (zh) * | 2017-11-30 | 2019-06-07 | 高德软件有限公司 | 一种车道线识别方法和装置 |
CN109886122A (zh) * | 2019-01-23 | 2019-06-14 | 珠海市杰理科技股份有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109949578A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的车辆压线违法自动审核方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063869A (zh) * | 2014-06-27 | 2014-09-24 | 南京通用电器有限公司 | 一种基于Beamlet变换的车道线检测方法 |
CN111160086B (zh) * | 2019-11-21 | 2023-10-13 | 芜湖迈驰智行科技有限公司 | 车道线识别方法、装置、设备和存储介质 |
-
2019
- 2019-11-21 CN CN201911147428.8A patent/CN111160086B/zh active Active
-
2020
- 2020-09-15 US US17/767,367 patent/US20220375234A1/en active Pending
- 2020-09-15 WO PCT/CN2020/115390 patent/WO2021098359A1/zh active Application Filing
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103117005A (zh) * | 2011-11-16 | 2013-05-22 | 财团法人工业技术研究院 | 车道偏移警示方法及系统 |
CN103500322A (zh) * | 2013-09-10 | 2014-01-08 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
CN103630122A (zh) * | 2013-10-15 | 2014-03-12 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
CN103632140A (zh) * | 2013-11-27 | 2014-03-12 | 智慧城市系统服务(中国)有限公司 | 一种车道线检测方法及装置 |
WO2015078075A1 (zh) * | 2013-11-27 | 2015-06-04 | 智慧城市系统服务(中国)有限公司 | 一种车道线检测方法及装置 |
CN104036253A (zh) * | 2014-06-20 | 2014-09-10 | 智慧城市系统服务(中国)有限公司 | 一种车道线追踪方法及系统 |
CN104657727A (zh) * | 2015-03-18 | 2015-05-27 | 厦门麦克玛视电子信息技术有限公司 | 一种车道线的检测方法 |
CN105069411A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 道路识别方法和装置 |
CN105260713A (zh) * | 2015-10-09 | 2016-01-20 | 东方网力科技股份有限公司 | 一种车道线检测方法和装置 |
CN106228125A (zh) * | 2016-07-15 | 2016-12-14 | 浙江工商大学 | 基于集成学习级联分类器的车道线检测方法 |
CN107229908A (zh) * | 2017-05-16 | 2017-10-03 | 浙江理工大学 | 一种车道线检测方法 |
CN109325389A (zh) * | 2017-07-31 | 2019-02-12 | 比亚迪股份有限公司 | 车道线识别方法、装置及车辆 |
CN109543493A (zh) * | 2017-09-22 | 2019-03-29 | 杭州海康威视数字技术股份有限公司 | 一种车道线的检测方法、装置及电子设备 |
CN108875607A (zh) * | 2017-09-29 | 2018-11-23 | 惠州华阳通用电子有限公司 | 车道线检测方法、装置以及计算机可读存储介质 |
CN108038416A (zh) * | 2017-11-10 | 2018-05-15 | 智车优行科技(北京)有限公司 | 车道线检测方法及系统 |
CN109858307A (zh) * | 2017-11-30 | 2019-06-07 | 高德软件有限公司 | 一种车道线识别方法和装置 |
CN109101957A (zh) * | 2018-10-29 | 2018-12-28 | 长沙智能驾驶研究院有限公司 | 双目立体数据处理方法、装置、智能驾驶设备及存储介质 |
CN109949578A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的车辆压线违法自动审核方法 |
CN109886122A (zh) * | 2019-01-23 | 2019-06-14 | 珠海市杰理科技股份有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021098359A1 (zh) * | 2019-11-21 | 2021-05-27 | 成都旷视金智科技有限公司 | 车道线识别方法、装置、设备和存储介质 |
CN112200142A (zh) * | 2020-08-07 | 2021-01-08 | 平安科技(深圳)有限公司 | 一种识别车道线的方法、装置、设备及存储介质 |
CN112507852A (zh) * | 2020-12-02 | 2021-03-16 | 上海眼控科技股份有限公司 | 一种车道线识别方法、装置、设备及存储介质 |
CN114332699A (zh) * | 2021-12-24 | 2022-04-12 | 中国电信股份有限公司 | 路况预测方法、装置、设备及存储介质 |
CN114332699B (zh) * | 2021-12-24 | 2023-12-12 | 中国电信股份有限公司 | 路况预测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111160086B (zh) | 2023-10-13 |
US20220375234A1 (en) | 2022-11-24 |
WO2021098359A1 (zh) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160086A (zh) | 车道线识别方法、装置、设备和存储介质 | |
US9818301B2 (en) | Lane correction system, lane correction apparatus and method of correcting lane | |
JP4772115B2 (ja) | 夜間に道路を検出する方法及びシステム | |
CN110490902B (zh) | 应用于智慧城市的目标跟踪方法、装置、计算机设备 | |
EP2959454B1 (en) | Method, system and software module for foreground extraction | |
CN111368639B (zh) | 车辆越线判定方法、装置、计算机设备和存储介质 | |
JP4263737B2 (ja) | 歩行者検知装置 | |
CN111178245A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN109116846B (zh) | 一种自动驾驶方法、装置、计算机设备和存储介质 | |
CN107590470B (zh) | 一种车道线检测方法及装置 | |
US10127460B2 (en) | Lane boundary line information acquiring device | |
US20130208945A1 (en) | Method for the detection and tracking of lane markings | |
CN111753649B (zh) | 车位检测方法、装置、计算机设备和存储介质 | |
CN109886122B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN111582077A (zh) | 基于人工智能软件技术的安全带佩戴检测方法和装置 | |
CN114627561B (zh) | 动态手势识别方法、装置、可读存储介质及电子设备 | |
KR20140148171A (ko) | 지능형 차량의 차선 검출방법 | |
CN111178224A (zh) | 物体规则判断方法、装置、计算机设备和存储介质 | |
US11037266B2 (en) | Attached substance detection device and attached substance detection method | |
US8948449B2 (en) | Selecting visible regions in nighttime images for performing clear path detection | |
CN112146666A (zh) | 车辆行驶路线标记方法、装置、计算机设备和存储介质 | |
CN108830303B (zh) | 车辆识别方法、装置、计算机设备和存储介质 | |
CN111376832A (zh) | 图像显示方法、装置、计算机设备和存储介质 | |
CN115703471A (zh) | 驾驶员注意力以及手放置系统和方法 | |
KR101770586B1 (ko) | 보행자 인식 시스템 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230303 Address after: 1201, China Vision Valley Building, 88 Ruixiang Road, Guandou Street, Jiujiang District, Wuhu City, Anhui Province, 241000 Applicant after: Wuhu Maichi Zhixing Technology Co.,Ltd. Address before: 611730 No.223, north section of Hongqi Avenue, Deyuan town (Jingrong town), Pidu District, Chengdu City, Sichuan Province Applicant before: CHENGDU KUANGSHI JINZHI TECHNOLOGY Co.,Ltd. Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |