CN111428538B - 一种车道线提取方法、装置和设备 - Google Patents

一种车道线提取方法、装置和设备 Download PDF

Info

Publication number
CN111428538B
CN111428538B CN201910020596.4A CN201910020596A CN111428538B CN 111428538 B CN111428538 B CN 111428538B CN 201910020596 A CN201910020596 A CN 201910020596A CN 111428538 B CN111428538 B CN 111428538B
Authority
CN
China
Prior art keywords
image
road
ipm
pixel
road image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910020596.4A
Other languages
English (en)
Other versions
CN111428538A (zh
Inventor
李焱
易瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910020596.4A priority Critical patent/CN111428538B/zh
Publication of CN111428538A publication Critical patent/CN111428538A/zh
Application granted granted Critical
Publication of CN111428538B publication Critical patent/CN111428538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明公开了一种车道线提取方法、装置和设备。所述方法包括：对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线。本发明提供的车道线提取方法能够准确提取车道线，确定车道数量。

Description

一种车道线提取方法、装置和设备
技术领域
本发明涉及人工智能技术领域，特别涉及一种车道线提取方法、装置和设备。
背景技术
随着人工智能技术的发展，辅助驾驶和自动驾驶技术也得到越来越多的关注和使用，车道线提取是辅助驾驶和自动驾驶中重要的一环，通过提取车道线获知车道分布情况，才能实现控制车辆在车道上行驶。
传统的车道线提取一般是基于条件随机场(Conditional Random Fields，CRF)方法来实现提取车道线，这种方式基于车道线的特征对图像中的车道线区域进行识别，在道路场景比较复杂的道路上，车道线区域提取不太准确，噪声比较多，对车道线的提取造成很大干扰，而要去除噪声，则需要结合多张图像的相似度去除噪声，操作比较复杂，而且去除噪声后也不能保证提取的准确性。
此外，目前也少量的采用深度学习实现提取车道线的方法。例如：先使用过滤算法提取车道线候选区，然后利用卷积神经网络对候选区域进行分类，筛选车道线，最后根据角度和宽度对车道线进行合并和拟合。又例如：使用深度神经网络检测道路上的车道线候选区域，然后根据道路消失点位置，提取车道线。这些方法均不能保证车道线提取的准确性，尤其是路面情况复杂时或车道线有遮挡时，不能精准的识别车道线，容易造成识别错误。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种车道线提取方法、装置和设备。
本发明实施例提供一种车道线提取方法，包括：
对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线。
在一些可选的实施例中，对道路图像进行透视处理，得到透视过滤图像，包括：
对道路图像进行透视变换IPM得到IPM图像；
使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
在一些可选的实施例中，所述对道路图像进行透视变换IPM得到IPM图像，包括：
使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；
其中，所述透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
在一些可选的实施例中，使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：
选取n*n的块过滤器，n为正整数；
针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；
过滤出所述过滤灰度值符合设定条件的像素点。
在一些可选的实施例中，使用机器学习模型对所述道路图像进行分析，得到分割图像，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
在一些可选的实施例中，所述语义分割网络模型，通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到，所述语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
在一些可选的实施例中，所述使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，包括：
根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述道路图像进行特征识别，根据识别结果将所述道路图像分割成若干路面信息要素区域。
在一些可选的实施例中，所述将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线，包括：
将透视过滤图像中导流带区域的二值图矩阵和分割图像中导流带区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点，得到匹配出的道路图像中的车道线。
在一些可选的实施例中，上述方法还包括：
使用条件随机场CRF算法从所述道路图像提取车道线；
将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线。
在一些可选的实施例中，使用CRF算法从所述道路图像提取车道线，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
使用CRF算法，从所述路面要素分割图中提取车道线。
在一些可选的实施例中，使用CRF算法从所述道路图像提取车道线，包括：
使用CRF算法从路面要素分割图中提取车道线的物理特征，所述物理特征包括像素宽度、角度、方向中的至少一个，确定属于同一车道线的延伸区域，得到所述道路图像中的车道线。
在一些可选的实施例中，所述将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线，包括：
根据匹配出的车道线和提取出的车道线中的线段在道路图像中的相对位置、线段间的距离、线段端点间的距离和线段端点与另一条线段的距离，确定需要合并的线段，将需要合并的线段的端点首尾相连，得到道路图像中包括的车道线。
在一些可选的实施例中，上述方法还包括：
确定得到的车道线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
在一些可选的实施例中，对道路图像进行透视处理之前，还包括：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
在一些可选的实施例中，对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到所述畸变矫正后的道路图像。
在一些可选的实施例中，上述方法还包括：
使用深度神经网络模型，对所述道路图像进行边缘分割；
从边缘分割后的图像中提取道路边缘线；
根据道路图像中的车道线结合提取的所述道路边缘线，确定道路图像中的车道数量。
本发明实施例还提供一种车道线提取装置，包括：
透视过滤模块，用于对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
要素分割模块，用于使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
匹配模块，将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的车道线提取方法。
本发明实施例还提供一种提取设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的车道线提取方法。
本发明实施例提供的上述技术方案的有益效果至少包括：
通过对道路图像进行透视处理，提取路面特征，得到包括过滤出的多个路面信息要素特征的透视过滤图像，以及使用机器学习模型对道路图像进行分析，得到包括分析出的多个路面信息要素的分割图像，将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，从而匹配出道路图像中的车道线；在车道线的提取时，结合多种方式进行车道线提取并组合校验，使提取的车道线更精准，即便是路面情况复杂时或车道线有遮挡时，也能准确提取车道线，减少识别错误的发生。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中车道线提取方法的流程图；
图2为本发明实施例二中车道线提取方法的流程示例图；
图3为本发明实施例二中道路原始图像示例图；
图4为本发明实施例二中图3中图像的畸变矫正图像的示例图；
图5为本发明实施例二中图4中图像的IPM图像示例图；
图6为本发明实施例二中图5中图像的IPM过滤图像示例图；
图7为本发明实施例二中图4中图像的路面要素分割图像示例图；
图8为本发明实施例二中图7中图像的IPM分割图像示例图；
图9为本发明实施例二中提取到的车道线示例图；
图10为本发明实施例二中图4进行CRF拉线示例图；
图11为本发明实施例二中CRF拉线IPM图像的示例图；
图12为本发明实施例二中CRF拉线的示例图；
图13为本发明实施例二中合并后的车道线的示例图；
图14为本发明实施例二中边缘分割后的畸变矫正图像示例图；
图15为本发明实施例二中图14中的图像提取道路边缘后的示例图；
图16为本发明实施例二中车道线和道路边缘线组合后的示例图；
图17为本发明实施例二中坐标变换前图像像素宽高的示例图；
图18为本发明实施例二中坐标变换后像素坐标示例图；
图19为本发明实施例二中三维坐标系的示例图；
图20为本发明实施例二中立体图形与球面映射关系示例图；
图21为本发明实施例二中球面坐标系的示例图；
图22为本发明实施例二中原始全景图坐标展开的示例图；
图23为本发明实施例中车道线提取装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的车道线被遮挡或路况复杂时不能准确的提取车道线的问题，本发明实施例提供一种车道线提取方法，基于不同方式提取的车道线进行匹配校正组合，最终得到要提取的车道线，能够准确的提取到道路中的车道线，避免车道线提取不准确、不完整等问题。
本发明实施例提供一种车道线提取方法，其流程如图1所示，包括如下步骤：
S101：对道路图像进行透视处理，得到透视过滤图像，得到的透视过滤图像中包括过滤出的多个路面信息要素特征。
对道路图像进行透视处理的过程包括：对道路图像进行透视变换(IPM)得到IPM图像；使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
对道路图像进行透视处理之前还可以包括对道路图像进行畸变矫正，得到畸变矫正后的道路图像，然后对畸变矫正后的道路图像进行透视处理。
S102：使用机器学习模型对所述道路图像进行分析，得到分割图像，得到的分割图像中包括分析出的多个路面信息要素；
使用机器学习模型对所述道路图像进行分析的过程包括：使用语义分割网络模型对道路图像中的路面信息要素进行分割，得到路面要素分割图；对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
S103：将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线。
将透视过滤图像中包括的路面特征与分割图像中包括的分析出的路面信息要素进行匹配，匹配出道路图像中的车道线，匹配出的车道线在描述过程中称为IPM车道线。
上述方法通过将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，准确的确定出车道线，这种方式通过多种方式提取的导流带区域进行相互匹配校验，使导流带提取结果更准确，即便是路面情况复杂时或车道线有遮挡时，也能准确提取车道线，避免因为遮挡或拍摄不清楚导致确定出的车道线不完整、不准确等问题，减少识别错误的发生。
在一个可选的实施例中，上述方法还包括：
S104：使用条件随机场CRF算法从道路图像提取车道线。
该步骤中，使用语义分割网络模型对道路图像中的路面信息要素进行分割，得到路面要素分割图；使用CRF算法，从路面要素分割图中提取车道线。提取出的车道线在描述过程中称为CRF车道线。
使用CRF算法从所述道路图像提取车道线时，使用语义分割网络模型对道路图像中的路面信息要素进行分割，得到路面要素分割图；使用CRF算法，从路面要素分割图中提取车道线。
S105：将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线。
将通过过滤出的多个路面信息要素特征和分析出的多个路面信息要素匹配出的IPM车道线，与使用CRF算法提取的CRF车道线，进行合并，去除重复的部分，合并不重复的部分，最终得到道路图像中的车道线。
通过合并IPM车道线和CRF车道线，实现车道线的提取，结合多种方式进行车道线提取并组合，使提取的车道线更精准，进一步减少因路面情况复杂时或车道线有遮挡导致的车道线提取不准确的问题，减少识别错误的发生。
实施例二：
本发明实施例二提供上述车道线提取方法的一种具体实现流程示例，其流程如图2所示，包括：
S201：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
如图3所示为输入的道路图像的原始图像的一个示例，一般可以是相机或摄像机等拍摄设备拍摄的高精度图像，相机拍摄的图像一般会有畸变，因此需要进行畸变矫正，可以借助拍摄设备参数对图像进行畸变矫正，转化为畸变矫正图像，例如C0图像。可以由高精度图像采集方提供拍摄设备的内参矩阵和外参矩阵，根据内参系数和外参系数对摄像机拍摄的原始图像进行矫正。图3所示的道路图像进行畸变矫正后得到的畸变矫正后的道路图像可以如图4所示。对原始道路图像进行畸变矫正的实现过程，在后续进行详细描述。
S202：对畸变矫正后的道路图像进行透视变换得到IPM图像。
对图4所示的畸变矫正后的道路图像进行透视变换，得到图5所示的IPM图像。透视变换实现将平面图像还原为立体视角的图像，可以根据平面图像和透视图像的坐标映射关系，实现图像的转换。使用选定的透视变换矩阵，对畸变矫正后的道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到IPM图像；其中，透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。其中参考道路图像也可以是畸变矫正后的参考道路图像。
在进行IPM变换时，也可以借助拍摄设备的参数实现，每台拍摄设备都有对应标定的投影矩阵，原始图像与投影矩阵进行透视变换可以借助opencv函数getPerspectiveTransform实现，生成IPM图像。
S203：使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
对图5所示的IPM图像进行路面信息要素特征提取过滤后，得到图6所示的透视过滤图像。
可以使用选定的过滤器对IPM图像进行滑窗过滤，IPM图像过滤的过程可以包括：选取n*n的块过滤器，n为正整数；针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；过滤出过滤灰度值符合设定条件的像素点。
设定条件时可以根据要提取的路面信息要素的特征设定，比如，本步骤中要提取路面信息要素中的导流带边缘和/或车道线等具有线性特征的路面信息要素，设定的条件可以是过滤后的灰度值条件。
上述n*n的块过滤器，比较优选的是5*5的块过滤器，以像素点为中心计算5*5的中间像素块的灰度值，与中间像素块左右相邻的两个5*5像素块的灰度值，通过下列公式计算过滤灰度值：
If(x，y)＝δ(x，y)·(2·Blockmiddle-Blockleft-Blockright)
其中，δ(x，y)在以像素点为中心的中间像素块的像素点灰度值之和小于左边像素块或右边像素块的像素点灰度值之和时，取值为0，其余情况下取值为1。
经过IPM过滤可以提取到车道线的候选区域，参见图6所示的透视过滤图像，其中白色部分为提取出来的候选区域。
S204：使用语义分割网络模型对畸变矫正后的道路图像中的路面信息要素进行分割，得到路面要素分割图。
对图4所示的畸变矫正后的道路图像进行路面信息要素分割后，得到如图7所示的路面要素分割图。
可以通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到语义分割网络模型，语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
构建语义分割网络模型后，可以使用该模型对畸变矫正图像进行路面信息要素分割，根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述畸变矫正图像进行特征识别，根据识别结果将畸变矫正图像分割成若干路面信息要素区域。
可以利用深度卷积神经网络(PSPNet)提取图像的语义信息，包括路面，车辆，路面箭头，导流线，双黄线，白色车道线，黄色车道线，得到的路面要素分割图像的示例如图7所示。
S205：对路面要素分割图进行IPM变换得到IPM分割图像。
对图7所示的路面要素分割图进行IPM变换后得到的IPM分割图像如图8所示。
IPM变换的过程参照步骤S202，不同的是这里是对路面要素分割图进行IPM变化得到对应的IPM分割图像。
S206：将透视过滤图像中包括的过滤出的多个路面信息要素特征与分割图像中分割出的多个路面信息要素进行匹配，匹配出道路图像中的车道线，即IPM车道线。
对图6所示的透视过滤图像中的过滤出的多个路面信息要素特征和图8所示的IPM分割图像中分割出的多个路面要素信息进行匹配。具体的，将透视过滤图像中提取到的车道线与分割图像中的车道线进行匹配，实现IPM拉线。，匹配出的车道线区域如图9所示。
具体实现时，可以将透视过滤图像中车道线区域的二值图矩阵和IPM分割图像中车道线区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点组成车道线区域。例如，“与”运算像素值为1的像素点组成的区域即为车道线区域。参见图9所示为IPM拉线后，匹配出来的车道线区域如图中的白色部分所示。
S207：使用条件随机场CRF算法，从路面要素分割图中提取CRF车道线并进行IPM；
对图7所示的路面要素分割图进行车道线提取，使用CRF算法从路面要素分割图像中提取车道线的物理特征，物理特征包括像素宽度、角度、方向中的至少一个，确定属于同一车道线的延伸区域，得到道路图像中的CRF车道线。
如图10所示为从路面要素分割图像中进行CRF拉线得到CRF车道线后的示例图。对CRF拉线图像进行IPM，得到CRF拉线IPM图像，参见图11所示。
IPM变换的过程参照步骤S202，不同的是这里是对路面要素分割图进行IPM变化得到对应的IPM分割图。
为了使CRF拉线的提取效果更好，可以对图11所示的IPM图像中的CRF拉线进行拟合，拟合后的CRF拉线参见图12所示。进行拟合使可以对车道线进行分段拟合，将车道线区域划分为分段，取每个分段的端点作为轮廓生长点。确定轮廓生长点后，选择一个生长起点，从生长起点开始向上下两个方向滑动，选取有效点，根据选取的有效点进行分段直线拟合。
例如可以采用k*k的窗口上下滑动，窗口的中心点即为有效点，优选的，选择当滑动窗口中像素块的灰度平均值符合设定条件时，选取为有效点，设定的条件可以是使得白色点数量大于一定阈值的条件。
在进行直线拟合时，可选的，可以使用opencv3中的cv::fitLine()函数进行直线拟合，可选的其他方式还有最小二乘拟合、hough变换拟合等。
S208：合并IPM车道线和IPM后的CRF车道线，得到道路图像中包括的车道线。
对图9所示的匹配出的IPM车道线和图11(或图12)所示的CRF拉线得到的CRF车道线进行合并。根据匹配出的IPM车道线和提取出的IPM后的CRF车道线中的线段在图像中的相对位置、线段间的距离、线段端点间的距离和线段端点与另一条线段的距离，确定需要合并的线段，将需要合并的线段的端点首尾相连，得到道路图像中包括的车道线。合并后的车道线如图13所示。
优选的，得到合并后的车道线之后还包括：
S209：确定得到的车道线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
可以通过平移规则对车道线进行修补，在IPM图上，车道线在一定距离范围内是基本平行延伸的，将车道线向前平移指定的一小段距离，提取所平移到的区域，通过分类器判定该区域内是否包含有车道线，从而确定该区域内是否需要进行车道线修补，例如本应该有车道线，但被车辆或其他物体遮挡，导致未能识别到车道线时，可以进行这种平移修补。
可选的上述方法还包括在提取到的车道线基础上，进一步确定车道数量。
S210：使用深度神经网络模型，对畸变矫正后的道路图像进行边缘分割；
用于边缘分割的道路图像可以是畸变矫正后的道路图像。利用深度卷积神经网络(PSPNet)对道路图像进行边缘分割，将对道路图像中的道路边缘分割出来。如图14所示为对图4所示的畸变矫正后的道路图像进行边缘分割后的图像。
S211：从边缘分割后的道路图像中提取道路边缘线。
利用深度卷积神经网络(PSPNet)提取边缘分割后的图像中道路左右边缘的语义信息，实现对道路边缘线的提取。参见图15所示为对图14所示的边缘分割后的图像进行边缘线提取后的图像，图15中两边的黑色线条即为提取的边缘线。
S212：根据确定出的车道线结合提取的道路边缘线，确定道路图像中的车道数量。
一般情况下，车道数量可以根据边缘线和车道线的总数量确定，例如总数量为M，则车道数量为M-1。考虑道路口的复杂情况，对M条线可以分段处理，取平均值得到最终的车道数量。
参见图16所示，车道线和道路边缘线组合后的示例图。可以通过不同的数字标识线型的分类结果，例如1标识虚线，13标识倒流带线，两边的是边缘线，可以表示为2(图16中未示出)。
在一个可选的实施例中，对道路图像的原始图像进行畸变矫正得到畸变矫正的图像的过程包括：
S111：将道路图像各像素的图像坐标转换为各像素的归一化坐标。
将道路图像的像素坐标(x，y)转换到归一化坐标(x1，y1)，归一化之后图像坐标中心(0，0)，左上角(-1，-1)，右上角(1，-1)，左下角(-1，1)，右下角(1，1)。参照图17和图18所示，其中图17为坐标变换前图像像素的宽、高(width、height)示例，图18为坐标变换后像素坐标示例。其中，
x1＝(2*((double)x+0.5)/(double)width-1)
y1＝(2*((double)y+0.5)/(double)height-1)
一般情况下，像素坐标采用是像素中心的坐标而不是像素左上角，所以需要加上0.5。
S112：根据道路图像各像素的归一化坐标计算各像素的三维坐标。
在进行三维坐标转换时，可以定义X轴指向车头正前方，Y轴指向正右方，Z轴指向正上方，坐标原点在立体图(cubemap)的正方体的中心，正方体边长为2。参照图19所示。
一般道路图像是由前置摄像头采集的，也就是说，一般是前视图像，在计算三维坐标时，可以按照下列公式进行坐标变换，即像素点坐标为(x，y)的像素点变换后的输出的三维坐标(x，y，z)分别为：out.x＝1；out.y＝x；out.z＝-y。
S113：将道路图像各像素的三维坐标转化为各像素的球面坐标。
将道路图像的三维坐标系中的坐标转化为球面坐标系中的坐标。即根据像素点的三维坐标(cube.x，cube.y，cube.z)计算其在球面坐标系中对应的经纬度(r，lon，lat)。参照图20和图21所示。
r＝sqrt(cube.x*cube.x+cube.y*cube.y+cube.z*cube.z)；
double lon＝fmod(atan2(cube.y，cube.x)+M_PI，2*M_PI)；
double lat＝acos(cube.z/r)；
其中，r表示坐标半径，lon为经度角，lat为维度角；sqrt表示平方计算，M_PI为圆周率。
S114：计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到畸变矫正图像。
将球面坐标转换为原始全景图坐标，相当于将球面展开，参见图22所示，维度角lat方向和经度角lon均360度展开，原始全景图坐标(u，v)计算如下：
double u＝widthOri*lon/M_PI/2-0.5；
double v＝heightOri*lat/M_PI-0.5。
其中：widthOri表示原始宽度，heightOri表示原始高度，
最终得到道路原始图像的畸变矫正图像。
基于同一发明构思，本发明实施例还提供一种车道线提取装置，该装置可以设置在提取设备中，该装置的结构如图23所示，包括：透视过滤模块11、要素分割模块12和匹配模块13。
透视过滤模块11，用于对道路图像进行透视处理，得到透视过滤图像，透视过滤图像中包括过滤出的多个路面信息要素特征。
要素分割模块12，用于使用机器学习模型对道路图像进行分析，得到分割图像，分割图像中包括分析出的多个路面信息要素。
匹配模块13，将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线。
在一个实施例中，透视过滤模块11，用于对道路图像进行透视处理，得到透视过滤图像，包括：对道路图像进行透视变换IPM得到IPM图像；使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
其中，透视过滤模块11，用于对道路图像进行透视变换IPM得到IPM图像，包括：使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；其中，透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
其中，透视过滤模块11，用于使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：选取n*n的块过滤器，n为正整数；针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；过滤出所述过滤灰度值符合设定条件的像素点。
在一个实施例中，要素分割模块12，用于使用机器学习模型对道路图像进行分析，得到分割图像，包括：使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；对路面要素分割图进行IPM变换得到包括多个路面信息要素的分割图像。
其中，要素分割模块12，用于使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，包括：根据语义分割网络模型包括的各路面信息要素对应的特征信息，对道路图像进行特征识别，根据识别结果将道路图像分割成若干路面信息要素区域。
可选的，要素分割模块12，具体用于通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到语义分割网络模型，语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
在一个实施例中，匹配模块13用于将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线，包括：
将透视过滤图像中导流带区域的二值图矩阵和分割图像中导流带区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点，得到匹配出的道路图像中的车道线。
在一个实施例中，上述装置还包括：CRF提取模块14和合并模块15。
CRF提取模块14，用于使用条件随机场CRF算法从所述道路图像提取车道线；
合并模块15，用于将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线。
其中，CRF提取模块14，用于使用CRF算法从所述道路图像提取车道线，包括：使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；使用CRF算法，从所述路面要素分割图中提取车道线。
CRF提取模块14，用于使用CRF算法从道路图像提取车道线，包括：使用CRF算法从路面要素分割图中提取车道线的物理特征，所述物理特征包括像素宽度、角度、方向中的至少一个，确定属于同一车道线的延伸区域，得到所述道路图像中的车道线。
其中，合并模块15，用于将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线，包括：根据匹配出的车道线和提取出的车道线中的线段在道路图像中的相对位置、线段间的距离、线段端点间的距离和线段端点与另一条线段的距离，确定需要合并的线段，将需要合并的线段的端点首尾相连，得到道路图像中包括的车道线。
在一个实施例中，合并模块15，还用于确定得到的车道线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
在一个实施例中，上述装置还包括：畸变矫正模块16，用于对道路图像进行透视处理之前，对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
畸变矫正模块15对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到所述畸变矫正后的道路图像。
在一个实施例中，上述装置还包括：边缘提取模块17和车道数量确定模块18。
边缘提取模块17，用于使用深度神经网络模型，对道路图像进行边缘分割；从边缘分割后的图像中提取道路边缘线；
车道数量确定模块18，用于根据道路图像中的车道线结合提取的道路边缘线，确定道路图像中的车道数量。
本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令被处理器执行时实现上述的车道线提取方法。
本发明实施例还提供一种提取设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的车道线提取方法。
关于上述实施例中的车道线提取装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例的上述方法和装置，通过对道路图像的畸变矫正图像进行IPM变换后，使用IPM过滤器提取路面要素信息，将提取的路面要素信息与畸变矫正图像进行路面信息要素分割后分割出的路面信息要素进行匹配，从而得到IPM提取的IPM车道线；通过对路面信息要素分割图像做CRF过滤，得到CRF提取的CRF车道线，合并IPM车道线和CRF车道线，实现车道线的提取，结合多种方式进行车道线提取并组合，使提取的车道线更精准，即便是路面情况复杂时或车道线有遮挡时，也能准确提取车道线，减少识别错误的发生。
上述方法基于单张图像，通过卷积神经网络获取道路语义分割信息，获取车道线的区域和道路边缘信息，结合CRF算法和滑窗算法，能够解决场景复杂的道路。其主要基于语义分割神经网络和CRF算法，能够更精准获取车道线和车道数，并且根据语义分割信息，能够处理更复杂的路面(车辆遮挡和路口)。
除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (32)

1.一种车道线提取方法，其特征在于，包括：
对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线；
使用条件随机场CRF算法从所述道路图像提取车道线；
将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线。
2.如权利要求1所述的方法，其特征在于，对道路图像进行透视处理，得到透视过滤图像，包括：
对道路图像进行透视变换IPM得到IPM图像；
使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
3.如权利要求2所述的方法，其特征在于，所述对道路图像进行透视变换IPM得到IPM图像，包括：
使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；
其中，所述透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
4.如权利要求2所述的方法，其特征在于，使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：
选取n*n的块过滤器，n为正整数；
针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；
过滤出所述过滤灰度值符合设定条件的像素点。
5.如权利要求1所述的方法，其特征在于，使用机器学习模型对所述道路图像进行分析，得到分割图像，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
6.如权利要求5所述的方法，其特征在于，所述语义分割网络模型，通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到，所述语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
7.如权利要求6所述的方法，其特征在于，所述使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，包括：
根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述道路图像进行特征识别，根据识别结果将所述道路图像分割成若干路面信息要素区域。
8.如权利要求1所述的方法，其特征在于，所述将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线，包括：
将透视过滤图像中车道线区域的二值图矩阵和分割图像中车道线区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点，得到匹配出的道路图像中的车道线。
9.如权利要求1所述的方法，其特征在于，使用CRF算法从所述道路图像提取车道线，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
使用CRF算法，从所述路面要素分割图中提取车道线。
10.如权利要求1所述的方法，其特征在于，使用CRF算法从所述道路图像提取车道线，包括：
使用CRF算法从路面要素分割图中提取车道线的物理特征，所述物理特征包括像素宽度、角度、方向中的至少一个，确定属于同一车道线的延伸区域，得到所述道路图像中的车道线。
11.如权利要求1所述的方法，其特征在于，所述将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线，包括：
根据匹配出的车道线和提取出的车道线中的线段在道路图像中的相对位置、线段间的距离、线段端点间的距离和线段端点与另一条线段的距离，确定需要合并的线段，将需要合并的线段的端点首尾相连，得到道路图像中包括的车道线。
12.如权利要求11所述的方法，其特征在于，还包括：
确定得到的车道线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
13.如权利要求1所述的方法，其特征在于，对道路图像进行透视处理之前，还包括：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
14.如权利要求13所述的方法，其特征在于，所述对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到所述畸变矫正后的道路图像。
15.如权利要求1-14任一所述的方法，其特征在于，还包括：
使用深度神经网络模型，对所述道路图像进行边缘分割；
从边缘分割后的图像中提取道路边缘线；
根据道路图像中的车道线结合提取的所述道路边缘线，确定道路图像中的车道数量。
16.一种车道线提取方法，其特征在于，包括：
对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
将透视过滤图像中车道线区域的二值图矩阵和分割图像中车道线区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点，得到匹配出的道路图像中的车道线。
17.如权利要求16所述的方法，其特征在于，对道路图像进行透视处理，得到透视过滤图像，包括：
对道路图像进行透视变换IPM得到IPM图像；
使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
18.如权利要求17所述的方法，其特征在于，所述对道路图像进行透视变换IPM得到IPM图像，包括：
使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；
其中，所述透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
19.如权利要求17所述的方法，其特征在于，使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：
选取n*n的块过滤器，n为正整数；
针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；
过滤出所述过滤灰度值符合设定条件的像素点。
20.如权利要求16所述的方法，其特征在于，使用机器学习模型对所述道路图像进行分析，得到分割图像，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
21.如权利要求20所述的方法，其特征在于，所述语义分割网络模型，通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到，所述语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
22.如权利要求21所述的方法，其特征在于，所述使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，包括：
根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述道路图像进行特征识别，根据识别结果将所述道路图像分割成若干路面信息要素区域。
23.如权利要求16所述的方法，其特征在于，还包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
使用CRF算法，从所述路面要素分割图中提取车道线。
24.如权利要求16所述的方法，其特征在于，还包括：
使用CRF算法从路面要素分割图中提取车道线的物理特征，所述物理特征包括像素宽度、角度、方向中的至少一个，确定属于同一车道线的延伸区域，得到所述道路图像中的车道线。
25.如权利要求23或24所述的方法，其特征在于，还包括：
根据匹配出的车道线和提取出的车道线中的线段在道路图像中的相对位置、线段间的距离、线段端点间的距离和线段端点与另一条线段的距离，确定需要合并的线段，将需要合并的线段的端点首尾相连，得到道路图像中包括的车道线。
26.如权利要求16所述的方法，其特征在于，还包括：
确定得到的车道线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
27.如权利要求16所述的方法，其特征在于，对道路图像进行透视处理之前，还包括：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
28.如权利要求27所述的方法，其特征在于，所述对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到所述畸变矫正后的道路图像。
29.如权利要求16-28任一所述的方法，其特征在于，还包括：
使用深度神经网络模型，对所述道路图像进行边缘分割；
从边缘分割后的图像中提取道路边缘线；
根据道路图像中的车道线结合提取的所述道路边缘线，确定道路图像中的车道数量。
30.一种车道线提取装置，其特征在于，包括：
透视过滤模块，用于对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
要素分割模块，用于使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
匹配模块，将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，匹配出道路图像中的车道线；
CRF提取模块，用于使用条件随机场CRF算法从所述道路图像提取车道线；
合并模块，用于将提取的车道线与匹配出的道路图像中的车道线进行合并，得到道路图像中的车道线。
31.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1-29任一所述的车道线提取方法。
32.一种提取设备，其特征在于，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-29任一所述的车道线提取方法。
CN201910020596.4A 2019-01-09 2019-01-09 一种车道线提取方法、装置和设备 Active CN111428538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910020596.4A CN111428538B (zh) 2019-01-09 2019-01-09 一种车道线提取方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910020596.4A CN111428538B (zh) 2019-01-09 2019-01-09 一种车道线提取方法、装置和设备

Publications (2)

Publication Number Publication Date
CN111428538A CN111428538A (zh) 2020-07-17
CN111428538B true CN111428538B (zh) 2023-06-27

Family

ID=71546085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910020596.4A Active CN111428538B (zh) 2019-01-09 2019-01-09 一种车道线提取方法、装置和设备

Country Status (1)

Country Link
CN (1) CN111428538B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183244A (zh) * 2020-09-11 2021-01-05 浙江大华技术股份有限公司 场景建立方法及装置、存储介质、电子装置
CN112418183A (zh) * 2020-12-15 2021-02-26 广州小鹏自动驾驶科技有限公司 一种停车场的元素提取方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657951B1 (en) * 1998-11-30 2003-12-02 Cisco Technology, Inc. Backup CRF VLAN

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936883B2 (en) * 2013-03-01 2021-03-02 Harman International Industries, Incorporated Road region detection
CN105740805B (zh) * 2016-01-27 2019-06-07 大连楼兰科技股份有限公司 一种基于多区域联合车道线检测方法
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
CN106919915B (zh) * 2017-02-22 2020-06-12 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657951B1 (en) * 1998-11-30 2003-12-02 Cisco Technology, Inc. Backup CRF VLAN

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reading the Road: Road Marking Classification and Interpretation;Bonolo Mathibela et al;《 IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;全文 *
一种引入角点特征的遥感图像道路提取方法;武冰;周石琳;粟毅;;计算机仿真(第10期);全文 *

Also Published As

Publication number Publication date
CN111428538A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN107154040B (zh) 一种隧道衬砌表面图像裂缝检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN107679520B (zh) 一种适用于复杂条件下的车道线视觉检测方法
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
CN109446917B (zh) 一种基于级联霍夫变换的消失点检测方法
CN106778659B (zh) 一种车牌识别方法及装置
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN105809149A (zh) 基于最大长度直线的车道线检测方法
CN108447016B (zh) 基于直线交点的光学图像和sar图像的匹配方法
CN110263635B (zh) 基于结构森林和PCANet的标志物检测与识别方法
CN111667470B (zh) 一种基于数字图像的工业管道探伤内壁检测方法
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
CN113592923B (zh) 一种基于深度局部特征匹配的批图像配准方法
CN113239733B (zh) 一种多车道车道线检测方法
CN111428538B (zh) 一种车道线提取方法、装置和设备
CN112580447B (zh) 一种基于边缘二阶统计与融合的电力线检测方法
Ghanta et al. Automatic road surface defect detection from grayscale images
CN112767358A (zh) 基于图像特征配准的铁路电力机车故障检测方法
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN116168028A (zh) 低可见度下基于边缘滤波的高铁原始图像处理方法和系统
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN111428537B (zh) 一种道路导流带边缘提取方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant