CN111428537A - 一种道路导流带边缘提取方法、装置和设备 - Google Patents
一种道路导流带边缘提取方法、装置和设备 Download PDFInfo
- Publication number
- CN111428537A CN111428537A CN201910020308.5A CN201910020308A CN111428537A CN 111428537 A CN111428537 A CN 111428537A CN 201910020308 A CN201910020308 A CN 201910020308A CN 111428537 A CN111428537 A CN 111428537A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- pixel
- road surface
- surface information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000001914 filtration Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101150066718 FMOD gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种道路导流带边缘提取方法、装置和设备。所述方法包括：对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，确定道路图像中的导流带区域；从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，得到导流带的边缘线。本发明提供的道路导流带边缘提取方法能够准确的确定导流带区域，提取导流带边缘。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种道路导流带边缘提取方法、装置和设备。
背景技术
随着人工智能技术的发展，辅助驾驶和自动驾驶技术也得到越来越多的关注和使用，车道线提取是辅助驾驶和自动驾驶中重要的一环，通过提取车道线获知车道分布情况，才能实现控制车辆在车道上行驶。在实际应用中，除了提取车道线之外，对于道路的导流带也需要进行识别，才能更准确的获知道路的确切信息。
导流带一般位于车辆的汇入和汇出以及车道数量的变化点，是车辆行驶中非常重要的标志。而提取导流带边缘相比于车道线的难点主要在于：(1)导流带的边缘形状非直线，而传统基于霍夫变换提取车道线方法仅限于直线，并不适用于提取导流带边缘；(2)导流带区域一般形状不规则，并且结构复杂，而传统的过滤算法和使用卷积网络的检测算法的使用场景一般适用于区域规则并且长宽比基本固定的形状，因此也不适用与导流带边缘的提取。(3)目前还没有相关文献针对性的处理导流带边缘的问题。
因此，如何准确有效的提取道路导流带的边缘成为亟待解决的技术问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种道路导流带边缘提取方法、装置和设备。
本发明实施例提供一种道路导流带边缘提取方法，包括：
对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，确定道路图像中的导流带区域；
从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，得到导流带的边缘线。
在一些可选的实施例中，对道路图像进行透视处理，得到透视过滤图像，包括：
对道路图像进行透视变换IPM得到IPM图像；
使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
在一些可选的实施例中，所述对道路图像进行透视变换IPM得到IPM图像，包括：
使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；
其中，所述透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
在一些可选的实施例中，使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：
选取n*n的块过滤器，n为正整数；
针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；
过滤出所述过滤灰度值符合设定条件的像素点。
在一些可选的实施例中，使用机器学习模型对所述道路图像进行分析，得到分割图像，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
在一些可选的实施例中，所述语义分割网络模型，通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到，所述语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
在一些可选的实施例中，所述使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，包括：
根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述道路图像进行特征识别，根据识别结果将所述道路图像分割成若干路面信息要素区域。
在一些可选的实施例中，将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域，包括：
将透视过滤图像中导流带区域的二值图矩阵和分割图像中导流带区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点组成所述导流带区域。
在一些可选的实施例中，从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，包括：
对所述导流带区域的轮廓进行分段，取每段的端点作为滑动生长点；
从滑动生长点中选择生长起点，从生长起点上下滑动生长，获取有效点，对有效点进行分段直线拟合，得到导流带的边缘线。
在一些可选的实施例中，所述对道路图像进行透视处理之前，还包括：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
在一些可选的实施例中，所述对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到畸变矫正后的道路图像。
在一些可选的实施例中，上述方法还包括：
确定得到的导流带边缘线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
本发明实施例还提供一种道路导流带边缘提取装置，包括：
透视过滤模块，用于对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
要素分割模块，用于使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
组合确定模块，用于将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域；
生长拟合模块，用于从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，得到导流带的边缘线。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的道路导流带边缘提取方法。
本发明实施例还提供一种提取设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的道路导流带边缘提取方法。
本发明实施例提供的上述技术方案的有益效果至少包括：
通过对道路图像进行透视处理，提取路面特征，得到包括过滤出的多个路面信息要素特征的透视过滤图像，以及使用机器学习模型对道路图像进行分析，得到包括分析出的多个路面信息要素的分割图像，将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，准确的确定出导流带区域，然后基于确定出的导流带区域中选定的轮廓生长点进行分段拟合，得到导流带的边缘线，这种方式通过多种方式提取的导流带区域进行相互匹配校验，使导流带提取结果更准确，通过直线拟合使获取的导流带边缘更完整、准确，避免因为遮挡或拍摄不清楚导致提取的边缘线不完整、不准确等问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中道路导流带边缘提取方法的流程图；
图2为本发明实施例二中道路导流带边缘提取方法的流程示例图；
图3为本发明实施例二中道路原始图像示例图；
图4为本发明实施例二中图3中图像的畸变矫正图像的示例图；
图5为本发明实施例二中图4中图像的IPM图像示例图；
图6为本发明实施例二中图5中图像的IPM过滤图像示例图；
图7为本发明实施例二中图4中图像的路面要素分割图像示例图；
图8为本发明实施例二中图7中图像的IPM分割图像示例图；
图9为本发明实施例二中提取到的导流带区域示例图；
图10为本发明实施例二中提取到的导流带区域示例图；
图11为本发明实施例二中在导流带区域中提取轮廓生站点的示例图；
图12为本发明实施例二中基于轮廓生长点上下生长拟合边缘线的示例图；
图13为本发明实施例二中对边缘线进行修补的示例图；
图14为本发明实施例二中坐标变换前图像像素宽高的示例图；
图15为本发明实施例二中坐标变换后像素坐标示例图；
图16为本发明实施例二中三维坐标系的示例图；
图17为本发明实施例二中立体图形与球面映射关系示例图；
图18为本发明实施例二中球面坐标系的示例图；
图19为本发明实施例二中原始全景图坐标展开的示例图；
图20为本发明实施例中道路导流带边缘提取装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的不能准确的提取道路导流带边缘线的问题，本发明实施例提供一种道路导流带边缘提取方法，基于不同方式提取的道路导流带区域和边缘线进行匹配校正，最终得到要提取的导流带区域，并拟和生长得到导流带的边缘线，能够准确的提取到导流带的边缘线，避免导流带边缘线提取不准确、不完整等问题。
本发明实施例提供一种道路导流带边缘提取方法，其流程如图1所示，包括如下步骤：
S101：对道路图像进行透视处理，得到透视过滤图像，得到的透视过滤图像中包括过滤出的多个路面信息要素特征。
对道路图像进行透视处理的过程包括：对道路图像进行透视变换(IPM)得到IPM图像；使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
对道路图像进行透视处理之前还可以包括对道路图像进行畸变矫正，得到畸变矫正后的道路图像，然后对畸变矫正后的道路图像进行透视处理。
S102：使用机器学习模型对所述道路图像进行分析，得到分割图像，得到的分割图像中包括分析出的多个路面信息要素。
使用机器学习模型对所述道路图像进行分析的过程包括：使用语义分割网络模型对道路图像中的路面信息要素进行分割，得到路面要素分割图；对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
S103：将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域。
将透视过滤图像中包括的路面特征与分割图像中包括的分析出的路面信息要素进行匹配，确定出道路图像中的导流带区域。
S104：从确定出的导流带区域中选择设定数量的轮廓生长点，通过对轮廓生长点进行分段拟合，得到导流带的边缘线。
该步骤中，对导流带区域的轮廓进行分段，取每段的端点作为滑动生长点；从滑动生长点中选择生长起点，从生长起点上下滑动生长，获取有效点，对有效点进行分段直线拟合，得到导流带的边缘线。
上述方法通过将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，准确的确定出导流带区域，然后基于确定出的导流带区域中选定的轮廓生长点进行分段拟合，得到导流带的边缘线，这种方式通过多种方式提取的导流带区域进行相互匹配校验，使导流带提取结果更准确，通过直线拟合使获取的导流带边缘更完整、准确，避免因为遮挡或拍摄不清楚导致提取的边缘线不完整、不准确等问题。
实施例二：
本发明实施例二提供上述道路导流带边缘提取方法的一种具体实现流程示例，其流程如图2所示，包括：
S201：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
如图3所示为输入的道路图像的原始图像的一个示例，一般可以是相机或摄像机等拍摄设备拍摄的高精度图像，相机拍摄的图像一般会有畸变，因此需要进行畸变矫正，可以借助拍摄设备参数对图像进行畸变矫正，转化为畸变矫正图像，例如C0图像。可以由高精度图像采集方提供拍摄设备的内参矩阵和外参矩阵，根据内参系数和外参系数对摄像机拍摄的原始图像进行矫正。图3所示的道路图像进行畸变矫正后得到的畸变矫正后的道路图像可以如图4所示。对原始道路图像进行畸变矫正的实现过程，在后续进行详细描述。
S202：对畸变矫正后的道路图像进行透视变换IPM得到IPM图像。
对图4所示的畸变矫正的道路图像进行透视变换，得到图5所示的IPM图像。透视变换实现将平面图像还原为立体视角的图像，可以根据平面图像和透视图像的坐标映射关系，实现图像的转换。使用选定的透视变换矩阵，对畸变矫正图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到IPM图像；其中，透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
在进行IPM变换时，也可以借助拍摄设备的参数实现，每台拍摄设备都有对应标定的投影矩阵，原始图像与投影矩阵进行透视变换可以借助opencv函数getPerspectiveTransform实现，生成IPM图像。
S203：使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
对图5所示的IPM图像进行路面信息要素特征提取过滤后，得到图6所示的透视过滤图像。
可以使用选定的过滤器对IPM图像进行滑窗过滤，IPM图像过滤的过程可以包括：选取n*n的块过滤器，n为正整数；针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；过滤出过滤灰度值符合设定条件的像素点。
设定条件时可以根据要提取的路面信息要素的特征设定，比如，本步骤中要提取路面信息要素中的导流带边缘和/或车道线等具有线性特征的路面信息要素，设定的条件可以是过滤后的灰度值条件。
上述n*n的块过滤器，比较优选的是5*5的块过滤器，以像素点为中心计算5*5的中间像素块的灰度值，与中间像素块左右相邻的两个5*5像素块的灰度值，通过下列公式计算过滤灰度值：
If(x,y)＝δ(x,y)·(2·Blockmiddle-Blockleft-Blockright)
其中，δ(x,y)在以像素点为中心的中间像素块的像素点灰度值之和小于左边像素块或右边像素块的像素点灰度值之和时，取值为0，其余情况下取值为1。
经过IPM过滤可以提取到导流带及其边缘线的候选区域，参见图6所示的透视过滤图像，其中白色部分为提取出来的候选区域。
S204：使用语义分割网络模型对畸变矫正后的道路图像中的路面信息要素进行分割，得到路面要素分割图。
对图4所示的畸变矫正后的道路图像进行路面信息要素分割后，得到如图7所示的路面要素分割图。
可以通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到语义分割网络模型，语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
构建语义分割网络模型后，可以使用该模型对畸变矫正图像进行路面信息要素分割，根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述畸变矫正图像进行特征识别，根据识别结果将所述畸变矫正图像分割成若干路面信息要素区域。
可以利用深度卷积神经网络(PSPNet)提取图像的语义信息，包括路面，车辆，路面箭头，导流线，双黄线，白色车道线，黄色车道线，得到的路面要素分割图像的示例如图7所示。
S205：对路面要素分割图进行IPM变换得到IPM分割图像。
对图7所示的路面要素分割图进行IPM变换后得到的IPM分割图像如图8所示。
IPM变换的过程参照步骤S202，不同的是这里是对路面要素分割图进行IPM变化得到对应的IPM分割图像。
S206：将透视过滤图像中包括的过滤出的多个路面信息要素特征与分割图像中分割出的多个路面信息要素进行匹配，确定道路图像中导流带区域。
对图6所示的透视过滤图像中的过滤出的多个路面信息要素特征和图8所示的IPM分割图像中分割出的多个路面要素信息进行匹配。具体的，将提取到的导流带边缘线所对应的导流带候选区域与分割图中的导流带候选区域进行匹配，匹配出的导流带区域和导流带边缘区域如图9和图10所示。
具体实现时，可以将透视过滤图像中导流带区域的二值图矩阵和分割图像中导流带区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点组成导流带区域。例如，“与”运算像素值为1的像素点组成的区域即为导流带区域。参见图9和图10所示，匹配出来的导流带区域和导流带边缘线如图中的白色部分所示。
S207：从导流带区域中选择设定数量的轮廓生长点，通过对轮廓生长点进行分段拟合，得到导流带的边缘线。
对图10所示的提取出来的导流带边缘区域，进行分段拟合，得到导流带的边缘线。可以包括：对导流带区域的轮廓进行分段，取每段的端点作为滑动生长点；从滑动生长点中选择生长起点，从生长起点上下滑动生长，获取有效点，对有效点进行分段直线拟合，得到导流带的边缘线。
参见图11所示的，确定出导流带区域后，将导流带区域划分为分段，取每个分段的端点作为轮廓生长点。确定轮廓生长点后，选择一个生长起点，从生长起点开始向上下两个方向滑动，选取有效点，参照图12所示，根据选取的选取有效点进行分段直线拟合。
例如可以采用k*k的窗口上下滑动，窗口的中心点即为有效点，优选的，选择当滑动窗口中像素块的灰度平均值符合设定条件时，选取为有效点，设定的条件可以是是的白色点数量大于一定阈值的条件。
在进行直线拟合时，可选的，可以使用opencv3中的cv::fitLine()函数进行直线拟合，可选的其他方式还有最小二乘拟合、hough变换拟合等。
可选的，上述方法还包括：对得到的导流带边缘线进行修补的步骤，确定得到的导流带边缘线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。修补的一个示例如图13所示。可以通过不同的数字标识线型的分类结果，例如1标识虚线，13标识倒流带线，两边的是边缘线，可以表示为2(图13中未示出)。
可以通过平移规则对导流带边缘线进行修补，在IPM图上，导流带边缘线在一定距离范围内是基本平行延伸的，将导流带边缘线向前平移指定的一小段距离，提取所平移到的区域，通过分类器判定该区域内是否包含有导流带边缘线，从而确定该区域内是否需要进行边缘线修补，例如本应该有边缘线，但被车辆或其他物体遮挡，导致未能识别到边缘线时，可以进行这种平移修补。
在一个可选的实施例中，对道路图像的原始图像进行畸变矫正得到畸变矫正的图像的过程包括：
S211：将道路图像各像素的图像坐标转换为各像素的归一化坐标。
将道路图像的像素坐标(x，y)转换到归一化坐标(x1，y1)，归一化之后图像坐标中心(0，0)，左上角(-1，-1)，右上角(1，-1),左下角(-1，1)，右下角(1，1)。参照图14和图15所示，其中图14为坐标变换前图像像素的宽、高(width、height)示例，图15为坐标变换后像素坐标示例。其中，
x1＝(2*((double)x+0.5)/(double)width-1)
y1＝(2*((double)y+0.5)/(double)height-1)
一般情况下，像素坐标采用是像素中心的坐标而不是像素左上角，所以需要加上0.5。
S212：根据道路图像各像素的归一化坐标计算各像素的三维坐标。
在进行三维坐标转换时，可以定义X轴指向车头正前方，Y轴指向正右方，Z轴指向正上方，坐标原点在立体图(cubemap)的正方体的中心，正方体边长为2。参照图16所示。
一般道路图像是由前置摄像头采集的，也就是说，一般是前视图像，在计算三维坐标时，可以按照下列公式进行坐标变换，即像素点坐标为(x，y)的像素点变换后的输出的三维坐标(x，y，z)分别为：out.x＝1；out.y＝x；out.z＝-y。
S213：将道路图像各像素的三维坐标转化为各像素的球面坐标。
将道路图像的三维坐标系中的坐标转化为球面坐标系中的坐标。即根据像素点的三维坐标(cube.x，cube.y，cube.z)计算其在球面坐标系中对应的经纬度(r，lon，lat)。参照图17和图18所示。
r＝sqrt(cube.x*cube.x+cube.y*cube.y+cube.z*cube.z)；
double lon＝fmod(atan2(cube.y,cube.x)+M_PI,2*M_PI)；
double lat＝acos(cube.z/r)；
其中，r表示坐标半径，lon为经度角，lat为维度角；sqrt表示平方计算，M_PI为圆周率。
S214：计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到畸变矫正图像。
将球面坐标转换为原始全景图坐标，相当于将球面展开，参见图19所示，维度角lat方向和经度角lon均360度展开，原始全景图坐标(u，v)计算如下：
double u＝widthOri*lon/M_PI/2-0.5；
double v＝heightOri*lat/M_PI-0.5。
其中：widthOri表示原始宽度，heightOri表示原始高度，
最终得到道路原始图像的畸变矫正图像。
基于同一发明构思，本发明实施例还提供一种道路导流带边缘提取装置，该装置可以设置在提取设备中，该装置的结构如图20所示，包括：透视过滤模块11、要素分割模块12、组合确定模块13和生长拟合模块14。
透视过滤模块11，用于对道路图像进行透视处理，得到透视过滤图像，透视过滤图像中包括过滤出的多个路面信息要素特征；
要素分割模块12，用于使用机器学习模型对道路图像进行分析，得到分割图像，分割图像中包括分析出的多个路面信息要素；
组合确定模块13，用于将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域；
生长拟合模块14，用于从导流带区域中选择设定数量的轮廓生长点，通过对轮廓生长点进行分段拟合，得到导流带的边缘线。
在一个实施例中，透视过滤模块11，用于对道路图像进行透视处理，得到透视过滤图像，包括：对道路图像进行透视变换IPM得到IPM图像；使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
其中，透视过滤模块11，用于对道路图像进行透视变换IPM得到IPM图像，包括：使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；其中，所述透视变换矩阵根据指定数量的参考点在参考道路正图像和参考IPM图像中坐标确定。
其中，透视过滤模块11，用于使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：选取n*n的块过滤器，n为正整数；针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；过滤出所述过滤灰度值符合设定条件的像素点。
在一个实施例中，要素分割模块12用于使用机器学习模型对所述道路图像进行分析，得到分割图像，包括：使用语义分割网络模型对道路图像中的路面信息要素进行分割，得到路面要素分割图；对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
其中，要素分割模块12使用语义分割网络模型对道路图像中的路面信息要素进行分割，包括：根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述道路图像进行特征识别，根据识别结果将所述道路图像分割成若干路面信息要素区域。
可选的，要素分割模块12，具体用于通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到语义分割网络模型，语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
在一个实施例中，组合确定模块13将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域，包括：将透视过滤图像中导流带区域的二值图矩阵和分割图像中导流带区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点组成所述导流带区域。
在一个实施例中，生长拟合模块14从导流带区域中选择设定数量的轮廓生长点，通过对轮廓生长点进行分段拟合，包括：对导流带区域的轮廓进行分段，取每段的端点作为滑动生长点；从滑动生长点中选择生长起点，从生长起点上下滑动生长，获取有效点，对有效点进行分段直线拟合，得到导流带的边缘线。
可选的，上述生长拟合模块14，还用于确定得到的导流带边缘线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
在一个实施例中，上述装置还包括：畸变矫正模块15，用于对道路图像进行透视处理之前，对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
畸变矫正模块15对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到畸变矫正后的道路图像。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，计算机可执行指令被处理器执行时实现上述的道路导流带边缘提取方法。
本发明实施例还提供一种提取设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的道路导流带边缘提取方法。
关于上述实施例中的道路导流带边缘提取装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例的上述方法和装置，通过对道路图像的畸变矫正图像进行透视变换，得到IPM图像，对IPM图像进行路面特征提取，得到IPM过滤图像，以及使用语义分割网络模型对畸变矫正图像进行路面信息要素分割，得到IPM分割图像，基于IPM过滤图像和IPM分割图像进行匹配，准确的确定出导流带区域，然后基于确定出的导流带区域中选定的轮廓生长点进行分段拟合，得到导流带的边缘线，这种方式通过多种方式提取的导流带区域进行相互匹配校验，使导流带提取结果更准确，通过直线拟合使获取的导流带边缘更完整、准确，避免因为遮挡或拍摄不清楚导致提取的边缘线不完整、不准确等问题。
上述方法和装置利用语义分割网络提取导流带区域，并结合滑窗算法提取导流带边缘线，两者结合，然后采用拟合生长的方式得到边缘线，在涉及到复杂道路场景、边缘线规则不规则等情况下时也能准确的提取道路导流带边缘线，且能够有效的避免遮挡等所造成的边缘线中断和缺失。
除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
Claims (15)
1.一种道路导流带边缘提取方法，其特征在于，包括：
对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
将过滤出的多个路面信息要素特征与分析出的多个路面信息要素进行匹配，确定道路图像中的导流带区域；
从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，得到导流带的边缘线。
2.如权利要求1所述的方法，其特征在于，对道路图像进行透视处理，得到透视过滤图像，包括：
对道路图像进行透视变换IPM得到IPM图像；
使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，得到透视过滤图像。
3.如权利要求2所述的方法，其特征在于，所述对道路图像进行透视变换IPM得到IPM图像，包括：
使用选定的透视变换矩阵，对道路图像中各像素的坐标进行变换，得到各像素点对应的IPM坐标，根据各像素点对应的IPM坐标得到所述IPM图像；
其中，所述透视变换矩阵根据指定数量的参考点在参考道路图像和参考IPM图像中坐标确定。
4.如权利要求2所述的方法，其特征在于，使用IPM过滤器对IPM图像进行路面信息要素特征提取过滤，包括：
选取n*n的块过滤器，n为正整数；
针对IPM图像的每个像素点，根据以该像素点为中心的n*n像素块的灰度值之和和该像素块左右相邻的两个n*n像素块的灰度值之和，确定该像素点的过滤灰度值；
过滤出所述过滤灰度值符合设定条件的像素点。
5.如权利要求1所述的方法，其特征在于，使用机器学习模型对所述道路图像进行分析，得到分割图像，包括：
使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，得到路面要素分割图；
对路面要素分割图进行IPM变换得到包括多个路面信息要素的IPM分割图像。
6.如权利要求5所述的方法，其特征在于，所述语义分割网络模型，通过对道路样本图像中标注的路面信息要素进行学习，获取各路面信息要素的特征得到，所述语义分割网络模型包括各路面信息要素的标识和对应的特征信息。
7.如权利要求6所述的方法，其特征在于，所述使用语义分割网络模型对所述道路图像中的路面信息要素进行分割，包括：
根据语义分割网络模型包括的各路面信息要素对应的特征信息，对所述道路图像进行特征识别，根据识别结果将所述道路图像分割成若干路面信息要素区域。
8.如权利要求1所述的方法，其特征在于，将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域，包括：
将透视过滤图像中导流带区域的二值图矩阵和分割图像中导流带区域的二值图矩阵进行“与”运算，提取运算结果中像素符合要求的像素点组成所述导流带区域。
9.如权利要求1所述的方法，其特征在于，从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，包括：
对所述导流带区域的轮廓进行分段，取每段的端点作为滑动生长点；
从滑动生长点中选择生长起点，从生长起点上下滑动生长，获取有效点，对有效点进行分段直线拟合，得到导流带的边缘线。
10.如权利要求1所述的方法，其特征在于，所述对道路图像进行透视处理之前，还包括：对道路图像进行畸变矫正，得到畸变矫正后的道路图像。
11.如权利要求1所述的方法，其特征在于，所述对道路图像进行畸变矫正，得到畸变矫正后的道路图像，包括：
将道路图像各像素的图像坐标转换为各像素的归一化坐标；
根据道路图像各像素的归一化坐标计算各像素的三维坐标；
将道路图像各像素的三维坐标转化为各像素的球面坐标；
计算道路图像各像素的球面坐标对应的原始全景图坐标，根据各像素的原始全景图坐标，得到畸变矫正后的道路图像。
12.如权利要求1-11任一所述的方法，其特征在于，还包括：
确定得到的导流带边缘线存在部分缺失或中断的部分，对进行修补部分缺失或中断的部分进行修补。
13.一种道路导流带边缘提取装置，其特征在于，包括：
透视过滤模块，用于对道路图像进行透视处理，得到透视过滤图像，所述透视过滤图像中包括过滤出的多个路面信息要素特征；
要素分割模块，用于使用机器学习模型对所述道路图像进行分析，得到分割图像，所述分割图像中包括分析出的多个路面信息要素；
组合确定模块，用于将过滤出的多个路面信息要素特征与分割出的多个路面信息要素进行匹配，确定道路图像中的导流带区域；
生长拟合模块，用于从所述导流带区域中选择设定数量的轮廓生长点，通过对所述轮廓生长点进行分段拟合，得到导流带的边缘线。
14.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1-12任一所述的道路导流带边缘提取方法。
15.一种提取设备，其特征在于，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-12任一所述的道路导流带边缘提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910020308.5A CN111428537B (zh) | 2019-01-09 | 2019-01-09 | 一种道路导流带边缘提取方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910020308.5A CN111428537B (zh) | 2019-01-09 | 2019-01-09 | 一种道路导流带边缘提取方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428537A true CN111428537A (zh) | 2020-07-17 |
| CN111428537B CN111428537B (zh) | 2023-05-23 |
Family
ID=71546642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910020308.5A Active CN111428537B (zh) | 2019-01-09 | 2019-01-09 | 一种道路导流带边缘提取方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428537B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114152262A (zh) * | 2021-12-01 | 2022-03-08 | 智道网联科技(北京)有限公司 | 导流带的生成方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718870A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 自动驾驶中基于前向摄像头的道路标线提取方法 |
| US20170061220A1 (en) * | 2015-08-31 | 2017-03-02 | Intel Corporation | Road Marking Extraction from In-Vehicle Video |
| CN107341453A (zh) * | 2017-06-20 | 2017-11-10 | 北京建筑大学 | 一种车道线提取方法及装置 |
| CN107392103A (zh) * | 2017-06-21 | 2017-11-24 | 海信集团有限公司 | 路面车道线的检测方法及装置、电子设备 |
| US20180129887A1 (en) * | 2016-11-07 | 2018-05-10 | Samsung Electronics Co., Ltd. | Method and apparatus for indicating lane |
-
2019
- 2019-01-09 CN CN201910020308.5A patent/CN111428537B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061220A1 (en) * | 2015-08-31 | 2017-03-02 | Intel Corporation | Road Marking Extraction from In-Vehicle Video |
| CN105718870A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 自动驾驶中基于前向摄像头的道路标线提取方法 |
| US20180129887A1 (en) * | 2016-11-07 | 2018-05-10 | Samsung Electronics Co., Ltd. | Method and apparatus for indicating lane |
| CN107341453A (zh) * | 2017-06-20 | 2017-11-10 | 北京建筑大学 | 一种车道线提取方法及装置 |
| CN107392103A (zh) * | 2017-06-21 | 2017-11-24 | 海信集团有限公司 | 路面车道线的检测方法及装置、电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| ZHONGYANG XIAO ET AL: ""MULTIMEDIA FUSION AT SEMANTIC LEVEL IN VEHICLE COOPERACTIVE PERCEPTION"", 《2018 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 * |
| 郑航等: "基于道路先验信息和RANSAC算法的车道线检测", 《机电一体化》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114152262A (zh) * | 2021-12-01 | 2022-03-08 | 智道网联科技(北京)有限公司 | 导流带的生成方法、装置及设备 |
| CN114152262B (zh) * | 2021-12-01 | 2024-02-09 | 智道网联科技(北京)有限公司 | 导流带的生成方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428537B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101807352B (zh) | 一种模糊模式识别的车位检测方法 | |
| Mu et al. | Lane detection based on object segmentation and piecewise fitting | |
| CN107316031A (zh) | 用于行人重识别的图像特征提取方法 | |
| CN111488808B (zh) | 基于交通违法图像数据的车道线检测方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN106778659B (zh) | 一种车牌识别方法及装置 | |
| CN112488046B (zh) | 一种基于无人机高分辨率影像的车道线提取方法 | |
| CN108416316B (zh) | 一种黑烟车的检测方法及系统 | |
| CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
| CN109726717A (zh) | 一种车辆综合信息检测系统 | |
| CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
| CN106485182A (zh) | 一种基于仿射变换的模糊qr码复原方法 | |
| CN109190742B (zh) | 一种基于灰度特征的编码特征点的解码方法 | |
| CN110427979B (zh) | 基于K-Means聚类算法的道路水坑识别方法 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN115457277A (zh) | 一种智能化路面病害识别检测方法及系统 | |
| CN107463939B (zh) | 一种图像关键直线检测方法 | |
| CN111428538B (zh) | 一种车道线提取方法、装置和设备 | |
| Shi et al. | License plate localization in complex environments based on improved GrabCut algorithm | |
| CN114463205A (zh) | 一种基于双分支Unet噪声抑制的车辆目标分割方法 | |
| CN111428537A (zh) | 一种道路导流带边缘提取方法、装置和设备 | |
| Gupta et al. | Robust lane detection using multiple features | |
| CN116863134A (zh) | 一种隧道衬砌裂缝长度与宽度的检测分割方法及系统 | |
| CN113642553B (zh) | 一种整体与部件目标检测相结合的非约束车牌精准定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |