CN111950409B - 一种道路标记线智能识别方法及系统 - Google Patents

Abstract

本发明提供一种道路标记线智能识别方法及系统，图像特征模型识别训练:采集道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；图像特征提取:采集实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；图像特征识别:通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别。本发明提高了道路标记线识别精度。

Description

一种道路标记线智能识别方法及系统

技术领域

本发明属于辅助驾驶信息检测处理技术领域，具体涉及一种道路标记线智能识别方法及系统。

背景技术

随着人工智能和机器视觉等新技术发展，交通环境，如对道路标记线、车辆、行人等，逐渐使用智能识别、检测的系统与方法。通过采集交通环境图像，利用图像处理方法对比库中需识别事物的图像特征，进行智能识别检测。

对于道路标记线图像识别处理，目前通常采用Canny边缘检测方法进行图像的噪声抑制预处理，提取道路标记线边缘特征，主要适用于完好的道路标记线识别，可以有效解决由于阴影和光照差等引起图像模糊的识别问题。

目前，基于车载摄像头的道路标记线识别方法可归纳为两种方法，一种是基于特征识别，另一种是基于模型识别。第一类基于道路标记线特征识别方法，常用的图像特征有：颜色特征、形状特征、纹理特征、边缘特征等。颜色特征具有计算量小、复杂度低的特点，但其丢失了像素点间的位置特征，不能很好的识别前景物体；形状特征有两种经典的算法SIFT和HOG，SIFT特征常用于提取图像局部特征点，HOG特征常用于做图像中的人体检测；纹理特征常用于检索具有粗细、疏密等方面较大差别的纹理图像；边缘特征常用于检测一张数字图像中有明显变化的边缘或者不连续的区域。基于人工智能CNN(卷积神经网络)图像特征识别方法，本质是串行计算提取图像特征，需要处理巨大的数据集，消耗大量的时间。

第二类基于道路模型的道路标记线检测算法，主要利用提取的道路标记线图像特征点与直线、抛物线和曲线等道路标记线几何模型进行模型匹配，进而对边缘特征点进行多方面拟合，获得道路标记线模型的参数数值。直线模型的实时检测效果很好，但精确度较低；抛物线模型难以对直线与曲线的过渡部分进行匹配，无法正确地检测出道路标记线；而样条曲线模型的建立较为复杂，计算过程漫长。

在道路标记线图像识别应用中，由于天气原因往往致使路面反光、阴影，同时由于时间久远致使道路标记线磨损、断节，或者由于存在杂物遮挡等现象，使得获取的是模糊或者残缺的道路标记线图像，其中混入了较强的连续噪声，或道路标记线信息部份失真，严重影响了道路标记线的识别精度。

发明内容

针对上述技术问题，本发明提供一种道路标记线智能识别方法及系统，本发明基于视觉图像处理与人工智能CNN(卷积神经网络)方法，综合模型识别与特征识别相结合的方法，旨在一定程度上解决现有道路标记线图像处理方法对磨损、断节或模糊的道路标记线识别精度低的问题。

本发明提出了一种道路标记线智能识别方法，包括以下步骤：

图像特征模型识别训练:采集道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；

图像特征提取:采集实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；

图像特征识别:通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别。

上述方案中，所述图像特征模型识别训练包括以下步骤：

建立样本集：采集残缺的道路标记线图像和模糊的道路标记线图像，作为训练样本集；

图像处理：对样本图像分别进行处理，凸显样本中道路标记线残缺或者模糊图像的形状、大小特征；

提取样本形状、大小特征：利用卷积神经网络中卷积核滤波器对预处理后的图像进行过滤处理，提取样本中道路标记线形状、大小的图像特征；

特征学习训练，生成特征模型：对提取的样本中道路标记线形状、大小的图像特征进行学习训练，形成残缺或者模糊道路标记线图像特征模型；

建立特征模型库：将图像特征模型保存到道路标记线图像特征模型库中形成残缺和模糊的道路标记线图像特征模型库。

上述方案中，所述图像特征提取包括以下步骤：

采集实际道路标记线图像：采集车辆正常行驶中实际工况下的道路标记线图像，得到实际道路标记线图像；

图像处理：对采集的实际道路标记线图像分别进行处理，凸显实际道路标记线图像中道路标记线残缺或者模糊图像的形状、大小特征；

图像过滤处理：利用卷积神经网络，根据神经元之间的连接相似性对图像进行过滤处理，使得任意神经元只能接受来自前一层的一小部分的输入，每个神经元只需负责处理一张图像的一个特定部分或者区域；

提取图像中实际道路标记线形状、大小特征：在过滤处理后的图像中提取实际道路标记线形状、大小特征。

上述方案中，所述图像特征识别包括以下步骤：

对采集的实际道路标记线图像中无损或者清晰的道路标记线直接识别，对于残缺或者模糊的道路标记线，在道路标记线图像特征模型库中寻找与实际道路标记线图像所提取的残缺和模糊特征最匹配的模型；基于特征点SIFT算法构建尺度空间计算匹配拟合度，依据匹配拟合度实现对实际工况下道路标记线的识别。

上述方案中，所述图像处理包括以下步骤：图像预处理、道路标记线边缘的提取处理、道路标记线边缘围成的薄弱闭环线状区域去杂点处理；

所述图像预处理具体为：将采集的道路标记线原图像进行逆透视变换，转换为道路图像的俯视图，然后进行几何规范化处理、灰度化处理、形态学滤波处理、图像锐化处理及图像匹配滤波去噪处理，得到预处理后的道路标记线图像；

所述图像匹配滤波去噪处理具体为：对图像锐化处理对比度调整后的道路标记线图像使用45°方向滤波，滤波背景值用100％，滤波卷积核设为3的方向模板对图像进行卷积计算，并以卷积值代替各像素点灰度值；该处理方法更有利于对比，并且加快了处理速度。

所述道路标记线边缘的提取处理具体为：利用卷积神经网络，通过与相应卷积核滤波器进行卷积，提取道路标记线图像边缘。

进一步的，所述提取道路标记线图像边缘具体为：采用提取窗口对图像进行扫描，根据中心像素和其邻域像素的灰度变化关系，提取道路标记线边界候选像素，然后以边界候选像素为样本集，输入边缘，在卷积神经网络中采用反向传播方法，遍历所有的边界候选像素点，候选像素点的集合形成闭环线状，闭环线状作为道路标记线的边缘。

上述方案中，所述道路标记线边缘围成的薄弱闭环线状区域去杂点处理包括以下步骤：

所述薄弱闭环线状区域指细窄或两端聚焦、中间分叉的线条所围成的区域，选定薄弱闭环线状区域每个边界候选像素点的窗口，计算所述窗口灰度极大值，将窗口灰度极大值的M倍作为阈值，如窗口中心像素点灰度值大于阈值，则将中心像素点灰度值设置为窗口最外围像素点平均灰度值，减少有缺陷的道路标记线区域的杂点，突出有缺陷的道路标记线区域，便于建库。

上述方案中，所述图像特征识别的步骤中，特征模型匹配拟合度分以下三种情况处理：

当特征模型匹配拟合度大于或等于设定值A，实际道路标记线图像在当下残缺或者模糊区域直接默认或者识别为特征模型对应的道路标记线；

当特征模型匹配拟合度高于B低于A时，先使用gated门限卷积算法对实际道路标记线图像当下残缺或者模糊区域进行修复处理，之后再次提取图像特征、进行模型匹配，如此时特征模型匹配拟合度高于图像未修复前的匹配拟合度，则将该区域识别为此时特征模型对应的道路标记线，然后将该区域特征训练为一种新特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中；反之，如此时特征模型匹配拟合度低于图像未修复前的匹配拟合度，则该区域道路标记线自动识别无效，然后计算当下残缺区域特征长度d，如d小于等于驾驶车辆长度L，则默认当前道路标记线仍然为原先道路标记线，如d大于L，则提示驾驶员，需要人工确认道路标记线；

当特征模型匹配拟合度低于B时，则该区域道路标记线自动识别无效，提示驾驶员，需要人工确认道路标记线。

当需要进行人工确认道路标记线时，系统自动保存当下残缺或者模糊区域信息，且依据人工判断该区域是否为某种道路标记线，如是，则将该图像及其特征补充作为新的训练样本，将其训练为一种新的残缺或者模糊道路标记线特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中，如不是，剔除该图像及特征信息。

一种实现所述的道路标记线智能识别方法的系统，包括图像采集设备、控制器和显示设备；

所述图像采集设备用于采集道路标记线图像，包括用于建立样本的残缺或者模糊道路标记线图像和实际工况下的道路标记线图像，并将采集的图像传递给控制器；

所述控制器包括图像特征模型识别训练模块、图像特征提取模块和图像特征识别模块，所述图像特征模型识别训练模块用于图像特征模型识别训练，将采集的残缺或者模糊道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；所述图像特征提取模块用于图像特征提取，将采集的实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；所述图像特征识别模块用于图像特征识别，通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别；

所述显示设备用于图像显示。

进一步的，所述控制器还包括语音提示模块，所述语音提示模块与语音提示设备连接，用于控制语音提示设备发出提示音。

与现有技术相比，本发明有益效果是：

1.本发明先收集已知的不同残缺、模糊程度的道路标记线图像作为样本集，进行训练，建立残缺和模糊的道路标记线特征模型库；然后采集实际工况下的道路标记线图像，经过图像预处理后，在库中寻找与图中非全的道路标记线特征匹配的模型，进行道路标记线识别。通过gated门限卷积算法，可修复经长年使用产生磨损、断节或模糊的道路标记线特征，在识别实际道路标记线时，产生的新残缺或模糊特征模型会不断补充到库中，扩大库的适用范围，提高道路标记线识别精度。

2.本发明通过使用卷积神经网络，根据神经元之间的连接相似性对样本图像进行过滤，使得每个神经元只需负责处理一张图像的一个特定部分或者区域，以此提取样本图像中道路标记线形状、大小等特征，再通过归一化将不同阈值空间的特征转换到统一的基准空间中学习训练获得特征模型，建立残缺和模糊的道路标记线特征模型库，便于对模糊和残缺的道路标记线特征进行匹配。

3.本发明特征模型匹配拟合度高于B低于A时，再通过gated门限卷积算法，动态地学习图像中模糊和残缺的特征，增大这些模糊和残缺特征向下传递的概率，提高道路标记线图像中模糊和残缺特征复原度，避免了模糊和残缺的道路标记线特征信息在实际识别过程中失真的缺点，适用于道路标记线经长年使用产生磨损、断节或模糊的环境。

4.本发明识别实际模糊和残缺道路标记线时，产生的新残缺或模糊特征模型会不断补充到库中，扩大库的适用范围，以提高道路标记线识别精度，解决磨损、断节或模糊的道路标记线识别困难的问题。

5.本发明通过加入扬声器硬件，在对极复杂的残缺、模糊特征难以识别时，给予驾驶员提示，由人工确认道路标记线，这在一定程度上提高了本识别方法的可靠性和道路标记线特征模型库可扩展性。

附图说明

图1是本发明一实施方式的一种道路标记线智能识别硬件系统总体组成结构；

图2是本发明一实施方式的一种道路标记线智能识别方法流程；

图3是本发明一实施方式的一种道路标记线智能识别方法图像特征模型识别训练流程；

图4是本发明一实施方式的一种部分模糊的道路标记线模型库图像；

图5是本发明一实施方式的一种部分残缺的道路标记线模型库图像；

图6是本发明一实施方式的一种道路标记线智能识别方法图像特征提取流程；

图7是本发明一实施方式的一种道路标记线智能识别方法图像特征识别流程；

图8是本发明一实施方式的一种道路标记线智能识别方法图像预处理流程；

图9是本发明一实施方式的一种与模型库匹配之前的道路标记线图像；

图10是本发明一实施方式的一种图像预处理后的道路标记线图像；

图11是本发明一实施方式的一种与模型匹配之后重新识别的道路标记线图像。

图中，Ⅰ是原图中模糊的道路标记线，Ⅱ是原图中残缺的道路标记线，Ⅲ是原图中无损的道路标记线。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1和2所示，本发明所述道路标记线智能识别方法的系统的一种较佳实施方式，所述道路标记线智能识别方法的系统图像采集设备、控制器、显示设备和语音提示设备。所述图像采集设备用于采集道路标记线图像，包括用于建立样本的残缺或者模糊道路标记线图像和实际工况下的道路标记线图像，并将采集的图像传递给控制器；所述控制器包括图像特征模型识别训练模块、图像特征提取模块、图像特征识别模块和语音提示模块，所述图像特征模型识别训练模块用于图像特征模型识别训练，将采集的残缺或者模糊道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；所述图像特征提取模块用于图像特征提取，将采集的实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；所述图像特征识别模块用于图像特征识别，通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别；所示显示设备用于图像显示。所述语音提示模块与语音提示设备连接，用于控制语音提示设备发出提示音。

根据本实施例，优选的，所述图像采集设备包括CCD摄像头、视频解码器、缓存器；所述控制器为微机；所述显示设备包括视频编码器、视频显示器；所述语音提示设备为扬声器。所述CCD摄像头用于采集路边道路标记线图像，经视频解码器将采集来的模拟信号转变为数字信号，存放在缓存器中，微机从缓存器中读出数字信号，对图像进行处理，进一步提取道路标记线特征；如提取的残缺区域特征长度d大于驾驶车辆长度L且不能识别为道路标记线时，则通过扬声器语音提示驾驶员需要人工确认道路标记线。

一种道路标记线智能识别方法，包括以下步骤：

图像特征模型识别训练:采集道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；图像特征提取:采集实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；图像特征识别:通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别。

如图2所示，一种道路标记线智能识别方法，包括图像特征模型识别训练、图像特征提取和图像特征识别三个阶段。

所述的一种道路标记线智能识别方法，实现道路标记线智能识别主要是:通过图像特征模型识别训练，建立残缺和模糊的道路标记线图像特征模型库；通过图像特征提取，获取实际应用中采集图像中道路标记线形状、大小等特征；最后通过图像特征识别，在图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别；当匹配拟合度大小为40％-70％时，使用gated门限卷积算法对实际图像当下残缺或者模糊区域进行修复处理，重新提取图像中道路标记线形状、大小等特征，在库中进行新一轮的模型匹配，如二次模型匹配拟合度高于首次匹配拟合度，则将该区域特征训练为一种新特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中，用于后续的实际图像道路标记线的识别。

所述图像特征模型识别训练包括以下步骤：

建立样本集：采集残缺的道路标记线图像和模糊的道路标记线图像，作为训练样本集；

图像处理：对样本图像分别进行处理，凸显样本中道路标记线残缺或者模糊图像的形状、大小特征；

提取样本形状、大小特征：利用卷积神经网络中卷积核滤波器对预处理后的图像进行过滤处理，提取样本中道路标记线形状、大小的图像特征；

特征学习训练，生成特征模型：对提取的样本中道路标记线形状、大小的图像特征进行学习训练，形成残缺或者模糊道路标记线图像特征模型；

建立特征模型库：将图像特征模型保存到道路标记线图像特征模型库中形成残缺和模糊的道路标记线图像特征模型库。

如图3所示，所述图像特征模型识别训练具体为：首先，采集多种不同残缺程度的已知道路标记线清晰图像，或者不同模糊程度的已知道路标记线图像，作为训练样本集；其次，对图像分别进行逆透视变换、几何规范化处理、灰度化处理、形态学滤波处理、图像锐化处理、图像匹配滤波处理等预处理，凸显样本中道路标记线残缺的形状、大小等特征；然后，利用滤波背景值用-100％，滤波卷积核设为8的方向模板，如卷积神经网络中卷积核滤波器权值f1为对图像进行过滤处理，提取样本图像中道路标记线形状、大小等新图像特征；再通过归一化将不同阈值空间的特征转换到统一的基准空间中学习训练，对图像中道路标记线形状、大小等特征进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并保存到特征模型库中；通过对一定量样本处理与学习训练，最终建立残缺和模糊的道路标记线图像特征模型库。如图4所示，是本发明所建立的部分模糊的特征模型，如图5所示，是本发明所建立的部分残缺的特征模型。

如图6所示，所述图像特征提取包括以下步骤：

采集实际道路标记线图像：采集车辆正常行驶中实际工况下的道路标记线图像，得到实际道路标记线图像；

图像处理：对采集的实际道路标记线图像分别进行逆透视变换、几何规范化处理、灰度化处理、形态学滤波处理、图像锐化处理、图像匹配滤波处理等预处理，凸显实际道路标记线图像中道路标记线残缺或者模糊图像的形状、大小特征；

图像过滤处理：利用卷积神经网络，根据神经元之间的连接相似性对图像进行过滤处理，使得任意神经元只能接受来自前一层的一小部分的输入，每个神经元只负责处理一张图像的一个特定部分或者区域；

提取图像中实际道路标记线形状、大小特征：在过滤处理后的图像中提取实际道路标记线形状、大小特征。

如图7所示，所述图像特征识别包括以下步骤：在对实际工况下图像采集、对图像预处理、过滤处理，提取图像中道路标记线形状、大小等特征基础上，对无损或者清晰的道路标记线直接识别，对于残缺或者模糊的道路标记线，在图像特征模型库中寻找与实际图像中残缺的或者模糊的道路标记线图像特征最匹配的特征模型；基于特征点SIFT算法构建尺度空间计算匹配拟合度，依据匹配拟合度实现对实际工况下道路标记线的识别。

所述的基于特征点SIFT算法构建尺度空间计算匹配拟合度具体为：本实施例中，匹配拟合度指实际图像中残缺或模糊区域与特征模型库中匹配的特征模型的相似度大小。以特征点为中心取16×16的邻域作为采样窗口，将采样点和特征点的相对方向通过高斯窗口进行加权运算，根据采样点与两个邻域点的特征向量，计算两者的欧氏距离之比，并同预设的阈值0.6进行比较。若比值小于该阈值，则认定特征向量匹配成功。计算匹配成功的特征点个数占图像中总特征点个数的百分比，即为图像的相似度大小。

其中，如选取的某一轮匹配模型最终匹配拟合度高于40％低于70％，一是不易识别道路标记线，二是物体形状之间具有物种相似性，直接识别为道路标记线时会引起误差，所以使用gated门限卷积算法对实际图像当下残缺或者模糊区域进行修复处理，为卷积的激活值添加一个门限开关，动态地学习实际图像中模糊和残缺特征，增大实际图像中这些模糊和残缺特征向下传递的概率，提高道路标记线图像中残缺和模糊特征复原度；然后，重新提取图像中道路标记线形状、大小等特征，在库中进行新一轮的模型匹配，共进行三轮特征模型匹配，提高磨损、断节或模糊道路标记线识别的精度。

所述的在图像特征模型库中寻找与实际图像中残缺的或者模糊的道路标记线图像特征最匹配的特征模型，其寻找方法特征是：在特征模型库中进行三轮特征模型匹配，保留每一轮中匹配拟合度最高的特征模型分别为：模型1、模型2、模型3，比较这三个匹配特征模型的拟合度大小，按照匹配拟合度逐渐下降次序，将其分为：首选、备选1和备选2三个特征模型，且首选假设为最匹配的特征模型。备选1与备选2的主要作用：当首选匹配识别出现突发状况，难以识别时，启动备选1与备选2模型匹配识别。

本发明所述的首选的特征模型的匹配拟合度分以下三种情况处理：

第一，当首选的特征模型匹配拟合度为70％及以上，实际图像在当下残缺或者模糊区域直接默认或者识别为该首选的特征模型对应的道路标记线；

第二，当首选的特征模型匹配拟合度高于40％低于70％时，先使用gated门限卷积算法对实际图像当下残缺或者模糊区域进行修复处理，之后再次提取图像特征、进行模型匹配，如此时首选的特征模型匹配拟合度高于图像未修复前的匹配拟合度，则将该区域识别为此时首选的特征模型对应的道路标记线，然后将该区域特征训练为一种新特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中；反之，如此时首选的特征模型匹配拟合度低于图像未修复前的匹配拟合度，则该区域道路标记线自动识别无效，然后计算当下残缺区域特征长度d，如d小于等于驾驶车辆长度L，则默认当前道路标记线仍然为原先道路标记线，如d大于L，则使用扬声器语音提示驾驶员，需要人工确认道路标记线；

第三，当首选的特征模型匹配拟合度低于40％时，则该区域道路标记线自动识别无效，同样立即使用扬声器语音提示驾驶员，需要人工确认道路标记线。

当需要进行人工确认道路标记线时，系统自动保存当下残缺或者模糊区域信息，且依据人工判断该区域是否为某种道路标记线，如是，则将该图像及其特征补充作为新的训练样本，将其训练为一种新的残缺或者模糊道路标记线特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中，形成不断完善的特征模型库；如不是，剔除该图像及特征信息。

所述的一种道路标记线智能识别方法，其道路标记线图像处理内容包括：图像预处理、道路标记线边缘的提取处理、道路标记线边缘围成的薄弱闭环线状区域去杂点处理等。

如图8所示，本发明所述的道路标记线图像预处理具体为：包括对CCD摄像头采集的道路标记线图像进行逆透视变换、几何规范化处理、灰度化处理、形态学滤波处理、图像锐化处理及图像匹配滤波去噪处理，得到预处理后的道路标记线图像。

所述的逆透视变换预处理具体为：根据逆透视变换原理，将摄像头采集的道路标记线原图像转化为道路的俯视图像。

所述的几何规范化处理具体为：放大道路标记线在全图中的覆盖率，达到几何规范化的效果。

所述的灰度化处理具体为：利用RGB加权平均法对图像进行灰度化处理，其公式为Gray＝0.2989R+0.5870G+0.1140B。

所述的形态学滤波处理具体为：以边界候选像素灰度值平均值设置为闭环线状区域内的所有像素点灰度值,从而实现形态学滤波处理。

所述的图像锐化处理具体为：将形态学滤波处理后的道路标记线图像进行去相关性拉伸，提取具有灰度差异的边缘和轮廓，把图中相关性很高的像元进行去相关拉伸处理，减弱它们之间的相关性，然后再进行拉伸处理，使用去相关性拉伸的方法调节道路标记线图像对比度，使深色区域的地物差异界线反映得更加清楚。

所述的图像匹配滤波处理具体为：对图像对比度调整后的道路标记线图像使用45°方向滤波，滤波背景值用100％，滤波卷积核设为3的方向模板对图像进行卷积计算，如滤波卷积核f2设为并以卷积值代替各像素点灰度值，将图像中的线与边缘特征信息增强，突出给定方向的线性影像信息，抑制其他方向的无用信息。

所述的道路标记线图像中道路标记线边缘的提取处理具体为：利用卷积神经网络原理，通过与相应卷积核滤波器进行卷积，提取道路标记线图像边缘。

所述的提取图像中道路标记线边缘的过程是：采用一个3×3的提取窗口，如滤波卷积核f3设为对图像进行扫描，根据中心像素和其邻域像素的灰度变化关系，提取道路标记线边界候选像素，然后以边界候选像素为样本集，输入边缘，在卷积神经网络中采用反向传播方法，遍历所有的边界候选像素点，所述候选像素点的集合形成闭环线状，所述闭环线状作为道路标记线的边缘。

所述的道路标记线边缘围成的薄弱闭环线状区域去杂点处理具体为：本发明中，薄弱闭环线状区域指细窄或两端聚焦、中间分叉的线条所围成的区域。选定薄弱闭环线状区域每个边界候选像素点的窗口，计算所述窗口灰度极大值，将窗口灰度极大值的M倍作为阈值，如窗口中心像素点灰度值大于阈值，则将中心像素点灰度值设置为窗口最外围像素点平均灰度值。所述M的取值范围为1.1-1.3。图像预处理后的效果如图10所示。

如图9-11所示，是一种道路标记线智能识别方法运行结果一组对比图，利用本发明所述识别道路标记线过程如下：

采集实际工况下道路标记线图像如图9所示，对其进行图像预处理，处理结果如图10所示，然后在图4和图5的模型库中寻找模型与原图中模糊和残缺的特征进行匹配，可识别出原图中模糊的道路标记线如图11标记Ⅰ所示，原图中残缺的道路标记线如图11标记Ⅱ所示，原图中无损的道路标记线如图11标记Ⅲ所示。避免了道路标记线在实际识别过程中由于模糊和残缺造成的信息失真，使道路标记线整体检测更细致，提高了道路标记线识别的精度。本发明可针对各种长时间使用导致道路标记线磨损、断节或模糊的道路环境中道路标记线识别，具有一定的普适性。

应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种道路标记线智能识别方法，其特征在于，包括以下步骤：

图像特征模型识别训练:采集道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；

图像特征提取:采集实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；

图像特征识别:通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别；

所述图像特征识别包括以下步骤：

对采集的实际道路标记线图像中无损或者清晰的道路标记线直接识别，对于残缺或者模糊的道路标记线，在道路标记线图像特征模型库中寻找与实际道路标记线图像所提取的残缺和模糊特征最匹配的模型；基于特征点SIFT算法构建尺度空间计算匹配拟合度，依据匹配拟合度实现对实际工况下道路标记线的识别；

所述图像特征识别的步骤中，特征模型匹配拟合度分以下三种情况处理：

当特征模型匹配拟合度大于或等于设定值A，实际道路标记线图像在当下残缺或者模糊区域直接默认或者识别为特征模型对应的道路标记线；

当特征模型匹配拟合度高于B低于A时，先使用gated门限卷积算法对实际道路标记线图像当下残缺或者模糊区域进行修复处理，之后再次提取图像特征、进行模型匹配，如此时特征模型匹配拟合度高于图像未修复前的匹配拟合度，则将该区域识别为此时特征模型对应的道路标记线，然后将该区域特征训练为一种新特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中；反之，如此时特征模型匹配拟合度低于图像未修复前的匹配拟合度，则该区域道路标记线自动识别无效，然后计算当下残缺区域特征长度d，如d小于等于驾驶车辆长度L，则默认当前道路标记线仍然为原先道路标记线，如d大于L，则提示驾驶员，需要人工确认道路标记线；

当特征模型匹配拟合度低于B时，则该区域道路标记线自动识别无效，提示驾驶员，需要人工确认道路标记线；

当需要进行人工确认道路标记线时，系统自动保存当下残缺或者模糊区域信息，且依据人工判断该区域是否为某种道路标记线，如是，则将该图像及其特征补充作为新的训练样本，将其训练为一种新的残缺或者模糊道路标记线特征模型，并保存到残缺和模糊的道路标记线图像特征模型库中，如不是，剔除该图像及特征信息。

2.根据权利要求1所述的道路标记线智能识别方法，其特征在于，所述图像特征模型识别训练包括以下步骤：

建立样本集：采集残缺的道路标记线图像和模糊的道路标记线图像，作为训练样本集；

图像处理：对样本图像分别进行处理，凸显样本中道路标记线残缺或者模糊图像的形状、大小特征；

提取样本形状、大小特征：利用卷积神经网络中卷积核滤波器对预处理后的图像进行过滤处理，提取样本中道路标记线形状、大小的图像特征；

特征学习训练，生成特征模型：对提取的样本中道路标记线形状、大小的图像特征进行学习训练，形成残缺或者模糊道路标记线图像特征模型；

建立特征模型库：将图像特征模型保存到道路标记线图像特征模型库中形成残缺和模糊的道路标记线图像特征模型库。

3.根据权利要求1所述的道路标记线智能识别方法，其特征在于，所述图像特征提取包括以下步骤：

采集实际道路标记线图像：采集车辆正常行驶中实际工况下的道路标记线图像，得到实际道路标记线图像；

图像处理：对采集的实际道路标记线图像分别进行处理，凸显实际道路标记线图像中道路标记线残缺或者模糊图像的形状、大小特征；

图像过滤处理：利用卷积神经网络，根据神经元之间的连接相似性对图像进行过滤处理，使得任意神经元只能接受来自前一层的一小部分的输入，每个神经元只负责处理一张图像的一个特定部分或者区域；

提取图像中实际道路标记线形状、大小特征：在过滤处理后的图像中提取实际道路标记线形状、大小特征。

4.根据权利要求1所述的道路标记线智能识别方法，其特征在于，所述图像处理包括以下步骤：图像预处理、道路标记线边缘的提取处理、道路标记线边缘围成的薄弱闭环线状区域去杂点处理；

所述图像预处理具体为：将采集的道路标记线原图像进行逆透视变换，转换为道路图像的俯视图，然后进行几何规范化处理、灰度化处理、形态学滤波处理、图像锐化处理及图像匹配滤波去噪处理，得到预处理后的道路标记线图像；

所述图像匹配滤波去噪处理具体为：对图像锐化处理对比度调整后的道路标记线图像使用45°方向滤波，滤波背景值用100％，滤波卷积核设为3的方向模板对图像进行卷积计算，并以卷积值代替各像素点灰度值；

所述道路标记线边缘的提取处理具体为：利用卷积神经网络，通过与相应卷积核滤波器进行卷积，提取道路标记线图像边缘。

5.根据权利要求4所述的道路标记线智能识别方法，其特征在于，所述提取道路标记线图像边缘具体为：采用提取窗口对图像进行扫描，根据中心像素和其邻域像素的灰度变化关系，提取道路标记线边界候选像素，然后以边界候选像素为样本集，输入边缘，在卷积神经网络中采用反向传播方法，遍历所有的边界候选像素点，候选像素点的集合形成闭环线状，闭环线状作为道路标记线的边缘。

6.根据权利要求1所述的道路标记线智能识别方法，其特征在于，所述道路标记线边缘围成的薄弱闭环线状区域去杂点处理包括以下步骤：

所述薄弱闭环线状区域指细窄或两端聚焦、中间分叉的线条所围成的区域，选定薄弱闭环线状区域每个边界候选像素点的窗口，计算所述窗口灰度极大值，将窗口灰度极大值的M倍作为阈值，如窗口中心像素点灰度值大于阈值，则将中心像素点灰度值设置为窗口最外围像素点平均灰度值，减少有缺陷的道路标记线区域的杂点，突出有缺陷的道路标记线区域，便于建库。

7.一种实现权利要求要求1-6中任意一项所述的道路标记线智能识别方法的系统，其特征在于，包括图像采集设备、控制器和显示设备；

所述图像采集设备用于采集道路标记线图像，包括用于建立样本的残缺或者模糊道路标记线图像和实际工况下的道路标记线图像，并将采集的图像传递给控制器；

所述控制器包括图像特征模型识别训练模块、图像特征提取模块和图像特征识别模块，所述图像特征模型识别训练模块用于图像特征模型识别训练，将采集的残缺或者模糊道路标记线图像建立样本集，对样本进行图像处理，提取样本图像特征，进行学习训练，形成残缺或者模糊道路标记线图像特征模型，并建立道路标记线图像特征模型库；所述图像特征提取模块用于图像特征提取，将采集的实际道路标记线图像，进行图像处理和图像过滤处理，提取实际道路标记线图像特征；所述图像特征识别模块用于图像特征识别，通过对实际道路标记线图像特征识别，在道路标记线图像特征模型库中寻找与实际图像所提取的残缺和模糊特征最匹配的模型，计算二者匹配拟合度，分析其数值大小，实现对实际工况下道路标记线的识别；

所示显示设备用于图像显示。

8.根据权利要求7所述的道路标记线智能识别方法的系统，其特征在于，所述控制器还包括语音提示模块，所述语音提示模块与语音提示设备连接，用于控制语音提示设备发出提示音。