CN112053407A - 一种交通执法影像中基于ai技术的车道线自动检测方法 - Google Patents

一种交通执法影像中基于ai技术的车道线自动检测方法 Download PDF

Info

Publication number
CN112053407A
CN112053407A CN202010769403.8A CN202010769403A CN112053407A CN 112053407 A CN112053407 A CN 112053407A CN 202010769403 A CN202010769403 A CN 202010769403A CN 112053407 A CN112053407 A CN 112053407A
Authority
CN
China
Prior art keywords
lane line
image
endpoint
heat map
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010769403.8A
Other languages
English (en)
Other versions
CN112053407B (zh
Inventor
李万清
刘俊
林永杰
袁友伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010769403.8A priority Critical patent/CN112053407B/zh
Publication of CN112053407A publication Critical patent/CN112053407A/zh
Application granted granted Critical
Publication of CN112053407B publication Critical patent/CN112053407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种交通执法影像中基于AI技术的车道线自动检测方法，属于图像识别领域。因此本发明方法提出一种只预测车道线两个端点的方法，并针对车道线的特殊性对端点特征点对组合分析，最终达到标注工作量小，要求低，预测速度快，预测准确的有益效果。本发明方法检测速度快、准确率高。该检测结果除应用在车辆违法变道检测(压实线检测)外，还可以应用在一些需要使用图像数据检测车道线位置的实际场景应用中如车道数判断等。

Description

一种交通执法影像中基于AI技术的车道线自动检测方法
技术领域
本发明属于深度学习的目标检测领域，具体涉及到一种交通执法影像中基于 AI技术的车道线自动检测方法。
背景技术
车道线识别技术很早就有人开始研究，he/Rong等人使用Canny算子进行边 缘检测，配合Hough变换方法进行车道线检测，时间复杂度较高，而且其车道 线检测的适用范围小，主要是针对无人驾驶数据的车道线检测，而且其只关注左 右两个车道。上述识别方法所针对的场景都是自动驾驶中的车道线检测。而近年 来随着交通设施和违法抓拍系统的健全，在一定程度上减少了交通事故的发生。 但是其违法数据都是由人工筛选，分类出违法、不违法数据。其数据量庞大，人 工效率低，故而存在许多交通违法行为的二次检测方法。而在检测方法的前提中 正确识别出车道线的所在位置至关重要。车道线识别的准确率直接影响违法判断 的准确率。而原有的基于图像处理技术的车道线检测，在复杂的交通场景中受光 照、天气、时间的影响，识别效果不佳。基于深度学习技术的车道线检测一般使用于自动驾驶，其只关注左右两个车道，而且数据标注工作量大，需耗费巨大的 人力物力，因此也很难应用与交通场景中的车道线检测。
发明内容
本发明的目的在于解决现有技术中车道线标注困难的问题，并提供一种交通 执法影像中基于AI技术的车道线自动检测方法。
本发明所采用的具体技术方案如下：
一种交通执法影像中基于AI技术的车道线自动检测方法，其步骤如下：
S1：获取交通执法设备所拍摄的含有路口处车道线的违法图像数据集，且数 据集的每张图像中均预先对车道线的两个端点进行标注；
S2：对违法图像数据集中的每张违法图像及其对应的标注数据，依次进行预 处理和数据增强，得到相同大小的输入数据；
S3：构建用于车道线检测的卷积神经网络模型，所述卷积神经网络模型以Hourglass网络作为基础网络结构，其输入为归一化处理后的违法图像，在模型 卷积神经网络最后一层得到5个通道，每个通道各自输出一个数值矩阵，分别为 车道线上端点热图、车道线下端点热图、车道线中心端点热图、车道线上端点偏 移量和车道线下端点偏移量；所述卷积神经网络模型的总损失函数为5个通道的 输出结果损失之和；
S4：将S2的输入数据中的违法图像进行归一化处理后，转换为数值矩阵并 输入所述卷积神经网络模型中，输出所述5个通道的数值矩阵；同时将S2的输 入数据中的标注数据转换为所述5个通道输出结果的真值标签，一并输入所述卷 积神经网络模型中；通过最小化总损失函数对卷积神经网络模型进行训练，直至 模型收敛；
S5：将待检测的违法图像进行与S2中相同的预处理后，输入S4中训练完 毕的卷积神经网络模型中，得到5个通道输出的数值矩阵，分别从车道线上端点 热图、车道线下端点热图中提取符合车道线端点阈值范围的特征点，并将提取到 的上端点特征点和下端点特征点两两组合得到若干特征点对，对所有特征点对进 行异常值筛除，得到满足车道线分布规律的最终特征点对；以每一对最终特征点 对作为车道线的两个端点，在图像中确定一条车道线。
作为优选，步骤S2中，所述预处理方法为：对每张违法图像进行灰度化处 理，将其转换为灰度图像；然后将灰度图像进行二值化处理，使图像中的单个像 素由0或255表示，形成黑白图像。
作为优选，步骤S2中，所述数据增强的方法为：将预处理后的违法图像缩 放至512*512大小的图像中，并对其图像四周的空值区域进行填充；通过图像翻 转、改变图像对比度或改变图像亮度进行调整，扩增新的图像样本。
作为优选，步骤S3中，输入所述卷积神经网络模型的违法图像，均需要预 先除以255以进行归一化处理，保证数据值在0-1之间。
作为优选，步骤S3中，车道线上端点热图、车道线下端点热图和车道线中 心端点热图的损失采用二分类交叉熵损失，车道线上端点偏移量和车道线下端点 偏移量的损失采用平方差损失。
作为优选，步骤S4中，将S2的输入数据中的标注数据转换为所述5个通 道输出结果的真值标签的具体方法为：
S41：从输入数据内违法图像的标注数据中提取每条车道线的两个端点作为 特征点对((x1，y1)，(x2，y2))，并得到该车道线的宽度width＝|x2-x1|和 高度height＝|y2-y1|；
S42：根据数据增强后的不同违法图像样本中同一条车道线的特征点对，计 算其高斯半径，生成车道线上端点热图、车道线下端点热图、车道线中心端点热 图；其中高斯半径F(x)的计算公式为：
Figure BDA0002615980840000031
其中x＝width+height，σ为x的标准差；
S43：基于车道线上端点热图和车道线下端点热图两个数值矩阵，分别计算 得到其车道线上端点偏移量和车道线下端点偏移量。
进一步的，步骤S43中，对于车道线上端点热图或车道线下端点热图，根据 端点热图计算得到对应端点偏移量的方法如下：
构造一个与端点热图相同大小的新数值矩阵用于记录端点偏移量数值；新数 值矩阵中任一位置i的取值Xi为：
若端点热图中相同位置i存在端点特征点，则
Figure BDA0002615980840000032
若端点热图中相同位置i不存在端点特征点，则Xi＝0；
其中：k为端点热图中位置i处的取值。
作为优选，步骤S4中，卷积神经网络模型训练过程中的模型收敛条件为： 当测试集的总损失值在50个epoch中变化不再超过阈值T时，模型收敛。
作为优选，步骤S5中，获取所述特征点对的具体方法为：
针对车道线上端点热图或车道线下端点热图，若热图的数值矩阵中矩阵元素 值大于0.1，则将该元素位置视为特征点；所有上端点特征点和下端点特征点两 两组合得到初步特征点对；对每一个初步特征点对，若两者的中间位置在卷积神 经网络模型输出的车道线中心端点热图中的特征值大于0.1，则保存该特征点对， 否则剔除该特征点对；保存的所有特征点对用于进行后续异常值筛除。
作为优选，步骤S5中，对特征点对进行异常值筛除的步骤如下：
S51：遍历每一对特征点对，若上端点特征点的纵坐标值大于或等于下端点 特征点的纵坐标值，则筛除该特征点对；
S52：遍历每一对特征点对，若特征点对中两点之间的斜率绝对值小于斜率 阈值，则筛除该特征点对；
S53：对所有重叠的特征点对，利用soft_nms算法进行筛选，剔除iou>iou 阈值的特征点对；
S54：遍历每一对特征点对，若特征点对的置信度未大于置信度阈值，则将 其筛除。
本发明相对于现有技术而言，具有以下有益效果：
1、本发明方法对数据标注工作量小，要求低。相对于目标检测的矩形框标 注、语义分割精细区域标注，本发明只使用线段标注，其工作量大大减低。另外， 相对于目标检测的矩形框预测、语义分割精细像素预测，其矩形框并不能够对倾 斜角度大，长宽比例差距大的车道很好的预测其位置信息。而语义分割需对像素 点逐个预测，交通场景复杂情况多变，标注数据少等是瓶颈问题。因此本发明方 法提出一种只预测车道线两个端点的方法，并针对车道线的特殊性对端点特征点 对组合分析，最终达到标注工作量小，要求低，预测速度快，预测准确的有益效 果。
2、本发明方法检测速度快、准确率高。实验使用2700张数据作为训练，在 测试集700张数据中预测准确数据达到680张，准确率达到97.1％，检测速度能 达到30FPS.
3、本发明方法使用场景广。该检测结果除应用在车辆违法变道检测(压实 线检测)外，还可以应用在一些需要使用图像数据检测车道线位置的实际场景应 用中如车道数判断等。
附图说明
图1为交通执法影像中基于AI技术的车道线自动检测方法流程图；
图2为原始数据样例；
图3为标注数据样例；
图4为预处理后的图像数据样例；
图5为基础网络结构；
图6为原图与热图数据；
图7为top100特征点对；
图8为第1张最终效果图；
图9为第2张最终效果图；
图10为第3张最终效果图；
图11为第4张最终效果图；
图12为第5张最终效果图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个 实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
本发明主要针对违法抓拍数据中的车道线检测，其包含多条车道线的检测， 与其场景复杂，车道线受光照、破损、车辆遮挡等影响。
如图1所示，在本发明的一个较佳实施例中，提供了一种交通执法影像中基 于AI技术的车道线自动检测方法，其步骤如下：
S1：获取交通执法设备所拍摄的含有路口处车道线的违法图像数据集，且数 据集的每张图像中均预先对车道线的两个端点进行标注。在本实施例中，交通执 法设备是指道路的路口上方架设的违法拍照摄像头，其拍摄的违法图像中含有车 道线图像以及路面上的车辆、行人图像。本发明的目的是从中自动提取车道线。
S2：对违法图像数据集中的每张违法图像及其对应的标注数据，依次进行预 处理和数据增强，得到相同大小的输入数据。
在本实施例中，预处理方法为：对每张违法图像进行灰度化处理，将其转换 为灰度图像；然后将灰度图像进行二值化处理，使图像中的单个像素由0或255 表示，形成黑白图像。
在本实施例中，数据增强的方法为：将预处理后的违法图像统一缩放至 512*512大小的图像中，缩放过程中其长宽比锁定。由于缩放后，图像本身在 512*512图像中并没有全部填充满，因此需要对图像四周的空值区域进行填充， 以保证图像大小一致。图像填充完毕后，其尺寸已保持一致，但此时其样本量不 足，需要进一步进行数据扩增，扩增方法可以是图像翻转、改变图像对比度或改 变图像亮度中的一种或多种，经过扩增后，即可形成大量新的图像样本，以便于 后续进行模型训练。
S3：构建用于车道线检测的卷积神经网络模型，其中本发明的卷积神经网络 模型以Hourglass网络作为基础网络结构，其输入为归一化处理后的违法图像， Hourglass网络的输出经过卷积和激活后，在卷积神经网络模型的最后一层得到5 个通道，每个通道各自输出一个数值矩阵，分别记为车道线上端点热图headmap、 车道线下端点热图bottommap、车道线中心端点热图centermap、车道线上端点 偏移量headoffset和车道线下端点偏移量bottomoffset。
该卷积神经网络模型在进行训练时，其总损失函数为5个通道的输出结果损 失之和。在本实施例中，车道线上端点热图headmap、车道线下端点热图 bottommap、车道线中心端点热图centermap的损失采用二分类交叉熵损失，车 道线上端点偏移量headoffset和车道线下端点偏移量bottomoffset的损失采用平 方差损失。
需注意的是，输入上述卷积神经网络模型的违法图像，均需要预先除以255 以进行归一化处理，保证数据值在0-1之间。
S4：将S2的输入数据中的违法图像进行归一化处理后，转换为数值矩阵并 输入卷积神经网络模型中，输出上述5个通道的数值矩阵。同时，将S2的输入 数据中的标注数据转换为5个通道输出结果的真值标签，一并输入卷积神经网络 模型中。此处，标注数据转换为5个通道输出结果的真值标签的具体方法为：
S41：从输入数据内违法图像的标注数据中提取每条车道线的两个端点作为 特征点对((x1，y1)，(x2，y2))，并得到该车道线的宽度width＝|x2-x1|和 高度height＝|y2-y1|；
S42：根据数据增强后的不同违法图像样本中同一条车道线的特征点对，计 算其高斯半径，生成车道线上端点热图headmap、车道线下端点热图bottommap、 车道线中心端点热图centermap。其中高斯半径F(x)的计算公式为：
Figure BDA0002615980840000061
其中x＝width+height，σ为x的标准差；
S43：基于车道线上端点热图和车道线下端点热图两个数值矩阵，分别计算 得到其车道线上端点偏移量和车道线下端点偏移量。
此处，对于车道线上端点热图或车道线下端点热图，根据端点热图计算得到 对应端点偏移量的方法如下：
构造一个与端点热图相同大小的新数值矩阵用于记录端点偏移量数值；新数 值矩阵中任一位置i的取值Xi为：
若端点热图中相同位置i存在端点特征点，则
Figure BDA0002615980840000071
若端点热图中相同位置i不存在端点特征点，则Xi＝0；
其中：k为端点热图中位置i处的取值。
由此，即可通过最小化总损失函数对卷积神经网络模型进行训练，直至模型 收敛。
S5：将待检测的违法图像进行与S2中相同的预处理后，输入S4中训练完 毕的卷积神经网络模型中，得到5个通道输出的数值矩阵，分别从车道线上端点 热图headmap、车道线下端点热图bottommap中提取符合车道线端点阈值范围的 特征点，并将提取到的上端点特征点和下端点特征点两两组合得到若干特征点对， 对所有特征点对进行异常值筛除，得到满足车道线分布规律的最终特征点对。以 每一对最终特征点对作为车道线的两个端点，在图像中确定一条车道线。
此步骤中，获取上述特征点对的具体方法为：
针对车道线上端点热图或车道线下端点热图，若热图的数值矩阵中矩阵元素 值大于0.1，则将该元素位置视为特征点；所有上端点特征点和下端点特征点两 两组合得到初步特征点对；对每一个初步特征点对，若两者的中间位置在卷积神 经网络模型输出的车道线中心端点热图中的特征值大于0.1，则保存该特征点对， 否则剔除该特征点对；保存的所有特征点对用于进行后续异常值筛除。
本实施例中，对特征点对进行异常值筛除的步骤如下：
S51：遍历每一对特征点对，若上端点特征点的纵坐标值大于下端点特征点 的纵坐标值，则筛除该特征点对；
S52：遍历每一对特征点对，若特征点对中两点之间的斜率绝对值小于斜率 阈值，则筛除该特征点对；
S53：对所有重叠的特征点对，利用soft_nms算法进行筛选，剔除iou＞iou 阈值的特征点对；
S54：遍历每一对特征点对，若特征点对的置信度未大于置信度阈值，则将 其筛除。
下面将上述方法应用于一个具体实施例中，以展示其具体技术效果。
实施例
在实施例中，使用的数据为实际交通场景中的违法图像数据，来源于路口上 方摄像头俯拍的路口违法影响。该车道线自动检测方法的具体步骤如下：
步骤1.数据集的制作
1、使用Labelme标注工具对数据集中的违法图像进行标注，与目标检测与 语义分割不同的是，本方法只标注车道线(采用线段形式标注，并只记录线段的 两个端点，分别为上端点和下端点，下面分别使用top和bottom表示)。
本实施例中的其中一张原始数据如图2所示，其标注数据如图3所示。最终 生成的标注文件信息主要包括图片名称、目标总数量、标注列表(列表信息包括 类别、top的x坐标、top的y坐标，bottom的x坐标，bottom的y坐标)。
步骤2.数据预处理
针对数据集中的所有违法图像，分别进行以下预处理：
(1)将单张违法图像灰度化处理，使图像由3通道RGB彩色图转换为1 通道灰度图。图像中单个像素用0至255的数值表示。
(2)将灰度图图片二值化化处理，图片单个像素的hsv由0或255表示，最 终图像呈现出黑白色彩。
(3)对原始尺寸的黑白图像进行等比例缩放，使其位于512*512大小的图像 框中，然后对边缘无值位置进行填充，形成512*512大小的统一图像。然后对图 像翻转，或者改变图像对比度或亮度，实现数据样本的扩增增强，以便于后续进 行模型训练。
需要注意的是，本发明的输入数据除了图像之外，还包含标注数据，因此在 对图像进行缩放、翻转等扩增的同时，标注数据也要同样进行对应的缩放、翻转， 以重新计算在缩放后图像中的位置信息。由此，得到了大量相同大小的输入数据， 输入数据中包含违法图像和对应的标注。
如图4所示，为本实施例中的一张预处理后的图片数据样例。
步骤3.卷积神经网络模型的搭建
1、本实施例中，使用Hourglass网络作为基础网络结构，同时配合该基础网 络功能实现必要的卷积层、激活函数等，Hourglass网络的输出经过卷积和激活 后，在卷积神经网络模型的最后一层网络输出产生5个通道。每个通道各自输出 一个数值矩阵，5个通道大小分别为128*128*numclass、128*128*numclass、 128*128*numclass，128*128*2，128*128*2，其分别记为车道线上端点热图 headmap、车道线下端点热图bottommap、车道线中心端点热图centermap、车道 线上端点偏移量headoffset和车道线下端点偏移量bottomoffset，5个数值矩阵的 取值均在0～1之间。
本发明中采用hourglass卷积网络进行车道线端点预测，是因为该网络结构 有多个平行的预测分支，网络结构中包含卷积层、解卷积层、全连接层.这样复 杂的模型具有高度的灵活性，在描述复杂结构方面表现出色。而由于卷积层和解 卷积层引起的空间连续性，其对大光滑表面更友好。而网络反复进行的编解码操 作，使该方法具有更强的表示能力，可以更好的混合全局和局部信息。其中在该 模型结构中设计了下采样层，很大程度上对局部特征的抓取有很大优势，而模型 结构中的多个平行的预测分支能够使局部的特征信息结合起来。交通场景中的车 道线呈现长宽比例悬殊巨大，各车道线之间存在极强的关联性，故而采用此网络 结构。
Hourglass网络结构可以通过图5表示，其基本思想是先进行降采样，在降 采样的过程中，C1a-C4a是对应层的副本，从C7开始上采样，与C1a-C4a对应 元素相加，得到C1b-C4b，最后再经过两个1x1的卷积进行处理，得到最终输出。 Hourglass模块首先通过一系列卷积层和最大池化层对输入特性进行下采样。然 后通过一系列的上采样和卷积层将特征上采样回原来的分辨率。由于细节在最大 池化层中丢失，因此添加了跳过层用来将细节带回到上采样的特征。
2、上述步骤2中预处理后的图像数据在输入模型进行训练之前，需要对图 像数据除以255以进行归一化处理，保证数据值在0-1之间，然后再作为网络模 型的输入，其模型输入通道大小为(512*512)。
3、搭建完上述卷积神经网络结构后，需根据输入的图像特征，设定超参数， 完成卷积神经网络模型的构建。
训练该神经网络时，其总损失函数为公式(1)。
LN＝LN1+LN2 (1)
其中LN1为map损失，可采用三个map(headmap、bottommap、centermap) 的损失之和，损失类型为二分类交叉熵categorical_crossentropy；LN2为offset损 失，可采用两个offset(headoffset、bottomoffset)的损失之和，损失类型为平方 差损失(y值)。
步骤4.模型训练与保存
1、加载训练数据，对图像数据和标注数据进行处理，生成模型需要的输入 和输出数据格式。
(1)输入数据如上图4所示，对图像数据统一除以255归一化处理，保证 数据值在0-1之间，之后将图像转换成512*512的数值矩阵，输入步骤3构建的 卷积神经网络模型中，其网络模型最终输出headmap(128*128*numclass)， bottommap(128*128*numclass)，centermap(128*128*numclass)，headoffset (128*128*2)，bottomoffset(128*128*2)这五个通道的数值矩阵。
(2)对输入数据中按照对应图像放缩比例转换后的标注数据，转换为5个 通道输出结果的真值标签，一并输入卷积神经网络模型中。此处采用的转换方法 如下：
(2.1)：从输入数据内违法图像的标注数据中提取每条车道线的两个端点作 为特征点对((x1，y1)，(x2，y2))，并根据坐标的绝对值计算得到该车道线的 宽度和高度，其中：
车道线宽度width＝|x2-x1|
车道线高度height＝|y2-y1|
(2.2)：由于数据增强后同一张原始图像有多张样本，因此对数据增加所得 到的不同违法图像样本中同一条车道线的各特征点对，可以计算其高斯半径，生 成车道线上端点热图headmap、车道线下端点热图bottommap、车道线中心端点 热图centermap。其中高斯半径F(x)的计算公式为：
Figure BDA0002615980840000101
其中x＝width+height，σ为x的标准差。
本实施例的一张图像生成的热图如图6所示，最左为原图，左二为headmap， 右二为centermap，最右为bottommap。
(2.3)：基于车道线上端点热图和车道线下端点热图两个数值矩阵，分别计 算得到其车道线上端点偏移量和车道线下端点偏移量。此处，对于车道线上端点 热图或车道线下端点热图而言，headoffset和bottomoffset两个通道为top特征点 与bottom特征点的偏移量(其值为0-1之间)，取值方法为特征点原始数值-特征 点原始数值取整。当无特征点值，取值则为0。具体而言，本实施例中，根据端 点热图计算得到对应端点偏移量的方法如下：
构造一个与端点热图相同大小的新数值矩阵用于记录端点偏移量数值，新数 值矩阵中任一位置i的取值Xi为：
若端点热图中相同位置i存在端点特征点，则Xi＝k-[k]；
若端点热图中相同位置i不存在端点特征点，则Xi＝0；
其中：k为端点热图中位置i处的取值。
2、将上述输入数据分为训练集和验证集，测试集中的图像和标注处理后输 入模型，即可通过最小化总损失函数对卷积神经网络模型进行训练。开始训练模 型，并在训练过程中引入测试集计算网络准确率。根据验证集中每个样本预测值 和真实值是否一致来统计准确率。当验证集损失值在50个epoch中变化不再超 过0.05时，可认为模型收敛，则保存模型，否则继续训练。
本实施例中，在训练集损失值达到0.000652验证集损失值0.000974达到最 优模型并保存。由此即可将该模型用于进行实际图像的车道线预测。
步骤5.预测数据的处理与结果保存
1、加载上一步中保存的卷积神经网络模型，按照前述输入数据相同预处理 方法，对预测图像数据进行预处理。图像预处理完毕后输入模型中，得到五个通 道，分别为headmap热图矩阵，bottommap热图矩阵，centermap热图矩阵。 Headoffset偏移矩阵，bottomoffset偏移矩阵。
2、得到预测数据后，其中的车道线上端点热图headmap、车道线下端点热 图bottommap矩阵中的数值可以反映其是否为车道线的上端点和下端点，属于端 点的矩阵数值具有一个相应的阈值范围，一般是高于某一阈值。因此，可以预先 设置一个用于筛选端点的特征点阈值，分别将headmap热图矩阵和bottommap 热图矩阵中数值大于特征点阈值(本实施例设为0.1)的排名前40个特征点求取 出来，然后记录其特征点信息，包括：t_scores(特征点得分)、t_inds(特征点 在热图矩阵中的序号，二维转为一维然后求取下标位置)、t_clses(特征点的类 别)、t_ys(二维中特征点所在列)和t_xs(二维中特征点所在行)。
然后对40个top特征点和40个bottom特征点两两组合得到1600个特征点 对。但这些1600个特征点对中，有部分是明显不属于车道线的，其主要由于两 条车道线的两个上端点或者两条车道线的两个下端点组成，这些特征点对可以通 过centermap进行筛除。本实施例中，对1600个特征点对，分别求取其中心位 置，即两个特征点对的中间位置，若该位置在centermap的特征值大于0.1则保 存，否则剔除该特征点对，由此可从保存下来的特征点对中输出特征点得分排名 靠前的前top100个组合。本实施例的一张图像中得到特征点数据显示如图7所 示。
3、经过上一步得到了100个特征点组合位置信息，和其得分、类别(本实 施例只有一类为车道线)。由于车道线的特殊性，可以根据其在图像中的空间分 布特点进行异常值筛除，本实施例中对特征点对进行异常值筛除的步骤如下：
1)：由于图像中的点坐标系一般以左上角为顶点，因此车道线的上端点的纵 坐标y值必然小于下端点的纵坐标y值。基于该特点，可遍历每一对特征点对， 若上端点特征点的纵坐标值大于或等于下端点特征点的纵坐标值，则筛除该特征 点对。
2)：由于拍摄违法图像的摄像头一般位于车道的正上方，因此其拍摄得到的 图像中车道线的斜率一般较大，基于该特点可以遍历每一对特征点对，若特征点 对中两点之间的斜率绝对值小于斜率阈值，则筛除该特征点对。本实施例中斜率 阈值设为2。
3)：本发明方法提取的车道线，可能会有较多重叠，因此可对所有重叠的特 征点对，利用soft_nms算法进行筛选，剔除iou>iou阈值的特征点对。本实施例 中，iou阈值设为0.5。
4)：遍历每一对特征点对，若特征点对的置信度未大于置信度阈值，则将其 筛除。本实施例中，置信度阈值设为0.9。
经过上述异常值筛除，剩余的特征点对就是车道线的端点。以每一对最终特 征点对作为车道线的两个端点，即可在图像中确定一条车道线。
本实施例，最终从部分图像中提取的车道线效果显示如图8～12所示，表明 本发明可以准确从违法图像中自动提取出车道线。
为了对比本发明与其他方法在效果上的差异，将本发明方法与使用lanenet 检测车道线的方法，在相同的数据集上进行检测，结果的对比如下：
表1本发明方法与使用lanenet检测车道线的方法对比结果
Figure BDA0002615980840000131
因此本发明方法通过只预测车道线两个端点，并针对车道线的特殊性对端点 特征点对组合分析，最终达到标注工作量小，要求低，预测速度快，预测准确的 效果，相对于现有的Lanenet方法其标注速度明显加快，且准确率也大大提升。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。 有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以 做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案， 均落在本发明的保护范围内。

Claims (10)

1.一种交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤如下：
S1：获取交通执法设备所拍摄的含有路口处车道线的违法图像数据集，且数据集的每张图像中均预先对车道线的两个端点进行标注；
S2：对违法图像数据集中的每张违法图像及其对应的标注数据，依次进行预处理和数据增强，得到相同大小的输入数据；
S3：构建用于车道线检测的卷积神经网络模型，所述卷积神经网络模型以Hourglass网络作为基础网络结构，其输入为归一化处理后的违法图像，在模型卷积神经网络最后一层得到5个通道，每个通道各自输出一个数值矩阵，分别为车道线上端点热图、车道线下端点热图、车道线中心端点热图、车道线上端点偏移量和车道线下端点偏移量；所述卷积神经网络模型的总损失函数为5个通道的输出结果损失之和；
Hourglass网络的输出经过卷积和激活后，在卷积神经网络模型的最后一层得到5个通道，每个通道各自输出一个数值矩阵
S4：将S2的输入数据中的违法图像进行归一化处理后，转换为数值矩阵并输入所述卷积神经网络模型中，输出所述5个通道的数值矩阵；同时将S2的输入数据中的标注数据转换为所述5个通道输出结果的真值标签，一并输入所述卷积神经网络模型中；通过最小化总损失函数对卷积神经网络模型进行训练，直至模型收敛；
S5：将待检测的违法图像进行与S2中相同的预处理后，输入S4中训练完毕的卷积神经网络模型中，得到5个通道输出的数值矩阵，分别从车道线上端点热图、车道线下端点热图中提取符合车道线端点阈值范围的特征点，并将提取到的上端点特征点和下端点特征点两两组合得到若干特征点对，对所有特征点对进行异常值筛除，得到满足车道线分布规律的最终特征点对；以每一对最终特征点对作为车道线的两个端点，在图像中确定一条车道线。
2.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S2中，所述预处理方法为：对每张违法图像进行灰度化处理，将其转换为灰度图像；然后将灰度图像进行二值化处理，使图像中的单个像素由0或255表示，形成黑白图像。
3.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S2中，所述数据增强的方法为：将预处理后的违法图像缩放至512*512大小的图像中，并对其图像四周的空值区域进行填充；通过图像翻转、改变图像对比度或改变图像亮度进行调整，扩增新的图像样本。
4.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S3中，输入所述卷积神经网络模型的违法图像，均需要预先除以255以进行归一化处理，保证数据值在0-1之间。
5.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S3中，车道线上端点热图、车道线下端点热图和车道线中心端点热图的损失采用二分类交叉熵损失，车道线上端点偏移量和车道线下端点偏移量的损失采用平方差损失。
6.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S4中，将S2的输入数据中的标注数据转换为所述5个通道输出结果的真值标签的具体方法为：
S41：从输入数据内违法图像的标注数据中提取每条车道线的两个端点作为特征点对((x1，y1)，(x2，y2))，并得到该车道线的宽度width＝|x2-x1|和高度height＝|y2-y1|；
S42：根据数据增强后的不同违法图像样本中同一条车道线的特征点对，计算其高斯半径，生成车道线上端点热图、车道线下端点热图、车道线中心端点热图；其中高斯半径F(x)的计算公式为：
Figure FDA0002615980830000021
其中x＝width+height，σ为x的标准差；
S43：基于车道线上端点热图和车道线下端点热图两个数值矩阵，分别计算得到其车道线上端点偏移量和车道线下端点偏移量。
7.如权利要求6所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S43中，对于车道线上端点热图或车道线下端点热图，根据端点热图计算得到对应端点偏移量的方法如下：
构造一个与端点热图相同大小的新数值矩阵用于记录端点偏移量数值；新数值矩阵中任一位置i的取值Xi为：
若端点热图中相同位置i存在端点特征点，则
Figure FDA0002615980830000031
若端点热图中相同位置i不存在端点特征点，则Xi＝0；
其中：k为端点热图中位置i处的取值。
8.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S4中，卷积神经网络模型训练过程中的模型收敛条件为：当测试集的总损失值在50个epoch中变化不再超过阈值T时，模型收敛。
9.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S5中，获取所述特征点对的具体方法为：
针对车道线上端点热图或车道线下端点热图，若热图的数值矩阵中矩阵元素值大于0.1，则将该元素位置视为特征点；所有上端点特征点和下端点特征点两两组合得到初步特征点对；对每一个初步特征点对，若两者的中间位置在卷积神经网络模型输出的车道线中心端点热图中的特征值大于0.1，则保存该特征点对，否则剔除该特征点对；保存的所有特征点对用于进行后续异常值筛除。
10.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S5中，对特征点对进行异常值筛除的步骤如下：
S51：遍历每一对特征点对，若上端点特征点的纵坐标值大于或等于下端点特征点的纵坐标值，则筛除该特征点对；
S52：遍历每一对特征点对，若特征点对中两点之间的斜率绝对值小于斜率阈值，则筛除该特征点对；
S53：对所有重叠的特征点对，利用soft_nms算法进行筛选，剔除iou＞iou阈值的特征点对；
S54：遍历每一对特征点对，若特征点对的置信度未大于置信度阈值，则将其筛除。
CN202010769403.8A 2020-08-03 2020-08-03 一种交通执法影像中基于ai技术的车道线自动检测方法 Active CN112053407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010769403.8A CN112053407B (zh) 2020-08-03 2020-08-03 一种交通执法影像中基于ai技术的车道线自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010769403.8A CN112053407B (zh) 2020-08-03 2020-08-03 一种交通执法影像中基于ai技术的车道线自动检测方法

Publications (2)

Publication Number Publication Date
CN112053407A true CN112053407A (zh) 2020-12-08
CN112053407B CN112053407B (zh) 2024-04-09

Family

ID=73602273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010769403.8A Active CN112053407B (zh) 2020-08-03 2020-08-03 一种交通执法影像中基于ai技术的车道线自动检测方法

Country Status (1)

Country Link
CN (1) CN112053407B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863194A (zh) * 2021-01-20 2021-05-28 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
EP4047520A1 (en) * 2021-02-23 2022-08-24 Beijing Tusen Zhitu Technology Co., Ltd. Method and apparatus for detecting corner points of lane lines, electronic device and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583393A (zh) * 2018-12-05 2019-04-05 宽凳（北京）科技有限公司 一种车道线端点识别方法及装置、设备、介质
CN111259706A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 一种车辆的车道线压线判断方法和系统
CN111259704A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 一种虚线车道线端点检测模型的训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259706A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 一种车辆的车道线压线判断方法和系统
CN111259704A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 一种虚线车道线端点检测模型的训练方法
CN109583393A (zh) * 2018-12-05 2019-04-05 宽凳（北京）科技有限公司 一种车道线端点识别方法及装置、设备、介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863194A (zh) * 2021-01-20 2021-05-28 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
EP4047520A1 (en) * 2021-02-23 2022-08-24 Beijing Tusen Zhitu Technology Co., Ltd. Method and apparatus for detecting corner points of lane lines, electronic device and storage medium

Also Published As

Publication number Publication date
CN112053407B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110728200A (zh) 一种基于深度学习的实时行人检测方法及系统
CN109726717A (zh) 一种车辆综合信息检测系统
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN109829458B (zh) 实时自动生成记录系统操作行为的日志文件的方法
Fan et al. Improving robustness of license plates automatic recognition in natural scenes
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN111160205A (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
CN112861700A (zh) 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN116824347A (zh) 一种基于深度学习的道路裂纹检测方法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN113076795A (zh) 一种带印章的表格协议书图像自动审核方法
CN115346206B (zh) 基于改进超分辨的深度卷积特征识别的车牌检测方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant