CN113435350A - 一种交通标线检测方法、装置、设备和介质 - Google Patents
一种交通标线检测方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113435350A CN113435350A CN202110732544.7A CN202110732544A CN113435350A CN 113435350 A CN113435350 A CN 113435350A CN 202110732544 A CN202110732544 A CN 202110732544A CN 113435350 A CN113435350 A CN 113435350A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- determining
- target area
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 8
- 241000283070 Equus zebra Species 0.000 description 66
- 238000010586 diagram Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种交通标线检测方法、装置、设备和介质，由于该方法中对待检测图像进行逆透视变换，得到目标图像；对目标图像进行识别，确定出目标图像中的目标区域集；若确定目标区域集中目标区域的数量不小于数量阈值，则基于各目标区域的位置信息，确定待检测图像中是否包含目标交通标线，由于该方法中对逆透视变换后的目标图像进行识别时，可以识别复杂场景下的目标图像中的目标区域，在确定出的目标区域集中目标区域的数量不小于数量阈值时，基于目标区域集中各目标区域的位置信息，确定待检测图像中是否包含目标交通标线，斑马线也属于交通标线的一种，提高了复杂场景下识别斑马线的鲁棒性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种交通标线检测方法、装置、设备和介质。
背景技术
随着科技和经济的快速发展，路上的汽车越来越多，在方便人们出行的同时，也带来了越来越多的交通事故和交通拥堵问题。为了降低交通事故发生的概率，自动驾驶技术和智能辅助驾驶技术开始逐渐应用到车辆中，自动驾驶技术和智能辅助驾驶技术可以帮助驾驶员进行车辆驾驶，为驾驶员提供精准的指导，从而降低交通事故发生的概率。
为了实现自动驾驶，自动驾驶技术和智能辅助驾驶技术需要识别马路上的交通标线，而在所有的交通标线中，斑马线属于很重要的一种交通标线，车辆在通过斑马线时应该减速以保障行人的安全。因此，自动驾驶技术和智能辅助驾驶技术准确地检测出道路上的斑马线，并作出相应的控制是非常重要的。
现有技术中检测斑马线的方法包括基于快速霍夫变换的路口斑马线检测方法和斑马线检测方法及系统等。
基于快速霍夫变换的路口斑马线检测方法是通过对公路图进行边缘检测，并把检测到的边缘进行快速霍夫变换，从而获取图像中存在的直线的方向和位置。通过进一步判断，得出在一定区域内直线的方向一致且直线数量超过一个阈值，则确定公路图像中包括路口斑马线，进而能对车辆和行人做出预警。该方法在检测斑马线时，只能在有限的场景下使用，而在开放的复杂场景中，由于光线、行人、车辆等的影响，会导致无法检测出斑马线，因此该方法在复杂场景中检测斑马线时的鲁棒性较差。
斑马线检测方法是获取视频帧图像，进行图像预处理；根据水平投影积计算确定兴趣区域；计算兴趣区域的每个单连通区域的竖直边缘坐标；将竖直边缘坐标进行直线拟合；计算所有拟合直线的交点数量并计算所有交点的质心；以所有交点的质心为中心，r个像素点的距离为半径画圆，计算落在圆内的交点数量，当落在圆内的交点数量大于所有交点的数量的一半时，则确定兴趣区域内有斑马线。该方法在计算兴趣区域的每个单连通区域的竖直边缘坐标时，由于地面破损、行人或车辆遮挡等因素的影响，会导致确定出竖直边缘坐标不准确，从而影响后续检测的准确性，因此该方法在复杂场景中检测斑马线时的鲁棒性也较差。
发明内容
本发明提供了一种交通标线检测方法、装置、设备和介质，用以提升复杂场景中对斑马线进行检测的鲁棒性。
本发明提供了一种交通标线检测方法，所述方法包括：
对待检测图像进行逆透视变换，得到目标图像；
对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；
若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集，包括：
基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
进一步地，所述深度神经网络模型的训练过程包括：
对所述历史图像进行逆透视变换；
基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；
对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；
基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
进一步地，所述至少一个子区域包括：进行逆透视变换后的历史图像中，所述目标交通标线中满足预设形状要求的子区域。
进一步地，所述方法还包括：若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
进一步地，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述目标区域包括目标矩形区域，所述基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；
确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
进一步地，所述确定每相邻的两个目标矩形区域在所述第一基准方向上的距离包括：
根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离；或
根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
进一步地，所述目标区域包括目标矩形区域，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；
确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
进一步地，所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，所述方法还包括：
根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
进一步地，所述方法还包括：
根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；
根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；
根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
相应地，本发明提供了一种斑马线检测装置，所述装置包括：
处理模块，用于对待检测图像进行逆透视变换，得到目标图像；
确定模块，用于对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述确定模块，具体用于基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
进一步地，所述装置还包括：
训练模块，用于对所述历史图像进行逆透视变换；基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
进一步地，所述确定模块，还用于若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
进一步地，所述确定模块，具体用于基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述确定模块，具体用于所述目标区域包括目标矩形区域，基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
进一步地，所述确定模块，具体用于根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离；或根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
进一步地，所述确定模块，具体用于基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
进一步地，所述确定模块，还用于所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
进一步地，所述确定模块，还用于根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
相应地，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行时实现上述交通标线检测方法中任一所述方法的步骤。
相应地，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述交通标线检测方法中任一所述方法的步骤。
本发明提供了一种交通标线检测方法、装置、设备和介质，由于该方法中对待检测图像进行逆透视变换，得到目标图像；对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中所述目标区域包含待检测的目标交通标线的子区域；若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，由于该方法中对逆透视变换后的目标图像进行识别时，可以识别复杂场景下的目标图像中的目标区域，在确定出的目标区域集中目标区域的数量不小于数量阈值时，基于目标区域集中各目标区域的位置信息，确定待检测图像中是否包含目标交通标线，斑马线也属于交通标线的一种，提高了复杂场景下识别斑马线的鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交通标线检测方法的过程示意图；
图2为本发明实施例提供的一种待检测图像的示意图；
图3为本发明实施例提供的一种逆透视变换后的目标图像的示意图；
图4为本发明实施例提供的一种基准方向的示意图；
图5为本发明实施例提供的一种确定待检测图像中包含斑马线的过程示意图；
图6为本发明实施例提供的一种确定目标图像中的目标区域集的过程示意图；
图7为本发明实施例提供的一种交通标线检测装置的结构示意图；
图8为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了提高斑马线检测的鲁棒性，本发明实施例提供了一种交通标线检测方法、装置、设备和介质。
实施例1：
图1为本发明实施例提供的一种交通标线检测方法的过程示意图，该过程包括以下步骤：
S101：对待检测图像进行逆透视变换，得到目标图像。
本发明实施例提供的交通标线检测方法应用于电子设备，其中该电子设备可以是智能终端、PC、平板电脑、车载电脑、或服务器等，该服务器可以是本地服务器，也可以是云端服务器。
为了提高斑马线检测的鲁棒性，在本发明实施例中，该电子设备首先获取待检测图像，其中该待检测图像是指车辆行驶过程由车辆本身的摄像头采集的车辆前方的道路图像，车辆具备自动驾驶功能或具备辅助驾驶功能。
该电子设备获取到待检测图像后，由于实际物体在图像中的形状会发生变化，导致识别目标交通标线的子区域的成功率较低，因此为了识别出目标交通标线的子区域，本发明实施例还要对待检测图像进行逆透视变换，得到逆透视变换后的目标图像。
具体的，对实际的两条平行线进行成像时，距离越近的线段越粗越大，距离越远的线段越细越小，图像中的两条平行线最终会汇集到一个点上，对图像进行逆透视变换后，逆透视后的图像类似于对平行线的俯视图，逆透视后的图像中的平行线完全平行。
图2为本发明实施例提供的一种待检测图像的示意图，如图2所示，图2中的条纹块继续延伸后最终会汇集到一个点上，图2中的条纹块的形状不规则，且条纹块进行延伸后最终会汇集到一个点上。
图3为本发明实施例提供的一种逆透视变换后的目标图像的示意图，如图3所示，图3类似于对图2中的条纹块的俯视图，图3中的条纹块的完全平行。
S102：对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域。
对待检测图像进行逆透视变换后得到目标图像后，为了确定待检测图像中是否包含目标交通标线，该电子设备对该目标图像进行识别。
具体的，可以是基于深度神经网络模型对该目标图像进行识别，也可以是基于分形特征的方法对该目标图像进行识别，还可以是基于小波矩的方法对该目标图像进行识别。
对该目标图像进行识别后，确定出目标图像中的目标区域集。其中目标区域集是由目标区域组成的集合，目标区域的形状可以是规则形状，例如矩形、圆形等，也可以是不规则形状，例如箭头形。该目标区域包含待检测的目标交通标线的子区域，例如目标交通标线为斑马线时，子区域为斑马线的条纹块，该目标区域为目标矩形区域；该目标交通标线为潮汐车道线时，子区域为潮汐车道线的条纹块，该目标区域也为目标矩形区域；该目标交通标线为左右转弯导向箭头时，子区域为导向箭头的每个箭头，该目标区域为箭头形。
S103：若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
为了确定待检测图像中是否包含目标交通标线，在本发明实施例中，保存有预先设置的数量阈值，其中该数量阈值可以是不小于2的整数中的任一数值。若希望提高确定待检测图像中是否包含目标交通标线的准确性，则可以将该数量阈值设置地较大一些，若希望提高确定待检测图像中是否包含目标交通标线的鲁棒性，则可以将该数量阈值设置地较小一些。
根据确定出的目标区域集中目标区域的数量，以及预先保存的数量阈值，若确定的目标区域集中目标区域的数量不小于数量阈值时，该待检测图像中可能包含目标交通标线。
为了进一步确定出该待检测图像中是否包含目标交通标线，还基于目标区域集中各目标区域的位置信息进行确定。具体的，在本发明实施例中，还预先保存有预设的位置关系条件，若根据各目标区域的位置信息确定满足位置关系条件时，则确定待检测图像中包含目标交通标线。
S104：若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
根据确定出的目标区域集中目标区域的数量，以及预先保存的数量阈值，若确定的目标区域的数量小于数量阈值时，则可以确定该待检测图像中不包含目标交通标线。
作为一种可能的实施方式，若目标交通标线为斑马线时，可以将该数量阈值设置为2或3，若希望提高检测目标交通标线的准确性，则可以将该数量阈值设置为3，若希望提高检测目标交通标线的鲁棒性，则可以将该数量阈值设置为2。
该目标交通标线的子区域即为斑马线的条纹块，该目标区域为包含条纹块的目标矩形区域，若确定的包含条纹块的目标矩形区域的数量小于数量阈值时，确定待检测图像中不包含斑马线。
由于本发明实施例中对待检测图像进行逆透视变换，得到目标图像；对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中所述目标区域包含待检测的目标交通标线的子区域；若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，由于该方法中对逆透视变换后的目标图像进行识别时，可以识别复杂场景下的目标图像中的目标区域，在确定出的目标区域集中目标区域的数量不小于数量阈值时，基于目标区域集中各目标区域的位置信息，确定待检测图像中是否包含目标交通标线，斑马线也属于交通标线的一种，提高了复杂场景下识别斑马线的鲁棒性。
实施例2：
为了确定出目标图像中包含的目标区域集，在上述实施例的基础上，在本发明实施例中，所述对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集，包括：
基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
基于训练后的深度神经网络模型，将目标图像输入到该深度神经网络模型中，对该目标图像进行识别确定出目标区域集。
为了确定出目标图像中的目标区域集，在本发明实施例中，预先训练有深度神经网络模型，该深度神经网络模型是采用进行数据标注后的各种场景下的样本图像通过机器学习的方法进行训练，用于确定目标图像中的目标区域。较佳的，该深度神经网络模型可以是目标检测网络模型(YOLOv3)。
而为了确定出深度神经网络模型训练用的样本图像，该电子设备预先采集有各种场景下包含目标交通标线的历史图像，为了提高训练的准确性，还要对历史图像进行逆透视变换，针对逆透视变换后的历史图像，对逆透视变换后的历史图像中的至少一个目标区域进行数据标注后得到样本图像。
为了得到训练后的深度神经网络模型，在上述各实施例的基础上，在本发明实施例中，所述深度神经网络模型的训练过程包括：
对所述历史图像进行逆透视变换；
基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；
对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；
基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
在获取到采集的各种场景下的历史图像后，对该历史图像进行逆透视变换，其中逆透视变换公式如下：
其中，R、T分别为历史图像的数据由世界坐标系转为相机坐标系的旋转矩阵和平移矩阵，f为相机焦距，
和
分别表示x方向和y方向的每毫米包含的像素个数，u0、v0分别表示世界坐标系的原点和图像坐标系的原点之间相差的横向像素点个数和纵向像素点个数，u、v分别表示以像素为单位的图像坐标系的坐标，Zc为相机坐标下的Z轴坐标值，X、Y和Z分别为世界坐标下的X轴坐标值、Y轴坐标值和Z轴坐标值。
根据上述逆透视变换公式，对该历史图像进行逆透视变换，得到逆透视变换后的历史图像。
作为一种可能的实施方式，为了提高对待训练的深度学习模型进行训练的效率，在对历史图像进行逆透视变换之前，还可以将历史图像中的包含目标交通标线的感兴趣区域(region of interest，ROI)截取出来，并将ROI区域更新为新的历史图像。
具体的，将历史图像在该电子设备的显示屏上显示，通过显示屏接收到对显示的历史图像的截取操作，或者通过鼠标接收到对显示的历史图像的截取操作，根据该截取操作中携带的区域信息，截取历史图像中区域信息对应的ROI区域的图像。
基于进行逆透视变换后的历史图像，为了确定出包含目标交通线的至少一个子区域的至少一个目标区域，可以是将该历史图像在该电子设备的显示屏上显示，接收对该历史图像的框选操作，确定出该历史图像中的目标区域。也可以是根据预设的像素值条件，确定出满足像素值条件的包含子区域的目标区域。具体的，可以是确定出该历史图像中满足像素值条件的子区域后，按照预设形状的图形对满足像素值条件的区域进行框选，确定出包含子区域的目标区域。其中该像素值条件是像素值为白色像素值。
在对历史图像进行逆透视变换后，由于目标交通标线的部分子区域严重变形，为了提高训练的准确度，在本发明实施例中，所述至少一个子区域包括：进行逆透视变换后的历史图像中，所述目标交通标线中满足预设形状要求的子区域。
例如，在目标交通标线为斑马线时，在对历史图像进行逆透视变换后，由于图像中斑马线的部分条纹块变形较为严重，因此确定出逆透视变换后的历史图像中满足像素值条件的条纹块对应的子区域后，确定出逆透视变换后的历史图像中满足预设形状要求的条纹块对应的子区域，按照预设矩形形状的图形对满足像素值条件的区域进行框选，确定出包含子区域的目标区域。其中该预设形状要求为预设的矩形形状要求。
根据确定出的历史图像中的至少一个目标区域，对该目标区域的位置信息进行数据标注，并将数据标注后的历史图像确定为样本图像。具体的，对位置信息进行数据标注，包括标注出该目标区域的中心点坐标、左上角坐标、右上角坐标、左下角坐标、右下角坐标、区域的边界坐标等坐标中的至少一个坐标。
基于确定出的样本图像，对待训练的深度学习模型进行训练，确定出训练后的深度学习模型。具体的，针对任一样本图像，获取样本图像及样本图像对应的第一标注数据，将样本图像输入到待训练的深度神经网络模型中，获取输出的样本图像的第二标注数据，根据第一标注数据和第二标注数据，对待训练的深度神经网络模型的各参数的参数值进行调整，得到训练后的深度神经网络模型。
对待训练的深度神经网络模型进行训练的每一个样本图像都进行上述操作，当满足预设的条件时，得到训练后的深度神经网络模型。其中，该预设的条件可以是样本图像通过待训练的深度神经网络模型训练后得到的第一标注数据与第二标注数据一致的样本图像的数量大于设定数量；也可以是对待训练的深度神经网络模型进行训练的迭代次数达到设置的最大迭代次数等。具体的，本申请对此不做限制。
作为一种可能的实施方式，在对待训练的深度神经网络模型进行训练时，可以把样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始深度神经网络模型进行训练，再基于测试样本图像对训练完成的深度神经网络模型的可靠性进行测试。
现有技术中的一种斑马线的定位方法、系统、介质及设备中，斑马线的定位方法是将采集到的交通路口的监控图像用深度学习的语义分割网络模型进行检测，针对所述监控图像中每一处识别的斑马线，将其图像位置区域内设置用于确定斑马线位置的水平矩形框；对所述水平矩形框内的监控图像进行颜色空间转换，并进行图像二值化处理，以生成监控图像的二值化图像；聚类分析所述二值化图像中的白色像素点，剔除非斑马线的噪声区域；在所述聚类分析后的二值化图像中通过边缘检测选取轮廓极值点，提取斑马线轮廓提取，以定位斑马线区域。该方法中的语音分割网络模型为了实现检测斑马线，在基于样本图像对语音分割网络模型训练之前，需要对样本图像中的斑马线包含的像素点进行标注，斑马线的数据标注成本较大。
而在本发明实施例中，深度神经网络模型进行训练之前，对包含目标交通标线的子区域的目标区域进行标注，因此相比于现有技术中的对像素点进行标注的方法，本发明实施例中对包含目标交通标线的子区域的目标区域进行标注的数据标注成本降低。
实施例3：
为了确定出待检测图像中是否包含目标交通标线，在上述各实施例的基础上，在本发明实施例中，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
为了确定出待检测图像中是否包含目标交通标线，在本发明实施例中，由于国家标准中对不同的交通标线的相邻子区域的距离要求不同，因此根据不同的交通标线的相邻子区域的距离，确定出待检测图像中是否包含目标区域。
具体的，根据待检测图像的目标区域集中包含的各目标区域，确定目标区域集中的相邻目标区域，由于目标区域中包含目标交通标线的子区域，因此可以将相邻目标区域间的距离确定为相邻子区域的距离，根据相邻目标区域之间的距离，确定待检测图像中是否包含目标交通标线。
例如，该目标交通标线为斑马线时，根据待检测图像的区域集中包含斑马线的条纹块的目标区域，确定相邻目标区域的距离，该距离即为斑马线的相邻条纹块的距离，根据国家标准中对斑马线的相邻条纹块的距离要求，确定出该待检测图像中相邻目标区域之间的距离，确定该待检测图像中包含斑马线。
在目标交通标线的子区域的形状为矩形时，包含子区域的目标区域即为目标矩形区域，为了在目标区域为目标矩形区域时确定待检测图像中是否包含目标交通标线，在上述各实施例的基础上，在本发明实施例中，所述基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；
确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
根据目标区域集中任意一个目标矩形区域，确定该目标矩形区域的最短边界的方向，将该最短边界的方向确定为第一基准方向。图4为本发明实施例提供的一种基准方向的示意图，如图4所示，该图4中的目标矩形区域的最短边界的方向为图4中的水平方向，该第一基准方向也为图4中的水平方向，其中，图4中示意出的带双箭头的直线是第一基准方向的一种表示形式，本领域的技术人员也可以用仅带一个箭头的直线表示，还可以灵活的采用其它形式进行表示。
根据该目标区域集中的每个目标矩形区域，确定出每相邻的两个目标矩形区域，并根据确定的第一基准方向和相邻的两个目标矩形区域，确定出相邻的两个目标矩形区域在第一基准方向上的距离。
为了确定待检测图像中是否包含目标交通标线，在本发明实施例中，预先设置有第一预设阈值，根据确定出的每相邻的两个目标矩形区域在第一基准方向上的距离，若每个距离均不大于第一预设阈值，则确定该待检测图像中包含目标交通标线，若存在任意一个距离大于第一预设阈值，则确定待检测图像中不包含目标交通标线。
为了确定出每相邻的两个目标矩形区域在第一基准方向上的距离，在上述各实施例的基础上，在本发明实施例中，所述确定每相邻的两个目标矩形区域在所述第一基准方向上的距离包括：
方式1：根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离。
根据每相邻的两个目标矩形区域的中心点，确定出中心点在第一基准方向的坐标，并将第一基准方向的坐标差值确定为中心点在第一基准方向上的距离，该距离即为目标矩形区域在第一基准方向的距离。
以图3中的目标矩形区域为例，该第一基准方向为图3中的水平方向，根据图3中的目标矩形区域的中心点的坐标，确定出中心点在水平方向的坐标，并将水平方向的坐标差值确定为目标矩形区域在水平方向的距离。
方式2：根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
根据每相邻的两个目标矩形区域，确定出每相邻的两个目标矩形区域的边界，具体的，每个目标矩形区域的边界均为对应的目标矩形区域的同一方向的边界，如图3所示，每相邻的两个目标矩形区域的边界，均为每相邻的两个目标矩形区域的左(图3中的左右)边界、或均为右(图3中的左右)边界、或均为上(图3中的上下)边界、或均为下(图3中的上下)边界。
根据每相邻的两个目标矩形区域的边界在第一基准方向的坐标，确定坐标的差值为每相邻的两个目标矩形区域在第一基准方向上的距离。
具体的，每相邻两个目标矩形区域的边界均为左(图3中的左右)边界、或均为右(图3中的左右)边界时，根据每相邻的两个目标矩形区域的边界在水平方向的坐标，将坐标差值确定为目标矩形区域在水平方向上的距离。每相邻两个目标矩形区域的边界均为上(图3中的上下)边界、或均为下(图3中的上下)边界时，根据每相邻两个目标矩形区域的边界左(图3中的左右)端点或边界右(图3中的左右)端点在水平方向的坐标，将坐标差值确定为目标矩形区域在水平方向上的距离。
实施例4：
在目标交通标线的子区域的形状为矩形时，包含子区域的目标区域即为目标矩形区域，为了在目标区域为目标矩形区域时确定待检测图像中是否包含目标交通标线，在上述各实施例的基础上，在本发明实施例中，所述目标区域包括目标矩形区域，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；
确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
根据目标区域集中任意一个目标矩形区域，确定该目标矩形区域的最长边界的方向，将该最长边界的方向确定为第二基准方向。如图4所示，该图4中的目标矩形区域的最长边界的方向为图4中的竖直方向，该第二基准方向也为图4中的竖直方向，其中，图4中示意出的带双箭头的直线是第二基准方向的一种表示形式，本领域的技术人员也可以用仅带一个箭头的直线表示，还可以灵活的采用其它形式进行表示。
根据目标区域集中任意两个目标矩形区域的中心点在第二基准方向上的坐标，确定出任意两个目标矩形区域的中心点坐标的差值，该差值即为两个目标矩形区域在第二基准方向上的距离。
根据任意两个目标矩形区域的中心点在第二基准方向上的距离，确定出距离的最大值，为了确定目标区域集中的目标矩形区域之间是否平行，预先设置有第二预设阈值，若最大值不大于第二预设阈值，则确定目标区域集中的目标矩形区域之间平行，并确定该待检测图像中包含目标交通标线。
其中，由于第一预设阈值是用于确定目标矩形区域中是包含斑马线还是包含车道线，该第一预设阈值一定大于斑马线的相邻两个条纹块之间的横坐标距离，而相邻两个条纹块之间的横坐标距离远大于0，第二预设阈值是用于确定目标矩形区域是否平行，该第二预设阈值接近于0，因此第一预设阈值一定大于第二预设阈值。
实施例5：
下面通过一个具体的实施例本发明的交通标线检测的方法进行说明，在目标交通标线为斑马线时，为了确定出待检测图像中是否包含斑马线，设置数量阈值为2，若确定出的目标矩形区域的数量不小于2时，基于目标区域集中各目标矩形区域的位置信息，确定待检测图像中是否包含斑马线。
若确定出的目标矩形区域的数量等于2时，则确定出的目标矩形区域可能包含斑马线，也可能包含车道线，
如图3所示，在实际的应用场景中，由于斑马线的相邻两个条纹块之间的水平方向距离一定小于车道线之间的水平方向距离，因此为了确定待检测图像中是否包含斑马线，该电子设备预先保存有第一预设阈值D1。其中该第一预设阈值D1是基于经验预先设置的，斑马线的相邻两个条纹块之间的水平方向距离一定小于第一预设阈值D1，而车道线之间的水平方向距离一定大于第一预设阈值D1。
根据包括斑马线的条纹块的目标矩形区域的目标中心点坐标C(i，j)，其中i表示水平方向坐标，j表示竖直方向坐标，确定出目标矩形区域的目标中心点的水平方向坐标，根据2个目标矩形区域的目标中心点的水平方向坐标，确定出目标矩形区域之间的水平方向距离，若水平方向距离不大于第一预设阈值D1，则待检测图像中包含斑马线。
若目标矩形区域的数量大于2时，为了更准确地确定待检测图像中包含斑马线，基于斑马线的每个条纹块基于处于同一水平线的原理，在本发明实施例中，如图3所示，根据目标矩形区域的目标中心点坐标C(i，j)，其中i表示水平方向坐标，j表示竖直方向坐标，确定出目标矩形区域的目标中心点的竖直方向坐标，根据每个目标矩形区域的目标中心点的竖直方向坐标，将竖直方向坐标按照从小到大的顺序进行升序排列，确定出竖直方向坐标最大值和竖直方向坐标最小值的差值。
为了确定出待检测图像中是否包含斑马线，该电子设备还预先保存有第二预设阈值D2，其中该第二预设阈值D2是预先设置用于确定目标矩形区域是否平行，若差值不大于第二预设阈值D2，则确定目标矩形区域平行，待检测图像中包含斑马线。
作为一种可能的实施方式，在本发明实施例中，若目标数量小于2，则确定待检测图像中不包含斑马线。若目标数量等于2时横坐标距离大于第一预设阈值D1，则确定待检测图像中不包含斑马线。若目标数量大于2时，纵坐标最大值和纵坐标最小值的差值大于第二预设阈值D2，则确定待检测图像中不包含斑马线。
图5为本发明实施例提供的一种确定待检测图像中包含斑马线的过程示意图，如图5所示，该过程包括以下步骤：
S501：基于预先训练完成的深度神经网络模型，确定输入的目标图像中目标矩形区域的目标数量和目标中心点坐标。
S502：判断目标数量是否小于2，若否，则进行S503，若是，则进行S507。
S503：判断目标数量是否等于2，若是，则进行S504，若否，则进行S505。
S504：根据目标矩形区域的目标中心点坐标的水平方向坐标，确定目标矩形区域之间的水平方向距离，判断水平方向距离是否不大于第一预设阈值，若是，则进行S506，若否，则进行S507。
S505：根据目标矩形区域的目标中心点坐标的竖直方向坐标，确定竖直方向坐标最大值与竖直方向坐标最小值的差值，判断差值是否不大于第二预设阈值，若是，则进行S506，若否，则进行S507。
S506：确定待检测图像中包含斑马线。
S507：确定待检测图像中不包含斑马线。
实施例6：
为了更准确地确定出目标图像中的目标区域集，在上述各实施例的基础上，在本发明实施例中，所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，所述方法还包括：
根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
在本发明实施例中，目标区域集中包含目标区域和目标区域的置信度，其中该目标区域即为目标区域在目标图像中的位置和范围，该置信度是确定的目标区域包含目标交通标线的子区域的概率值。
由于确定出的目标区域集中还可能会存在部分误检的目标区域，因此为了提高确定出的目标区域的准确性，还要将误检的目标区域删除。
在本发明实施例中，该电子设备保存有预设置信度阈值，其中该预设置信度阈值是预先设置的，若希望提高确定的目标区域的准确性，则可以将该预设置信度阈值设置地较大一些，若希望保证确定出的目标区域的数量，则可以将该预设置信度阈值设置地较小一些。其中，若置信度不大于预设置信度阈值时，则确定置信度小于预设置信度阈值的目标区域属于误检的目标。
因此，根据目标区域的置信度和预设置信度阈值，确定置信度小于预设置信度阈值的目标置信度，并确定出目标置信度对应的目标区域并删除，目标区域集中剩余的目标区域即均为准确检测出的目标区域。
为了更准确地确定出目标图像中的目标区域集，在上述各实施例的基础上，在本发明实施例中，所述方法还包括：
根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；
根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；
根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
在实际的应用场景中，目标交通标线的子区域的颜色为白色，即使目标交通标线的颜色有污损，目标图像中包含目标交通标线的子区域的目标区域对应像素点的像素值均值也会比待检测图像中像素点的像素值均值大。因此根据待检测图像中每个第一像素点的像素值，确定待检测图像的第一像素值均值，可以将第一像素值均值作为判断目标区域是否误检的阈值。
由于在不同场景中的亮度不同，判断是否误检的阈值也会发生变化，因此在本发明实施例中还存在预设比例值，其中该预设比例值与亮度相关，亮度越大时，该比例值越小。确定第一像素值均值与比例值的乘积值，将该乘积值作为判断目标区域是否误检的阈值。
根据目标区域中每个第二像素点的像素值，确定目标区域的第二像素值均值，根据第二像素值均值和该乘积值，若第二像素值均值小于该乘积值，则说明该目标区域为误检的目标区域。若该第二像素值均值不小于该乘积值，则说明该目标区域不是被误检的目标区域。
因此根据第二像素值均值和乘积值，确定小于该乘积值的目标第二像素值均值，并确定出目标第二像素值均值对应的目标区域，将目标区域集中目标第二像素值均值对应的目标区域删除，从而进一步去除了目标区域集中误检的目标区域。
实施例7：
下面通过具体的实施例本发明的确定目标图像中的目标区域集的方法进行说明，图6为本发明实施例提供的一种确定目标图像中的目标区域集的过程示意图，如图6所示，该过程包括以下步骤：
S601：基于预先训练完成的深度神经网络模型，确定输入的目标图像中目标区域的置信度。
S602：针对每个目标区域，根据该目标区域的置信度，判断置信度是否大于预设置信度阈值，若是，则进行S603，若否，则进行S607。
S603：根据待检测图像中每个第一像素点的像素值，确定待检测图像的第一像素值均值，并确定第一像素值均值与预设比例值的乘积值。
S604：针对置信度大于预设置信度阈值的每个目标区域，根据该目标区域的每个第二像素点的像素值，确定该目标区域的第二像素值均值。
S605：判断第二像素值均值是否不小于乘积值，若是，则进行S606，若否，则进行S607。
S606：确定不属于误检的目标区域。
S607：确定属于误检的目标区域。
实施例8：
图7为本发明实施例提供的一种交通标线检测装置的结构示意图，在上述各实施例的基础上，本发明实施例还提供的一种斑马线检测装置，所述装置包括：
处理模块701，用于对待检测图像进行逆透视变换，得到目标图像；
确定模块702，用于对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述确定模块，具体用于基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
进一步地，所述装置还包括：
训练模块，用于对所述历史图像进行逆透视变换；基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
进一步地，所述确定模块，还用于若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
进一步地，所述确定模块，具体用于基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述确定模块，具体用于所述目标区域包括目标矩形区域，基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
进一步地，所述确定模块，具体用于根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离；或根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
进一步地，所述确定模块，具体用于基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
进一步地，所述确定模块，还用于所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
进一步地，所述确定模块，还用于根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
实施例9：
图8为本发明实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信；
所述存储器803中存储有计算机程序，当所述程序被所述处理器801执行时，使得所述处理器801执行如下步骤：
对待检测图像进行逆透视变换，得到目标图像；
对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；
若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述处理器801具体用于所述对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集，包括：
基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
进一步地，所述处理器801用于所述深度神经网络模型的训练过程包括：
对所述历史图像进行逆透视变换；
基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；
对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；
基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
进一步地，所述处理器801具体用于所述至少一个子区域包括：进行逆透视变换后的历史图像中，所述目标交通标线中满足预设形状要求的子区域。
进一步地，所述处理器801还用于若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
进一步地，所述处理器801具体用于所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述处理器801具体用于所述目标区域包括目标矩形区域，所述基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；
确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
进一步地，所述处理器801具体用于所述确定每相邻的两个目标矩形区域在所述第一基准方向上的距离包括：
根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离；或
根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
进一步地，所述处理器801具体用于所述目标区域包括目标矩形区域，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；
确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
进一步地，所述处理器801还用于所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
进一步地，所述处理器801具体用于根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；
根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；
根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口802用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例10：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行如下步骤：
对待检测图像进行逆透视变换，得到目标图像；
对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；
若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集，包括：
基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
进一步地，所述深度神经网络模型的训练过程包括：
对所述历史图像进行逆透视变换；
基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；
对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；
基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
进一步地，所述至少一个子区域包括：进行逆透视变换后的历史图像中，所述目标交通标线中满足预设形状要求的子区域。
进一步地，所述方法还包括：若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
进一步地，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
进一步地，所述目标区域包括目标矩形区域，所述基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；
确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
进一步地，所述确定每相邻的两个目标矩形区域在所述第一基准方向上的距离包括：
根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离；或根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
进一步地，所述目标区域包括目标矩形区域，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；
确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
进一步地，所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，所述方法还包括：
根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
进一步地，所述方法还包括：
根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；
根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；
根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (14)
1.一种交通标线检测方法，其特征在于，所述方法包括：
对待检测图像进行逆透视变换，得到目标图像；
对所述目标图像进行识别，确定出所述目标图像中的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；
若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
2.如权利要求1所述的方法，其特征在于，所述对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集，包括：
基于训练后的深度神经网络模型对所述目标图像进行识别，确定出所述目标区域集；其中，所述深度神经网络模型是基于机器学习方法，利用进行了数据标注后的样本图像进行训练得到的；所述样本图像是对进行逆透视变换后的历史图像中至少一个目标区域进行数据标注得到的，所述历史图像中包含所述目标交通标线。
3.如权利要求2所述的方法，其特征在于，所述深度神经网络模型的训练过程包括：
对所述历史图像进行逆透视变换；
基于进行逆透视变换后的历史图像中所述目标交通标线的至少一个子区域，确定至少一个目标区域；
对所述至少一个目标区域的位置信息进行数据标注，得到所述样本图像；
基于所述样本图像对待训练的深度神经网络模型进行训练，得到所述训练后的深度神经网络模型。
4.如权利要求3所述的方法，其特征在于，所述至少一个子区域包括：进行逆透视变换后的历史图像中，所述目标交通标线中满足预设形状要求的子区域。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：若确定所述目标区域集中目标区域的数量小于所述数量阈值，则确定所述待检测图像中不包含所述目标交通标线。
6.如权利要求1-5中任一所述的方法，其特征在于，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线。
7.如权利要求6所述的方法，其特征在于，所述目标区域包括目标矩形区域，所述基于所述目标区域集中相邻目标区域之间的距离，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最短边界，确定第一基准方向；
确定每相邻的两个目标矩形区域在所述第一基准方向上的距离，若确定的每个距离均不大于第一预设阈值，则确定所述待检测图像中包含所述目标交通标线。
8.如权利要求7所述的方法，其特征在于，所述确定每相邻的两个目标矩形区域在所述第一基准方向上的距离包括：
根据每相邻的两个所述目标矩形区域的中心点，确定每相邻的两个所述目标矩形区域的中心点在所述第一基准方向上的距离；或
根据每相邻的两个所述目标矩形区域的边界，确定每相邻的两个所述目标矩形区域的边界在所述第一基准方向上的距离。
9.如权利要求1-5中任一所述的方法，其特征在于，所述目标区域包括目标矩形区域，所述基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线，包括：
基于所述目标区域集中任意一个目标矩形区域的最长边界，确定第二基准方向；
确定任意两个所述目标矩形区域的中心点的在所述第二基准方向上的距离的最大值，若所述最大值不大于第二预设阈值，则确定所述待检测图像中包含所述目标交通标线，其中所述第二预设阈值小于第一预设阈值。
10.如权利要求1所述的方法，其特征在于，所述目标区域集中包括所述目标区域和所述目标区域的置信度，所述对所述目标图像进行识别，确定出所述目标图像中的目标区域集之后，所述方法还包括：
根据所述目标区域的置信度和预设置信度阈值，确定所述目标区域集中置信度小于所述预设置信度阈值的目标区域并删除。
11.如权利要求10所述的方法，其特征在于，所述方法还包括：
根据所述待检测图像中每个第一像素点的像素值，确定所述待检测图像的第一像素值均值，并确定所述第一像素值均值与预设比例值的乘积值；
根据所述目标区域中每个第二像素点的像素值，确定所述目标区域的第二像素值均值；
根据所述第二像素值均值和所述乘积值，确定小于所述乘积值的目标第二像素值均值对应的所述目标区域并删除。
12.一种交通标线检测装置，其特征在于，所述装置包括：
处理模块，用于对待检测图像进行逆透视变换，得到目标图像；
确定模块，用于对所述目标图像进行识别，确定出所述目标图像中包含的目标区域集；其中，目标区域包含待检测的目标交通标线的子区域；若确定所述目标区域集中目标区域的数量不小于数量阈值，则基于所述目标区域集中各目标区域的位置信息，确定所述待检测图像中是否包含所述目标交通标线。
13.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-11中任一所述交通标线检测方法的步骤。
14.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11中任一所述交通标线检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110732544.7A CN113435350A (zh) | 2021-06-30 | 2021-06-30 | 一种交通标线检测方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110732544.7A CN113435350A (zh) | 2021-06-30 | 2021-06-30 | 一种交通标线检测方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113435350A true CN113435350A (zh) | 2021-09-24 |
Family
ID=77757974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110732544.7A Pending CN113435350A (zh) | 2021-06-30 | 2021-06-30 | 一种交通标线检测方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435350A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724118A (zh) * | 2022-06-08 | 2022-07-08 | 苏州魔视智能科技有限公司 | 一种斑马线检测方法、装置、设备及存储介质 |
| CN114877903A (zh) * | 2022-04-30 | 2022-08-09 | 重庆长安汽车股份有限公司 | 一种融合交通实景信息的车道级路径规划方法、系统、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647570A (zh) * | 2018-04-02 | 2018-10-12 | 深圳市易成自动驾驶技术有限公司 | 斑马线检测方法、装置及计算机可读存储介质 |
| CN109409191A (zh) * | 2018-08-24 | 2019-03-01 | 广东智媒云图科技股份有限公司 | 一种基于机器学习的斑马线车辆避让检测方法及系统 |
| CN109543493A (zh) * | 2017-09-22 | 2019-03-29 | 杭州海康威视数字技术股份有限公司 | 一种车道线的检测方法、装置及电子设备 |
| CN110210451A (zh) * | 2019-06-13 | 2019-09-06 | 重庆邮电大学 | 一种斑马线检测方法 |
| CN111179220A (zh) * | 2019-12-09 | 2020-05-19 | 安徽奇点智能新能源汽车有限公司 | 车道标识线质量检测方法、系统及存储介质 |
| CN111695373A (zh) * | 2019-03-12 | 2020-09-22 | 中国科学院上海高等研究院 | 斑马线的定位方法、系统、介质及设备 |
| US20210001885A1 (en) * | 2018-03-23 | 2021-01-07 | Sensetime Group Limited | Method for predicting direction of movement of target object, vehicle control method, and device |
| CN112800989A (zh) * | 2021-02-02 | 2021-05-14 | 上海博泰悦臻电子设备制造有限公司 | 一种检测斑马线的方法及装置 |
| CN112926354A (zh) * | 2019-12-05 | 2021-06-08 | 北京超星未来科技有限公司 | 一种基于深度学习的车道线检测方法及装置 |
-
2021
- 2021-06-30 CN CN202110732544.7A patent/CN113435350A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543493A (zh) * | 2017-09-22 | 2019-03-29 | 杭州海康威视数字技术股份有限公司 | 一种车道线的检测方法、装置及电子设备 |
| US20210001885A1 (en) * | 2018-03-23 | 2021-01-07 | Sensetime Group Limited | Method for predicting direction of movement of target object, vehicle control method, and device |
| CN108647570A (zh) * | 2018-04-02 | 2018-10-12 | 深圳市易成自动驾驶技术有限公司 | 斑马线检测方法、装置及计算机可读存储介质 |
| CN109409191A (zh) * | 2018-08-24 | 2019-03-01 | 广东智媒云图科技股份有限公司 | 一种基于机器学习的斑马线车辆避让检测方法及系统 |
| CN111695373A (zh) * | 2019-03-12 | 2020-09-22 | 中国科学院上海高等研究院 | 斑马线的定位方法、系统、介质及设备 |
| CN110210451A (zh) * | 2019-06-13 | 2019-09-06 | 重庆邮电大学 | 一种斑马线检测方法 |
| CN112926354A (zh) * | 2019-12-05 | 2021-06-08 | 北京超星未来科技有限公司 | 一种基于深度学习的车道线检测方法及装置 |
| CN111179220A (zh) * | 2019-12-09 | 2020-05-19 | 安徽奇点智能新能源汽车有限公司 | 车道标识线质量检测方法、系统及存储介质 |
| CN112800989A (zh) * | 2021-02-02 | 2021-05-14 | 上海博泰悦臻电子设备制造有限公司 | 一种检测斑马线的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114877903A (zh) * | 2022-04-30 | 2022-08-09 | 重庆长安汽车股份有限公司 | 一种融合交通实景信息的车道级路径规划方法、系统、设备及存储介质 |
| CN114724118A (zh) * | 2022-06-08 | 2022-07-08 | 苏州魔视智能科技有限公司 | 一种斑马线检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN109284674B (zh) | 一种确定车道线的方法及装置 | |
| CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| CN111523464A (zh) | 车辆违法变道的检测方法和装置 | |
| CN112307989B (zh) | 路面物体识别方法、装置、计算机设备和存储介质 | |
| WO2013186662A1 (en) | Multi-cue object detection and analysis | |
| CN111259878A (zh) | 一种检测文本的方法和设备 | |
| CN111898491B (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN111814593B (zh) | 交通场景解析方法和设备、存储介质 | |
| CN112036385B (zh) | 库位修正方法、装置、电子设备及可读存储介质 | |
| CN113011331B (zh) | 机动车是否礼让行人的检测方法、装置、电子设备及介质 | |
| CN113435350A (zh) | 一种交通标线检测方法、装置、设备和介质 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN117037103A (zh) | 一种道路检测方法和装置 | |
| CN111008554B (zh) | 一种基于深度学习的动态交通斑马线内不礼让行人识别方法 | |
| CN114882470A (zh) | 车载防碰撞预警方法、装置、计算机设备及存储介质 | |
| CN113902740A (zh) | 图像模糊程度评价模型的构建方法 | |
| US20160283821A1 (en) | Image processing method and system for extracting distorted circular image elements | |
| CN113297939A (zh) | 障碍物检测方法、系统、终端设备及存储介质 | |
| CN112528944A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN112101139A (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN116721396A (zh) | 车道线检测方法、设备及存储介质 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN106023270A (zh) | 一种基于局部对称特征的视频车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |
|
| RJ01 | Rejection of invention patent application after publication |