CN111126323A - 服务于交通违规检测的卡口元素识别与分析方法、系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种服务于交通违规检测的卡口元素识别与分析方法包括：读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。提高了检测的准确性，且避免了漏检和误检，便于提供违规证据。

Description

服务于交通违规检测的卡口元素识别与分析方法、系统

技术领域

本发明涉及图像处理技术领域，公开了一种服务于交通违规检测的卡口元素识别与分析方法。

背景技术

随着汽车在生活中的普及程度日益增加，道路安全也逐渐成为了一个不容忽视的问题。目前，各个卡口基本都固定安装了违章拍照的摄像装置，用来对卡口场景内行驶的车辆进行监管。这种装置可以对不遵守交通规则的驾驶人员形成一定的震慑，但是相关部门通常需要搜集足够有力的证据来证明驾驶人员的违法行为确实存在，因此在进行了抓拍之后，还需要从抓拍的图像中提取出可以作为违规实证的部分数据。

通常，现场违规取证装置每一次触发所保存的证据由少量抓拍图像组成，提取违规实证的过程如果由人工进行操控，则浪费人力，有些后续也无法判断违规行为，有些还容易误检或漏检，因此，迫切需要一种解决上述问题的方法。

发明内容

针对背景技术所面临的问题，本发明的目的在于提供一种准确且快速的服务于交通违规检测的卡口元素识别与分析方法。

为了达到上述目的，本发明采用如下技术方案：

一种服务于交通违规检测的卡口元素识别与分析方法包括：读取卡口场景的图像，识别图像中用于交通违规检测的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。

优选的，读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息具体为：读取卡口场景图像后，分别进行图像检测、图像分割和昼夜分类等深度网络前向计算过程；从图像分割模型输出的语义分割结果图中提取车道线二值图、停止线二值图、斑马线二值图以及箭头二值图；基于opencv对上述提取出的二值图进行轮廓提取；对箭头轮廓进行外接矩形操作，过滤小面积箭头区域，将箭头所在矩形区域的图像数据输入到箭头分类网络得到细分类结果，保存每个箭头的位置信息和细分类别信息；获取斑马线轮廓的最小外接矩形，过滤小面积区域，如果存在多个斑马线区域，根据y方向的位置排序后保留距离卡口摄像头最近的斑马线区域并存储斑马线位置信息；合并属于同一车道线或停止线的轮廓，进行直线拟合得到直线方程；以图像左x坐标和右x坐标作为停止线方程的参数得到停止线端点坐标，然后根据停止线中点y方向的位置排序后保留距离卡口摄像头最近的停止线并存储停止线两端点位置信息；以图像上y坐标和下y坐标作为车道线方程的参数得到车道线端点坐标，计算每条车道线与停止线的交点，用该交点作为车道线其中一端点的替代来截断车道线，然后根据交点x坐标进行排序并给每条车道线分配id，存储车道线端点位置和id；存储图像检测输出的车辆、交通灯矩形框位置信息，存储昼夜分类输出的分类结果信息。

优选的，用于交通违规检测的道路元素包括车道线、停止线、斑马线、箭头及交通灯，跟踪模型包括线形模型、矩形模型、多边形模型，线形模型用于跟踪车道线与停止线，矩形模型用于跟踪箭头、车辆和交通灯，多边形模型用于跟踪斑马线区域。

优选的，构建线形模型具体为：获取多帧图像中车道线与停止线的位置信息，对每帧图像的车道线与停止线计算角度和在图边界交点；分别统计连续多帧的各线角度和底部交点，以连续稳定的线属性表示该线形元素。

优选的，构建矩形模型具体为：检测图像中车辆和交通灯所在的位置，检测结果以矩形框的形式表达车辆和交通灯的位置；统计连续多帧各矩形的区域和属性；以统计结果表示矩形元素的位置和属性。

优选的，构建多边形模型具体为：获取多帧图像中斑马线区域的角点集，对每帧图像中同属一个斑马线区域进行合并；统计连续多帧斑马线区域的角点位置，以统计结果标定斑马线区域。

优选的，跟踪模型还包括车辆行为分析模型，用于跟踪连续帧车辆，拟合行驶轨迹，进而推算车道线、箭头、属性，以统计多帧图像得到车辆行为结果。

优选的，若匹配结果是跟踪模型中存在未在当前帧图像中识别的道路元素，则对当前帧图像的识别结果进行补偿，并将补偿结果补入当前帧图像的识别结果中；若匹配结果是当前帧图像中存在跟踪模型中没有的道路元素，则对当前帧图像的识别结果进行修正，并将修正结果补入当前帧图像的识别结果中；根据匹配结果更新跟踪模型，对黑夜、雪天、清晨逆光强光不利于深度识别的情况时，不更新跟踪模型。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

一种服务于交通违规检测的卡口元素识别与分析系统包括：深度识别模块，用于读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；模型建立模块，用于根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；跟踪分析模块，用于识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。

与现有技术相比，本发明提供了一种服务于交通违规检测的卡口元素识别与分析方法包括：读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息，不仅能够满足后续违规行为的判断，还能对判断结果进行修正，提高了违规行为判断的准确性，对每一帧图像都检测，避免了漏检和误检。

附图说明

图1为本发明一种服务于交通违规检测的卡口元素识别与分析方法的流程示意图；

图2为本发明一种服务于交通违规检测的卡口元素识别与分析系统的组成图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

下文将详细的对示例性实施例进行说明，所提供的实施例中所描述的实施方式代表本发明的部分较佳实施方式，而并非全部实施方式。基于本发明中的实施例以及图文，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本发明保护的范围之内。

本发明中，道路上的各个卡口都固定安装有违章拍摄的摄像装置，用来拍摄该卡口场景图像。如果采用抓拍的方式抓拍该卡口场景中的违规行为，由于算法，天气等因素很容易对某些违法行为漏检，而且后期对违规图像进行判定时，如果采用人工检测的方式，很容易人为因素造成误检或者花费时间太长，如果后期采用机器自动检测时则容易造成误检，例如，车辆刚好挡住箭头，图片检测时检测不到该被遮挡的箭头，造成判断失误。为了避免漏检，本发明采用对所有摄像的图像进行检测，判断其中存在的违规行为。为避免机器的误检测，本发明采用先对该卡口场景的道路元素建模，当需要检测当前帧图像也就是待检测的图像中的违规行为时，用识别的当前帧图像的道路元素与模型中的道路元素对比匹配，从而可以对当前帧的检测结果进行修正，避免误检。为了该对比时的准确性，需要保证该卡口场景道路元素建模的正确性，则该摄像装置拍摄的角度及拍摄区域固定不变，利于后续匹配比对时匹配结果的准确性。该卡口场景包括摄像范围内的道路、道路上的车道线、停止线、斑马线、箭头、交通灯、车辆、行人等等。该摄像拍摄的图像中的违规行为，指的是逆行，闯红灯、不礼让行人等等。

如图1为了避免误检，本发明提供了一种服务于交通违规检测的卡口元素识别与分析方法包括：S10，读取卡口场景的图像，识别图像中用于交通违规检测的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；S20，根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；S30，识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息，不仅能够满足后续违规行为的判断，还能对判断结果进行修正，而且对每一帧图像都检测，提高了违规行为判断的准确性，也避免了漏检和误检。

如图2为本发明提供了一种服务于交通违规检测的卡口元素识别与分析系统包括：S1，深度识别模块，用于读取卡口场景的图像，识别图像中用于交通违规检测的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；S2，模型建立模块，用于根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；S3，跟踪分析模块，用于识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。

一实施例中，S1，深度识别模块，用于读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；本实施例中，深度识别模块包括图像分割单元、图像检测单元、箭头分类单元及昼夜分类单元。卡口场景的图像经摄像头拍摄后，这些图像由图像分割单元基于深度学习识别该图像中的道路元素，如识别车道线、停止线、斑马线及箭头，并且标记这些道路元素在图像中的类别。然后，图像检测单元用于检测这些已经标记类别的道路元素在该图像中的位置信息，检测结果以矩形框的形式在图像中表现出来。图像检测单元检测完图像中道路元素的类别后，还需要应用箭头分类单元对检测出的箭头进一步基于深度学习进行更加细致的分类，例如把图像中类别为箭头的道路元素再次分为左转箭头、右转箭头或者直行箭头等，便于后面对车辆行为的准确判断。昼夜分类单元用于对该图像整体进行分类，具体分为昼类型或者夜类型，便于后续对建模模型的更新。为了保证模型的准确性，该摄像位置固定，拍摄的角度和范围固定，图像可以由交警部门通过该卡口的摄像装置实时拍摄取得。

S1，深度识别模块，用于读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；具体为：

S11：读取卡口场景的图像后，分别对该卡口场景图像进行图像检测、图像分割等；

S12：从图像分割单元得到的语义分割结果中提取车道线二值图、停止线二值图、斑马线二值图以及箭头二值图；

S13：基于opencv对上述提取出的二值图进行轮廓提取；

S14：对箭头轮廓进行外接矩形操作，过滤小面积箭头区域，将箭头所在矩形区域的图像数据输入到箭头分类网络得到细分类结果，保存每个箭头的位置信息和细分类别；

S15：获取斑马线轮廓的最小外接矩形，过滤小面积区域，如果存在多个斑马线区域，根据y方向的位置排序后保留距离卡口摄像头最近的斑马线区域并存储位置信息；

S16：合并属于同一车道线或停止线的轮廓，进行直线拟合得到直线方程；

S17：以图像左x坐标和右x坐标作为停止线方程的参数得到停止线端点坐标，然后根据停止线中点y方向的位置排序后保留距离卡口摄像头最近的停止线并存储停止线两端点位置信息；

S18：以图像上y坐标和下y坐标作为车道线方程的参数得到车道线端点坐标，计算每条车道线与停止线的交点，用该交点作为车道线其中一端点的替代来截断车道线，然后根据交点x坐标进行排序并给每条车道线分配id，存储车道线端点位置和id；

S19：存储图像检测输出的车辆、交通灯矩形框位置信息，存储昼夜分类输出的分类结果。

一实施例中，S2，模型建立模块，用于根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；在深度识别模块识别该卡口场景的多帧图像后，多帧图像可由该卡口得摄像装置实时取得，模型建立模块基于该多帧图像的识别结果建立跟踪模型。模型建立模块包括线形建立单元、矩形建立单元、多边形建立单元。线形建立单元用于对线形的道路元素构建跟踪模型，线形的道路元素包括车道线、停止线。具体的，从深度识别模块获取多帧图像中线形的道路元素的位置信息及属性等，对每帧图像的线形的道路元素计算角度、在图边界交点；分别统计连续多帧的各线角度和底部交点，以连续稳定的线属性(角度、交点)表示该线形的道路元素。

矩形建立单元用于对箭头或红绿灯构建跟踪模型，具体的从深度识别模块获取箭头和红绿灯在图像中的位置信息及属性等，统计连续多帧各矩形的区域和属性，通过该统计结果表示箭头或红绿灯在图像中的位置及属性。

多边形建立单元用于对斑马线建立跟踪模型，具体的从深度识别模块获取斑马线在图像中的位置信息及属性，获取斑马线区域的角点集，对每帧图像中同属一个斑马线区域进行合并；统计连续多帧斑马线区域的角点位置，以统计结果标定斑马线区域。

一实施例中，S3，跟踪分析模块，用于识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。当前帧图像就是需要被检测是否存在违规行为的图像，需要对当前帧图进行判断时，首先利用深度识别模块识别检测当前帧图像，得到当前帧图像中的道路元素的位置信息及属性，并判断当前帧图像中存在的违规行为，得到违规结果信息，然后将当前帧图像中的道路元素的位置信息、属性及违规结果信息与相对应的跟踪模型中的道路元素的信息进行匹配，如果跟踪模型中道路元素与当前帧图像里的道路元素的信息匹配上，则跟踪成功，根据匹配的结果来判断当前帧图像里存在的违规行为，并得到违规结果信息，具体为若匹配结果是跟踪模型中存在未在当前帧图像中识别的道路元素，则对当前帧图像的识别结果进行补偿，并将补偿结果补入当前帧图像的识别结果中；若匹配结果是当前帧图像中存在跟踪模型中没有的道路元素，则对当前帧图像的识别结果进行修正，并将修正结果补入当前帧图像的识别结果中；更加准确，匹配得到跟踪结果又能避免误检或漏检，且对待检测的图像里的每一帧图像都进行了检测，避免了漏检。

而且根据匹配结果更新跟踪模型，对黑夜、雪天、清晨逆光、强光不利于深度识别的情况时，不更新跟踪模型。S3，跟踪分析模块，用于识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。具体为：

S31，调用深度识别模块，传入当前帧图片，获取识别结果。

S32，解析识别结果，获取元素类型(如车道线、停止线、箭头、红绿灯、斑马线区域、车辆)、位置(线的两个端点、矩形框、多边形角点)、属性(箭头的转向等)。

S33，各元素根据跟踪需要进行数据预处理。

对于车道线，计算角度、线与图像底部的交点，通过这两个参数和线的两端点表示车道线；另外，结合车道线角度合理范围对部分误检车道线深度识别结果进行过滤。

对于停止线，计算角度、线与图像左侧边界的交点，通过这两个参数和线两断点标定停止线；另外，结合停止线角度合理范围过滤深度识别停止线结果。

对于斑马线区域，合并属于同一个斑马线区域；箭头、车辆、红绿灯元素，赋值矩形位置和属性。

S34，分别对各元素处理模块跟踪模型初始化。

对跟踪模型分别创建预模型pre_model集和跟踪模型集model，其中pre_model存储各元素构建模型的过程数据(如识别结果的统计等)，即未具高置信定位、表示对应元素能力；model则为能稳定、高置信度地表示对应元素的元素模型。

对于线型跟踪模型，设置角度差阈值alpha_1和交点差阈值beta_1。初始，根据初始识别结果创建跟踪模型，存储到pre_model中；对若干连续帧的线形元素，根据阈值alpha_1和beta_1两两对比识别的线与pre_model中的线，对匹配成功者，pre_model中对应的线计数器累加；而未匹配着创建新线模型加入pre_model中。统计多帧线形元素识别数据，同一线形元素被识别数量达到num_1，构建该目标模型(角度ref_alpha，交点ref_intercept，端点)，并存储到model；

对于矩形跟踪模型，设置重叠率阈值ratio_1、ratio_2和转向类型阈值num_2，若干连续帧，两两比较深度识别的矩形和pre_model中目标跟踪模型位置(目标区域)的重叠率ratio＝(rect_1∩rect_2)/(rect_1∪rect_2)，当ratio＞＝ratio_1时，判断为同属一个地图元素的识别结果，则其在pre_model中对应的矩形元素模型计数器累加，对属于同一目标的检测结果保存Set_1中。对同一位置的目标统计数量达到num_1，拟合矩形元素位置：矩形范围ref_rect(x，y，w，h)(其中，x和y表示矩形左上角坐标，w和h分别表示矩形的宽高)。对于红绿灯，拟合得到的位置范围为目标模型，对红绿灯建模成功者移入model中。

对于箭头还须统计其转向类型，转向类型的识别要求箭头尽量无遮挡或者少遮挡，因此，用于统计转向类型的箭头需要进行筛选。遍历属于同一箭头集Set_1，找到面积最大者arrow_max，以arrow_max为参考，筛选Set_1中与arrow_max重叠率大于或等于ratio_2的识别结果保存到Set_2。对Set_2中箭头进行统计，当最大统计量大于等于num_2时，以该统计量对应的转向类型为目标的转向类型。箭头元素的目标模型为：元素位置ref_rect(x，y，w，h)和转向类型ref_turn，构建箭头的跟踪模型并移入model。

对于多边形模型，设置更新比率update_ratio，对若干连续帧，按照时间序列顺序，统计同属斑马线区域。以开始时刻识别的斑马线区域为原型(point_1，....，point_4)，原型与当前帧斑马线区域在图像坐标横向和纵向投影，当投影区域的重叠率大于或等于ratio_1，则认为属于同一斑马线区域的识别结果，进行累计count＝count+1，并对原型数据进行更新：point_*＝(1-update_ratio)×point_*+update_ratio×point(其中，*为1，2，3，4)。当count＞＝num_1时，认为该斑马线区域拟合成功，目标模型为：ref_point_1，......，ref_point_4。

对于车辆行为分析模型，分为车道统计与车道属性统计。根据图像序列，图像底部车辆的分布情况，拟合出车道范围(车辆行驶区域为车道范围)。根据连续帧车辆的轨迹，拟合车道行驶方向。

S35，对当前帧图像深度识别结果进行跟踪判断。

对车道线和停止线跟踪，设置角度判断阈值alpha_2(通常alpha_1＜alpha_2)和交点判断阈值beta_2(通常beta_1＜beta_2)；当前帧车道线或停止线与mode中线匹配判断，满足|angle-ref_angle|＜＝alpha_2且|intercept-ref_intercept|＜＝beta_2，判定车道线或停止线与模型中线匹配成功，即跟踪成功。

当mode中存在线未被当前帧识别结果匹配，根据model中未被匹配的线进行补偿。根据模型的两端点产生线数据，并标记该线为补偿线，增加到当前帧输出结果中。

对箭头跟踪，设置重叠率阈值ratio_3(通常ratio_3＜ratio_1＜ratio_2)；当前帧箭头覆盖率ratio＞＝ratio_3，判定匹配成功，同时，ratio＜ratio_1时，使用ref_rect位置对检测结果修正。另外，由于转向为多帧统计结果，置信度高于单帧识别，因此，使用模型的转向分类修改深度识别分类。

当model中存在箭头模型未被当前帧识别结果匹配，根据model中未被匹配的箭头进行补偿。根据模型的位置ref_rect和转向ref_turn产生输出数据，并标记该线为补偿结果，增加到当前帧输出结果中。

对红绿灯跟踪。当前帧红绿灯重叠率ratio＞＝ratio_3，判定匹配成功，同时，ratio＜ratio_1时，使用ref_rect进行位置修正。

当model中存在红绿灯模型未被当前帧深度识别结果匹配，根据model中未被匹配的红绿灯进行补偿。根据模型的位置ref_rect产生输出数据，并标记该线为补偿结果，增加到当前帧输出结果中。

对斑马线区域跟踪。计算当前帧识别的斑马线区域与model中斑马线区域在横、纵向投影的重叠率ratio，当ratio＜＝ratio_3时，判断匹配成功。当ratio＜ratio_1时，使用模型ref_point_1，......，ref_point_4对深度识别结果修正。

当model中存在未被匹配的斑马线区域，使用斑马线数据ref_point_1，......，ref_point_4产生输出数据，对识别结果补偿。

一实施例中，根据匹配结果分别更新各道路元素跟踪模型。具体的，根据深度模型对昼夜、天气、强光等识别情况赋值更新跟踪模型，当为黑夜、雪天、清晨逆光、强光不利于深度识别的情况，不更新跟踪模型。

对车道线和停止线跟踪模型更新，分为两种情况：1.当前帧深度识别结果与model有较高的匹配度(角度差小于alpha_1且交点距离差小于beta_1)，根据识别结果对model进行更新：ref_angle＝(1-update_ratio)×ref_angle+update_ratio×angle，ref_intercept＝(1-update_ratio)×ref_intercept+update_ratio×intercept。2.当前帧深度识别的车道线或停止线未在model集合中匹配，更新pre_model集合，参考步骤S34中的流程，当pre_model中相关线持续跟踪num_1帧，则为该线创建线模型，存储到model中，并移除pre_model中该线的相关信息。

对箭头跟踪模型更新，分为两种情况：1.深度识别结果与model具有较高的匹配度(ratio＞＝ratio_1)，根据识别结果对model进行更新：ref_rect(x，y，w，h)＝(1-update_ratio)×ref_rect(x，y，w，h)+update_ratio×rect(x，y，w，h)。同时，对ratio＞＝ratio_2的识别结果，持续维护转向分类的计数器ref_turn_count＝ref_turn_count+1，以计数器最大者为该箭头转向分类。2.当深度识别的箭头未在model集合中匹配，更新pre_model集合，参看步骤S34流程，当pre_model中对应箭头持续跟踪num_1帧，则为该箭头创建跟踪模型，存储到model中，并移除pre_model中该箭头相关信息。

对红绿灯跟踪模型更新，参考上述步骤中情况。

对斑马线跟踪模型更新，根据监控有效范围要求，只对当前道路方向的斑马线区域进行跟踪。深度识别结果与model具有较高匹配度(ratio＞ratio_1)，根据识别结果对model进行更新：ref_point_*＝(1-update_ratio)×ref_point_*+update_ratio×point。

对车辆行为分析模型更新。参考步骤S34对车辆行驶区域拟合，同时，参考车道线模型和箭头模型，进而确认车道区域，同时检测被磨损的车道线。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本发明揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。

最后再次强调，上文所列举的实施例，为本发明较为典型的、较佳实施例，仅用于详细说明、解释本发明的技术方案，以便于读者理解，并不用以限制本发明的保护范围或者应用。

因此，在本发明的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本发明的保护范围之内。

Claims (10)

1.服务于交通违规检测的卡口元素识别与分析方法，其特征在于，包括：

读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；

根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；

识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。

2.根据权利要求1所述的方法，其特征在于：读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息具体为：

读取卡口场景图像后，分别进行图像检测、图像分割和昼夜分类等深度网络前向计算过程；

从图像分割模型输出的语义分割结果图中提取车道线二值图、停止线二值图、斑马线二值图以及箭头二值图；

基于opencv对上述提取出的二值图进行轮廓提取；

对箭头轮廓进行外接矩形操作，过滤小面积箭头区域，将箭头所在矩形区域的图像数据输入到箭头分类网络得到细分类结果，保存每个箭头的位置信息和细分类别信息；

获取斑马线轮廓的最小外接矩形，过滤小面积区域，如果存在多个斑马线区域，根据y方向的位置排序后保留距离卡口摄像头最近的斑马线区域并存储斑马线位置信息；

合并属于同一车道线或停止线的轮廓，进行直线拟合得到直线方程；

以图像左x坐标和右x坐标作为停止线方程的参数得到停止线端点坐标，然后根据停止线中点y方向的位置排序后保留距离卡口摄像头最近的停止线并存储停止线两端点位置信息；

以图像上y坐标和下y坐标作为车道线方程的参数得到车道线端点坐标，计算每条车道线与停止线的交点，用该交点作为车道线其中一端点的替代来截断车道线，然后根据交点x坐标进行排序并给每条车道线分配id，存储车道线端点位置和id；

存储图像检测输出的车辆、交通灯矩形框位置信息，存储昼夜分类输出的分类结果信息。

3.根据权利要求1所述的方法，其特征在于：用于交通违规检测的道路元素包括车道线、停止线、斑马线、箭头及交通灯，跟踪模型包括线形模型、矩形模型、多边形模型，线形模型用于跟踪车道线与停止线，矩形模型用于跟踪箭头、车辆和交通灯，多边形模型用于跟踪斑马线区域。

4.根据权利要求3所述的方法，其特征在于：构建线形模型具体为：

获取多帧图像中车道线与停止线的位置信息，对每帧图像的车道线与停止线计算角度和在图边界交点；

分别统计连续多帧的各线角度和底部交点，以连续稳定的线属性表示该线形元素。

5.根据权利要求3所述的方法，其特征在于：构建矩形模型具体为：

检测图像中车辆和交通灯所在的位置，检测结果以矩形框的形式表达车辆和交通灯的位置；

统计连续多帧各矩形的区域和属性；

以统计结果表示矩形元素的位置和属性。

6.根据权利要求3所述的方法，其特征在于：构建多边形模型具体为：

获取多帧图像中斑马线区域的角点集，对每帧图像中同属一个斑马线区域进行合并；

统计连续多帧斑马线区域的角点位置，以统计结果标定斑马线区域。

7.根据权利要求3所述的方法，其特征在于：跟踪模型还包括车辆行为分析模型，用于跟踪连续帧车辆，拟合行驶轨迹，进而推算车道线、箭头、属性，以统计多帧图像得到车辆行为结果。

8.根据权利要求1所述的方法，其特征在于：

若匹配结果是跟踪模型中存在未在当前帧图像中识别的道路元素，则对当前帧图像的识别结果进行补偿，并将补偿结果补入当前帧图像的识别结果中；

若匹配结果是当前帧图像中存在跟踪模型中没有的道路元素，则对当前帧图像的识别结果进行修正，并将修正结果补入当前帧图像的识别结果中；

根据匹配结果更新跟踪模型，对黑夜、雪天、清晨逆光强光不利于深度识别的情况时，不更新跟踪模型。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

10.服务于交通违规检测的卡口元素识别与分析系统，其特征在于，包括：

深度识别模块，用于读取卡口场景的图像，识别图像中用于交通违规检测的的道路元素，将图像中的道路元素分别进行类别标记，并检测各类道路元素分别在图像中的位置信息；

模型建立模块，用于根据各类道路元素在图像中的位置信息和属性，构建该卡口场景道路元素的跟踪模型；

跟踪分析模块，用于识别和检测当前帧图像中各类道路元素的位置信息和属性，得到当前帧图像中存在的违规结果信息，并与相应的跟踪模型中道路元素的位置信息和属性进行匹配，根据匹配结果修正违规结果信息。

Images