CN114693722B - 一种车辆行驶行为检测方法、检测装置及检测设备 - Google Patents

Abstract

本申请实施例公开了一种车辆行驶行为检测方法、检测装置及检测设备，涉及图像数据处理领域，用于实现自动判断车辆的行驶行为是否违法，节约人力和时间成本。本申请实施例方法包括：获取待检测图像组；确定目标车辆；确定目标车辆的位置及车辆类型；当确定目标车辆的车辆类型不为特殊车辆时，确定全局车道环境；判断目标车辆所处的车道上是否存在车道导向标识；若存在，则分别确定目标车辆的移动方向和车道直行方向；计算移动方向与车道直行方向形成的角度差，根据角度差所处的预设范围确定目标车辆的行驶方向；确定目标车辆的行驶角度，并通过行驶角度结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。

Description

一种车辆行驶行为检测方法、检测装置及检测设备

技术领域

本申请实施例涉及图像数据处理领域，尤其涉及一种车辆行驶行为检测方法、检测装置及检测设备。

背景技术

近年来，随着电子产业和计算机产业的快速发展，基于图像处理的道路交通监控、管理越来越多的应用到道路交通安全研究中。

目前，在城市的交通场景中，基于监控摄像设备的行驶违法行为记录与监控，可利用图像处理和模式识别的方法，识别道路交通环境中的标志线、信号灯等，结合识别车辆的轨迹特性、运动状态来判断车辆的行驶情况，以为采集交通违法行为提供依据，其中，常见的交通违法行为包括随意变更车道行驶，车牌遮挡，在直行道上左转弯，闯红灯，超速等。在现有技术中，对于车辆的行驶行为的判别检测主要分为两个阶段：第一是利用路口设置的摄像设备，根据预先设定好的规则对涉嫌违法的行为进行抓拍，并将抓拍的图像上传至相关管理后台；第二是在管理后台通过人工对抓拍到的图片进行判断，审核其是是否违法。这样的交通违法行为判定手段需要人为干预进行审核，消耗大量人力和时间成本。

发明内容

本申请实施例提供了一种车辆行驶行为检测方法、检测装置及检测设备，用于实现自动判断车辆的行驶行为是否违法，节约人力和时间成本。

本申请从第一方面提供了一种车辆行驶行为检测方法，包括：

获取待检测图像组，所述待检测图像组包含在连续时间内抓拍的多张车辆图像；

根据所述待检测图像组中的车牌信息确定目标车辆；

在所述待检测图像组中确定所述目标车辆的位置及车辆类型；

当确定所述目标车辆的车辆类型不为特殊车辆时，确定所述车辆图像的全局车道环境，所述全局车道环境包括车道个数及车道导向标识；

根据所述全局车道环境判断所述目标车辆所处的车道上是否存在车道导向标识；

若确定所述目标车辆所处的车道上存在车道导向标识，则分别确定所述目标车辆的移动方向和车道直行方向；

计算所述移动方向与所述车道直行方向形成的角度差，根据所述角度差所处的预设范围确定所述目标车辆的行驶方向，所述行驶方向为左转、右转或直行；

确定所述目标车辆的行驶角度，并通过所述行驶角度结合所述行驶方向与所述目标车辆车道上的车道导向标识判断所述目标车辆的行驶行为是否违法。

可选的，所述根据所述待检测图像组中的车牌信息确定目标车辆之前，所述行驶行为检测方法还包括：

通过YOLO模型对所述待检测图像组中的图像进行第一检测，生成第一检测结果，所述第一检测为所有车辆类别、所有车辆图像中车道导向标识的位置和类型检测；

通过CenterNet模型对所述待检测图像组中的图像进行第二检测，生成第二检测结果，所述第二检测为所有车辆图像中的车道线检测。

可选的，所述根据所述待检测图像组中的车牌信息确定目标车辆，包括：

使用车牌识别模型识别所述待检测图像组内的车牌信息，并将所述车牌信息与预先获取的车牌信息进行对比；

当所述车牌信息与所述预先获取的车牌信息对比一致时，则确定与所述车牌信息对应的车辆为目标车辆。

可选的，所述在所述待检测图像组中确定所述目标车辆的位置及车辆类型，包括：

判断在所述待检测图像组中的所有车辆图像能否被识别到所述车牌信息；

当所述待检测图像组中的所有车辆图像被识别到所述车牌信息时，确定所述目标车辆位置，并将任意包含所述目标车辆的车辆图像通过分类模型确定所述目标车辆的车辆类型；

当所述待检测图像组中的部分车辆图像被识别到所述车牌信息时，将剩余部分车辆图像通过重识别模型确定所述目标车辆位置，并将任意包含所述目标车辆的车辆图像通过分类模型确定所述目标车辆的车辆类型。

可选的，所述在所述待检测图像组中确定所述目标车辆的位置及车辆类型之后，所述行驶行为检测方法还包括：

当确定所述目标车辆的车辆类型为特殊车辆时，则确定所述目标车辆的行驶行为不违法。

可选的，所述确定所述车辆图像的全局车道环境，包括：

从所述第一检测结果中获取所有车辆图像中的车道导向标识位置和类型，将所述车道导向标识位置和类型整合至所述待检测图像组的首张车辆图像上，以得到包含完整车道导向标识显示的标识图；

根据所述第二检测结果中生成所有车辆图像中的车道线线段，将所述车道线线段整合至所述标识图上，以得到全局车道环境图。

可选的，所述分别确定所述目标车辆的移动方向和车道直行方向，包括：

按抓拍时间顺序识别所述待检测图像组中所述目标车辆的位置，以生成移动轨迹，根据所述移动轨迹确定所述目标车辆的移动方向；

将所述全局车道环境图中的车道线两两延长计算交点，基于所述交点的相互距离选取与任意交点距离的差值处于预设误差范围的交点，结合所述全局车道环境图中所述目标车辆的位置确定所述车道直行方向。

本申请从第二方面提供了一种车辆行驶行为检测装置，包括：

第一获取单元，用于获取待检测图像组，所述待检测图像组包含在连续时间内抓拍的多张车辆图像；

第一确定单元，用于根据所述待检测图像组中的车牌信息确定目标车辆；

第二确定单元，用于在所述待检测图像组中确定所述目标车辆的位置及车辆类型；

第三确定单元，用于当所述第二确定单元确定所述目标车辆的车辆类型不为特殊车辆时，确定所述车辆图像的全局车道环境，所述全局车道环境包括车道个数及车道导向标识；

第一判断单元，用于根据所述全局车道环境判断所述目标车辆所处的车道上是否存在车道导向标识；

第一执行单元，用于当所述第一判断单元确定所述目标车辆所处的车道上存在车道导向标识时，则分别确定所述目标车辆的移动方向和车道直行方向；

第四确定单元，用于计算所述移动方向与所述车道直行方向形成的角度差，根据所述角度差所处的预设范围确定所述目标车辆的行驶方向，所述行驶方向为左转、右转或直行；

行为处理单元，用于确定所述目标车辆的行驶角度，并通过所述行驶角度结合所述行驶方向与所述目标车辆车道上的车道导向标识判断所述目标车辆的行驶行为是否违法。

可选的，所述车辆行驶行为检测装置还包括：

第一检测单元，用于通过YOLO模型对所述待检测图像组中的图像进行第一检测，生成第一检测结果，所述第一检测为所有车辆类别、所有车辆图像中车道导向标识的位置和类型检测；

第二检测单元，用于通过CenterNet模型对所述待检测图像组中的图像进行第二检测，生成第二检测结果，所述第二检测为所有车辆图像中的车道线检测。

可选的，所述第一确定单元，包括：

车牌识别模块，用于使用车牌识别模型识别所述待检测图像组内的车牌信息，并将所述车牌信息与预先获取的车牌信息进行对比；

目标车辆确定模块，用于当所述车牌信息与所述预先获取的车牌信息对比一致时，则确定与所述车牌信息对应的车辆为目标车辆。

可选的，所述第二确定单元，包括：

第二判断模块，用于判断在所述待检测图像组中的所有车辆图像能否被识别到所述车牌信息；

第二执行模块，用于当所述第二判断模块确定所述待检测图像组中的所有车辆图像被识别到所述车牌信息时，确定所述目标车辆位置，并将任意包含所述目标车辆的车辆图像通过分类模型确定所述目标车辆的车辆类型；

第三执行模块，用于当所述第二判断模块确定所述待检测图像组中的部分车辆图像被识别到所述车牌信息时，将剩余部分车辆图像通过重识别模型确定所述目标车辆位置，并将任意包含所述目标车辆的车辆图像通过分类模型确定所述目标车辆的车辆类型。

可选的，所述车辆行驶行为检测装置还包括：

第五确定单元，用于当所述第二确定单元确定所述目标车辆的车辆类型为特殊车辆时，则确定所述目标车辆的行驶行为不违法。

可选的，所述第三确定单元，包括：

标识图获取模块，用于从所述第一检测结果中获取所有车辆图像中的车道导向标识位置和类型，将所述车道导向标识位置和类型整合至所述待检测图像组的首张车辆图像上，以得到包含完整车道导向标识显示的标识图；

全局车道环境图获取模块，用于根据所述第二检测结果中生成所有车辆图像中的车道线线段，将所述车道线线段整合至所述标识图上，以得到全局车道环境图。

可选的，所述第一执行单元，包括：

移动方向确定模块，用于按抓拍时间顺序识别所述待检测图像组中所述目标车辆的位置，以生成移动轨迹，根据所述移动轨迹确定所述目标车辆的移动方向；

车道直行方向确定模块，用于将所述全局车道环境图中的车道线两两延长计算交点，基于所述交点的相互距离选取与任意交点距离的差值处于预设误差范围的交点，结合所述全局车道环境图中所述目标车辆的位置确定所述车道直行方向。

本申请从第三方面提供了一种车辆行驶行为检测设备，包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如第一方面或第一方面任一步骤所述的行驶行为检测方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供了一种车辆的行驶行为检测方法，在获得在连续时间内抓拍的多张车辆图像所组成的待检测图像组后，确定目标车辆，并确定目标车辆在待检测图像组中的位置及车辆类型，当目标车辆不是特殊车辆时，进一步判断目标车辆所处的车道上是否有车道导向标识，若是有，则通过确定目标车辆的移动方向和车道的直行方向，进一步确定行驶方向，最后，确定目标车辆的行驶角度，结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。该检测方法在对目标车辆的行驶行为进行检测时，无敏感参数，不需调参，代替了人为干预的审核过程，节约了一定的人力和时间成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的车辆的行驶行为检测方法的一个实施例流程示意图；

图2和图3为本申请实施例提供的车辆的行驶行为检测方法的另一个实施例流程示意图；

图4为本申请实施例提供的车辆的行驶行为检测装置的一个实施例结构示意图；

图5为本申请实施例提供的车辆的行驶行为检测装置的另一个实施例结构示意图；

图6为本申请实施例提供的车辆的行驶行为检测设备的一个实施例结构示意图。

具体实施方式

随着城市的发展和人民生活水平的提升，城市规模逐渐扩大，城市中的机动车数量显著上升，因此，基于图像处理的道路交通监控、管理越来越多的应用到道路交通安全研究中。这就导致关于车辆的违法抓拍数据与日俱增，而由于现阶段对于车辆的行驶行为检测，是需要在管理后台通过人工对违法抓拍数据进行判断其是否违法，人工审核工作量大，会消耗大量的人力和时间成本。

基于此，本申请提供了一种车辆行驶行为检测方法及检测装置，通过确定连续时间内抓拍的车辆图像中的目标车辆，并对目标车辆的车道环境及相关方向进行分析和处理，从而实现自动判断目标车辆的行驶行为是否违法，节约人力和时间成本。

下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本实施例中，车辆行驶行为检测方法可在终端实现，也可以在服务器、系统等实现，具体不做明确限定。例如终端可以是智能电脑、平板电脑、智能电视、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。

请参阅图1，本申请实施例提供车辆行驶行为检测方法的一个实施例，包括：

101、获取待检测图像组；

当系统的接收到一个行驶行为检测指令时，系统会根据该检测指令，向交通场景中对应路段上设置的摄像设备获取在一定的连续时间内抓拍的多张车辆图像。其中，抓拍的车辆图像通常会按照某些规则进行拼接和命名，如“路段+年份+月份+日期+具体时间”等，需要对其进行处理，整理出图像中包含的车辆、车牌等信息，因此，可以将这些车辆图像拆分成在对车辆的行驶行为检测过程中运用到的算法模型所需要的输入格式，所形成的集合即为本申请中的待检测图像组。

需要说明的是，本申请提供的车辆行驶行为检测方法的目标是根据交通场景的实时环境分析及交通工具的实时状态，对交通工具行驶行为的检测进行优化，以节约在行驶审核中需要花费的人力，同时，优化后的行驶行为判定更具有可靠性。

102、根据待检测图像组中的车牌信息确定目标车辆；

在本申请实施例中，由于在不同的交通场景中，车辆或许会被互相遮挡，在待测路段上可能既同时包含有涉嫌违法的车辆，也包含有其他未违法的车辆在行驶，为了保证检测的精确性，需要在待测图像组中的车牌信息确定即将要进行行驶行为检测的目标车辆。

需要说明的是，可以通过在待检测图像组中进行车牌定位、校正及字符识别过程来获取车辆图像上的车牌信息。由于实际应用中摄像设备的放置位置不同，获取到的车辆图像中车牌形态各异，因此，可以结合车牌的纹理特征、颜色特征和形状特征等信息，采用投影分析、机器学习等算法模型检测出车辆图像的车牌信息。车牌信息的获取方式不做限定。

进一步的，车牌信息被识别后，系统会选择与该车牌信息匹配的车辆作为目标车辆。

103、在待检测图像组中确定目标车辆的位置及车辆类型；

车辆类型指的是车辆的一种型式，可以根据车辆用途、车辆外形、车辆动力等多种不同的方式对车辆进行分类，由于在本申请实施例中，目的是对车辆的行驶行为进行是否违法的判定，而例如警车、消防车、救护车和工程救险车等车在执行紧急任务时，在确保安全的前提下，是不受行驶路线、行驶方向、行驶速度及信号灯的限制的。因此，为了区分能够根据行驶行为判定是否违法的车辆，可以将车辆划分为特殊车辆和日常车辆，其中，特殊车辆包含了警车、消防车、救护车和工程救险车，除此之外的车辆划分为日常车辆。

在一些实施例中，确定车辆类型的实施方式可以为例如通过YOLOV5作为多车辆检测框架，其中，YOLOV5模型将对象检测重新定义为一个回归问题，它将单个卷积神经网络(CNN，Convolutional Neural Networks)应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框；也可以通过在Paddle2.1框架基础上搭建模型Vision Transformer，实现车辆分类的功能，具体此处不做限定。

104、当确定目标车辆的车辆类型不为特殊车辆时，确定车辆图像的全局车道环境，全局车道环境包括车道个数及车道导向标识；

在本申请实施例中，系统需要根据车辆类型确定是否继续执行后续为目标车辆进行行驶行为检测的操作，若不为特殊车辆，则确定目标车辆是除了警车、消防车、救护车和工程救险车之外的日常车辆。

进一步的，在确定了目标车辆的位置和类型之后，可以通过对车辆周围环境例如全局车道环境进行分析，根据分析结果确定目标车辆处于不违法状态下的行驶行为，即理想行驶行为。其中，全局车道环境具体指的是在车辆图像中所显示的车道的个数以及车道导向标识，由于负责抓拍车辆行驶行为的摄像设备是固定放置的，因此所拍摄的场景也是固定的，在一些具体的实施例中，车道导向标识可以为路径指引箭头，确定全局车道环境可以通过目标检测模型实现，例如One Stage目标检测模型，将多张车辆图像送入网络一次，检测出该涨车辆图像的目标识别物体（车道和车道导向标识）的边界框，直至把车辆图像中的交通场景内的车道和车道导向标识识别完毕，检测速度快。

105、根据全局车道环境判断目标车辆所处的车道上是否存在车道导向标识，若存在，则执行步骤106；

车辆行驶行为检测方法能准确判定行驶行为的前提是能够连续检测和分析车辆在摄像设备视野内行驶行为性质（违法/不违法）的过程，系统在确定了车辆图像的全局车道环境以后，需要确定目标车辆所在的车道类型，从而根据车道类型确定目标车辆的理想行驶行为，再根据该理想行驶行为分析目标车辆的实际行驶行为性质。车道类型包括可变导向车道或单行车道等。

在通过摄像设备获取的待检测图像组中，可以根据车道上的车道导向标识确定车道允许的行驶行为，即目标车辆在该车道上的理想行驶行为。例如车道上具有前方直行的导向标识，则目标车辆在该车道上的理想行驶行为为依着导向标识的箭头方向直行，若车道上不存在车道导向标识，则证明处于该车道上行驶的目标车辆不受限制。

106、分别确定目标车辆的移动方向和车道直行方向；

当系统确定目标车辆所处的车道上存在车道导向标识时，要进一步分析目标车辆的行驶行为是否符合所处车道上允许的行驶行为，即实际行驶行为是否符合理想行驶行为。因此，首先需要确定目标车辆在该车道上的移动方向，以及车道直行方向，以确定车辆的行驶方向。

在本申请实施例中，移动方向指的是车辆远离负责抓拍的摄像设备的方向或靠近负责抓拍的摄像设备的方向。具体的，系统可以通过依次分析顺序抓拍的车辆图像中目标车辆的位置来确定目标车辆的移动方向。

由于在实际的交通场景中，拍摄设备置于一定高度的杆上，不能平行抓拍车道及车道导向标识，因此，车道及车道导向标识在抓拍到的车辆图像中会呈现出近宽远窄的效果，系统可以根据近宽远窄的特点来判断出车道直行方向。例如，记录车道两侧的车道线“远窄”处的延伸线，选取延伸线的交点与目标车辆当前位置点连接，该连接线即为车道的直行线，进一步通过该直行线确定车道的直行方向。

107、计算移动方向与车道直行方向形成的角度差，根据角度差所处的预设范围确定目标车辆的行驶方向，行驶方向为左转、右转或直行；

在确定目标车辆在该车道上的移动方向以及车道直行方向之后，可进一步根据移动方向和车道直行方向确定目标车辆的行驶方向，以根据该行驶方向作为判断数据来确定目标车辆的行驶行为违法情况。

具体的，计算直行方向和移动方向的角度差，记顺时针的角度为正、逆时针为负。在一些确定目标车辆的行驶方向的实施例中，系统预先会设置4个阈值，大小关系为A<B<C<D；如果角度差小于阈值A，则认为目标车辆的行驶方向为左转；如果角度差大于A，小于B，则认为目标车辆的行驶方向为左转或直行；如果角度差大于B，小于C，则认为目标车辆的行驶方向为直行；如果角度差大于C，小于D，则认为目标车辆的行驶方向为右转或直行；如果角度差大于D，则认为目标车辆的行驶方向为右转。

108、确定目标车辆的行驶角度，并通过行驶角度结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。

进一步的，针对于目标车辆行驶方向为左转或直行、右转或直行这两种情况时，可以以车辆行驶角度辅助筛选，确定目标车辆到底是转弯还是直行状态。在一些实施例中，可以通过预先设置几个车辆行驶角度阈值，根据车辆行驶角度所处的阈值范围来判定。最后系统通过行驶角度、行驶方向确定目标车辆的实际行驶行为，与车道导向标识对应的理想行驶行为比较，根据比较结果来判定目标车辆的行驶行为违法情况。

在本申请实施例中，在获取到待检测图像组后，确定图像组中需要检测的目标车辆，对目标车辆的类型进行判断，当确定目标车辆不为特殊车辆时，确定并分析全局车道环境，待确定目标车辆的车道上存在车道导向标识时，再进一步确定目标车辆相关的行驶数据，结合车道上的车道导向标识判定目标车辆的行驶行为是否违法。例如，当确定目标车辆的行驶方向和行驶角度与车道导向标识所指示的方向一致时，则确定目标车辆的行驶行为不违法，反之则违法。

该检测方法在对目标车辆的行驶行为进行检测时，无敏感参数，不需调参，代替了人为干预的审核过程，节约了一定的人力和时间成本。

请参阅图2至图3，图2和图3为本申请实施例提供车辆行驶行为检测方法的另一个完整实施例，包括：

201、获取待检测图像组；

202、通过YOLO模型对待检测图像组中的图像进行第一检测，生成第一检测结果；

203、通过CenterNet模型对待检测图像组中的图像进行第二检测，生成第二检测结果；

在本申请实施例中，在确定待检测图像组中的目标车辆之前，可以先对图像组中的车辆图像进行一定的预处理，方便后续调用相关数据，其中，第一检测为所有车辆类别、所有车辆图像中车道导向标识的位置和类型检测；第二检测为所有车辆图像中的车道线检测。

在具体的实施例中，YOLO（You Only Look Once: Unified，Real-Time ObjectDetection）是基于单个物体的目标检测模型，可以一次性预测多个车辆位置和类别的卷积神经网络能够实现端到端的目标检测和识别，其最大的优势就是速度快，且YOLO没有选择滑动窗口（silding window）或提取proposal的方式训练网络，而是直接选用整图训练模型。这样做的好处在于可以更好的区分目标和背景区域。

在具体的实施例中，将车辆图像中的车道线作为目标物体，通过CenterNet模型预测图像中需要检测的目标物体的中心点，然后直接回归目标框尺寸，最后基于目标框尺寸和目标框的中心点位置就能得到预测框，预测框中即为车道线。

204、使用车牌识别模型识别待检测图像组内的车牌信息，并将车牌信息与预先获取的车牌信息进行对比；

205、当车牌信息与预先获取的车牌信息对比一致时，则确定与车牌信息对应的车辆为目标车辆；

在具体的实施例中，所使用的车牌识别模型可以为OpenCV SVM模型等，将车辆图像依次输入该车牌识别模型，去除图像中不是车牌的区域，寻找图像边缘；接着矫正图像，并利用车牌颜色进行定位；最后再通过相关的识别主函数识别车牌中的字符，即可得到待检测图像组内的车牌信息。进一步的，车牌信息与预先获取的车牌信息一致时，与预先获取的车牌信息对应的车辆即为目标车辆。

需要说明的是，预先获取的车牌信息的实施方式具有多种，可以是人为设置需要检测的车辆所对应的车牌信息，也可以是从例如高速出入的管理后台得到获取车牌信息的授权后获取车牌信息等，具体实施方式在此处不做限定。

206、判断在待检测图像组中的所有车辆图像能否被识别到车牌信息，若是，则执行步骤207，若否，则执行步骤208；

207、确定目标车辆位置，并将任意包含目标车辆的车辆图像通过分类模型确定目标车辆的车辆类型；

208、将剩余部分车辆图像通过重识别模型确定目标车辆位置，并将任意包含目标车辆的车辆图像通过分类模型确定目标车辆的车辆类型；

受摄像设备分辨率和离摄像设备距离的影响，所拍摄的车辆图像不一定都是清晰可辨的，因此，为了解决因图像不清晰而导致车牌识别模型无法识别出图像中的所有车牌信息问题，可以在车牌识别模型对车辆图像进行车牌信息识别后，再进一步对车辆图像进行筛查，看是否有遗漏的未被识别的车牌。

在具体的实施例中，将通过车牌识别模型识别出的车牌信息与预先获取的车牌信息进行一一匹配后，若是预先获取的车牌信息已全部匹配完毕，则确定所有车辆图像都能被识别到车牌信息，可将任意包含目标车辆的车辆图像通过分类模型确定目标车辆的车辆类型；若是预先获取的车牌信息还有未被匹配到的，则可以通过重识别模型判断其余图片中的所有检测到的车辆与已找到的目标车辆是否为同一辆车，如果确认为同一辆车，则将其归为目标车辆，并将任意包含目标车辆的车辆图像通过分类模型确定目标车辆的车辆类型。

需要说明的是，重识别模型（Re-identification模型）任务具体可为利用重定位算法等智能算法在图像数据库中找到与要搜索的目标车辆相似的对象；分类模型具体可为ResNet模型。

209、当确定目标车辆的车辆类型不为特殊车辆时，从第一检测结果中获取所有车辆图像中的车道导向标识位置和类型，将车道导向标识位置和类型整合至待检测图像组的首张车辆图像上，以得到包含完整车道导向标识显示的标识图；

210、根据第二检测结果中生成所有车辆图像中的车道线线段，将车道线线段整合至标识图上，以得到全局车道环境图；

当确定目标车辆的车辆类型为特殊车辆时，则确定目标车辆的行驶行为不违法，此处所指的特殊车辆可以为警车、消防车、救护车。

由于每张车辆图像都是由同一摄像设备拍摄，因此所有图上的车辆导向标识位置都是相对重合的，可以将所有图上检测到的车辆导向标识整合到一张图上，以得到一个更完整的导向标识和车道线结果。

在一些具体的实施例中，系统可以利用预先检测到的第一检测结果中得到每张车辆图像中的车道导向标识的位置及类型，再从待检测图像组中选取首张拍摄的车辆图像，并将车道导向标识位置和类型整合至该车辆图像上，以得到标识图，接着再利用预先检测到的第二检测结果中得到每张车辆图像所包含的车道线线段，将车道线线段整合至标识图上，以得到全局车道环境图。

211、根据全局车道环境判断目标车辆所处的车道上是否存在车道导向标识，若存在，则执行步骤212，若不存在，则执行步骤213；

212、按抓拍时间顺序识别待检测图像组中目标车辆的位置，以生成移动轨迹，根据移动轨迹确定目标车辆的移动方向，步骤212执行后执行步骤214；

213、确定目标车辆的行驶行为不违法；

214、将全局车道环境图中的车道线两两延长计算交点，基于交点的相互距离选取与任意交点距离的差值处于预设误差范围的交点，结合全局车道环境图中目标车辆的位置确定车道直行方向；

在一些具体的实施例中，可以通过顺序识别待检测图像组中目标车辆的位置，以生成移动轨迹，根据移动轨迹确定目标车辆的移动方向，例如，可以选取通过抓拍时间顺序排序的第二、第三张车辆图像中的目标车辆的位置，将第三张目标车辆的位置点整合至第二张车辆图像上，与第二张目标车辆的位置点连接，以生成移动轨迹，从而再根据移动轨迹确定目标车辆的移动方向。由于全局车道环境图中具有多条车道线，因此为了确定更为稳定的交点，可以预先设置一个误差范围，若某个交点与别的交点之间的距离皆处于预设的误差范围内，则可将该交点作为消失点，目标车辆的位置到消失点的方向即为车道直行方向。

215、计算移动方向与车道直行方向形成的角度差，根据角度差所处的预设范围确定目标车辆的行驶方向，行驶方向为左转、右转或直行；

216、确定目标车辆的行驶角度，并通过行驶角度结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。

本实施例中，步骤215至步骤216与前述实施例步骤107至步骤108类似，此处不再赘述。

在本申请实施例中，在基于无需人为干预就能自动判断车辆的行驶行为是否违法的基础上，为了进一步简化行驶行为检测的难度与提高检测的精度，在确定需要进行检测的目标车辆之前，可预先通过深度学习对获取到的车辆图像中的车辆和车道环境进行检测，以得到更为准确的车辆信息和车道环境信息，供后续调用处理。

以上对车辆行驶行为检测方法进行了说明，下面对车辆行驶行为检测装置进行描述。

请参阅图4，本申请实施例提供车辆行驶行为检测装置的一个实施例，包括：

第一获取单元301，用于获取待检测图像组，待检测图像组包含在连续时间内抓拍的多张车辆图像；

第一确定单元302，用于根据待检测图像组中的车牌信息确定目标车辆；

第二确定单元303，用于在待检测图像组中确定目标车辆的位置及车辆类型；

第三确定单元304，用于当第二确定单元303确定目标车辆的车辆类型不为特殊车辆时，确定车辆图像的全局车道环境，全局车道环境包括车道个数及车道导向标识；

第一判断单元305，用于根据全局车道环境判断目标车辆所处的车道上是否存在车道导向标识；

第一执行单元306，用于当第一判断单元305确定目标车辆所处的车道上存在车道导向标识时，则分别确定目标车辆的移动方向和车道直行方向；

第四确定单元307，用于计算移动方向与车道直行方向形成的角度差，根据角度差所处的预设范围确定目标车辆的行驶方向，行驶方向为左转、右转或直行；

行为处理单元308，用于确定目标车辆的行驶角度，并通过行驶角度结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。

在本申请实施例中，第一获取单元301获取到在连续时间内抓拍的多张车辆图像的待检测图像组后，通过第一确定单元302待检测图像组中的目标车辆，然后，通过第二确定单元303确定待检测图像组中确定目标车辆的位置及车辆类型，当第二确定单元303确定目标车辆的车辆类型不为特殊车辆时，第三确定单元304确定车辆图像的全局车道环境，接着，第一判断单元305根据全局车道环境判断目标车辆所处的车道上是否存在车道导向标识，当第一判断单元305确定目标车辆所处的车道上存在车道导向标识时，第一执行单元306分别确定目标车辆的移动方向和车道直行方向，用于给第四确定单元307计算移动方向与车道直行方向形成的角度差，并根据该角度差所处的预设范围确定目标车辆的行驶方向，最后，行为处理单元308确定目标车辆的行驶角度，并通过行驶角度结合第四确定单元307所确定的行驶方向与目标车辆车道上的车道导向标识，来判断目标车辆的行驶行为是否违法。在检测过程中，无敏感参数，不需调参，且代替了人为干预的审核过程，节约了一定的人力和时间成本。

请参阅图5，本申请实施例提供车辆行驶行为检测装置的另一个实施例，包括：

第一获取单元401，用于获取待检测图像组，待检测图像组包含在连续时间内抓拍的多张车辆图像；

第一确定单元402，用于根据待检测图像组中的车牌信息确定目标车辆；

第一检测单元403，用于通过YOLO模型对待检测图像组中的图像进行第一检测，生成第一检测结果，第一检测为所有车辆类别、所有车辆图像中车道导向标识的位置和类型检测；

第二检测单元404，用于通过CenterNet模型对待检测图像组中的图像进行第二检测，生成第二检测结果，第二检测为所有车辆图像中的车道线检测；

第二确定单元405，用于在待检测图像组中确定目标车辆的位置及车辆类型；

第五确定单元406，用于当第二确定单元405确定目标车辆的车辆类型为特殊车辆时，则确定目标车辆的行驶行为不违法；

第三确定单元407，用于当第二确定单元405确定目标车辆的车辆类型不为特殊车辆时，确定车辆图像的全局车道环境，全局车道环境包括车道个数及车道导向标识；

第一判断单元408，用于根据全局车道环境判断目标车辆所处的车道上是否存在车道导向标识；

第一执行单元409，用于当第一判断单元408确定目标车辆所处的车道上存在车道导向标识时，则分别确定目标车辆的移动方向和车道直行方向；

第四确定单元410，用于计算移动方向与车道直行方向形成的角度差，根据角度差所处的预设范围确定目标车辆的行驶方向，行驶方向为左转、右转或直行；

行为处理单元411，用于确定目标车辆的行驶角度，并通过行驶角度结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。

在本申请实施例中，第一确定单元402可以包括：

车牌识别模块4021，用于使用车牌识别模型识别待检测图像组内的车牌信息，并将车牌信息与预先获取的车牌信息进行对比；

目标车辆确定模块4022，用于当车牌信息与预先获取的车牌信息对比一致时，则确定与车牌信息对应的车辆为目标车辆。

在本申请实施例中，第二确定单元405可以包括：

第二判断模块4051，用于判断在待检测图像组中的所有车辆图像能否被识别到车牌信息；

第二执行模块4052，用于当第二判断模块4051确定待检测图像组中的所有车辆图像被识别到车牌信息时，确定目标车辆位置，并将任意包含目标车辆的车辆图像通过分类模型确定目标车辆的车辆类型；

第三执行模块4053，用于当第二判断模块4051确定待检测图像组中的部分车辆图像被识别到车牌信息时，将剩余部分车辆图像通过重识别模型确定目标车辆位置，并将任意包含目标车辆的车辆图像通过分类模型确定目标车辆的车辆类型。

在本申请实施例中，第三确定单元407可以包括：

标识图获取模块4071，用于从第一检测结果中获取所有车辆图像中的车道导向标识位置和类型，将车道导向标识位置和类型整合至待检测图像组的首张车辆图像上，以得到包含完整车道导向标识显示的标识图；

全局车道环境图获取模块4072，用于根据第二检测结果中生成所有车辆图像中的车道线线段，将车道线线段整合至标识图上，以得到全局车道环境图。

在本申请实施例中，第一执行单元409可以包括：

移动方向确定模块4091，用于按抓拍时间顺序识别待检测图像组中目标车辆的位置，以生成移动轨迹，根据移动轨迹确定目标车辆的移动方向；

车道直行方向确定模块4092，用于将全局车道环境图中的车道线两两延长计算交点，基于交点的相互距离选取与任意交点距离的差值处于预设误差范围的交点，结合全局车道环境图中目标车辆的位置确定车道直行方向。

请参阅图6，图6为本申请实施例提供的一种车辆行驶行为检测设备，包括：

处理器501、存储器502、输入输出单元503以及总线504；

处理器501与存储器502、输入输出单元503以及总线504相连；

存储器502保存有程序，处理器501调用程序以执行以下方法：

获取待检测图像组；

根据待检测图像组中的车牌信息确定目标车辆；

在待检测图像组中确定目标车辆的位置及车辆类型；

当确定目标车辆的车辆类型不为特殊车辆时，确定车辆图像的全局车道环境，全局车道环境包括车道个数及车道导向标识；

根据全局车道环境判断目标车辆所处的车道上是否存在车道导向标识；

若确定目标车辆所处的车道上存在车道导向标识，则分别确定目标车辆的移动方向和车道直行方向；

计算移动方向与车道直行方向形成的角度差，根据角度差所处的预设范围确定目标车辆的行驶方向，行驶方向为左转、右转或直行；

确定目标车辆的行驶角度，并通过行驶角度结合行驶方向与目标车辆车道上的车道导向标识判断目标车辆的行驶行为是否违法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (6)

1.一种车辆行驶行为检测方法，其特征在于，包括：

获取待检测图像组，所述待检测图像组包含在连续时间内抓拍的多张车辆图像；

根据所述待检测图像组中的车牌信息确定目标车辆；

在所述待检测图像组中确定所述目标车辆的位置及车辆类型；

当确定所述目标车辆的车辆类型不为特殊车辆时，确定所述车辆图像的全局车道环境，所述全局车道环境包括车道个数及车道导向标识；

根据所述全局车道环境判断所述目标车辆所处的车道上是否存在车道导向标识；

若确定所述目标车辆所处的车道上存在车道导向标识，则分别确定所述目标车辆的移动方向和车道直行方向；

计算所述移动方向与所述车道直行方向形成的角度差，根据所述角度差所处的预设范围确定所述目标车辆的行驶方向，所述行驶方向为左转、右转或直行；

确定所述目标车辆的行驶角度，并通过所述行驶角度结合所述行驶方向与所述目标车辆车道上的车道导向标识判断所述目标车辆的行驶行为是否违法；

其中，当确定所述行驶方向为左转或直行、右转或直行任一情况时，用所述行驶角度辅助筛选，以确定所述目标车辆为左转、右转或直行的行驶方向；

所述用所述行驶角度辅助筛选，具体包括：确定所述行驶角度所处的预设车辆行驶角度阈值范围，根据所述阈值范围对应的行驶方向确定所述目标车辆为左右转弯或直行的行驶方向；

所述根据所述待检测图像组中的车牌信息确定目标车辆之前，所述行驶行为检测方法还包括：

通过YOLO模型对所述待检测图像组中的图像进行第一检测，生成第一检测结果，所述第一检测为所有车辆类别、所有车辆图像中车道导向标识的位置和类型检测；

通过CenterNet模型对所述待检测图像组中的图像进行第二检测，生成第二检测结果，所述第二检测为所有车辆图像中的车道线检测；

所述确定所述车辆图像的全局车道环境，包括：

从所述第一检测结果中获取所有车辆图像中的车道导向标识位置和类型，将所述车道导向标识位置和类型整合至所述待检测图像组的首张车辆图像上，以得到包含完整车道导向标识显示的标识图；

根据所述第二检测结果中生成所有车辆图像中的车道线线段，将所述车道线线段整合至所述标识图上，以得到全局车道环境图；

所述分别确定所述目标车辆的移动方向和车道直行方向，包括：

按抓拍时间顺序识别所述待检测图像组中所述目标车辆的位置，以生成移动轨迹，根据所述移动轨迹确定所述目标车辆的移动方向；

将所述全局车道环境图中的车道线两两延长计算交点，基于所述交点的相互距离选取与任意交点距离的差值处于预设误差范围的交点，结合所述全局车道环境图中所述目标车辆的位置确定所述车道直行方向。

2.根据权利要求1所述的车辆行驶行为检测方法，其特征在于，所述根据所述待检测图像组中的车牌信息确定目标车辆，包括：

使用车牌识别模型识别所述待检测图像组内的车牌信息，并将所述车牌信息与预先获取的车牌信息进行对比；

当所述车牌信息与所述预先获取的车牌信息对比一致时，则确定与所述车牌信息对应的车辆为目标车辆。

3.根据权利要求2所述的车辆行驶行为检测方法，其特征在于，所述在所述待检测图像组中确定所述目标车辆的位置及车辆类型，包括：

判断在所述待检测图像组中的所有车辆图像能否被识别到所述车牌信息；

当所述待检测图像组中的所有车辆图像被识别到所述车牌信息时，确定所述目标车辆位置，并将任意包含所述目标车辆的车辆图像通过分类模型确定所述目标车辆的车辆类型；

当所述待检测图像组中的部分车辆图像被识别到所述车牌信息时，将剩余部分车辆图像通过重识别模型确定所述目标车辆位置，并将任意包含所述目标车辆的车辆图像通过分类模型确定所述目标车辆的车辆类型。

4.根据权利要求1至3任一项所述的车辆行驶行为检测方法，其特征在于，所述在所述待检测图像组中确定所述目标车辆的位置及车辆类型之后，所述行驶行为检测方法还包括：

当确定所述目标车辆的车辆类型为特殊车辆时，则确定所述目标车辆的行驶行为不违法。

5.一种车辆行驶行为检测装置，其特征在于，包括：

第一获取单元，用于获取待检测图像组，所述待检测图像组包含在连续时间内抓拍的多张车辆图像；

第一检测单元，用于通过YOLO模型对所述待检测图像组中的图像进行第一检测，生成第一检测结果，所述第一检测为所有车辆类别、所有车辆图像中车道导向标识的位置和类型检测；

第二检测单元，用于通过CenterNet模型对所述待检测图像组中的图像进行第二检测，生成第二检测结果，所述第二检测为所有车辆图像中的车道线检测；

第一确定单元，用于根据所述待检测图像组中的车牌信息确定目标车辆；

第二确定单元，用于在所述待检测图像组中确定所述目标车辆的位置及车辆类型；

第三确定单元，用于当所述第二确定单元确定所述目标车辆的车辆类型不为特殊车辆时，确定所述车辆图像的全局车道环境，所述全局车道环境包括车道个数及车道导向标识；

第一判断单元，用于根据所述全局车道环境判断所述目标车辆所处的车道上是否存在车道导向标识；

第一执行单元，用于当所述第一判断单元确定所述目标车辆所处的车道上存在车道导向标识时，则分别确定所述目标车辆的移动方向和车道直行方向；

第四确定单元，用于计算所述移动方向与所述车道直行方向形成的角度差，根据所述角度差所处的预设范围确定所述目标车辆的行驶方向，所述行驶方向为左转、右转或直行；

行为处理单元，用于确定所述目标车辆的行驶角度，并通过所述行驶角度结合所述行驶方向与所述目标车辆车道上的车道导向标识判断所述目标车辆的行驶行为是否违法；

其中，当确定所述行驶方向为左转或直行、右转或直行任一情况时，所述行为处理单元还用于用所述行驶角度辅助筛选，以确定所述目标车辆为左转、右转或直行的行驶方向；

所述用所述行驶角度辅助筛选，具体包括：确定所述行驶角度所处的预设车辆行驶角度阈值范围，根据所述阈值范围对应的行驶方向确定所述目标车辆为左右转弯或直行的行驶方向；

所述第三确定单元，包括：

标识图获取模块，用于从所述第一检测结果中获取所有车辆图像中的车道导向标识位置和类型，将所述车道导向标识位置和类型整合至所述待检测图像组的首张车辆图像上，以得到包含完整车道导向标识显示的标识图；

全局车道环境图获取模块，用于根据所述第二检测结果中生成所有车辆图像中的车道线线段，将所述车道线线段整合至所述标识图上，以得到全局车道环境图；

所述第一执行单元，包括：

移动方向确定模块，用于按抓拍时间顺序识别所述待检测图像组中所述目标车辆的位置，以生成移动轨迹，根据所述移动轨迹确定所述目标车辆的移动方向；

车道直行方向确定模块，用于将所述全局车道环境图中的车道线两两延长计算交点，基于所述交点的相互距离选取与任意交点距离的差值处于预设误差范围的交点，结合所述全局车道环境图中所述目标车辆的位置确定所述车道直行方向。

6.一种车辆行驶行为检测设备，其特征在于，包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至4中任一项所述的行驶行为检测方法。

Images