CN112668391A

CN112668391A - 一种车辆行为识别方法、装置、设备及存储介质

Info

Publication number: CN112668391A
Application number: CN202011341842.5A
Authority: CN
Inventors: 张宪法
Original assignee: Shanghai Eye Control Technology Co Ltd
Current assignee: Shanghai Eye Control Technology Co Ltd
Priority date: 2020-11-25
Filing date: 2020-11-25
Publication date: 2021-04-16

Abstract

本发明公开了一种车辆行为识别方法、装置、设备及存储介质。该方法包括：获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯；基于多帧目标图像对应的所述目标车辆检测框和所述目标车道线，确定第一目标图像集，基于多帧目标图像对应的所述目标车辆变道灯，确定第二目标图像集；根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向；若根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道。通过本发明的技术方案，能够解决现有技术对车辆未按规定变道的审核需要依赖人工，效率低、易出现错审和漏审等问题。

Description

一种车辆行为识别方法、装置、设备及存储介质

技术领域

本发明实施例涉及车辆技术领域，尤其涉及一种车辆行为识别方法、装置、设备及存储介质。

背景技术

现代社会，汽车已经走进了各家各户，成为人们出行的重要交通工具，相应的也带来了许多交通安全隐患，因交通违法违章造成的交通事故数量逐年上升，造成了巨大的人员伤亡和财产损失。因此，车辆规范行驶成为了人们关注的重要课题。

车辆在变道过程中不按规定转向灯是一个重要且常见的违法行为，此行为不仅给自己带来了安全隐患，而且也严重威胁到其它群众的生命安全。相关部门号召全民监督举报车辆变道不按规定转向灯的违法行为，进而私家车的车载摄像头拍摄的其它车辆的违法视频量大大增加。而现有技术对车辆违法行为的审核主要依赖于人工审核，人工审核易受审片疲劳等主观因素影响审核准确率不高，效率低，成本高。因此，如何快速准确地对车载视频违法变道进行审核，同时降低审核成本，避免因检测人员易疲劳等主观因素所造成的错审和漏审，是急需解决的技术问题。

发明内容

本发明实施例提供一种车辆行为识别方法、装置、设备及存储介质，以实现能够根据采集的目标视频，识别车辆在行车变道过程中未开变道灯的违法行为，稳定性高、复用性好、节省人力，避免了因审核人员疲劳所造成的误判情况。

第一方面，本发明实施例提供了一种车辆行为识别方法，包括：

获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯；

基于多帧目标图像对应的所述目标车辆检测框和所述目标车道线，确定第一目标图像集，基于多帧目标图像对应的所述目标车辆变道灯，确定第二目标图像集；

根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向；

若根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道。

进一步的，所述获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯，包括：

获取用户输入的待审核视频和目标车辆车牌号码；

对所述待审核视频中的每一帧图像依次输入车牌检测模型，得到车牌图像集；

对车牌图像集中的每个车牌进行文字识别，得到每辆车的车牌号码；

若所述车牌号码中除第一位号码外的其余号码和所述目标车辆车牌号码存在至少预设位数字符相同，且相同字符的位置相同，则通过跳帧方式获取所述车牌号码对应的多帧目标图像；

将所述车牌号码对应的多帧目标图像输入车框检测模型得到多帧目标图像对应的目标车辆检测框；

将所述车牌号码对应的多帧目标图像输入变道灯检测模型得到多帧目标图像对应的目标车辆变道灯；

将多帧目标图像输入车道线分割模型，得到多帧目标图像对应的目标车辆车道线。

进一步的，根据所述第一目标图像集中两帧图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向，包括：

获取所述目标车辆检测框的下框线对应的底端线段；

获取所述底端线段与所述目标车道线的交点；

根据所述交点确定目标车辆的变道方向。

进一步的，获取所述底端线段与所述线段集合中的线段的交点，包括：

获取第一目标图像集中第i帧目标图像对应的第一底端线段的第一中点，和所述第一底端线段与所述目标车道线的第一交点；

获取第一目标图像集中第i+j帧目标图像对应的第二底端线段的第二中点，和所述第二底端线段与所述目标车道线的第二交点，其中，j小于或等于第一预设帧数；

相应的，根据所述交点确定目标车辆的变道方向，包括：

若所述第一交点在所述第一中点的左侧，且所述第二交点在所述第二中点的右侧，则确定所述目标车辆向左变道；

若所述第一交点在所述第一中点的右侧，且所述第二交点在所述第二中点的左侧，则确定所述目标车辆向右变道。

进一步的，根据所述第二目标图像集和所述目标车辆变道方向确定目标车辆未开启变道灯包括：

获取第二目标图像集中第i-k帧图像至第i+j+k帧图像中每一帧图像对应的目标变道灯图像，其中，k为第二预设帧数；

将所述第i-k帧图像至第i+j+k帧图像以预设组数进行分组；

获取每个图像组对应的变道灯的状态信息；

若所述第i-k帧图像至第i+j+k帧图像不满足变道灯开启条件，则确定所述目标车辆未开启变道灯，所述变道灯开启条件为连续预设数量的图像组对应的变道灯的状态信息为亮。

进一步的，所述获取每个图像组对应的变道灯的状态信息，包括：

获取待处理图像组；

将所述待处理图像组输入变道灯状态确定模型，得到所述待处理图像组对应的变道灯的状态信息，其中，所述变道灯状态确定模型根据图像组样本和图像组样本对应的变道灯状态样本迭代训练得到。

进一步的，所述变道灯状态确定模型训练方法包括：

获取训练集，其中，所述训练集包括：所述图像组样本和所述图像组样本对应的变道灯状态样本；

将所述图像组样本输入待训练的变道灯状态确定模型，得到预测变道灯状态；

根据所述预测变道灯状态和所述变道灯状态样本形成的目标函数对所述待训练的变道灯状态确定模型进行训练；

返回执行将所述图像组样本输入所述待训练的变道灯状态确定模型，得到预测变道灯状态操作，直至得到所述变道灯状态确定模型。

第二方面，本发明实施例还提供了一种车辆行为识别装置，该装置包括：

获取模块，用于获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯；

图像集确定模块，用于基于多帧目标图像对应的所述目标车辆检测框和所述目标车道线，确定第一目标图像集，基于多帧目标图像对应的所述目标车辆变道灯，确定第二目标图像集；

变道确定模块，用于根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向；

车辆行为识别模块，用于若根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的车辆行为识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的车辆行为识别方法。

本发明实施例通过获取目标图像，确定目标车辆检测框与目标车道线的交点，判断车辆检测框上/下框线的中点与所述交点的位置关系确定车辆变道，进而确定目标车辆在变道过程中是否存在未开启变道灯的违法行为，解决现有技术对车辆未按规定变道的审核需要依赖人工审核，审核效率低且成本高的问题，避免因检测人员易疲劳等主观因素所造成的错审和漏审。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一中的一种车辆行为识别方法的流程图；

图1a是本发明实施例一中的另一种确定至少两帧目标图像的方法的流程图；

图2是本发明实施例二中的一种车辆行为识别方法的流程图；

图2a是本发明实施例二中的一种确定车辆变道方向的示意图；

图2b是本发明实施例二中的另一种确定车辆变道方向的示意图；

图2c是本发明实施例二中的一种车辆变道灯开启的示意图；

图2d是本发明实施例二中的确定所述目标车辆变道方向的方法的流程图；

图2e是本发明实施例二中的确定所述目标车辆是否开启变道灯的方法的流程图；

图3是本发明实施例三中的一种车辆行为识别装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一

图1为本发明实施例一提供的一种车辆行为识别方法的流程图，本实施例可适用于审核车辆在变道过程中是否存在未开启变道灯的情况，该方法可以由本发明实施例中的车辆行为识别装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110，获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯。

具体的，获取多帧目标图像的方式可以为从服务器上直接获取多帧目标图像，可以为获取待审核视频的所有帧图像作为目标图像，或者也可以为从待审核视频的所有帧图像中以预设间隔提取一帧图像构成图像集合(例如可以是，依次提取出的第1帧、第11帧、第21帧、第31帧、第41帧、第51帧、第61 帧、71帧、81帧和91帧图像构成图像集合)，从图像集合中获取多帧目标图像。

从服务器上获取多帧目标图像和目标车辆车牌号，根据目标车辆车牌号获取多帧目标图像对应的目标车辆检测框、目标车辆的位置信息、目标车道线、目标车道线的位置和目标车辆变道灯。

示例性的，获取多帧目标图像，所述目标图像可以表示为

其中，i表示第i帧目标图像，n表示获取的目标图像的总帧数。获取所述目标图像x_i对应的目标车辆检测框C_i、变道灯检测框D_i和目标车道线L_i。

可选的，所述获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯，包括：

获取用户输入的待审核视频和目标车辆车牌号码；

对所述待审核视频中的每一帧图像依次输入第一检测模型，得到车牌图像集；

将所述车牌号码对应的多帧目标图像输入车道线分割模型，得到多帧目标图像对应的目标车道线。

具体的，可以从服务器上获取待审核视频和目标车辆车牌号，也可以获取人工输入的目标车辆车牌号。所述待审核视频可以是通过车载摄像头拍摄的行车视频，也可以是通过其它采集设备采集的行车视频。

示例性的，如图1a所示，获取用户输入的待审核视频和目标车辆车牌号码；根据所述待审核视频中的每一帧图像和目标车辆车牌号码，依次确定车牌图像集、目标图像、目标车辆检测框、目标车辆变道灯和目标车道线的步骤如下：

第一步，获取用户输入的待审核视频和目标车辆车牌号码。获取待审核视频V的初始帧图像v₀和目标车辆车牌号码。通过车辆类型检测网络模型对所述初始帧图像v₀进行检测，得到初始帧图像v₀中每一车辆的车辆类型和机动车辆图像。所述车辆类型包括：机动车和非机动车；所述车辆类型检测网络模型可以通过第一样本集训练YOLO-V4目标检测网络模型得到；所述第一样本集包括：待审核视频V的每一帧图像和每一帧图像中所有车辆的类型，每一帧图像中所有车辆的类型是人工通过矩形框标记得到，本发明实施例对此不设限制。

第二步，通过车牌检测网络模型对所述机动车辆图像进行检测，得到所有机动车辆的车牌图像集。所述车牌检测网络模型可以通过第二样本集训练SSD 网络模型或yolo-v4-tiny网络模型得到；所述第二样本集包括：待审核视频V的每一帧机动车辆图像和每一帧机动车辆图像中车牌检测框，其中，每一帧机动车辆图像中车牌检测框是人工通过矩形框标记得到，本发明实施例对此不设限制。

第三步，通过车牌号识别网络模型对所述车牌图像集中的车牌图像进行文字识别，得到所述所有机动车辆的车牌图像上的车牌号码。所述车牌号识别网络模型可以通过第三样本集训练CRNN网络模型得到；所述第三样本集包括：待审核视频V的每一帧车牌图像，和所述车牌图像中人工标注的车牌字符标记其文字标签，本发明实施例对此不设限制。获取目标车辆车牌号码，将所述车牌号码和所述目标车辆车牌号码进行匹配，若匹配成功，则通过跳帧方式获取所述车牌号码对应的多帧目标图像。其中，由于车牌号中的第一个汉字识别准确度不高，因此，所述识别车牌号和所述目标车辆的车牌号除第一个省份汉字之外，至少包括4位对应位置的字符相同则认为匹配成功。

需要说明的是，目标车辆压线行为的发生是连续的，不是瞬间能够完成的，因此，为了提高车辆行为识别效率，通过跳帧方式获取所述多帧目标图像。所述预设间隔可以根据待审核视频帧率进行选择，例如可以是，预设间隔10帧，则通过目标跟踪网络模型对所述目标车辆进行跳帧跟踪，得到目标车辆的第1 帧、第11帧、第21帧……的图像。

第四步，将所述车牌号码对应的多帧目标图像输入第一检测模型得到多帧目标图像对应的目标车辆检测框和目标车辆检测框的位置信息。所述第一检测模型包括车框检测模型和目标跟踪网络模型。将所述多帧目标图像输入车框检测模型得到多帧目标图像对应的目标车辆检测框。通过目标跟踪网络模型对所述目标车辆检测框进行跳帧跟踪，得到目标车辆在预设间隔的图像的位置信息。所述目标跟踪网络模型可以通过第四样本集训练Siamese-RPN网络模型得到，所述第四样本集包括：机动车的车牌号和同一车牌号的机动车辆在待审核视频 V的每一帧图像中的位置信息。

第五步，将所述车牌号码对应的多帧目标图像输入变道灯检测模型得到多帧目标图像对应的目标车辆变道灯。所述变道灯检测网络模型可以通过第五样本集训练CRNN网络模型得到；所述第五样本集包括：待审核视频V的每一帧目标图像，和所述目标图像中人工标注的变道灯。

第六步，将车牌号码对应的多帧目标图像输入车道线分割模型，得到多帧目标图像对应的目标车道线和目标车道线的位置。通过车道线分割网络模型对多帧目标图像进行检测，得到目标车道线和目标车道线的位置，所述车道线分割模型可以通过第六样本集训练deeplabv3+网络模型得到，所述第六样本集包括：多帧目标图像中的目标车道线，其中，多帧目标图像中的目标车道线是人工采用不同颜色的多边形标记得到，例如，使用黄色多边形标记黄虚线区域、蓝色多边形标记白虚线区域、黑色多边形标记背景区域等，不同颜色代表不同的区域。其中，目标车道线可以包括白虚线和黄虚线。目标车道线的位置是人工在目标图像上标记的位置信息。

S120，基于多帧目标图像对应的所述目标车辆检测框和所述目标车道线，确定第一目标图像集，基于多帧目标图像对应的所述目标车辆变道灯，确定第二目标图像集。

具体的，基于获取的多帧目标图像

对应的所述目标车辆检测框C_i和所述目标车道线L_i，确定第一目标图像集{C_i,L_i}，基于多帧目标图像对应的所述目标车辆变道灯D_i，确定第二目标图像集{D_i}。

S130，根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向。

具体的，根据所述第一目标图像集{C_i,L_i}中，第i帧目标图像对应的所述目标车辆检测框C_i和所述目标车道线L_i的交点P_i，以及第j帧目标图像对应的所述目标车辆检测框C_j和所述目标车道线L_i的交点P_j确定所述目标车辆的变道方向，其中，第i帧目标图像和第j帧目标图像为不同的两帧目标图像。

具体的，根据根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向的方式可以为根据所述交点在目标车辆检测框的位置确定所述目标车辆的变道方向，也可以为根据所述交点与目标车辆检测框的中点的位置变化确定所述目标车辆的变道方向。

S140，若根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道。

具体的，根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆是否在变道过程中开启变道灯，若所述目标车辆在变道过程中未开启变道灯，则确定所述目标车辆违法变道。

示例性的，根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道的方式可以为：若根据第二目标图像集确定所述目标车辆处于向左变道状态，在车辆进行向左变道之前以及变道过程中，左侧变道灯未开启，右侧变道灯开启，则确定目标车辆违法变道。也可以为若根据第二目标图像集确定所述目标车辆处于向右变道状态，在车辆进行向右变道之前以及变道过程中，右侧变道灯未开启，左侧变道灯开启，则确定目标车辆违法变道。或者可以为根据第二目标图像集确定所述目标车辆处于变道状态，在车辆进行变道之前以及变道过程中，左右变道灯均未开启，则确定目标车辆违法变道。

本实施例的技术方案，通过获取目标图像，确定目标车辆检测框与目标车道线的交点的位置关系确定车辆变道，进而确定目标车辆在变道过程中是否存在未开启变道灯的违法行为，解决现有技术对车辆未按规定变道的审核需要依赖人工审核，审核效率低且成本高的问题，避免因检测人员易疲劳等主观因素所造成的错审和漏审。

实施例二

图2为本发明实施例二中的一种车辆行为识别方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，根据所述第一目标图像集中两帧图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向，包括：获取目标车辆检测框的下框线对应的底端线段；获取所述底端线段与所述目标车道线的交点；根据所述交点确定目标车辆的变道方向。

如图2所示，本实施例的方法具体包括如下步骤：

S210，获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯。

S220，基于多帧目标图像对应的所述目标车辆检测框和所述目标车道线，确定第一目标图像集，基于多帧目标图像对应的所述目标车辆变道灯，确定第二目标图像集。

S230，获取所述目标车辆检测框的下框线对应的底端线段。

具体的，将目标车辆检测框的下框线的两个端点向内各缩减预设长度以获得目标车辆检测框的下框线对应的底端线段。

需要说明的是，经过测试实验发现，目标车辆检测框的下边框线段往往会略大于目标车辆车身的实际宽度，因此可以将目标车辆检测框的下框线的两个端点向内各缩减预设长度以获得底端线段，其中，所述预设长度为经验值，可根据实际需求确定。其目的是能够准确表示车辆的实际宽度，准确确定所述目标车辆和所述目标车道线的交点，从而确定目标车辆发生变道。

S240，获取所述底端线段与所述目标车道线的交点。

具体的，根据所述目标车辆检测框的下框线对应的底端线段的为位置信息和目标车道线的位置信息，获取所述底端线段与所述目标车道线的交点。

S250，根据所述交点确定目标车辆的变道方向。

具体的，根据目标车辆检测框的下框线对应的底端线段与所述目标车道线的交点确定目标车辆的变道方向的方式可以是根据所述交点在底端线段的位置确定目标车辆的变道方向，也可以是根据所述交点与所述底端线段的中点的位置变化确定目标车辆的变道方向。

S260，若根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道。

可选的，获取所述底端线段与所述线段集合中的线段的交点，包括：

相应的，根据所述交点确定目标车辆的变道方向，包括：

其中，j可以为小于或等于第一预设帧数的任意正整数，第一预设帧数可以根据实际需求设置，本发明实施例对此不设限制。

具体的，如图2a所示，获取第一目标图像集中第i帧目标图像x_i对应的目标车辆检测框的下框线对应的第一底端线段的第一中点M_i，和所述第一底端线段与所述目标车道线的第一交点P_i。获取第一目标图像集中第i+j帧目标图像 x_i+j的目标车辆检测框下框线对应的的第二底端线段的第二中点M_i+j，与所述第二底端线段和所述目标车道线的第二交点P_i+j。

相应地，若所述第一交点P_i在所述第一中点M_i的左侧，且所述第二交点P_i+j在所述第二中点M_i+j的右侧，则确定所述目标车辆向左变道；若所述第一交点P_i在所述第一中点M_i的右侧，且所述第二交点P_i+j在所述第二中点M_i+j的左侧,则确定所述目标车辆向右变道。

可选的，根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向，还可以包括：

获取第一目标图像集中第i帧目标图像对应的目标车辆检测框的第一顶端线段的第三中点，与所述第一顶端线段和所述目标车道线的第三交点；

获取第一目标图像集中第i+j帧目标图像对应的目标车辆检测框的第四顶端线段的第四中点，与所述第二顶端线段和所述目标车道线的第四交点；

相应的，根据所述交点确定目标车辆的变道方向，包括：

若所述第三交点在所述第三中点的左侧，且所述第四交点在所述第四中点的右侧，则确定所述目标车辆向左变道；

若所述第三交点在所述第三中点的右侧，且所述第四交点在所述第四中点的左侧，则确定所述目标车辆向右变道。

具体的，如图2b所示，获取第一目标图像集中第i帧目标图像x_i的目标车辆检测框上框线对应的第一顶端线段的第三中点N_i，与所述第一顶端线段和所述目标车道线的第三交点Q_i；获取第一目标图像集中第i+j帧目标图像x_i+j的目标车辆检测框上框线对应的第一顶端线段的第四中点N_i+j，与所述第一顶端线段和所述目标车道线的第四交点Q_i+j。

相应地，若所述第三交点Q_i在所述第三中点N_i的左侧，且所述第四交点Q_i+j在所述第四中点N_i+j的右侧，则确定所述目标车辆向左变道。若所述第三交点Q_i在所述第三中点N_i的右侧，且所述第四交点Q_i+j在所述第四中点N_i+j的左侧，则确定所述目标车辆向右变道。

可选的，根据所述第二目标图像集和所述目标车辆变道方向确定目标车辆未开启变道灯，包括：

将所述第i-k帧图像至第i+j+k帧图像以预设组数进行分组；

获取每个图像组对应的变道灯的状态信息；

若所述第i-k帧图像至第i+j+k帧图像不满足变道灯开启条件，则确定所述目标车辆未开启变道灯，所述变道灯开启条件为连续预设数量的图像组对应的变道灯的状态信息为亮。具体的，获取第二目标图像集中第i-k帧图像至第i+j+k 帧图像中每一帧图像对应的目标变道灯图像，其中，k为第二预设帧数；将所述第i-k帧图像至第i+j+k帧图像以预设组数进行分组；获取每个图像组对应的变道灯的状态信息，所述变道灯的状态信息包括亮和灭两种状态。若所述第i-k 帧图像至第i+j+k帧图像中连续预设数量的图像组对应的变道灯的状态信息为亮，则认为所述第i-k帧图像至第i+j+k帧图像满足变道灯开启条件，若所述第 i-k帧图像至第i+j+k帧图像不满足变道灯开启条件，则确定所述目标车辆未开启变道灯。

需要说明的是，其中，第二预设帧数和预设组数可以是根据实际需求设定。例如，第二预设帧数可以为1.5s的视频所包含的图像，即第二预设帧数为待审核视频帧率的1.5倍。而经试验测试发现，变道灯和正常行驶灯在超过连续16 帧的图像中二者的差距比较明显。因此，优选的，第二预设帧数的值为16，即每个图像组包括16帧图像。相应地，第二目标图像集中的图像总帧数应大于或等于20，即若第二目标图像集为[B,E]，应满足条件B-E>＝20帧。其中，起始帧为B，第i帧图像的前1.5s帧(i-1.5×FPS，FPS为原始视频的帧率，如果 (i-1×FPS)<0，那么起始帧为i)，结束帧为E：第j帧图像的后1.5s帧(j+1.5×FPS， FPS为原始视频的帧率，如果(i+1×FPS)>总帧数，那么结束帧为总帧数)。因为每个图像组最优包括16帧，并且在一个车辆发生变道时可能提前打灯或者变道后再打灯，所以从至少两个图像组中连续预设数量的图像组对应的变道灯的状态信息为开启，才确定所述目标车辆开启变道灯，否则，确定所述目标车辆未开启变道灯。将所述第一目标图像集对应的图像或合成的视频段作为车辆变道未开启变道灯的证据。

示例性的，选择一系列的视频段进行模型判断是否打灯，假设图像选择范围[B,E]＝[21,47]，即第二目标图像集为{D₂₁,D₂₂,…,D₄₀,D₄₇}，按照第二预设帧数为 16进行分组得到12个图像组分别为：

第一图像组：{D₂₁,D₂₂,…,D₃₅,D₃₆}；第二图像组：{D₂₂,D₂₃,…,D₃₆,D₃₇}；

第三图像组：{D₂₃,D₂₄,…,D₃₇,D₃₈}；第四图像组：{D₂₄,D₂₅,…,D₃₈,D₃₉}；

第五图像组：{D₂₅,D₂₆,…,D₃₉,D₄₀}；第六图像组：{D₂₆,D₂₇,…,D₄₀,D₄₁}；

第七图像组：{D₂₇,D₂₈,…,D₄₁,D₄₂}；第八图像组：{D₂₈,D₂₉,…,D₄₂,D₄₃}；

第九图像组：{D₂₉,D₃₀,…,D₄₃,D₄₄}；第十图像组：{D₃₁,D₃₂,…,D₄₄,D₄₅}；

第十一图像组：{D₃₂,D₃₃,…,D₄₅,D₄₆}；第十二图像组：{D₃₃,D₃₄,…,D₄₆,D₄₇}。

若12个图像组中有4个连续图像组对应的变道灯的状态信息为开启，则确定所述目标车辆开启变道灯。

还需要说明的是，由于变道灯一般都会和其他车灯设置车头或车尾两端，在根据变道灯检测框识别变道灯是否开启时往往会受到其他正常行驶车灯的干扰，如制动灯、日间行车灯、示廓灯等，可能会将正常行驶车灯的开启错误识别为变道灯开启。但是，如图2c所示，变道灯的特点是连续多帧图片中车灯是亮灭闪烁的；而正常行驶车灯的特点是连续多帧图片中车灯连续亮或者连续灭，没有出现亮灭闪烁状态。因此，若第二目标图像集中的每一帧图像对应的变道灯的状态信息均为关闭，则变道灯未开启。若第二目标图像集中的每一帧图像对应的变道灯的状态信息均为开启，则认为受到其他正常行车灯的干扰，确定变道灯未开启。

可选的，所述获取每个图像组对应的变道灯的状态信息，包括：

获取待处理图像组；

其中，所述待处理图像组为所述第二目标图像集中的每一个图像组，所述变道灯的状态信息包括开启状态或关闭状态。

具体的，将所述待处理图像组输入变道灯状态确定模型，得到所述待处理图像组对应的变道灯的状态信息。

可选的，所述变道灯状态确定模型训练方法包括：

其中，所述图像组样本包括：车辆变道方向、每个图像组中的变道灯检测框；图像组样本对应的变道灯状态样本包括：每个图像组中人工标记为变道灯和正常行驶灯标签的图像、人工标记为开启状态或关闭状态的变道灯检测框对应的变道灯状态；待训练的变道灯状态确定模型可以是SlowFast网络模型。

本发明实施例判断目标车辆在变道过程中是否开启变道灯的具体步骤为：

如图2d所示，根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向的具体步骤为：

第一步：确定初始目标图像x₁，并执行第二步。

第二步，判断第i帧目标图像x_i中的目标车辆检测框与目标车道线是否存在第一交点。若第i帧目标图像x_i中存在第一交点，则将j+1的值赋给j。若此时j 的值小于或等于第一预设帧数，则执行第三步。若第i帧目标图像x_i中不存在第一交点，则将i+1的值赋给i，若此时i的值小于或等于目标图像的总帧数n，则重复执行第二步。

第三步，判断第i+j帧目标图像x_i+j中的目标车辆检测框与目标车道线是否存在第二交点。若第i帧目标图像x_i中不存在第二交点，则将j+1的值赋给j。若此时j的值小于或等于第一预设帧数，则重复执行第三步；直到此时j的值大于第一预设帧数，则将i+1的值赋给i，返回第二步。若第i+j帧目标图像x_i+j中存在第二交点P_i+j，则记录第一交和第二交点图像帧号i和i+j。

第四步，根据所述第一交点和第二交的位置关系确定目标车辆是否变道。若目标车辆变道，则执行第五步。若所有帧图像中目标车辆均未变道，则表示目标车辆在待审核视频中未变道。

第五步，获取第一目标图像集中第i-k帧图像至第i+j+k帧的目标图像。其中，k为第二预设帧数，k的值可以根据实际需求设定。

如图2e所示，确定所述目标车辆是否开启变道灯的具体步骤为：获取第一目标图像集，根据第一目标图像集确定目标车辆变道方向，记录目标车辆变道方向的目标图像帧号i和j，根据目标车辆变道方向确定对应方向的变道灯检测框。获取第二目标图像集合中的第i-k帧至第i+j+k帧目标图像，并以预设组数进行分组，通过变道灯状态确定模型，确定第i-k帧至第i+j+k帧目标图像中每个图像组对应的变道灯的状态信息。若连续预设数量的图像组对应的变道灯的状态信息为开启，则确定目标车辆开启变道灯；否则，则确定目标车辆未开启变道灯。

本实施例的技术方案，通过获取目标图像，确定目标车辆检测框对应的底端线段与目标车道线的交点，判断车辆检测框对应的底端线段的中点与所述交点的位置变化确定车辆变道，进而确定目标车辆在变道过程中是否存在未开启变道灯的违法行为，解决现有技术对车辆未按规定变道的审核需要依赖人工审核，审核效率低且成本高的问题，避免因检测人员易疲劳等主观因素所造成的错审和漏审。

实施例三

图3为本发明实施例三提供的一种车辆行为识别装置的结构示意图。本实施例可适用于审核车辆在变道过程中是否存在未开启变道灯的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供车辆行为识别的功能的设备中，如图3所示，所述车辆行为识别的装置具体包括：获取模块310、图像集确定模块320、变道确定模块330和车辆行为识别模块340。

其中，获取模块310，用于获取多帧目标图像对应的目标车辆检测框、目标车道线和目标车辆变道灯；

图像集确定模块320，用于基于多帧目标图像对应的所述目标车辆检测框和所述目标车道线，确定第一目标图像集，基于多帧目标图像对应的所述目标车辆变道灯，确定第二目标图像集；

变道确定模块330，用于根据所述第一目标图像集中两帧目标图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向；

可选的，所述获取模块，包括：

第一获取单元，用于获取用户输入的待审核视频和目标车辆车牌号码；

车牌检测单元，用于对所述待审核视频中的每一帧图像依次输入车牌检测模型，得到车牌图像集；

号码识别单元，用于对车牌图像集中的每个车牌进行文字识别，得到每辆车的车牌号码；

第二获取单元，用于若所述车牌号码中除第一位号码外的其余号码和所述目标车辆车牌号码存在至少预设位数字符相同，且相同字符的位置相同，则通过跳帧方式获取所述车牌号码对应的多帧目标图像；

车辆检测单元，用于将所述多帧目标图像输入车框检测模型得到多帧目标图像对应的目标车辆检测框，将所述目标车辆检测框输入目标跟踪网络模型得到目标车辆位置；

变道灯检测单元，用于将所述多帧目标图像输入变道灯检测模型得到多帧目标图像对应的目标车辆变道灯；

车道线分割单元，用于将多帧目标图像输入车道线分割模型，得到多帧目标图像对应的目标车辆车道线。

可选的，所述变道确定模块，包括：

第三获取单元，用于获取所述目标车辆检测框的下框线对应的底端线段；

第四获取单元，用于获取所述底端线段与所述目标车道线的交点；

变道确定单元，用于根据所述交点确定目标车辆的变道方向。

可选的，所述第四获取单元，具体用于：

获取第一目标图像集中第i帧目标图像对应的目标车辆检测框的第一底端线段的第一中点，和所述第一底端线段与所述目标车道线的第一交点；

获取第一目标图像集中第i+j帧目标图像对应的目标车辆检测框的第二底端线段的第二中点，和所述第二底端线段与所述目标车道线的第二交点，其中， j小于或等于第一预设帧数；

相应地，所述变道确定单元，具体用于：

可选的，所述车辆行为识别模块，包括：

第五获取单元，用于获取第二目标图像集中第i-k帧图像至第i+j+k帧图像中每一帧图像对应的目标变道灯图像，其中，k为第二预设帧数；

分组单元，用于将所述第i-k帧图像至第i+j+k帧图像以预设组数进行分组；

状态获取单元，用于获取每个图像组对应的变道灯的状态信息；

确定单元，用于若所述第i-k帧图像至第i+j+k帧图像不满足变道灯开启条件，则确定所述目标车辆未开启变道灯，所述变道灯开启条件为连续预设数量的图像组对应的变道灯的状态信息为亮。

可选的，所述状态获取单元，包括：

图像组获取单元，用于获取待处理图像组；

模型训练单元，用于将所述待处理图像组输入变道灯状态确定模型，得到所述待处理图像组对应的变道灯的状态信息，其中，所述变道灯状态确定模型根据图像组样本和图像组样本对应的变道灯状态样本迭代训练得到。

可选的，所述模型训练单元，具体用于：

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12 的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器 28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA) 总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA) 局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如 CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/ 输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/ 或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车辆行为识别方法：

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的车辆行为识别方法：

若根据所述第二目标图像集和所述目标车辆变道方向确定所述目标车辆未开启变道灯，则确定所述目标车辆违法变道。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)— 连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种车辆行为识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取多帧目标图像对应的目标车辆检测框、目标车辆变道灯和目标车道线，包括：

获取用户输入的待审核视频和目标车辆车牌号码；

3.根据权利要求1所述的方法，其特征在于，根据所述第一目标图像集中两帧图像对应的所述目标车辆检测框和所述目标车道线的交点确定所述目标车辆的变道方向，包括：

获取所述目标车辆检测框的下框线对应的底端线段；

获取所述底端线段与所述目标车道线的交点；

根据所述交点确定目标车辆的变道方向。

4.根据权利要求3所述的方法，其特征在于，获取所述底端线段与所述线段集合中的线段的交点，包括：

相应的，根据所述交点确定目标车辆的变道方向，包括：

5.根据权利要求1所述的方法，其特征在于，根据所述第二目标图像集和所述目标车辆变道方向确定目标车辆未开启变道灯，包括：

将所述第i-k帧图像至第i+j+k帧图像以预设组数进行分组；

获取每个图像组对应的变道灯的状态信息；

6.根据权利要求5所述的方法，其特征在于，所述获取每个图像组对应的变道灯的状态信息，包括：

获取待处理图像组；

7.根据权利要求6所述的方法，其特征在于，所述变道灯状态确定模型训练方法包括：

8.一种车辆行为识别装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。