CN112949465A - 车辆连续变道识别方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种车辆连续变道识别方法、装置、设备及存储介质，其中方法包括：获取待测视频流；其中，所述待测视频流中包括至少两个车道；基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道；确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻；基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

Description

车辆连续变道识别方法、装置、设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种车辆连续变道识别方法、装置、设备及存储介质。

背景技术

目前，车辆仍然是交通运输领域的重要参与对象，车辆的行驶行为也是交通领域的研究热点。实际生活中，部分车辆存在连续变更多条车道的行驶行为，严重影响或危害了正常的交通秩序。而现场执法或者远程人工巡视等方法存在识别效率低和覆盖面小的问题，亟需基于视频的车辆连续变道识别方法，来辅助识别存在连续变道行驶行为的违规车辆。

发明内容

本公开提供了一种车辆连续变道识别方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种车辆连续变道识别方法，所述方法包括：获取待测视频流；其中，所述待测视频流中包括至少两个车道；基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道；确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻；基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

在一些可选实施例中，所述基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道，包括：对所述待测视频流包括的多帧图像分别进行车辆检测与跟踪检测，获得所述车辆的多帧车辆前景图；基于每一帧所述车辆前景图中车辆与所述车道的相对位置，确定所述每帧图像中所述车辆所在的车道。

在一些可选实施例中，所述基于每一帧所述车辆前景图中车辆与所述车道的相对位置，确定所述每帧图像中所述车辆所在的车道，包括：对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道。

在一些可选实施例中，所述对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域，包括：将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述图像中所述车辆的车轮关键点；基于所述车轮关键点围成的多边形，确定所述图像中所述车辆的车辆区域。

在一些可选实施例中，所述根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道，包括：将所述车辆区域与所述车道的重叠区域，确定为第一区域；将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；在所述车辆重叠度大于预设的重叠度阈值的情况下，将所述车辆重叠度对应的车道确定为所述车辆所在的车道。

在一些可选实施例中，所述确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻，包括：将所述待测视频流中所述车辆所在车道从所述原行驶车道变为所述相邻车道的图像帧对应的时刻，确定为所述进入时刻；将所述待测视频流中所述车辆离开所述相邻车道的图像帧对应的时刻，确定为所述离开时刻。

在一些可选实施例中，在所述确定所述车辆连续变道之后，还包括：发起告警和/或保存所述车辆进行变道的图像帧。

根据本公开实施例的第二方面，提供一种车辆连续变道识别装置，所述装置包括：视频流获取模块，用于获取待测视频流；其中，所述待测视频流中包括至少两个车道；车辆车道确定模块，用于基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道；时刻确定模块，用于确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻；连续变道确定模块，用于基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

根据本公开实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述的车辆连续变道识别方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面中任一所述的车辆连续变道识别方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现第一方面中任一所述的车辆连续变道识别方法。

本公开实施例中，确定车辆进入和离开相邻车道的两次变道时刻，根据两次变道时刻确定出车辆在相邻车道的行驶时长，即确定出车辆连续两次进行变道时刻之间的变道时差，并在变道时差过小的情况下，确定车辆连续变道。该方式可以基于视频流，对车辆行驶过程中进行车辆连续变道识别，不依赖人工方式而可以自动进行检测，提高了对车辆连续变道识别的效率，有助于改善交通违规现象。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种车辆连续变道识别方法流程图；

图2是根据一示例性实施例示出的一种车辆变道示意图；

图3是根据一示例性实施例示出的一种时刻确定方法流程图；

图4是根据一示例性实施例示出的一种车道确定方法流程图；

图5是根据一示例性实施例示出的一种待测视频流中图像示意图；

图6是根据一示例性实施例示出的一种车辆前景图示意图；

图7是根据一示例性实施例示出的又一种车道确定方法流程图；

图8是根据一示例性实施例示出的一种车辆区域确定方法流程图；

图9是根据一示例性实施例示出的一种关键点检测网络的网络结构示意图；

图10是根据一示例性实施例示出的又一种车道确定方法流程图；

图11是根据一示例性实施例示出的一种车辆连续变道识别装置示意图；

图12是根据一示例性实施例示出的又一种车辆连续变道识别装置示意图；

图13是根据一示例性实施例示出的一种车道确定子模块示意图；

图14是根据一示例性实施例示出的又一种车辆连续变道识别装置示意图；

图15是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的具体方式并不代表与本公开相一致的所有方案。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本公开提供的车辆连续变道识别方法更加清楚，下面结合附图和具体实施例对本公开提供的方案执行过程进行详细描述。

参见图1，图1是本公开提供的实施例示出的一种车辆连续变道识别方法的流程图。如图1所示，该流程包括：

步骤101，获取待测视频流；其中，所述待测视频流中包括至少两个车道。

本公开实施例中，可以将需要进行车辆连续变道识别的视频流称为待测视频流。并且，待测视频流的画面中包括至少两个车道。其中，视频流画面中包括的两个车道可由车辆行驶，或者车辆可以在不同车道之间实现变道行驶。

其中，获取待测视频流的具体方式可以包括多种，本实施例并不限制。示例性的，以高速公路上识别车辆连续变道为例，本步骤中可以复用高速公路上已安装的视频采集设备，获取待测视频流。该方式，可以复用原有的视频采集设备，减少了硬件成本。

步骤102，基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道。

本步骤可以对待测视频流进行检测，确定待测视频流中包括的车辆以及车辆所在的车道。其中，对待测视频流进行检测可以包括车辆检测和跟踪检测。通过对待测视频流的车辆检测，可以识别出待测视频流中包括的车辆，对应可获得多个车辆检测框。可以理解的是，对待测视频流进行车辆检测的具体方式本公开实施例并不限制。例如，可以复用相关技术中已有可进行车辆检测的网络模型，实现对待测视频流中车辆的车辆检测。或者，可以根据采集的样本数据，基于深度神经网络模型训练得到符合检测要求的检测网络，并利用训练得到的该检测网络实现对待测视频流中车辆的车辆检测。

对待测视频流进行车辆检测后，待测视频流中包括的不同图像帧中可能包括多个不同的车辆。但是，不同图像帧之间相同的车辆并未进行关联，即并不能识别出不同图像帧中的同一辆车辆。所以，在对待测视频流进行车辆检测的基础上，本步骤还包括对待测视频流进行跟踪检测。通过跟踪检测可以将待测视频流中出现的相同车辆进行关联，即可结合之前获得的车辆检测框得到每一车辆的车辆跟踪序列图像。例如，可以识别出不同图像帧中包括的同一辆车辆，可以识别出待测视频流中同一辆车辆。可以理解的是，对待测视频流进行跟踪检测的具体方式可以包括多种，本公开实施例并不限制。类似对待测视频流进行车辆检测，对待测视频流进行跟踪检测的具体方式，可以基于相关技术中的跟踪算法实现对待测视频流的跟踪检测；或者可以基于深度神网络自行训练得到符合要求的检测模型，从而可以利用该检测模型实现对待测视频流的跟踪检测。

在对待测视频流进行车辆检测与跟踪检测的基础上，本步骤在确定待测视频流中的车辆后，还可以进一步确定出车辆所在的车道。具体根据待测视频流确定车辆所在车道的详细过程，将在后续进行详细介绍，在此暂不赘述。

步骤103，确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻。

在确定待测视频流中的车辆以及车辆所在的车道之后，本步骤可以进一步确定车辆由原来所在的原行驶车道进入相邻车道的进入时刻，并且确定该车辆离开相邻车道的离开时刻。

其中，车辆由离开相邻车道之后进入的车道可以是原来行驶过的原行驶车道；或者，车辆由离开相邻车道之后进入的车道可以是原行驶车道之外的另一车道。即，车辆在进入相邻车道之前所在的车道与车辆离开相邻车道后进入的车道，可以是相同的车道或者也可以是不同的车道。

图2示出一种车辆行驶过程中变道示意图。其中，图2中包括3个车道：L1、L2和L3；车辆在Car1位置时，正从车道L1变道至车道L2，而车辆在Car2位置时，正从车道L2变道至车道L3，以实现从车道L1变道至车道L3。以图2为例，本步骤可以将车道L1作为原行驶车道，将车道L2作为相邻车道，将车辆由车道L1进入车道L2的时刻作为进入时刻；将车辆离开车道L2进入车道L3的时刻作为离开时刻。

车辆进入相邻车道之前所在的车道与车辆离开相邻车道后进入的车道，可以是不同的车道。例如，可以将车辆从车道L1进入车道L2的时刻，作为进入时刻；将车辆从车道L2进入车道L3的时刻，作为离开时刻。

车辆进入相邻车道之前所在的车道与车辆离开相邻车道后进入的车道，可以是相同的车道。例如，可以将车辆从车道L1进入车道L2的时刻，作为进入时刻；将车辆从车道L2重新进入车道L1的时刻，作为离开时刻。

需要说明的是，车辆在进入相邻车道前与离开相邻车道后的车道，是否是相同的车道，可以根据具体的场景需求灵活规定或设置，本实施例并不具体限制。

在一些可选实施例中，步骤103的具体实现，如图3所示，可以包括如下步骤：

步骤301，将所述待测视频流中所述车辆所在车道从所述原行驶车道变为所述相邻车道的图像帧对应的时刻，确定为所述进入时刻；

步骤302，将所述待测视频流中所述车辆离开所述相邻车道的图像帧对应的时刻，确定为所述离开时刻。

本公开实施例中，在对车辆进跟踪检测时，可获得各图像帧当前的时间信息，即可以根据待测视频流中图像帧对应的时刻，结合图像帧中车辆所在车道的变化，确定车辆的进入时刻和离开时刻。具体的，可以将待测视频流中的图像帧中的车辆所在的车道从原行驶车道变为相邻车道的图像帧，确定为对应该车辆从原行驶车道变道至相邻车道的图像帧，并将该图像帧对应的时刻作为该车辆的进入时刻。相同的，可以将待测视频流中的图像帧中的车辆所在车道从相邻车道变为非相邻车道的图像帧，确定为对应该车辆从相邻车道离开的图像帧，并将该图像帧对应的时刻作为该车辆的离开时刻。

步骤104，基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

在确定进入时刻与离开时刻后，本步骤可以进一步确定两个时刻之间的总时长，作为车辆在相邻车道的行驶时长，也即车辆在进入时刻和离开时刻对应的两次变道时刻之间的变道时差。

本公开实施例中可以预先设置一定的时差阈值，用于与变道时差进行比较，以判断车辆两次变道时刻之间是否过于接近，即判断车辆是否在短时间内实现了两次连续的变道行为。

例如，可以预先设置时差阈值t＝3秒，并在车辆的变道时差小于3秒的情况下，确定车辆连续变道。进而，可以发出告警信息或记录车辆的相关信息以进一步处理。

在一种可能的实现方式中，可以发起告警和/或保存所述车辆进行变道的图像帧。其中，发起告警的具体方式可以包括多种实现方式，本公开实施例并不限制。例如，可以向交通检测部门的检测系统发送告警提示信息，以提醒相关工作人员检测到车辆进行连续变道。又例如，可以直接向驾驶员所用设备发起告警，以直接提醒驾驶员谨慎驾驶。比如，可以直接向驾驶员所用手机进行短信或其他方式发送告警信息。另外，在检测到车辆连续变道后，进一步的还可以将发生连续变道的车辆的相关图像帧或视频流保存下来，以在进行处理过程中作为证明使用。

本公开实施例中，通过确定车辆进入和离开相邻车道的两次变道时刻，根据两次变道时刻确定出车辆在相邻车道的行驶时长，即确定出车辆连续两次进行变道时刻之间的变道时差，并在变道时差过小的情况下，确定车辆连续变道。该方式可以基于视频流，对车辆行驶过程中进行车辆连续变道识别，不依赖人工方式而可以自动进行检测，提高了对车辆连续变道识别的效率，有助于改善交通违规现象。

在一些可选实施例中，步骤102中基于待测视频流确定车辆所在车道的具体实现，如图4所示，可以包括以下步骤：

步骤401，对所述待测视频流包括的多帧图像分别进行车辆检测与跟踪检测，获得所述车辆的多帧车辆前景图。

由于待测视频流是由多帧连续的图像构成，所以对待测视频流进行检测的过程，实际上是对待测视频流包括的多帧图像分别进行检测，确定多帧图像中车辆所在的车道的过程。

在对待测视频流包括的多帧图像分别进行检测的过程中，可以预先对待测视频流进行预处理，以减少视频流中包括的图像帧的数量，从而可以减少检测计算量、提高检测效率。在一些可选实施例中，可以从待测视频流中按照预设规则抽取多帧图像；将抽取的多帧图像按照时间顺序排序，得到车辆的图像集合；对图像集合中包括的多帧图像分别进行检测，确定多帧图像中车辆所在的车道。

上述实施例中，可以预先设置图像抽取规则，从待测视频流中按照预设规则抽取图像帧，将抽取得到的车辆的图像集合作为新的待测视频流，对其中包括的图像进行检测。例如，可以从视频流每1秒中均匀抽取5帧图像，然后将一定时间段抽取得到的图像按照待测视频流中图像的时间顺序进行排序，得到车辆的图像集合，作为新的待测视频流并对其中的图像进行检测。

该方式中，可以基于预设规则对待测视频流中的图像进行抽取，可以一定程度上减少待测视频流中图像帧的数量，从而可以降低对待测视频流中图像进行检测的计算量，提高检测车辆所在的车道的检测效率。

本公开实施例中，待测视频流中包括的图像是图像采集设备采集的原尺寸图像。由于图像采集设备的差异，可能导致采集得到的图像的尺寸存在差异。所以，本步骤可以通过对待测视频流包括的多帧图像分别进行车辆检测与跟踪检测，获得车辆的多帧预设尺寸的车辆前景图。其中，车辆前景图中仅包括一辆车辆。

例如，可以基于从图像中检测出的车辆的车辆检测框，将图像裁剪为预设尺寸的车辆前景图。该方式将图像裁剪为尺寸统一的车辆前景图，可以更加方便的对车辆前景图中的车辆进行进一步的检测。示例性的，本步骤可以将如图5所示的图像进行裁剪，得到如图6所示的车辆前景图。其中，图6所示的车辆前景图可以是预设尺寸大小的图像，并且该车辆前景图中仅包括一辆车辆。

步骤402，基于每一帧所述车辆前景图中车辆与所述车道的相对位置，确定所述每帧图像中所述车辆所在的车道。

在根据待测视频流包括的多帧图像获得车辆的多帧前景图后，本步骤可以进一步对车辆前景图中的车辆进行检测，并确定该图像中车辆所在的车道。

在一些可选实施例中，步骤402的具体实现，如图7所示可以包括以下步骤：

步骤701，对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域。

车辆在路面上行驶的过程中，车辆所占据路面的区域最能代表车辆的实际位置。本步骤中，可以对车辆前景图进行检测并将车辆前景图像中车辆所占据的路面区域，作为车辆前景图像中车辆的车辆区域。

图5所示，为待测视频流包括的多帧图像中的其中一张图像。其中Box1是相关图像检测技术中确定的车辆检测框，而本步骤对车辆前景图进行检测确定的车辆区域是Region1。如图5所示，Region1所表示的区域可以更加贴近实际车辆所占据路面的区域，因此车辆区域可以更加准确的表示车辆的实际位置。

步骤702，根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道。

在确定车辆前景图中车辆的车辆区域后，本步骤可以进一步根据车辆区域与车道的相对位置，确定车辆所在的车道。参照图5所示图像，其中包括车道La1和车道L2。以Region1作为车辆的车辆区域。本步骤可以根据Region1与车道L2的相对位置，确定车辆是否位于L2上。

其中，根据车辆区域与车道的相对位置确定车辆所在的车道的具体方式，可以根据具体应用灵活实现，本实施例并不限制。示例性的，可以在车辆区域与车道的重叠区域足够大的情况下，确定车辆所处在的车道。

本公开实施例中，可以对车辆前景图进行检测并确定车辆前景图中车辆占据的路面区域作为车辆区域，从而可以进一步根据车辆区域与车道的相对位置确定车辆所在的车道。该方式中，由于从车辆前景图中检测出车辆占据的路面区域作为车辆区域，可以更加准确的表示出车辆的实际位置，从而可以更加准确的判断出车辆所在的车道。在准确确定车辆所在的车道的基础上，可以更加准确对车辆连续变道进行识别。

在一些可选实施例中，步骤701的具体实现，如图8所示，可以包括以下步骤：

步骤801，将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述图像中所述车辆的车轮关键点。

本公开实施例中，可以预先训练得到可以检测出车辆前景图中车辆的车轮关键点的关键点检测网络。其中，关键点检测网络可以基于任一可学习的机器学习模型或神经网络模型进行训练得到。本公开实施例中，并不限制关键点检测网络的具体形式。

示例性的，如图9给出一种关键点检测网络的网络结构示意图。其中，使用ResNet作为提取图片特征的骨干网络。其中，骨干网络的输入可以是一张车辆前景图，经过骨干网络的卷积操作以后特征图的空间分辨率逐步降低，语义特征愈发明显。可以理解的是，骨干网络除ResNet之外还可以包括更多其他形式的骨干网络，例如可以是GoogLeNet、VGGNet或ShuffleNet等其他类型的通用卷积神经网络结构。

进一步，可以使用特征金字塔网络(FPN)提取多尺度的特征。具体的，可以将低分辨率的特征图通过逆卷积和元素级别相加的操作进行分辨率复原，FPN的输出是分辨率相当于原图四分之一大小的32*32的特征图。

再进一步，可以对FPN的输出进一步卷积运算后，用于预测5个定位热力图。其中，5个定位热力图分别对应为车辆的左前轮、左后轮、右后轮、右前轮和背景。根据定位热力图可以进一步确定车辆前景图中的车轮关键点。

在一种可能的实现方式中，车轮关键点包括车轮与路面直接接触的位置点，或者包括车轮中心点。其中，车轮关键点用于表示车轮的位置。可以理解的是，不同车辆具有不同数量的车轮，所以车轮关键点的数量也可以根据车辆的不同而改变。

例如，可以得到4个车轮关键点的位置坐标。示例性的，所述车轮关键点包括：左前轮关键点、左后轮关键点、右后轮关键点和右前轮关键点。如图6所示，车辆的车轮关键点可以包括左前轮关键点S1、左后轮关键点S2、右后轮关键点S3和右前轮关键点S4。

步骤802，基于所述车轮关键点围成的多边形，确定所述图像中所述车辆的车辆区域。

由于车辆在路面上行驶过程中，车轮是与路面直接接触的具体位置，所以由车轮关键点构成的车辆区域可以更加准确的表示出车辆占据的路面区域。本步骤可以根据车辆前景图中检测出的车轮关键点，确定车辆的车辆区域。其中，根据车轮关键点确定车辆区域的具体方式，可包括多种实现，本实施例并不限制。

在一种可能的实现方式中，可以将多个车轮关键点构成的多边形区域作为车辆区域。以图6所示，车辆包括4个车轮关键点的情况下，可以将4个车轮关键点构成的四边形区域作为车辆的车辆区域，即四边形S1S2S3S4作为车辆的车辆区域。

本公开实施例中，通过检测车辆前景图中车辆的车轮关键点，可以根据车轮关键点确定车辆的车辆区域，更加准确的表示出车辆所占据的路面区域，进而可以根据车辆区域与车道的相对位置，准确确定车辆所在的车道。

在一些可选实施例中，步骤702的具体实现，如图10所示，可以包括以下步骤：

步骤1001，将所述车辆区域与所述车道的重叠区域，确定为第一区域；

步骤1002，将所述第一区域占所述车辆区域的比例，确定为车辆重叠度。

以图5为例进行说明，其中包括车辆区域Region1、车道L2，其中车辆区域Region1与车道L2的重叠区域为R1。该重叠区域R1可以称为第一区域。本步骤可以将第一区域R1占车辆区域Region1的比例，确定为车辆重叠度，即车辆重叠度的计算方式为：R1/Region1。

在一种可能的实现方式中，在得到车辆区域与车道的重叠区域即确定第一区域后，可以进一步计算第一区域的面积，并在第一区域的面积大于预设的面积阈值的情况下，确定车辆位于对应的车道。其中，预设的面积阈值可以根据车辆区域的总面积确定。示例性的，可以预先规定预设的面积阈值为车辆区域的总面积的一半，所以面积阈值可以根据车辆区域总面积的不同而不同。

步骤1003，在所述车辆重叠度大于预设的重叠度阈值的情况下，将所述车辆重叠度对应的车道确定为所述车辆所在的车道。

本公开实施例可以预先设置重叠度阈值，作为车辆重叠度的对比值，以判断车辆是否在对应车道。例如，可以将重叠度阈值设置为0.5，在车辆重叠度R1/Region1大于0.5的情况下，则可以确定车辆位于车道L2。

本公开实施例中，可以将车辆区域与车道的重叠区域占车辆区域的比例定义为车辆重叠度，将车辆重叠度与预设的重叠度阈值进行比较，并在车辆重叠度大于重叠度阈值的情况下，确定车辆位于对应的车道。该确定车辆所在车道的方式中，由于车辆区域本身是车辆占据的路面区域，以重叠区域占据车辆区域的比例作为判断基础，可以更加准确判断出车辆所在的车道。在准确确定车辆所在的车道后，可以更加准确的检测出车辆的变道行为，更加准确的识别出车辆的连续变道行为。

图11所示，本公开提供了一种车辆连续变道识别装置，该装置可以执行本公开任一实施例的车辆连续变道识别方法。该装置可以包括视频流获取模块1101、车辆车道确定模块1102、时刻确定模块1103和连续变道确定模块1104。其中：

视频流获取模块1101，用于获取待测视频流；其中，所述待测视频流中包括至少两个车道；

车辆车道确定模块1102，用于基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道；

时刻确定模块1103，用于确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻；

连续变道确定模块1104，用于基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

可选的，如图12所示，所述车辆车道确定模块1102，包括：

前景图获得子模块1201，用于对所述待测视频流包括的多帧图像分别进行车辆检测与跟踪检测，获得所述车辆的多帧车辆前景图；

车道确定子模块1202，用于基于每一帧所述车辆前景图中车辆与所述车道的相对位置，确定所述每帧图像中所述车辆所在的车道。

可选的，如图13所示，所述车道确定子模块1202，包括：

车辆区域确定子模块1301，用于对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；

车辆所在车道确定子模块1302，用于根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道。

可选的，所述车辆区域确定子模块1301，在用于对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域时，包括：将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述图像中所述车辆的车轮关键点；基于所述车轮关键点围成的多边形，确定所述图像中所述车辆的车辆区域。

可选的，所述车辆所在车道确定子模块1302，在用于根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道时，包括：将所述车辆区域与所述车道的重叠区域，确定为第一区域；将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；在所述车辆重叠度大于预设的重叠度阈值的情况下，将所述车辆重叠度对应的车道确定为所述车辆所在的车道。

可选的，所述时刻确定模块1103，用于确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻时，包括：将所述待测视频流中所述车辆所在车道从所述原行驶车道变为所述相邻车道的图像帧对应的时刻，确定为所述进入时刻；将所述待测视频流中所述车辆离开所述相邻车道的图像帧对应的时刻，确定为所述离开时刻。

可选的，如图14所示，所述装置还包括：结果处理模块1401，用于发起告警和/或保存所述车辆进行变道的图像帧。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开至少一个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时能够实现本公开任一实施例的车辆连续变道识别方法。

图15示出了本公开实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时能够实现本公开任一实施例的车辆连续变道识别方法。

其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本公开并不对此进行限制。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的车辆连续变道识别方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

以上所述仅为本公开的较佳实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (10)

1.一种车辆连续变道识别方法，其特征在于，所述方法包括：

获取待测视频流；其中，所述待测视频流中包括至少两个车道；

基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道；

确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻；

基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

2.根据权利要求1所述的方法，其特征在于，所述基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道，包括：

对所述待测视频流包括的多帧图像分别进行车辆检测与跟踪检测，获得所述车辆的多帧车辆前景图；

基于每一帧所述车辆前景图中车辆与所述车道的相对位置，确定所述每帧图像中所述车辆所在的车道。

3.根据权利要求2所述的方法，其特征在于，所述基于每一帧所述车辆前景图中车辆与所述车道的相对位置，确定所述每帧图像中所述车辆所在的车道，包括：

对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；

根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道。

4.根据权利要求3所述的方法，其特征在于，所述对所述车辆前景图进行检测，确定所述车辆前景图中所述车辆的车辆区域，包括：

将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述图像中所述车辆的车轮关键点；

基于所述车轮关键点围成的多边形，确定所述图像中所述车辆的车辆区域。

5.根据权利要求3至4中任一项所述的方法，其特征在于，所述根据所述车辆区域与所述车道的相对位置，确定所述车辆所在的车道，包括：

将所述车辆区域与所述车道的重叠区域，确定为第一区域；

将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；

在所述车辆重叠度大于预设的重叠度阈值的情况下，将所述车辆重叠度对应的车道确定为所述车辆所在的车道。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻，包括：

将所述待测视频流中所述车辆所在车道从所述原行驶车道变为所述相邻车道的图像帧对应的时刻，确定为所述进入时刻；

将所述待测视频流中所述车辆离开所述相邻车道的图像帧对应的时刻，确定为所述离开时刻。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述确定所述车辆连续变道之后，还包括：

发起告警和/或保存所述车辆进行变道的图像帧。

8.一种车辆连续变道识别装置，其特征在于，所述装置包括：

视频流获取模块，用于获取待测视频流；其中，所述待测视频流中包括至少两个车道；

车辆车道确定模块，用于基于对所述待测视频流的车辆检测与跟踪检测，确定所述待测视频流中的车辆以及所述车辆所在的车道；

时刻确定模块，用于确定所述车辆由原行驶车道进入相邻车道的进入时刻和所述车辆离开所述相邻车道的离开时刻；

连续变道确定模块，用于基于所述车辆的变道时差小于预设的时差阈值，确定所述车辆连续变道；其中，所述变道时差为所述离开时刻与所述进入时刻之间的差值。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的方法。

Images