CN114529858A - 车辆状态识别方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种车辆状态识别方法、电子设备及计算机可读存储介质。该方法包括：基于视频数据获取目标车辆的车辆跟踪结果，车辆跟踪结果包括在视频数据对应的若干时刻的目标车辆的位置参考点；基于不同时刻的位置参考点之间的距离，对各时刻的位置参考点进行聚类，得到聚类结果；基于聚类结果，确定目标车辆处于运动状态还是静止状态。通过上述方式，能够提高确定的目标车辆的状态的准确度。

Description

车辆状态识别方法、电子设备及计算机可读存储介质

技术领域

本申请涉及视频数据处理领域，特别是涉及一种车辆状态识别方法、电子设备及计算机可读存储介质。

背景技术

在交通监控领域中经常需要借助视频数据识别车辆的状态，通过车辆的状态确定车辆的行为，以提高交通运行的流畅性、减少交通事故的发生。例如，两辆车发生追尾，基于现场发生追尾前的视频数据确定是哪一辆车引起的追尾。又如，基于不可停车区域的视频数据确定是否存在违章停车行为。

但是，目前的车辆状态识别方法得到的车辆的状态准确度不高。

发明内容

本申请提供一种车辆状态识别方法、电子设备及计算机可读存储介质，能够解决目前的车辆状态识别方法得到的车辆的状态准确度不高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种车辆状态识别方法。该方法包括：基于视频数据获取目标车辆的车辆跟踪结果，车辆跟踪结果包括在视频数据对应的若干时刻的目标车辆的位置参考点；基于不同时刻的位置参考点之间的距离，对各时刻的位置参考点进行聚类，得到聚类结果；基于聚类结果，确定目标车辆处于运动状态还是静止状态。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请将车辆的状态识别视为一个聚类问题，基于不同时刻的目标车辆的位置参考点之间的距离，对目标车辆在各时刻的位置参考点聚类得到聚类结果，基于聚类结果确定目标车辆处于运动状态还是静止状态。由于聚类结果能够反映不同时刻的位置参考点的距离大小、排列规律等信息，静止状态和运动状态下不同时刻的位置参考点的距离大小、排列规律等信息具有显著差异，因此基于聚类结果确定目标车辆的状态，即使单个时刻目标车辆的位置/位置参考点存在异常偏移，也能够得到较准确的目标车辆的状态。

附图说明

图1是本申请车辆状态识别方法一实施例的流程示意图；

图2是聚类结果的一示意图；

图3是图1中S13的一具体流程示意图；

图4是图1中S13的另一具体流程示意图；

图5是图4中S33的一具体流程示意图；

图6是聚类结果的另一示意图；

图7是图4中S33的另一具体流程示意图；

图8是图1中S11的一具体流程示意图；

图9是车辆跟踪结果的示意图；

图10是遮挡状态的示意图；

图11是车辆跟踪模型FairMOT的结构示意图；

图12是本申请车辆状态识别方法一具体实例的流程示意图；

图13是本申请电子设备一实施例的结构示意图；

图14是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

如下对车辆状态识别方法的应用场景进行详细说明：

应用场景1：违章停车行为的判定。在禁止停车区域布设摄像器件；摄像器件可以拍摄禁止停车区域的视频数据；摄像器件自身基于视频数据确定车辆处于运动状态还是静止状态，或者，摄像器件将视频数据发送至视频分析端，分析段基于视频数据确定车辆处于运动状态还是静止状态；若处于运动状态，则判定车辆在行驶，未发生违章停车行为；若处于静止状态，则判定车辆停车了，发生违章停车行为，将车辆发生违章停车行为这一事件上报管理端，方便相关人员及时处理。

应用场景2：两车辆的追尾事故中责任车辆的判定。发生追尾事故之后，调取现场发生追尾事故之前的视频数据；基于视频数据分析两车辆在发生事故前处于静止状态还是运动状态，如果前车处于静止状态，后车处于运动状态，而现场又是禁止停车区域，那么判定前车为责任车辆。

如下对相关技术中车辆状态识别方法及其缺陷进行说明：

获取前后视频帧中车辆的位置；基于前后视频帧中车辆的位置偏移的距离与距离阈值的比较结果，确定车辆处于运动状态还是静止状态。

相关技术中车辆状态方法确定的车辆的状态的准确度，依赖于获取的车辆的位置的准确度，且设置的距离阈值不能过大也不能过小。

但是，很多情况下获取的车辆的位置存在异常偏移。例如，摄像器件抖动，视频帧中车辆的位置相对实际车辆的位置偏移，从而使得获取的车辆的位置不准确；又如，视频帧中车辆被遮挡，车辆相关的信息减少，导致获取的车辆的位置不准确；再如，车辆距离摄像器件的距离远，获取的视频帧中车辆过小，车辆相关的信息少，导致获取的车辆的位置不准确。从而，影响确定的车辆的状态的准确度。

进一步地，车辆的位置异常偏移的范围是不可控的，如果基于前后视频帧中车辆的位置偏移的距离与距离阈值的比较结果，确定车辆处于运动状态还是静止状态，那么距离阈值的选择很重要，距离阈值过大，会出现实际车辆处于运动状态但误判车辆处于静止状态的情况，距离阈值过小，会出现实际车辆处于静止状态但误判处于运动状态的情况。

为了减小甚至避免车辆的位置异常偏移对车辆状态识别带来的影响本申请提高的车辆状态识别方法如下：

图1是本申请车辆状态识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：基于视频数据获取目标车辆的车辆跟踪结果。

车辆跟踪结果包括在视频数据对应的若干时刻的目标车辆的位置参考点。

视频数据是在通过摄像器件在监控时段对监控区域拍摄得到的。例如，在违章停车行为判别的应用场景下，视频数据是在监控时段对违章停车区域拍摄得到的。又如，在追尾责任车判别的应用场景下，视频数据是在发生追尾的历史时段对追尾现场拍摄得到的。

视频数据包括若干时刻对应的视频帧，一时刻对应一视频帧，一视频帧中包括一个或多个车辆，不同的两个视频帧中可能包括相同的车辆，也可能不包括相同的车辆。可以基于各时刻的视频帧进行车辆跟踪，得到各时刻的各车辆的车辆跟踪结果。车辆的车辆跟踪结果可以包括若干时刻的车辆的位置参考点、车辆的位置等信息。目标的位置可以是连通域、检测框等等，位置参考点可以是位置中心点、位置顶点等等。车辆的车辆跟踪结果为一时间序列，时间序列中一个时刻的序列点包括该时刻车辆的位置以及位置参考点。目标车辆的跟踪结果为其中一车辆的车辆跟踪结果。

S12：基于不同时刻的位置参考点之间的距离，对各时刻的位置参考点进行聚类，得到聚类结果。

聚类可以得到一个或多个聚类类别的类簇，类簇代表一个独立的集合，聚类类别的类簇包括一个或多个位置参考点（本申请后文称之为聚类类别包括的位置参考点）。同一聚类类别包括的不同位置参考点之间的距离足够小，不同聚类类别包括的不同位置参考点之间的距离足够大。

聚类结果可以包括聚类类别的数量、各聚类类别包括的位置参考点数量。聚类的方法不受限，可以是K均值（K-Mean）算法、均值偏移（Mean shift）算法、DBSCAN聚类算法等等。

在K均值算法下，K代表聚类类别的数量，K为整数且K≥1，可以设置一个K的取值范围，并获取该取值范围内各取值下的聚类结果，将最优聚类结果（同一聚类类别包括的不同位置参考点之间的距离最小，不同聚类类别包括的不同位置参考点之间的距离最大）作为最终的聚类结果，并将最优聚类结果下K的取值即为最终的聚类结果包括的聚类类别的数量。

在Mean shift均值偏移算法下，对各时刻的位置参考点的聚类过程可以包括：

1）在未被访问标记的位置参考点中选择一个作为初始的聚类中心点x，被选择的位置参考点被置为被访问标记的位置参考点。

2）设置以x为中心的窗口大小。窗口可以是圆形、矩形等等，窗口大小限定能够接受的位置参考点异常偏移的范围。以窗口是圆形为例，可以通过设置圆形的半径r来限制窗口大小。考虑到监控区域距离摄像器件的远近，影响视频数据画面中目标车辆的位置尺寸。为了适应监控区域到摄像器件的距离的变化，可以基于实际获取到的目标车辆的位置尺寸设定r。例如，设置

，其中，h表示目标车辆的位置的高度，w表示目标车辆的位置的宽度，min表示取最小值。

3）以x为圆心，以r为半径画圆，将圆内所有位置参考点放入集合M，同时M中的位置参考点属于M对应类别的访问频率加1。

4）计算x到M中各位置参考点的向量，对x到M中各位置参考点的向量进行加权，得到

。x到M中各位置参考点权重可以相等，也可以不相等，即距离x近的位置参考点的权重大，距离x远的位置参考点的权重小。例如，引入高斯核函数计算权重，x到M中位置参考点的高斯核函数可以表示为：

；

其中，x_i（i=1，2，…，n）表示M中的第i个位置参考点，n表示M中的位置参考点数量。σ表示高斯核函数的宽度参数，用于控制函数的径向作用范围。由于高斯核函数的单调性，且随着x与位置参考点的距离的增大，高斯核函数值在单调递减，可以有效的降低距离x远的位置参考点的权重。

在引入高斯核函数计算权重的情况下：

；

其中G（.）表示对高斯核函数的导数求负。

5）将x沿着

的方向移动，移动距离是

，重复执行2）~4）直至

收敛，即

<漂移阈值，此时x更新为：

；

6）重复1）~5）直至每个位置参考点都被标记访问，选取位置参考点访问频率最大的那类类别作为位置参考点的类别。

可以理解的是，由于聚类结果能够反映不同时刻的位置参考点的距离大小、排列规律等信息，静止状态和运动状态下不同时刻的位置参考点的距离大小、排列规律等信息具有显著差异。例如，静止状态不同时刻的位置参考点的距离小、呈发散状；运动状态不同时刻的位置参考点的距离大、呈线性排列。结合参阅图2，图2左侧、右侧坐标系的横轴表示位置参考点的横坐标，纵轴表示位置参考点的纵坐标。图2左侧示出了静止状态下5个时刻的位置参考点的聚类结果，其中5个位置参考点的密度小、距离小，排列呈发散状；图2右侧示出了运动状态下5个时刻的位置参考点的聚类结果，其中5个位置参考点的距离大，呈线性排列。

S13：基于聚类结果，确定目标车辆处于运动状态还是静止状态。

在一些实施例中，可以基于聚类类别的数量、聚类类别包括的位置参考点的数量中的至少之一，确定目标车辆处于运动状态还是静止状态。

在基于聚类类别的数量确定目标车辆处于运动状态还是静止状态的情况下，可以通过判断聚类类别的数量是否满足静止数量要求，来确定目标车辆处于运动状态还是静止状态。

在基于聚类类别包括的位置参考点的数量确定目标车辆处于运动状态还是静止状态的情况下，可以基于目标聚类类别包括的位置参考点数量是否大于数量阈值，来确定目标车辆处于运动状态还是静止状态。

在一些实施例中，还可以在聚类类别的数量和/或聚类类别包括的位置参考点的数量的基础上，结合目标车辆的遮挡状态，确定目标车辆处于运动状态还是静止状态。

可以理解的是，理想情况下，如果目标车辆处于静止状态，各时刻的目标车辆的位置参考点不会随着时刻变化而偏移。实际情况下，如果目标车辆处于静止状态，且获取的单个时刻的目标车辆的位置相对实际位置异常偏移，那么目标车辆的位置随着时刻变化而发生偏移。因此如果仅通过目标车辆的位置随时刻偏移的距离，作为目标车辆处于静止状态的评判标准，会使得目标车辆的状态判断结果错误，即本来处于静止状态，但是因为单个时刻的目标车辆的位置异常偏移引起不同时刻的目标车辆的位置之间偏移，判定目标车辆为运动状态。

通过本实施例的实施，本申请将车辆的状态识别视为一个聚类问题，基于不同时刻的目标车辆的位置参考点之间的距离，对目标车辆在各时刻的位置参考点聚类得到聚类结果，基于聚类结果确定目标车辆处于运动状态还是静止状态。由于聚类结果能够反映不同时刻的位置参考点的距离大小、排列规律等信息，静止状态和运动状态下不同时刻的位置参考点的距离大小、排列规律等信息具有显著差异，因此基于聚类结果确定目标车辆的状态，即使单个时刻目标车辆的位置/位置参考点存在异常偏移，也能够得到较准确的目标车辆的状态。

进一步地，结合参阅图3，若S13中可以基于聚类类别的数量，确定目标车辆处于静止状态还是运动状态，S13可以包括以下子步骤：

S21：判断聚类类别的数量是否满足静止数量要求。

若满足静止数量要求，则执行S22；若不满足静止数量要求，则执行S23。

静止数量要求可以为聚类类别的数量等于1，或者可以为聚类类别的数量小于或者等于数量阈值。

可以理解的是，针对静止状态，在单个时刻的位置参考点无异常偏移的情况下，各时刻的位置参考点之间无偏移，在单个时刻的位置参考点异常偏移的情况下，各时刻的位置参考点之间有偏移，但偏移在一定距离范围内、偏移无特定规律（呈发散状），因此通过聚类得到的聚类类别的数量等于1，相应地，可以设置静止数量要求为聚类类别的数量等于1。继续参阅图2左侧，静止状态下，对5个位置参考点聚类得到的聚类类别的数量等于1；参阅图2右侧，运动状态下，对5个位置参考点聚类得到的聚类类别的数量等于5。

但是不排除其他外界因素干扰聚类使得聚类结果准确度不够的可能性，因此对于聚类类别的数量，也可以允许一定的容错性，通过聚类得到的聚类类别的数量可以小于或者等于数量阈值（例如2），相应可以设置静止数量要求为聚类类别的数量小于或者等于数量阈值。

S22：判定目标车辆处于静止状态。

S23：判定目标车辆处于运动状态。

区别于其他实施例，本实施例中通过聚类类别的数量来确定目标车辆处于静止状态还是运动状态。可以理解的是，本实施例将单个时刻的位置参考点异常偏移，引起的各时刻的位置参考点的偏移范围，视为静止状态下可接受的偏移范围。聚类类别的数量满足静止数量要求，意味着各时刻的位置参考点偏移范围是可接受的偏移范围，不满足静止数量要求，意味着各时刻的位姿参考点偏移范围超出了可接受的偏移范围。因此在聚类类别的数量是满足静止数量要求的情况下，判定目标车辆处于静止状态，在不满足静止数量要求的情况下，判定目标车辆处于运动状态。因此即使单个时刻目标车辆的位置/位置参考点存在异常偏移，也能够准确分析出目标车辆的状态。

进一步地，结合参阅图4，若S13中基于聚类类别的数量及各聚类类别包括的位置参考点数量，或者基于聚类类别的数量、各聚类类别包括的位置参考点数量以及目标车辆的遮挡状态，确定目标车辆处于静止状态还是运动状态，则S13可以包括以下子步骤：

S31：判断聚类类别的数量是否满足静止数量要求。

若满足静止数量要求，则执行S32；若不满足静止数量要求，则执行S33。

S32：判定目标车辆处于静止状态。

S33：基于各聚类类别包括的位置参考点的数量确定目标车辆处于静止状态还是运动状态。

在一些实施例中，可以基于各聚类类别包括的位置参考点的数量，从各聚类类别中确定出目标聚类类别，目标聚类类别可以是包括的位置参考点的数量最少的第一预设数量个聚类类别，或者可以是包括的位置参考点的数量最多的第二预设数量个聚类类别，第一预设数量和第二预设数量之和等于聚类类别的数量。即，包括的位置参考点的数量最少的第一预设数量个聚类类别，是除“包括的位置参考点的数量最多的一个或多个聚类类别”之外的其他所有聚类类别。前者情况下，可以判断目标聚类类别包括的位置参考点的数量是否足够少，若足够少则判定目标车辆处于静止状态，否则判定目标车辆处于运动状态。后者情况下，可以判断目标聚类类别包括的位置参考点的数量是否足够多，若足够多则判定目标车辆处于静止状态，否则判定目标车辆处于运动状态。其中，在目标聚类类别有多个的情况下，目标聚类类别包括的位置参考点的数量是指各个目标聚类类别包括的位置参考点的数量之和。

结合参阅图5，在选出的目标距离类别为包括的位置参考点的数量最多的第二预设数量个聚类类别的情况下，S33可以包括以下子步骤：

S331：基于各聚类类别包括的位置参考点的数量，从各聚类类别中确定出目标聚类类别。

可以按照包括的位置参考点的数量，从小到大排列各聚类类别，将排列靠前的第二预设数量个聚类类别，作为目标聚类类别。第二预设数量可以是1，也可以是2（允许一定的容错性）等等。

S332：判断目标聚类类别包括的位置参考点的数量是否大于数量阈值。

若大于数量阈值，则执行S333；若不大于数量阈值，则执行S334。

数量阈值等于各时刻位置参考点的总数量N与容错值M（表示聚类错误的位置参考点数量，反映聚类误差允许范围）之差。

S333：判定目标车辆处于静止状态。

可以理解的是，虽然聚类类别的数量不满足静止数量要求，但目标聚类类别包括的位置参考点的数量大于数量阈值（例如2、3），意味着不满足静止数量要求是由于聚类不够准确导致的，可以判定目标车辆处于静止状态。聚类不够准确可能是因为聚类算法本身的精度、位置参考点的异常偏移等等因素导致的。

S334：判定目标车辆处于运动状态。

可以理解的是，聚类类别的数量不满足静止数量要求，目标聚类类别包括的位置参考点的数量也不大于数量阈值（例如2、3），意味着不满足静止数量要求不是由于聚类不够准确导致的，可以判定目标车辆处于运动状态。

结合图6进行举例说明，如图6所示，聚类类别的数量为2，其中一聚类类别（目标聚类类别）包括的位置参考点数量为4，另一聚类类别包括的位置参考点数量等于1。静止数量要求为聚类类别的数量为1，数量阈值为3。从而聚类类别的数量不等于1而不满足静止数量要求，但目标聚类类别包括的位置参考点数量大于3而大于数量阈值，因此判断目标车辆为静止状态。

在S33基于S331~S334实现的情况下，区别于前述实施例，本实施例在聚类类别的数量不满足静止数量要求的情况下，未直接判定目标车辆处于静止状态，而是先看聚类类别的数量不满足静止数量要求是不是由于聚类不够准确导致的，即从各聚类类别中选出目标聚类类别，基于目标聚类类别包括的位置参考点的数量判断目标车辆处于静态状态还是运动状态。由此，可以将聚类结果不够准确的情况考虑在内，即使聚类类别的数量不满足静止数量要求，但是目标聚类类别包括的位置参考点的数量大于数量阈值，也能够判定目标车辆处于静止状态。而在聚类类别的数量不满足静止数量要求、目标聚类类别包括的位置参考点的数量也不大于数量阈值的情况下，才判定目标车辆处于运动状态。

在一些实施例中，S13中可以基于聚类类别的数量、各聚类类别包括的位置参考点数量、目标车辆的遮挡状态，确定目标车辆处于静止状态还是运动状态。基于此，结合参阅图7，S33可以包括以下子步骤：

S335：基于各聚类类别包括的位置参考点的数量，从各聚类类别中确定出目标聚类类别。

S336：判断目标聚类类别包括的位置参考点的数量是否大于数量阈值。

若大于数量阈值，则执行S337；若不大于数量阈值，则执行S338。

S337：判定目标车辆处于静止状态。

S338：基于目标聚类类别之外的聚类类别包括的至少部分位置参考点对应的目标车辆的遮挡状态，确定目标车辆处于静止状态还是运动状态。

以目标聚类类别之外的聚类类别包括的所有位置参考点为例，可以基于目标车辆的位置，判断目标聚类类别包括的各位置参考点对应的目标车辆是否均处于被遮挡状态；响应于均处于被遮挡状态，判定目标车辆处于静止状态；响应于不均处于被遮挡状态，判定目标车辆处于运动状态。目标车辆的遮挡状态判断请参考后面的实施例说明。

可以理解的是，若目标聚类类别之外的聚类类别包括的至少部分位置参考点对应的目标车辆均处于被遮挡状态，意味着至少部分位置参考点的偏离目标聚类类别的现象，是由于目标车辆被遮挡造成至少部分位置参考点异常偏移引起的，而不是由于目标车辆运动引起的。因此，可以在至少部分位置参考点对应的目标车辆均处于被遮挡状态的情况下，判定目标车辆处于静止状态。

在本申请其他实施例中，还可以仅基于聚类类别的数量和目标车辆的遮挡状态确定目标车辆的状态，或者还可以仅基于各聚类类别包括的位置参考点数量和目标车辆的遮挡状态确定目标车辆的状态。具体实现过程可以参考前面的实施例相应部分，在此不赘述。

进一步地，S11中，获取车辆的车辆跟踪结果可以分为两个部分，一个部分是提取特征，另一个部分是基于特征进行车辆跟踪，得到车辆跟踪结果。结合参阅图8，S11可以包括以下子步骤：

S41：分别对各时刻对应的视频帧进行特征提取，得到各时刻对应的视频帧的特征。

特征提取可以是基于任何形式的特征提取网络进行的，特征提取的方式取决于用的特征提取网络。

在一些实施例中，可以获取多个不同的特征提取参数，不同的特征提取参数用于提取视频帧的不同尺度的初始特征；对于各时刻对应的视频帧，依次基于各特征提取参数对该时刻对应的视频帧进行特征提取，得到该时刻对应的视频帧的多个不同尺度的初始特征，其中，首次特征提取的对象为视频帧，非首次特征提取的对象为视频帧在上一次特征提取得到的初始特征；对该时刻对应的视频帧的各尺度的初始特征进行融合，得到该时刻的视频帧的最终特征。通过对不同尺度的初始特征进行融合，得到的最终特征，因此最终特征能够很好地表达视频帧中不同尺度的车辆，进而后续基于最终特征进行车辆跟踪，能够得到更加准确的车辆跟踪结果。

S42：基于各时刻对应的视频帧的特征进行车辆跟踪，得到各车辆的车辆跟踪结果。

车辆跟踪分为车辆的位置检测和车辆的位置关联两部分。车辆的位置检测用于确定各时刻的各车辆的位置以及车辆的位置参考点，车辆的位置关联用于将不同时刻的不同车辆的位置关联，形成各车辆的目标跟踪结果。

车辆的位置检测：可以基于各时刻对应的视频帧的特征进行参考点回归，得到各时刻的各车辆的位置参考点；对各时刻的各车辆的位置的参考点进行偏移，得到各时刻的各车辆的位置。或者，可以基于各时刻对应的视频帧的特征进行位置框检测，得到各时刻的各车辆的位置；从各时刻的各车辆的位置选出位置参考点。前者情况下，由于不是进行位置框检测，能够弱化车辆的位置检测对环境的依赖程度，提高目标跟踪的鲁棒性，进而提高后续基于位置参考点的聚类效果。

车辆的位置关联：可以基于通过车辆的位置检测得到的车辆的位置进行，即车辆的位置关联与车辆的位置检测非独立。也可以不基于通过车辆的位置检测得到的车辆的位置进行，即车辆的位置关联和车辆的位置检测独立。在车辆的位置关联与车辆的位置检测非独立的情况下，可以对车辆的位置检测得到的不同时刻的不同车辆的位置进行关联，减少车辆的位置关联所需的计算开销。

可以理解的是，车辆的位置之间可能存在遮挡的情况，先回归位置参考点，基于位置参考点确定车辆的位置、实现车辆的位置关联，能够减少车辆跟踪对车辆的位置的依赖，减少车辆的位置之间遮挡造成的跟踪误差。另外，车辆的位置检测和车辆的位置关联的处理两部分共用视频帧的特征，能够避免两部分的信息不互通引起的误差。从而提高跟踪效果，进而提高位置参考点的准确度。

在车辆的位置关联与车辆的位置检测独立的情况下，在车辆的位置关联过程，可以隐式确定各时刻的各车辆的位置，并对各时刻的各车辆的位置进行关联。车辆的位置关联可以基于车辆的位置的匹配度进行，或者可以基于车辆的位置对应的特征匹配度进行。后者情况下，由于特征能够表达车辆的颜色、外观等信息，因此得到的车辆跟踪结果的准确度更高。

在车辆的位置关联与车辆的位置检测非独立、车辆的位置关联基于车辆的位置对应的特征匹配度的情况下，S42中，可以基于各时刻的视频帧的特征进行车辆的位置检测，得到各时刻的各车辆的位置及位置参考点；从各时刻对应的视频帧的特征中确定各时刻的各车辆的位置对应的特征；基于不同时刻的不同车辆的位置对应的特征之间的匹配度，对各时刻的各车辆的位置进行关联，得到各车辆的车辆跟踪结果。

车辆跟踪可以是实时进行的，也可以是非实时进行的。在实时进行的情况下，每个车辆的车辆跟踪结果对应一跟踪状态，且跟踪状态随着新时刻对应的视频帧的到来适应性更新。跟踪状态可以包括创建状态、更新状态、丢失状态和删除状态。更新状态：若新时刻对应的视频帧中新的车辆的位置与某已有车辆的车辆跟踪结果关联上，则利用该新的车辆的位置更新该已有车辆的车辆跟踪结果，将该车辆跟踪结果对应的跟踪状态置为更新状态。创建状态：若新时刻对应的视频帧中新的车辆的位置与各已有车辆的车辆跟踪结果均未关联上，则利用该新的车辆的位置创建一新车辆的车辆跟踪结果，将该新车辆的车辆跟踪结果对应的跟踪状态置为创建状态。丢失状态：在新的第一时长对应的视频帧中均未检测到与某已有车辆的位置，将该已有车辆的车辆跟踪结果对应的跟踪状态置为丢失状态。删除状态：在新的第二时长对应的视频帧中均未检测到某已有车辆的位置，将该已有车辆的车辆跟踪结果对应的跟踪状态置为删除状态，第二时长大于第一时长。其中，通过车辆的车辆跟踪结果对应的跟踪状态被置为更新状态的次数，可以确定车辆被检测到的次数/车辆出现的视频帧数量。

图9示出了最新一时刻的视频帧的车辆跟踪结果，其中包括ID为1和ID为2的车辆的位置框和中心点。

另外，在一些实施例中，得到各时刻的各车辆的位置之后，还可以基于车辆的位置确定车辆的遮挡状态。具体来说，可以获取同一时刻对应的视频帧中的两两车辆的位置之间的重合度；基于重合度，确定各车辆的位置是否处于被遮挡状态。

如下结合图10对遮挡状态的确定进行举例说明，图8中示出了一时刻对应的视频帧中的车辆A的位置和车辆B的位置，车辆A的位置面积为areaA，车辆B的位置面积为areaB，车辆A的位置和车辆B的位置的交集为areaC。记重合度为

，记重合度阈值为σ。若

，则确定车辆A的位置被车辆B的位置遮挡而处于被遮挡状态，或者车辆B的位置被车辆A的位置遮挡而处于被遮挡状态。

S43：将至少一车辆的车辆跟踪结果，作为目标车辆的车辆跟踪结果。

在一些实施例中，可以将各个车辆的车辆跟踪结果，均作为目标车辆的车辆跟踪结果。

在一些实施例中，可以将包括的车辆的位置数量大于位置数量阈值的车辆跟踪结果，作为目标车辆的车辆跟踪结果。由此可以限制聚类所用到的位置参考点的数量，变相从数据量的维度控制聚类的准确度，即从数据量的维度来说，聚类所用到的位置参考点的数量越多，对聚类越有利。其中，车辆跟踪结果包括的车辆的位置数量可以基于车辆跟踪结果被置为更新状态的次数确定，即等于车辆跟踪结果被置为更新状态的次数。或者，可以在完成车辆跟踪之后统计得到。

如下结合图11对S41~S42进行举例说明：

图11是车辆跟踪模型FairMOT的结构示意图，如图11所示，FairMOT包括特征提取网络DLA-34、车辆的位置检测分支和车辆的位置关联分支。

将视频数据输入车辆跟踪模型，DLA-34提取视频数据中各时刻对应的视频帧的特征，车辆的位置检测分支基于各时刻对应的视频帧的特征检测各时刻的各车辆的位置以及位置参考点，车辆的位置关联分支基于各时刻对应的视频帧的特征将各时刻对应的视频帧中同一车辆的位置关联。

如图11所示，DLA-34包括依序连接的多个不同的特征提取层a，随着层数（深度）的增加，特征提取层a提取到不同尺度（1/4、1/8、1/16、1/32）的特征，不同尺度的特征包含不同深度、不同尺度的车辆信息；将不同尺度的特征融合后作为DLA-34输出的最终特征。

如下结合图12，以一个例子的形式对本申请提供的车辆状态识别方法进行说明：

1）获取监控区域的视频数据，并实时对视频数据进行处理，得到其中各时刻的各车辆的车辆跟踪结果（位置、位置参考点）以及各时刻的各车辆的遮挡状态。

2）当其中一车辆的车辆跟踪结果包括的车辆的位置大于位置数量阈值N时，将该车辆的车辆跟踪结果作为目标车辆的车辆跟踪结果。

3）对各时刻的目标车辆的位置参考点聚类，得到聚类结果（包括聚类类别的数量和各聚类类别包括的位置参考点的数量）。

4）判断聚类类别的数量是否等于1；若等于1则进入7），若不等于1则进入5）。

5）选择包括的位置参考点的数量最多的聚类类别作为目标聚类类别，并判断目标聚类类别包括的位置参考点的数量是否大于位置参考点总数的1/5；若大于1/5，则进入7），若不大于1/5则进入6）。

6）判断目标聚类类别之外的聚类类别包括的位置参考点对应的目标车辆是否均处于被遮挡状态；若均处于则进入7），若不均处于则进入8）。

7）判定目标车辆处于静止状态。

8）判定目标车辆处于运动状态。

图13是本申请电子设备一实施例的结构示意图。如图13所示，该电子设备包括处理器21、与处理器21耦接的存储器22。

其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为CPU（Central Processing Unit，中央处理单元）。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图14是本申请计算机可读存储介质一实施例的结构示意图。如图14所示，本申请实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本申请上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种车辆状态识别方法，其特征在于，包括：

基于视频数据获取目标车辆的车辆跟踪结果，所述车辆跟踪结果包括在所述视频数据对应的若干时刻的所述目标车辆的位置参考点；

基于不同所述时刻的位置参考点之间的距离，对各所述时刻的位置参考点进行聚类，得到聚类结果；

基于所述聚类结果，确定所述目标车辆处于运动状态还是静止状态。

2.根据权利要求1所述的方法，其特征在于，所述聚类结果包括聚类类别的数量和各所述聚类类别包括的所述位置参考点的数量；所述基于所述聚类结果，确定所述目标车辆处于运动状态还是静止状态，包括：

判断所述聚类类别的数量是否满足静止数量要求；

响应于满足所述静止数量要求，判定所述目标车辆处于静止状态；

响应于不满足所述静止数量要求，判定所述目标车辆处于运动状态，或者，响应于不满足所述静止数量要求，基于各所述聚类类别包括的所述位置参考点的数量确定所述目标车辆处于静止状态还是运动状态。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述聚类类别包括的所述位置参考点的数量确定所述目标车辆处于静止状态还是运动状态，包括：

基于各所述聚类类别包括的所述位置参考点的数量，从各所述聚类类别中确定出目标聚类类别；

判断所述目标聚类类别包括的所述位置参考点的数量是否大于数量阈值；

响应于大于所述数量阈值，判定所述目标车辆处于静止状态；

响应于不大于所述数量阈值，判定所述目标车辆处于运动状态，或者，响应于不大于所述数量阈值，基于所述目标聚类类别之外的聚类类别包括的至少部分所述位置参考点对应的目标车辆的遮挡状态，确定所述目标车辆处于静止状态还是运动状态。

4.根据权利要求3所述的方法，其特征在于，所述车辆跟踪结果还包括各所述时刻的所述目标车辆的位置；所述基于所述目标聚类类别之外的聚类类别包括的至少部分所述位置参考点对应的目标车辆的遮挡状态，确定所述目标车辆处于静止状态还是运动状态，包括：

基于所述目标车辆的位置，判断所述目标聚类类别之外的聚类类别包括的各位置参考点对应的所述目标车辆是否均处于被遮挡状态；

响应于均处于被遮挡状态，判定所述目标车辆处于静止状态；

响应于不均处于被遮挡状态，判定所述目标车辆处于运动状态。

5.根据权利要求1所述的方法，其特征在于，所述视频数据包括所述若干时刻对应的视频帧，所述基于视频数据获取所述目标车辆的车辆跟踪结果，包括：

分别对各所述时刻对应的视频帧进行特征提取，得到各所述时刻对应的视频帧的特征；

基于各所述时刻对应的视频帧的特征进行车辆跟踪，得到各车辆的车辆跟踪结果；

将至少一所述车辆的车辆跟踪结果，作为所述目标车辆的车辆跟踪结果。

6.根据权利要求5所述的方法，其特征在于，所述车辆的所述车辆跟踪结果包括各所述时刻的所述车辆的位置以及位置参考点，所述基于各所述时刻对应的视频帧的特征进行车辆跟踪，得到各车辆的车辆跟踪结果，包括：

基于各所述时刻对应的视频帧的特征进行车辆的位置检测，得到所述各时刻的各所述车辆的位置及位置参考点；

从所述各时刻的视频帧的特征中确定各所述时刻的各所述车辆的位置对应的特征；

基于不同所述时刻的不同所述车辆的位置对应的特征之间的匹配度，对不同所述时刻的不同所述车辆的位置进行关联，得到各所述车辆的车辆跟踪结果。

7.根据权利要求6所述的方法，其特征在于，所述基于各所述时刻对应的视频帧的特征进行车辆的位置检测，得到所述各时刻的各所述车辆的位置及位置参考点，包括：

基于各所述时刻对应的视频帧的特征进行参考点回归，得到各所述时刻的各所述车辆的位置参考点；

对各所述时刻的各所述车辆的位置的参考点进行偏移，得到各所述时刻的各所述车辆的位置。

8.根据权利要求6所述的方法，其特征在于，在所述基于各所述时刻对应的视频帧的特征进行车辆检测，得到各所述时刻的各所述车辆的位置及位置参考点之后，所述方法还包括：

获取同一时刻对应的视频帧中的两两所述车辆的位置之间的重合度；

基于所述重合度，确定各所述车辆的位置是否处于被遮挡状态。

9.根据权利要求5所述的方法，其特征在于，所述对各所述时刻对应的视频帧进行特征提取，得到各所述时刻的视频帧的特征，包括：

获取多个不同的特征提取参数，不同的所述特征提取参数用于提取所述视频帧的不同尺度的初始特征；

对于各所述时刻对应的视频帧，依次基于各所述特征提取参数对所述时刻对应的视频帧进行特征提取，得到所述时刻对应的视频帧的多个不同尺度的初始特征，其中，首次所述特征提取的对象为所述视频帧，非首次所述特征提取的对象为所述视频帧在上一次特征提取得到的所述初始特征；

对所述时刻对应的视频帧的各尺度的初始特征进行融合，得到所述时刻的视频帧的最终特征。

10.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-9中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序指令，所述程序指令能够被处理器执行，被执行时实现如权利要求1-9中任一项所述的方法。

Images