CN115187887A - 车辆状态识别方法、电子设备及计算机可读存储介质 - Google Patents

车辆状态识别方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115187887A
CN115187887A CN202210384122.XA CN202210384122A CN115187887A CN 115187887 A CN115187887 A CN 115187887A CN 202210384122 A CN202210384122 A CN 202210384122A CN 115187887 A CN115187887 A CN 115187887A
Authority
CN
China
Prior art keywords
target
vehicle
state
information
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210384122.XA
Other languages
English (en)
Inventor
杨文韬
舒梅
郝行猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210384122.XA priority Critical patent/CN115187887A/zh
Publication of CN115187887A publication Critical patent/CN115187887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车辆状态识别方法、电子设备及计算机可读存储介质。该方法包括：获取第一视频帧序列，其中，第一视频帧序列包括若干包含目标车辆的目标视频帧；基于第一视频帧序列中的目标车辆的姿态信息，确定是否存在参考时间信息，参考时间信息是目标车辆疑似处于第一目标状态的时间信息；响应于存在参考时间信息，从第一视频帧序列中查找出与参考时间信息相关的第二视频帧序列；基于第二视频帧序列中的目标车辆的状态参考信息，确定目标车辆是否处于第一目标状态。通过上述方式，能够提高目标车辆关于第一目标状态的状态确定结果的准确度。

Description

车辆状态识别方法、电子设备及计算机可读存储介质
技术领域
本申请涉及视频数据处理领域，特别是涉及一种车辆状态识别方法、电子设备及计算机可读存储介质。
背景技术
在交通监控领域中经常需要借助车辆的视频帧序列对车辆进行状态识别，得到车辆的状态，通过车辆的状态确定车辆的行为，以提高交通的安全性。例如，车辆在转向前需要停车，可以通过车辆的视频帧序列识别车辆的状态，确定车辆是否在转向前停车。又如，两车辆发生追尾，基于现场发生追尾前的两车辆的视频帧序列识别两车辆的状态，确定是哪一车辆引起的追尾。又如，基于不可停车区域的车辆的视频序列确定车辆是否存在违章停车行为。
但是，目前的车辆状态识别方法得到的车辆的状态准确度不高。
发明内容
本申请提供一种车辆状态识别方法、电子设备及计算机可读存储介质，能够解决目前的车辆状态识别方法得到的车辆的状态准确度不高的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种车辆状态识别方法。该方法包括：获取第一视频帧序列，其中，第一视频帧序列包括若干包含目标车辆的目标视频帧；基于第一视频帧序列中的目标车辆的姿态信息，确定是否存在目标车辆疑似处于第一目标状态的参考时间信息；响应于存在参考时间信息，利用参考时间信息，从第一视频帧序列中查找出与参考时间信息相关的第二视频帧序列；基于第二视频帧序列中的目标车辆的状态参考信息，确定目标车辆是否处于第一目标状态。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请未直接基于第一视频帧序列中目标车辆的姿态信息确定目标车辆是否处于第一目标状态，而是基于第一视频帧序列中目标车辆的姿态信息确定是否存在参考时间信息，参考时间信息是目标车辆疑似处于第一目标状态的时间信息，存在参考时间信息意味着目标车辆疑似处于第一目标状态，因此在存在参考时间信息的情况下，从第二视频帧序列查找出与参考时间信息相关的第二视频帧序列，基于第二视频帧序列中目标车辆的状态参考信息，确定目标车辆是否真的处于第一目标状态。因此，本申请能够提供目标车辆的状态确定结果的准确度。
附图说明
图1是本申请车辆状态识别方法一实施例的流程示意图；
图2是图1中S11的具体流程示意图；
图3是本申请车辆状态识别方法另一实施例的流程示意图；
图4是head模块的示意图；
图5是大货车的关键点示意图；
图6是图3中S22的具体流程示意图；
图7是世界坐标系、相机坐标系和图像坐标系的对应关系示意图；
图8是S14的具体流程示意图；
图9是本申请车辆状态识别方法又一实施例的流程示意图；
图10是本申请车辆状态识别方法再一实施例的流程示意图；
图11是本申请车辆状态识别方法一具体实例的流程示意图；
图12是本申请电子设备一实施例的结构示意图；
图13是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
如下对几个车辆状态识别方法的应用场景进行详细说明：
应用场景1：车辆是否转向前停车的判定。获取车辆的视频帧序列；基于车辆的视频帧序列确定车辆是否先处于静止状态，并且是否在静止状态之后变更为转向状态；若是，则确定车辆在转向前停车，行为正常；若不是，则确定车辆在转向前未停车，行为异常。
应用场景2：两车辆的追尾事故中责任车辆的判定。发生追尾事故之后，获取现场发生追尾事故之两车辆的视频帧序列；基于视频帧序列确定两车辆在发生事故前处于静止状态还是运动状态，如果前车处于静止状态，后车处于运动状态，而现场又是禁止停车区域，那么判定前车为责任车辆。
应用场景3：违章停车行为的判定。获取违章停车区域车辆的视频帧序列，基于视频帧序列确定车辆处于运动状态还是静止状态；若处于运动状态，则判定车辆在行驶，未发生违章停车行为；若处于静止状态，则判定车辆停车了，发生违章停车行为。
如下介绍本申请提供的车辆状态识别方法：
图1是本申请车辆状态识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。
如图1所示，本实施例可以包括：
S11：获取第一视频帧序列。
其中，第一视频帧序列包括若干包含目标车辆的目标视频帧。
本申请提供的车辆状态识别方法面向的可以是任意类别的车辆，例如大货车、小轿车、摩托车等等。第一视频帧序列中每一目标视频帧对应一拍摄时刻。状态监控区域布设有相机，相机可以用于对状态监控区域的车辆拍摄，得到状态监控区域的原始视频帧序列；对原始视频帧序列进行车辆跟踪，得到各车辆的轨迹信息；将至少一车辆作为目标车辆，基于目标车辆的轨迹信息，从原始视频帧序列中选出包含目标车辆的目标视频帧，得到第一视频帧序列。
状态监控区域取决于应用场景，例如在前述应用场景1，状态监控区域可以为电警、卡口区域；在前述应用场景2，状态监控区域可以为追尾现场区域；在前述应用场景3，状态监控区域可以为违章停车区域。
车辆的轨迹信息可以包括车辆的标识信息、车辆的类别信息、车辆的相关位置信息、车辆的相关位置信息所属的视频帧号、时间戳信息等等。车辆的相关位置信息可以包括车辆在原始视频帧中的车辆区域的第一位置信息，还可以包括车辆在原始视频帧中的关键点的第二位置信息。车辆区域可以是连通域，第一位置信息可以是连通域的掩膜。或者，车辆区域可以是位置框，第一位置信息为(位置框的长度、宽度、坐标)。第二位置信息可以是关键点的坐标。
S12：基于第一视频帧序列中的目标车辆的姿态信息，确定是否存在目标车辆疑似处于第一目标状态的参考时间信息。
姿态信息可以包括旋转姿态信息和平移姿态信息中的至少一种，旋转姿态信息可以包括目标车辆的俯仰角(pitch)、偏航角(yaw)和滚动角(roll)中的至少一个。可以以目标车辆为中心建立XYZ坐标系，XYZ 坐标系中X轴、Y轴和Z轴相互垂直，车头至车尾的方向为X轴正方向，车左侧至车右侧的方向为Y轴正方向，车底至车顶的方向为Z轴正方向。X轴方向、Y轴方向和Z轴方向为目标车辆的直行朝向(即直行状态下的朝向)，俯仰角为目标车辆的实际朝向相对X轴方向旋转的角度，偏航角为目标车辆的实际朝向相对Y轴方向旋转的角度，滚动角为目标车辆的实际朝向相对Z轴方向旋转的角度。平移姿态信息可以包括目标车辆的平移位移、关键点平移位移等等。
目标车辆的状态可以包括静止状态和运动相关状态，运动相关状态可以包括转向状态、变道状态、加速状态、减速状态、直行状态、超车状态等。不同状态下的目标车辆的姿态信息存在一定程度的差异，例如静止状态为无平移/旋转姿态信息变化或者变化小的状态，直行状态、加速状态和减速状态，为平移姿态信息变化大、无旋转姿态信息变化或者变化小的状态，转向状态、变道状态、超车状态为旋转姿态信息变化大的状态。第一目标状态可以是上述目标车辆的状态之一。因此，可以基于姿态信息的变化情况，初步确定目标车辆疑似处在第一目标状态的时间信息，即参考时间信息。
参考时间信息可以是一个时间段，也可以是一个时刻。参考时间信息可以是目标车辆疑似处于第一目标状态的开始时间，或者可以是目标车辆疑似处于第一目标状态的结束时间，或者可以是目标车辆疑似处于第一目标状态的中间时间，或者可以是目标车辆疑似处于第一目标状态的整个时间。
在一些实施例中，可以从第一视频帧序列中确定一目标视频帧，基于该确定的目标视频帧的拍摄时刻确定参考时间信息。例如，参考时间信息是开始时间，可以从第一视频帧序列中的首位目标视频帧开始，依序遍历第一视频帧序列中的每个目标视频帧，判断该目标视频帧及其之后的预设数量个目标视频帧中目标车辆的姿态信息的变化情况是否满足姿态变化条件，若满足姿态变化条件，将该目标视频帧的拍摄时刻作为参考时间信息。又如，参考时间信息是结束时间，可以从第一视频帧序列中的末位目标视频帧开始，依序遍历第一视频帧序列中的每个目标视频帧，判断该目标视频帧及其之前的预设数量个目标视频帧中目标车辆的姿态信息是否满足姿态变化条件，若满足姿态变化条件，将该目标视频帧的拍摄时刻作为参考时间信息。姿态变化条件的相关描述请参考 S121相关说明。
在一些实施例中，可以从第一视频帧序列中确定一视频帧序列，基于该确定的视频帧序列中至少一目标视频帧的拍摄时刻确定参考时间信息。在此情况下，结合参阅图2，S12可以包括以下子步骤：
S121：基于第一视频帧序列中的目标车辆的姿态信息的变化情况，确定是否存在第三视频帧序列。
其中，第三视频帧序列对应的姿态信息的变化情况满足姿态变化条件。
姿态变化条件可以基于第一目标状态实际的姿态变化属性确定。例如，第一目标状态属于姿态信息变化大的状态，姿态变化条件可以是第三视频帧序列中各目标视频帧中目标车辆的姿态信息依次增大，且大于姿态阈值；或者可以是第三视频帧序列中各目标视频帧中的姿态信息依次减小，且大于姿态阈值；或者可以是第三视频帧序列中不同目标视频帧之间的差值大于姿态差值阈值。又如，第一目标状态属于无姿态信息变化或者姿态信息变化小的状态，姿态变化条件可以是第三视频帧序列中不同目标视频帧中目标车辆的姿态信息之间的差值小于姿态差值阈值。
以第一目标状态属于姿态信息变化大的状态、姿态变化条件是第三视频帧序列中各目标视频帧中目标车辆的姿态信息依次增大，且大于姿态阈值为例，可以依序对第一视频帧序列的各目标视频帧中的目标车辆的姿态信息进行对比；响应于连续的预设数量个目标视频帧中目标车辆的姿态信息依次增大，且均大于姿态阈值，确定存在第三视频帧序列，预设数量个目标视频帧组成第三视频帧序列。
响应于存在第三视频帧序列，执行S122；响应于不存在第三视频帧序列，执行S123。
S122：确定存在参考时间信息。
参考时间信息是基于第三视频帧序列中的至少一个目标视频帧的拍摄时刻确定的。
参考时间信息可以是第三视频帧序列中的一个目标视频帧的拍摄时刻，例如是第一个目标视频帧的拍摄时刻、最后一个目标视频帧的拍摄时刻；或者参考时间信息可以是第三视频帧序列的拍摄时段；或者参考时间信息可以包括第三视频帧序列的拍摄时段及其之前/之后的延伸时段。
S123：确定不存在参考时间信息，目标车辆未处于第一目标状态。
响应于存在参考时间信息，执行S13～S14；响应于不存在参考时间信息，执行S15。
S13：从第一视频帧序列中查找出与参考时间信息相关的第二视频帧序列。
在一些实施例中，第二视频帧序列由第一视频帧序列中拍摄时刻与参考时间信息之间的时间差小于时间差阈值的目标视频帧组成。
例如，时间差阈值为3个连续的拍摄时刻。参考时间信息是开始时刻，第一视频帧序列包括10个视频帧，参考时间信息为第2个视频帧的拍摄时刻，第二视频帧序列由第2～5个视频帧组成。又如，参考时间信息是结束时刻，第一视频帧序列包括10个视频帧，参考时间信息为第5个视频帧的拍摄时刻，第二视频帧序列由第2～5个视频帧组成。再如，参考时间信息是中间时刻，第一视频帧序列包括10个视频帧，参考时间信息为第3个视频帧的拍摄时刻，第二视频帧序列由第2～5个视频帧组成。
在一些实施例中，第二视频帧序列由第一视频帧序列中参考时间信息对应的若干张目标视频帧组成。例如，参考时间信息为整个时间段，第一视频帧序列包括10个视频帧，参考时间信息对应第2～5个视频帧，第二视频帧序列由第2～5个视频帧组成。
S14：基于第二视频帧序列中的目标车辆的状态参考信息，确定目标车辆是否处于第一目标状态。
状态参考信息可以包括姿态信息、速度信息中的至少一种子状态参考信息。速度信息可以包括车辆速度、车辆加速度等等。
若状态参考信息仅包括姿态信息，或者包括姿态信息和速度信息，相较于S12，可以理解为，在确定目标车辆疑似处于第一目标状态的基础上，通过S14用更加精细、更加复杂的算法，确定目标车辆是否真的处于第一目标状态。若状态参考信息仅包括速度信息，相较于S12，可以理解为，在确定目标车辆疑似处于第一目标状态的基础上，通过S14 从与姿态信息不同的信息维度，确定目标车辆是否真的处于第一目标状态。
可以基于目标车辆的相关位置信息确定状态参考信息。例如，针对车辆速度，可以基于目标车辆的轨迹信息，确定各个目标视频帧中目标车辆的相关位置信息，基于各个目标视频帧中目标车辆的相关位置信息，获取目标车辆在不同目标视频帧之间的位移，再结合不同目标视频帧的拍摄时刻差，可以计算出车辆速度。
在一些实施例中，第一目标状态为加速状态，可以基于目标车辆的车辆速度的变化情况，确定是否处于第一目标状态。
在一些实施例中，第一目标状态为转向状态，可以基于目标车辆的偏航角、俯仰角、滚动角、车辆速度的变化情况，确定是否处于第一目标状态。
S15：确定目标车辆未处于第一目标状态。
可以理解的是，由于目标车辆在某些不同状态下的姿态信息的差异较小，因此如果直接基于第一视频帧序列中目标车辆的姿态信息，确定目标车辆是否处于第一目标状态，会使得目标车辆的状态确定结果不准确。例如第一目标状态是转向状态，变道状态、超车状态与转向状态的姿态信息差异较小，直接基于姿态信息确定目标车辆是否处于转向状态，会因为变道状态和超车状态的干扰，导致目标车辆的状态确定结果不准确。
通过本实施例的实施，本申请未直接基于第一视频帧序列中目标车辆的姿态信息确定目标车辆是否处于第一目标状态，而是基于第一视频帧序列中目标车辆的姿态信息确定是否存在参考时间信息，参考时间信息是目标车辆疑似处于第一目标状态的时间信息，存在参考时间信息意味着目标车辆疑似处于第一目标状态，因此在存在参考时间信息的情况下，从第二视频帧序列查找出与参考时间信息相关的第二视频帧序列，基于第二视频帧序列中目标车辆的状态参考信息，确定目标车辆是否真的处于第一目标状态。因此，本申请能够提供目标车辆的状态确定结果的准确度。
图3是本申请车辆状态识别方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例是对S11的进一步扩展。如图3所示，本实施例可以包括：
S21：对原始视频帧序列中的各原始视频帧进行车辆检测，得到各原始视频帧中的各车辆的相关位置信息。
可以通过任何能够实现车辆检测的神经网络模型实现。例如，训练好的神经网络模型先检测得到车辆区域的第一位置信息，再基于第一位置信息对车辆区域进行关键点检测，得到关键点的第二位置信息。又如，神经网络模型先检测得到车辆的中心点，再对车辆的中心点偏移，得到车辆区域的第一位置信息和关键点的第二位置信息。
以神经网络模型是基于Anchorfree的CenterNet为例，其由Backbone 模块和Head模块组成，Backbone模块可以将原始视频帧映射到高维特征空间，得到特征向量，Head模块可以对特征向量进行预测，得到车辆的中心点，再对车辆的中心点偏移，得到车辆区域的第一位置信息和关键点的第二位置信息。
图4是head模块的示意图，如图4所示，在训练过程中Head模块包括六个分支，分别为中心点heatmap分支，用于输出中心点热力图，以预测车辆的中心点；中心点offset分支，用于修正中心点从中心点热力图映射回原始视频帧时引入的误差；车辆WH分支，用于预测车辆区域的长度和宽度；关键点(Kp)偏移分支，用于预测各个关键点相对于车辆的中心点的偏移距离；关键点heatmap分支，用于得到关键点的热力图；关键点offset分支，用于修正关键点从关键点热力图映射回原始视频帧时引入的误差。
原始视频帧带有车辆的相关位置信息的标注信息，可以基于标注信息和检测结果的差异计算损失函数，基于损失函数优化CenterNet。结合图5对关键点的标注信息进行说明。图5所示大货车的关键点包括目标车辆左前轮中心点(A1)、右前轮中心点(A2)、左后轮中心点(A3)、右后轮中心点(A4)、车顶左前方顶点(B1)，车顶右前方顶点(B2)、车顶左后方顶点(B3)、车顶右后方顶点(B4)、车辆左前灯中心点(C1)、车辆右前灯中心点(C2)、车辆左尾灯中心点(C3)、车辆右尾灯中心点 (C4)、车头下边界左顶点(D1)、车头下边界右顶点(D2)、车尾下边界左顶点(D3)、车尾下边界右顶点(D4)、前车窗左上角点(E1)、前车窗右上角点(E2)、前车窗左下角点(E3)、前车窗右下角点(E4)、左后视镜中心点(F1)、右后视镜中心点(F2)。需要说明的是，本申请提及的左右是以车辆驾驶员面对的方向为基准进行说明的，且关键点皆为可见点。
训练过程中CenterNet的损失Loss由六个分支的损失加权得到：
Loss＝λhm·Lhm+λoff·Loff+λwh·Lwh+λkp·Lkp+λhm_kp·Lhm_kp+λkp_off·Lkp_off；
其中，Lhm、Loff、Lwh、Lkp、Lhm_kp和Lkp_off分别表示中心点heatmap 分支、中心点offset分支、车辆WH分支、关键点(Kp)偏移分支、关键点heatmap分支和关键点offset分支的损失，λhm、λoff、λwh、λkp、λhm_kp、λkp_off分别表示不同分支的权重。
S22：对各车辆的相关位置信息进行关联，得到各车辆的轨迹信息。
在一些实施例中，可以基于第一位置信息对各车辆的相关位置信息进行关联，得到各车辆的轨迹信息。在此情况下，可以获取各车辆的第一位置信息的匹配程度，基于第一位置信息的匹配程度对各车辆的相关位置信息进行关联。例如，车辆A的第一位置信息与车辆B的第一位置信息的匹配程度大于匹配程度阈值，认为车辆A的相关位置信息与车辆B的相关位置信息匹配。
在一些实施例中，可以基于第一位置信息和第二位置信息对各车辆的相关位置信息进行关联，得到各车辆的轨迹信息。在此情况下，可以获取各车辆的第一位置信息的匹配程度和各车辆的第二位置信息的匹配程度，基于第一位置信息的匹配程度和第二位置信息的匹配程度，对各车辆的相关位置信息进行关联。可以理解的是，基于第一位置信息和第二位置信息对各车辆的相关位置信息进行关联，相比于单纯基于第一位置信息对各车辆的相关位置信息进行关联的情况，利用的位置信息更多，可以应对更为复杂的状况，并且可以在一定程度上减小由于目标车辆被遮挡带来的误差。具体来说，结合参阅图6，S22可以包括以下子步骤：
S221：依序将各原始视频帧作为待关联视频帧，以待关联视频帧中的车辆为待关联车辆，将待关联车辆的第一位置信息与各已有车辆的轨迹信息进行匹配。
可以将已有车辆的轨迹信息中每个第一位置信息与待关联车辆的第一位置信息进行匹配，或者可以仅将已有车辆的轨迹信息中最新的一第一位置信息与待关联车辆的第一位置信息进行匹配，将匹配程度高于匹配程度阈值的已有车辆的轨迹信息，作为匹配的已有车辆的轨迹信息。
S222：判断是否存在与待关联车辆的第一位置信息匹配的已有车辆的轨迹信息。
响应于存在与待关联车辆的第一位置信息匹配的已有车辆的轨迹信息，执行S223；否则执行227。
S223：确定匹配的已有车辆的轨迹信息的数量是一个还是多个。
响应于匹配的已有车辆的轨迹信息的数量是一个，执行S224；响应于匹配的已有车辆的轨迹信息的数量是多个，执行S225～S226。
S224：利用待关联车辆的相关位置信息更新已有车辆的轨迹信息。
S225：获取匹配的各已有车辆的轨迹信息中的第二位置信息与待关联车辆的第二位置信息间的第二距离。
可以计算已有车辆与待关联车辆之间一关键点的第二位置信息的距离，作为第二距离。或者，可以计算已有车辆与待关联车辆之间多个关键点的第二位置信息的距离，将多个关键点对应距离的平均值，作为第二距离。
S226：利用待关联车辆的相关位置信息，更新第二距离符合距离要求的已有车辆的轨迹信息。
距离要求可以包括第二距离最大等等。
S227：基于待关联车辆的第一位置信息建立一新的车辆的轨迹信息。
如下以一个例子的形式，对S221～S227进行说明：
待关联视频帧为第k个原始视频帧，其中的N个待关联货车的相关位置信息的集合为BK＝{b1 K，···，bN K}，bn K＝{b11 K，b12 K}(n∈[1,N])， b11 K表示第n个待关联货车的第一位置信息(位置框)，b12 K表示第n个待关联货车的第二位置信息。M个已有货车的轨迹信息的集合为 T＝{T1，···，TM}。
1)计算bn1 K与T中各已有货车的轨迹信息包括的位置框之间的交并比。
2)若存在与bn1 K匹配(大于交并比阈值ΩV)的已有货车的轨迹信息，则进入3)；否则进入7)。
3)确定匹配的已有货车的轨迹信息是一个还是多个。若是一个则进入4)；否则进入5)～6)。
4)将bn K作为匹配的已有货车的轨迹信息中最新的一个相关位置信息。
5)计算bn2 K与T中各匹配的已有货车的轨迹信息包括的第二位置信息之间的第二距离。
6)将第二距离最小的、匹配的已有货车的轨迹信息，作为满足距离要求的已有货车的轨迹信息，将bn K作为满足距离要求的已有货车的轨迹信息中最新的一个相关位置信息。
7)建立一新的车辆的轨迹信息TM+1，将bn K作为TM+1中最新的一个相关位置信息。
S23：将至少一车辆作为目标车辆，利用目标车辆的轨迹信息选出若干原始视频帧作为目标视频帧，以得到第一视频帧序列。
其中，目标车辆的轨迹信息可以用于查找目标车辆在各所述目标视频帧中的相关位置信息，目标车辆的相关位置信息可以用于确定目标车辆的位置信息和/或状态参考信息。
进一步地，上述S12中目标车辆的姿态信息，至少可以通过如下两种方式获取：
方式一：可以以第一视频序列中的首位的目标视频帧中目标车辆的位置作为标准位置，计算各非首位的目标视频帧中目标车辆的位置相对标准位置的姿态信息，作为各非首位的目标视频帧中目标车辆的姿态信息。
方式二：可以基于第一视频帧序列中目标车辆的预设位置对应的二维位置信息和预设位置对应的三维位置信息，得到预设位置在二维与三维之间的转换关系参数；利用转换关系参数，得到姿态信息。预设位置对应的第二位置信息可以从目标车辆的轨迹信息查找得到。
预设位置可以是目标车辆的任意位置，例如目标车辆的中心、目标车辆的关键点等等。预设位置对应的二维位置信息可以是图像坐标系下的二维坐标。预设位置对应的三维位置信息可以视为目标车辆在直行朝向下，预设位置对应的标准三维位置信息，可以是基于车辆的真实比例，标定预设位置对应的三维位置信息。三维位置信息可以是世界坐标系下的三维坐标，或者三维位置信息可以是图像坐标系下的三维坐标，转换关系参数可以是旋转矩阵、平移矩阵中的至少一个。对于第一视频帧序列包括的各个目标视频帧，可以计算其中目标车辆的预设位置对应的二维位置信息与三维位置信息之间的转换关系参数；基于转换关系参数，得到其中目标车辆的姿态信息。
结合参阅图7对方式二进行举例说明，图7是世界坐标系、相机坐标系和图像坐标系的对应关系示意图。其中c表示光学中心，O表示相机坐标系的原点，OC表示相机的焦距，P表示O在图像坐标系中对应的点，P’表示O在世界坐标系中对应的点。
姿态信息为偏航角，预设位置为目标车辆的关键点，预设位置对应的三维位置信息是世界坐标系下的三维坐标(U，W，V)，预设位置对应的二维位置信息是图像坐标系下的二维坐标(x，y)。
(U，W，V)与预设位置在相机坐标系下的三维坐标(X，Y，Z) 存在如下转换关系：
Figure BDA0003593018340000141
其中，R表示世界坐标系相对于相机坐标系的旋转矩阵，t表示世界坐标系相对于相机坐标系的平移参数。
进一步地，根据相机成像原理，(X，Y，Z)与(x，y)存在如下转换关系：
Figure BDA0003593018340000142
其中，s表示缩放因子，(fx，fy)表示相机的焦距，(Cx,Cy)表示相机的光学中心。
进一步地，(U，W，V)与(x，y)存在如下转换关系：
Figure BDA0003593018340000143
从而，可以对上式求解(例如借助DLT直接线性变换方法)得到旋转矩阵R，进而基于R确定偏航角θ。
可以理解的是，相对于方式一，通过方式二获取目标车辆的姿态信息，考虑了目标车辆的预设位置对应的三维位置信息，能够避免将车辆视为质点引入的误差。
进一步地，上述S14，至少可以通过如下两种方式实现：
方式三：可以设置第一目标状态下状态参考信息符合的逻辑判定规则，对第二视频帧序列中目标车辆的状态参考信息进行分析，以确定是否符合逻辑判定规则，若符合逻辑判定规则，则确定目标车辆处于第一目标状态。例如，第一目标状态是加速状态，状态参考信息包括车辆速度，逻辑判定规则包括第二视频帧序列中目标车辆的车辆速度依次增大等等。
方式四：可以利用分类模型对第二视频帧序列中目标车辆的状态参考信息进行分类判别，得到表征目标车辆是否处于第一目标状态的第一状态确定结果。状态参考信息可以包括至少一种子状态参考信息，分类模型可以是任何具有分类能力的训练好的神经网络模型，例如长短期记忆力网络(LSTM)、Transformer模型。
结合参阅图8，以分类模型是LSTM为例，S14可以包括以下子步骤：
S31：获取第二视频帧序列中的当前目标视频帧对应的各子状态参考信息的编码特征。
S32：融合当前目标视频帧对应的状态信息的编码特征，得到当前目标视频帧的融合特征。
S33：基于当前目标视频帧的前一目标视频帧的第一状态确定结果和当前目标视频帧的融合特征，确定当前目标视频帧的第一状态确定结果。
重复执行上述步骤，直至遍历第二视频帧序列中的每个目标视频帧，并将第二视频序列中的最后一个目标视频帧的第一状态确定结果作为目标车辆的第一状态确定结果。
如下以一个例子的形式，对S31～S33进行详细说明：
状态参考信息包括偏航角、车辆速度、俯仰角和滚动角，分别将当前目标视频帧中目标车辆的偏航角、车辆速度、俯仰角和滚动角映射为固定长度的编码特征，对偏航角、车辆速度、俯仰角和滚动角的映射结果进行加权融合，得到当前目标视频帧的融合特征，基于前一目标视频帧的第一状态确定结果和当前目标视频帧的融合特征，得到目标车辆的第一状态确定结果。
可以理解的是，相对逻辑判定规则来说，一方面，利用分类模型得到状态确定结果的方式更加灵活，能够根据第一目标状态的种类、分类准确度的需求等因素，在分类过程对状态参考信息中的子状态参考信息进行扩展。另一方面，分类模型是利用批量训练样本训练得到的，批量训练样本可以涵盖多种车辆处于第一目标状态、不处于第一目标状态的情况，由此分类模型的鲁棒性高，能够适应各种车辆处于第一目标状态的情况，有效对目标车辆的状态参考信息进行建模。从而，提升状态分类结果的准确度。
图9是本申请车辆状态识别方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，以基于第一视频帧序列确定目标车辆是否处于第二目标状态。如图9所示，本实施例可以包括：
S41：获取第一视频帧序列中的相邻目标视频帧关于目标车辆的位移。
在一些实施例中，可以选择目标车辆任意一位置点，计算相邻目标视频帧间关于该选择的位置点之间的距离，作为目标车辆的位移。
在一些实施例中，可以获取相邻目标视频帧的至少一个位置点之间的第一距离；对至少一个位置点之间的第一距离进行加权，得到目标车辆的位移。其中，至少一个位置点包括目标车辆的至少一个关键点和/ 或目标车辆的中心。
可以理解的是，相对仅基于目标车辆的中心计算目标车辆的位移的方式，结合目标车辆的中心和关键点计算目标车辆的位移，能够使得目标车辆的位移更加准确。
S42：基于目标车辆的位移，确定目标车辆是否处于第二目标状态。
第二目标状态可以是与速度信息相关的状态。例如静止状态(速度为0，加速度为0)、加速状态(速度逐渐增大，加速度大于0)、减速状态(速度逐渐减小，加速度小于0)等等。
进一步地，在上述任一实施例的基础上，第二目标状态与第一目标状态可以是一车辆行为关联的不同状态，且在目标车辆的正常行为下，目标车辆处在第一目标状态的时间与处在第二目标状态的时间具有先后顺序和时间差。例如，在“转向前停车”的应用场景下，目标车辆的正常行为是“转向之前停车”，第二目标状态是静止状态，第一目标状态是转向状态，且目标车辆处于第二目标状态的时间先于处于第一目标状态和处于第二目标状态的时间差小于时间差阈值。
基于此，可以基于表征目标车辆是否处于第一目标状态的第一状态确定结果，和表征目标车辆是否处于第二目标状态的第二状态确定结果，确定目标车辆是否存在异常行为。在一些实施例中，可以通过如下方式实现：
图10是本申请车辆状态识别方法再一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图10所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，以确定目标车辆是否存在异常行为。如图10所示，本实施例可以包括：
S51：判断第一状态确定结果是否表征目标车辆处于第一目标状态，且第二状态确定结果表征目标车辆是否处于第二目标状态。
若第一状态确定结果表征目标车辆未处于第一目标状态，且第二状态确定结果表征目标车辆未处于第二目标状态，执行S52；若第一状态确定结果表征目标车辆处于第一目标状态，且第二状态确定结果表征目标车辆未处于第二目标状态，执行S53；若第一状态确定结果表征目标车辆处于第一目标状态，且第二状态确定结果表征目标车辆处于第二目标状态，执行S54。
S52：确定目标车辆不存在异常行为。
S53：确定目标车辆存在异常行为。
S54：基于目标车辆的第一状态时间和第二状态时间之间的先后顺序和时间差，确定目标车辆是否存在异常行为。
其中，第一状态时间为目标车辆处在第一目标状态的时间，第二状态时间为目标车辆处在第二目标状态的时间。
如下结合图11，结合大货车的转向前停车行为判定的应用场景，对本申请提供的车辆状态识别方法进行详细说明：
1)对原始视频帧序列进行车辆跟踪，以得到大货车的轨迹信息，以及大货车的第一视频帧序列，第一视频帧序列包括若干包含大货车的目标视频帧，大货车的轨迹信息包括大货车在各目标视频帧的车辆区域的第一位置信息和关键点的第二位置信息(二维位置信息)。
2)基于关键点对应的二维位置信息、关键点对应的三维位置信息获取各目标视频帧中大货车的偏航角。
3)判断前后目标视频帧中大货车的偏航角差值是否大于偏航角阈值；若大于则判定存在大货车疑似处于转向状态的参考时间信息；若不大于则判定大货车未处于转向状态。
4)从第一视频帧序列查找出与参考时间信息相关的第二视频帧序列。
5)利用分类模型LSTM基于第二视频帧序列中目标车辆的偏航角、车辆速度、俯仰角、滚动角进行转向状态分类，得到表示大货车处于转向状态的第一状态确定结果。
6)基于第一位置信息和第二位置信息，获取前后视频帧中大货车的位移。
7)判断大货车位移是否小于位移阈值；若小于则判定大货车处于静止状态；若不小于则判断大货车未处于静止状态。
8)判断大货车处于静止状态的第二状态时间是否先于处于转向状态的第一状态时间，且第二状态时间与第一状态时间的时间差是否小于时间差阈值；若不是则判定目标车辆没有在转向前停车，存在异常行为；若是则判定目标车辆在转向前停车，不存在异常行为。
图12是本申请电子设备一实施例的结构示意图。如图12所示，该电子设备包括处理器21、与处理器21耦接的存储器22。
其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图13是本申请计算机可读存储介质一实施例的结构示意图。如图 13所示，本申请实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本申请上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种车辆状态识别方法，其特征在于，包括：
获取第一视频帧序列，其中，所述第一视频帧序列包括若干包含目标车辆的目标视频帧；
基于所述第一视频帧序列中的所述目标车辆的姿态信息，确定是否存在参考时间信息，所述参考时间信息是所述目标车辆疑似处于第一目标状态的时间信息；
响应于存在所述参考时间信息从所述第一视频帧序列中查找出与所述参考时间信息关联的第二视频帧序列；
基于所述第二视频帧序列中的所述目标车辆的状态参考信息，确定所述目标车辆是否处于所述第一目标状态。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一视频帧序列中的所述目标车辆的姿态信息，确定是否存在参考时间信息，包括：
基于所述第一视频帧序列中的所述目标车辆的姿态信息的变化情况，确定是否存在第三视频帧序列，其中，所述第三视频帧序列对应的所述姿态信息的变化情况满足姿态变化条件；
响应于存在所述第三视频帧序列，确定存在所述参考时间信息，所述参考时间信息是基于所述第三视频帧序列中的至少一个目标视频帧的拍摄时刻确定的。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一视频帧序列中的所述目标车辆的姿态信息的变化情况，确定是否存在所述第三视频帧序列，包括：
依序对所述第一视频帧序列的各所述目标视频帧中的所述目标车辆的姿态信息进行对比；
响应于连续的预设数量个所述目标视频帧中所述目标车辆的姿态信息依次增大，且均大于姿态阈值，确定存在所述第三视频帧序列，所述预设数量个所述目标视频帧组成所述第三视频帧序列。
4.根据权利要求1所述的方法，其特征在于，在所述基于所述第一视频帧序列中的所述目标车辆的姿态信息，确定是否存在参考时间信息之前，所述方法还包括：
基于所述第一视频帧序列中所述目标车辆的预设位置对应的二维位置信息和所述预设位置对应的三维位置信息，得到所述预设位置在二维与三维之间的转换关系参数；
利用所述转换关系参数，得到所述姿态信息。
5.根据权利要求4所述的方法，其特征在于，所述预设位置为所述目标车辆的关键点；
和/或，所述转换关系参数为旋转矩阵，所述姿态信息为所述目标车辆的偏航角。
6.根据权利要求1所述的方法，其特征在于，所述第二视频帧序列由所述第一视频帧序列中拍摄时刻与所述参考时间信息之间的时间差小于时间差阈值的所述目标视频帧组成；
和/或，所述状态参考信息包括所述目标车辆的姿态信息和速度信息中的至少一种子状态参考信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第二视频帧序列中的所述目标车辆的状态参考信息，确定所述目标车辆是否处于所述第一目标状态，包括：
利用分类模型对所述第二视频帧序列中所述目标车辆的状态参考信息进行分类判别，得到表征所述目标车辆是否处于所述第一目标状态的第一状态确定结果。
8.根据权利要求7所述的方法，其特征在于，所述状态参考信息包括至少一种子状态参考信息，所述利用分类模型对所述第二视频帧序列中所述目标车辆的状态参考信息进行分类判别，得到表征所述目标车辆是否处于所述第一目标状态的第一状态确定结果，包括：
获取所述第二视频帧序列中的当前目标视频帧对应的各状态信息的编码特征；
融合所述当前目标视频帧对应的各所述子状态参考信息的编码特征，得到所述当前目标视频帧的融合特征；
基于所述当前目标视频帧的前一目标视频帧的第一状态确定结果和所述当前目标视频帧的融合特征，确定所述当前目标视频帧的第一状态确定结果；
重复执行上述步骤，直至遍历所述第二视频帧序列中的每个目标视频帧，并将所述第二视频序列中的最后一个目标视频帧的第一状态确定结果，作为所述目标车辆的第一状态确定结果。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一视频帧序列中的相邻目标视频帧关于所述目标车辆的位移；
基于所述目标车辆的位移，确定所述目标车辆是否处于第二目标状态，所述第二目标状态为与速度信息相关的状态。
10.根据权利要求9所述的方法，其特征在于，所述获取所述第一视频帧序列中的相邻目标视频帧间关于所述目标车辆的位移，包括：
获取所述相邻目标视频帧的至少一个位置点之间的第一距离；其中，所述至少一个位置点包括所述目标车辆的至少一个关键点和/或所述目标车辆的中心；
对所述至少一个位置点之间的第一距离进行加权，得到所述目标车辆的位移。
11.根据权利要求9所述的方法，其特征在于，所述基于所述第二视频帧序列中的所述目标车辆的状态参考信息，确定所述目标车辆是否处于所述第一目标状态，以及，所述基于所述目标车辆的位移，确定所述目标车辆是否处于第二目标状态之后，所述方法还包括：
基于表征所述目标车辆是否处于所述第一目标状态的第一状态确定结果，和表征所述目标车辆是否处于所述第二目标状态的第二状态确定结果，确定所述目标车辆是否存在异常行为。
12.根据权利要求11所述的方法，其特征在于，所述基于表征所述目标车辆是否处于所述第一目标状态的第一状态确定结果，和表征所述目标车辆是否处于所述第二目标状态的第二状态确定结果，确定所述目标车辆是否存在异常行为，包括：
若所述第一状态确定结果表征所述目标车辆处于所述第一目标状态，且所述第二状态确定结果表征所述目标车辆未处于所述第二目标状态，则确定所述目标车辆存在异常行为；
若所述第一状态确定结果表征所述目标车辆处于所述第一目标状态，且所述第二状态确定结果表征目标车辆处于所述第二目标状态，则基于所述目标车辆的第一状态时间和第二状态时间之间的先后顺序和时间差，确定所述目标车辆是否存在异常行为，其中，所述第一状态时间为所述目标车辆处在所述第一目标状态的时间，所述第二状态时间为所述目标车辆处在所述第二目标状态的时间。
13.根据权利要求1所述的方法，其特征在于，所述获取第一视频帧序列，包括：
对原始视频帧序列中的各原始视频帧进行车辆检测，得到各所述原始视频帧中的各车辆的相关位置信息，所述车辆的相关位置信息包括所述车辆在所述原始视频帧中对应的车辆区域的第一位置信息和关键点的第二位置信息；
对各所述车辆的相关位置信息进行关联，得到各所述车辆的轨迹信息；
将至少一所述车辆作为所述目标车辆，利用所述目标车辆的轨迹信息选出若干所述原始视频帧作为所述目标视频帧，以得到所述第一视频帧序列，其中，所述目标车辆的轨迹信息用于查找所述目标车辆在各所述目标视频帧中的所述相关位置信息，所述目标车辆的相关位置信息用于确定所述目标车辆的位置信息和/或状态参考信息。
14.根据权利要求13所述的方法，其特征在于，所述对各所述车辆的相关位置信息进行关联，得到各所述车辆的轨迹信息，包括：
依序将各所述原始视频帧作为待关联视频帧，以所述待关联视频帧中的所述车辆为待关联车辆，将所述待关联车辆的第一位置信息与各已有车辆的轨迹信息进行匹配；
响应于存在与所述待关联车辆的第一位置信息匹配的已有车辆的轨迹信息，确定匹配的所述已有车辆的轨迹信息的数量是一个还是多个；
响应于匹配的所述已有车辆的轨迹信息的数量是一个，利用所述待关联车辆的相关位置信息更新所述已有车辆的轨迹信息；
响应于初始匹配的所述已有车辆的轨迹信息的数量是多个，获取匹配的各所述已有车辆的轨迹信息中的第二位置信息与所述待关联车辆的第二位置信息之间的第二距离；利用所述待关联车辆的相关位置信息，更新所述第二距离符合距离要求的所述已有车辆的轨迹信息。
15.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-14中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序指令，所述程序指令能够被处理器执行，被执行时实现如权利要求1-14中任一项所述的方法。
CN202210384122.XA 2022-04-12 2022-04-12 车辆状态识别方法、电子设备及计算机可读存储介质 Pending CN115187887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384122.XA CN115187887A (zh) 2022-04-12 2022-04-12 车辆状态识别方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384122.XA CN115187887A (zh) 2022-04-12 2022-04-12 车辆状态识别方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115187887A true CN115187887A (zh) 2022-10-14

Family

ID=83511816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384122.XA Pending CN115187887A (zh) 2022-04-12 2022-04-12 车辆状态识别方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115187887A (zh)

Similar Documents

Publication Publication Date Title
EP2924653B1 (en) Image processing apparatus and image processing method
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US7623681B2 (en) System and method for range measurement of a preceding vehicle
US20230110116A1 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
Kumar Satzoda et al. Efficient lane and vehicle detection with integrated synergies (ELVIS)
WO2012086821A1 (ja) 測位装置、測位方法
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
CN111667512A (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
TWI595450B (zh) 物件偵測系統
Liu et al. Vehicle detection and ranging using two different focal length cameras
CN106570451A (zh) 在镜像或反射表面内的自主车辆的自识别
CN111284501A (zh) 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置
Choi et al. Cut-in vehicle warning system exploiting multiple rotational images of SVM cameras
CN114550142A (zh) 基于4d毫米波雷达和图像识别融合的车位检测方法
JP2006140636A (ja) 障害物検出装置および方法
Guo et al. CADAS: A multimodal advanced driver assistance system for normal urban streets based on road context understanding
CN114792416A (zh) 一种目标检测方法及装置
US10982967B2 (en) Method and device for fast detection of repetitive structures in the image of a road scene
JP2019003343A (ja) 運転支援装置および運転支援方法
CN115187887A (zh) 车辆状态识别方法、电子设备及计算机可读存储介质
CN111144415A (zh) 一种微小行人目标的检测方法
JP4784932B2 (ja) 車両判別装置及びそのプログラム
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
JP2003237509A (ja) 車両用外界認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination