CN112529934A - 多目标追踪方法、装置、电子设备和存储介质 - Google Patents

多目标追踪方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112529934A
CN112529934A CN202011389061.3A CN202011389061A CN112529934A CN 112529934 A CN112529934 A CN 112529934A CN 202011389061 A CN202011389061 A CN 202011389061A CN 112529934 A CN112529934 A CN 112529934A
Authority
CN
China
Prior art keywords
target
tracking
tracked
segmentation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011389061.3A
Other languages
English (en)
Other versions
CN112529934B (zh
Inventor
欧阳真超
董晓云
崔家赫
牛建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202011389061.3A priority Critical patent/CN112529934B/zh
Publication of CN112529934A publication Critical patent/CN112529934A/zh
Application granted granted Critical
Publication of CN112529934B publication Critical patent/CN112529934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种多目标追踪方法、装置、电子设备和存储介质，将多目标追踪方法分为分割及追踪两个过程，首先通过轻量级的目标检测分割模型对待处理图像进行目标检测及分割处理，以获得待处理图像中的待追踪目标的分割结果，并基于目标检测分割模型中的追踪向量生成算法对分割结果进行运算，生成待追踪目标的追踪向量；最后通过目标追踪模型对待追踪目标的追踪向量进行帧间相似度匹配，完成对处理图像中的待追踪目标的追踪。采用轻量级的目标检测分割模型架构可以实现对模型体积的压缩和推算加速，且基于分割结果生成的追踪向量与直接生成的追踪向量相比，背景噪声更少，可以更好的适应目标被遮挡和部分可见的情况，增强了模型的追踪精度。

Description

多目标追踪方法、装置、电子设备和存储介质
技术领域
本申请涉及自动驾驶技术，具体地，涉及一种多目标追踪方法、装置、电子设备和存储介质。
背景技术
随着传感器、大数据和人工智能领域的快速发展，在此基础上发展的无人驾驶技术也成为近年来学术界和工业界的研究热点之一。
多目标跟踪算法是自动驾驶技术中最基本且关键的算法之一。自动驾驶汽车通常装配多种传感器以获取周围环境的信息，其中光学相机是目前最常用的传感器之一，基于相机捕获图像进行多目标追踪是目前主流的解决方案。
目前主要采用深度学习网络建模与大数据驱动的方式构建多目标追踪模型，从而实现自动驾驶技术的多目标追踪。但深度学习卷积神经网络模型主要通过设计深层网络结构提升模型的性能，从而提升运算速率及运算精度，对高性能显卡的依赖较强，且模型体积较大，导致该模型若要在车载平台部署实现起来较为困难。
因此，如何在保证运算速率及运算精度的前提下对多目标追踪模型进行压缩是目前需要解决的技术问题。
发明内容
本申请实施例中提供了一种多目标追踪方法、装置、电子设备和存储介质，以解决现有技术中的多目标追踪模型对高性能显卡的依赖性较强，模型体积较大的问题。
根据本申请实施例的第一个方面，提供了一种多目标追踪方法，所述方法包括：
通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果；
通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量；
通过预设的目标追踪模型对所述待追踪目标的追踪向量进行帧间相似度计算，将相似度大于预设阈值的待追踪目标作为同一待追踪目标，实现对所述待追踪目标的追踪。
在一种可选的实施方式中，所述目标检测分割模型包括卷积神经主干网络和候选区域生成模型，所述卷积神经主干网络包括轮廓归一化模型及卷积神经网络，通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果，包括：
通过所述卷积神经主干网络对输入的待处理图像进行特征提取，获得所述待处理图像的归一化特征信息；
通过候选区域生成模型对所述归一化特征信息进行处理，获得所述待处理图像中的待追踪目标的分割结果，其中，所述待追踪目标的分割结果包括目标类别、各个目标类别的检测置信度、检测框及分割掩码。
在一种可选的实施方式中，所述目标检测分割模型还包括双向长短期记忆人工神经网络，在通过候选区域生成模型对所述特征信息进行处理之前，所述方法还包括：
将所述卷积神经主干网络提取的特征信息输入至所述双向长短期记忆人工神经网络进行帧间时空特征增强处理，使得输出所述待处理图像的卷积特征包含帧间关联的特征信息。
在一种可选的实施方式中，所述通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量，包括：
将所述待追踪目标的分割结果中的分割掩码输入至所述追踪向量生成算法中进行运算，为所述待追踪目标生成追踪向量。
在一种可选的实施方式中，所述卷积神经主干网络包括卷积神经网络及多个轮廓归一化模型，所述卷积神经网络包括多个卷积层，每个所述卷积层后设置有一个所述轮廓归一化模型。
在一种可选的实施方式中，所述方法还包括训练所述目标追踪模型的步骤，所述步骤包括：
将被标记好的多个训练样本输入至追踪算法模型运算，获得实际输出的追踪结果；
根据实际输出的追踪结果的评估结果调整网络参数，并将多个所述训练样本输入网络参数调整后的追踪算法模型进行运算，获得更新后的实际输出的追踪结果；
重复上述步骤，当所述实际输出的追踪结果的评估结果最优时结束训练，将结束训练时的网络参数作为目标追踪模型的网络参数。
在一种可选的实施方式中，所述将被标记好的多个训练样本输入至追踪算法模型运算，获得实际输出的追踪结果，包括：
针对所述训练样本的每一帧图像，计算所述训练样本的当前帧图像中各个待追踪目标的追踪向量和前一帧图像中各个待追踪目标的追踪向量的相似矩阵；
根据所述相似矩阵计算所述当前帧图像和上一帧图像中的各个待追踪目标的相似度；
获得所述相似度大于预设阈值的待追踪目标，并将所述相似度大于预设阈值且相似度最高的待追踪目标作为实际输出的追踪结果。
根据本申请实施例的第二个方面，提供了一种多目标追踪装置，所述装置包括：
分割模块，用于通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果；
追踪向量生成模块，用于通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量；
相似度匹配模块，用于通过预设的目标追踪模型对所述待追踪目标的追踪向量进行帧间相似度计算，将相似度大于预设阈值的待追踪目标作为同一待追踪目标，实现对所述待追踪目标的追踪。
在一种可选的实施方式中，所述目标检测分割模型包括卷积神经主干网络，所述卷积神经主干网络包括轮廓归一化模型及卷积神经网络，所述分割模块包括：
特征提取子模块，用于通过所述卷积神经主干网络对输入的待处理图像进行特征提取，获得所述待处理图像的归一化特征信息；
分割结果获取子模块，用于通过候选区域生成模型对所述归一化特征信息进行处理，获得所述待处理图像中的待追踪目标的分割结果，其中，所述待追踪目标的分割结果包括目标类别、各个目标类别的检测置信度、检测框及分割掩码。
根据本申请实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行上述的多目标追踪方法。
根据本申请实施例的第四个方法，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的多目标追踪方法。
本申请实施例提供一种多目标追踪方法、装置、电子设备和存储介质，将多目标追踪方法分为分割及追踪两个过程，首先通过轻量级的目标检测分割模型对待处理图像进行目标检测及分割处理，以获得待处理图像中的待追踪目标的分割结果，并基于目标检测分割模型中的追踪向量生成算法对待追踪目标的分割结果进行运算，生成待追踪目标的追踪向量；最后通过预设的目标追踪模型对待追踪目标的追踪向量进行帧间相似度匹配，最终完成对处理图像中的待追踪目标的追踪。采用轻量级的目标检测分割模型可以实现对模型体积的压缩，且基于分割结果生成的追踪向量与直接生成的追踪向量相比，背景噪声更少，可以更好的适应目标被遮挡和部分可见的问题，增强了模型的追踪精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的多目标追踪方法的流程图之一；
图3为本申请实施例提供的步骤S101的子步骤流程图之一；
图4为本申请实施例提供的归一化模型与卷积神经网络的组合方式示意图；
图5为本申请实施例提供的步骤S101的子步骤流程图之二；
图6为本申请实施例提供的目标检测分割模型的模型结构图；
图7为本申请实施例提供的多目标追踪方法的流程图之二；
图8为本申请实施例提供的多目标追踪装置的功能模块图。
图标：10-电子设备；11-处理器；12-存储器；13-总线；110-多目标追踪装置；1101-分割模块；1102-追踪向量生成模块；1103-相似度匹配模块。
具体实施方式
在实现本申请的过程中，发明人发现自动驾驶汽车通常装配多种传感器以获取周围环境的信息，其中光学相机是目前最常用的传感器之一，基于相机捕获的图像进行多目标追踪是目前自动驾驶技术常用的技术手段，另外，目前通常采用深度学习网络构建多目标追踪模型，虽然深度学习网络结构能够提升多目标追踪模型的性能，但对高性能显卡的依赖性较强，且模型体积较大，导致相关模型若要在车载平台部署实现起来较为困难。
针对上述问题，本申请实施例中提供了一种多目标追踪方法、装置、电子设备和存储介质，将多目标追踪方法分为分割及追踪两个过程，首先通过轻量级的目标检测分割模型对待处理图像进行目标检测及分割处理，以获得待处理图像中的待追踪目标的分割结果，并基于目标检测分割模型中的追踪向量生成算法对待追踪目标的分割结果进行运算，生成待追踪目标的追踪向量；最后通过预设的目标追踪模型对待追踪目标的追踪向量进行帧间相似度匹配，最终完成对处理图像中的待追踪目标的追踪。采用轻量级的目标检测分割模型可以实现对模型体积的压缩，且基于分割结果生成的追踪向量与直接生成的追踪向量相比，噪声更少，可以更好的处理遮挡和目标部分可见的问题，保证了模型的追踪精度。
本申请实施例中的方案可以采用各种计算机语言实现，例如python、c语言或c++语言，也可通过程序库函数封装后被其它语言调用。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本实施例中，多目标追踪方法应用于图1中的电子设备10，图1为本申请实施例提供的电子设备10的结构示意图。该电子设备10与车载摄像设备连接，用于获取车载摄像设备拍摄的图像，并针对获取到的图像进行多目标追踪。可选地，在本实施例中，车载摄像设备可以于无人驾驶车辆的前挡风玻璃处，且电子设备10可以通过以太网接口或USB接口等连接方式与车载摄像设备连接。
在图1中，电子设备10包括：处理器11、存储器12和总线13，存储器12存储有处理器11可执行的机器可读指令，当电子设备10运行时，11处理器与存储器12之间通过总线13通信，机器可读指令被处理器11执行时执行本申请实施例提供的多目标追踪方法，以追踪道路上的汽车、行人、骑行者等移动的目标。
下面结合附图对本申请实施例提供的多目标追踪方法进行进一步说明。
请参照图2，图2为本申请实施例提供的多目标追踪方法的流程图之一。该方法应用于图1中的电子设备10，包括以下步骤：
步骤S101，通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得待处理图像中的待追踪目标的分割结果。
步骤S102，通过追踪向量生成算法对待追踪目标的分割结果进行运算，生成待追踪目标的追踪向量。
步骤S103，通过预设的目标追踪模型对待追踪目标的追踪向量进行帧间相似度计算，将相似度大于预设阈值的待追踪目标作为同一待追踪目标，实现对待追踪目标的追踪。
在上述步骤中，当无人驾驶汽车启动后，车载摄像设备和电子设备10通电自启，车载摄像设备将拍摄到的道路场景等图像信息发送至电子设备10，电子设备10根据接收到的图像信息进行处理。其中，电子设备10中设置有预先训练好的目标检测分割模型及目标追踪模型。
本申请实施例在进行多目标追踪时，将多目标追踪方法分为分割及追踪两个过程，首先通过轻量级的目标检测分割模型对待处理图像进行目标检测及分割处理，以获得待处理图像中的待追踪目标的分割结果，并基于目标检测分割模型中的追踪向量生成算法对待追踪目标的分割结果进行运算，生成待追踪目标的追踪向量；最后通过预设的目标追踪模型对待追踪目标的追踪向量进行帧间相似度匹配，最终完成对处理图像中的待追踪目标的追踪。采用轻量级的目标检测分割模型可以实现对模型体积的压缩，且基于分割结果生成的追踪向量与直接生成的追踪向量相比，噪声更少，可以更好的处理遮挡和目标部分可见的问题，保证了模型的追踪精度。
可选地，在本实施例中，目标检测分割模型包括卷积神经主干网络和候选区域生成模型，卷积神经主干网络包括轮廓归一化模型及卷积神经网络。在获得待处理图像的分割结果的过程中，可结合参照图3实施，图3为本申请实施例提供的步骤S101的子步骤流程图之一，在本实施例中，步骤S101包括以下子步骤：
子步骤S1011，通过卷积神经主干网络对输入的待处理图像进行特征提取，获得待处理图像的归一化特征信息。
子步骤S1012，通过候选区域生成模型对所归一化特征信息进行处理，获得待处理图像中的待追踪目标的分割结果。
其中，待追踪目标的分割结果包括目标类别、各个目标类别的检测置信度、检测框及分割掩码。
在上述步骤中，轻量级的目标检测分割模型包括一个用于提取特征的卷积神经主干网络，该卷积神经主干网络包括轮廓归一化模型和卷积神经网络。待处理图像首先输入至卷积神经主干网络中进行特征提取，获得含有丰富结构信息的图像特征。
可选地，在本实施例中，可根据以下公式计算对应图像的采样窗口内的Xb,h,w的位置归一化特征：
Figure BDA0002811841650000081
Figure BDA0002811841650000082
Figure BDA0002811841650000083
其中，uw,h,b和σw,h,b是Xb,h,w在通道维度上的均值和方差，ε是一个常数为1e-5，w、h、c、b是输入的特征图的宽度、高度、通道数和批训练样本数，PONO(Xw,h,c)则表示采样窗口内的Xb,h,w的位置归一化特征。
可选地，在本实施例的一种实施方式中，卷积神经主干网络包括卷积神经网络及多个轮廓归一化模型，卷积神经网络包括多个卷积层，每个卷积层后设置有一个轮廓归一化模型。如图4所示，图4为本申请实施例提供的归一化模型与卷积神经网络的组合方式示意图。
在目标检测分割模型中集成轮廓归一化模型，不仅有利于网络收敛，还能从输入的图像中提取相应的结构信息以修正目标分割的结果，提高追踪结果的准确度，从而能够在保持模型的输出结果的精度的同时压缩目标检测分割模型的网络参数。
在获得待处理图像的归一化特征信息之后，可以选用经典的区域生成模型(RPN模型)输出待处理图像中所有目标的候选框，进一步获得待处理图像的所有待追踪目标的分割结果。具体地，待追踪目标的分割结果可以包括目标的类别、检测框、各个目标类别的检测置信度及分割掩码mask。
可选地，请结合参照图5，图5为本申请实施例提供的步骤S101的子步骤流程图之二。在本实施例中，在子步骤S1012之前，步骤S101还包括：
子步骤S1013，将卷积神经主干网络提取的特征信息输入至双向长短期记忆人工神经网络进行帧间时空特征增强处理，使得输出所述待处理图像的卷积特征包含帧间关联的特征信息。
在本实施例中，将卷积神经主干网络输出的待处理图像的归一化特征信息(特征图)输入至双向长短期记忆人工神经网络模型(Bi-LSTM)中进行特征增强，从而可以增强待处理图像的相邻的帧图像之间的关联信息，为特征图增加丰富的时序信息更有利于步骤S102中追踪向量的生成。
进一步地，在通过双向长短期记忆人工神经网络模型(Bi-LSTM)对特征图进行特征增强之后，再将特征增强后的特征图输入至区域生成模型(RPN模型)中，以输出待追踪目标的候选框，进一步获得待处理图像的所有待追踪目标的分割结果。
在本实施例中，通过区域生成模型获得待处理图像的所有待追踪目标的分割结果包括有目标的类别、检测框、各个目标类别的检测置信度及分割掩码mask。在此基础上，步骤S102具体为：
将待追踪目标的分割结果中的分割掩码输入至追踪向量生成算法中进行运算，为待追踪目标生成追踪向量。
在上述步骤中，虽然获得的待追踪目标的分割结果包括有目标的类别、检测框、各个目标类别的检测置信度及分割掩码mask，但在生成追踪向量时，可以仅使用分割掩码mask。将分割掩码mask作为追踪向量生成算法的输入，为待处理图像中的每个目标生成一个多维的追踪向量。如表1所示，表1表示真实道路场景数据前景分割掩码和检测框标注像素比例对比，根据表1所记载的内容，可以知道检测框中背景信息占比很大，而使用分割掩码(mask)可以去除检测框中杂乱背景的影响，从而优化追踪向量的生成。
Figure BDA0002811841650000101
表1
为了进一步理解上述步骤，可结合参照图6，图6为本申请实施例提供的目标检测分割模型的模型结构图。在本实施里中，目标检测分割模型可以包括有卷积神经主干网络、双向长短期记忆人工神经网络模型(Bi-LSTM)、区域生成模型(RPN模型)以及追踪向量生成算法。
在图6中，待处理图像首先输入由轮廓归一化模型(即图6中的PONO)和卷积神经网络(即图6中的ResNet50)组成的卷积神经主干网络中，获得待处理图像的归一化特征信息，并将获得的归一化特征信息输入至双向长短期记忆人工神经网络模型(Bi-LSTM)中进行特征增强，并将输出结果输入至RPN模型中进行下一步运算，获得待处理图像中各个待追踪目标的检测候选框、待追踪目标的分类和各个目标的检测置信度，最终生成分割结果。最后追踪向量生成算法基于分割结果生成追踪向量。
值得说明的是，在图6中所采用的ResNet50仅为本申请实施例的卷积神经网络的一种优选的实施方式，在本申请实施例的其他实施方式中，还可以采用其他结构的卷积神经网络与轮廓归一化模型进行组合形成卷积神经主干网络。
另外，输出的待处理图像也可以为一段视频，在进行处理时，可以将该视频的每一帧图像作为待处理图像进行处理，从而获得每一帧图像中的待追踪目标的追踪向量。
在生成每个待追踪目标的追踪向量之后，将追踪向量输入至目标追踪模型中进行帧间相似度计算，并基于计算结果，将帧间相似度大于预设阈值且相似度最高的待追踪目标视为同一目标，从而实现对待追踪目标的追踪。
进一步地，请参照图7，图7为本申请实施例提供的多目标追踪方法的流程图之二。在本实施例中，多目标追踪方法还包括：
步骤S104，训练目标追踪模型。
在本实施例中，通过目标追踪模型根据追踪向量进行目标追踪之前，还需要对目标追踪模型进行训练，以使目标追踪模型的输出结果可以达到期望的输出结果。
具体地，在本实施例中，步骤S104包括：
将被标记好的多个训练样本输入至追踪算法模型运算，获得实际输出的追踪结果。根据实际输出的追踪结果的评估结果调整网络参数，并将多个训练样本输入网络参数调整后的追踪算法模型进行运算，获得更新后的实际输出的追踪结果。
重复上述步骤，当所述实际输出的追踪结果的评估结果最优时结束训练，将结束训练时的网络参数作为目标追踪模型的网络参数。
在训练目标追踪模型时，将多个训练样本输入至追踪算法模型中进行运算，获得实际输出的追踪结果。其中，每个训练样本中都标记有各个待追踪目标的期望追踪结果。
进一步地，在训练目标追踪模型时，步骤S1041可以包括以下步骤：
针对训练样本的每一帧图像，计算训练样本的当前帧图像中各个待追踪目标的追踪向量和前一帧图像中各个待追踪目标的追踪向量的相似矩阵；根据相似矩阵计算当前帧图像中的各个待追踪目标与前一帧图像中各个待追踪目标的相似度；获得相似度大于预设阈值的待追踪目标，并将相似度大于预设阈值且相似度最高的待追踪目标作为实际输出的追踪结果。
在本实施例中，为了减少目标追踪的负样本，可以根据各个待追踪结果的类别的检测置信度进行筛选，将置信度小于阈值的目标删除，只包括置信度大于阈值的目标。
输入的训练样本可以是一段视频，在训练目标追踪模型时，针对训练样本的每一帧图像，计算训练样本当前帧与前一帧的相似矩阵。以欧式距离为例，可以采用下面的公式计算训练样本当前帧与前一帧的相似矩阵：
Figure BDA0002811841650000121
其中
Figure BDA0002811841650000122
是第t帧与第t-1帧的相似矩阵，||.||代表欧式距离，
Figure BDA0002811841650000123
代表相似矩阵第i行第j列的值，表示第t-1帧中的目标i与第t帧的目标j的追踪向量之间的欧式距离，
Figure BDA0002811841650000124
为第t-1帧中目标i的追踪向量，
Figure BDA0002811841650000125
为第t帧中目标j的追踪向量。
最后，可以根据选择的策略基于相似矩阵计算当前帧图像中的各个待追踪目标与前一帧图像中各个待追踪目标的相似度，并基于相似度的大小进行目标追踪，从而获得实际输出的追踪结果。例如，相似度大于预设阈值且相似度最高的待追踪目标即可视为同一目标，可选地，选择的策略可以为匈牙利算法或贪心算法。
在获得实际输出端输出的追踪结果后，根据实际输出的追踪结果与标记的期望输出的追踪结果的差异值调整追踪算法模型的网络参数，其中，网络参数可以包括车辆与行人的检测置信度阀值和车辆与行人的轨迹匹配阀值等。
在调整网络参数时，可以根据车辆与行人的检测置信度阀值和车辆与行人的轨迹匹配阀值随机生成多种不同的组合方式，将每种组合方式作为网络参数的其中一种调整方式。
可选地，在训练过程中，可以根据若干次对追踪所需的网络参数(车辆与行人的检测置信度阀值和车辆与行人的轨迹匹配阀值)的随机枚举，选择最优实验结果(即软多目标跟踪和分割准确度sMOTSA、多对象跟踪和分割准确度MOTSA和基于掩模的多目标跟踪和分割精度MOTSP最高的结果)，其中sMOTSA、MOTSA和MOTSP优先级从高到低，若sMOTSA相同，则选择MOTSA更高的结果，以此类推)对应的网络参数。其中sMOTSA、MOTSA和MOTSP的定义分别如下列公式所示：
Figure BDA0002811841650000131
Figure BDA0002811841650000132
Figure BDA0002811841650000133
其中TP是对当前帧的追踪结果中追踪正确的目标，FP是对当前帧的追踪结果中无法映射到真值内任意结果的目标，FN是真值中的目标在当前帧的追踪结果中无法找到映射的目标，IDS是在当前帧和前一帧匹配到不同的轨迹的目标，
Figure BDA0002811841650000141
是TP中与真值的交并比IoU大于0.5的目标，其中，IoU表示“预测的边框”和“真实的边框”的交集和并集的比值。sMOTSA、MOTSA和MOTSP越高，则表示追踪结果越优秀。
重复上述步骤，将预先组合形成的多对网络参数输入至追踪算法模型进行运算，将实际输出的追踪结果与期望输出结果的差异最小(可以理解为追踪效果最优秀)对应的网络参数作为目标追踪模型的网络参数，以获得性能最佳的训练好的目标追踪模型。
在训练好目标追踪模型之后，即可通过该目标追踪模型对追踪向量进行运算，获得目标追踪结果，从而实现自动驾驶技术的多目标追踪技术。
综上所述，轻量级的目标检测分割模型可以捕获丰富的时空特征，利用一个融合了轮廓归一化模型的卷积神经主干网络提取含有丰富轮廓特征的图像特征。轮廓归一化模型可以在不增加过多计算的基础上，捕获网络中目标物体的轮廓信息，让目标物体得到网络更多的关注，增强了目标在杂乱背景中的空间轮廓特征，辅助目标分割以提升多目标追踪的性能。为了进一步挖掘同一追踪目标的视觉特征和时间维度上的隐含关联性，还通过Bi-LSTM模型在时间维度上从正向与反向两个顺序学习物体之间的时空隐含关联，辅助网络生成目标的追踪向量。
同时，基于轻量级的目标检测分割模型组成的多目标跟踪模型的体积更小，无需依赖较高性能的显卡，更便于在车载平台上实现。
另外，请参照表2，表2为本申请实施例提供的由不同类型的算法模型组成的多目标追踪模型的性能对比。
Figure BDA0002811841650000151
表2
根据表2记载的内容可以看出，主干网采用Resnet50、时序模块选用Bi-LSTM、向量模块选用RPN模型时的性能和FPS得到了平衡，既保证了一定的运算精度和运算速率，也无需依赖较高性能的显卡。
请参照图8，图8为本申请实施例提供的多目标追踪装置110的功能模块图，多目标追踪装置110应用于图1中的电子设备10，包括：
分割模块1101，用于通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果；
追踪向量生成模块1102，用于通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量；
相似度匹配模块1103，用于通过预设的目标追踪模型对所述待追踪目标的追踪向量进行帧间相似度计算，将相似度大于预设阈值的待追踪目标作为同一待追踪目标，实现对所述待追踪目标的追踪。
在一种可选地实施方式中，所述分割模块包括：
特征提取子模块，用于通过卷积神经主干网络对输入的待处理图像进行特征提取，获得所述待处理图像的归一化特征信息。
分割结果获取子模块，用于通过候选区域生成模型对所述归一化特征信息进行处理，获得所述待处理图像中的待追踪目标的分割结果，其中，所述待追踪目标的分割结果包括目标类别、各个目标类别的检测置信度、检测框及分割掩码。
值得说明的是，多目标追踪装置110中各个模块的工作原理及流程可参照前述提供的多目标追踪方法，在此不再赘述。
可选地，本申请实施例还提供了一种存储介质，存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的多目标追踪方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种多目标追踪方法，其特征在于，所述方法包括：
通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果；
通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量；
通过预设的目标追踪模型对所述待追踪目标的追踪向量进行帧间相似度计算，将相似度大于预设阈值的待追踪目标作为同一待追踪目标，实现对所述待追踪目标的追踪。
2.根据权利要求1所述的方法，其特征在于，所述目标检测分割模型包括卷积神经主干网络和候选区域生成模型，所述卷积神经主干网络包括轮廓归一化模型及卷积神经网络，通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果，包括：
通过所述卷积神经主干网络对输入的待处理图像进行特征提取，获得所述待处理图像的归一化特征信息；
通过候选区域生成模型对所述归一化特征信息进行处理，获得所述待处理图像中的待追踪目标的分割结果，其中，所述待追踪目标的分割结果包括目标类别、各个目标类别的检测置信度、检测框及分割掩码。
3.根据权利要求2所述的方法，其特征在于，所述目标检测分割模型还包括双向长短期记忆人工神经网络，在通过候选区域生成模型对所述特征信息进行处理之前，所述方法还包括：
将所述卷积神经主干网络提取的特征信息输入至所述双向长短期记忆人工神经网络进行帧间时空特征增强处理，使得输出所述待处理图像的卷积特征包含帧间关联的特征信息。
4.根据权利要求1所述的方法，其特征在于，所述通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量，包括：
将所述待追踪目标的分割结果中的分割掩码输入至所述追踪向量生成算法中进行运算，为所述待追踪目标生成追踪向量。
5.根据权利要求2所述的方法，其特征在于，所述卷积神经主干网络包括卷积神经网络及多个轮廓归一化模型，所述卷积神经网络包括多个卷积层，每个所述卷积层后设置有一个所述轮廓归一化模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括训练所述目标追踪模型的步骤，所述步骤包括：
将被标记好的多个训练样本输入至追踪算法模型运算，获得实际输出的追踪结果；
根据实际输出的追踪结果的评估结果调整网络参数，并将多个所述训练样本输入网络参数调整后的追踪算法模型进行运算，获得更新后的实际输出的追踪结果；
重复上述步骤，当所述实际输出的追踪结果的评估结果最优时结束训练，将结束训练时的网络参数作为目标追踪模型的网络参数。
7.根据权利要求6所述的方法，其特征在于，所述将被标记好的多个训练样本输入至追踪算法模型运算，获得实际输出的追踪结果，包括：
针对所述训练样本的每一帧图像，计算所述训练样本的当前帧图像中各个待追踪目标的追踪向量和前一帧图像中各个待追踪目标的追踪向量的相似矩阵；
根据所述相似矩阵计算所述当前帧图像和上一帧图像中的各个待追踪目标的相似度；
获得所述相似度大于预设阈值的待追踪目标，并将所述相似度大于预设阈值且相似度最高的待追踪目标作为实际输出的追踪结果。
8.一种多目标追踪装置，其特征在于，所述装置包括：
分割模块，用于通过目标检测分割模型对待处理图像进行目标检测及分割处理，以获得所述待处理图像中的待追踪目标的分割结果；
追踪向量生成模块，用于通过追踪向量生成算法对所述待追踪目标的分割结果进行运算，生成所述待追踪目标的追踪向量；
相似度匹配模块，用于通过预设的目标追踪模型对所述待追踪目标的追踪向量进行帧间相似度计算，将相似度大于预设阈值的待追踪目标作为同一待追踪目标，实现对所述待追踪目标的追踪。
9.根据权利要求8所述的装置，其特征在于，所述目标检测分割模型包括卷积神经主干网络和候选区域生成模型，所述卷积神经主干网络包括轮廓归一化模型及卷积神经网络，所述分割模块包括：
特征提取子模块，用于通过所述卷积神经主干网络对输入的待处理图像进行特征提取，获得所述待处理图像的归一化特征信息；
分割结果获取子模块，用于通过候选区域生成模型对所述归一化特征信息进行处理，获得所述待处理图像中的待追踪目标的分割结果，其中，所述待追踪目标的分割结果包括目标类别、各个目标类别的检测置信度、检测框及分割掩码。
10.根据权利要求9所述的装置，其特征在于，所述卷积神经主干网络包括卷积神经网络及多个轮廓归一化模型，所述卷积神经网络包括多个卷积层，每个所述卷积层后设置有一个所述轮廓归一化模型。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一项所述的方法。
12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。
CN202011389061.3A 2020-12-02 2020-12-02 多目标追踪方法、装置、电子设备和存储介质 Active CN112529934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011389061.3A CN112529934B (zh) 2020-12-02 2020-12-02 多目标追踪方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011389061.3A CN112529934B (zh) 2020-12-02 2020-12-02 多目标追踪方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112529934A true CN112529934A (zh) 2021-03-19
CN112529934B CN112529934B (zh) 2023-12-19

Family

ID=74996146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011389061.3A Active CN112529934B (zh) 2020-12-02 2020-12-02 多目标追踪方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112529934B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536989A (zh) * 2021-06-29 2021-10-22 广州博通信息技术有限公司 基于摄像视频逐帧分析的制冷机结霜监控方法及系统
CN113724293A (zh) * 2021-08-23 2021-11-30 上海电科智能系统股份有限公司 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
CN113793371A (zh) * 2021-08-23 2021-12-14 北京航空航天大学杭州创新研究院 目标分割追踪方法、装置、电子设备和存储介质
CN114155277A (zh) * 2021-11-24 2022-03-08 清华大学 一种基于视频目标追踪的微流体分析方法及装置
CN114764897A (zh) * 2022-03-29 2022-07-19 深圳市移卡科技有限公司 行为识别方法、装置、终端设备以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214238A (zh) * 2017-06-30 2019-01-15 百度在线网络技术（北京）有限公司 多目标跟踪方法、装置、设备及存储介质
CN109711338A (zh) * 2018-12-26 2019-05-03 上海交通大学 利用光流指导特征融合的物体实例分割方法
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技（深圳）有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN110738667A (zh) * 2019-09-25 2020-01-31 北京影谱科技股份有限公司 一种基于动态场景的rgb-d slam方法和系统
US20200097754A1 (en) * 2018-09-25 2020-03-26 Honda Motor Co., Ltd. Training saliency
US20200118423A1 (en) * 2017-04-05 2020-04-16 Carnegie Mellon University Deep Learning Methods For Estimating Density and/or Flow of Objects, and Related Methods and Software
CN111127513A (zh) * 2019-12-02 2020-05-08 北京交通大学 一种多目标跟踪方法
CN111507215A (zh) * 2020-04-08 2020-08-07 常熟理工学院 基于时空卷积循环神经网络与空洞卷积的视频目标分割方法
CN111563404A (zh) * 2019-12-31 2020-08-21 北京大学 用于基于视频的人再识别的全局局部时间表示方法
US20200320659A1 (en) * 2019-04-05 2020-10-08 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns
US20200334830A1 (en) * 2018-06-20 2020-10-22 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for processing video image
CN111814661A (zh) * 2020-07-07 2020-10-23 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法
CN111860504A (zh) * 2020-07-20 2020-10-30 青岛科技大学 基于深度学习的视觉多目标跟踪方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200118423A1 (en) * 2017-04-05 2020-04-16 Carnegie Mellon University Deep Learning Methods For Estimating Density and/or Flow of Objects, and Related Methods and Software
CN109214238A (zh) * 2017-06-30 2019-01-15 百度在线网络技术（北京）有限公司 多目标跟踪方法、装置、设备及存储介质
US20200334830A1 (en) * 2018-06-20 2020-10-22 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for processing video image
US20200097754A1 (en) * 2018-09-25 2020-03-26 Honda Motor Co., Ltd. Training saliency
CN109711338A (zh) * 2018-12-26 2019-05-03 上海交通大学 利用光流指导特征融合的物体实例分割方法
US20200320659A1 (en) * 2019-04-05 2020-10-08 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技（深圳）有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN110738667A (zh) * 2019-09-25 2020-01-31 北京影谱科技股份有限公司 一种基于动态场景的rgb-d slam方法和系统
CN111127513A (zh) * 2019-12-02 2020-05-08 北京交通大学 一种多目标跟踪方法
CN111563404A (zh) * 2019-12-31 2020-08-21 北京大学 用于基于视频的人再识别的全局局部时间表示方法
CN111507215A (zh) * 2020-04-08 2020-08-07 常熟理工学院 基于时空卷积循环神经网络与空洞卷积的视频目标分割方法
CN111814661A (zh) * 2020-07-07 2020-10-23 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法
CN111860504A (zh) * 2020-07-20 2020-10-30 青岛科技大学 基于深度学习的视觉多目标跟踪方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GIOELE CIAPARRONE ETC.: "Deep learning in video multi-object tracking: A survey", NEUROCOMPUTING *
张静;王文杰;: "基于多信息融合的多目标跟踪方法研究", 计算机测量与控制, no. 09 *
欧阳真超等: "基于IPv6校园环境车辆行驶行为建模与分析", 华中科技大学学报(自然科学版） *
胡志军;徐勇;: "基于内容的视频检索综述", 计算机科学, no. 01 *
闫福刚: "基于深度学习的前方多车辆目标跟踪方法研究", 中国优秀硕士学位论文全文数据库 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536989A (zh) * 2021-06-29 2021-10-22 广州博通信息技术有限公司 基于摄像视频逐帧分析的制冷机结霜监控方法及系统
CN113724293A (zh) * 2021-08-23 2021-11-30 上海电科智能系统股份有限公司 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
CN113793371A (zh) * 2021-08-23 2021-12-14 北京航空航天大学杭州创新研究院 目标分割追踪方法、装置、电子设备和存储介质
CN113793371B (zh) * 2021-08-23 2023-10-24 北京航空航天大学杭州创新研究院 目标分割追踪方法、装置、电子设备和存储介质
CN114155277A (zh) * 2021-11-24 2022-03-08 清华大学 一种基于视频目标追踪的微流体分析方法及装置
CN114155277B (zh) * 2021-11-24 2024-07-23 清华大学 一种基于视频目标追踪的微流体分析方法及装置
CN114764897A (zh) * 2022-03-29 2022-07-19 深圳市移卡科技有限公司 行为识别方法、装置、终端设备以及存储介质

Also Published As

Publication number Publication date
CN112529934B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN112529934B (zh) 多目标追踪方法、装置、电子设备和存储介质
Chen et al. Real time object detection, tracking, and distance and motion estimation based on deep learning: Application to smart mobility
Geiger et al. 3d traffic scene understanding from movable platforms
US8958600B2 (en) Monocular 3D pose estimation and tracking by detection
US11302110B2 (en) Pedestrian action recognition and localization using RGB images
US11508157B2 (en) Device and method of objective identification and driving assistance device
CN108288047A (zh) 一种行人/车辆检测方法
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
Maity et al. Last decade in vehicle detection and classification: a comprehensive survey
Getahun et al. A deep learning approach for lane detection
US20230021591A1 (en) Model generation method, model generation apparatus, non-transitory storage medium, mobile object posture estimation method, and mobile object posture estimation apparatus
CN114170516A (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
CN117036417A (zh) 基于时空模板更新的多尺度Transformer目标跟踪方法
CN116630932A (zh) 一种基于改进yolov5的道路遮挡目标检测方法
WO2019037863A1 (en) SYSTEM AND METHOD FOR TAG INCREASE IN VIDEO DATA
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
Onkarappa et al. On-board monocular vision system pose estimation through a dense optical flow
Wachs et al. Human posture recognition for intelligent vehicles
CN112418157B (zh) 基于差分神经网络和图像序列数据的车速识别方法及装置
CN114445787A (zh) 非机动车重识别方法及相关设备
CN114898304A (zh) 一种车辆追踪方法、装置、路侧设备及网络侧设备
CN112634331A (zh) 一种光流预测方法及装置
Zhou et al. An anti-occlusion tracking system for UAV imagery based on Discriminative Scale Space Tracker and Optical Flow
Zhang et al. Vehicle motion detection using CNN
Hu et al. An Improved Algorithm for Moving Object Detection in YOLO UAV Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant