CN109214238A - 多目标跟踪方法、装置、设备及存储介质 - Google Patents

多目标跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109214238A
CN109214238A CN201710521291.2A CN201710521291A CN109214238A CN 109214238 A CN109214238 A CN 109214238A CN 201710521291 A CN201710521291 A CN 201710521291A CN 109214238 A CN109214238 A CN 109214238A
Authority
CN
China
Prior art keywords
similarity
target
clarification
image
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710521291.2A
Other languages
English (en)
Other versions
CN109214238B (zh
Inventor
高涵
万吉
夏添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710521291.2A priority Critical patent/CN109214238B/zh
Priority to US16/012,569 priority patent/US10810748B2/en
Publication of CN109214238A publication Critical patent/CN109214238A/zh
Application granted granted Critical
Publication of CN109214238B publication Critical patent/CN109214238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了多目标跟踪方法、装置、设备及存储介质，其中方法包括：获取待处理的当前图像，将当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；从预先选定的卷积层中分别抽取出检测到的各目标的特征向量；分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。应用本发明所述方案，能够满足实时处理的要求等。

Description

多目标跟踪方法、装置、设备及存储介质
【技术领域】
本发明涉及计算机应用技术，特别涉及多目标跟踪方法、装置、设备及存储介质。
【背景技术】
视觉多目标跟踪是视觉障碍物检测的关键技术之一，主要功能是在连续图像帧内，给同一个目标分配同一个编号，以估计每个目标的运动轨迹。
跟踪算法通常采用Tracking by Detection的方式，即跟踪过程强依赖于检测结果，实现流程主要包括：进行目标检测、进行帧间检测结果的数据关联以及为目标分配编号。
其中，数据关联作为跟踪过程中的一个重要环节，其性能将直接影响到跟踪质量的好坏，数据关联的速度将直接影响到跟踪算法是否能够成为实时在线算法。
数据关联的操作通常包括：对目标检测结果进行特征提取，利用提取出的特征计算不同目标之间的相似度，进而求解分配问题，即利用各个目标的相似度矩阵找到最优分配，从而完成目标的关联。
常用的特征提取方式为：提取光流特征，如尺度不变特征变化(SIFT，ScaleInvariant Feature Transform)特征等，针对检测到的每个目标，分别提取多个特征，组成特征向量，进而计算特征向量之间的余弦相似度。
采用上述方式，虽然会取得不错的跟踪效果，但是描述越好的特征，计算速度越慢，如SIFT特征具有很强的描述能力，但是提取SIFT特征的过程会非常耗时，从而无法满足多目标跟踪中实时处理的要求。
【发明内容】
有鉴于此，本发明提供了多目标跟踪方法、装置、设备及存储介质，能够满足实时处理的要求。
具体技术方案如下：
一种多目标跟踪方法，包括：
获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；
从预先选定的卷积层中分别抽取出检测到的各目标的特征向量；
分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
根据本发明一优选实施例，所述获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果之前，进一步包括：
获取作为训练数据的图像，并分别获取作为训练数据的每帧图像中的各目标的标注结果；
根据作为训练数据的各图像以及其中的各目标的标注结果，训练得到所述卷积神经网络模型。
根据本发明一优选实施例，所述从预先选定的卷积层中分别抽取出检测到的各目标的特征向量包括：
针对检测到的每个目标，分别进行以下处理：
找出所述目标在所述选定的卷积层中对应的区域；
通过roi pooling的方式将所述区域对应的卷积特征取出；
对取出的卷积特征进行归一化，得到所述目标的特征向量。
根据本发明一优选实施例，所述分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度包括：
针对检测到的每个目标，分别根据预先训练得到的相似度评估模型，计算出所述目标的特征向量与之前的图像中各目标的特征向量之间的相似度。
根据本发明一优选实施例，所述获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果之前，进一步包括：
获取作为训练数据的各目标及对应的特征向量；
按照来自同一目标的特征向量之间的相似度大于来自不同目标的特征向量之间的相似度的原则，训练得到所述相似度评估模型。
根据本发明一优选实施例，
所述相似度评估模型为：similarity(x,z)＝xTθz；
其中，x和z分别表示两个特征向量；
θ表示训练出的相似度参数；
similarity(x,z)表示计算出的相似度。
一种多目标跟踪装置，包括：第一跟踪单元以及第二跟踪单元；
所述第一跟踪单元，用于获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；
所述第二跟踪单元，用于从预先选定的卷积层中分别抽取出检测到的各目标的特征向量，分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
根据本发明一优选实施例，所述装置中进一步包括：第一预处理单元；
所述第一预处理单元，用于获取作为训练数据的图像，并分别获取作为训练数据的每帧图像中的各目标的标注结果，根据作为训练数据的各图像以及其中的各目标的标注结果，训练得到所述卷积神经网络模型。
根据本发明一优选实施例，所述第二跟踪单元针对检测到的每个目标，分别进行以下处理：
找出所述目标在所述选定的卷积层中对应的区域；
通过roi pooling的方式将所述区域对应的卷积特征取出；
对取出的卷积特征进行归一化，得到所述目标的特征向量。
根据本发明一优选实施例，所述第二跟踪单元针对检测到的每个目标，分别根据预先训练得到的相似度评估模型，计算出所述目标的特征向量与之前的图像中各目标的特征向量之间的相似度。
根据本发明一优选实施例，所述装置中进一步包括：第二预处理单元；
所述第二预处理单元，用于获取作为训练数据的各目标及对应的特征向量，按照来自同一目标的特征向量之间的相似度大于来自不同目标的特征向量之间的相似度的原则，训练得到所述相似度评估模型。
根据本发明一优选实施例，
所述相似度评估模型为：similarity(x,z)＝xTθz；
其中，x和z分别表示两个特征向量；
θ表示训练出的相似度参数；
similarity(x,z)表示计算出的相似度。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，可预先训练得到卷积神经网络模型，这样，在获取到待处理的当前图像后，可将当前图像输入给卷积神经网络模型，从而得到目标检测结果，之后可从预先选定的卷积层中分别抽取出检测到的各目标的特征向量，并分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，进而根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号，相比于现有技术，本发明所述方案中使用了卷积神经网络中的卷积特征作为目标的特征，当检测完成后，相应地即可获取到所需的特征，从而省去了再次提取特征所耗费的时间，极大地提升了处理速度，进而能够满足多目标跟踪中实时处理的要求。
【附图说明】
图1为本发明所述多目标跟踪方法实施例的流程图。
图2为本发明所述多目标跟踪装置实施例的组成结构示意图。
图3示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述多目标跟踪方法实施例的流程图，如图1所示，包括以下具体实现方式：
在101中，获取待处理的当前图像，将当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；
在102中，从预先选定的卷积层中分别抽取出检测到的各目标的特征向量；
在103中，分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
可以看出，为实现上述方案，需要预先训练得到一个卷积神经网络模型，这样，在获取到待处理的当前图像之后，即可利用卷积神经网络模型来对当前图像进行目标检测，从而得到目标检测结果。
在得到目标检测结果之后，可根据选定的卷积层的特征，分别生成检测到的各目标的特征向量。
进一步地，可分别计算出检测到的各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，进而按照现有技术，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
其中，为了更好地评估不同特征向量之间的相似度，还可预先训练得到一个相似度评估模型。
以下分别对上述各部分的具体实现进行详细说明。
一)卷积神经网络模型
为得到卷积神经网络模型，需要首先获取训练数据。
比如，可获取作为训练数据的图像，并分别获取作为训练数据的每帧图像中的各目标的标注结果。
各目标的标注结果可以为人工标注结果，也可以为机器标注结果，不作限制。
之后，可根据作为训练数据的各图像以及其中的各目标的标注结果，训练得到卷积神经网络模型。
二)目标检测
在训练得到卷积神经网络模型之后，即可利用卷积神经网络模型来进行实际的目标检测。
即获取待处理的当前图像，将当前图像输入给卷积神经网络模型，从而得到卷积神经网络模型输出的目标检测结果，如可用检测框框出检测到的各目标。
基于卷积神经网络模型作检测的过程，可以看作是深度网络先提取能更好区分目标的特征，然后用这些特征将目标区分出来。因此，卷积神经网络中的每一个卷积层均可以看作是一种特征，其中，越靠近输入图像的层，特征中包含图像本身的信息越多，越靠近输出结果的层，特征中包含的抽象信息越多。
三)特征向量生成
在根据卷积神经网络模型得到当前图像的目标检测结果之后，可进一步从预先选定的卷积层中分别抽取出检测到的各目标的特征向量。
具体地，针对检测到的每个目标，可分别进行以下处理：找出该目标在选定的卷积层中对应的区域；通过roi pooling的方式将该区域对应的卷积特征取出；对取出的卷积特征进行归一化，得到该目标的特征向量。
如何获取选定的卷积层可根据实际情况而定，比如，在卷积神经网络模型训练完成之后，可分别判断从哪一层提取卷积特征计算出的相似度效果更好，进而将这一层作为选定的卷积层。
在选定卷积层之后，针对检测到的每个目标，可首先找出该目标在选定的卷积层中对应的区域，进而可通过roi pooling的方式，将该区域对应的卷积特征取出，并对取出的卷积特征进行归一化处理后作为该目标的特征向量。
如何找出该目标在选定的卷积层中对应的区域以及roi pooling的具体实现方式均为现有技术。
四)相似度评估模型
本实施例中，训练得到一个相似度评估模型，利用相似度评估模型来计算不同目标的特征向量之间的相似度。
为此，需要首先获取作为训练数据的各目标及对应的特征向量，获取方式可参照前述说明。
之后，可按照来自同一目标的特征向量之间的相似度大于来自不同目标的特征向量之间的相似度的原则，训练得到相似度评估模型。
较佳地，相似度评估模型可为：similarity(x,z)＝xTθz；
其中，x和z分别表示两个特征向量，满足‖x‖＝‖z‖＝1，θ表示训练出的相似度参数，similarity(x,z)表示计算出的相似度。
训练上述模型的过程即为学习过程，学习目标为：对于特征向量x、y、z，其中x与y是来自同一目标的特征向量，x与z是来自不同目标的特征向量，那么则有：similarity(x,y)>similarity(x,z)。
比如，目标A分别出现在了相邻的两帧图像中，针对这两帧图像中的目标A，可分别得到一个特征向量，那么这两个特征向量即为来自同一目标的特征向量。
通过大量训练数据训练后，θ可以将相同目标或不同目标的特征向量很好地分离，从而达到表征目标相似度的需求。
五)相似度计算
针对检测到的每个目标，可分别根据训练得到的相似度评估模型，计算出该目标的特征向量与之前的图像中各目标的特征向量之间的相似度，进而根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
比如，可针对检测到的每个目标，分别进行以下处理：针对在当前图像之前获取到的连续N帧图像中的每帧图像i，分别计算出该目标的特征向量与图像i中检测到的各目标的特征向量之间的相似度，N为正整数，具体取值可根据实际需要而定，。
之后，可根据计算结果生成各目标的相似度矩阵，并利用各目标的相似度矩阵找到最优分配，从而为各目标分配编号等，具体实现均为现有技术。
需要说明的是，对于前述的方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
总之，采用上述方法实施例所述方案，可预先训练得到卷积神经网络模型和相似度评估模型，这样，在获取到待处理的当前图像后，可将当前图像输入给卷积神经网络模型，从而得到目标检测结果，之后可从预先选定的卷积层中分别抽取出检测到的各目标的特征向量，并可根据相似度评估模型，分别计算出当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，进而根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号，相比于现有技术，本方法实施例所述方案中使用了卷积神经网络中的卷积特征作为目标的特征，当检测完成后，相应地即可获取到所需的特征，从而省去了再次提取特征所耗费的时间，并且将相似度计算的操作简化为了两次矩阵乘法，从而极大地提升了处理速度，进而能够满足多目标跟踪中实时处理的要求，测试显示，对于包含10个目标的图像，跟踪耗时只需3ms，完全能够满足多目标跟踪中实时处理的要求。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图2为本发明所述多目标跟踪装置实施例的组成结构示意图，如图2所示，包括：第一跟踪单元201以及第二跟踪单元202。
第一跟踪单元201，用于获取待处理的当前图像，将当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果。
第二跟踪单元202，用于从预先选定的卷积层中分别抽取出检测到的各目标的特征向量，分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
可以看出，为实现上述方案，需要预先训练得到一个卷积神经网络模型，这样，在获取到待处理的当前图像之后，即可利用卷积神经网络模型来对当前图像进行目标检测，从而得到目标检测结果。
另外，为了更好地评估不同特征向量之间的相似度，还要预先训练得到一个相似度评估模型。
相应地，图2所示装置中可进一步包括：第一预处理单元203以及第二预处理单元204。
第一预处理单元203获取作为训练数据的图像，并分别获取作为训练数据的每帧图像中的各目标的标注结果，根据作为训练数据的各图像以及其中的各目标的标注结果，训练得到卷积神经网络模型。
第二预处理单元204获取作为训练数据的各目标及对应的特征向量，按照来自同一目标的特征向量之间的相似度大于来自不同目标的特征向量之间的相似度的原则，训练得到相似度评估模型。
比如，相似度评估模型可为：similarity(x,z)＝xTθz；
其中，x和z分别表示两个特征向量；
θ表示训练出的相似度参数；
similarity(x,z)表示计算出的相似度。
在完成以上两个模型的训练之后，即可进行实际的多目标跟踪。
其中，第一跟踪单元201获取待处理的当前图像，将当前图像输入给卷积神经网络模型，从而得到目标检测结果。
基于卷积神经网络模型作检测的过程，可以看作是深度网络先提取能更好区分目标的特征，然后用这些特征将目标区分出来。因此，卷积神经网络中的每一个卷积层均可以看作是一种特征，其中，越靠近输入图像的层，特征中包含图像本身的信息越多，越靠近输出结果的层，特征中包含的抽象信息越多。
第二跟踪单元202可针对检测到的每个目标，分别进行以下处理：找出该目标在选定的卷积层中对应的区域；通过roi pooling的方式将该区域对应的卷积特征取出；对取出的卷积特征进行归一化，得到该目标的特征向量。
通过上述方式，可分别获取到检测到的每个目标的特征向量。
之后，第二跟踪单元202可针对检测到的每个目标，分别根据相似度评估模型，计算出该目标的特征向量与之前的图像中各目标的特征向量之间的相似度。
进一步地，第二跟踪单元202可根据计算结果生成各目标的相似度矩阵，并利用各目标的相似度矩阵找到最优分配，从而为各目标分配编号等，具体实现均为现有技术。
图2所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。
总之，采用上述装置实施例所述方案，可预先训练得到卷积神经网络模型和相似度评估模型，这样，在获取到待处理的当前图像后，可将当前图像输入给卷积神经网络模型，从而得到目标检测结果，之后可从预先选定的卷积层中分别抽取出检测到的各目标的特征向量，并可根据相似度评估模型，分别计算出当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，进而根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号，相比于现有技术，本装置实施例所述方案中使用了卷积神经网络中的卷积特征作为目标的特征，当检测完成后，相应地即可获取到所需的特征，从而省去了再次提取特征所耗费的时间，并且将相似度计算的操作简化为了两次矩阵乘法，从而极大地提升了处理速度，进而能够满足多目标跟踪中实时处理的要求，测试显示，对于包含10个目标的图像，跟踪耗时只需3ms，完全能够满足多目标跟踪中实时处理的要求。
图3示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图3显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法，即：获取待处理的当前图像，将当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；从预先选定的卷积层中分别抽取出检测到的各目标的特征向量；分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
具体实现请参照前述各实施例中的相关说明，不再赘述。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种多目标跟踪方法，其特征在于，包括：
获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；
从预先选定的卷积层中分别抽取出检测到的各目标的特征向量；
分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
2.根据权利要求1所述的方法，其特征在于，
所述获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果之前，进一步包括：
获取作为训练数据的图像，并分别获取作为训练数据的每帧图像中的各目标的标注结果；
根据作为训练数据的各图像以及其中的各目标的标注结果，训练得到所述卷积神经网络模型。
3.根据权利要求1所述的方法，其特征在于，
所述从预先选定的卷积层中分别抽取出检测到的各目标的特征向量包括：
针对检测到的每个目标，分别进行以下处理：
找出所述目标在所述选定的卷积层中对应的区域；
通过roi pooling的方式将所述区域对应的卷积特征取出；
对取出的卷积特征进行归一化，得到所述目标的特征向量。
4.根据权利要求1所述的方法，其特征在于，
所述分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度包括：
针对检测到的每个目标，分别根据预先训练得到的相似度评估模型，计算出所述目标的特征向量与之前的图像中各目标的特征向量之间的相似度。
5.根据权利要求4所述的方法，其特征在于，
所述获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果之前，进一步包括：
获取作为训练数据的各目标及对应的特征向量；
按照来自同一目标的特征向量之间的相似度大于来自不同目标的特征向量之间的相似度的原则，训练得到所述相似度评估模型。
6.根据权利要求5所述的方法，其特征在于，
所述相似度评估模型为：similarity(x,z)＝xTθz；
其中，x和z分别表示两个特征向量；
θ表示训练出的相似度参数；
similarity(x,z)表示计算出的相似度。
7.一种多目标跟踪装置，其特征在于，包括：第一跟踪单元以及第二跟踪单元；
所述第一跟踪单元，用于获取待处理的当前图像，将所述当前图像输入给预先训练得到的卷积神经网络模型，得到目标检测结果；
所述第二跟踪单元，用于从预先选定的卷积层中分别抽取出检测到的各目标的特征向量，分别计算当前图像中各目标的特征向量与之前的图像中各目标的特征向量之间的相似度，根据计算结果完成同一目标在不同图像帧间的关联，并分配跟踪编号。
8.根据权利要求7所述的装置，其特征在于，
所述装置中进一步包括：第一预处理单元；
所述第一预处理单元，用于获取作为训练数据的图像，并分别获取作为训练数据的每帧图像中的各目标的标注结果，根据作为训练数据的各图像以及其中的各目标的标注结果，训练得到所述卷积神经网络模型。
9.根据权利要求7所述的装置，其特征在于，
所述第二跟踪单元针对检测到的每个目标，分别进行以下处理：
找出所述目标在所述选定的卷积层中对应的区域；
通过roi pooling的方式将所述区域对应的卷积特征取出；
对取出的卷积特征进行归一化，得到所述目标的特征向量。
10.根据权利要求7所述的装置，其特征在于，
所述第二跟踪单元针对检测到的每个目标，分别根据预先训练得到的相似度评估模型，计算出所述目标的特征向量与之前的图像中各目标的特征向量之间的相似度。
11.根据权利要求10所述的装置，其特征在于，
所述装置中进一步包括：第二预处理单元；
所述第二预处理单元，用于获取作为训练数据的各目标及对应的特征向量，按照来自同一目标的特征向量之间的相似度大于来自不同目标的特征向量之间的相似度的原则，训练得到所述相似度评估模型。
12.根据权利要求11所述的装置，其特征在于，
所述相似度评估模型为：similarity(x,z)＝xTθz；
其中，x和z分别表示两个特征向量；
θ表示训练出的相似度参数；
similarity(x,z)表示计算出的相似度。
13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN201710521291.2A 2017-06-30 2017-06-30 多目标跟踪方法、装置、设备及存储介质 Active CN109214238B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710521291.2A CN109214238B (zh) 2017-06-30 2017-06-30 多目标跟踪方法、装置、设备及存储介质
US16/012,569 US10810748B2 (en) 2017-06-30 2018-06-19 Multiple targets—tracking method and apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710521291.2A CN109214238B (zh) 2017-06-30 2017-06-30 多目标跟踪方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109214238A true CN109214238A (zh) 2019-01-15
CN109214238B CN109214238B (zh) 2022-06-28

Family

ID=64738936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710521291.2A Active CN109214238B (zh) 2017-06-30 2017-06-30 多目标跟踪方法、装置、设备及存储介质

Country Status (2)

Country Link
US (1) US10810748B2 (zh)
CN (1) CN109214238B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223320A (zh) * 2019-05-08 2019-09-10 北京百度网讯科技有限公司 物体检测跟踪方法和检测跟踪装置
CN110428442A (zh) * 2019-08-07 2019-11-08 北京百度网讯科技有限公司 目标确定方法、目标确定系统和监控安防系统
CN110674837A (zh) * 2019-08-15 2020-01-10 深圳壹账通智能科技有限公司 视频相似度获取方法、装置、计算机设备及存储介质
CN110990285A (zh) * 2019-12-09 2020-04-10 广州品唯软件有限公司 一种ui自动化测试方法及装置
CN110991283A (zh) * 2019-11-21 2020-04-10 北京格灵深瞳信息技术有限公司 重识别及训练数据获取方法、装置、电子设备及存储介质
CN111008140A (zh) * 2019-12-09 2020-04-14 广州品唯软件有限公司 一种跨平台的ui自动化测试方法及装置
CN111126274A (zh) * 2019-12-24 2020-05-08 深圳市检验检疫科学研究院 入境目标人群的检测方法、装置、设备及介质
CN111145173A (zh) * 2019-12-31 2020-05-12 上海联影医疗科技有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN111354023A (zh) * 2020-03-09 2020-06-30 中振同辂(江苏)机器人有限公司 一种基于摄像头的视觉多目标跟踪方法
CN111598923A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN112115760A (zh) * 2019-06-20 2020-12-22 和硕联合科技股份有限公司 物件检测系统及物件检测方法
CN112150508A (zh) * 2020-09-29 2020-12-29 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备
CN112529934A (zh) * 2020-12-02 2021-03-19 北京航空航天大学杭州创新研究院 多目标追踪方法、装置、电子设备和存储介质
CN112907628A (zh) * 2021-02-09 2021-06-04 北京有竹居网络技术有限公司 视频目标追踪方法、装置、存储介质及电子设备
CN113051437A (zh) * 2019-12-28 2021-06-29 浙江宇视科技有限公司 一种目标去重方法、装置、电子设备和存储介质
WO2021142571A1 (zh) * 2020-01-13 2021-07-22 深圳大学 一种孪生双路目标跟踪方法
CN113344826A (zh) * 2021-07-06 2021-09-03 北京锐安科技有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769485B2 (en) * 2018-06-19 2020-09-08 Himax Technologies Limited Framebuffer-less system and method of convolutional neural network
US10460235B1 (en) 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks
US11474978B2 (en) 2018-07-06 2022-10-18 Capital One Services, Llc Systems and methods for a data search engine based on data profiles
CN111488890B (zh) * 2019-01-09 2024-04-09 北京京东乾石科技有限公司 一种物品检测模型的训练方法和装置
CN111428729A (zh) * 2019-01-09 2020-07-17 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN109872362B (zh) * 2019-01-18 2023-08-08 腾讯科技（深圳）有限公司 一种目标检测方法及装置
CN109934849B (zh) * 2019-03-08 2022-05-31 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法
CN111753581A (zh) * 2019-03-27 2020-10-09 虹软科技股份有限公司 目标检测方法和装置
CN111832368B (zh) * 2019-04-23 2024-09-13 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用
CN112034450A (zh) * 2019-06-03 2020-12-04 富士通株式会社 物品检测方法和装置
CN110188231A (zh) * 2019-06-11 2019-08-30 上海德拓信息技术股份有限公司 图片中相似物体检索方法及装置
CN110321447A (zh) * 2019-07-08 2019-10-11 北京字节跳动网络技术有限公司 重复图像的确定方法、装置、电子设备及存储介质
CN112308102B (zh) * 2019-08-01 2022-05-17 北京易真学思教育科技有限公司 图像相似度计算方法、计算装置及存储介质
CN110555861B (zh) * 2019-08-09 2023-04-25 北京字节跳动网络技术有限公司 光流计算方法、装置及电子设备
CN110443322A (zh) * 2019-08-16 2019-11-12 北京知道创宇信息技术股份有限公司 图像处理方法、装置、服务器及可读存储介质
CN110619602B (zh) * 2019-09-25 2024-01-09 北京字节跳动网络技术有限公司 一种图像生成方法、装置、电子设备及存储介质
CN112686925A (zh) * 2019-10-18 2021-04-20 西安光启未来技术研究院 一种目标追踪方法和装置
CN112699707B (zh) * 2019-10-22 2024-05-28 阿里巴巴集团控股有限公司 一种视频检测方法、设备及存储介质
CN112784861B (zh) * 2019-11-07 2024-07-16 北京沃东天骏信息技术有限公司 相似度的确定方法、装置、电子设备和存储介质
CN110909677B (zh) * 2019-11-22 2024-04-02 国网安徽省电力有限公司检修分公司 多目标跟踪及行为分析的方法、系统及存储介质
CN111079828B (zh) * 2019-12-13 2023-10-20 北京因特睿软件有限公司 基于神经网络的图像聚类的方法、装置与存储介质
CN111046956A (zh) * 2019-12-13 2020-04-21 苏州科达科技股份有限公司 遮挡图像检测方法、装置、电子设备及存储介质
US11574200B2 (en) 2019-12-18 2023-02-07 W.S.C. Sports Technologies Ltd. System and method of determining a region of interest in media
CN111325737B (zh) * 2020-02-28 2024-03-15 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
CN111506510B (zh) * 2020-04-21 2023-08-08 腾讯科技（深圳）有限公司 一种软件质量确定方法和相关装置
CN111539991B (zh) * 2020-04-28 2023-10-20 北京市商汤科技开发有限公司 目标跟踪方法及装置、存储介质
US12127726B2 (en) 2020-04-30 2024-10-29 Samsung Electronics Co., Ltd. System and method for robust image-query understanding based on contextual features
CN111612820B (zh) * 2020-05-15 2023-10-13 北京百度网讯科技有限公司 多目标跟踪方法、特征提取模型的训练方法和装置
CN111652903B (zh) * 2020-05-22 2023-09-08 重庆理工大学 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法
CN112052868A (zh) * 2020-06-15 2020-12-08 上海集成电路研发中心有限公司 模型训练方法、图像相似度度量方法、终端及存储介质
CN111767847B (zh) * 2020-06-29 2023-06-09 佛山市南海区广工大数控装备协同创新研究院 一种集成目标检测和关联的行人多目标跟踪方法
CN111881840B (zh) * 2020-07-30 2023-09-22 北京交通大学 一种基于图网络的多目标跟踪方法
CN112053382A (zh) * 2020-08-04 2020-12-08 浙江大华技术股份有限公司 出入口监测方法、设备及计算机可读存储介质
CN112101344B (zh) * 2020-08-25 2022-09-06 腾讯科技（深圳）有限公司 一种视频文本跟踪方法及装置
CN112116008B (zh) * 2020-09-18 2024-07-05 平安科技（深圳）有限公司 基于智能决策的目标检测模型的处理方法、及其相关设备
CN112561961B (zh) * 2020-12-10 2024-11-05 北京三快在线科技有限公司 一种实例追踪的方法及装置
CN112561963A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 目标跟踪的方法、装置、路侧设备以及存储介质
EP4016377B1 (en) 2020-12-21 2024-10-09 Axis AB A device and a method for associating object detections between frames using a neural network
CN112733948B (zh) * 2021-01-15 2022-09-06 重庆紫光华山智安科技有限公司 一种全目标关联指标自动化测试方法、系统、介质及终端
CN112861830B (zh) * 2021-04-13 2023-08-25 北京百度网讯科技有限公司 特征提取方法、装置、设备、存储介质以及程序产品
CN113328908B (zh) * 2021-05-10 2022-07-26 广东电网有限责任公司广州供电局 异常数据的检测方法、装置、计算机设备和存储介质
CN113538516B (zh) * 2021-07-19 2024-04-16 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113569070B (zh) * 2021-07-24 2024-07-02 平安科技（深圳）有限公司 图像检测方法和装置、电子设备、存储介质
CN113762231B (zh) * 2021-11-10 2022-03-22 中电科新型智慧城市研究院有限公司 端对端的多行人姿态跟踪方法、装置及电子设备
CN114187508B (zh) * 2021-11-30 2024-10-22 武汉理工大学 基于动态卷积神经网络的火灾探测方法、装置及电子设备
CN114595758A (zh) * 2022-03-07 2022-06-07 卡奥斯工业智能研究院(青岛)有限公司 一种火焰检测方法、装置、设备和存储介质
CN115953434B (zh) * 2023-01-31 2023-12-19 北京百度网讯科技有限公司 轨迹匹配方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170447A (zh) * 2011-04-29 2011-08-31 南京邮电大学 一种基于最近邻及相似度测量检测钓鱼网页的方法
US20120166379A1 (en) * 2010-12-23 2012-06-28 Yahoo! Inc. Clustering cookies for identifying unique mobile devices
CN104951680A (zh) * 2014-03-27 2015-09-30 阿里巴巴集团控股有限公司 一种生物特征信息处理方法、保存方法及装置
CN105631899A (zh) * 2015-12-28 2016-06-01 哈尔滨工业大学 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN106127232A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 卷积神经网络训练方法和系统、对象分类方法和分类器
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106845411A (zh) * 2017-01-19 2017-06-13 清华大学 一种基于深度学习和概率图模型的视频描述生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
KR102251960B1 (ko) * 2015-01-15 2021-05-14 삼성전자주식회사 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
US10043058B2 (en) * 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
TWI607387B (zh) * 2016-11-25 2017-12-01 財團法人工業技術研究院 字符辨識系統及其字符辨識方法
US10204264B1 (en) * 2016-12-05 2019-02-12 Google Llc Systems and methods for dynamically scoring implicit user interaction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166379A1 (en) * 2010-12-23 2012-06-28 Yahoo! Inc. Clustering cookies for identifying unique mobile devices
CN102170447A (zh) * 2011-04-29 2011-08-31 南京邮电大学 一种基于最近邻及相似度测量检测钓鱼网页的方法
CN104951680A (zh) * 2014-03-27 2015-09-30 阿里巴巴集团控股有限公司 一种生物特征信息处理方法、保存方法及装置
CN105631899A (zh) * 2015-12-28 2016-06-01 哈尔滨工业大学 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN106127232A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 卷积神经网络训练方法和系统、对象分类方法和分类器
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106845411A (zh) * 2017-01-19 2017-06-13 清华大学 一种基于深度学习和概率图模型的视频描述生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲍彬彬，吴清强: "基于类内最小相似度自组织映射算法", 《厦门大学学报（自然科学版）》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223320B (zh) * 2019-05-08 2022-05-17 北京百度网讯科技有限公司 物体检测跟踪方法和检测跟踪装置
CN110223320A (zh) * 2019-05-08 2019-09-10 北京百度网讯科技有限公司 物体检测跟踪方法和检测跟踪装置
CN112115760A (zh) * 2019-06-20 2020-12-22 和硕联合科技股份有限公司 物件检测系统及物件检测方法
CN112115760B (zh) * 2019-06-20 2024-02-13 和硕联合科技股份有限公司 物件检测系统及物件检测方法
CN110428442B (zh) * 2019-08-07 2022-04-12 北京百度网讯科技有限公司 目标确定方法、目标确定系统和监控安防系统
CN110428442A (zh) * 2019-08-07 2019-11-08 北京百度网讯科技有限公司 目标确定方法、目标确定系统和监控安防系统
CN110674837A (zh) * 2019-08-15 2020-01-10 深圳壹账通智能科技有限公司 视频相似度获取方法、装置、计算机设备及存储介质
CN110991283A (zh) * 2019-11-21 2020-04-10 北京格灵深瞳信息技术有限公司 重识别及训练数据获取方法、装置、电子设备及存储介质
CN111008140B (zh) * 2019-12-09 2023-08-11 广州品唯软件有限公司 一种跨平台的ui自动化测试方法及装置
CN110990285B (zh) * 2019-12-09 2024-02-02 广州品唯软件有限公司 一种ui自动化测试方法及装置
CN111008140A (zh) * 2019-12-09 2020-04-14 广州品唯软件有限公司 一种跨平台的ui自动化测试方法及装置
CN110990285A (zh) * 2019-12-09 2020-04-10 广州品唯软件有限公司 一种ui自动化测试方法及装置
CN111126274A (zh) * 2019-12-24 2020-05-08 深圳市检验检疫科学研究院 入境目标人群的检测方法、装置、设备及介质
CN113051437B (zh) * 2019-12-28 2022-12-13 浙江宇视科技有限公司 一种目标去重方法、装置、电子设备和存储介质
CN113051437A (zh) * 2019-12-28 2021-06-29 浙江宇视科技有限公司 一种目标去重方法、装置、电子设备和存储介质
CN111145173B (zh) * 2019-12-31 2024-04-26 上海联影医疗科技股份有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN111145173A (zh) * 2019-12-31 2020-05-12 上海联影医疗科技有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
WO2021142571A1 (zh) * 2020-01-13 2021-07-22 深圳大学 一种孪生双路目标跟踪方法
CN111354023A (zh) * 2020-03-09 2020-06-30 中振同辂(江苏)机器人有限公司 一种基于摄像头的视觉多目标跟踪方法
CN111598923A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111598923B (zh) * 2020-05-08 2022-09-20 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN112150508A (zh) * 2020-09-29 2020-12-29 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备
CN112150508B (zh) * 2020-09-29 2023-03-03 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备
CN112529934B (zh) * 2020-12-02 2023-12-19 北京航空航天大学杭州创新研究院 多目标追踪方法、装置、电子设备和存储介质
CN112529934A (zh) * 2020-12-02 2021-03-19 北京航空航天大学杭州创新研究院 多目标追踪方法、装置、电子设备和存储介质
WO2022171036A1 (zh) * 2021-02-09 2022-08-18 北京有竹居网络技术有限公司 视频目标追踪方法、视频目标追踪装置、存储介质及电子设备
CN112907628A (zh) * 2021-02-09 2021-06-04 北京有竹居网络技术有限公司 视频目标追踪方法、装置、存储介质及电子设备
CN113344826B (zh) * 2021-07-06 2023-12-19 北京锐安科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113344826A (zh) * 2021-07-06 2021-09-03 北京锐安科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109214238B (zh) 2022-06-28
US20190005657A1 (en) 2019-01-03
US10810748B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
CN109214238A (zh) 多目标跟踪方法、装置、设备及存储介质
US10936911B2 (en) Logo detection
CN107958455B (zh) 图像清晰度评估方法、装置、计算机设备及存储介质
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN107609466A (zh) 人脸聚类方法、装置、设备及存储介质
CN108229535B (zh) 涉黄图像审核方法、装置、计算机设备及存储介质
CN105229697A (zh) 多模态前景背景分割
CN110222705B (zh) 一种网络模型的训练方法以及相关装置
CN105678778B (zh) 一种图像匹配方法和装置
CN109413023A (zh) 机器识别模型的训练及机器识别方法、装置、电子设备
CN111652087A (zh) 验车方法、装置、电子设备和存储介质
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备
CN110378346A (zh) 建立文字识别模型的方法、装置、设备和计算机存储介质
CN111680678A (zh) 目标区域识别方法、装置、设备及可读存储介质
CN109918513A (zh) 图像处理方法、装置、服务器及存储介质
CN110287848A (zh) 视频的生成方法及装置
CN107609463A (zh) 活体检测方法、装置、设备及存储介质
CN109446893A (zh) 人脸识别方法、装置、计算机设备及存储介质
CN110807379A (zh) 一种语义识别方法、装置、以及计算机存储介质
CN110276243A (zh) 分数映射方法、人脸比对方法、装置、设备及存储介质
CN109784243B (zh) 身份确定方法及装置、神经网络训练方法及装置、介质
Xu et al. Multi-scale vehicle re-identification using self-adapting label smoothing regularization
CN111738199B (zh) 图像信息验证方法、装置、计算装置和介质
CN110188602A (zh) 视频中的人脸识别方法及装置
CN110135875A (zh) 推广信息投放频率控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211028

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant