CN113850843A - 目标跟踪方法、装置、电子设备及存储介质 - Google Patents

目标跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113850843A
CN113850843A CN202111134770.1A CN202111134770A CN113850843A CN 113850843 A CN113850843 A CN 113850843A CN 202111134770 A CN202111134770 A CN 202111134770A CN 113850843 A CN113850843 A CN 113850843A
Authority
CN
China
Prior art keywords
target
feature
sub
information
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111134770.1A
Other languages
English (en)
Inventor
魏亚男
邹进屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111134770.1A priority Critical patent/CN113850843A/zh
Publication of CN113850843A publication Critical patent/CN113850843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标跟踪方法、装置、电子设备及存储介质，对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，检测特征至少包括两个子特征，基于每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；根据每一子特征的权重对各个子特征进行处理，获得目标特征信息；基于目标特征信息对目标视频流中的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹。实现了基于权重对检测特征进行自适应调整，以使获得目标特征信息更加符合复杂跟踪场景，如目标存在遮挡的场景，提升了目标跟踪效率和精度。

Description

目标跟踪方法、装置、电子设备及存储介质
技术领域
本申请涉及信息处理技术领域，更具体的说是涉及一种目标跟踪方法、装置、电子设备及存储介质。
背景技术
目标跟踪通常是指对视频中感兴趣的目标对象进行跟踪，从视频的各个图像帧中识别出该目标对象的所在位置。
目前，目标跟踪方法多为基于相关滤波跟踪原理的方法，但是这些方法依赖于目标的表观特征，当目标对象出现遮挡时，跟踪效果较差，降低了跟踪准确性。
发明内容
有鉴于此，本申请提供如下技术方案：
一种目标跟踪方法，包括：
对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，所述目标视频流包括多帧图像，所述检测特征至少包括两个子特征，每一所述子特征不同；
基于所述检测特征中的每一子特征在每一图像中的变化信息，确定每一子特征的权重；
根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，所述每一子特征的权重用于控制每一子特征对生成所述目标特征信息的影响；
基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹。
可选地，所述基于所述检测特征中的每一子特征在每一帧图像中的变化信息，确定每一子特征的权重，包括：
获得每一子特征在每一帧图像中的大小及位置信息，以及
各个子特征在每一帧图像中的对应关系信息；
基于所述每一子特征在每一帧图像中的大小、位置信息以及各个子特征在每一帧图像中的对应关系信息，确定每一子特征的变化信息；
获得每一子特征的初始权重；
基于每一子特征的变化信息对所述初始权重进行调整，确定每一子特征的权重。
可选地，所述子特征包括特征点和目标检测框，所述获得各个子特征在每一帧图像中的对应关系信息，包括：
获得每一帧图像中的目标检测框中特征点的数量以及特征点的大小。
可选地，所述根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，包括：
获得与每一子特征对应的特征矩阵；
基于所述每一子特征的权重和每一子特征对应的特征矩阵，确定目标特征矩阵。
可选地，基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹，包括：
基于所述目标特征信息，对所述目标视频流中的各个目标进行匹配，确定各个目标的匹配结果；
基于所述各个目标的匹配结果，获得所述待跟踪目标的跟踪链信息；
根据所述待跟踪目标的跟踪链信息，对所述待跟踪目标的轨迹预测结果进行校正，获得所述待跟踪目标的跟踪轨迹。
可选地，所述目标特征信息包括目标检测框信息，所述基于所述目标特征信息，对所述目标视频流中的各个目标进行匹配，确定各个目标的匹配的结果，包括：
确定第n+1帧图像对应的目标检测框信息与第n帧图像对应的目标检测框信息是否满足匹配条件；
如果是，确定所述目标检测框信息对应的目标为同一目标；
如果否，确定所述目标检测框信息对应的目标为不同目标。
可选地，所述根据所述待跟踪目标的跟踪链信息，对所述待跟踪目标的轨迹预测结果进行校正，获得所述待跟踪目标的跟踪轨迹，包括：
获得所述待跟踪链信息中与所述待跟踪目标对应的目标检测框以及所述待跟踪目标对应的预测目标检测框；
基于所述目标检测框对所述预测目标检测框进行校正，获得更新后的目标检测框；
基于更新后的目标检测框对所述待跟踪目标进行跟踪，获得所述待跟踪目标的跟踪轨迹。
一种目标跟踪装置，包括：
检测单元，用于对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，所述目标视频流包括多帧图像，所述检测特征至少包括两个子特征，每一所述子特征不同；
确定单元，用于基于所述检测特征中的每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；
处理单元，用于根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，所述每一子特征的权重用于控制每一子特征对生成所述目标特征信息的影响；
跟踪单元，用于基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如上任一项所述的目标跟踪方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的目标跟踪方法的各个步骤。
经由上述的技术方案可知，本申请公开一种目标跟踪方法、装置、电子设备及存储介质，对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，检测特征至少包括两个子特征，基于每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；根据每一子特征的权重对各个子特征进行处理，获得目标特征信息；基于目标特征信息对目标视频流中的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹。实现了基于权重对检测特征进行自适应调整，以使获得目标特征信息更加符合复杂跟踪场景，如目标存在遮挡的场景，提升了目标跟踪效率和精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种目标跟踪方法的流程示意图；
图2为本申请实施例提供的一种目标跟踪应用场景示意图；
图3为本申请实施例提供的一种目标跟踪装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中提供了一种目标跟踪方法，该方法可以应用于计算机视觉技术领域，对视频中给定的目标进行分析跟踪，以确定视频中目标的位置，可以具体应用在人机交互、虚拟现实、自动驾驶、视频监控等多个领域中。
参见图1，为本申请实施例提供的一种目标跟踪方法的流程示意图，该方法可以包括以下步骤：
S101、对目标视频流中的目标进行检测，得到待跟踪目标的检测特征。
目标视频流是由多帧视频图像构成的，可以是通过视频采集装置如摄像头，采集获得的实时的视频流，也可以是基于具有特定时间关系的图像帧对应的图像组成的可连续播放的视频流。例如，目标视频流可以是通过安装在目标监控区域的摄像头实时拍摄获得的该目标监控区域的视频数据，也可以是用户上传的视频数据。
目标视频流中包括多个目标，这些目标可以是静态的目标，也可以是动态的目标，由于需要进行目标跟踪，进而主要是针对动态的目标进行跟踪，即在不同的视频帧对应的图像中目标可以有不同的位置。例如，目标可以是行驶的车辆、移动的人物等。其中，待跟踪目标可以是一个，也可以是多个，如对指定的人进行跟踪，也可以是对具有指定特征的车辆进行跟踪，如对车辆颜色为红色的车辆进行跟踪。
对目标视频流中的目标进行检测，是对能够提取出各个目标的特征进行检测，如能够区分各个目标的人脸信息进行检测。得到的检测特征是指各个目标的识别特征，如可以将各个目标的人脸特征作为检测特征，也可以将对目标进行检测的检测框作为检测特征，还可以将该检测框以及检测框中的信息作为检测特征，如检测框以及检测框中的特征点。在一种可能的实施方式中可以基于目标检测模型对目标视频流中的目标进行检测，以获得检测特征，如可以是获得具有检测框的检测图像，其中，目标检测模型可以是以神经网络为架构的模型。需要说明的是，目标视频流中通过包括至少一个目标，对每一目标均进行检测，会得到各个目标对应的检测特征，而本申请实施例中主要是要获取待跟踪目标的跟踪轨迹，因此，在获得各个目标的检测特征后，需要获得待跟踪目标的检测特征。而检测特征至少包括两个子特征，每一子特征不同。可以是特征的属性不同，如属于不同类别的特征，如身体特征点与目标检测框属于不同类型的检测特征，还可以是代表不同部位的特征，如，目标为人物时，检测特征对应的子特征可以是脸部特征点、肩部特征点和手部特征点等。在另一种可能的实现方式中，也可以是先指定检测特征，再进行目标检测，即根据指定的检测特征进行目标检测，以使得通过指定的检测特征来确定各个目标，这时获得的待跟踪目标的检测特征是待跟踪目标在每一视频帧图像中的检测特征的关联信息，如检测特征相对于目标点的坐标信息等。
在本申请实施例中检测特征包括至少两个子特征，可以避免在目标进行跟踪的过程中选择单一特征作为检测特征，导致目标存在遮挡的情况下，单一特征会不明显，或者容易跟踪丢失的问题。同时，在本申请实施例中还可以在对目标视频中进行目标检测的过程中获得检测特征，使得目标检测和特征获取同步进行，降低了处理资源的占用。
S102、基于检测特征中每一子特征在每一帧图像中的变化信息，确定每一子特征的权重。
S103、根据每一子特征的权重对各个子特征进行处理，获得目标特征信息。
由于目标视频流包括多帧图像，在每一帧图像中都会被检测到对应的子特征的，并且要进行跟踪的待跟踪目标多为运动目标，其会受到自身运动的影响，也可能会受到其他目标运行时产生的影响，使得检测得到的子特征在每一帧图像中会有一定的变化，主要可以体现在子特征的位置或者大小信息的变化。例如，子特征包括右肩特征点，在第一帧图像中可以检测到该右肩特征点，或者检测到该右肩特征点与目标点的相对坐标为第一坐标。当在第十帧图像对可以是未检测到该右肩特征点，或者检测到该右肩特征点与目标点的相对坐标为第二坐标，因此，可以通过上述信息来确定右肩特征点的变化信息。同理，可以获得每一子特征在每一帧图像中的变化信息。
基于该变化信息确定每一子特征的权重，其中，每一子特征的权重用于控制每一子特征对生成目标特征信息的影响，即通过每一子特征的权重来调整每一子特征在要生成的目标特征信息的比重。使得每一子特征通过检测到的在每一帧图像中的变化信息，达到自适应整合，更能符合当前的跟踪场景。
在本申请实施例中相当于在对目标进行检测的时候，获得各个子特征在不同图像帧中的变化信息，将这些变化信息作为先验信息，使得通过先验信息的辅助，得到各个子特征的自适应整合。具体的，可以将目标视频流中的预测帧之前的图像帧中各个子特征的变化信息作为先验信息。举例说明，对目标人物进行跟踪时，子特征可以包括头部特征点、肩部特征点以及目标检测框，通常头部特征点对跟踪更加重要，在初始化过程中会为其分配较高的权重，但是在实际跟踪场景中，由于人物的运动会使得特征点和目标检测框发生变化，在可能存在遮挡的场景中，目标人物遮挡范围越小时，目标检测框越大，目标本身的特征点越明显。因此，可以通过确定每一子特征的权重以携带上先验信息，并将权重应用在对特征点和目标检测框的初始权重的比重调节上。使得最终得到的目标特征信息更加符合当前的跟踪场景。
S104、基于目标特征信息对目标视频流的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹。
由于目标特征信息是根据权重均衡了各个子特征的信息量的特征，从而得到了更加有效的跟踪特征。在基于目标特征信息执行跟踪处理时，可以利用通用的跟踪处理方式来实现，只是将跟踪特征替换为了处理得到的目标特征信息。例如，可以通过匈牙利匹配和卡尔曼滤波的方式实现对待跟踪目标跟踪。但是，由于本申请实施例中通过确定各个子特征的权重得到更加有效的跟踪特征，可以将通常采用的级联匹配转换为单阶段匈牙利匹配，加快了跟踪速度的。具体的，跟踪处理过程将在本申请后续的实施例中以具体的特征信息进行说明，此处不进行详述。
本申请实施例公开一种目标跟踪方法，对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，检测特征至少包括两个子特征，基于每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；根据每一子特征的权重对各个子特征进行处理，获得目标特征信息；基于目标特征信息对目标视频流中的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹。实现了基于权重对检测特征进行自适应调整，以使获得目标特征信息更加符合复杂跟踪场景，如目标存在遮挡的场景，提升了目标跟踪效率和精度。
在本申请的另一实施例中还提供了一种确定子特征权重的方法，该方法可以包括以下步骤：
S201、获得每一子特征在每一帧图像中的大小及位置信息，以及各个子特征在每一帧图像中的对应关系信息。
S202、基于每一子特征在每一帧图像中的大小、位置信息以及各个子特征在每一帧图像中的对应关系信息，确定每一子特征的变化信息。
S203、获得每一子特征的初始权重。
S204、基于每一子特征的变化信息对初始权重进行调整，确定每一子特征的权重。
获取每一子特征在每一帧图像中的大小及位置信息时，需要根据子特征的特性进行获取。当子特征为特征点时，其大小信息并不明显，可以获取其位置信息，该位置信息可以是在特定坐标系中的坐标信息，也可以是相对某个目标点的相对位置信息。当子特征为检测框时，大小信息则为该检测框的大小，若该检测框为矩形检测框，位置信息可以是检测框的顶点坐标。
各个子特征在每一帧图像中的对应关系信息可以包括各个子特征的相对位置关系、各个子特征之间的包含关系或者各个子特征相对于目标观测点的位置变化信息中的至少一种。例如，子特征分别包括头部特征点和肩部特征点，在视频流的前几帧中可能头部特征点和肩部特征点的之间的相对距离和角度是一个固定值，而在后续几帧图像中由于人物被其他对象所遮挡，则可能检测不到肩部特征点，此时会无法计算对应的相对距离，则以此来确定不同图像帧中对应的对应关系信息。在本申请实施例的一种实现方式中，子特征包括特征点和目标检测框，所述获得各个子特征在每一帧图像中的对应关系信息，包括：获取每一帧图像中的目标检测框中特征点的数量以及特征点的大小。目标检测框是对对象进行检测的识别框。通常在目标跟踪场景中，图像采集或者视频采集设备是固定的，如在监控场景中，监控摄像头的位置是不变的，当对象处于运动的状态时，对象与监控摄像头距离越远，目标检测框越小，反之，目标检测框越大。对应的，当对象与其他对象存在遮挡关系时，目标检测框也会受遮挡的影响变小，对应的，目标检测框中的特征点也会发生改变，如初始目标检测框中的特征点包括头部特征点、左肩特征点和右肩特征点，当存在遮挡时，右肩特征点可能被遮挡，则当前目标检测框中只存在头部特征点和左肩特征点。以此来作为特征点和目标检测框的对应关系信息。
在获得了各个子特征的大小、位置信息，以及各个子特征的对应关系信息之后，可以将这些信息在不同图像帧的改变情况，确定为变化信息。然后基于对变化信息的学习以及验证，可以对子特征的初始权重进行调整，以获得每一子特征的权重。其中，初始权重是根据子特征的重要程度初始设定的固定的权重值，但是，由于跟踪场景通常较为复杂，如果采用固定的权重值并不能反映被跟踪对象的实际运动状态，使得跟踪结果易出现偏差。
举例说明，子特征包括了目标检测框和目标特征点，权重通过如下公式获得：
ω＝sigmoid(mean(w，h)).(0.4.J(Point1)+0.3.J(Point2)+0.3.J(Point3)) (1)
其中，Point表示特征点，在该公式中特征点选取了3个，分别为Point1、Point2以及Point3，具体的，可以分别代表头部特征点、左肩特征点以及右肩特征点。J(Pointx)代表特征点Pointx是否存在，x的取值可以为1,2或3。若Pointx存在，J(Pointx)的取值为1，不存在为0。因为头部信息对跟踪时更为重要，从而初始分配权重的时候，为代表头部特征点的Point1分配了更高的权重，mean(w,h)代表了目标检测框的大小。利用上述公式(1)的计算后，得到的权重ω可以有效的将目标大小和遮挡情况这些先验信息动态地反映到匹配过程中，使得可以智能地均衡来自目标特征以及目标位置的信息量，从而得到更加有效的跟踪特征，并且可以将通常采用的两步级联变成单步级联，加快跟踪速度，会在后续实施例中进行具体说明。
其中，公式(1)中的sigmoid函数是神经网络的激活函数，用于隐层神经元输出，取值范围为(0，1)，它可以将一个实数映射到(0，1)的区间，可以用来做二分类。因此，在本申请实施例中确定权重值时，可以采用神经网络模型的模式进行处理，将视频流中各个帧中的特征点和检测框的信息以及标注的对应的权重值作为训练样本，进行训练得到神经网络模型，以使得该神经网络模型可以根据特征点和检测框的相关信息自动计算获得的对应的权重。另外，公式(1)得到的权重可以是对应其中某一个子特征的权重，另一子特征的权重可以根据该计算得到的权重进行调整，或者利用固定的模式进行计算得到，如另一子特征的权重可以为(1-ω)。
对应的，在实际的跟踪处理过程中，是基于跟踪特征(即各个子特征)的特征矩阵进行计算和处理的，对应的，可以基于权重对子特征对应的特征矩阵进行处理，以得到目标特征信息对应的目标特征矩阵。在本申请实施例的一种可能的实现方式中，所述根据每一子特征的权重对各个所述子特征进行处理，得到目标特征信息，包括：获得与每一子特征对应的特征矩阵；基于所述每一子特征的权重和每一子特征对应的特征矩阵，确定目标特征矩阵。
根据每一子特征对应的特征信息构建子特征的特征矩阵，可以是根据子特征信息中的二值化数据构建对应的特征矩阵，该二值化数据对应该子特征的像素点，即二值化数据由子特征的像素点二值化得到的，特征矩阵可以为N*M的矩阵，N表示子特征信息中二值化数据的行数，M表示子特征信息中二值化数据的列数。对应的，特征矩阵还可以是根据神经网络模型转换得到的矩阵，例如，将子特征对应的特征信息输入到预创建的神经网络模型中，通过神经网络模型中的卷积层的处理，得到对应的特征矩阵。也可以是根据当前帧的子特征的信息以及当前帧的目标检测信息，构建的cost矩阵，该cost矩阵可以应用在目标跟踪过程中采用的匈牙利匹配和卡尔曼滤波的过程中。
然后，根据获得的每一子特征的权重以及每一子特征的特征矩阵，确定目标特征矩阵。
例如，Features代表特征点构成的特征矩阵，Simalirity(boxes)代表检测框的特征矩阵，则目标特征矩阵为：
A＝Features·ω+(1-ω)·Simalirity(boxes) (2)
需要说明的是，上述公式(2)只是一种具体的应用实例，可以结合实际的跟踪场景，在计算获得了各个子特征的权重后，计算目标特征信息时进行灵活调整。
下面对本申请实施例中的跟踪处理过程进行说明，在本申请的另一实施例中，基于目标特征信息对目标视频流中的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹，包括：
S301、基于目标特征信息，对目标视频流中的各个目标进行匹配，确定各个目标的匹配结果。
S302、基于各个目标的匹配结果，获得待跟踪目标的跟踪链信息。
S303、根据待跟踪目标的跟踪链信息，对待跟踪目标的轨迹预测结果进行校正，获得待跟踪目标的跟踪轨迹。
由于目标视频流中会包括多个目标，需要根据目标特征信息对每一帧中的各个目标与前一帧图像中的目标进行匹配，以确定各个目标的匹配的结果，即如第一帧图像包括目标A、目标B和目标C，需要在第二帧图像、第三帧图像等中分别确定出当前图像帧中的目标哪一个是目标A、哪一个是目标B、目标C等。
当目标特征信息包括目标检测框信息时，其中，在一种可能的实施方式中，基于目标特征信息，对目标视频流中的各个目标进行匹配，确定各个目标的匹配结果，包括：
确定第n+1帧图像对应的目标检测框信息与第n帧图像对应的目标检测框信息是否满足匹配条件；如果是，确定所述目标检测框信息对应的目标为同一目标；如果否，确定所述目标检测框信息对应的目标为不同目标。
其中，n为目标视频流中图像帧的序号，最小值为1。匹配条件是指目标能够进行匹配的条件，目标检测框中的特征点数量和特征是否相同，或者，目标检测框中的特征信息是否相同。将满足目标条件的目标检测框中对应的目标确定为同一目标，否则，确定为不同目标，继续匹配，直至将前后两帧图像中的目标进行一一匹配后位置。目标检测框信息可以包括目标检测框，以及目标检测框中包括的特征点的相关信息。
具体的，可以采用匈牙利匹配算法将当前帧图像中的目标的目标检测框与下一帧图像目标的目标检测框进行最优匹配。如，根据当前帧图像检测到的目标检测框的中心点坐标与下一帧图像中各个目标检测框中心坐标，利用欧式距离或者余弦距离相似度求最佳匹配，实现目标匹配。之后继续获取下一帧图像数据并依次进行目标检测框以及目标检测框中的特征进行匹配，重复上述的匹配过程，根据连续帧图像中每个目标的目标检测框信息匹配结果即可输出各个目标的跟踪链，从而获得待跟踪目标的跟踪链。
在另一种可能的实现方式中，所述根据所述待跟踪目标的跟踪链信息，对所述待跟踪目标的轨迹预测结果进行校正，获得所述待跟踪目标的跟踪轨迹，包括：获得所述跟踪链信息中与所述待跟踪目标对应的目标检测框以及所述待跟踪目标对应的预测目标检测框；基于所述目标检测框对所述预测目标检测框进行校正，获得更新后的目标检测框；基于更新后的目标检测框对所述待跟踪目标进行跟踪，获得所述待跟踪目标的跟踪轨迹。
通过匈牙利匹配可以获得当前帧的某个目标是否与前一帧的某个目标相同，而基于此获得了待跟踪目标的跟踪链信息后，即获得了待跟踪目标在各个图像帧中的位置后，将这些跟踪信息形成跟踪链。
需要说明的是，在本申请实施例中对各个视频帧之间的目标进行相似度匹配，具体可以采用对应的匹配模型对任意两帧视频帧之间的对象的目标特征信息进行相似度匹配，匹配过程对此不进行限制，对应的匹配模型除了匈牙利匹配模型还可以采用贪婪匹配模型，也可以是其他的匹配模型，此处不进行一一举例说明。
然后，可以基于前一帧的目标的目标检测框的位置，预测该目标在下一帧的目标检测框的位置。需要对预测目标检测框基于前述信息进行校正，以获得校正后的目标检测框，使得通过校正后的目标检测框进行目标跟踪，或者目标位置预测后得到的跟踪轨迹以及跟踪信息更加准确。
具体的，可以通过卡尔曼滤波的方式来进行目标检测框位置的预测。卡尔曼滤波可以基于目标前一时刻的位置，来预测当前时刻的位置，并且可以比传感器更准确的估计目标的位置。卡尔曼滤波对检测框位置进行滤波时，对于当前视频帧，可以通过检测模型获得目标位置，从而确定出目标检测框的位置，而通过当前视频帧之前的视频帧中已标注的目标检测框位置，结合目标的移动速度，可预测当前视频帧中检测框位置，进而根据预测的检测框对之前标注的目标检测框的位置进行校正，从而提高目标检测框位置的准确性。
参见图2，为本申请实施例提供的一种目标跟踪应用场景示意图，在图2所示实施例中目标跟踪处理过程采用了匈牙利匹配和卡尔曼滤波的结合处理。
图2中的图片是目标视频流中任意一帧的图像，其中，子特征包括目标框大小和目标特征点，其中，目标框大小通过(w，h)表示，w表示目标框的宽度，h表示目标框的高度，在图2中选择的特征点包括了头部特征点、左肩特征点和右肩特征点。在本申请实施例中在获得目标框大小和目标特征点后并不直接进行目标跟踪，而是将目标框大小以及目标特征点作为先验信息，通过前面的公式(1)得到自适应权重ω。基于该自适应权重对目标框大小和目标特征点信息进行自适应整合。如图2中的自适应先验提取，得到目标特征。输入到一阶匈牙利匹配，如图2所示，一阶匈牙利匹配主要是对各个图像帧中的目标进行匹配。然后通过匈牙利匹配对目标框进行校正，以得到最终待跟踪目标的跟踪轨迹。具体的，输入到一阶匈牙利匹配的信息是目标特征信息，包括经过权重调整处理后的目标特征向量、目标框大小、目标框内的特征点的预测结果，匈牙利匹配的输出为目标之间一对一的匹配的结果。输入卡尔曼滤波的是跟踪链信息，对应的可以是跟踪链中目标中心的位置、宽高比、高度以及这些变量的变化量，卡尔曼滤波输出的是滤波迭代更新后的跟踪信息。
需要说明的是，在本申请实施例中的匈牙利匹配是一级匈牙利匹配，区别于通常采用的级联匹配的处理方式。其中，级联匹配是先使用目标特征和上一帧进行特征匈牙利匹配及卡尔曼波，随后再使用检测目标和上一帧的重合度进行第二次匈牙利匹配和卡尔曼滤波。因此，本申请可以基于确定的权重对各个特征进行自适应整合，使用综合特征进行依次匹配得到跟踪匹配结果，加快了跟踪速度，又提升了跟踪性能。
参见图3，为本申请另一实施例提供的一种目标跟踪装置的结构示意图。本实施例中的技术方案主要用于提升跟踪性能和准确性。
具体的，本实施例中的装置可以包括以下单元：
检测单元401，用于对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，所述目标视频流包括多帧图像，所述检测特征至少包括两个子特征，每一所述子特征不同；
确定单元402，用于基于所述检测特征中的每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；
处理单元403，用于根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，所述每一子特征的权重用于控制每一子特征对生成所述目标特征信息的影响；
跟踪单元404，用于基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹。
从上述技术方案可以看出，本申请实施例提供的一种目标跟踪装置中，对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，检测特征至少包括两个子特征，基于每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；根据每一子特征的权重对各个子特征进行处理，获得目标特征信息；基于目标特征信息对目标视频流中的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹。实现了基于权重对检测特征进行自适应调整，以使获得目标特征信息更加符合复杂跟踪场景，如目标存在遮挡的场景，提升了目标跟踪效率和精度。
在一种实现方式中，确定单元402包括：
信息获取子单元，用于获得每一子特征在每一帧图像中的大小及位置信息，以及
各个子特征在每一帧图像中的对应关系信息；
第一确定子单元，用于基于所述每一子特征在每一帧图像中的大小、位置信息以及各个子特征在每一帧图像中的对应关系信息，确定每一子特征的变化信息；
权重获取子单元，用于获得每一子特征的初始权重；
调整子单元，用于基于每一子特征的变化信息对所述初始权重进行调整，确定每一子特征的权重。
可选地，所述子特征包括特征点和目标检测框，所述获得各个子特征在每一帧图像中的对应关系信息，包括：
获得每一帧图像中的目标检测框中特征点的数量以及特征点的大小。
进一步地，处理单元403具体用于：
获得与每一子特征对应的特征矩阵；
基于所述每一子特征的权重和每一子特征对应的特征矩阵，确定目标特征矩阵。
在一种实现方式中，跟踪单元404包括：
匹配子单元，用于基于所述目标特征信息，对所述目标视频流中的各个目标进行匹配，确定各个目标的匹配结果；
获取子单元，用于基于所述各个目标的匹配结果，获得所述待跟踪目标的跟踪链信息；
校正子单元，用于根据所述待跟踪目标的跟踪链信息，对所述待跟踪目标的轨迹预测结果进行校正，获得所述待跟踪目标的跟踪轨迹。
可选地，所述目标特征信息包括目标检测框信息，所述匹配子单元具体用于：
确定第n+1帧图像对应的目标检测框信息与第n帧图像对应的目标检测框信息是否满足匹配条件；
如果是，确定所述目标检测框信息对应的目标为同一目标；
如果否，确定所述目标检测框信息对应的目标为不同目标。
可选地，所述校正子单元具体用于：
获得所述跟踪链信息中与所述待跟踪目标对应的目标检测框以及所述待跟踪目标对应的预测目标检测框；
基于所述目标检测框对所述预测目标检测框进行校正，获得更新后的目标检测框；
基于更新后的目标检测框对所述待跟踪目标进行跟踪，获得所述待跟踪目标的跟踪轨迹。
需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。
参见图4，为本申请另一实施例提供的一种电子设备的结构示意图，本实施例中的技术方案主要用于提升目标跟踪的有效性和精准度。
具体的，本实施例中的电子设备可以包括以下结构：
存储器501，用于存储程序；
处理器502，用于调用并执行所述存储器中的所述程序，通过执行所述程序以实现：
对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，所述目标视频流包括多帧图像，所述检测特征至少包括两个子特征，每一所述子特征不同；
基于所述检测特征中的每一子特征在每一图像中的变化信息，确定每一子特征的权重；
根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，所述每一子特征的权重用于控制每一子特征对生成所述目标特征信息的影响；
基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹。
从上述技术方案可以看出，本申请实施例提供的一种电子设备中，对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，检测特征至少包括两个子特征，基于每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；根据每一子特征的权重对各个子特征进行处理，获得目标特征信息；基于目标特征信息对目标视频流中的待跟踪目标进行跟踪处理，获得待跟踪目标的跟踪轨迹。实现了基于权重对检测特征进行自适应调整，以使获得目标特征信息更加符合复杂跟踪场景，如目标存在遮挡的场景，提升了目标跟踪效率和精度。
需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。
在本申请的另一实施例中，还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的目标跟踪方法的各个步骤。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种目标跟踪方法，包括：
对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，所述目标视频流包括多帧图像，所述检测特征至少包括两个子特征，每一所述子特征不同；
基于所述检测特征中的每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；
根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，所述每一子特征的权重用于控制每一子特征对生成所述目标特征信息的影响；
基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹。
2.根据权利要求1所述的方法，所述基于所述检测特征中的每一子特征在每一帧图像中的变化信息，确定每一子特征的权重，包括：
获得每一子特征在每一帧图像中的大小及位置信息，以及
各个子特征在每一帧图像中的对应关系信息；
基于所述每一子特征在每一帧图像中的大小、位置信息以及各个子特征在每一帧图像中的对应关系信息，确定每一子特征的变化信息；
获得每一子特征的初始权重；
基于每一子特征的变化信息对所述初始权重进行调整，确定每一子特征的权重。
3.根据权利要求2所述的方法，所述子特征包括特征点和目标检测框，所述获得各个子特征在每一帧图像中的对应关系信息，包括：
获得每一帧图像中的目标检测框中特征点的数量以及特征点的大小。
4.根据权利要求1所述的方法，所述根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，包括：
获得与每一子特征对应的特征矩阵；
基于所述每一子特征的权重和每一子特征对应的特征矩阵，确定目标特征矩阵。
5.根据权利要求1所述的方法，所述基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹，包括：
基于所述目标特征信息，对所述目标视频流中的各个目标进行匹配，确定各个目标的匹配结果；
基于所述各个目标的匹配结果，获得所述待跟踪目标的跟踪链信息；
根据所述待跟踪目标的跟踪链信息，对所述待跟踪目标的轨迹预测结果进行校正，获得所述待跟踪目标的跟踪轨迹。
6.根据权利要求5所述的方法，所述目标特征信息包括目标检测框信息，所述基于所述目标特征信息，对所述目标视频流中的各个目标进行匹配，确定各个目标的匹配结果，包括：
确定第n+1帧图像对应的目标检测框信息与第n帧图像对应的目标检测框信息是否满足匹配条件；
如果是，确定所述目标检测框信息对应的目标为同一目标；
如果否，确定所述目标检测框信息对应的目标为不同目标。
7.根据权利要求6所述的方法，所述根据所述待跟踪目标的跟踪链信息，对所述待跟踪目标的轨迹预测结果进行校正，获得所述待跟踪目标的跟踪轨迹，包括：
获得所述跟踪链信息中与所述待跟踪目标对应的目标检测框以及所述待跟踪目标对应的预测目标检测框；
基于所述目标检测框对所述预测目标检测框进行校正，获得更新后的目标检测框；
基于更新后的目标检测框对所述待跟踪目标进行跟踪，获得所述待跟踪目标的跟踪轨迹。
8.一种目标跟踪装置，包括：
检测单元，用于对目标视频流中的目标进行检测，得到待跟踪目标的检测特征，所述目标视频流包括多帧图像，所述检测特征至少包括两个子特征，每一所述子特征不同；
确定单元，用于基于所述检测特征中的每一子特征在每一帧图像中的变化信息，确定每一子特征的权重；
处理单元，用于根据每一子特征的权重对各个所述子特征进行处理，获得目标特征信息，所述每一子特征的权重用于控制每一子特征对生成所述目标特征信息的影响；
跟踪单元，用于基于所述目标特征信息对所述目标视频流中的待跟踪目标进行跟踪处理，获得所述待跟踪目标的跟踪轨迹。
9.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如权利要求1-7中任一项所述的目标跟踪方法的各个步骤。
10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的目标跟踪方法的各个步骤。
CN202111134770.1A 2021-09-27 2021-09-27 目标跟踪方法、装置、电子设备及存储介质 Pending CN113850843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111134770.1A CN113850843A (zh) 2021-09-27 2021-09-27 目标跟踪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111134770.1A CN113850843A (zh) 2021-09-27 2021-09-27 目标跟踪方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113850843A true CN113850843A (zh) 2021-12-28

Family

ID=78980583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111134770.1A Pending CN113850843A (zh) 2021-09-27 2021-09-27 目标跟踪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113850843A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635613A (zh) * 2024-01-25 2024-03-01 武汉大学人民医院（湖北省人民医院） 一种眼底病灶监测装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827325A (zh) * 2019-11-13 2020-02-21 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN111709973A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 目标跟踪方法、装置、设备及存储介质
CN113177968A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110827325A (zh) * 2019-11-13 2020-02-21 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111709973A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 目标跟踪方法、装置、设备及存储介质
CN113177968A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635613A (zh) * 2024-01-25 2024-03-01 武汉大学人民医院（湖北省人民医院） 一种眼底病灶监测装置及方法
CN117635613B (zh) * 2024-01-25 2024-04-16 武汉大学人民医院（湖北省人民医院） 一种眼底病灶监测装置及方法

Similar Documents

Publication Publication Date Title
CN112506342B (zh) 基于动态手势识别的人机交互方法及系统
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN112883819B (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN109670474B (zh) 一种基于视频的人体姿态估计方法、装置及设备
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN107958235B (zh) 一种人脸图像检测方法、装置、介质和电子设备
CN109272016B (zh) 目标检测方法、装置、终端设备和计算机可读存储介质
CN112241976B (zh) 一种训练模型的方法及装置
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN110427806A (zh) 视频识别方法、装置及计算机可读存储介质
CN108921003A (zh) 基于卷积神经网络和图像形态学的无人机障碍物检测方法
CN106022266A (zh) 一种目标跟踪方法及装置
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
CN115546705A (zh) 目标识别方法、终端设备及存储介质
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
CN113850843A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN113065454A (zh) 一种高空抛物目标识别比较的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination