CN109584265A - 一种目标跟踪方法及装置 - Google Patents

一种目标跟踪方法及装置 Download PDF

Info

Publication number
CN109584265A
CN109584265A CN201710897997.9A CN201710897997A CN109584265A CN 109584265 A CN109584265 A CN 109584265A CN 201710897997 A CN201710897997 A CN 201710897997A CN 109584265 A CN109584265 A CN 109584265A
Authority
CN
China
Prior art keywords
motion profile
activation
inactivation
matched
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710897997.9A
Other languages
English (en)
Other versions
CN109584265B (zh
Inventor
张迪
龚晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710897997.9A priority Critical patent/CN109584265B/zh
Publication of CN109584265A publication Critical patent/CN109584265A/zh
Application granted granted Critical
Publication of CN109584265B publication Critical patent/CN109584265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种目标跟踪方法及装置,方法包括:获取待检测视频的当前帧图像;检测当前帧图像中的第一目标,确定第一目标的位置信息;从激活运动轨迹中确定与第一目标匹配的第一激活运动轨迹;其中,激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;根据第一目标的位置信息更新第一激活运动轨迹;若确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并第一激活运动轨迹和第一失活运动轨迹;其中,失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。应用本申请实施例,提高了目标跟踪的稳定性。

Description

一种目标跟踪方法及装置
技术领域
本申请涉及视频处理技术领域,特别是涉及一种目标跟踪方法及装置。
背景技术
随着视频分析技术的发展,目标跟踪技术在视频监控、智能分析、导航等多个领域得到广泛应用。
目前,目标跟踪的方法包括:获取待检测视频的当前帧图像,检测当前帧图像中的目标,确定目标的位置信息,根据目标的位置信息更新运动轨迹,这里,更新的运动轨迹处于激活状态,即为激活运动轨迹。
然而,在实际目标跟踪中,特别是多目标跟踪中,常常会出现噪声干扰、目标运动轨迹交叉、遮挡等问题,造成无法在获取的图像中检测到目标。若出现上述噪声干扰、目标运动轨迹交叉、遮挡等问题,且在连续获取的多帧图像中未检测到目标,即运动轨迹连续多帧图像未更新,这将造成该运动轨迹失活;即使之后目标不被遮挡,能够在获取的图像中检测到该目标,由于检测到的目标不能更新失活的运动轨迹,只能重建一条新的激活运动轨迹,进而形成多个针对同一目标的运动轨迹片段,导致目标跟踪不稳定。
发明内容
本申请实施例的目的在于提供一种目标跟踪方法及装置,以提高目标跟踪的稳定性。具体技术方案如下:
一方面,本申请实施例公开了一种目标跟踪方法,所述方法包括:
获取待检测视频的当前帧图像;
检测当前帧图像中的第一目标,确定所述第一目标的位置信息;
从激活运动轨迹中确定与所述第一目标匹配的第一激活运动轨迹;所述激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
根据所述第一目标的位置信息更新所述第一激活运动轨迹;
若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹;所述失活运动轨迹为连续未更新的图像帧数达到所述第一数量的运动轨迹。
在本申请的一个实施例中,所述从激活运动轨迹中确定与所述第一目标匹配的第一激活运动轨迹的步骤,包括:
若所述第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹;
若所述第一目标与已建立的激活运动轨迹均不匹配,建立一条与所述第一目标匹配的新激活运动轨迹,将所述新激活运动轨迹作为所述第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,所述若所述第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹的步骤,包括:
对于已建立的每一激活运动轨迹,预测该激活运动轨迹在当前帧图像中的位置信息,和/或从当前帧图像中提取所述第一目标的特征;
对于已建立的每一激活运动轨迹,若所述第一目标的位置信息与预测的位置信息间的距离小于距离阈值,和/或所述第一目标的特征与该激活运动轨迹对应的特征匹配,则确定所述第一目标与该激活运动轨迹匹配;
根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,所述根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹的步骤,包括:
若所述第一目标与已建立的激活运动轨迹中的第一运动轨迹和第二运动轨迹匹配,确定第一运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第一运动轨迹为连续更新的图像帧数达到第二数量的激活运动轨迹;所述第二运动轨迹为连续更新的图像帧数未达到所述第二数量的激活运动轨迹。
在本申请的一个实施例中,所述根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹的步骤,包括:
若所述第一目标与已建立的激活运动轨迹中的第三运动轨迹和第四运动轨迹匹配,确定第三运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第三运动轨迹为匹配的目标无遮挡的激活运动轨迹;所述第四运动轨迹为匹配的目标被遮挡的激活运动轨迹。
在本申请的一个实施例中,所述方法还包括:
检测已建立的激活运动轨迹中是否存在更新次数低于更新阈值且距离上一次更新的图像帧数达到第三数量的第二激活运动轨迹;
若存在,删除所述第二激活运动轨迹。
在本申请的一个实施例中,所述若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹的步骤,包括:
若所述第一激活运动轨迹连续更新的图像帧数达到第四数量,且确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,则合并所述第一激活运动轨迹和所述第一失活运动轨迹。
在本申请的一个实施例中,所述若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹的步骤,包括:
对于所述第一激活运动轨迹,选取时间交叉点之前且最接近所述时间交叉点的第五数量帧图像,做针对所述第一激活运动轨迹匹配的目标的前向预测;所述时间交叉点为所述第一激活运动轨迹和各条失活运动轨迹的时间交叉点;
对于每一失活运动轨迹,选取所述时间交叉点之后且最接近所述时间交叉点的第六数量帧图像,做针对该失活运动轨迹匹配的目标的后向预测;
若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于预测阈值,确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配;
合并所述第一激活运动轨迹和所述第一失活运动轨迹。
在本申请的一个实施例中,所述第一激活运动轨迹的起始节点的时间与所述第一失活运动轨迹的结束节点的时间之间的图像帧数小于帧数阈值。
在本申请的一个实施例中,所述方法还包括:
提取所述第七数量帧图像中所述第一激活运动轨迹匹配的目标的特征,确定所述第一激活运动轨迹对应的第一特征;
提取所述第八数量帧图像中各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征;
所述若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配的步骤,包括:
若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,且所述第一特征与所述第一失活运动轨迹的第二特征匹配,则确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配。
在本申请的一个实施例中,所述提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征,确定所述第一激活运动轨迹对应的第一特征的步骤,包括:
提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征;
计算提取的所述第七数量帧图像中的特征的第一均值,将所述第一均值作为所述第一激活运动轨迹对应的第一特征;
所述提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征的步骤,包括:
提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征;
对于每条失活运动轨迹,计算提取的所述第八数量帧图像中该失活运动轨迹匹配的目标的特征的第二均值,将所述第二均值作为所述第一失活运动轨迹对应的第二特征。
在本申请的一个实施例中,所述方法还包括:
检测失活运动轨迹中是否存在距离上一次更新的图像帧数达到第九数量的第二失活运动轨迹;
若存在,删除所述第二失活运动轨迹。
二方面,本申请实施例公开了一种目标跟踪装置,所述装置包括:
获取单元,用于获取待检测视频的当前帧图像;
第一检测单元,用于检测当前帧图像中的第一目标,确定所述第一目标的位置信息;
确定单元,用于从激活运动轨迹中确定与所述第一目标匹配的第一激活运动轨迹;所述激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
更新单元,用于根据所述第一目标的位置信息更新所述第一激活运动轨迹;
合并单元,用于若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹;所述失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。
在本申请的一个实施例中,所述确定单元,包括:
第一确定子单元,用于若所述第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹;
建立子单元,用于若所述第一目标与已建立的激活运动轨迹均不匹配,建立一条与所述第一目标匹配的新激活运动轨迹,将所述新激活运动轨迹作为所述第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,所述第一确定子单元,具体用于:
对于已建立的每一激活运动轨迹,预测该激活运动轨迹在当前帧图像中的位置信息,和/或从当前帧图像中提取所述第一目标的特征;
对于已建立的每一激活运动轨迹,若所述第一目标的位置信息与预测的位置信息间的距离小于距离阈值,和/或所述第一目标的特征与该激活运动轨迹对应的特征匹配,则确定所述第一目标与该激活运动轨迹匹配;
根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,所述第一确定子单元,具体用于:
若所述第一目标与已建立的激活运动轨迹中的第一运动轨迹和第二运动轨迹匹配,确定第一运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第一运动轨迹为连续更新的图像帧数达到第二数量的激活运动轨迹;所述第二运动轨迹为连续更新的图像帧数未达到第二数量的激活运动轨迹。
在本申请的一个实施例中,所述第一确定子单元,具体用于:
若所述第一目标与已建立的激活运动轨迹中的第三运动轨迹和第四运动轨迹匹配,确定第三运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第三运动轨迹为匹配的目标无遮挡的激活运动轨迹;所述第四运动轨迹为匹配的目标被遮挡的激活运动轨迹。
在本申请的一个实施例中,所述装置还包括:
第二检测单元,用于检测已建立的激活运动轨迹中是否存在更新次数低于更新阈值且距离上一次更新的图像帧数达到第三数量的第二激活运动轨迹;
第一删除单元,用于当所述第二检测单元的检测结果为是时删除所述第二激活运动轨迹。
在本申请的一个实施例中,所述合并单元,具体用于:
若所述第一激活运动轨迹连续更新的图像帧数达到第四数量,且确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,则合并所述第一激活运动轨迹和所述第一失活运动轨迹。
在本申请的一个实施例中,所述合并单元,包括:
第一预测子单元,用于对于所述第一激活运动轨迹,选取时间交叉点之前且最接近所述时间交叉点的第五数量帧图像,做针对所述第一激活运动轨迹匹配的目标的前向预测;所述时间交叉点为所述第一激活运动轨迹和各条失活运动轨迹的时间交叉点;
第二预测子单元,用于对于每一失活运动轨迹,选取所述时间交叉点之后且最接近所述时间交叉点的第六数量帧图像,做针对该失活运动轨迹匹配的目标的后向预测;
第二确定子单元,用于若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于预测阈值,确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配;
合并子单元,用于合并所述第一激活运动轨迹和所述第一失活运动轨迹。
在本申请的一个实施例中,所述第一激活运动轨迹的起始节点的时间与所述第一失活运动轨迹的结束节点的时间之间的图像帧数小于帧数阈值。
在本申请的一个实施例中,所述装置还包括:
第一提取单元,用于提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征,确定所述第一激活运动轨迹对应的第一特征;
第二提取单元,用于提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征;
所述第二确定子单元,具体用于:
若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,且所述第一特征与所述第一失活运动轨迹的第二特征匹配,则确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配。
在本申请的一个实施例中,所述第一提取单元,具体用于:
提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征;
计算提取的所述第七数量帧图像中的特征的第一均值,将所述第一均值作为所述第一激活运动轨迹对应的第一特征;
所述第二提取单元,具体用于:
提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征;
对于每条失活运动轨迹,计算提取的所述第八数量帧图像中该失活运动轨迹匹配的目标的特征的第二均值,将所述第二均值作为所述第一失活运动轨迹对应的第二特征。
在本申请的一个实施例中,所述装置还包括:
第三检测单元,用于检测失活运动轨迹中是否存在连续距离上一次更新的图像帧数达到第九数量的第二失活运动轨迹;
第二删除单元,用于当所述第二检测单的检测结果为是时删除所述第二失活运动轨迹。
三方面,本申请实施例公开一种电子设备,包括处理器和存储器;所述存储器,用于存放应用程序;所述处理器,用于执行所述存储器上所存放的应用程序,实现上述目标跟踪方法步骤。
本申请实施例中,若一条失活运动轨迹与一条激活运动轨迹匹配,则确定该两条运动轨迹是针对同一目标的运动轨迹,合并这两条运动轨迹,这样,在出现噪声干扰、目标运动轨迹交叉、遮挡等问题形成多个针对同一目标的运动轨迹片段时,可以获得一条针对一目标的较完整的运动轨迹,提高了目标跟踪的稳定性。当然,实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的目标跟踪方法的第一种流程示意图;
图2为本申请实施例提供的目标跟踪方法的第二种流程示意图;
图3为本申请实施例提供的运动轨迹的状态及转移条件的一种示意图;
图4为本申请实施例提供的目标跟踪装置的第一种结构示意图;
图5为本申请实施例提供的目标跟踪装置的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目标跟踪是指对视频的图像序列中目标的位置信息和状态信息进行持续推断的过程。目标跟踪的任务在于:通过在视频的每一帧图像中定位目标,生成目标的运动轨迹,一张图像中目标的位置信息为运动轨迹中的一个节点。
在实际目标跟踪中,特别是多目标跟踪中,常常会出现噪声干扰、目标运动轨迹交叉、遮挡等问题,使得针对同一目标形成多个运动轨迹片段,导致目标跟踪不稳定。为提高目标跟踪的稳定性,本申请实施例提供了一种目标跟踪方法及装置。
参考图1,图1为本申请实施例提供的目标跟踪方法的第一种流程示意图,该方法包括:
步骤101:获取待检测视频的当前帧图像;
在本申请的一个实施例中,为了保证能够准确的提取图像中目标的特征、位置等信息,在获取到待检测视频的当前帧图像时,可以对图像进行去噪、图像缓存等操作;为了便于提取图像中目标的信息,还可以对获取的图像进行目标位置预测。这里,可以采用光流法、运动速度、特征匹配等方法中的一种或多种进行目标位置预测,本申请实施例对此不进行限定。
步骤102:检测当前帧图像中的第一目标,确定第一目标的位置信息;
这里,一帧图像中可以检测到多个目标,第一目标为这多个目标中的任一个目标。
本申请实施例中,针对不同种类的目标,可以采用不同的检测方法检测图像中的目标。例如,若目标为人,则检测目标方法可以为2D的头肩模型、3D的头肩模型、颜色空间、人脸特征、深度学技术中的一种或多种;若目标为动物、汽车等非人物体,则检测目标方法可以为颜色空间、深度学技术中的一种或多种。
在检测第一目标后,就可以在图像坐标系下确定第一目标的位置信息,或,将图像坐标系下第一目标的位置信息转换至世界坐标系下,确定在世界坐标系下第一目标的位置信息,本申请实施例对此不进行限定。
步骤103:从激活运动轨迹中确定与第一目标匹配的第一激活运动轨迹;
一帧图像中可以检测到多个目标,每一目标匹配一条运动轨迹,即建立多条运动轨迹。一条运动轨迹在建立之后就处于激活状态,该运动轨迹为激活运动轨迹;在后续获取图像更新运动轨迹时,若一条运动轨迹连续未更新的图像帧数达到第一数量,则确定该运动轨迹匹配的目标离开跟踪区域或被遮挡或漏检,继续更新该运动轨迹将没有意义,将该运动轨迹设置为失活状态,该运动轨迹变为失活运动轨迹,且不再更新;若一条运动轨迹未更新的图像帧数未达到第一数量,例如该运动轨迹连续更新或连续未更新的图像帧数小于第一数量,则该运动轨迹还是激活运动轨迹,可以继续更新。
在本申请的一个实施例中,从激活运动轨迹中确定与第一目标匹配的第一激活运动轨迹的步骤,可以包括:
步骤1031:若第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定第一目标匹配的第一激活运动轨迹;
在本申请的一个实施例中,可以根据位置信息和/或目标特征确定与第一目标匹配的激活运动轨迹。
例如,每一条激活运动轨迹在根据一帧图像中目标的位置信息更新后,可以根据该激活运动轨迹中预定数量个位置信息预测下一帧图像中的位置信息。当获取到一帧图像,并从该帧图像中检测并确定了第一目标的位置信息时,若预测的一条激活运动轨迹在当前帧图像中的位置信息与第一目标的位置信息的距离小于距离阈值,则可以确定第一目标与该激活运动轨迹匹配;否则,可以确定第一目标与该激活运动轨迹不匹配。
再例如,在建立每一条激活运动轨迹时,可以存储该激活运动轨迹与特征的对应关系。当获取到一帧图像,并从该帧图像中检测到第一目标时,若第一目标的特征与一条激活运动轨迹对应的特征匹配,则可以确定第一目标与该激活运动轨迹匹配;否则,可以确定第一目标与该激活运动轨迹不匹配。
为了保证激活运动轨迹正确的更新,获得稳定的目标跟踪,还可以同时考虑位置信息和特征,即若预测的一条激活运动轨迹在当前帧图像中的位置信息与第一目标的位置信息的距离小于距离阈值,且该激活运动轨迹对应的特征与第一目标的特征匹配,则可以确定第一目标与该激活运动轨迹匹配;否则,可以确定第一目标与该激活运动轨迹不匹配。
本申请实施例中,若第一目标与一条激活运动轨迹匹配,则可以将该激活运动轨迹确定为第一目标匹配的第一激活运动轨迹;若第一目标与多条激活运动轨迹匹配,则需要从这多条激活运动轨迹中选择出一条激活运动轨迹作为第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,可以将激活运动轨迹划分为不同的优先级,激活运动轨迹越稳定,该激活运动轨迹的优先级越高,依据激活运动轨迹的优先级确定第一目标匹配的第一激活运动轨迹。
运动轨迹的稳定性可以根据连续更新的图像帧数确定。例如,若连续更新的图像帧数达到第二数量的激活运动轨迹在当前帧图像中能够跟踪到目标的可能性为第一可能性,连续更新的图像帧数未达到第二数量的激活运动轨迹在当前帧图像中能够跟踪到目标的可能性为第二可能性,则第一可能性高于第二可能性,即连续更新的图像帧数达到第二数量的激活运动轨迹的稳定性高于连续更新的图像帧数未达到第二数量的激活运动轨迹的稳定性,进而确定连续更新的图像帧数达到第二数量的激活运动轨迹的优先级高于连续更新的图像帧数未达到第二数量的激活运动轨迹的优先级。
此时,若第一目标与激活运动轨迹中的第一运动轨迹和第二运动轨迹匹配,其中,第一运动轨迹为连续更新的图像帧数达到第二数量的激活运动轨迹,第二运动轨迹为连续更新的图像帧数未达到第二数量的激活运动轨迹,则可以确定第一运动轨迹的优先级高于第二运动轨迹的优先级,将第一运动轨迹确定为第一目标匹配的第一激活运动轨迹。
运动轨迹的稳定性还可以根据目标是否被遮挡确定。例如,被遮挡目标的信息量较少,跟踪时可能不稳定,这种情况下,若目标无遮挡的激活运动轨迹在当前帧图像中能够跟踪到目标的可能性为第三可能性,目标被遮挡的激活运动轨迹在当前帧图像中能够跟踪到目标的可能性为第四可能性,则第三可能性高于第四可能性,即目标无遮挡的激活运动轨迹的稳定性高于目标被遮挡的激活运动轨迹的稳定性,进而确定目标无遮挡的激活运动轨迹的优先级高于目标被遮挡的激活运动轨迹的优先级。
此时,若第一目标与激活运动轨迹中的第三运动轨迹和第四运动轨迹匹配,其中,第三运动轨迹为目标无遮挡的激活运动轨迹,第四运动轨迹为目标被遮挡的激活运动轨迹,则可以确定第三运动轨迹的优先级高于第四运动轨迹的优先级,将第三运动轨迹确定为第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,可以利用立体视觉摄像机来确定是否存在被遮挡目标。例如,立体视觉摄像机在采集图像时可以在世界坐标系下分析目标的位置信息,若获取到立体视觉摄像机采集的上一帧图像中有N个目标,其中存在2个目标的位置信息较近,且预测这2个目标在当前帧图像中的位置信息也较近,那么若当前帧图像中检出的目标少于应存在的目标,例如,检出的目标个数为N-1,N-1<N,则可以确定存在遮挡,标记被遮挡目标,降低被遮挡目标的优先级,被遮挡目标在后续图像中出现时再提高该目标的优先级。
运动轨迹的稳定性也可以根据连续更新的图像帧数和目标是否被遮挡综合确定,如表1所示的激活运动轨迹的稳定性与连续更新的帧数和是否被遮挡的一种对应关系。
表1
连续更新 未连续更新
无遮挡 稳定性最高 稳定性次低
被遮挡 稳定性次高 稳定性最低
其中,连续更新的图像帧数达到第二数量且无遮挡的激活运动轨迹的稳定性最高,优先级最高;连续更新的图像帧数达到第二数量且被遮挡的激活运动轨迹的稳定性次高,优先级次高;连续更新的图像帧数未达到第二数量且无遮挡的激活运动轨迹的稳定性次低,优先级次低;连续更新的图像帧数未达到第二数量且被遮挡的激活运动轨迹的稳定性最低,优先级最低。
此时,若第一目标与激活运动轨迹中的多条激活运动轨迹匹配,则从这多条激活运动轨迹中优先选择连续更新的图像帧数达到第二数量且无遮挡的激活运动轨迹作为第一目标匹配的第一激活运动轨迹;若不存在连续更新的图像帧数达到第二数量且无遮挡的激活运动轨迹,则选择连续更新的图像帧数达到第二数量且被遮挡的激活运动轨迹作为第一目标匹配的第一激活运动轨迹;若还不存在连续更新的图像帧数达到第二数量且被遮挡的激活运动轨迹,则选择连续更新的图像帧数未达到第二数量且无遮挡的激活运动轨迹作为第一目标匹配的第一激活运动轨迹;若上述三者激活运动轨迹均不存在,再选择连续更新的图像帧数未达到第二数量且被遮挡的激活运动轨迹作为第一目标匹配的第一激活运动轨迹。
实际应用中,激活运动轨迹的优先级的划分可以依据场景来选择。例如,在摄像机视角近似于垂直时,遮挡问题不明显,此时可以主要依据运动轨迹连续更新的图像帧数制定激活运动轨的优先级;在摄像机视角近似于水平时,遮挡问题明显,此时可以主要依据目标是否被遮挡制定激活运动轨的优先级。
步骤1032:若第一目标与已建立的激活运动轨迹均不匹配,建立一条与第一目标匹配的新激活运动轨迹,将该新激活运动轨迹作为第一目标匹配的第一激活运动轨迹。
若第一目标与已建立的激活运动轨迹均不匹配,可以确定该第一目标刚刚出现在跟踪区域中,还不存在与该第一目标匹配的激活运动轨迹,建立与第一目标匹配的新激活运动轨迹,将该新激活运动轨迹作为第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,在建立与第一目标匹配的新激活运动轨迹时,还可以将从图像中提取的第一目标的特征,将提取的特征与该新激活运动轨迹对应存储,在后续获取图像后,可以根据第一目标的特征确定图像中与该新激活运动轨迹匹配的目标。
在本申请的一个实施例中,存在刚刚出现在跟踪区域又连续多帧图像丢失的噪声目标,为了降低噪声目标的对目标跟踪的影响,可以定时或每获取到一帧图像后检测已建立的激活运动轨迹中是否存在更新次数低于更新阈值且距离上一次更新的图像帧数达到第三数量的第二激活运动轨迹;若存在,则确定第二激活运动轨迹匹配的目标为噪声目标,删除第二激活运动轨迹。这里,更新次数为激活运动轨迹根据目标的位置信息更新的次数。
例如,更新阈值为3,第三数量为5,若激活运动轨迹A获取到第1帧图像时更新了1次,获取到第2帧图像时更新了1次,则激活运动轨迹A更新了2次,2<3,当前已获取到第8帧图像,激活运动轨迹A的第2次更新为激活运动轨迹A的上一次更新,8-2=6>5,则确定激活运动轨迹A匹配的目标为噪声目标,删除激活运动轨迹A。
步骤104:根据第一目标的位置信息更新第一激活运动轨迹;
这样就实现了对第一目标的跟踪。
例如,目标M与激活运动轨迹B匹配,t-1时刻,更新后的激活运动轨迹B为Lt-1={a1,a2,…,at-1},若t时刻检测到目标M的位置信息为at,将at作为一个节点更新至激活运动轨迹B中,更新后的激活运动轨迹B为Lt-1={a1,a2,…,at-1,at}。
在本申请的一个实施例中,为便于确定获取的下一帧图像的目标是否与第一激活运动轨迹匹配,在根据第一目标的位置信息更新第一激活运动轨迹之后,可以预测下一帧图像中第一激活运动轨迹匹配的目标的位置信息。
步骤105:若确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并第一激活运动轨迹和第一失活运动轨迹;
其中,失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。
连续跟踪了一段时间的运动轨迹为激活运动轨迹,若该运动轨迹在后续连续未更新的图像帧数达到第一数量,即连续第一数量帧图像跟踪失败,则不能再将该运动轨迹与当前检测结果匹配,该运动轨迹变为失活运动轨迹。但该运动轨迹可能和其他激活运动轨迹匹配同一目标,因此可以保留一段时间,在这一段时间内,若确定失活运动轨迹与一条激活运动轨迹匹配,即失活运动轨迹与一条激活运动轨迹匹配同一目标,可以合并第一激活运动轨迹和第一失活运动轨迹。
在本申请的一个实施例中,为了避免噪声目标的影响,提高目标跟踪的稳定性,可以检测第一激活运动轨迹连续更新的图像帧数是否达到第四数量;若是,则可以确定第一激活运动轨迹匹配的目标不是噪声目标,且在下一帧图像中能够稳定的跟踪到目标;此时,若还确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,则可以确定第一激活运动轨迹及第一失活运动轨迹与同一目标匹配,合并第一激活运动轨迹和第一失活运动轨迹,获得一个较完整的运动轨迹。
这里,第一激活运动轨迹连续更新的图像帧数是否达到第四数量的步骤,可以在确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹是否匹配的步骤之前执行,也可以在确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹是否匹配的步骤之后执行,还可以与确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹是否匹配的步骤同时执行,本申请实施例对此不进行限定。
为了便于确定与第一激活激活运动轨迹匹配的失活运功轨迹,在本申请的一个实施例中,参考图2所示的目标跟踪方法的第二种流程示意图,基于图1,步骤105可以包括:
步骤1051:对于第一激活运动轨迹,选取时间交叉点之前且最接近时间交叉点的第五数量帧图像,做针对第一激活运动轨迹匹配的目标的前向预测;
这里,对于每条失活运动轨迹,时间交叉点为第一激活运动轨迹和该失活运动轨迹的时间交叉点;前向预测的内容包括:运动方向、速度、轨迹等。
步骤1052:对于每一失活运动轨迹,选取时间交叉点之后且最接近时间交叉点的第六数量帧图像,做针对该失活运动轨迹匹配的目标的后向预测;
这里,后向预测的内容包括:运动方向、速度、轨迹等。
步骤1052可以在步骤1501之前执行,可以在步骤1501之后执行,还可以与步骤1051同时中,本申请实施例对此不进行限定。
步骤1053:若对于第一激活运动轨迹的前向预测和对于第一失活运功轨迹的后向预测的重合度高于预测阈值,确定第一激活运动轨迹与第一失活运动轨迹匹配;
若对于第一激活运动轨迹的前向预测和对于第一失活运功轨迹的后向预测的重合度高于预测阈值,则可以确定第一激活运动轨迹与第一失活运动轨迹匹配同一目标,第一激活运动轨迹与第一失活运动轨迹匹配。
在本申请的一个实施例中,为了能够准确的确定与第一激活激活运动轨迹匹配的失活运功轨迹,除对第一激活运动轨迹进行前向预测、对失活运动轨迹进行后向预测外,还可以提取第七数量帧图像中第一激活运动轨迹匹配的目标的特征,提取第八数量帧图像中各条失活运动轨迹匹配的目标的特征,确定第一激活运动轨迹对应的第一特征、以及各条失活运动轨迹对应的第二特征;此时,若对于第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于预测阈值,且第一特征与第一失活运动轨迹的第二特征匹配,则可以确定第一激活运动轨迹与第一失活运动轨迹匹配。
上述第一特征可以为提取的第七数量帧图像中的特征的均值;对于每一失活运动轨迹,第二特征为提取的第八数量帧图像中该失活运动轨迹匹配的目标的特征的均值。本申请实施例中,提取的特征可以为目标的宽高、颜色等。
步骤1054:合并第一激活运动轨迹和第一失活运动轨迹。
在本申请的一个实施例中,第一激活运动轨迹的起始节点的时间与第一失活运动轨迹的结束节点的时间之间的图像帧数小于帧数阈值,即第一激活运动轨迹的起始节点的时间与第一失活运动轨迹的结束节点的时间的差值绝对值小于时间阈值,该时间阈值为一帧的时间长度与帧数阈值的乘积,这有效避免因时间的差值过大导致前向预测和后向预测的误差较大的问题,进而降低了匹配不同目标的激活运动轨迹和失活运动轨迹合并的可能性,提高了目标跟踪的稳定性。
例如,预测阈值为δ1,时间阈值为δ2,第五数量和第六数量均为3,第七数量和第八数量均为5;获取到两条运动轨迹,失活运动轨迹La={aa,aa+1,…,ai-m},失活运动轨迹Lb={ab,ab+1,…,ai-x},激活运动轨迹Lc={ai+n,ai+n+1,…,ac},失活运动轨迹La的结束节点的时间为i-m,失活运动轨迹Lb的结束节点的时间为i-x,激活运动轨迹Lc的起始节点的时间为i+n,|(i+n)-(i-m)|<δ2,|(i+n)-(i-x)|<δ2
分别选取失活运动轨迹La和激活运动轨迹Lc的时间交叉点t1,失活运动轨迹Lb和激活运动轨迹Lc的时间交叉点t2,例如选取了t1=i,t2=i+1;
对于失活运动轨迹La,选取i-m-2、i-m-1、i-m三个时间点的图像作后向预测,提取i-m-4、i-m-3、i-m-2、i-m-1、i-m五个时间点的图像中与失活运动轨迹La匹配的目标的特征的均值A;
对于失活运动轨迹Lb,选取i-x-2、i-x-1、i-x三个时间点的图像作后向预测,提取i-x-4、i-x-3、i-x-2、i-x-1、i-x五个时间点的图像中与失活运动轨迹Lb匹配的目标的特征的均值B;
对于激活运动轨迹Lc,选取i+n、i+n+1、i+n+2三个时间点的图像作前向预测,提取i+n、i+n+1、i+n+2、i+n+3、i+n+4五个时间点的图像中与激活运动轨迹Lc匹配的目标的特征的均值C;
若对于失活运动轨迹La的后向预测与对于激活运动轨迹Lc的前向预测的重合度>δ1,且特征的均值A与特征的均值C匹配,则确定失活运动轨迹La和激活运动轨迹Lc匹配,合并失活运动轨迹La和激活运动轨迹Lc,获得激活运动轨迹La+c={aa,aa+1,…,ai-m,ai+n,ai+n+1,…,ac};否则,确定失活运动轨迹La和激活运动轨迹Lc不匹配,拒绝合并失活运动轨迹La和激活运动轨迹Lc
若对于失活运动轨迹Lb的后向预测与对于激活运动轨迹Lc的前向预测的重合度>δ1,且特征的均值B与特征的均值C匹配,则确定失活运动轨迹Lb和激活运动轨迹Lc匹配,合并失活运动轨迹Lb和激活运动轨迹Lc,获得激活运动轨迹Lb+c={ab,ab+1,…,ai-x,ai+n,ai+n+1,…,ac};否则,确定失活运动轨迹Lb和激活运动轨迹Lc不匹配,拒绝合并失活运动轨迹Lb和激活运动轨迹Lc
在本申请的一个实施例中,为了节约设备资源,可以定时或每获取到一帧图像后检测失活运动轨迹中是否存在距离上一次更新的图像帧数达到第九数量的第二失活运动轨迹;若存在,则确定第二失活运动轨迹匹配的目标已离开跟踪区域,删除第二失活运动轨迹。
下面结合图3所示的运动轨迹的状态及转移条件的示意图,对本申请实施例提供的目标跟踪方法进行结合说明。图3中S*表示运动轨迹的状态,A*表示运动轨迹的转移条件;
其中,S0表示刚刚检测到目标,运动轨迹刚刚激活的状态;
S1:运动轨迹跟踪了目标一段时间,即激活了一段时间的状态;
S2:失活状态,更新失败一段时间后的状态;
S3:删除状态,将运动轨迹删除的状态;
A0:刚刚检测到目标时进行前几帧的运动轨迹更新;
A1:连续更新的图像帧数达到第四数量的运动轨迹;
A2:刚刚检测到目标,距离上一次更新的图像帧数达到第三数量的运动轨迹;
A3:连续更新的运动轨迹;
A4:连续未更新的图像帧数达到第一数量的运动轨迹;
A5:检测到目标离开跟踪区域;
A6:为处于与失活运动轨迹匹配的激活运动轨迹;
A7:检测到与失活运动轨迹匹配的激活运动轨迹;
A8:距离上一次更新的图像帧数达到第九数量的运动轨迹。
应用本申请实施例,若一条失活运动轨迹与一条激活运动轨迹匹配,则确定该两条运动轨迹是针对同一目标的运动轨迹,合并这两条运动轨迹,这样,在出现噪声干扰、目标运动轨迹交叉、遮挡等问题形成多个针对同一目标的运动轨迹片段时,可以获得一条针对一目标的较完整的运动轨迹,提高了目标跟踪的稳定性。
与目标跟踪方法实施例对应,本申请实施例还提供了一种目标跟踪装置。参考图4,图4为本申请实施例提供的目标跟踪装置的第一种结构示意图,该装置包括:
获取单元401,用于获取待检测视频的当前帧图像;
第一检测单元402,用于检测当前帧图像中的第一目标,确定第一目标的位置信息;
确定单元403,用于从激活运动轨迹中确定与第一目标匹配的第一激活运动轨迹;激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
更新单元404,用于根据第一目标的位置信息更新第一激活运动轨迹;
合并单元405,用于若确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并第一激活运动轨迹和第一失活运动轨迹;失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。
在本申请的一个实施例中,确定单元403,可以包括:
第一确定子单元,用于若第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定第一目标匹配的第一激活运动轨迹;
建立子单元,用于若第一目标与已建立的激活运动轨迹均不匹配,建立一条与第一目标匹配的新激活运动轨迹,将新激活运动轨迹作为第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,第一确定子单元,具体可以用于:
对于已建立的每一激活运动轨迹,预测该激活运动轨迹在当前帧图像中的位置信息,和/或从当前帧图像中提取第一目标的特征;
对于已建立的每一激活运动轨迹,若第一目标的位置信息与预测的位置信息间的距离小于距离阈值,和/或第一目标的特征与该激活运动轨迹对应的特征匹配,则确定第一目标与该激活运动轨迹匹配;
根据匹配的激活运动轨迹确定第一目标匹配的第一激活运动轨迹。
在本申请的一个实施例中,第一确定子单元,具体可以用于:
若第一目标与已建立的激活运动轨迹中的第一运动轨迹和第二运动轨迹匹配,确定第一运动轨迹为第一目标匹配的第一激活运动轨迹;第一运动轨迹为连续更新的图像帧数达到第二数量的激活运动轨迹;第二运动轨迹为连续更新的图像帧数未达到第二数量的激活运动轨迹。
在本申请的一个实施例中,第一确定子单元,具体可以用于:
若第一目标与已建立的激活运动轨迹中的第三运动轨迹和第四运动轨迹匹配,确定第三运动轨迹为第一目标匹配的第一激活运动轨迹;第三运动轨迹为匹配的目标无遮挡的激活运动轨迹;第四运动轨迹为匹配的目标被遮挡的激活运动轨迹。
在本申请的一个实施例中,上述目标跟踪装置还可以包括:
第二检测单元,用于检测已建立的激活运动轨迹中是否存在更新次数低于更新阈值且距离上一次更新的图像帧数达到第三数量的第二激活运动轨迹;
第一删除单元,用于当第二检测单元的检测结果为是时删除第二激活运动轨迹。
在本申请的一个实施例中,合并单元405,具体可以用于:
若第一激活运动轨迹连续更新的图像帧数达到第四数量,且确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,则合并第一激活运动轨迹和第一失活运动轨迹。
在本申请的一个实施例中,参考图5所示的目标跟踪装置的第二种流程示意图,基于图4,该装置中,合并单元405,可以包括:
第一预测子单元4051,用于对于第一激活运动轨迹,选取时间交叉点之前且最接近时间交叉点的第五数量帧图像,做针对第一激活运动轨迹匹配的目标的前向预测;时间交叉点为第一激活运动轨迹和各条失活运动轨迹的时间交叉点;
第二预测子单元4052,用于对于每一失活运动轨迹,选取时间交叉点之后且最接近时间交叉点的第六数量帧图像,做针对该失活运动轨迹匹配的目标的后向预测;
第二确定子单元4053,用于若对于第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于预测阈值,确定第一激活运动轨迹与第一失活运动轨迹匹配;
合并子单元4054,用于合并第一激活运动轨迹和第一失活运动轨迹。
在本申请的一个实施例中,第一激活运动轨迹的起始节点的时间与第一失活运动轨迹的结束节点的时间之间的图像帧数小于帧数阈值。
在本申请的一个实施例中,上述目标跟踪装置还可以包括:
第一提取单元,用于提取第七数量帧图像中与第一激活运动轨迹匹配的目标的特征,确定第一激活运动轨迹对应的第一特征;
第二提取单元,用于提取第八数量帧图像中与各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征;
这种情况下,第二确定子单元4053,具体可以用于:
若对于第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,且第一特征与第一失活运动轨迹的第二特征匹配,则确定第一激活运动轨迹与第一失活运动轨迹匹配。
在本申请的一个实施例中,第一提取单元,具体可以用于:
提取第七数量帧图像中与第一激活运动轨迹匹配的目标的特征;
计算提取的第七数量帧图像中的特征的第一均值,将第一均值作为第一激活运动轨迹对应的第一特征;
第二提取单元,具体可以用于:
提取第八数量帧图像中与各条失活运动轨迹匹配的目标的特征;
对于每条失活运动轨迹,计算提取的第八数量帧图像中该失活运动轨迹匹配的目标的特征的第二均值,将第二均值作为第一失活运动轨迹对应的第二特征。
在本申请的一个实施例中,上述目标跟踪装置还可以包括:
第三检测单元,用于检测失活运动轨迹中是否存在距离上一次更新的图像帧数达到第九数量的第二失活运动轨迹;
第二删除单元,用于当第二检测单的检测结果为是时删除第二失活运动轨迹。
应用本申请实施例,若一条失活运动轨迹与一条激活运动轨迹匹配,则确定该两条运动轨迹是针对同一目标的运动轨迹,合并这两条运动轨迹,这样,在出现噪声干扰、目标运动轨迹交叉、遮挡等问题形成多个针对同一目标的运动轨迹片段时,可以获得一条针对一目标的较完整的运动轨迹,提高了目标跟踪的稳定性。
本申请实施例还提供了一种电子设备,包括处理器和存储器;其中,存储器,用于存放应用程序;处理器,用于执行存储器上所存放的应用程序时,实现目标跟踪方法。其中,目标跟踪方法包括:
获取待检测视频的当前帧图像;
检测当前帧图像中的第一目标,确定第一目标的位置信息;
从激活运动轨迹中确定与第一目标匹配的第一激活运动轨迹;激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
根据第一目标的位置信息更新第一激活运动轨迹;
若确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并第一激活运动轨迹和第一失活运动轨迹;失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。
应用本申请实施例,若一条失活运动轨迹与一条激活运动轨迹匹配,则确定该两条运动轨迹是针对同一目标的运动轨迹,合并这两条运动轨迹,这样,在出现噪声干扰、目标运动轨迹交叉、遮挡等问题形成多个针对同一目标的运动轨迹片段时,可以获得一条针对一目标的较完整的运动轨迹,提高了目标跟踪的稳定性。
存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种机器可读存储介质,机器可读存储介质内存储有应用程序,应用程序被处理器执行时实现目标跟踪方法。其中,目标跟踪方法包括:
获取待检测视频的当前帧图像;
检测当前帧图像中的第一目标,确定第一目标的位置信息;
从激活运动轨迹中确定与第一目标匹配的第一激活运动轨迹;激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
根据第一目标的位置信息更新第一激活运动轨迹;
若确定第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并第一激活运动轨迹和第一失活运动轨迹;失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。
应用本申请实施例,若一条失活运动轨迹与一条激活运动轨迹匹配,则确定该两条运动轨迹是针对同一目标的运动轨迹,合并这两条运动轨迹,这样,在出现噪声干扰、目标运动轨迹交叉、遮挡等问题形成多个针对同一目标的运动轨迹片段时,可以获得一条针对一目标的较完整的运动轨迹,提高了目标跟踪的稳定性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于目标跟踪装置、电子设备、机器可读存储介质实施例而言,由于其基本相似于目标跟踪方法实施例,所以描述的比较简单,相关之处参见目标跟踪方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (25)

1.一种目标跟踪方法,其特征在于,所述方法包括:
获取待检测视频的当前帧图像;
检测当前帧图像中的第一目标,确定所述第一目标的位置信息;
从激活运动轨迹中确定与所述第一目标匹配的第一激活运动轨迹;所述激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
根据所述第一目标的位置信息更新所述第一激活运动轨迹;
若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹;所述失活运动轨迹为连续未更新的图像帧数达到所述第一数量的运动轨迹。
2.根据权利要求1所述的方法,其特征在于,所述从激活运动轨迹中确定与所述第一目标匹配的第一激活运动轨迹的步骤,包括:
若所述第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹;
若所述第一目标与已建立的激活运动轨迹均不匹配,建立一条与所述第一目标匹配的新激活运动轨迹,将所述新激活运动轨迹作为所述第一目标匹配的第一激活运动轨迹。
3.根据权利要求2所述的方法,其特征在于,所述若所述第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹的步骤,包括:
对于已建立的每一激活运动轨迹,预测该激活运动轨迹在当前帧图像中的位置信息,和/或从当前帧图像中提取所述第一目标的特征;
对于已建立的每一激活运动轨迹,若所述第一目标的位置信息与预测的位置信息间的距离小于距离阈值,和/或所述第一目标的特征与该激活运动轨迹对应的特征匹配,则确定所述第一目标与该激活运动轨迹匹配;
根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹。
4.根据权利要求2或3所述的方法,其特征在于,所述根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹的步骤,包括:
若所述第一目标与已建立的激活运动轨迹中的第一运动轨迹和第二运动轨迹匹配,确定第一运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第一运动轨迹为连续更新的图像帧数达到第二数量的激活运动轨迹;所述第二运动轨迹为连续更新的图像帧数未达到所述第二数量的激活运动轨迹。
5.根据权利要求2或3所述的方法,其特征在于,所述根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹的步骤,包括:
若所述第一目标与已建立的激活运动轨迹中的第三运动轨迹和第四运动轨迹匹配,确定第三运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第三运动轨迹为匹配的目标无遮挡的激活运动轨迹;所述第四运动轨迹为匹配的目标被遮挡的激活运动轨迹。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
检测已建立的激活运动轨迹中是否存在更新次数低于更新阈值且距离上一次更新的图像帧数达到第三数量的第二激活运动轨迹;
若存在,删除所述第二激活运动轨迹。
7.根据权利要求1所述的方法,其特征在于,所述若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹的步骤,包括:
若所述第一激活运动轨迹连续更新的图像帧数达到第四数量,且确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,则合并所述第一激活运动轨迹和所述第一失活运动轨迹。
8.根据权利要求1所述的方法,其特征在于,所述若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹的步骤,包括:
对于所述第一激活运动轨迹,选取时间交叉点之前且最接近所述时间交叉点的第五数量帧图像,做针对所述第一激活运动轨迹匹配的目标的前向预测;所述时间交叉点为所述第一激活运动轨迹和各条失活运动轨迹的时间交叉点;
对于每一失活运动轨迹,选取所述时间交叉点之后且最接近所述时间交叉点的第六数量帧图像,做针对该失活运动轨迹匹配的目标的后向预测;
若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于预测阈值,确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配;
合并所述第一激活运动轨迹和所述第一失活运动轨迹。
9.根据权利要求8所述的方法,其特征在于,所述第一激活运动轨迹的起始节点的时间与所述第一失活运动轨迹的结束节点的时间之间的图像帧数小于帧数阈值。
10.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
提取所述第七数量帧图像中所述第一激活运动轨迹匹配的目标的特征,确定所述第一激活运动轨迹对应的第一特征;
提取所述第八数量帧图像中各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征;
所述若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配的步骤,包括:
若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,且所述第一特征与所述第一失活运动轨迹的第二特征匹配,则确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配。
11.根据权利要求10所述的方法,其特征在于,所述提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征,确定所述第一激活运动轨迹对应的第一特征的步骤,包括:
提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征;
计算提取的所述第七数量帧图像中的特征的第一均值,将所述第一均值作为所述第一激活运动轨迹对应的第一特征;
所述提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征的步骤,包括:
提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征;
对于每条失活运动轨迹,计算提取的所述第八数量帧图像中该失活运动轨迹匹配的目标的特征的第二均值,将所述第二均值作为所述第一失活运动轨迹对应的第二特征。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测失活运动轨迹中是否存在距离上一次更新的图像帧数达到第九数量的第二失活运动轨迹;
若存在,删除所述第二失活运动轨迹。
13.一种目标跟踪装置,其特征在于,所述装置包括:
获取单元,用于获取待检测视频的当前帧图像;
第一检测单元,用于检测当前帧图像中的第一目标,确定所述第一目标的位置信息;
确定单元,用于从激活运动轨迹中确定与所述第一目标匹配的第一激活运动轨迹;所述激活运动轨迹为连续未更新的图像帧数未达到第一数量的运动轨迹;
更新单元,用于根据所述第一目标的位置信息更新所述第一激活运动轨迹;
合并单元,用于若确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,合并所述第一激活运动轨迹和所述第一失活运动轨迹;所述失活运动轨迹为连续未更新的图像帧数达到第一数量的运动轨迹。
14.根据权利要求13所述的装置,其特征在于,所述确定单元,包括:
第一确定子单元,用于若所述第一目标与已建立的激活运动轨迹中的激活运动轨迹匹配,根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹;
建立子单元,用于若所述第一目标与已建立的激活运动轨迹均不匹配,建立一条与所述第一目标匹配的新激活运动轨迹,将所述新激活运动轨迹作为所述第一目标匹配的第一激活运动轨迹。
15.根据权利要求14所述的装置,其特征在于,所述第一确定子单元,具体用于:
对于已建立的每一激活运动轨迹,预测该激活运动轨迹在当前帧图像中的位置信息,和/或从当前帧图像中提取所述第一目标的特征;
对于已建立的每一激活运动轨迹,若所述第一目标的位置信息与预测的位置信息间的距离小于距离阈值,和/或所述第一目标的特征与该激活运动轨迹对应的特征匹配,则确定所述第一目标与该激活运动轨迹匹配;
根据匹配的激活运动轨迹确定所述第一目标匹配的第一激活运动轨迹。
16.根据权利要求14或15所述的装置,其特征在于,所述第一确定子单元,具体用于:
若所述第一目标与已建立的激活运动轨迹中的第一运动轨迹和第二运动轨迹匹配,确定第一运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第一运动轨迹为连续更新的图像帧数达到第二数量的激活运动轨迹;所述第二运动轨迹为连续更新的图像帧数未达到第二数量的激活运动轨迹。
17.根据权利要求14或15所述的装置,其特征在于,所述第一确定子单元,具体用于:
若所述第一目标与已建立的激活运动轨迹中的第三运动轨迹和第四运动轨迹匹配,确定第三运动轨迹为所述第一目标匹配的第一激活运动轨迹;所述第三运动轨迹为匹配的目标无遮挡的激活运动轨迹;所述第四运动轨迹为匹配的目标被遮挡的激活运动轨迹。
18.根据权利要求13-15任一项所述的装置,其特征在于,所述装置还包括:
第二检测单元,用于检测已建立的激活运动轨迹中是否存在更新次数低于更新阈值且距离上一次更新的图像帧数达到第三数量的第二激活运动轨迹;
第一删除单元,用于当所述第二检测单元的检测结果为是时删除所述第二激活运动轨迹。
19.根据权利要求13所述的装置,其特征在于,所述合并单元,具体用于:
若所述第一激活运动轨迹连续更新的图像帧数达到第四数量,且确定所述第一激活运动轨迹与失活运动轨迹中的第一失活运动轨迹匹配,则合并所述第一激活运动轨迹和所述第一失活运动轨迹。
20.根据权利要求13所述的装置,其特征在于,所述合并单元,包括:
第一预测子单元,用于对于所述第一激活运动轨迹,选取时间交叉点之前且最接近所述时间交叉点的第五数量帧图像,做针对所述第一激活运动轨迹匹配的目标的前向预测;所述时间交叉点为所述第一激活运动轨迹和各条失活运动轨迹的时间交叉点;
第二预测子单元,用于对于每一失活运动轨迹,选取所述时间交叉点之后且最接近所述时间交叉点的第六数量帧图像,做针对该失活运动轨迹匹配的目标的后向预测;
第二确定子单元,用于若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于预测阈值,确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配;
合并子单元,用于合并所述第一激活运动轨迹和所述第一失活运动轨迹。
21.根据权利要求20所述的装置,其特征在于,所述第一激活运动轨迹的起始节点的时间与所述第一失活运动轨迹的结束节点的时间之间的图像帧数小于帧数阈值。
22.根据权利要求20或21所述的装置,其特征在于,所述装置还包括:
第一提取单元,用于提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征,确定所述第一激活运动轨迹对应的第一特征;
第二提取单元,用于提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征,确定各条失活运动轨迹对应的第二特征;
所述第二确定子单元,具体用于:
若对于所述第一激活运动轨迹的前向预测和对于第一失活运动轨迹的后向预测的重合度高于第三阈值,且所述第一特征与所述第一失活运动轨迹的第二特征匹配,则确定所述第一激活运动轨迹与所述第一失活运动轨迹匹配。
23.根据权利要求22所述的装置,其特征在于,所述第一提取单元,具体用于:
提取所述第七数量帧图像中与所述第一激活运动轨迹匹配的目标的特征;
计算提取的所述第七数量帧图像中的特征的第一均值,将所述第一均值作为所述第一激活运动轨迹对应的第一特征;
所述第二提取单元,具体用于:
提取所述第八数量帧图像中与各条失活运动轨迹匹配的目标的特征;
对于每条失活运动轨迹,计算提取的所述第八数量帧图像中该失活运动轨迹匹配的目标的特征的第二均值,将所述第二均值作为所述第一失活运动轨迹对应的第二特征。
24.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第三检测单元,用于检测失活运动轨迹中是否存在连续距离上一次更新的图像帧数达到第九数量的第二失活运动轨迹;
第二删除单元,用于当所述第二检测单的检测结果为是时删除所述第二失活运动轨迹。
25.一种电子设备,其特征在于,包括处理器和存储器;所述存储器,用于存放应用程序;所述处理器,用于执行所述存储器上所存放的应用程序,实现权利要求1-12任一所述的方法步骤。
CN201710897997.9A 2017-09-28 2017-09-28 一种目标跟踪方法及装置 Active CN109584265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710897997.9A CN109584265B (zh) 2017-09-28 2017-09-28 一种目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710897997.9A CN109584265B (zh) 2017-09-28 2017-09-28 一种目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN109584265A true CN109584265A (zh) 2019-04-05
CN109584265B CN109584265B (zh) 2020-10-02

Family

ID=65913130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710897997.9A Active CN109584265B (zh) 2017-09-28 2017-09-28 一种目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN109584265B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子装置
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112305531A (zh) * 2020-12-29 2021-02-02 北京海兰信数据科技股份有限公司 一种目标检测方法及装置
WO2021036825A1 (zh) * 2019-08-30 2021-03-04 腾讯科技(深圳)有限公司 对象跟踪方法、装置、存储介质及电子设备
CN112802066A (zh) * 2021-01-26 2021-05-14 深圳市普汇智联科技有限公司 一种基于多轨迹融合的多目标跟踪方法及系统
CN112802067A (zh) * 2021-01-26 2021-05-14 深圳市普汇智联科技有限公司 一种基于图网络的多目标跟踪方法及系统
JP2022518745A (ja) * 2019-05-06 2022-03-16 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
WO2022141333A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840507A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
CN103778647A (zh) * 2014-02-14 2014-05-07 中国科学院自动化研究所 一种基于层次超图优化的多目标跟踪方法
CN104424638A (zh) * 2013-08-27 2015-03-18 深圳市安芯数字发展有限公司 一种基于遮挡情况下的目标跟踪方法
CN105809714A (zh) * 2016-03-07 2016-07-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于轨迹置信度的多目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840507A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
CN104424638A (zh) * 2013-08-27 2015-03-18 深圳市安芯数字发展有限公司 一种基于遮挡情况下的目标跟踪方法
CN103778647A (zh) * 2014-02-14 2014-05-07 中国科学院自动化研究所 一种基于层次超图优化的多目标跟踪方法
CN105809714A (zh) * 2016-03-07 2016-07-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于轨迹置信度的多目标跟踪方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022518745A (ja) * 2019-05-06 2022-03-16 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
JP7154678B2 (ja) 2019-05-06 2022-10-18 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
WO2021036825A1 (zh) * 2019-08-30 2021-03-04 腾讯科技(深圳)有限公司 对象跟踪方法、装置、存储介质及电子设备
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110533700B (zh) * 2019-08-30 2023-08-29 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子装置
US11748896B2 (en) 2019-08-30 2023-09-05 Tencent Technology (Shenzhen) Company Limited Object tracking method and apparatus, storage medium, and electronic device
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111784730B (zh) * 2020-07-01 2024-05-03 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112305531A (zh) * 2020-12-29 2021-02-02 北京海兰信数据科技股份有限公司 一种目标检测方法及装置
WO2022141333A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置
CN112802066A (zh) * 2021-01-26 2021-05-14 深圳市普汇智联科技有限公司 一种基于多轨迹融合的多目标跟踪方法及系统
CN112802067A (zh) * 2021-01-26 2021-05-14 深圳市普汇智联科技有限公司 一种基于图网络的多目标跟踪方法及系统
CN112802066B (zh) * 2021-01-26 2023-12-15 深圳市普汇智联科技有限公司 一种基于多轨迹融合的多目标跟踪方法及系统
CN112802067B (zh) * 2021-01-26 2024-01-26 深圳市普汇智联科技有限公司 一种基于图网络的多目标跟踪方法及系统

Also Published As

Publication number Publication date
CN109584265B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN109584265A (zh) 一种目标跟踪方法及装置
US10769480B2 (en) Object detection method and system
Sharma et al. Beyond pixels: Leveraging geometry and shape cues for online multi-object tracking
US9478039B1 (en) Background modeling and foreground extraction method based on depth image
US9672634B2 (en) System and a method for tracking objects
US20180284777A1 (en) Method, control apparatus, and system for tracking and shooting target
Milan et al. Challenges of ground truth evaluation of multi-target tracking
JP5180733B2 (ja) 移動物体追跡装置
CN106780557A (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
CN102405483A (zh) 对象物追踪装置、对象物追踪方法、以及对象物追踪程序
CN105940430A (zh) 人员计数方法及其装置
US20060276964A1 (en) Behavior detector and behavior detection method for a vehicle
Archana et al. Object detection and tracking based on trajectory in broadcast tennis video
US20170351924A1 (en) Crowd Monitoring System
KR20140014298A (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
CN109035330A (zh) 箱体拟合方法、设备和计算机可读存储介质
CN101577006A (zh) 视频监控中的徘徊检测方法和系统
Zulkifley et al. Robust hierarchical multiple hypothesis tracker for multiple-object tracking
CN112633096B (zh) 客流的监测方法、装置、电子设备及存储介质
Bashar et al. Multiple object tracking in recent times: A literature review
CN110321806A (zh) 目标检测方法、图像处理设备及具有存储功能的设备
CN109035305A (zh) 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
Chakraborty et al. A trajectory-based ball detection and tracking system with applications to shot-type identification in volleyball videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant