CN105931269A - 一种视频中的目标跟踪方法及装置 - Google Patents

一种视频中的目标跟踪方法及装置 Download PDF

Info

Publication number
CN105931269A
CN105931269A CN201610257212.7A CN201610257212A CN105931269A CN 105931269 A CN105931269 A CN 105931269A CN 201610257212 A CN201610257212 A CN 201610257212A CN 105931269 A CN105931269 A CN 105931269A
Authority
CN
China
Prior art keywords
rectangle frame
target
image
template
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610257212.7A
Other languages
English (en)
Inventor
王智慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201610257212.7A priority Critical patent/CN105931269A/zh
Publication of CN105931269A publication Critical patent/CN105931269A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种视频中的目标跟踪方法及装置,用于解决现有的目标模板采用单一的样本,跟踪精度低的问题。方法包括:根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;提取出目标矩形框内图像的特征信息,确定出目标矩形框内图像的特征信息与目标模板中的样本的相似度;在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于目标模板中,并使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。在目标跟踪过程中,不断对目标模板进行更新和完善,使得目标模板中包含足够多的关键帧中待跟踪目标的特征信息,跟踪结果更可靠。

Description

一种视频中的目标跟踪方法及装置
技术领域
本发明涉及视频监控领域,特别涉及一种视频中的目标跟踪方法及装置。
背景技术
随着监控网络地不断发展,实时视频监控已经成为维护城市安全的重要手段。但由于人力监控需要大量的劳动力,并且可能受到人为因素影响,在监控点逐步增多的情况下,人力监控受到越来越大的挑战。因此,通过图像识别和行为识别等相关算法进行智能监控的技术受到越来越多的关注。
在使用视频监控中,最主要的目的是能够对突发事件及时发现并处理。而在突发事件中,实现对视频中的目标跟踪,如对人、移动物体等的跟踪,发挥着重要的作用。例如,在敏感区域,通过分析跟踪到的人的行走路线,分析其可能的行为,可以做到及时进行预警,从而进一步降低了未来发生安全问题的概率,维护社会和谐。
由于视频中的目标跟踪过程中,跟踪结果经常受到一系列的内部或外部条件变化的影响,例如,被跟踪目标的形状、尺寸、色调的变化,又如,外界光线变化和障碍物遮挡等,使得难以实现对视频中目标长时间的有效跟踪,在跟踪过程中经常会出现被跟踪目标丢失的情况。在多目标跟踪过程中,问题更加严重,经常会出现不同目标跟踪混淆的现象。
为了实现有效跟踪,通过样本训练,得到每个被跟踪的目标对应的样本模型,从而形成目标模板,目标模板中包含每个被跟踪的目标对应的样本模型,这样,在目标丢失和混淆的情况下,可以基于该目标模板,对目标所在的位置进行更新和校正。由于现有的目标模板采用单一的样本模型来表征目标,跟踪精度较低,不能有效的跟踪到指定的目标。
发明内容
本发明实施例提供了一种视频中的目标跟踪方法及装置,用于解决现有的目标模板采用单一的样本模型来表征目标,跟踪精度较低,不能有效的跟踪到指定的目标的问题。
第一方面,提供了一种视频中的目标跟踪方法,所述方法包括:
根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
提取出所述目标矩形框内图像的特征信息,确定出所述目标矩形框内图像的特征信息与所述目标模板中的样本的相似度;
在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,并使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。
第二方面,提供了一种视频中的目标跟踪装置,所述装置包括:
第一确定模块,用于根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
第二确定模块,用于提取出所述目标矩形框内图像的特征信息,确定出所述目标矩形框内图像的特征信息与所述目标模板中的样本的相似度;
样本更新模块,用于在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,并使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。
本发明实施例提供的方法和装置中,在目标跟踪过程中,根据获取到的帧图像中待跟踪目标所在位置的目标矩形框内图像的特征信息,不断对目标模板中的样本进行更新和完善,从而在目标模板中形成多个样本来表征待跟踪目标,使得目标模板中包含足够多的关键帧中待跟踪目标的特征信息,并且采用多样本的目标模板进行跟踪,能够应对待跟踪目标在跟踪过程中出现的变化,使得跟踪结果更可靠,准确性更高。另外,由于目标模板中包含多个样本,个别跟踪效果较差的样本的负面影响可以由其他样本来补偿。因此,采用多样本的目标模板进行跟踪,极大提高了目标模板的鲁棒性和普适性。
附图说明
图1为本发明实施例提供的一种视频中的目标跟踪方法的流程示意图;
图2为本发明实施例提供的一种视频中的目标跟踪方法中更新目标模板的示意图;
图3为本发明实施例提供的一种视频中的目标跟踪方法的另一流程示意图;
图4为本发明实施例提供的一种视频中的目标跟踪装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合说明书附图对本发明实施例作进一步详细描述。应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种视频中的目标跟踪方法,如图1所示,所述方法包括:
S11、根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
S12、提取出所述目标矩形框内图像的特征信息,确定出所述目标矩形框内图像的特征信息与所述目标模板中样本的相似度。
具体的,若所述目标模板中包含一个样本,则确定出所述目标矩形框内图像的特征信息与该样本的相似度;若所述目标模板中包含至少两个样本,则分别确定出所述目标矩形框内图像的特征信息与每个样本的相似度。
S13、在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,并使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。
具体的,使用更新后的目标模板,对于下一帧图像继续执行上述步骤S11~S13。
本发明实施例中,在目标跟踪过程中,根据获取到的帧图像中待跟踪目标所在位置的目标矩形框内图像的特征信息,不断对目标模板进行更新和完善,从而在目标模板中形成多个样本来表征待跟踪目标,使得目标模板中包含足够多的关键帧中待跟踪目标的特征信息,并且采用多样本的目标模板进行跟踪,能够应对待跟踪目标在跟踪过程中出现的变化,使得跟踪结果更可靠,准确性更高。另外,由于目标模板中包含多个样本,个别跟踪效果较差的样本的负面影响可以由其他样本来补偿。因此,采用多样本的目标模板进行跟踪,极大提高了目标模板的鲁棒性和普适性。
本发明实施例中,对于同一帧图像中的不同的待跟踪目标,均可采用上述步骤S11~步骤S13的方法进行跟踪,并不断更新每个待跟踪目标对应的多样本的目标模板。
本发明实施例中,S11中根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框,包括:
根据前N帧图像中待跟踪目标所在位置的目标矩形框,预测当前帧图像中待跟踪目标所在位置的第一矩形框,其中,N为正整数;
以所述第一矩形框为基准,确定出至少一个第二矩形框,其中,第二矩形框与所述第一矩形框的距离小于或等于设定的距离阈值;
分别提取出所述第一矩形框内图像的特征信息和所述第二矩形框内图像的特征信息,并分别确定所提取的特征信息与所述目标模板中的样本的相似度;
根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框。
由于目标模板中包含多个样本,能够应对待跟踪目标在跟踪过程中出现的变化,使得跟踪结果更可靠,准确性更高,并且可以降低个别跟踪效果较差的样本的负面影响,极大提高了目标模板的鲁棒性和普适性。
进一步,一种可能的实现方式中,根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框,包括:
对于所述第一矩形框,确定出所述第一矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;以及对于所述第二矩形框,确定出所述第二矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;
从所述第一矩形框和所述第二矩形框中,选择出相似度的平均值大于设定相似度阈值的矩形框,并将选择出的矩形框中相似度的平均值最大的矩形框确定为所述目标矩形框。
具体的,若所述目标模板中包含一个样本,则所述第一矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值,即为所述第一矩形框内图像的特征信息与该样本的相似度;所述第二矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值,即为所述第二矩形框内图像的特征信息与该样本的相似度。
若所述目标模板中包含至少两个样本,则所述第一矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值,即为所述第一矩形框内图像的特征信息与所述至少两个样本中的每个样本的相似度的平均值;所述第二矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值,即为所述第二矩形框内图像的特征信息与所述至少两个样本中的每个样本的相似度的平均值。
另一种可能的实现方式中,若所述第一矩形框和所有所述第二矩形框与所述目标模板的相似度的平均值均小于或等于所述相似度阈值,将所述第一矩形框确定为所述目标矩形框。
本发明实施例中不限定采用上述方式确定出目标矩形框,也可以采用其他方式,如从所述第一矩形框和所述第二矩形框中,将相似度的平均值最高的矩形框确定为所述目标矩形框。
在所述目标模板中包含多个样本时,由于采用平均值方式,在进行相似度的大小比较时,只需比较第一矩形框与所述目标模板中的样本的相似度的平均值、以及第二矩形框与所述目标模板中的样本的相似度的平均值的大小即可,从而减少了比较次数,提高了处理效率。
本发明实施例中,S12中提取出的所述目标矩形框内图像的特征信息可以是所述目标矩形框内图像的纹理特征,如方向梯度直方图(Histogram oforiented gradients,简称HOG),局部二值模式(Local Binary Patterns,简称LBP)等,也可以是对目标矩形框进行分块后所提取的颜色直方图。本发明实施例不对所提取出的特征信息进行限定。
本发明实施例中,S13中在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,包括:
在所述相似度的平均值大于设定的相似度阈值,且当前时刻距离上一次样本更新的间隔时长大于设定的时间阈值时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中。
为了使目标模板中新的样本能够更准确的追踪到待跟踪目标,确定出的相似度需要满足平均值大于设定的相似度阈值的条件,为了避免频繁更新目标模板中的样本,需满足当前时刻距离上一次样本更新的间隔时长大于设定的时间阈值。
具体的,假设当前时刻为t时刻,此时目标模板内的样本数量为n(n≤N),N表示目标模板能存储的样本数量的上限值,计算所述目标矩形框内图像的特征信息与所述目标模板中每个样本的相似度,记为Pj(j=1,2,…,n)。则当的值大于设定的相似度阈值,并且当前时刻距离上一次样本更新的间隔时长大于设定的时间阈值T时,将当前时刻采集到的图像帧中的目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,不断重复上述待跟踪目标的跟踪和目标模板的更新过程,以不断更新目标模板中的样本。
本发明实施例中,相似度阈值和时间阈值均为经验值,可以根据经验或仿真或应用环境进行设定。
本发明实施例中,若所述相似度的平均值小于或等于设定的相似度阈值,或者当前时刻距离上一次样本更新的间隔时长小于或等于设定的时间阈值时,确定不满足设定条件,则转入步骤S11继续对下一帧图像中的待跟踪目标进行跟踪。
本发明实施例中,所述方法还包括目标模板的初始化过程,具体如下:
从第一帧包括所述待跟踪目标的图像中,确定出所述待跟踪目标所在位置的目标矩形框;
提取出所述第一帧包括所述待跟踪目标的图像中的目标矩形框内图像的特征信息;
将所提取出的特征信息作为所述目标模板中的固定样本。
由于初始化时确定出的待跟踪目标的特征信息的准确度较高,因此,将初始化的第一帧包括所述待跟踪目标的图像确定出的样本作为固定样本,在所述目标模板的更新过程中固定样本是不会被替换掉的。具体的,在第i个待跟踪目标初始化的第一帧图像ti,1中,确定出待跟踪目标所在位置的目标矩形框,i=1,…,M,M表示待跟踪目标的数量;然后提取出该目标矩形框内图像的特征信息,并将该特征信息作为所述目标模板中的固定样本,该固定样本在后续目标模板的更新过程中,一直保持不变,不会在后续的更新过程中被替换掉的。之后,基于初始化后的目标模板进行待跟踪目标的跟踪(即根据该目标模板确定出下一帧图像中所述待跟踪目标所在位置的目标矩形框),并根据跟踪结果更新所述目标模板。
举例说明,第一帧图像中的目标矩形框可以采用如下方式确定:(1)通过人为选取的方式来确定目标矩形框;(2)通过目标检测的方式,检测出指定类型的待跟踪目标,将检测到的待跟踪目标位置所在的矩形框确定为目标矩形框。当然,本发明实施例中也可以采用其他方式确定第一帧图像中的目标矩形框,本发明实施例中不限定第一帧图像中的目标矩形框的确定方式。
本发明实施例中,若所述目标模板中已有的样本的数量未达到上限值,则将所述目标矩形框内图像的特征信息作为新的样本直接存储于所述目标模板中即可;若所述目标模板中已有的样本的数量达到上限值,则将所述目标矩形框内图像的特征信息作为新的样本进行更新时,需要替换目标模板中已有的样本,具体可采用如下两种可选的方式进行更新:
方式1、将所述目标矩形框内图像的特征信息作为新的样本,替换所述目标模板中除所述固定样本之外的任一样本。
该方式下,在存储新的样本时,可将新的样本替换所述目标模板中除所述固定样本之外的任一样本。
方式2、将所述目标矩形框内图像的特征信息作为新的样本,替换所述目标模板中除所述固定样本之外存储时间最长的样本。
该方式下,在存储新的样本时,将新的样本替换所述目标模板中除所述固定样本之外的存储时间最长的样本,从而使目标模板中的样本更好地应对待跟踪目标在跟踪过程中出现的变化,使得跟踪结果更可靠,准确性更高。
举例说明,如图2所示,假设上限值为6,分别通过ti,1~ti,6时刻的图像中待跟踪目标所在位置的目标矩形框内的图像的特征信息,得到六个样本并存储于目标模板中,在后续的跟踪过程中,ti,7时刻的图像中待跟踪目标所在位置的目标矩形框内的图像的特征信息与所述目标模板中已有的六个样本的相似度满足设定条件,可作为新的样本存储于所述目标模板中,在存储时,由于目标模板中的样本数量已达到上限值,因此,新的样本需要替换目标模板中已有的样本,此时,新的样本替换ti,2时刻得到的样本。在后续的跟踪过程中,假设ti,8时刻的图像中待跟踪目标所在位置的目标矩形框内的图像的特征信息与所述目标模板中已有的六个样本的相似度也满足设定条件,可作为新的样本存储于所述目标模板中,在存储时,新的样本替换ti,3时刻得到的样本,依次类推。
下面通过一个具体实施例,对本发明提供的一种视频中的目标跟踪方法进行详细说明。
实施例一、如图3所示,本实施例中目标跟踪方法包括如下过程:
S31、根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
S32、提取出所述目标矩形框内图像的特征信息;
S33、确定出所述目标矩形框内图像的特征信息与所述目标模板中的样本的相似度;
S34、判断是否为所述目标模板中的最后一个样本;
若是,执行S35;
若否,执行S33;
S35、判断是否满足设定条件;
若是,执行S36;
若否,执行S31,即根据目标模板,确定出下一帧图像中待跟踪目标所在位置的目标矩形框;
S36、将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,并转至S31,即根据更新后的目标模板,确定出下一帧图像中待跟踪目标所在位置的目标矩形框。
上述方法处理流程可以用软件程序实现,该软件程序可以存储在存储介质中,当存储的软件程序被调用时,执行上述方法步骤。
基于同一发明构思,本发明实施例中还提供了一种视频中的目标跟踪装置,由于该装置解决问题的原理与一种视频中的目标跟踪方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
本发明实施例提供了一种视频中的目标跟踪装置,如图4所示,所述装置包括:
第一确定模块41,用于根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
第二确定模块42,用于提取出所述目标矩形框内图像的特征信息,确定出所述目标矩形框内图像的特征信息与所述目标模板中的样本的相似度;
样本更新模块43,用于在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,并使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。
可选的,所述样本更新模块43具体用于:
在所述相似度的平均值大于设定的相似度阈值,且当前时刻距离上一次样本更新的间隔时长大于设定的时间阈值时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中。
可选的,所述第一确定模块41具体用于:
根据前N帧图像中待跟踪目标所在位置的目标矩形框,预测当前帧图像中待跟踪目标所在位置的第一矩形框,其中,N为正整数;
以所述第一矩形框为基准,确定出至少一个第二矩形框,其中,第二矩形框与所述第一矩形框的距离小于或等于设定的距离阈值;
分别提取出所述第一矩形框内图像的特征信息和所述第二矩形框内图像的特征信息,并分别确定所提取的特征信息与所述目标模板中的样本的相似度;
根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框。
可选的,所述第一确定模块41具体用于:
对于所述第一矩形框,确定出所述第一矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;以及对于所述第二矩形框,确定出所述第二矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;
从所述第一矩形框和所述第二矩形框中,选择出相似度的平均值大于设定相似度阈值的矩形框,并将选择出的矩形框中相似度的平均值最大的矩形框确定为所述目标矩形框。
可选的,所述第一确定模块41还用于:若所述第一矩形框和所有所述第二矩形框与所述目标模板的相似度的平均值均小于或等于所述相似度阈值,将所述第一矩形框确定为所述目标矩形框。
可选的,所述装置还包括:
初始化模块40,用于从第一帧包括所述待跟踪目标的图像中,确定出所述待跟踪目标所在位置的目标矩形框;提取出所述第一帧包括所述待跟踪目标的图像中的目标矩形框内图像的特征信息;将所提取出的特征信息作为所述目标模板中的固定样本。
可选的,若所述目标模板中已有的样本的数量达到上限值,所述样本更新模块43具体用于:
将所述目标矩形框内图像的特征信息作为新的样本,替换所述目标模板中除所述固定样本之外存储时间最长的样本;或者
将所述目标矩形框内图像的特征信息作为新的样本,替换所述目标模板中除所述固定样本之外的任一样本。
本发明实施例中,在目标跟踪过程中,不断对目标模板进行更新和完善,从而在目标模板中形成多个样本来表征待跟踪目标,使得目标模板中包含足够多的关键帧中待跟踪目标的特征信息,并且采用多样本的目标模板进行跟踪,能够应对待跟踪目标在跟踪过程中出现的变化,使得跟踪结果更可靠,准确性更高。另外,由于目标模板中包含多个样本,个别跟踪效果较差的样本的负面影响可以由其他样本来补偿。因此,采用多样本的目标模板进行跟踪,极大提高了目标模板的鲁棒性和普适性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频中的目标跟踪方法,其特征在于,所述方法包括:
根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
提取出所述目标矩形框内图像的特征信息,确定出所述目标矩形框内图像的特征信息与所述目标模板中的样本的相似度;
在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,并使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。
2.如权利要求1所述的方法,其特征在于,在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,包括:
在所述相似度的平均值大于设定的相似度阈值,且当前时刻距离上一次样本更新的间隔时长大于设定的时间阈值时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中。
3.如权利要求1所述的方法,其特征在于,根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框,包括:
根据前N帧图像中待跟踪目标所在位置的目标矩形框,预测当前帧图像中待跟踪目标所在位置的第一矩形框,其中,N为正整数;
以所述第一矩形框为基准,确定出至少一个第二矩形框,其中,第二矩形框与所述第一矩形框的距离小于或等于设定的距离阈值;
分别提取出所述第一矩形框内图像的特征信息和所述第二矩形框内图像的特征信息,并分别确定所提取的特征信息与所述目标模板中的样本的相似度;
根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框。
4.如权利要求3所述的方法,其特征在于,根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框,包括:
对于所述第一矩形框,确定出所述第一矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;以及对于所述第二矩形框,确定出所述第二矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;
从所述第一矩形框和所述第二矩形框中,选择出相似度的平均值大于设定相似度阈值的矩形框,并将选择出的矩形框中相似度的平均值最大的矩形框确定为所述目标矩形框。
5.如权利要求4所述的方法,其特征在于,根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框,还包括:
若所述第一矩形框和所有所述第二矩形框与所述目标模板的相似度的平均值均小于或等于所述相似度阈值,将所述第一矩形框确定为所述目标矩形框。
6.如权利要求1~5任一项所述的方法,其特征在于,根据目标模板中的样本,确定出所述目标矩形框之前,还包括:
从第一帧包括所述待跟踪目标的图像中,确定出所述待跟踪目标所在位置的目标矩形框;
提取出所述第一帧包括所述待跟踪目标的图像中的目标矩形框内图像的特征信息;
将所提取出的特征信息作为所述目标模板中的固定样本。
7.如权利要求6所述的方法,其特征在于,若所述目标模板中已有的样本的数量达到上限值,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,包括:
将所述目标矩形框内图像的特征信息作为新的样本,替换所述目标模板中除所述固定样本之外存储时间最长的样本;或者
将所述目标矩形框内图像的特征信息作为新的样本,替换所述目标模板中除所述固定样本之外的任一样本。
8.一种视频中的目标跟踪装置,其特征在于,所述装置包括:
第一确定模块,用于根据目标模板中的样本,确定出当前帧图像中待跟踪目标所在位置的目标矩形框;
第二确定模块,用于提取出所述目标矩形框内图像的特征信息,确定出所述目标矩形框内图像的特征信息与所述目标模板中的样本的相似度;
样本更新模块,用于在所述相似度满足设定条件时,将所述目标矩形框内图像的特征信息作为新的样本存储于所述目标模板中,以使所述第一确定模块使用更新后的目标模板,对下一帧图像中的待跟踪目标进行跟踪。
9.如权利要求8所述的装置,其特征在于,所述第一确定模块具体用于:
根据前N帧图像中待跟踪目标所在位置的目标矩形框,预测当前帧图像中待跟踪目标所在位置的第一矩形框,其中,N为正整数;
以所述第一矩形框为基准,确定出至少一个第二矩形框,其中,第二矩形框与所述第一矩形框的距离小于或等于设定的距离阈值;
分别提取出所述第一矩形框内图像的特征信息和所述第二矩形框内图像的特征信息,并分别确定所提取的特征信息与所述目标模板中的样本的相似度;
根据所述相似度,从所述第一矩形框和所述第二矩形框中,选择一个矩形框确定为所述目标矩形框。
10.如权利要求9所述的装置,其特征在于,所述第一确定模块具体用于:
对于所述第一矩形框,确定出所述第一矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;以及对于所述第二矩形框,确定出所述第二矩形框内图像的特征信息与所述目标模板中的样本的相似度的平均值;
从所述第一矩形框和所述第二矩形框中,选择出相似度的平均值大于设定相似度阈值的矩形框,并将选择出的矩形框中相似度的平均值最大的矩形框确定为所述目标矩形框。
CN201610257212.7A 2016-04-22 2016-04-22 一种视频中的目标跟踪方法及装置 Pending CN105931269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610257212.7A CN105931269A (zh) 2016-04-22 2016-04-22 一种视频中的目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610257212.7A CN105931269A (zh) 2016-04-22 2016-04-22 一种视频中的目标跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN105931269A true CN105931269A (zh) 2016-09-07

Family

ID=56836046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610257212.7A Pending CN105931269A (zh) 2016-04-22 2016-04-22 一种视频中的目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN105931269A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384359A (zh) * 2016-09-23 2017-02-08 青岛海信电器股份有限公司 运动目标跟踪方法和电视
CN106570478A (zh) * 2016-11-04 2017-04-19 北京智能管家科技有限公司 视觉跟踪中的目标丢失判断方法和装置
CN107256561A (zh) * 2017-04-28 2017-10-17 纳恩博(北京)科技有限公司 目标跟踪方法和装置
CN107886048A (zh) * 2017-10-13 2018-04-06 西安天和防务技术股份有限公司 目标跟踪方法及系统、存储介质及电子终端
WO2018099032A1 (zh) * 2016-11-29 2018-06-07 深圳云天励飞技术有限公司 一种目标跟踪方法及装置
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博(北京)科技有限公司 目标跟踪方法和装置
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108268823A (zh) * 2016-12-30 2018-07-10 纳恩博(北京)科技有限公司 目标再识别方法和装置
CN108304747A (zh) * 2017-01-12 2018-07-20 泓图睿语(北京)科技有限公司 嵌入式智能人脸检测与跟踪系统和方法及人工智能设备
CN108629791A (zh) * 2017-03-17 2018-10-09 北京旷视科技有限公司 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN109543641A (zh) * 2018-11-30 2019-03-29 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN109658434A (zh) * 2018-12-26 2019-04-19 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109712167A (zh) * 2017-10-25 2019-05-03 财团法人资讯工业策进会 目标侦测与追踪方法及系统
CN109747657A (zh) * 2018-12-17 2019-05-14 北京百度网讯科技有限公司 自动驾驶汽车远程控制方法和装置
CN109785385A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 视觉目标跟踪方法及系统
CN110059521A (zh) * 2018-01-18 2019-07-26 浙江宇视科技有限公司 目标跟踪方法及装置
CN110213457A (zh) * 2019-06-04 2019-09-06 北京知道创宇信息技术股份有限公司 一种图像传输方法及装置
CN110766725A (zh) * 2019-10-31 2020-02-07 北京市商汤科技开发有限公司 模板图像的更新、目标跟踪方法及装置、电子设备及介质
WO2020087950A1 (zh) * 2018-11-01 2020-05-07 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN111524159A (zh) * 2019-02-01 2020-08-11 北京京东尚科信息技术有限公司 图像处理方法和设备、存储介质和处理器
CN113487647A (zh) * 2020-11-20 2021-10-08 青岛海信电子产业控股股份有限公司 一种目标跟踪方法、显示设备、电子设备及介质
CN116385534A (zh) * 2023-03-03 2023-07-04 中铁工程装备集团有限公司 管片位置识别方法、装置和系统、管片拼装机和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714554A (zh) * 2013-12-12 2014-04-09 华中科技大学 一种基于传播融合的视频跟踪方法
CN103985141A (zh) * 2014-05-28 2014-08-13 西安电子科技大学 基于hsv颜色协方差特征的目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714554A (zh) * 2013-12-12 2014-04-09 华中科技大学 一种基于传播融合的视频跟踪方法
CN103985141A (zh) * 2014-05-28 2014-08-13 西安电子科技大学 基于hsv颜色协方差特征的目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUCHUAN LU 等: "Pixel-Wise Spatial Pyramid-Based Hybrid Tracking", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
余凡 等: "《领域本体构建方法及实证研究》", 31 August 2015 *
徐光柱 等: "《实用性目标检测与跟踪算法原理及应用》", 30 April 2015 *
李世祥 等: "《光电对抗技术》", 31 March 2000 *
汤贝: "基于模板匹配的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科学辑(月刊)》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384359B (zh) * 2016-09-23 2019-06-25 青岛海信电器股份有限公司 运动目标跟踪方法和电视
CN106384359A (zh) * 2016-09-23 2017-02-08 青岛海信电器股份有限公司 运动目标跟踪方法和电视
CN106570478A (zh) * 2016-11-04 2017-04-19 北京智能管家科技有限公司 视觉跟踪中的目标丢失判断方法和装置
WO2018099032A1 (zh) * 2016-11-29 2018-06-07 深圳云天励飞技术有限公司 一种目标跟踪方法及装置
CN108268823A (zh) * 2016-12-30 2018-07-10 纳恩博(北京)科技有限公司 目标再识别方法和装置
CN108268823B (zh) * 2016-12-30 2021-07-20 纳恩博(北京)科技有限公司 目标再识别方法和装置
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博(北京)科技有限公司 目标跟踪方法和装置
CN108304747A (zh) * 2017-01-12 2018-07-20 泓图睿语(北京)科技有限公司 嵌入式智能人脸检测与跟踪系统和方法及人工智能设备
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN108629791B (zh) * 2017-03-17 2020-08-18 北京旷视科技有限公司 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN108629791A (zh) * 2017-03-17 2018-10-09 北京旷视科技有限公司 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN107256561A (zh) * 2017-04-28 2017-10-17 纳恩博(北京)科技有限公司 目标跟踪方法和装置
CN107886048B (zh) * 2017-10-13 2021-10-08 西安天和防务技术股份有限公司 目标跟踪方法及系统、存储介质及电子终端
CN107886048A (zh) * 2017-10-13 2018-04-06 西安天和防务技术股份有限公司 目标跟踪方法及系统、存储介质及电子终端
CN109712167A (zh) * 2017-10-25 2019-05-03 财团法人资讯工业策进会 目标侦测与追踪方法及系统
CN110059521A (zh) * 2018-01-18 2019-07-26 浙江宇视科技有限公司 目标跟踪方法及装置
CN108256506B (zh) * 2018-02-14 2020-11-24 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
TWI721618B (zh) * 2018-11-01 2021-03-11 大陸商北京市商湯科技開發有限公司 資料庫更新方法和裝置、電子設備、電腦儲存介質
WO2020087950A1 (zh) * 2018-11-01 2020-05-07 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN111125390A (zh) * 2018-11-01 2020-05-08 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN111125390B (zh) * 2018-11-01 2024-05-17 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN109543641B (zh) * 2018-11-30 2021-01-26 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN109543641A (zh) * 2018-11-30 2019-03-29 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
US11619936B2 (en) 2018-12-17 2023-04-04 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for remotely controlling self-driving vehicle
CN109747657A (zh) * 2018-12-17 2019-05-14 北京百度网讯科技有限公司 自动驾驶汽车远程控制方法和装置
CN109658434A (zh) * 2018-12-26 2019-04-19 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109785385A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 视觉目标跟踪方法及系统
CN109785385B (zh) * 2019-01-22 2021-01-29 中国科学院自动化研究所 视觉目标跟踪方法及系统
CN111524159A (zh) * 2019-02-01 2020-08-11 北京京东尚科信息技术有限公司 图像处理方法和设备、存储介质和处理器
CN111524159B (zh) * 2019-02-01 2024-07-19 北京京东乾石科技有限公司 图像处理方法和设备、存储介质和处理器
CN110213457A (zh) * 2019-06-04 2019-09-06 北京知道创宇信息技术股份有限公司 一种图像传输方法及装置
CN110766725B (zh) * 2019-10-31 2022-10-04 北京市商汤科技开发有限公司 模板图像的更新、目标跟踪方法及装置、电子设备及介质
CN110766725A (zh) * 2019-10-31 2020-02-07 北京市商汤科技开发有限公司 模板图像的更新、目标跟踪方法及装置、电子设备及介质
CN113487647A (zh) * 2020-11-20 2021-10-08 青岛海信电子产业控股股份有限公司 一种目标跟踪方法、显示设备、电子设备及介质
CN116385534A (zh) * 2023-03-03 2023-07-04 中铁工程装备集团有限公司 管片位置识别方法、装置和系统、管片拼装机和存储介质
CN116385534B (zh) * 2023-03-03 2024-07-05 中铁工程装备集团有限公司 管片位置识别方法、装置和系统、管片拼装机和存储介质

Similar Documents

Publication Publication Date Title
CN105931269A (zh) 一种视频中的目标跟踪方法及装置
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
WO2020151166A1 (zh) 多目标跟踪方法、装置、计算机装置及可读存储介质
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN110020651A (zh) 基于深度学习网络的车牌检测定位方法
CN109035246B (zh) 一种人脸的图像选择方法及装置
CN109325418A (zh) 基于改进YOLOv3的道路交通环境下行人识别方法
CN109671103A (zh) 目标跟踪方法及装置
CN111696128A (zh) 一种高速多目标检测跟踪和目标图像优选方法及存储介质
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
WO2019242672A1 (zh) 一种目标跟踪方法、装置及系统
CN105787466B (zh) 一种车辆类型的精细识别方法及系统
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN108764338B (zh) 一种应用于视频分析的行人跟踪方法
CN109141453A (zh) 一种路线指引方法及系统
CN109448307A (zh) 一种火源目标的识别方法和装置
WO2022048572A1 (zh) 目标识别方法、装置和电子设备
CN110322472A (zh) 一种多目标跟踪方法以及终端设备
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN110619280A (zh) 一种基于深度联合判别学习的车辆重识别方法及装置
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN109727268A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN117152206A (zh) 一种无人机多目标长期追踪方法
CN106934339A (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160907

RJ01 Rejection of invention patent application after publication