CN109697385A - 一种目标跟踪方法及装置 - Google Patents

一种目标跟踪方法及装置 Download PDF

Info

Publication number
CN109697385A
CN109697385A CN201710985895.2A CN201710985895A CN109697385A CN 109697385 A CN109697385 A CN 109697385A CN 201710985895 A CN201710985895 A CN 201710985895A CN 109697385 A CN109697385 A CN 109697385A
Authority
CN
China
Prior art keywords
image
tracking target
frame image
region
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710985895.2A
Other languages
English (en)
Inventor
余礼杨
李宏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201710985895.2A priority Critical patent/CN109697385A/zh
Publication of CN109697385A publication Critical patent/CN109697385A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，尤其涉及一种目标跟踪方法及装置，用以解决现有技术中图像跟踪方法易丢失跟踪目标的问题；本申请实施例提供的目标跟踪方法包括：利用核相关滤波器确定跟踪目标在获取的视频流中第一帧图像中的外观模型；基于外观模型和视频流中与第一帧图像相邻、且拍摄时间较晚的第二帧图像的图像特征，确定跟踪目标在第二帧图像中各候选区域的概率分布函数；若根据概率分布函数确定跟踪目标在第二帧图像中被遮挡，则对视频流中拍摄时间晚于第二帧图像的每一图像，利用粒子滤波器搜寻跟踪目标在该图像中的所在区域，根据该区域的图像特征确定跟踪目标在该图像中不再被遮挡时，停止搜寻并基于该区域的图像特征更新外观模型。

Description

一种目标跟踪方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种目标跟踪方法及装置。
背景技术
目标跟踪是一种利用摄像机等成像设备作为计算机的输入源，通过目标跟踪算法来对摄像机所拍摄的图像中的跟踪目标进行实时定位的技术，目前，目标跟踪已广泛应用于人机交互、自动监视、视频检索、交通监测等技术领域。
现有技术中的目标跟踪方法，如核相关滤波器(Kernerlized CorrelationFilter，KCF)，是利用跟踪目标的外观模型来对视频流中的目标进行跟踪。具体地，对视频流中的任一图像，利用相关滤波器确定跟踪目标在该图像中的外观模型，之后对与该图像相邻的下一帧图像，构造跟踪目标在该图像中所在的候选区域的样本集合，根据这些样本集合确定第二帧图像的图像特征，根据上一帧图像确定的外观模型和第二帧图像的图像特征确定跟踪目标在第二帧图像中各候选区域的概率分布函数，确定概率分布值最大的候选区域为跟踪目标在第二帧图像中的所在区域，再利用核相关滤波器确定该候选区域中跟踪目标的外观模型，之后根据该外观模型对上一帧图像中确定的外观模型进行更新，这样，没有考虑跟踪目标在图像中被遮挡的情况，如果跟踪目标在视频流的图像中被长期遮挡，计算机却一直更新跟踪目标的外观模型，显然容易丢失真正的跟踪目标，导致目标跟踪算法的准确率比较低。
可见，现有技术中的图像跟踪方法存在着容易丢失跟踪目标，导致目标跟踪算法的准确率比较低的问题。
发明内容
本申请实施例提供一种目标跟踪方法及装置，用以解决现有技术中的图像跟踪方法存在着容易丢失跟踪目标，导致目标跟踪算法的准确率比较低的问题。
本申请实施例提供的一种目标跟踪方法，包括：
获取视频流；
利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，所述第一帧图像为所述视频流中的任一图像；
基于所述外观模型和第二帧图像的图像特征，确定所述跟踪目标在所述第二帧图像中各候选区域的概率分布函数，所述第二帧图像为所述视频流中与所述第一帧图像相邻的图像，且拍摄时间晚于所述第一帧图像；
若根据所述概率分布函数确定所述跟踪目标在所述第二帧图像中被遮挡，则针对所述视频流中拍摄时间晚于所述第二帧图像的每一帧图像，利用粒子滤波器搜寻所述跟踪目标在所述图像中的所在区域，当根据该区域的图像特征确定所述跟踪目标在所述图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对所述外观模型进行更新。
本申请实施例提供的一种目标跟踪装置，包括：
获取模块，用于获取视频流；
外观模型确定模块，用于利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，所述第一帧图像为所述视频流中的任一图像；
概率分布函数确定模块，用于基于所述外观模型和第二帧图像的图像特征，确定所述跟踪目标在所述第二帧图像中各候选区域的概率分布函数，所述第二帧图像为所述视频流中与所述第一帧图像相邻的图像，且拍摄时间晚于所述第一帧图像；
更新模块，用于若根据所述概率分布函数确定所述跟踪目标在所述第二帧图像中被遮挡，则针对所述视频流中拍摄时间晚于所述第二帧图像的每一帧图像，利用粒子滤波器搜寻所述跟踪目标在所述图像中的所在区域，当根据该区域的图像特征确定所述跟踪目标在所述图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对所述外观模型进行更新。
本申请实施例提供的一种电子设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述电子设备执行上述目标跟踪方法的步骤。
本申请实施例提供的一种计算机可读存储介质，包括程序代码，当所述程序代码在电子设备上运行时，使所述电子设备执行上述目标跟踪方法的步骤。
本申请实施例中，获取视频流，利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，第一帧图像为视频流中的任一图像，基于外观模型和与第一帧图像相邻、且拍摄时间较晚的第二帧图像的图像特征，确定跟踪目标在第二帧图像中各候选区域的概率分布函数，若根据概率分布函数确定跟踪目标在第二帧图像中被遮挡，则对视频流中拍摄时间晚于第二帧图像的每一图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，当根据该区域的图像特征确定跟踪目标在图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对外观模型进行更新，其中，在对跟踪目标的外观模型进行更新时，可以先判断跟踪目标在当前图像中是否被遮挡，若被遮挡，则不再根据该图像的图像特征对当前使用的外观模型进行更新，而是对拍摄时间晚于该图像的每一帧图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，并基于该区域的图像特征判断跟踪目标在图像中是否不再被遮挡，当确定跟踪目标在图像中不再被遮挡时，再根据该区域的图像特征对跟踪目标被遮挡前使用的外观模型进行更新，这样，即使跟踪目标在图像中被长期遮挡，也可以很好地重新追踪到跟踪目标，跟踪算法的准确率更高。
附图说明
图1为本申请实施例提供的目标跟踪方法流程图；
图2为本申请实施例提供的判断跟踪目标是否在图像中不再被遮挡的方法流程图；
图3为本申请实施例提供的又一目标跟踪方法流程图；
图4为本申请实施例提供的未被图像遮挡时和被图像遮挡时概率分布函数的对比示意图；
图5为本申请实施例提供的目标跟踪装置结构图；
图6为本申请实施例提供的用于实现目标跟踪方法的电子设备的硬件结构示意图。
具体实施方式
本申请实施例中，获取视频流，利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，第一帧图像为视频流中的任一图像，基于外观模型和与第一帧图像相邻、且拍摄时间较晚的第二帧图像的图像特征，确定跟踪目标在第二帧图像中各候选区域的概率分布函数，若根据概率分布函数确定跟踪目标在第二帧图像中被遮挡，则对视频流中拍摄时间晚于第二帧图像的每一图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，当根据该区域的图像特征确定跟踪目标在图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对外观模型进行更新，其中，在对跟踪目标的外观模型进行更新时，可以先判断跟踪目标在当前图像中是否被遮挡，若被遮挡，则不再根据该图像的图像特征对当前使用的外观模型进行更新，而是对拍摄时间晚于该图像的每一帧图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，并基于该区域的图像特征判断跟踪目标在图像中是否不再被遮挡，当确定跟踪目标在图像中不再被遮挡时，再根据该区域的图像特征对跟踪目标被遮挡前使用的外观模型进行更新，这样，即使跟踪目标在图像中被长期遮挡，也可以很好地重新追踪到跟踪目标，跟踪算法的准确率更高。
下面结合说明书附图对本申请实施例作进一步详细描述。
实施例一
如图1所示，为本申请实施例提供的目标跟踪方法流程图，包括以下步骤：
S101：获取视频流。
S102：利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型。
其中，第一帧图像为视频流中的任一图像，并且，跟踪目标在第一帧图像中的外观模型是根据跟踪目标在第一帧图像中所在区域的图像特征确定的。
S103：基于跟踪目标在第一帧图像中的外观模型和第二帧图像的图像特征，确定跟踪目标在第二帧图像中各候选区域的概率分布函数。
其中，第二帧图像为视频流中与第一帧图像相邻的图像，且拍摄时间晚于第一帧图像。
在具体实施过程中，可以利用相关滤波器的检测过程来构造第二帧图像的样本集合，再根据这些样本集合确定第二帧图像的图像特征，之后根据跟踪目标在第一帧图像中的外观模型和第二帧图像的图像特征，确定跟踪目标在第二帧图像中各候选区域的概率分布函数。
S104：若根据概率分布函数确定跟踪目标在第二帧图像中被遮挡，则针对视频流中拍摄时间晚于第二帧图像的每一帧图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，当根据该区域的图像特征确定跟踪目标在图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对外观模型进行更新。
其中，粒子滤波器是指利用粒子滤波算法实现的滤波器。
在具体实施过程中，在得到跟踪目标在第二帧图像中各候选区域的概率分布函数之后，可以计算概率分布函数的最大值和最大值对应的目标像素点，确定跟踪目标在第二帧图像中的所在区域，其中，跟踪目标在第二帧图像中的所在区域以目标像素点为中心像素点、且与跟踪目标在第一帧图像中所在区域的区域大小相同，进而对第二帧图像中跟踪目标所在区域内的每一像素点，确定该像素点对应的概率分布函数的取值，若该取值大于第一阈值，则将该像素点作为候选像素点，并计算所有候选像素点到目标像素点之间的距离之和，若计算的距离之和大于第二阈值，则可以确定跟踪目标在第二帧图像中被遮挡。
可选地，上述过程中，当所有候选像素点到目标像素点之间的距离之和大于第二阈值时，还可以计算跟踪目标在第一帧图像中所在区域的第一颜色直方图，并计算跟踪目标在第二帧图像中所在区域的第二颜色直方图，计算第一颜色直方图和第二颜色直方图之间颜色差的绝对值，若颜色差的绝对值大于第三阈值，则确定跟踪目标在第二帧图像中被遮挡。
这样，在判断跟踪目标在第二帧图像中是否被遮挡时，还考虑了跟踪目标在相邻两帧图像中所在区域之间的颜色直方图的关系，判定是否被遮挡的标准更加严格、准确率也更高，实际应用过程中选用哪种方式可以由技术人员根据实际情况来确定。
进一步地，对视频流中拍摄时间晚于第二帧图像的每一帧图像，执行以下操作：
利用粒子滤波器搜寻跟踪目标在图像中的所在区域，并根据该区域的图像特征判断跟踪目标在图像中是否不再被遮挡；
当根据该区域的图像特征确定跟踪目标在图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对外观模型进行更新。
具体地，可以按照图2所示的流程判断跟踪目标是否在图像中不再被遮挡：
S201a：对视频流中与第二帧图像相邻、且拍摄时间较晚的图像，在该图像中选择预设个数的粒子。
其中，每一粒子用于表征跟踪目标在该图像中可能所在的候选区域的中心像素点，预设个数的粒子所在候选区域的集合构成了跟踪目标在该图像中的所在区域，这里，粒子所在候选区域远小于跟踪目标在该图像中的所在区域。
S202a：对每一粒子，提取该粒子所在候选区域的图像特征，根据图像特征和跟踪目标在第一帧图像中所在区域的图像特征，确定用于表征该候选区域和第一帧图像中跟踪目标所在区域之间相似程度的相关系数。
S203a：判断是否存在小于第四阈值的相关系数，若是，则进入S204a；否则，进入S205a。
S204a：根据得到的相关系数在视频流中与该图像相邻、且拍摄时间较晚的下一帧图像中重新分布粒子，并返回S202a。
在具体实施过程中，可以为相关系数较大的粒子分配较大的权重，为相关系数较小的粒子分配较小的权重，在下一帧图像中重新分布粒子时，可以为权重较大粒子所在的候选区域重新分配较多的粒子，为权重较小粒子所在的候选区域重新分配较少的粒子，这样，通过不断调整粒子的权重大小和粒子的位置来逼近跟踪目标在图像中的真实概率分布函数，即便跟踪目标被长期遮挡也能及时准确地追踪到跟踪目标。
S205a：确定跟踪目标在该图像中不再被遮挡。
可选地，当根据任一图像得到的相关系数都不小于第四阈值时，还可以计算跟踪目标在第一帧图像中所在区域的第一颜色直方图，并计算该任一图像中所有粒子组成的候选区域的第三颜色直方图，之后计算第一颜色直方图和第三颜色直方图之间颜色差的绝对值，若颜色差的绝对值不大于第三阈值，则确定跟踪目标在该图像中不再被遮挡。
进一步地，确定跟踪目标在该任一图像中不再被遮挡后，可以计算在该图像中选择的各粒子的坐标平均值，确定跟踪目标在该图像中的所在区域，其中，跟踪目标在该图像中的所在区域以各粒子的坐标平均值对应的像素点为中心、且与跟踪目标在第一帧图像中所在区域的区域大小相同，进而利用核相关滤波器确定跟踪目标在该图像中所在区域的外观模型，根据跟踪目标在该图像中的外观模型，更新跟踪目标在第一帧图像中的外观模型。
比如，假设跟踪目标在该图像中的外观模型为α，在第一帧图像中的外观模型为αt-1，则更新后的外观模型为：αt＝(1-β)αt-1+βα，其中，β为外观模型的学习率，可由技术人员预先确定设定。
本申请实施例中，获取视频流，利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，第一帧图像为视频流中的任一图像，基于外观模型和与第一帧图像相邻、且拍摄时间较晚的第二帧图像的图像特征，确定跟踪目标在第二帧图像中各候选区域的概率分布函数，若根据概率分布函数确定跟踪目标在第二帧图像中被遮挡，则对视频流中拍摄时间晚于第二帧图像的每一图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，当根据该区域的图像特征确定跟踪目标在图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对外观模型进行更新，其中，在对跟踪目标的外观模型进行更新时，可以先判断跟踪目标在当前图像中是否被遮挡，若被遮挡，则不再根据该图像的图像特征对当前使用的外观模型进行更新，而是对拍摄时间晚于该图像的每一帧图像，利用粒子滤波器搜寻跟踪目标在图像中的所在区域，并基于该区域的图像特征判断跟踪目标在图像中是否不再被遮挡，当确定跟踪目标在图像中不再被遮挡时，再根据该区域的图像特征对跟踪目标被遮挡前使用的外观模型进行更新，这样，即使跟踪目标在图像中被长期遮挡，也可以很好地重新追踪到跟踪目标，跟踪算法的准确率更高。
实施例二
如图3所示，为本申请实施例提供的又一目标跟踪方法流程图，包括以下步骤：
S301：载入视频流的第一帧图像，利用核相关滤波器确定跟踪目标在该图像中的外观模型。
其中，第一帧图像可以为视频流中的任一图像，这里，以第一帧图像为视频流中的第一帧图像为例进行说明。
在具体实施过程中，可以用一个矩形将跟踪目标在第一帧图像中的所在区域框住，假设用(x1,y1,h1,w1)表示该矩形区域，其中x1,y1为矩形左上角像素点在第一帧图像中的坐标，h1表示矩形的高度，w1表示矩形的宽度，之后对矩形区域内的图像进行循环移动，每次向下移动一个像素或者向右移动一个像素，产生共Z＝w1*h1张子图像，对这Z张子图像中的每一张子图像进行HOG特征提取，进而利用核跟踪滤波器构建第一帧图像的外观模型。
S302：载入视频流中的下一帧图像，并对该图像进行尺度变换。
这里，进行尺度变换可以将下一帧图像和上一帧图像放在统一的标准下进行比较，跟踪效果更好。
S303：确定下一帧图像的图像特征。
在具体实施过程中，可以利用核跟踪滤波器对下一帧图像在(x1,y1,h1,w1)位置进行循环移动，构建出跟踪目标在下一帧图像中的候选区域集合，并对每一区域内的图像进行HOG特征提取，得到下一帧图像的图像特征，其中，对下一帧图像进行循环移动的方法同上一帧图像，在此不再赘述。
S304：确定跟踪目标在下一帧图像中各候选区域的概率分布函数。
进一步地，基于上一帧图像的外观模型和下一帧图像的图像特征，利用核跟踪滤波器确定跟踪目标在下一帧图像中各候选区域的概率分布函数。
S305：根据概率分布函数判断跟踪目标在下一帧图像中是否被遮挡，若是，则进入S306，否则，进入S308。
假设跟踪目标在下一帧图像中各候选区域的概率分布函数为f(z)，每个候选区域的区域大小与上述矩形区域的大小相同，即每个候选区域的高为h1，宽为w1，预先确定遮挡阈值λ1和面积因子λ2。
进一步地，按照以下步骤确定跟踪目标在当前图像中是否被遮挡：
1.求f(z)的最大值f(z0)max，z0为f(z)取到最大值时在图像中对应的目标像素点。
2.对于z0所属候选区域，确定该区域内满足f(z)>λ1*f(z0)max的所有像素点。
3.对满足上述条件的每一像素点，计算该像素点到z0之间的距离。
4.判断满足上述条件的各像素点到z0之间的距离之和是否大于λ2*w1*h1，若是，则确定跟踪目标在当前图像中被遮挡，否则，确定跟踪目标在当前图像中未被遮挡。
此外，本申请实施例还提供一种确定跟踪目标在图像中被遮挡的方法，该方法额外考虑候选区域和最近一次跟踪到的跟踪目标所在区域的颜色直方图之间的关系。
具体地，在上述过程中确定各像素点到z0之间的距离之和都大于λ2*w1*h1后，还可以计算z0所属候选区域t的颜色直方图分布和最近一次正确追踪到的跟踪目标所在区域x的颜色直方图，如果两者的颜色差大于设定阈值S，既则确定两者的颜色直方图不匹配，其中i的取值为0～255，表示图像的颜色灰度值，xi为区域x中灰度值为i的像素点个数，ti为区域t中灰度值为i的像素点个数。
S306：载入视频流中的下一帧图像，并对该图像进行尺度变换。
S307：判断跟踪目标在该图像中是否不再被遮挡，若是，则进入S308，否则，进入S306。
在具体实施过程中，对视频流中与第二帧图像相邻、且拍摄时间较晚的图像，在该图像中选择预设个数的粒子，其中，每一粒子用于表征跟踪目标在该图像中可能所在的候选区域的中心像素点，对每一粒子，提取该粒子所在候选区域的图像特征，根据图像特征和跟踪目标在第一帧图像中所在区域的图像特征，确定用于表征该候选区域和第一帧图像中跟踪目标所在区域之间相似程度的相关系数，若存在小于第四阈值的相关系数，则根据得到的相关系数在所述视频流中与该图像相邻的下一帧图像中重新分布粒子，并返回对每一粒子，提取该粒子所在候选区域的图像特征的步骤，直到根据该图像得到的相关系数都不小于第四阈值时，确定跟踪目标在该图像中不再被遮挡。
此外，在具体实施过程中，当确定根据某图像得到的相关系数都不小于第四阈值时，还可以计算跟踪目标在第一帧图像中所在区域的第一颜色直方图，并计算该图像中所有粒子组成的候选区域的第三颜色直方图，计算第一颜色直方图和第三颜色直方图之间颜色差的绝对值，若颜色差的绝对值不大于第三阈值，则确定跟踪目标在该图像中不再被遮挡。
S308：更新外观模型。
在具体实施过程中，可以计算所有不小于第四阈值的这些粒子的x坐标和y坐标的平均值将为中心、高为h1，宽为w1的区域确定为跟踪目标在当前图像中的所在区域，之后使用该区域中的图像特征更新跟踪目标的外观模型。
比如，使用αt＝(1-β)αt-1+βα来对外观模型进行更新，其中，αt为更新后的外观模型，αt-1为更新前的外观模型，β为外观模型的学习率，可由技术人员预先确定设定。
本申请实施例中，假设跟踪目标受到其它物体遮挡这一现象是在原来的跟踪区域上叠加了一个服从高斯分布的噪声，由于在核相关滤波器中分类器的快速检测过程对候选区域进行了循环移位操作，因此，当跟踪目标在视频流的某图像中受到遮挡时，受到遮挡的区域也必将进行同样的循环移位，所有循环移位后的候选区域在与分类器模型做相关时，将会导致取极大值处的像素点周围像素点的值变大，从响应图像来看，整幅图像向上抬升、趋于平滑、图像的方差变大，如图4所示，其中，图a)为未受到遮挡时的响应图像，图b)为受到遮挡时的响应图像。并且，还可以对比跟踪目标在当前图像中所在区域和上一次正确追踪到的跟踪目标所在区域的颜色直方图分布，当两者的直方图色差大于设定阈值S时，确定跟踪目标在图像中被遮挡，此时，可以停止核相关滤波器跟踪，切换为粒子滤波器对跟踪目标进行搜寻，当确定在视频流的某图像中搜寻到跟踪目标时，再使用相关滤波器进行跟踪，能够很好地解决在跟踪目标被遮挡时核跟踪滤波器仍然不断更新跟踪目标的外观模型，而导致跟踪目标容易丢失的问题。
实施例三
基于同一发明构思，本申请实施例中还提供了一种与目标跟踪方法对应的目标跟踪装置，由于该装置解决问题的原理与本申请实施例目标跟踪方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，为本申请实施例提供的目标跟踪装置结构图，包括：
获取模块501，用于获取视频流；
外观模型确定模块502，用于利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，所述第一帧图像为所述视频流中的任一图像；
概率分布函数确定模块503，用于基于所述外观模型和第二帧图像的图像特征，确定所述跟踪目标在所述第二帧图像中各候选区域的概率分布函数，所述第二帧图像为所述视频流中与所述第一帧图像相邻的图像，且拍摄时间晚于所述第一帧图像；
更新模块504，用于若根据所述概率分布函数确定所述跟踪目标在所述第二帧图像中被遮挡，则针对所述视频流中拍摄时间晚于所述第二帧图像的每一帧图像，利用粒子滤波器搜寻所述跟踪目标在所述图像中的所在区域，当根据该区域的图像特征确定所述跟踪目标在所述图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对所述外观模型进行更新。
可选地，所述更新模块504具体用于：
计算所述概率分布函数的最大值和所述最大值对应的目标像素点；
确定所述跟踪目标在所述第二帧图像中的所在区域，其中，所述跟踪目标在所述第二帧图像中的所在区域以所述目标像素点为中心像素点、且与所述跟踪目标在所述第一帧图像中所在区域的区域大小相同；
对所述第二帧图像中所述跟踪目标所在区域内的每一像素点，若确定所述概率分布函数在该像素点处的取值大于第一阈值，则将该像素点作为候选像素点；
计算所有候选像素点到所述目标像素点之间的距离之和；
若所有候选像素点到所述目标像素点之间的距离之和大于第二阈值，则确定所述跟踪目标在所述第二帧图像中被遮挡。
可选地，所述更新模块504还用于：
若所有候选像素点到所述目标像素点之间的距离之和大于第三阈值，则计算所述跟踪目标在所述第一帧图像中所在区域的第一颜色直方图，并计算所述跟踪目标在所述第二帧图像中所在区域的第二颜色直方图；
计算所述第一颜色直方图和所述第二颜色直方图之间颜色差的绝对值；
若所述颜色差的绝对值大于第三阈值，则确定所述跟踪目标在所述第二帧图像中被遮挡。
可选地，所述更新模块504具体用于根据以下步骤确定所述跟踪目标不再被遮挡：
对所述视频流中与所述第二帧图像相邻、且拍摄时间较晚的图像，在该图像中选择预设个数的粒子；
对每一粒子，提取该粒子所在候选区域的图像特征，根据所述图像特征和跟踪目标在所述第一帧图像中所在区域的图像特征，确定用于表征该候选区域和所述第一帧图像中跟踪目标所在区域之间相似程度的相关系数；
若存在小于第四阈值的相关系数，则根据得到的相关系数在所述视频流中与该图像相邻的下一帧图像中重新分布粒子；
返回对每一粒子，提取该粒子所在候选区域的图像特征的步骤，直到根据该图像得到的相关系数都不小于第四阈值时，确定所述跟踪目标在该图像中不再被遮挡。
可选地，所述更新模块504还用于：
当根据该图像得到的相关系数都不小于第四阈值时，计算所述跟踪目标在所述第一帧图像中所在区域的第一颜色直方图，并计算该图像中所有粒子组成的候选区域的第三颜色直方图；
计算所述第一颜色直方图和所述第三颜色直方图之间颜色差的绝对值；
若所述颜色差的绝对值不大于第三阈值，则确定所述跟踪目标在该图像中不再被遮挡。
可选地，所述更新模块504具体用于：
计算在该图像中选择的各粒子的坐标平均值；
确定所述跟踪目标在该图像中的所在区域，其中，所述跟踪目标在该图像中的所在区域以所述坐标平均值处的像素点为中心、且与所述跟踪目标在所述第一帧图像中所在区域的区域大小相同；
利用核相关滤波器确定所述跟踪目标在该图像中所在区域的外观模型；
根据所述跟踪目标在该图像中的外观模型，更新所述跟踪目标在所述第一帧图像中的外观模型。
实施例四
如图6所示，为本申请实施例提供的用于实现目标跟踪的电子设备的硬件结构示意图，包括至少一个处理单元601、以及至少一个存储单元602，其中，存储单元存储有程序代码，当程序代码被所述处理单元执行时，使得电子设备执行上述目标跟踪方法的步骤。
实施例五
本申请实施例提供的一种计算机可读存储介质，包括程序代码，当所述程序代码在电子设备上运行时，使电子设备执行上述目标跟踪方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种目标跟踪方法，其特征在于，包括：
获取视频流；
利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，所述第一帧图像为所述视频流中的任一图像；
基于所述外观模型和第二帧图像的图像特征，确定所述跟踪目标在所述第二帧图像中各候选区域的概率分布函数，所述第二帧图像为所述视频流中与所述第一帧图像相邻的图像，且拍摄时间晚于所述第一帧图像；
若根据所述概率分布函数确定所述跟踪目标在所述第二帧图像中被遮挡，则针对所述视频流中拍摄时间晚于所述第二帧图像的每一帧图像，利用粒子滤波器搜寻所述跟踪目标在所述图像中的所在区域，当根据该区域的图像特征确定所述跟踪目标在所述图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对所述外观模型进行更新。
2.如权利要求1所述的方法，其特征在于，根据所述概率分布函数确定所述跟踪目标在所述第二帧图像中被遮挡，包括：
计算所述概率分布函数的最大值和所述最大值对应的目标像素点；
确定所述跟踪目标在所述第二帧图像中的所在区域，其中，所述跟踪目标在所述第二帧图像中的所在区域以所述目标像素点为中心像素点、且与所述跟踪目标在所述第一帧图像中所在区域的区域大小相同；
对所述第二帧图像中所述跟踪目标所在区域内的每一像素点，若确定所述概率分布函数在该像素点处的取值大于第一阈值，则将该像素点作为候选像素点；
计算所有候选像素点到所述目标像素点之间的距离之和；
若所有候选像素点到所述目标像素点之间的距离之和大于第二阈值，则确定所述跟踪目标在所述第二帧图像中被遮挡。
3.如权利要求2所述的方法，其特征在于，若所有候选像素点到所述目标像素点之间的距离之和大于第二阈值，还包括：
计算所述跟踪目标在所述第一帧图像中所在区域的第一颜色直方图，并计算所述跟踪目标在所述第二帧图像中所在区域的第二颜色直方图；
计算所述第一颜色直方图和所述第二颜色直方图之间颜色差的绝对值；
若所述颜色差的绝对值大于第三阈值，则确定所述跟踪目标在所述第二帧图像中被遮挡。
4.如权利要求1～3任一所述的方法，其特征在于，根据以下步骤确定所述跟踪目标不再被遮挡：
对所述视频流中与所述第二帧图像相邻、且拍摄时间较晚的图像，在该图像中选择预设个数的粒子；
对每一粒子，提取该粒子所在候选区域的图像特征，根据所述图像特征和跟踪目标在所述第一帧图像中所在区域的图像特征，确定用于表征该候选区域和所述第一帧图像中跟踪目标所在区域之间相似程度的相关系数；
若存在小于第四阈值的相关系数，则根据得到的相关系数在所述视频流中与该图像相邻的下一帧图像中重新分布粒子；并
返回对每一粒子，提取该粒子所在候选区域的图像特征的步骤，直到根据该图像得到的相关系数都不小于第四阈值时，确定所述跟踪目标在该图像中不再被遮挡。
5.如权利要求4所述的方法，其特征在于，当根据该图像得到的相关系数都不小于第四阈值时，还包括：
计算所述跟踪目标在所述第一帧图像中所在区域的第一颜色直方图，并计算该图像中所有粒子组成的候选区域的第三颜色直方图；
计算所述第一颜色直方图和所述第三颜色直方图之间颜色差的绝对值；
若所述颜色差的绝对值不大于第三阈值，则确定所述跟踪目标在该图像中不再被遮挡。
6.如权利要求5所述的方法，其特征在于，当根据该区域的图像特征确定所述跟踪目标在所述图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对所述外观模型进行更新，包括：
计算在该图像中选择的各粒子的坐标平均值；
确定所述跟踪目标在该图像中的所在区域，其中，所述跟踪目标在该图像中的所在区域以所述坐标平均值处的像素点为中心、且与所述跟踪目标在所述第一帧图像中所在区域的区域大小相同；
利用核相关滤波器确定所述跟踪目标在该图像中所在区域的外观模型；
根据所述跟踪目标在该图像中的外观模型，更新所述跟踪目标在所述第一帧图像中的外观模型。
7.一种目标跟踪装置，其特征在于，包括：
获取模块，用于获取视频流；
外观模型确定模块，用于利用核相关滤波器确定跟踪目标在第一帧图像中的外观模型，所述第一帧图像为所述视频流中的任一图像；
概率分布函数确定模块，用于基于所述外观模型和第二帧图像的图像特征，确定所述跟踪目标在所述第二帧图像中各候选区域的概率分布函数，所述第二帧图像为所述视频流中与所述第一帧图像相邻的图像，且拍摄时间晚于所述第一帧图像；
更新模块，用于若根据所述概率分布函数确定所述跟踪目标在所述第二帧图像中被遮挡，则针对所述视频流中拍摄时间晚于所述第二帧图像的每一帧图像，利用粒子滤波器搜寻所述跟踪目标在所述图像中的所在区域，当根据该区域的图像特征确定所述跟踪目标在所述图像中不再被遮挡时，停止搜寻并基于该区域的图像特征对所述外观模型进行更新。
8.如权利要求7所述的装置，其特征在于，所述更新模块具体用于：
计算所述概率分布函数的最大值和所述最大值对应的目标像素点；
确定所述跟踪目标在所述第二帧图像中的所在区域，其中，所述跟踪目标在所述第二帧图像中的所在区域以所述目标像素点为中心像素点、且与所述跟踪目标在所述第一帧图像中所在区域的区域大小相同；
对所述第二帧图像中所述跟踪目标所在区域内的每一像素点，若确定所述概率分布函数在该像素点处的取值大于第一阈值，则将该像素点作为候选像素点；
计算所有候选像素点到所述目标像素点之间的距离之和；
若所有候选像素点到所述目标像素点之间的距离之和大于第二阈值，则确定所述跟踪目标在所述第二帧图像中被遮挡。
9.如权利要求8所述的装置，其特征在于，所述更新模块还用于：
若所有候选像素点到所述目标像素点之间的距离之和大于第三阈值，则计算所述跟踪目标在所述第一帧图像中所在区域的第一颜色直方图，并计算所述跟踪目标在所述第二帧图像中所在区域的第二颜色直方图；
计算所述第一颜色直方图和所述第二颜色直方图之间颜色差的绝对值；
若所述颜色差的绝对值大于第三阈值，则确定所述跟踪目标在所述第二帧图像中被遮挡。
10.如权利要求7～9任一所述的装置，其特征在于，所述更新模块具体用于根据以下步骤确定所述跟踪目标不再被遮挡：
对所述视频流中与所述第二帧图像相邻、且拍摄时间较晚的图像，在该图像中选择预设个数的粒子；
对每一粒子，提取该粒子所在候选区域的图像特征，根据所述图像特征和跟踪目标在所述第一帧图像中所在区域的图像特征，确定用于表征该候选区域和所述第一帧图像中跟踪目标所在区域之间相似程度的相关系数；
若存在小于第四阈值的相关系数，则根据得到的相关系数在所述视频流中与该图像相邻的下一帧图像中重新分布粒子；
返回对每一粒子，提取该粒子所在候选区域的图像特征的步骤，直到根据该图像得到的相关系数都不小于第四阈值时，确定所述跟踪目标在该图像中不再被遮挡。
11.如权利要求10所述的装置，其特征在于，所述更新模块还用于：
当根据该图像得到的相关系数都不小于第四阈值时，计算所述跟踪目标在所述第一帧图像中所在区域的第一颜色直方图，并计算该图像中所有粒子组成的候选区域的第三颜色直方图；
计算所述第一颜色直方图和所述第三颜色直方图之间颜色差的绝对值；
若所述颜色差的绝对值不大于第三阈值，则确定所述跟踪目标在该图像中不再被遮挡。
12.如权利要求11所述的装置，其特征在于，所述更新模块具体用于：
计算在该图像中选择的各粒子的坐标平均值；
确定所述跟踪目标在该图像中的所在区域，其中，所述跟踪目标在该图像中的所在区域以所述坐标平均值处的像素点为中心、且与所述跟踪目标在所述第一帧图像中所在区域的区域大小相同；
利用核相关滤波器确定所述跟踪目标在该图像中所在区域的外观模型；
根据所述跟踪目标在该图像中的外观模型，更新所述跟踪目标在所述第一帧图像中的外观模型。
13.一种电子设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述电子设备执行权利要求1～6任一所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，包括程序代码，当所述程序代码在电子设备上运行时，使所述电子设备执行权利要求1～6任一所述方法的步骤。
CN201710985895.2A 2017-10-20 2017-10-20 一种目标跟踪方法及装置 Pending CN109697385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710985895.2A CN109697385A (zh) 2017-10-20 2017-10-20 一种目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710985895.2A CN109697385A (zh) 2017-10-20 2017-10-20 一种目标跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN109697385A true CN109697385A (zh) 2019-04-30

Family

ID=66225438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710985895.2A Pending CN109697385A (zh) 2017-10-20 2017-10-20 一种目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN109697385A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN111862154A (zh) * 2020-07-13 2020-10-30 中移（杭州）信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
WO2021036825A1 (zh) * 2019-08-30 2021-03-04 腾讯科技（深圳）有限公司 对象跟踪方法、装置、存储介质及电子设备
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN113450389A (zh) * 2021-09-01 2021-09-28 智道网联科技(北京)有限公司 一种目标跟踪方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
US9524562B2 (en) * 2014-01-20 2016-12-20 Ricoh Company, Ltd. Object tracking method and device
CN106296735A (zh) * 2016-08-05 2017-01-04 海信集团有限公司 目标跟踪中的滤波器更新方法、装置和智能终端
CN106875426A (zh) * 2017-02-21 2017-06-20 中国科学院自动化研究所 基于相关粒子滤波的视觉跟踪方法及装置
CN106934338A (zh) * 2017-01-09 2017-07-07 浙江汉凡软件科技有限公司 一种基于相关滤波器的长期行人跟踪方法
CN107197199A (zh) * 2017-05-22 2017-09-22 哈尔滨工程大学 一种智能监控装置及目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
US9524562B2 (en) * 2014-01-20 2016-12-20 Ricoh Company, Ltd. Object tracking method and device
CN106296735A (zh) * 2016-08-05 2017-01-04 海信集团有限公司 目标跟踪中的滤波器更新方法、装置和智能终端
CN106934338A (zh) * 2017-01-09 2017-07-07 浙江汉凡软件科技有限公司 一种基于相关滤波器的长期行人跟踪方法
CN106875426A (zh) * 2017-02-21 2017-06-20 中国科学院自动化研究所 基于相关粒子滤波的视觉跟踪方法及装置
CN107197199A (zh) * 2017-05-22 2017-09-22 哈尔滨工程大学 一种智能监控装置及目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秦晓飞等: "基于改进的核相关滤波器的目标跟踪算法", 《测控技术》 *
郝志成等: "多模跟踪技术在轮式侦查车图像处理器的应用", 《中国光学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
WO2021036825A1 (zh) * 2019-08-30 2021-03-04 腾讯科技（深圳）有限公司 对象跟踪方法、装置、存储介质及电子设备
CN110533700B (zh) * 2019-08-30 2023-08-29 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
US11748896B2 (en) 2019-08-30 2023-09-05 Tencent Technology (Shenzhen) Company Limited Object tracking method and apparatus, storage medium, and electronic device
CN111862154A (zh) * 2020-07-13 2020-10-30 中移（杭州）信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
CN111862154B (zh) * 2020-07-13 2024-03-01 中移（杭州）信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN113450389A (zh) * 2021-09-01 2021-09-28 智道网联科技(北京)有限公司 一种目标跟踪方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109697385A (zh) 一种目标跟踪方法及装置
CN107358149B (zh) 一种人体姿态检测方法和装置
Denman et al. An adaptive optical flow technique for person tracking systems
Barranco et al. Contour motion estimation for asynchronous event-driven cameras
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
US20100021009A1 (en) Method for moving targets tracking and number counting
CN108292362A (zh) 用于光标控制的手势识别
CN107408303A (zh) 用于对象跟踪的系统和方法
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
de Almeida et al. Detection of global and local motion changes in human crowds
JPWO2016021411A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109558790B (zh) 一种行人目标检测方法、装置及系统
CN109711267A (zh) 一种行人重识别、行人运动轨迹生成方法及装置
Fu et al. Scene-adaptive accurate and fast vertical crowd counting via joint using depth and color information
CN108256567A (zh) 一种基于深度学习的目标识别方法及系统
Denman et al. Adaptive optical flow for person tracking
CN109523573A (zh) 目标对象的跟踪方法和装置
Suganyadevi et al. OFGM-SMED: An efficient and robust foreground object detection in compressed video sequences
Jaiswal et al. Survey paper on various techniques of recognition and tracking
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
CN116883897A (zh) 一种低分辨率目标识别方法
Khan et al. Foreground detection using motion histogram threshold algorithm in high-resolution large datasets
Yang et al. Design and implementation of intelligent analysis technology in sports video target and trajectory tracking algorithm
Meenatchi et al. Multiple object tracking and segmentation in video sequences
Wang et al. Research and implementation of the sports analysis system based on 3D image technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190430

RJ01 Rejection of invention patent application after publication