CN108898624A - 一种运动物体跟踪的方法、装置、电子设备和存储介质 - Google Patents

一种运动物体跟踪的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108898624A
CN108898624A CN201810603814.2A CN201810603814A CN108898624A CN 108898624 A CN108898624 A CN 108898624A CN 201810603814 A CN201810603814 A CN 201810603814A CN 108898624 A CN108898624 A CN 108898624A
Authority
CN
China
Prior art keywords
coordinate
area
target object
current image
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810603814.2A
Other languages
English (en)
Other versions
CN108898624B (zh
Inventor
马子昂
卢维
殷俊
张辉
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201810603814.2A priority Critical patent/CN108898624B/zh
Publication of CN108898624A publication Critical patent/CN108898624A/zh
Application granted granted Critical
Publication of CN108898624B publication Critical patent/CN108898624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动物体跟踪的方法、装置、电子设备和存储介质,用以解决在运动目标被遮挡时,跟踪不准确的问题。方法包括:根据目标物体在上一图像帧中的第一目标坐标,采用跟踪算法,确定目标物体在当前图像帧中的观测坐标;根据运动模型和第一目标坐标,确定目标物体在当前图像帧中的预测坐标;根据保存的目标物体在上一图像帧中第一区域的大小,以及第一区域中被遮挡物遮挡的第二区域的大小,确定观测坐标和预测坐标对应的权重值,第二区域占第一区域的比例越大,预测坐标的权重值越大;根据观测坐标、预测坐标,权重值,确定目标物体在当前图像帧中的第二目标坐标。根据遮挡物的遮挡情况,灵活地确定第二目标坐标,使跟踪结果更加准确。

Description

一种运动物体跟踪的方法、装置、电子设备和存储介质
技术领域
本发明涉及视觉目标跟踪技术领域,特别涉及一种运动物体跟踪的方法、装置、电子设备和存储介质。
背景技术
视觉目标跟踪是对人眼视觉系统中运动感知功能的一种模仿,通过对摄像头捕捉到的图像序列进行分析,计算出运动目标在每一帧图像上的二维坐标位置;然后将图像序列中连续帧间的同一运动目标关联起来,得到运动目标在每一帧图像上的运动参数以及相邻帧图像之间运动目标的对应关系。
近年来,基于相关滤波的视觉目标跟踪算法因其出色的算法效率成为视觉目标跟踪领域的研究热点。如判别尺度空间跟踪DSST(Discriminative Scale Space Tracking)算法,其进行目标跟踪的流程如图1所示,首先在图像帧中确定的目标区域中心点附近生成一个搜索框区域,通过循环移位生成多个训练样本图像区域,并对每一个训练样本图像区域进行多种视觉特征提取。针对每一种视觉特征,分别学习一个相对应的位置相关滤波器。同时,以目标区域中心点为中心提取多个不同尺寸的图像区域,并对图像区域中提取出的多种视觉特征分别学习一个尺度相关滤波器。在需定位跟踪的图像序列中,以当前保存的前一图像帧中的目标区域中心点为中心生成搜索框区域,将多种视觉特征相对应的位置相关滤波器响应最大值的坐标确定为当前图像帧中的定位坐标;在定位坐标确定之后,以定位坐标为中心提取多个不同尺寸的图像区域,并将尺度相关滤波器响应最大值对应的尺度确定为当前图像帧中的目标区域的尺寸。最后,该DSST算法基于最新获得的定位坐标、目标区域分别对位置相关滤波器、尺度相关滤波器进行参数更新。
DSST算法基于多种视觉特征对搜索框区域学习多个相关滤波器,并在获得最新的定位坐标、目标区域之后,对相关滤波器进行参数更新。考虑到在无人机场景中,跟踪目标常常会受到遮挡物的影响。当运动目标被遮挡较多时,相关滤波器根据遮挡物的视觉特征持续地进行学习;当目标移出遮挡物区域时,相关滤波器已经不再是运动目标的视觉特征的准确表示,导致在确定定位坐标时,偏离目标区域,即出现漂移,导致运动目标的跟踪结果不准确。
发明内容
本发明实施例公开了一种运动物体跟踪的方法、装置、电子设备和存储介质,用以解决现有技术中在运动目标被遮挡时,跟踪结果不准确的问题。
为达到上述目的,本发明实施例公开了一种运动物体跟踪的方法,所述方法包括:
根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
进一步地,所述根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标包括:
根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
进一步地,在确定出目标物体在当前图像帧中的第二目标坐标后,所述方法还包括:
根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
进一步地,确定第一区域中被遮挡物遮挡的第二区域的过程包括:
根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
进一步地,在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,所述方法还包括:
将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
进一步地,所述根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值包括:
根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标包括:
根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
进一步地,所述根据所述比例,确定卡尔曼增益包括:
根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
进一步地,所述方法还包括:
根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
进一步地,如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
进一步地,确定目标物体在上一图像帧中的第一区域的过程包括:
根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
本发明实施例公开了一种运动物体跟踪的装置,所述装置包括:
观测坐标确定模块,用于根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
预测坐标确定模块,用于根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
权重值确定模块,用于根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
目标跟踪模块,用于根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
进一步地,所述预测坐标确定模块,具体用于根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
进一步地,所述预测坐标确定模块,还用于在确定出目标物体在当前图像帧中的第二目标坐标后,根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
进一步地,所述权重值确定模块,还用于确根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
进一步地,所述权重值确定模块,还用于在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
进一步地,所述权重值确定模块,具体用于根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述目标跟踪模块,具体用于根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
进一步地,所述权重值确定模块,具体用于根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
进一步地,所述装置还包括:
更新模块,用于根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
进一步地,所述装置还包括:
暂停模块,用于如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
进一步地,所述权重值确定模块,还用于根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
本发明实施例公开了一种电子设备,所述电子设备包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行上述任一项所述方法的步骤。
本发明实施例公开了一种计算机可读存储介质,其存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行上述任一项所述方法的步骤。
本发明实施例公开了一种运动物体跟踪的方法、装置、电子设备和存储介质,所述方法包括:根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。由于在本发明实施例中,在对目标物体进行跟踪时,根据跟踪算法确定观测坐标,根据运动模型确定预测坐标,并且考虑到了遮挡物对目标物体的遮挡情况。遮挡的比例越大,预测坐标的权重值越大,预测坐标更接近第二目标坐标;遮挡的比例越小,观测坐标的权重值越大,观测坐标更接近第二目标坐标。根据遮挡物的遮挡情况,灵活地确定目标物体的第二目标坐标,使对目标物体的跟踪结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术提供的一种物体跟踪过程示意图;
图2为本发明实施例1提供的一种物体跟踪过程示意图;
图3为本发明实施例提供的一种目标物体跟踪的流程图;
图4为本发明实施例与现有技术的在无人机场景中的跟踪结果对比图;
图5为本发明实施例提供的一种物体跟踪装置结构图;
图6为本发明实施例提供的一种电子设备。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
图2为本发明实施例1提供的一种物体跟踪的过程示意图,该过程包括以下步骤:
S101:根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标。
本发明实施例提供的运动物体跟踪的方法应用于电子设备,该电子设备可以是手机、平板电脑,笔记本电脑等设备。
电子设备可以对图像帧序列中的目标物体进行跟踪,确定目标物体在每一图像帧中的目标坐标及所在的目标区域。该图像序列可以是电子设备自身获取的,也可以是摄像头采集发送给该电子设备的。
电子设备在确定出目标物体在每一图像帧中的目标坐标后,可以保存该目标坐标,以便后续根据保存的该目标坐标,确定目标物体在下一图像帧中的目标坐标。因此电子设备在获取到当前图像帧,在确定目标物体在当前图像帧的目标坐标时,可以预先保存有目标物体在上一图像帧中的目标坐标,将目标物体在上一图像帧中的目标坐标称为第一目标坐标,将目标物体在当前图像帧的目标坐标称为第二目标坐标。
电子设备在确定目标物体在当前图像帧中的第二目标坐标时,可以先确定目标物体在当前图像帧中的观测坐标,以及确定目标物体在当前图像帧中的预测坐标,根据目标物体被遮挡的情况,确定观测坐标和预测坐标的权重值,根据观测坐标和预测坐标及各自对应的权重值,确定该目标物体在当前图像帧中的第二目标坐标。本发明实施例中的预测坐标和观测坐标仅是指坐标的一个名称。
电子设备在确定目标物体在当前图像帧中的观测坐标时,可以是根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法确定的。预设的跟踪算法可以是DSST算法,也可以是SAMF算法。
当预设的跟踪算法是DSST算法时,确定观测坐标时具体可以是,根据目标物体在上一图像帧中的第一目标坐标,将DSST算法中的位置相关滤波器响应最大值的坐标确定为第一目标坐标,该过程属于现有技术,在本发明实施例中不进行赘述。
S102:根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标。
电子设备中预先确定有运动模型,电子设备可以根据运动模型公式确定目标物体在当前图像帧中的预测坐标,可以是将保存的第一目标坐标输入到运动模型中,将运动模型的输出结果作为目标物体在当前图像帧中的预测坐标,该运动模型可以是匀速直线模型:X- t=Xt-1+Vt*Δt,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,Δt为当前图像帧与上一图像帧的时间间隔。在确定目标物体在当前图像帧中的预测坐标时,具体可以是根据预先确定的运动模型和第一目标坐标表示的第一状态向量,确定目标物体在当前图像帧中的预测向量,根据预测向量表示预测坐标,则在匀速直线模型中,X- t为目标物体在当前图像帧中的预测向量,Xt-1为第一状态向量。
第一目标坐标表示第一状态向量,预测向量表示预测坐标的过程属于现有技术,在本发明实施例中,不进行赘述。
S103:根据保存的目标物体在上一图像帧中第一区域的大小,以及第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大。
电子设备中预先保存有目标物体在上一图像帧中的区域,称为第一区域,并保存有第一区域中被遮挡物遮挡的第二区域,电子设备可以根据第一区域和第二区域的大小,分别确定目标物体在当前图像帧中的观测坐标和预测坐标对应的权重值,目标物体在没有被遮挡物遮挡时,认为通过预设的跟踪算法确定的观测坐标更接近第二目标坐标,则可以为观测坐标赋予较高的权重值,当目标物体被遮挡物遮挡时,认为通过运动模型确定的预测坐标更加接近第二目标坐标,则可以为预测坐标赋予较高的权重值。
目标物体被遮挡物遮挡的情况可以根据第二区域占第一区域的比例确定,该比例越大,则遮挡越明显,则目标物体在当前图像帧中的预测坐标对应的权重值越大,目标物体在当前图像帧中的观测坐标对应的权重值越小;反之,该比例越小,则遮挡越不明显,则目标物体在当前图像帧中的观测坐标对应的权重值越大,目标物体在当前图像帧中的预测坐标对应的权重值越小。
电子设备中可以预先保存有一个比例阈值并保存有两组权重值,第一组权重值中,观测坐标对应的权重值大于预测坐标对应的权重值,如观测坐标对应的权重值为0.6,预测坐标对应的权重值为0.3,第二组权重值中,观测坐标对应的权重值小于预测坐标对应的权重值,如观测坐标对应的权重值为0.3,预测坐标对应的权重值为0.6。在根据第一区域和第二区域的大小,分别确定观测坐标和预测坐标对应的权重值时,可以是先确定第二区域占第一区域的比例是否大于预设的比例阈值;如果是,则认为遮挡明显,则根据保存的第二组权重值,确定观测坐标和预测坐标对应的权重值,即确定观测坐标对应的权重值为0.3,预测坐标对应的权重值为0.6;如果否,则认为遮挡不明显,则根据保存的第一组权重值,确定观测坐标和预测坐标对应的权重值,即确定观测坐标对应的权重值为0.6,预测坐标对应的权重值为0.3。
电子设备中可以预先保存有像素阈值,根据该像素阈值确定第一区域中被遮挡物遮挡的第二区域,具体可以是先确定第一区域中像素值小于预设的像素阈值的第一像素点,将第一像素点构成的连通域中最大的第一连通域确定为被遮挡物遮挡的第二区域,也可以是确定第一区域中像素值大于预设的像素阈值的第二像素点,将第二像素点构成的连通域中最大的第二连通域确定为被遮挡物遮挡的第二区域,具体是根据第一像素点还是根据第二像素点确定第二区域,电子设备中会预先设置。
S104:根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
在确定出目标物体在当前图像帧中的观测坐标、预测坐标、观测坐标对应的权重值、预测坐标对应的权重值后,就可以根据这些数据确定目标物体在当前图像帧中的第二目标坐标。
具体可以是根据公式:C=(A*a+B*b)/(a+b)进行确定,其中C为第二目标坐标,A为目标物体在当前图像帧中的观测坐标,a为观测坐标对应的权重值,B为目标物体在当前图像帧中的预测坐标,b为预测坐标对应的权重值。
电子设备确定出了目标区域的尺寸,在确定出目标物体在当前图像帧中的第二目标坐标后,可以根据该尺寸和该第二目标坐标,确定目标物体在当前图像帧中的目标区域。目标区域的尺寸即确定的该尺寸,第二目标坐标位于该目标区域中,较优的,第二目标坐标为该目标区域的中心点。
上述的S101与S102之间的先后顺序可以不限。
由于在本发明实施例中,在对目标物体进行跟踪时,根据跟踪算法确定观测坐标,根据运动模型确定预测坐标,并且考虑到了遮挡物对目标物体的遮挡情况。遮挡的比例越大,预测坐标的权重值越大,预测坐标更接近第二目标坐标;遮挡的比例越小,观测坐标的权重值越大,观测坐标更接近第二目标坐标。根据遮挡物的遮挡情况,灵活地确定目标物体的第二目标坐标,使对目标物体的跟踪结果更加准确。
实施例2:
在现有技术中,在对目标物体进行跟踪时,还可以基于卡尔曼算法建立的滤波模型确定预测坐标,预测坐标与上一图像帧对应的目标坐标之间的相对变化是固定的,该方法可以在目标物体运动趋势基本保持一致的场景中实现比较好的跟踪效果,为了适应目标物体运动不规律以及摄像头与目标之间存在频繁相对运动等因素的影响,在上述实施例的基础上,在本发明实施例中,所述根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标包括:
根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
在本发明实施例中,电子设备中预先确定的运动模型可以是匀变速运动模型,即将保存的第一目标坐标输入到该匀变速运动模型中,得到的输出结果即为确定的目标物体在当前图像帧中的预测坐标。有效地解决了目标物体运动不规律以及摄像头与目标物体之间存在频繁相对运动等带来的定位不准确的问题。
确定目标物体在当前图像帧中的预测坐标时,具体可以是根据匀变速运动模型和第一目标坐标表示的第一状态向量,确定目标物体在当前图像帧中的预测向量,根据预测向量表示预测坐标,则在匀变速直线模型中,X- t为目标物体在当前图像帧中的预测向量,Xt-1为第一状态向量。
在本发明实施例中,为了适应目标物体的运动规律,更加准确地确定出预测坐标,还可以对运动模型中的加速度参数和速度参数进行更新。在确定出目标物体在当前图像帧中的第二目标坐标后,所述方法还包括:
根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
电子设备可以在每次确定出目标物体在图像帧中的目标坐标后,可以对保存的加速度参数和速度参数进行更新。具体可以是,在确定出目标物体在当前图像帧中的第二目标坐标后,重新确定加速度参数和速度参数,根据重新确定的加速度参数对当前保存的加速度参数更新,根据重新确定的速度参数对当前保存的速度参数更新。
电子设备中预先保存有数量,电子设备可以先确定该数量的图像帧分别是哪一帧,该数量的图像帧相邻且时间上位于当前图像帧之前,每一图像帧有其对应的目标坐标,根据该数量的图像帧对应的每个目标坐标及当前图像帧对应的第二目标坐标,重新确定加速度参数和速度参数。
该数量可以是3、5等,如果该数量为5,当前图像帧为第4帧,则可以根据第1帧至第4帧的图像帧对应的目标坐标,重新确定加速度参数和速度参数,如果当前图像帧为第10帧,则可以根据第5帧至第10帧的图像帧对应的目标坐标,重新确定加速度参数和速度参数。在根据每个目标坐标,重新确定加速度参数和速度参数的过程属于现有技术,在本发明实施例中不进行赘述。
实施例3:
为了更加准确地确定遮挡物对目标物体的遮挡情况,进而准确地实现对目标物体的跟踪,在上述各实施例的基础上,在本发明实施例中,所述确定第一区域中被遮挡物遮挡的第二区域的过程包括:
根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
在本发明实施例中,在确定第一区域中被遮挡物遮挡的第二区域时,可以将第一区域的图像转为二值化的图像,在二值化处理后的第一区域中确定第二区域。
电子设备中预先保存有遮挡物像素阈值,根据遮挡物像素阈值,将该第一区域的图像进行二值化处理,具体可以是将第一区域中的像素值小于遮挡物像素阈值的像素点在二值化处理后的像素值设为0,将第一区域中的像素值不小于遮挡物像素阈值的像素点在二值化处理后的像素值设为1。
在对第一区域的图像进行二值化处理后,还可以对二值化处理后的第一区域的图像进行形态学闭运算,将狭窄的缺口连接起来形成细长的弯口,将对结构元素小的空洞进行填充,对二值化处理后的图像进行膨胀、腐蚀处理。
上述的对二值化处理后的第一区域的图像进行形态学闭运算的过程属于现有技术,在本发明实施例中不进行详细赘述。
电子设备中预先保存有遮挡物的像素值,该遮挡物的像素值可以是0,也可以是1,电子设备可以在第一区域中确定预设的遮挡物的像素值的像素点构成连通域,将最大的连通域确定为第二区域。遮挡物的像素值一般为1,即在第一区域的图像中白色的像素点构成的连通域中的最大的连通域为第二区域。
为了提高确定被遮挡物遮挡的第二区域的准确性,在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,所述方法还包括:
将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
实施例4:
为了更加准确地根据遮挡情况,确定观测坐标和预测坐标的权重值,进而准确地实现目标跟踪,在上述各实施例的基础上,在本发明实施例中,所述根据保存的目标物体在上一图像帧中第一区域的大小,以及第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值包括:
根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标包括:
根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
在本发明实施例中,可以采用卡尔曼滤波算法确定目标物体在当前图像帧中的第二目标坐标,具体可以是先根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为目标物体在当前图像帧中的观测坐标的权重值,并根据卡尔曼增益,确定目标物体在当前图像帧中的预测坐标的权重值。具体可以是将1与卡尔曼增益的差值确定为预测坐标的权重值。因为在遮挡不明显时,跟踪算法进行目标定位更加准确,则应使观测坐标更接近第二目标坐标,在遮挡明显时,运动模型进行目标定位更加准确,则应使预测坐标更接近第二目标坐标,所以,第二区域占第一区域的比例越大时,卡尔曼增益越小,反之,当第二区域占第一区域的比例越小时,卡尔曼增益越大。后续可以根据卡尔曼公式,确定目标物体在当前图像帧中的第二目标坐标。
在根据第二区域占第一区域的比例,确定卡尔曼增益时,可以是预先保存有比例范围与卡尔曼增益的对应关系,确定该比例所位于的比例范围,将该比例范围对应的卡尔曼增益确定为根据比例确定的卡尔曼增益。
例如,预设比例范围为0-20%,20%-60%,60%-100%,分别对应的卡尔曼增益为0.8,0.5,0.2,如果确定第二区域占第一区域的比例为22%,22%位于20%-60%之间,该20%-60%对应的卡尔曼增益为0.5,则根据该比例22%确定出来的卡尔曼增益为0.5。
为了更加准确地确定卡尔曼增益,在本发明实施例中,所述根据所述比例,确定卡尔曼增益包括:
根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
当目标物体未被明显遮挡时,基于跟踪算法确定的观测坐标置信度更高,可以通过调整观测坐标的不确定性远小于预测坐标的不确定性,使第二目标坐标更接近观测坐标。当目标物体被明显遮挡时,基于跟踪算法确定的观测坐标与基于运动模型确定的预测坐标的置信度相当,可以通过调整观测坐标的不确定性与预测坐标的不确定性相同,使第二目标坐标更接近观测坐标与预测坐标的平均值。当目标物体有大面积被遮挡或完成被遮挡时,基于运动模型确定的预测坐标置信度更高,可以通过调整预测坐标的不确定性远小于观测坐标的不确定性,使第二目标坐标更接近预测坐标。
通过第二区域占第一区域的比例,确定目标物体的遮挡情况,具体可以是,如果比例小于预设的第一比例阈值,则认为目标物体未被明显遮挡;如果比例大于预设的第二比例阈值,则认为目标物体有大面积被遮挡或完成被遮挡;如果比例位于第一比例阈值和第二比例阈值之间,则认为目标物体被明显遮挡,其中,第一比例阈值小于第二比例阈值。例如,第一比例阈值为20%,第二比例阈值为60%,或第一比例阈值为30%,第二比例阈值为70%等。
卡尔曼滤波认为观测坐标和预测坐标都是不完全准确的,其不确定性分别用高斯噪声进行表示,预测坐标的不确定性可以表示为:P- t=Pt-1+Q,其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为预测坐标对应的第二方差,Pt-1为当前保存的第一目标坐标的不确定性,观测坐标的不确定性用第一方差R表示。
根据卡尔曼增益的确定公式:可以得出当预测坐标的不确定性大于观测坐标的不确定性时,卡尔曼增益大于0.5,则第二目标坐标更接近观测坐标,当预测坐标与观测坐标的不确定性相同时,卡尔曼增益等于0.5,第二目标坐标更接近观测坐标与预测坐标的平均值,当预测坐标的不确定性小于观测坐标的不确定性时,卡尔曼增益小于0.5,第二目标坐标更接近预测坐标。
为了保证在目标物体未被明显遮挡,即比例小于预设的第一比例阈值时,卡尔曼增益大于0.5,第二方差应远远大于第一方差,则第二方差为第一方差的预设倍数;
为了保证在目标物体有大面积被遮挡或完成被遮挡,即比例大于预设的第二比例阈值时,卡尔曼增益小于0.5,第一方差应远远大于第二方差,则第一方差为第二方差的预设倍数;
为了保证目标物体被明显遮挡,即比例位于第一比例阈值和第二比例阈值之间时,卡尔曼增益等于0.5,第一方差可以与第二方差相同。上述的预设倍数一般大于10倍。则当比例小于预设的第一比例阈值时,Q≥10R,当比例位于第一比例阈值与第二比例阈值之间时,Q=R,当比例大于预设的第二比例阈值时,R≥10Q。
在本发明实施例中,在确定出卡尔曼增益后,可以确定第二目标坐标对应的不确定性,具体根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,并在确定目标物体在下一图像帧中的目标坐标之前,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
上述在根据卡尔曼滤波确定目标物体在当前图像帧中的第二目标坐标时,可以将坐标表示为向量,根据向量及对应的卡尔曼滤波中的每个公式,确定第二目标坐标,预测坐标表示为预测向量,观测坐标表示为观测向量,第二目标坐标表示为第二状态向量,根据第二状态向量确定第二目标坐标。用坐标表示向量,或用向量表示坐标的过程属于现有技术,在本发明实施例中不进行赘述。
在跟踪序列的第一个图像帧中,目标坐标是给定的,目标物体在第一个图像帧中的目标坐标的不确定性等于0,可以理解为t=1时,P0=0。
实施例5:
如果预设的跟踪算法为DSST算法,DSST算法中的位置相关滤波器和尺度相关滤波器在每次确定出坐标和尺寸后,一般会根据最新获得的坐标、和区域分别对位置相关滤波器、尺度相关滤波器进行参数更新,但由于遮挡物对目标物体的遮挡,对相关滤波器更新后,会导致目标移出遮挡物区域时,相关滤波器已经不再是目标物体的视觉特征的准确表示,导致跟踪结果不准确。为了使DSST算法确定的跟踪结果更加准确,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
如果预设的跟踪算法为SAMF算法,当所述比例大于预设的第一比例阈值时,停止对SAMF算法中的位置相关滤波器的参数进行更新。
图3为本发明实施例提供的一种目标物体跟踪的流程图;针对图像帧序列中的当前帧图像,根据上一图像帧中的目标坐标以及DSST算法进行目标跟踪,确定目标物体在当前帧图像中的观测坐标和目标区域的尺寸;并根据保存的上一图像帧中的观测坐标和目标区域尺寸,进行遮挡物的检测,根据遮挡物的遮挡情况,动态调整卡尔曼滤波的不确定性;根据上一图像帧中的目标坐标拟合运动模型,并根据预测模型确定目标物体在当前帧图像中的预测坐标,最后根据基于调整后的卡尔曼滤波进行目标跟踪。
图4为本发明实施例与现有技术的在无人机场景中的跟踪结果对比图;标识1、2、3、4的图,可以理解为图像帧序列中的连续的4帧图像,如第n帧至第n+4帧。假设标识1的图为图像帧序列中的第一帧图像,标识2的图为图像帧序列中的第二帧图像,标识3的图为图像帧序列中的第三帧图像,标识4的图为图像帧序列中的第四帧图像,第一帧中的框为目标物体(车)所在的实际区域,目标物体在运动,在每一图像帧中A代表的矩形框为本发明实施例的跟踪结果,B代表的矩形框为DSST算法的跟踪结果,C代表的矩形框为现有技术中的卡尔曼滤波的跟踪结果。可以看到,现有技术中的卡尔曼滤波无法适应无人机与目标物体之间剧烈的相对运动,DSST算法在目标被完全遮挡的序列中发生漂移。本申请无论是在目标物体被遮挡,还是无人机与目标物体之间剧烈运行,想都可以准确定位。此外,本申请的目标跟踪的过程应用于CPU为Intel Core i3-4160(3.6GHz),内存为8.00G的硬件平台上,每秒钟可以处理15-30帧图像。
实施例6:
在上述各实施例的基础上,在本发明实施例中,确定目标物体在上一图像帧中的第一区域的过程包括:
根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
在本发明实施例中,电子设备还可以确定目标物体所在的目标区域的尺寸,该尺寸即该目标区域的长和宽。该尺寸可以是用户预先设置的,则电子设备将用户设置的尺寸,确定为目标区域的尺寸。较优地,电子设备可以根据DSST算法确定目标区域的尺寸,具体可以是以DSST算法确定的观测坐标为中心,提取多个不同尺寸的图像区域,并将尺度相关滤波器响应最大值对应的尺度确定为当前图像帧中的目标区域的尺寸,该过程属于现有技术,在本发明实施例中不进行详细赘述。
在确定了上上图像帧中目标区域的尺寸和观测坐标后,可以根据观测坐标和该尺寸,确定目标物体在上一图像帧中的第一区域,第一区域的尺寸即确定的该尺寸,上上图像帧中观测坐标位于第一区域中,较优的,观测坐标为第一区域的中心点。第一区域可以理解为该目标物体所在的候选区域,第一区域被遮挡的情况,可以在一定程度上反映目标物体被遮挡的情况。因此电子设备可以确定第一区域中被遮挡物遮挡的区域,来确定目标物体被遮挡的情况。第一区域中被遮挡物遮挡的区域称为第二区域。
为了方便将上一图像帧中的观测坐标和当前图像帧中的观测坐标区分,可以将当前图像帧中的观测坐标称为第一观测坐标,上一图像帧中的观测坐标称为第二观测坐标。
实施例7:
图5为本发明实施例提供的一种运动物体跟踪的装置结构图,所述装置包括:
观测坐标确定模块51,用于根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
预测坐标确定模块52,用于根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
权重值确定模块53,用于根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
目标跟踪模块54,用于根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
进一步地,所述预测坐标确定模块52,具体用于根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
进一步地,所述预测坐标确定模块52,还用于在确定出目标物体在当前图像帧中的第二目标坐标后,根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
进一步地,所述权重值确定模块53,还用于确根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
进一步地,所述权重值确定模块53,还用于在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
进一步地,所述权重值确定模块53,具体用于根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述目标跟踪模块54,具体用于根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
进一步地,所述权重值确定模块53,具体用于根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
进一步地,所述装置还包括:
更新模块55,用于根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
进一步地,所述装置还包括:
暂停模块56,用于如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
进一步地,所述权重值确定模块53,还用于根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
实施例8:
图6为本发明实施例公开的一种电子设备,所述电子设备包括:处理器61、通信接口62、存储器63和通信总线64,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行以下任一项步骤:
根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
进一步地,根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
进一步地,在确定出目标物体在当前图像帧中的第二目标坐标后,根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
进一步地,根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
进一步地,在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,所述方法还包括:
将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
进一步地,根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标包括:
根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
进一步地,根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
进一步地,根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
进一步地,如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
进一步地,根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
上述实施例中的电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口,用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例9:
本发明实施例公开了一种计算机可读存储介质,其存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行以下任一项步骤:
根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
进一步地,根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
进一步地,在确定出目标物体在当前图像帧中的第二目标坐标后,根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
进一步地,根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
进一步地,在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,所述方法还包括:
将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
进一步地,根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标包括:
根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
进一步地,根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
进一步地,根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
进一步地,如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
进一步地,根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
上述实施例中的计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD)等。
本发明实施例公开了一种运动物体跟踪的方法、装置、电子设备和存储介质,所述方法包括:根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。由于在本发明实施例中,在对目标物体进行跟踪时,根据跟踪算法确定观测坐标,根据运动模型确定预测坐标,并且考虑到了遮挡物对目标物体的遮挡情况。遮挡的比例越大,预测坐标的权重值越大,预测坐标更接近第二目标坐标;遮挡的比例越小,观测坐标的权重值越大,观测坐标更接近第二目标坐标。根据遮挡物的遮挡情况,灵活地确定目标物体的第二目标坐标,使对目标物体的跟踪结果更加准确。对于系统/装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来,而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (22)

1.一种运动物体跟踪的方法,其特征在于,所述方法包括:
根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
2.如权利要求1所述的方法,其特征在于,所述根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标包括:
根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
3.如权利要求2所述的方法,其特征在于,在确定出目标物体在当前图像帧中的第二目标坐标后,所述方法还包括:
根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
4.如权利要求1所述的方法,其特征在于,确定第一区域中被遮挡物遮挡的第二区域的过程包括:
根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
5.如权利要求4所述的方法,其特征在于,在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,所述方法还包括:
将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
6.如权利要求1所述的方法,其特征在于,所述根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值包括:
根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标包括:
根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
7.如权利要求6所述的方法,其特征在于,所述根据所述比例,确定卡尔曼增益包括:
根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
9.如权利要求1所述的方法,其特征在于,如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
10.如权利要求1所述的方法,其特征在于,确定目标物体在上一图像帧中的第一区域的过程包括:
根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
11.一种运动物体跟踪的装置,其特征在于,所述装置包括:
观测坐标确定模块,用于根据当前保存的目标物体在上一图像帧中的第一目标坐标,采用预设的跟踪算法,确定所述目标物体在当前图像帧中的观测坐标;
预测坐标确定模块,用于根据预先确定的运动模型和所述第一目标坐标,确定所述目标物体在当前图像帧中的预测坐标;
权重值确定模块,用于根据保存的目标物体在上一图像帧中第一区域的大小,以及所述第一区域中被遮挡物遮挡的第二区域的大小,分别确定观测坐标和预测坐标对应的权重值,其中,所述第二区域占所述第一区域的比例越大,所述预测坐标对应的权重值越大;
目标跟踪模块,用于根据所述观测坐标、预测坐标,以及分别对应的权重值,确定目标物体在当前图像帧中的第二目标坐标;根据所述尺寸及所述第二目标坐标,确定所述目标物体在当前图像帧中的目标区域。
12.如权利要求11所述的装置,其特征在于,所述预测坐标确定模块,具体用于根据公式:确定所述目标物体在当前图像帧中的预测坐标,其中,X- t为目标物体在当前图像帧中的预测坐标,Xt-1为第一目标坐标,Vt为当前保存的速度参数,at为当前保存的加速度参数,Δt为当前图像帧与上一图像帧的时间间隔。
13.如权利要求12所述的装置,其特征在于,所述预测坐标确定模块,还用于在确定出目标物体在当前图像帧中的第二目标坐标后,根据目标物体在当前图像帧中的第二目标坐标,以及目标物体在位于当前图像帧之前的预设数量的且相邻的图像帧中的目标坐标,对当前保存的加速度参数at和速度参数Vt进行更新。
14.如权利要求11所述的装置,其特征在于,所述权重值确定模块,还用于确根据预设的遮挡物像素阈值,对该第一区域进行二值化处理,并对二值化处理后的第一区域的图像进行形态学闭运算;
在第一区域中确定预设的遮挡物的像素值的像素点构成的第二区域。
15.如权利要求14所述的装置,其特征在于,所述权重值确定模块,还用于在根据预设的遮挡物像素阈值,将该第一区域进行二值化处理之前,将该第一区域的图像从RGB颜色空间转化到HSV颜色空间,对饱和度分量S和亮度分量V进行直方图均衡化。
16.如权利要求11所述的装置,其特征在于,所述权重值确定模块,具体用于根据第二区域占第一区域的比例,确定卡尔曼增益,将卡尔曼增益确定为观测坐标的权重值;并根据卡尔曼增益,确定预测坐标的权重值,其中,所述比例越大,所述卡尔曼增益越小;
所述目标跟踪模块,具体用于根据卡尔曼滤波公式:Xt=(1-Kt)*X- t+Kt*Zt,确定目标物体在当前图像帧中的第二目标坐标,其中,Xt为第二目标坐标,Kt为卡尔曼增益、Zt为观测坐标,X- t为预测坐标。
17.如权利要求16所述的装置,其特征在于,所述权重值确定模块,具体用于根据公式:确定卡尔曼增益,其中,R为第一方差;
其中,根据公式:P- t=Pt-1+Q,确定目标物体在当前图像帧中的预测坐标的不确定性;其中,P- t为目标物体在当前图像帧中的预测坐标的不确定性,Q为第二方差,Pt-1为当前保存的第一目标坐标的不确定性;
其中,如果所述比例小于预设的第一比例阈值,则第二方差为第一方差的预设倍数;
如果所述比例大于预设的第二比例阈值,则第一方差为第二方差的预设倍数;
如果所述比例位于第一比例阈值和第二比例阈值之间,则第一方差与第二方差相同,其中,第一比例阈值小于第二比例阈值。
18.如权利要求17所述的装置,其特征在于,所述装置还包括:
更新模块,用于根据公式:Pt=(I-Kt)*Pt-1,确定第二目标坐标的不确定性,根据第二目标坐标的不确定性对当前保存的第一目标坐标的不确定性进行更新,其中,Pt为第二目标坐标的不确定性,I为单位向量。
19.如权利要求11所述的装置,其特征在于,所述装置还包括:
暂停模块,用于如果预设的跟踪算法为DSST算法,当所述比例大于预设的第一比例阈值时,停止对DSST算法中的位置相关滤波器和尺度相关滤波器的参数进行更新。
20.如权利要求11所述的装置,其特征在于,所述权重值确定模块,还用于根据保存的目标物体在上一图像帧中的观测坐标及确定的目标区域的尺寸,确定目标物体在上一图像帧中的第一区域。
21.一种电子设备,其特征在于,所述电子设备包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行权利要求1-10任一项所述方法的步骤。
22.一种计算机可读存储介质,其特征在于,其存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行权利要求1-10任一项所述方法的步骤。
CN201810603814.2A 2018-06-12 2018-06-12 一种运动物体跟踪的方法、装置、电子设备和存储介质 Active CN108898624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810603814.2A CN108898624B (zh) 2018-06-12 2018-06-12 一种运动物体跟踪的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810603814.2A CN108898624B (zh) 2018-06-12 2018-06-12 一种运动物体跟踪的方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN108898624A true CN108898624A (zh) 2018-11-27
CN108898624B CN108898624B (zh) 2020-12-08

Family

ID=64344665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810603814.2A Active CN108898624B (zh) 2018-06-12 2018-06-12 一种运动物体跟踪的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN108898624B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110207537A (zh) * 2019-06-19 2019-09-06 赵天昊 基于计算机视觉技术的火控装置及其自动瞄准方法
WO2020113357A1 (zh) * 2018-12-03 2020-06-11 深圳市大疆创新科技有限公司 目标检测方法和装置、航迹管理方法和装置以及无人机
CN111435535A (zh) * 2019-01-14 2020-07-21 株式会社日立制作所 一种关节点信息的获取方法及装置
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112150505A (zh) * 2020-09-11 2020-12-29 浙江大华技术股份有限公司 目标对象跟踪器的更新方法和装置、存储介质及电子装置
CN112378397A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112672158A (zh) * 2020-12-10 2021-04-16 博流智能科技(南京)有限公司 运动侦测系统及方法
CN113191210A (zh) * 2021-04-09 2021-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113706573A (zh) * 2020-05-08 2021-11-26 杭州海康威视数字技术股份有限公司 一种运动物体的检测方法、装置及存储介质
CN114500839A (zh) * 2022-01-25 2022-05-13 青岛根尖智能科技有限公司 一种基于注意力跟踪机制的视觉云台控制方法及系统
CN115359240A (zh) * 2022-07-15 2022-11-18 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN116679759A (zh) * 2023-05-16 2023-09-01 刘沛乐 一种云台设备的自动控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331170A (ja) * 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
KR101180825B1 (ko) * 2011-09-23 2012-09-07 광주과학기술원 센서 네트워크 기반의 이동체 위치 추적 장치 및 방법
CN106774436A (zh) * 2017-02-27 2017-05-31 南京航空航天大学 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法
CN107403439A (zh) * 2017-06-06 2017-11-28 沈阳工业大学 基于Cam‑shift的预测跟踪方法
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331170A (ja) * 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
KR101180825B1 (ko) * 2011-09-23 2012-09-07 광주과학기술원 센서 네트워크 기반의 이동체 위치 추적 장치 및 방법
CN106774436A (zh) * 2017-02-27 2017-05-31 南京航空航天大学 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法
CN107403439A (zh) * 2017-06-06 2017-11-28 沈阳工业大学 基于Cam‑shift的预测跟踪方法
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WENG S K等: ""Video object tracking using adaptive Kalman filter"", 《JOURNAL OF VISUAL COMMUNICATION & IMAGE REPRESENTATION》 *
ZHOU S等: ""A New Target Tracking Scheme Based on Improved Mean Shift and Adaptive Kalman Filter"", 《INTERNATIONAL JOURNAL OF ADVANCEMENTS IN COMPUTING TECHNOLOGY》 *
周尚波等: ""基于改进Mean-Shift与自适应Kalman滤波的视频目标跟踪"", 《计算机应用》 *
常发亮等: ""基于均值漂移与卡尔曼滤波的目标跟踪算法"", 《计算机工程与应用》 *
马世强: ""卡尔曼与均值漂移在动态目标跟踪中的应用研究"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020113357A1 (zh) * 2018-12-03 2020-06-11 深圳市大疆创新科技有限公司 目标检测方法和装置、航迹管理方法和装置以及无人机
CN111279215A (zh) * 2018-12-03 2020-06-12 深圳市大疆创新科技有限公司 目标检测方法和装置、航迹管理方法和装置以及无人机
CN111435535A (zh) * 2019-01-14 2020-07-21 株式会社日立制作所 一种关节点信息的获取方法及装置
CN111435535B (zh) * 2019-01-14 2024-03-08 株式会社日立制作所 一种关节点信息的获取方法及装置
CN110207537A (zh) * 2019-06-19 2019-09-06 赵天昊 基于计算机视觉技术的火控装置及其自动瞄准方法
CN111583338B (zh) * 2020-04-26 2023-04-07 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN113706573B (zh) * 2020-05-08 2024-06-11 杭州海康威视数字技术股份有限公司 一种运动物体的检测方法、装置及存储介质
CN113706573A (zh) * 2020-05-08 2021-11-26 杭州海康威视数字技术股份有限公司 一种运动物体的检测方法、装置及存储介质
CN112150505A (zh) * 2020-09-11 2020-12-29 浙江大华技术股份有限公司 目标对象跟踪器的更新方法和装置、存储介质及电子装置
CN112378397B (zh) * 2020-11-02 2023-10-10 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112378397A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112672158A (zh) * 2020-12-10 2021-04-16 博流智能科技(南京)有限公司 运动侦测系统及方法
CN113191210B (zh) * 2021-04-09 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113191210A (zh) * 2021-04-09 2021-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN114500839A (zh) * 2022-01-25 2022-05-13 青岛根尖智能科技有限公司 一种基于注意力跟踪机制的视觉云台控制方法及系统
CN114500839B (zh) * 2022-01-25 2024-06-07 青岛根尖智能科技有限公司 一种基于注意力跟踪机制的视觉云台控制方法及系统
CN115359240A (zh) * 2022-07-15 2022-11-18 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN115359240B (zh) * 2022-07-15 2024-03-15 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN116679759A (zh) * 2023-05-16 2023-09-01 刘沛乐 一种云台设备的自动控制方法及装置
CN116679759B (zh) * 2023-05-16 2024-04-05 刘沛乐 一种云台设备的自动控制方法及装置

Also Published As

Publication number Publication date
CN108898624B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN108898624A (zh) 一种运动物体跟踪的方法、装置、电子设备和存储介质
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN105488811B (zh) 一种基于深度梯度的目标跟踪方法与系统
CN110400332A (zh) 一种目标检测跟踪方法、装置及计算机设备
CN108334878B (zh) 视频图像检测方法、装置、设备及可读存储介质
CN107748942B (zh) 基于速度场感知网络的雷达回波外推预测方法和系统
CN110084836A (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN106022353A (zh) 一种基于超像素分割的图像语义标注方法
CN106803084B (zh) 一种基于端到端循环网络的面部特征点定位方法
US10096114B1 (en) Determining multiple camera positions from multiple videos
CN110021000B (zh) 基于图层变形的发际线修复方法及装置
CN107622507B (zh) 一种基于深度学习的空中目标跟踪方法
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及系统
CN109697385A (zh) 一种目标跟踪方法及装置
US11107237B2 (en) Image foreground detection apparatus and method and electronic device
CN103871081A (zh) 一种自适应鲁棒在线目标跟踪方法
CN107331118A (zh) 跌倒检测方法及装置
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN110009060A (zh) 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法
CN111161325A (zh) 基于卡尔曼滤波与lstm的三维多目标跟踪方法
CN104866821B (zh) 基于机器学习的视频物体跟踪方法
CN108921070A (zh) 图像处理方法、模型训练方法及对应装置
CN108109175A (zh) 一种图像特征点的跟踪方法及装置
CN102800105B (zh) 基于运动矢量的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant