CN106097383A - 一种针对遮挡问题的目标跟踪方法及设备 - Google Patents
一种针对遮挡问题的目标跟踪方法及设备 Download PDFInfo
- Publication number
- CN106097383A CN106097383A CN201610373680.0A CN201610373680A CN106097383A CN 106097383 A CN106097383 A CN 106097383A CN 201610373680 A CN201610373680 A CN 201610373680A CN 106097383 A CN106097383 A CN 106097383A
- Authority
- CN
- China
- Prior art keywords
- video image
- block
- frame video
- confidence map
- subimage block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种针对遮挡问题的目标跟踪方法及设备,涉及运动目标跟踪技术领域,解决了在目标被遮挡的情况下跟踪不准确的问题。方法为:获取包含至少两个子图像块的视频图像,确定子图像块的置信图,根据子图像块对应的最大响应值确定子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则第一子图像块对应的权重大于第二子图像块对应的权重,根据子图像块的权重、以及子图像块的置信图,联合得到第t帧视频图像的置信图,根据第t帧视频图像的置信图、第t‑1帧视频图像的置信图、以及第t‑1帧视频图像中目标的位置,确定第t帧视频图像中目标的位置。
Description
技术领域
本发明涉及运动目标跟踪技术领域,尤其涉及一种针对遮挡问题的目标跟踪方法及设备。
背景技术
运动目标跟踪是计算机视觉领域的核心课题之一,具有十分重要的意义和广泛的实用价值。运动目标跟踪的实质是从图像信号中实时自动识别出目标,定位目标的运动位置,目前,已经涌现了许多好的跟踪算法来实现对运动目标的准确跟踪。
但是,运动目标跟踪的难点在于图像信号在采集过程中的信息损失和复杂的应用环境,特别是目标在运动过程中经常被场景中的其他物体遮挡,遮挡导致了目标固有特征的丢失,本不属于目标的新的特征的产生,这给目标识别和定位带来了很大的困难,因此,目标跟踪过程中的遮挡问题成为限制跟踪算法实用性的关键因素,利用现有跟踪算法很容易导致跟踪不准确。
发明内容
本发明的实施例提供一种针对遮挡问题的目标跟踪方法及设备,解决了在目标被遮挡的情况下跟踪不准确的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明实施例提供一种针对遮挡问题的目标跟踪方法,所述方法包括:
获取第t帧视频图像,所述第t帧视频图像包含至少两个子图像块;
确定子图像块的置信图,其中,所述子图像块的置信图包括所述子图像块对应的至少一个响应值;
确定所述置信图中所述子图像块对应的最大响应值,根据所述子图像块对应的最大响应值确定所述子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则所述第一子图像块对应的权重大于所述第二子图像 块对应的权重;
根据所述子图像块的权重、以及所述子图像块的置信图,联合得到所述第t帧视频图像的置信图;
根据所述第t帧视频图像的置信图、与所述第t帧视频图像相邻的第t-1帧视频图像的置信图、以及所述第t-1帧视频图像中目标的位置,确定所述第t帧视频图像中目标的位置。
第二方面,本发明实施例提供一种针对遮挡问题的目标跟踪设备,用于执行第一方面所述的方法,所述设备包括:
获取单元,用于获取第t帧视频图像,所述第t帧视频图像包含至少两个子图像块;
确定单元,用于确定子图像块的置信图,其中,所述子图像块的置信图包括所述子图像块对应的至少一个响应值;
权重计算单元,用于确定所述置信图中所述子图像块对应的最大响应值,根据所述子图像块对应的最大响应值确定所述子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则所述第一子图像块对应的权重大于所述第二子图像块对应的权重;
所述确定单元,还用于根据所述子图像块的权重、以及所述子图像块的置信图,联合得到所述第t帧视频图像的置信图;
以及,根据所述第t帧视频图像的置信图、与所述第t帧视频图像相邻的第t-1帧视频图像的置信图、以及所述第t-1帧视频图像中目标的位置,确定所述第t帧视频图像中目标的位置。
由上可知,本发明实施例提供的一种针对遮挡问题的目标跟踪方法及设备,在对包含多个子图像块的视频图像中的目标跟踪的过程中,根据子图像块的置信图中的最大响应值确定子图像块的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则所述第一子图像块对应的权重大于所述第二子图像块对应的权重,即子图像块的置信图中的最大响应值越大,子图像块对应的权重越大,子图像块的置信图中的最大响应值越小,子图像块对应的权重越小。
由于最大响应值比置信图中的其他响应值更能真实地反映出该子图像块的固有特征,最大响应值越大表示该子图像块的固有特征变 化微小,即遮挡的可能性比小,最大响应值越小表示该子图像块的固有特征变化较大,掺杂有大量的其他背景特征,即被大面积遮挡,此时,将无遮挡的子图像块赋予较大权重,可以加重该子图像块在整个视频图像中的地位,重点以该子图像块的位移情况估测整个视频图像中目标的当前位置,将被大面积遮挡的子图像块赋予较小权重,可以削弱该子图像块在整个视频图像中的影响,降低被遮挡目标被估测错误的概率,实现对整个视频图像中目标的准确跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的针对遮挡问题的目标跟踪方法的流程图;
图2为本发明实施例提供的目标跟踪设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1为本发明实施例提供的一种针对遮挡问题的目标跟踪方法的流程图,可以由目标跟踪设备执行,该目标跟踪设备可以为摄像机等采集处理设备,也可以为与摄像机连接的、实现跟踪摄像机采集到的图像的任一计算机,还可以是智能手机、智能电视、平板电脑等具有图像处理功能的设备;如图1所示,该方法可以包括以下步骤:
S101:获取第t帧视频图像,该第t帧视频图像包含至少两个子图像块。
其中,该第t帧视频图像可以为通过摄像头采集到的任一帧图像,t为大于等于1的整数,人们可以预先选定该视频图像中待跟踪的目标,进行目标跟踪,且在目标跟踪的过程中,为了提高跟踪的准确性,可以将待跟踪的目标包含多个子图像块。
具体的,可以获取摄像机等采集设备采集到的视频流,将获取到的视频流转化为包含至少一帧图像的图像帧序列,读取第一帧待跟踪的图像,并对感兴趣的目标以跟踪框的形式人工选定,作为需要跟踪的目标图像,同时,并对跟踪框内的目标图像进行初始化,将目标图像进行分块,得到多个子图像块,在后续图像帧中,跟踪框的尺寸和大小不发生变化,且跟踪框内视频图像所包括的各个子图像块的大小和尺寸也不发生变化,仍以该选定的且包含多个子图像块的目标模板作为视频图像中需要跟踪的目标。
可理解的是,在对跟踪框内的视频图像进行分块的过程中,可以根据需要采用不同的方式将跟踪框内的视频图像分为大小相同或不同的子图像块,本发明实施例对此不进行限定,比如:可以将跟踪框内的视频图像横向划分为多个子图像块,或者,将跟踪框内的视频图像纵向划分为多个子图像块。
例如,若在跟踪的初始化过程中,将采集到的图像以第一方框选定作为待跟踪的目标图像,且将选定后的目标图像分为4个子图像块,则在后续帧图像的跟踪过程中,仍可以对采集到的图像以第一方框选定,且按照原分块大小分为4个子图像块进行跟踪,即对于不同帧的视频图像而言,其跟踪框内的视频图像的整体大小和尺寸、以及其内分块的大小和尺寸都是不变的,变化的只有分块的视频图像内容。
S102:确定子图像块的置信图,其中,子图像块的置信图包括该子图像块对应的至少一个响应值。
其中,子图像块图的置信图中的响应值是该子图像块的提取特征输入相关滤波器后输出的值,我们输入的子图像块的提取特征可以是一个矩阵,对应输出响应值也可以为一个矩阵。
可选的,可以利用核相关滤波算法(英文:Kernelized Correlation Filter,缩写:KCF)算法确定视频图像中各个子图像块的置信图。
具体的,对于任意子图像块而言,利用KCF算法确定子图像块的置信图可以包括:
提取子图像块的至少一个特征;
将至少一个特征输入相关滤波器,得到子图像块的置信图,置信图中的响应值与子图像块的特征一一对应。
其中,在本发明实施例中,可以利用不同的提取方法提取出子图像块中的不同种类的特征,比如,可以利用HOG(Histogram of Oriented Gradient,方向梯度直方图)提取方法得到HOG特征,和/或利用LBP(Local Binary Pattern,局部二值模式)提取方法得到LBP特征,可理解的是,提取特征的方法包括但并不限于上述两种方法。
其中,相关滤波器可以用于:衡量两个图像相似值的度量,若两个图像越相似,则得到的响应值越高。比如:可以将图像的一些特征输入该相关滤波器,若得到的响应值比大,则确定该图像为正在跟踪的目标图像。具体的,可以采用下述方法训练得到相关滤波器:
获取第一帧跟踪图像x的初始位置和大小(第一帧图像为初始帧,其初始位置和大小是已知的),提取第一帧图像x的特征,并在傅里叶域构成特征向量;
根据公式:得到相关滤波器,其中,是高斯回归目标(已知),ki xx'=κ(x',Pi-1x)为高斯核相关函数,当κ为高斯核函数时,x为当前待跟踪的目标图像的特征向量;σ=0.5,λ=10-4。
可选的,将至少一个特征输入相关滤波器,得到子图像块的置信图可以包括:
根据公式得到子图像块z对应的置信图,其中, 为相关滤波器,z为在视频图像中该子图像块所在位置所截取到的图像,并对其进行特征提取, 生成特征向量x,表示的是通过输入z,利用循环转移的方法生成多个候选子图像块,并计算出其分别与x的核相关,然后和相关滤波器点乘得到响应矩阵。
S103:确定置信图中子图像块对应的最大响应值,根据子图像块对应的最大响应值确定子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则该第一子图像块对应的权重大于该第二子图像块对应的权重。
其中,第一子图像块和第二图像块为视频图像块中任意两个不同的子图像块,即子图像块的置信图中的最大响应值越大,子图像块对应的权重越大,子图像块的置信图中的最大响应值越小,子图像块对应的权重越小。可理解的是,在本发明中,若第一子图像块的置信图中的最大响应值等于第二子图像块的置信图中的最大响应值,则可以将第一子图像块对应的权重设置为与第二子图像块对应的权重一样大。
子图像块的置信图中的最大响应值可以指:该置信图中数值最大的响应值,例如:若第3帧第1子图像块的置信图为:
则第1子图像块的置信图中的最大响应度为:1。
虽然,置信图中的最大响应值比置信图中的其他响应值更能真实地反映出子图像块的固有特征,根据子图像自身对应的最大响应值对该子图像块进行权重赋值,可以在一定程度上能够提高该子图像块在整个视频图像中的地位,但是,对于一帧视频图像而言,单单根据自身对应的最大响应值对其进行权重赋值可能是不够准确的(例如,子图像块的置信图在某种情况下可能是不够准确的,此时,若根据该不够准确的置信图中的最大响应值对子图像块进行权重赋值,则可能会导致该子图像块的权重不够准确),基于此,在本发明实施例中,可以根据前后两帧视频图像之间固有的空间连续性,以前后两帧视频图像的变化情况来校正当前帧子图像块根据自身的最大响应值赋值的准确性,例如:若前后两帧图像中同一子图像块的置信图变化较大, 则表示后一帧图像中子图像块的置信图可能是不够准确的,此时,可以降低该子图像块的整个权重,若前后两帧图像中同一子图像块的置信图变化较小,则表示后一帧图像中子图像块的置信图的准确性较高,此时,可以提高该子图像块的整个权重。
具体的,在本发明实施例中,对于任意子图像块i,根据子图像块i对应的最大响应值确定子图像块i对应的权重,可以包括下述两种方式:
第一种方式:根据公式得到第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,ut表示第t帧视频图像中子图像块的置信图中的最大响应值的平均值,σt为第t帧视频图像中子图像块的置信图中的最大响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
可理解的是,η可以根据需要进行设置,本发明实施例对此不进行限定,第t-1帧为:与第t帧相邻的前一帧,用于表示前后两帧图像中同一子图像块的置信图的变化情况,若前后两帧图像中同一子图像块的置信图变化较大,则表示后一帧图像中子图像块的置信图可能是不够准确的,此时,可以用较低的值来降低该子图像块的权重,若前后两帧图像中同一子图像块的置信图变化较小,则表示后一帧图像中子图像块的置信图的准确性较高,此时,可以用较 大的值来提高该子图像块的整个权重。
例如:若第三帧视频图像包含四个子图像块,四个子图像块对应的置信图分别为:四个子图像分块分别对应的最大响应值为则第三帧视频图像中子图像块的置信图中最大响应值的平均值为:/4,第三帧视频图像中子图像块的置信图中最大响应值的方差为: 此时,若对第1个子图像块计算权重,则可以将计算出来的均值、方差、以及第1个子图像块的置信图代入上述方式一的计算公式,得到第1个子图像块的权值。
第二种方式:根据公式得到第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,表示第t帧视频图像中子图像块i的置信图中响应值的平均值,表示第t帧视频图像中子图像块i的置信图中响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
例如:若第三帧视频图像包含四个子图像块,第1个子图像块的置信图为:
则 此时,可以将计算出来的均值、方差、以及第1个子图像块的置信图代入上述方式二的计算公式,得到第1个子图像块的权值。
S104:根据子图像块的权重、以及子图像块的置信图,联合得到第t帧视频图像的置信图。
可选的,可以根据将子图像块的权重与自身的置信图相乘,将相乘后的结果进行求和计算得到该第t帧视频图像的置信图;具体的,可以根据下述公式得到视频图像的置信图:
其中,Ct表示第t帧视频图像的置信图,n表示该视频图像包含的子图像块的个数。
S105:根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-1帧视频图像的置信图、以及第t-1帧视频图像中目标的位置,确定第t帧视频图像中目标的位置。
可选的,可以计算第t帧视频图像的置信图中的最大响应值、第t-1帧视频图像的置信图中的最大响应值之间的位移关系;
根据计算出的位移关系、以及第t-1帧视频图像中目标的位置,计算出第t帧视频图像中目标的运动位置。
例如:第2帧视频图像的置信图和第3帧视频图像的置信图分别为:
从二者的置信图可知:最大响应值从第2帧中的最下角转移到了第3帧中的最上角,此时,以矩阵中第1行第1列元素所处为坐标原点,矩阵中各元素间隔为1为例,则第2帧中最大响应值的坐标为(2,2),第3帧中最大响应值的坐标为(0,0),即最大响应值的位置从矩阵坐标(2,2)转移到(0,0),位移变化为(-2,-2),若第 2帧视频图像中目标的位置为(120,159),经过(-2,-2)的位移变化后,第3帧视频图像中目标的位置为(118,157)。
进一步可选的,对于任意子图像块而言,还可以根据第t-1帧视频图像中该子图像块使用的相关滤波器、第t帧视频图像中该子图像块的权重、以及利用当前跟踪到的视频图像中的子图像块重新训练得到的一个新的相关滤波器,对第t帧视频图像中该子图像块使用过的相关滤波器进行更新,以避免在利用该相关滤波器得到第t+1帧视频图像中该子图像块的置信图时出现漂移现象(即跟踪丢失)的问题。
具体的,对于第t帧视频图像中的子图像块i,可以根据公式对子图像块i使用过的相关滤波器进行更新,即当子图像块i的权重大于T时,否则,
其中,αi为跟踪到视频图像后,利用当前视频图像中的子图像块i重新训练得到的一个新的相关滤波器,T为预设阈值,可以根据需要进行设置,本发明实施例对此不进行限定,β为相关滤波器更新因子,也可以根据需要进行设置,本发明实施例对此不进行限定。
需要说明的是,上述过程仅实现了对一帧视频图像中目标的跟踪定位,可理解的是,对于其他帧视频图像中目标也可以采用上述方法进行跟踪定位,本发明实施例在此不再详细赘述。
由上可知,本发明实施例提供的一种针对遮挡问题的目标跟踪方法,获取第t帧包含至少两个子图像块的视频图像,确定第t帧视频图像中子图像块的置信图,根据子图像块对应的最大响应值确定该子图像块对应的权重,根据子图像块的权重、以及子图像块的置信图,联合得到第t帧视频图像的置信图,根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-1帧视频图像的置信图、以及第t-1帧视频图像中目标的位置,确定第t帧视频图像中目标的位置,其中,在对子图像块确定权重时,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则第一子图像块对应的权 重大于第二子图像块对应的权重,即子图像块的置信图中的最大响应值越大,子图像块对应的权重越大,子图像块的置信图中的最大响应值越小,子图像块对应的权重越小。
由于最大响应值比置信图中的其他响应值更能真实地反映出该子图像块的固有特征,最大响应值越大表示该子图像块的固有特征变化微小,即遮挡的可能性比小,最大响应值越小表示该子图像块的固有特征变化较大,掺杂有大量的其他背景特征,即被大面积遮挡,此时,将无遮挡的子图像块赋予较大权重,可以加重该子图像块在整个视频图像中的地位,重点以该子图像块的位移情况估测整个视频图像中目标的当前位置,将被大面积遮挡的子图像块赋予较小权重,可以削弱该子图像块在整个视频图像中的影响,降低被遮挡目标被估测错误的概率,实现对整个视频图像中目标的准确跟踪。
实施例二
图2为本发明实施例提供的目标跟踪设备的结构图,该设备可以为摄像机等采集处理设备,也可以为与摄像机连接的、实现跟踪摄像机采集到的图像的任一计算机,还可以是智能手机、智能电视、平板电脑等具有图像处理功能的设备,如图2所示,该设备可以包括:
获取单元201,用于获取第t帧视频图像,该第t帧视频图像包含至少两个子图像块。
确定单元202,用于确定子图像块的置信图,其中,子图像块的置信图包括该子图像块对应的至少一个响应值。
权重计算单元203,用于确定置信图中子图像块对应的最大响应值,根据子图像块对应的最大响应值确定子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则该第一子图像块对应的权重大于该第二子图像块对应的权重。
该确定单元202,还用于根据子图像块的权重、以及子图像块的置信图,联合得到第t帧视频图像的置信图;
以及,根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-1帧视频图像的置信图、以及第t-1帧视频图像中目标的位置,确定第t帧视频图像中目标的位置。
具体的,对第t帧视频图像中的任意子图像块,确定单元202,可以用于:
采用核相关滤波算法确定子图像块的置信图;
其中,采用核相关滤波算法确定子图像块的置信图具体可以包括:
提取子图像块的至少一个特征;
将至少一个特征输入相关滤波器,得到子图像块的置信图,置信图中的响应值与子图像块的特征一一对应。
具体的,对第t帧视频图像中的任意子图像块i,权重计算单元203,可以通过下述两种方式计算得到子图像块i的权重:
第一种方式:根据公式得到第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中的子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,ut表示第t帧视频图像中子图像块的置信图中的最大响应值的平均值,σt为第t帧视频图像中子图像块的置信图中的最大响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
第二种方式:根据公式得到第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,表示第t帧视频图像中子图像块i的置信图中响应值的平均值,表示第t帧视频图像中子图像块i的置信图中的响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
具体的,确定单元202,可以用于通过下述方式得到视频图像的置信图:
将子图像块的权重与自身的置信图相乘;
将相乘后的结果进行求和计算得到第t帧视频图像的置信图。
进一步可选的,对于任意子图像块而言,还可以根据第t-1帧视频图像中该子图像块使用的相关滤波器、第t帧视频图像中该子图像块的权重、以及利用当前跟踪到的视频图像中的子图像块重新训练得到的一个新的相关滤波器,对第t帧视频图像中该子图像块使用过的相关滤波器进行更新,以避免在利用该相关滤波器得到第t+1帧视频图像中该子图像块的置信图时出现漂移现象(即跟踪丢失)的问题。
具体的,如图2所示,设备还可以包括:更新单元204;
更新单元204,可以用于:
根据第t-1帧视频图像中子图像块i使用的相关滤波器第t帧视频图像中该子图像块的权重以及利用跟踪到的第t帧视频图像重新训练得到的新的相关滤波器αi,采用下述公式对第t帧视频图像中子图像块使用过的相关滤波器进行更新:
其中,更新后的相关滤波器用于确定第t+1帧视频图像中子图像块的置信图,T为预设阈值,β为相关滤波器更新因子。
由上可知,本发明实施例提供的一种目标跟踪设备,获取第t帧包含至少两个子图像块的视频图像,确定第t帧视频图像中子图像块的置信图,根据子图像块对应的最大响应值确定该子图像块对应的权重,根据子图像块的权重、以及子图像块的置信图,联合得到第t帧视频图像的置信图,根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-1帧视频图像的置信图、以及第t-1帧视频图像中目标的位置,确定第t帧视频图像中目标的位置,其中,在对子图像确定权重时,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则第一子图像块对应的权重大于第二子图像块对应的权重,即子图像块的置信图中的最大响应值越大,子图像块对应的权重越大,子图像块的置信图中的最大响应值越小,子图像块对应的权重越小。
由于最大响应值比置信图中的其他响应值更能真实地反映出该子图像块的固有特征,最大响应值越大表示该子图像块的固有特征变化微小,即遮挡的可能性比小,最大响应值越小表示该子图像块的固 有特征变化较大,掺杂有大量的其他背景特征,即被大面积遮挡,此时,将无遮挡的子图像块赋予较大权重,可以加重该子图像块在整个视频图像中的地位,重点以该子图像块的位移情况估测整个视频图像中目标的当前位置,将被大面积遮挡的子图像块赋予较小权重,可以削弱该子图像块在整个视频图像中的影响,降低被遮挡目标被估测错误的概率,实现对整个视频图像中目标的准确跟踪。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种针对遮挡问题的目标跟踪方法,其特征在于,所述方法包括:
获取第t帧视频图像,所述第t帧视频图像包含至少两个子图像块;
确定所述子图像块的置信图,其中,所述子图像块的置信图包括所述子图像块对应的至少一个响应值;
确定所述置信图中所述子图像块对应的最大响应值,根据所述子图像块对应的最大响应值确定所述子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则所述第一子图像块对应的权重大于所述第二子图像块对应的权重;
根据所述子图像块的权重、以及所述子图像块的置信图,联合得到所述第t帧视频图像的置信图;
根据所述第t帧视频图像的置信图、与所述第t帧视频图像相邻的第t-1帧视频图像的置信图、以及所述第t-1帧视频图像中目标的位置,确定所述第t帧视频图像中目标的位置。
2.根据权利要求1所述的方法,其特征在于,对第t帧视频图像中的任意子图像块i,根据所述子图像块i对应的最大响应值确定所述子图像块i对应的权重,包括:
根据公式得到所述第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,ut表示第t帧视频图像中所述子图像块的置信图中的最大响应值的平均值,σt为第t帧视频图像中所述子图像块的置信图中的最大响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
3.根据权利要求1所述的方法,其特征在于,对第t帧视频图像中的任意子图像块i,根据所述子图像块i对应的最大响应值确定所述子图像块i对应的权重,包括:
根据公式得到所述第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,表示第t帧视频图像中子图像块i的置信图中响应值的平均值,表示子图像块i的置信图中响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
4.根据权利要求1-3任一项所述的方法,其特征在于,对所述第t帧视频图像中的任意子图像块,所述确定所述子图像块的置信图,包括:
采用核相关滤波算法确定所述子图像块的置信图;
所述采用核相关滤波算法确定所述子图像块的置信图,包括:
提取所述子图像块的至少一个特征;
将所述至少一个特征输入相关滤波器,得到所述子图像块的置信图,所述置信图中的响应值与子图像块的特征一一对应。
5.根据权利要求4所述的方法,其特征在于,对于所述第t帧视频图像中的任意子图像块i,所述方法还包括:
根据所述第t-1帧视频图像中所述子图像块i使用的相关滤波器所述第t帧视频图像中所述子图像块的权重以及利用跟踪到的所述第t帧视频图像重新训练得到的新的相关滤波器αi,采用下述公式对所述第t帧视频图像中所述子图像块使用过的相关滤波器进行更新:
其中,所述更新后的相关滤波器用于确定第t+1帧视频图像中所述子图像块的置信图,所述T为预设阈值,β为相关滤波器更新因子。
6.根据权利要求1所述的方法,其特征在于,所述根据所述子图像块的权重、以及所述子图像块的置信图,联合得到所述第t帧视频图像的置信图,包括:
将所述子图像块的权重与自身的置信图相乘;
将相乘后的结果进行求和计算得到所述第t帧视频图像的置信图。
7.一种针对遮挡问题的目标跟踪设备,其特征在于,所述设备包括:
获取单元,用于获取第t帧视频图像,所述第t帧视频图像包含至少两个子图像块;
确定单元,用于确定所述子图像块的置信图,其中,所述子图像块的置信图包括所述子图像块对应的至少一个响应值;
权重计算单元,用于确定所述置信图中所述子图像块对应的最大响应值,根据所述子图像块对应的最大响应值确定所述子图像块对应的权重,其中,若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值,则所述第一子图像块对应的权重大于所述第二子图像块对应的权重;
所述确定单元,还用于根据所述子图像块的权重、以及所述子图像块的置信图,联合得到所述第t帧视频图像的置信图;
以及,根据所述第t帧视频图像的置信图、与所述第t帧视频图像相邻的第t-1帧视频图像的置信图、以及所述第t-1帧视频图像中目标的位置,确定所述第t帧视频图像中目标的位置。
8.根据权利要求7所述的设备,其特征在于,对第t帧视频图像中的任意子图像块i,所述权重计算单元,用于:
根据公式得到所述第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,ut表示第t帧视频图像中所述子图像块的置信图中的最大响应值的平均值,σt为第t帧视频图像中所述子图像块的置信图中的最大响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
9.根据权利要求7所述的设备,其特征在于,对第t帧视频图像中的任意子图像块i,所述权重计算单元,用于:
根据公式得到所述第t帧视频图像中子图像块i的权重
其中,表示第t帧视频图像中子图像块i的权重,表示第t帧视频图像中子图像块i的置信图,表示第t帧视频图像中子图像块i的置信图中的最大响应值,表示第t帧视频图像中子图像块i的置信图中响应值的平均值,表示第t帧视频图像中子图像块i的置信图中响应值的方差,η为一个权衡参量,表示第t-1帧视频图像中子图像块i的置信图。
10.根据权利要求7-9任一项所述的设备,其特征在于,对所述第t帧视频图像中的任意子图像块,所述确定单元,用于:
采用核相关滤波算法确定所述子图像块的置信图;
所述采用核相关滤波算法确定所述子图像块的置信图,包括:
提取所述子图像块的至少一个特征;
将所述至少一个特征输入相关滤波器,得到所述子图像块的置信图,所述置信图中的响应值与子图像块的特征一一对应。
11.根据权利要求10所述的设备,其特征在于,对于所述第t帧视频图像中的任意子图像块i,所述设备还包括:更新单元;
所述更新单元,用于:
根据第t-1帧视频图像中所述子图像块i使用的相关滤波器所述第t帧视频图像中所述子图像块的权重以及利用跟踪到的所述第t帧视频图像重新训练得到的新的相关滤波器αi,采用下述公式对所述第t帧视频图像中所述子图像块使用过的相关滤波器进行更新:
其中,所述更新后的相关滤波器用于确定第t+1帧视频图像中所述子图像块的置信图,所述T为预设阈值,β为相关滤波器更新因子。
12.根据权利要求7所述的设备,其特征在于,所述确定单元,用于:
将所述子图像块的权重与自身的置信图相乘;
将相乘后的结果进行求和计算得到所述第t帧视频图像的置信图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610373680.0A CN106097383A (zh) | 2016-05-30 | 2016-05-30 | 一种针对遮挡问题的目标跟踪方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610373680.0A CN106097383A (zh) | 2016-05-30 | 2016-05-30 | 一种针对遮挡问题的目标跟踪方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106097383A true CN106097383A (zh) | 2016-11-09 |
Family
ID=57230321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610373680.0A Pending CN106097383A (zh) | 2016-05-30 | 2016-05-30 | 一种针对遮挡问题的目标跟踪方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106097383A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN108389219A (zh) * | 2018-02-02 | 2018-08-10 | 北京理工雷科电子信息技术有限公司 | 一种基于多峰值判定的弱小目标跟踪丢失重检方法 |
CN109448023A (zh) * | 2018-10-23 | 2019-03-08 | 武汉大学 | 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法 |
CN109584269A (zh) * | 2018-10-17 | 2019-04-05 | 龙马智芯(珠海横琴)科技有限公司 | 一种目标跟踪方法 |
CN109785366A (zh) * | 2019-01-21 | 2019-05-21 | 中国科学技术大学 | 一种针对遮挡的相关滤波目标跟踪方法 |
CN109819160A (zh) * | 2019-01-04 | 2019-05-28 | 惠州市凯越电子股份有限公司 | 基于ai和物联网的360全景行车可视辅助系统视频生成方法及装置 |
CN110033477A (zh) * | 2019-04-04 | 2019-07-19 | 中设设计集团股份有限公司 | 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法 |
CN110472607A (zh) * | 2019-08-21 | 2019-11-19 | 上海海事大学 | 一种船舶跟踪方法及系统 |
CN110991565A (zh) * | 2019-12-24 | 2020-04-10 | 华北理工大学 | 基于kcf的目标跟踪优化算法 |
CN112036381A (zh) * | 2020-11-03 | 2020-12-04 | 中山大学深圳研究院 | 视觉跟踪方法、视频监控方法及终端设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015087191A1 (en) * | 2013-12-09 | 2015-06-18 | Koninklijke Philips N.V. | Personalized scan sequencing for real-time volumetric ultrasound imaging |
CN104820996A (zh) * | 2015-05-11 | 2015-08-05 | 河海大学常州校区 | 一种基于视频的自适应分块的目标跟踪方法 |
-
2016
- 2016-05-30 CN CN201610373680.0A patent/CN106097383A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015087191A1 (en) * | 2013-12-09 | 2015-06-18 | Koninklijke Philips N.V. | Personalized scan sequencing for real-time volumetric ultrasound imaging |
CN104820996A (zh) * | 2015-05-11 | 2015-08-05 | 河海大学常州校区 | 一种基于视频的自适应分块的目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
TING LIU 等: "Real-time part-based visual tracking via adaptive correlation filters", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
董艳梅: "基于相关滤波器的目标跟踪技术", 《中国优秀硕士学位论文全文数据库 信息科学辑(月刊)》 * |
邹小波 等: "《农产品无损检测技术与数据分析方法》", 31 January 2008 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN108198209B (zh) * | 2017-12-22 | 2020-05-01 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪方法 |
CN108389219A (zh) * | 2018-02-02 | 2018-08-10 | 北京理工雷科电子信息技术有限公司 | 一种基于多峰值判定的弱小目标跟踪丢失重检方法 |
CN108389219B (zh) * | 2018-02-02 | 2021-09-24 | 北京理工雷科电子信息技术有限公司 | 一种基于多峰值判定的弱小目标跟踪丢失重检方法 |
CN109584269A (zh) * | 2018-10-17 | 2019-04-05 | 龙马智芯(珠海横琴)科技有限公司 | 一种目标跟踪方法 |
CN109448023A (zh) * | 2018-10-23 | 2019-03-08 | 武汉大学 | 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法 |
CN109448023B (zh) * | 2018-10-23 | 2021-05-18 | 武汉大学 | 一种卫星视频小目标实时跟踪方法 |
CN109819160A (zh) * | 2019-01-04 | 2019-05-28 | 惠州市凯越电子股份有限公司 | 基于ai和物联网的360全景行车可视辅助系统视频生成方法及装置 |
CN109785366A (zh) * | 2019-01-21 | 2019-05-21 | 中国科学技术大学 | 一种针对遮挡的相关滤波目标跟踪方法 |
CN109785366B (zh) * | 2019-01-21 | 2020-12-25 | 中国科学技术大学 | 一种针对遮挡的相关滤波目标跟踪方法 |
CN110033477A (zh) * | 2019-04-04 | 2019-07-19 | 中设设计集团股份有限公司 | 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法 |
CN110033477B (zh) * | 2019-04-04 | 2021-05-11 | 华设设计集团股份有限公司 | 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法 |
CN110472607A (zh) * | 2019-08-21 | 2019-11-19 | 上海海事大学 | 一种船舶跟踪方法及系统 |
CN110991565A (zh) * | 2019-12-24 | 2020-04-10 | 华北理工大学 | 基于kcf的目标跟踪优化算法 |
CN112036381B (zh) * | 2020-11-03 | 2021-03-09 | 中山大学深圳研究院 | 视觉跟踪方法、视频监控方法及终端设备 |
CN112036381A (zh) * | 2020-11-03 | 2020-12-04 | 中山大学深圳研究院 | 视觉跟踪方法、视频监控方法及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106097383A (zh) | 一种针对遮挡问题的目标跟踪方法及设备 | |
CN113963445B (zh) | 一种基于姿态估计的行人摔倒动作识别方法及设备 | |
Lu et al. | Dual-branch network for cloud and cloud shadow segmentation | |
CN108537844B (zh) | 一种融合几何信息的视觉slam回环检测方法 | |
CN104915965A (zh) | 一种摄像机跟踪方法及装置 | |
CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
CN112163498A (zh) | 前景引导和纹理聚焦的行人重识别模型建立方法及其应用 | |
CN110705566B (zh) | 一种基于空间金字塔池的多模态融合显著性检测方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
CN114529982B (zh) | 基于流式注意力的轻量级人体姿态估计方法及系统 | |
CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
CN103955888A (zh) | 一种基于sift的高清视频图像拼接方法及装置 | |
CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
CN113724379B (zh) | 融合图像与激光点云的三维重建方法及装置 | |
CN113642393A (zh) | 基于注意力机制的多特征融合视线估计方法 | |
CN110458128A (zh) | 一种姿态特征获取方法、装置、设备及存储介质 | |
CN116486489B (zh) | 基于语义感知图卷积的三维手物姿态估计方法及系统 | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN112861808A (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
CN106384359A (zh) | 运动目标跟踪方法和电视 | |
Ni et al. | Dual relation knowledge distillation for object detection | |
Liu et al. | Two-stream refinement network for RGB-D saliency detection | |
Gopal et al. | Tiny object detection: Comparative study using single stage CNN object detectors | |
Haggui et al. | Centroid human tracking via oriented detection in overhead fisheye sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161109 |