CN106570886B - 一种基于超分辨率重建的目标跟踪方法 - Google Patents
一种基于超分辨率重建的目标跟踪方法 Download PDFInfo
- Publication number
- CN106570886B CN106570886B CN201610954223.0A CN201610954223A CN106570886B CN 106570886 B CN106570886 B CN 106570886B CN 201610954223 A CN201610954223 A CN 201610954223A CN 106570886 B CN106570886 B CN 106570886B
- Authority
- CN
- China
- Prior art keywords
- target
- resolution
- super
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000001788 irregular Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超分辨率重建的目标跟踪方法,该方法首先提出一种非线性迭代算法对目标图像序列的低分辨率图像进行超分辨率重建;其次,对超分辨率重建后的图像进行标准化并确定期望的运动目标区域;最后,结合变模板方法,在期望的运动目标区域中对目标进行检测与跟踪。本发明基于超分辨率重建的目标跟踪方法,较好解决了目标运动中形变造成的检测困难,检测与跟踪效果良好。
Description
技术领域
本发明涉及一种目标跟踪方法,特别是涉及一种基于超分辨率重建的目标跟踪方法,属于信息感知与识别技术领域。
背景技术
随着模式识别和各种智能系统技术的发展,动态目标识别技术得到了广泛的应用。基于图像序列的运动目标检测和跟踪是指在图像序列中实时地检测出运动目标并跟踪它们。目标检测是指在给定的图片中确定目标的位置及大小的过程。文献中的方法主要有:基于启发式规则的方法、基于特征的方法、基于聚类学习的方法、以及基于人工神经网的方法等。目标检测技术可以用来搜索图像序列中目标的初始位置,也可用于在跟踪过程中定位目标。但由于这些方法的计算复杂度比较高,因而难以满足目标跟踪的实时性要求。目标跟踪是指在输入图像序列中确定某个目标的运动轨迹及大小变化的过程。目标跟踪方法主要有:基于外观特征信息的方法、基于运动信息的方法、基于运动模型的方法、基于局部特征的方法等。这些方法的共同出发点是利用相关的启发性知识(如根据外观特征和运动信息限定搜索空间)达到快速跟踪的目的,通常只使用了目标的一小部分或局部的分布信息,在一些典型的约束环境下(如背景简单静止的视频等)可以取得很好的目标跟踪效果。
在图像序列的目标跟踪中,图像的质量是影响其准确率的重要因素,而往往我们获得的图像分辨率较低,质量较差,这样,严重影响了目标跟踪的效果。
发明内容
本发明所要解决的技术问题是:提供一种基于超分辨率重建的目标跟踪方法,将分辨率较低的图像序列进行了超分辨率重建,大大改善了图像的质量,并利用变模板较好的解决了对图像序列中目标运动变形的检测问题和传统方法漏检测的局限,提高了目标跟踪的匹配准确率。
本发明为解决上述技术问题采用以下技术方案:
一种基于超分辨率重建的目标跟踪方法,包括如下步骤:
步骤1,利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建,得到超分辨率图像序列;
步骤2,对超分辨率图像序列以及初始模板进行标准化处理,并确定期望的目标运动区域;
步骤3,对期望的目标运动区域,利用变模板匹配方法对目标进行检测跟踪。
作为本发明的一种优选方案,所述步骤1的具体过程包括如下步骤:
步骤1-1,计算低分辨率图像序列运动参数的初始解α(0);
步骤1-2,根据α(0)求得超分辨率图像序列的初始解z(0)以及W(α(0))、J(z(0),α(0))、y-W(α(0));其中,z(0)=(WT(α(0))W(α(0))+λT(ε))-1WT(α(0))y;
步骤1-3,对于第c次迭代,c为大于等于0的整数,计算P(c),Q(c),其中
步骤1-4,根据得到
步骤1-5,更新估计值α(c+1)=α(c)+Δα(c)和z(c+1)=z(c)+Δz(c);
步骤1-6,对于第c+1次迭代,如果c+1的值大于规定迭代次数,则终止迭代,且超分辨率图像序列的最终解为z(c+1);否则,返回步骤1-3继续;
上述步骤中,W(α)为图像序列运动参数α的方程,J(z,α)为W(α)z和α的雅克比行列式,k=1,2,…,N,yk为低分辨率图像序列中第k帧图像,N为低分辨率图像序列的总帧数,λ为配准参数,T(ε)=L(ε)TL(ε)表示二次型zTz的系数,L(ε)表示T(ε)分解后的系数,Δα、Δz分别表示运动参数α、超分辨率图像z的运动变化,右上角T表示转置。
作为本发明的一种优选方案,步骤2所述对超分辨率图像序列进行标准化处理的公式为:
z′k(i,j)=[255/(Max-Min)](zk(i,j)-Min)
其中,z′k(i,j)、zk(i,j)分别表示标准化后、标准化前的超分辨率图像序列中第k帧图像的灰度值,Max=max(zk(i,j)),Min=min(zk(i,j)),(i,j)表示像素点,k=1,2,…,N,N为低分辨率图像序列的总帧数。
作为本发明的一种优选方案,步骤2所述确定期望的目标运动区域的具体过程包括如下步骤:
步骤2-1,设定阈值通过如下公式获得反映运动目标可能存在区域的图像Mk,
步骤2-2,将每帧图像Mk中灰度值为0的像素点去除,灰度值不为0的像素点保留,得到不规则区域Sl,l=1,2,…,L,L≤N,将不规则区域Sl所在图像Mk中能将Sl包含在内的最小外接矩形作为可能的目标运动区域MRl,L为所有可能的目标运动区域个数;
步骤2-3,若可能的目标运动区域MRl的长小于η倍标准化后初始模板的长或者可能的目标运动区域MRl的宽小于η倍标准化后初始模板的宽,则将满足上述条件的区域去除,0<η<1;
步骤2-4,以步骤2-3剩下区域中的第一个区域的中心为圆心,α||V||(α≥1)为半径画圆,将剩下区域中与该圆有交点或者包含在圆内的区域作为期望的目标运动区域;当没有期望的目标运动区域时,以剩下区域中的第二个区域的中心为圆心,增加α的值,以α||V||为半径画圆,再次判断有无期望的目标运动区域;以此类推,直到至少有一个期望的目标运动区域存在;
上述步骤中,z′k(i,j)表示标准化后的超分辨率图像序列中第k帧图像的灰度值,N为低分辨率图像序列的总帧数,Down、Up分别表示能将Sl包含在内的最小外接矩形垂直投影的下、上边界,Right、Left分别表示能将Sl包含在内的最小外接矩形垂直投影的右、左边界。
作为本发明的一种优选方案,所述步骤3的具体过程包括如下步骤:
步骤3-1,对任意一个期望的目标运动区域,利用如下方法进行模板更新:将在第d-1个区域中匹配到的目标区域记为Rd-1,并以第d-1个区域时的匹配位置为中心,以第d-1个区域的匹配模板Td-1的长宽在该区域对应的标准化后超分辨率图像上截取子图像SRd-1;根据目标匹配相关系数法分别计算Rd-1与T'd-1的相关系数最大值RT1,d和SRd-1与Td-1的相关系数RT2,d;
计算ΔRT2,d=RT2,d-1-RT2,d,当差值ΔRT2,d大于给定的阈值ΔR且RT2,d<0.95时,第d个区域的匹配模板为否则,第d个区域的匹配模板为Td-1;
其中,T'd-1的求取方法如下:设Rd-1为m1×n1的图像,Td-1为k1×l1的图像,取M1=max{m1,k1},N1=max{n1,l1},将Td-1扩展成M1×N1的图像Td'-1,扩展部分的灰度值设置为0;
步骤3-2,对任意一个期望的目标运动区域,利用对应的模板进行目标检测;
第一种情况,当前区域采用前一个区域的模板进行检测,预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标,停止搜索;若则在大于预设分辨率的分辨率下进行检测,如果检测到目标,则停止搜索;若则认为当前区域不存在目标;如果上述过程未检测到目标且各个分辨率下RT1,d的最大值大于等于则更新模板后重复上述搜索过程;
第二种情况,当前区域采用更新后的模板进行检测,预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标,停止搜索;若则在大于预设分辨率的分辨率下进行检测,如果检测到目标,则停止搜索;若则认为当前区域不存在目标;
如果上述两种情况均未检测到目标,则跳至下一个区域并重复上述两种情况,直至检测到目标。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明将分辨率较低的图像序列进行了超分辨率重建,大大改善了图像的质量,并利用变模板较好的解决了对图像序列中目标运动变形的检测问题和传统方法漏检测的局限,提高了目标跟踪的匹配准确率。
2、本发明相较于传统方法跟踪到大概25帧左右时固定模板不能适应目标的形变,以致目标丢失的问题,大大提高了对目标形变的适应性,到200帧时,目标的检测和跟踪依然很精确,并且跟踪的效率有很大的提高。
3、本发明目标定位准确、跟踪的鲁棒性很好。在图像灰度变化较大、目标变形时也可以很好地跟踪目标。
附图说明
图1是本发明基于超分辨率重建的目标跟踪方法的流程图。
图2是本发明实施例图像序列的其中一帧图像,其中,(a)为标准化前的图像,(b)为标准化后的图像。
图3是本发明方法中反映图2中运动目标可能存在区域的图像。
图4是本发明方法中反映图3在垂直方向和水平方向的灰度投影图,其中,(a)为垂直方向,(b)为水平方向。
图5是本发明实施例部分图像序列的截屏。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明提出了一种基于超分辨率增强和变模板匹配的图像序列目标检测与跟踪算法,此算法在对图像序列中目标进行跟踪之前,用一种非线性迭代的方法,增加了图像的超分辨率重建步骤,从而显著提升了图像的质量,也对后面的目标跟踪起到了积极的效果,试验表明,此算法目标跟踪匹配效果较好,有良好的应用前景。
如图1所示,为基于超分辨率图像重建的目标跟踪方法的流程图,其中利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建,包括以下步骤:
步骤1、根据通用算法求出运动参数初始解α(0);
令:z为超分辨率(Super Resolution,SR)目标图像的向量形式,即z为目标图像矩阵按行向量进行叠加后形成的向量,其中,yk(k=1,2,…,N)为图像序列中第k帧低分辨率(Low Resolution,LR)目标图像,N为图像序列中所有图像的总帧数,而其中,nk表示高斯噪声干扰,W(α)是关于图像变换运动参数α的方程,那么,可以得出下式:
y=W(α)z+n (1)
这里:
上面式子中,αk为第k帧LR图像的仿射运动参数,包括旋转运动参数θ,缩放参数s以及平移参数t,hck和hlk分别代表镜头和光线对第k帧LR图像所带来的影响,本发明假设Hk为已知,D为下采样因子,而Sk(αk)为以αk为运动参数的变换矩阵,sx、sy分别表示x、y轴的尺度变换,tx、ty分别表示x、y轴的平移。
对于上述公式(1),SR和LR图像的误差可以用下式表示:
这里:λ是一个配准参数,T(ε)=L(ε)TL(ε)是一个对称矩阵。
为了使得误差E(α,z)最小,令:于是有:
WT(α)W(α)z+λT(ε)z=WT(α)y (3)
易知,矩阵WT(α)W(α)+λT(ε)是可逆的,所以,由(3)式可解得:
z=(WT(α)W(α)+λT(ε))-1WT(α)y (4)
(2)式可写成如下形式:
令:Δα和Δz分别表示运动参数α和SR图像z的很小的运动变化,那么:
其中,
(7)式中,J(z,α)、J(Δz,α)分别是W(α)z和α、W(α)Δz和α的雅克比行列式,这样,(5)式的最小化问题就演变成如下问题:
令:那么有:
这样,为了求解(9)式的最小化问题,令:即可得方程:
只要解出式(10),我们就可以得出令E(α+Δα,z+Δz)最小的Δα和Δz了。这样就可以得到目标图像配准运动参数以及SR图像重建的迭代方程,如下:
步骤2、将α(0)带入(4)式中,有z(0)=(WT(α(0))W(α(0))+λT(ε))-1WT(α(0))y,根据此式求出SR图像初始解z(0);
步骤3、令c=0,算出W(α(0)),J(z(0),α(0)),y-W(α(0));
步骤4、对于第c次迭代,算出P(c),Q(c),其中:
步骤5、根据(10)式,得出Δα(c),Δz(c),如下:
步骤6、修正估计值,得出α(c+1),z(c+1):
α(c+1)=α(c)+Δα(c),z(c+1)=z(c)+Δz(c)
步骤7、计算W(α(c+1)),J(z(c+1),α(c+1)),y-W(α(c+1))
步骤8、令c=c+1,如果c的值大于迭代规定次数,则停止迭代,α的最终解αf为α(c+1),z的最终解zf为z(c+1),即:αf=α(c+1),zf=z(c+1),如果c的值小于等于迭代规定次数,则返回到步骤4继续运算。
对超分辨图像序列和初始模板进行标准化并确定期望的运动目标区域,包括以下步骤:
步骤1、为了实验的方便,可以先对上面得到的第k(k=1,2,…,N)帧的SR图像z(i,j)进行标准化处理,即将z(i,j)变为0-255级灰度值图像z′(i,j)(如图2的(a)、(b)所示),具体方法如下:
z′k(i,j)=[255/(Max-Min)](zk(i,j)-Min) (12)
其中,Max=max(zk(i,j)),Min=min(zk(i,j)),即Max和Min分别为zk(i,j)里面元素的最大最小值。初始模板标准化过程同上。
SR图像序列每帧图像中反映运动目标可能存在区域的图像Mk(如图3所示)可以如下获得:
其中,阈值Dm由试验确定,在本发明中,我们是根据下式来选取的:
步骤2、求出图像Mk后,在其基础上求取可能的目标运动区域MRl。可能的目标运动区域可以如下求取:
设M={(i,j)|i=1,2,…,m,j=1,2,…,n}为图像Mk的所有像素点集合,且所有图像Mk中存在L(L≤N)个区域Sl={(i,j)|Mk(i,j)≠0},l=1,2,…,d,如果Mk(q)≠0,存在p∈Sl使|p-q|<Dl,则p∈Sl。并将区域Sl的外接矩形MRl(矩形的长宽为水平和垂直方向)称为可能的目标运动区域,这里距离可以使用传统的欧式距离或者街坊距离等,Dl为预先设定的阈值。用上述方法可以在Mk中求出L个可能的目标运动区域,记为MR1,MR2,…,MRL。
当然,为了更准确的求取运动区域,根据目标的特殊性,还可以结合目标灰度投影的方法来求得可能的运动区域,具体做法为:将图3在x和y方向上分别进行投影映射,得到垂直投影和水平投影(如图4的(a)、(b)所示),根据投影曲线和目标结构特征确定目标的可能外接矩形,图4的(a)、(b)所标的虚线为一种可能的目标外接矩形。
当然,上面方法只是得到可能的运动区域,我们要进一步求取期望的目标运动区域。另外,极端情况下,当没有可能的目标运动区域即Mk中所有像素点的值均为0,则搜索标准化后的SR图像,以上一次匹配区域为中心扩展搜索区域,并用初始模板去匹配。如果检测到目标则停止;否则直到搜索完整个图像序列。
步骤3、去除过小的区域。如果区域MRl(0≤l≤L)的长宽中至少一个小于标准化后初始模板长宽的η(0<η<1)倍,则认为它不可能是目标的运动区域,首先去除。
步骤4、以前一次的匹配中心为圆心,以α||V||(α≥1)为半径画圆,则和圆有交点或者包含在圆内的区域MRl(0≤l≤L)作为期望的目标运动区域。调整α(α≥1)的值,直到至少有一个这样的区域存在。
步骤5、如果使用后面的变模板匹配算法在求取出的所有期望目标运动区域中没有检测到目标,则去除这些运算过的区域,然后增加α(α≥1)的值,返回步骤4;如果检测到目标,停止。否则,继续步骤5直到圆覆盖整个图像。
运动区域确定以后,在对目标的跟踪和检测过程中,初始模板的选择方法主要有两种:1)首先确定运动区域中是否有目标,这可以用当今比较常见的目标检测算法来检测,如:基于特征的目标检测方法、基于图像的目标检测方法等,这里就不再赘述了;如果在运动区域中检测出目标,就以此作为初始模板,在跟踪过程中根据运动分析获得的变模板的位置以及现状参数,更新模板。2)用灰度投影法确定运动区域中可能存在目标的外接矩形,然后从标准目标库中选取一幅标准目标作为初始模板,用初始模板对可能存在的外接矩形进行匹配,只要匹配结果小于初始设定的阈值,那么,就认为匹配成功,然后在跟踪过程中根据运动分析获得的变模板的位置以及现状参数,更新模板。两种算法各具优缺点,第一种方法在理想情况下跟踪的效果比较好,但是,由于对计算的需求比较大,因此实时性存在一定的问题,实际情况中容易出现跟踪目标丢失的问题,而第二种方法虽然一开始相对不容易跟踪到目标,但是一旦跟踪上,就不容易丢失,本发明采用的是第二种方法。
基于变模板匹配运动目标检测与跟踪方法,包含以下步骤:
步骤1、本发明使用上述方法获得期望的目标运动区域MRd和当前的模板Td,来更新模板,并作为下一帧和后续帧的匹配模板和基础。一种简单的更新方法是:如果在第d个区域时需要更新模板,设MRd(0≤d≤D1,D1≤L)为第d-1个区域中目标所在的运动区域,那么在d-1个区域中匹配到的目标区域记为Rd-1,则:
Td=Rd-1 (15)
如果不考虑其他运动物体的运动区域和目标的运动区域间的重叠或者粘连,上述方法能够使模板较好的跟踪目标的形变。但是实际系统常常要面临运动区域的重叠或是粘连的情况,故本发明将上述方法作一些改进:
步骤2、除了求取Rd-1外,还以第d-1个区域时的匹配位置为中心,以Td-1的长宽在第d-1个区域对应的标准化后SR图像上截取子图像SRd-1;然后根据目标匹配相关系数法分别计算Rd-1与T'd-1的相关系数的最大值RT1,d和SRd-1与Td-1的相关系数RT2,d。其中T'd-1如下求取:设Rd-1为m1×n1的图像,Td-1为k1×l1的图像,取M1=max{m1,k1},N1=max{n1,l1}将Td-1扩展成M1×N1的图像Td'-1,且图像的扩展部分的灰度值设置为0。则
为了避免模板更新过于频繁,计算前一次和当前匹配的相关系数的差值ΔRT2,d=RT2,d-1-RT2,d,只有当差值ΔRT2,d大于给定的阈值ΔR时,才更新模板。阈值ΔR是由实验得出的经验值,本发明选择ΔR=0.2且RT2,d<0.95时更新模板。
基于变模板匹配的方法用初始模板进行目标的匹配,如果在某分辨率a下的最大相关系数RT1,d大于或等于预先设定的此分辨率下的阈值则认为检测到匹配目标,停止搜索;如果则搜索较高分辨率下的区域;如果则认为此区域不存在运动目标,跳出此区域搜索下一个区域;如果从粗到精搜索完也没有匹配结果,且各个分辨率下RT1,d的最大值则更新模板后重新搜索,否则跳出此区域搜索下一个区域。如果搜索完所有期望的运动区域也没有检测到目标,则求取新的期望运动区域重新搜索。如果还是没有匹配成功则搜索当前原始图像,以上一次匹配区域为中心扩展搜索区域,并用原模板去匹配。如果检测到目标则停止;否则直到搜索完整个图像序列。
本发明对基于超分辨率重建和变模板匹配的目标检测与跟踪算法进行了仿真验证实验,具体如下:试验采用了40个图像序列,每个图像序列分别有1到3个目标,其中,大约10个图像序列中的目标在运动过程中明显变换了角度,同时与使用传统的方法比较:从试验数据上来看,使用传统算法,跟踪到大概25帧左右时固定模板已经不能适应目标的形变,以致目标丢失。采用新算法后,算法对目标形变的适应性大大提高,到200帧时,目标的检测和跟踪依然很精确,并且跟踪的效率有很大的提高。
结果说明:如图5所示为其中部分图像序列的截屏,都是352×624的灰度图像。分别为第23、105、70、180帧的跟踪情况。从试验结果可以看出,新方法目标定位准确、跟踪的鲁棒性很好。在图像灰度变化较大、目标变形时也可以很好地跟踪目标。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (3)
1.一种基于超分辨率重建的目标跟踪方法,其特征在于,包括如下步骤:
步骤1,利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建,得到超分辨率图像序列;
步骤2,对超分辨率图像序列以及初始模板进行标准化处理,并确定期望的目标运动区域;所述确定期望的目标运动区域的具体过程包括如下步骤:
步骤2-1,设定阈值通过如下公式获得反映运动目标可能存在区域的图像Mk,
步骤2-2,将每帧图像Mk中灰度值为0的像素点去除,灰度值不为0的像素点保留,得到不规则区域Sl,l=1,2,…,L,L≤N,将不规则区域Sl所在图像Mk中能将Sl包含在内的最小外接矩形作为可能的目标运动区域MRl,L为所有可能的目标运动区域个数;
步骤2-3,若可能的目标运动区域MRl的长小于η倍标准化后初始模板的长或者可能的目标运动区域MRl的宽小于η倍标准化后初始模板的宽,则将满足上述条件的区域去除,0<η<1;
步骤2-4,以步骤2-3剩下区域中的第一个区域的中心为圆心,α||V||(α≥1)为半径画圆,将剩下区域中与该圆有交点或者包含在圆内的区域作为期望的目标运动区域;当没有期望的目标运动区域时,以剩下区域中的第二个区域的中心为圆心,增加α的值,以α||V||为半径画圆,再次判断有无期望的目标运动区域;以此类推,直到至少有一个期望的目标运动区域存在;
上述步骤中,z′k(i,j)表示标准化后的超分辨率图像序列中第k帧图像的灰度值,N为低分辨率图像序列的总帧数,Down、Up分别表示能将Sl包含在内的最小外接矩形垂直投影的下、上边界,Right、Left分别表示能将Sl包含在内的最小外接矩形垂直投影的右、左边界;
步骤3,对期望的目标运动区域,利用变模板匹配方法对目标进行检测跟踪;具体过程包括如下步骤:
步骤3-1,对任意一个期望的目标运动区域,利用如下方法进行模板更新:将在第d-1个区域中匹配到的目标区域记为Rd-1,并以第d-1个区域时的匹配位置为中心,以第d-1个区域的匹配模板Td-1的长宽在该区域对应的标准化后超分辨率图像上截取子图像SRd-1;根据目标匹配相关系数法分别计算Rd-1与T′d-1的相关系数最大值RT1,d和SRd-1与Td-1的相关系数RT2,d;
计算ΔRT2,d=RT2,d-1-RT2,d,当差值ΔRT2,d大于给定的阈值ΔR且RT2,d<0.95时,第d个区域的匹配模板为否则,第d个区域的匹配模板为Td-1;
其中,T′d-1的求取方法如下:设Rd-1为m1×n1的图像,Td-1为k1×l1的图像,取M1=max{m1,k1},N1=max{n1,l1},将Td-1扩展成M1×N1的图像T′d-1,扩展部分的灰度值设置为0;
步骤3-2,对任意一个期望的目标运动区域,利用对应的模板进行目标检测;
第一种情况,当前区域采用前一个区域的模板进行检测,预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标,停止搜索;若则在大于预设分辨率的分辨率下进行检测,如果检测到目标,则停止搜索;若则认为当前区域不存在目标;如果上述过程未检测到目标且各个分辨率下RT1,d的最大值大于等于则更新模板后重复上述搜索过程;
第二种情况,当前区域采用更新后的模板进行检测,预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标,停止搜索;若则在大于预设分辨率的分辨率下进行检测,如果检测到目标,则停止搜索;若则认为当前区域不存在目标;
如果上述两种情况均未检测到目标,则跳至下一个区域并重复上述两种情况,直至检测到目标。
2.根据权利要求1所述基于超分辨率重建的目标跟踪方法,其特征在于,所述步骤1的具体过程包括如下步骤:
步骤1-1,计算低分辨率图像序列运动参数的初始解α(0);
步骤1-2,根据α(0)求得超分辨率图像序列的初始解z(0)以及W(α(0))、J(z(0),α(0))、y-W(α(0));其中,z(0)=(WT(α(0))W(α(0))+λT(ε))-1WT(α(0))y;
步骤1-3,对于第c次迭代,c为大于等于0的整数,计算P(c),Q(c),其中
步骤1-4,根据得到
步骤1-5,更新估计值α(c+1)=α(c)+Δα(c)和z(c+1)=z(c)+Δz(c);
步骤1-6,对于第c+1次迭代,如果c+1的值大于规定迭代次数,则终止迭代,且超分辨率图像序列的最终解为z(c+1);否则,返回步骤1-3继续;
上述步骤中,W(α)为图像序列运动参数α的方程,J(z,α)为W(α)z和α的雅克比行列式,k=1,2,…,N,yk为低分辨率图像序列中第k帧图像,N为低分辨率图像序列的总帧数,λ为配准参数,T(ε)=L(ε)TL(ε)表示二次型zTz的系数,L(ε)表示T(ε)分解后的系数,Δα、Δz分别表示运动参数α、超分辨率图像z的运动变化,右上角T表示转置。
3.根据权利要求1所述基于超分辨率重建的目标跟踪方法,其特征在于,步骤2所述对超分辨率图像序列进行标准化处理的公式为:
z′k(i,j)=[255/(Max-Min)](zk(i,j)-Min)
其中,z′k(i,j)、zk(i,j)分别表示标准化后、标准化前的超分辨率图像序列中第k帧图像的灰度值,Max=max(zk(i,j)),Min=min(zk(i,j)),(i,j)表示像素点,k=1,2,…,N,N为低分辨率图像序列的总帧数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610954223.0A CN106570886B (zh) | 2016-10-27 | 2016-10-27 | 一种基于超分辨率重建的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610954223.0A CN106570886B (zh) | 2016-10-27 | 2016-10-27 | 一种基于超分辨率重建的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106570886A CN106570886A (zh) | 2017-04-19 |
CN106570886B true CN106570886B (zh) | 2019-05-14 |
Family
ID=58535495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610954223.0A Expired - Fee Related CN106570886B (zh) | 2016-10-27 | 2016-10-27 | 一种基于超分辨率重建的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106570886B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10482632B2 (en) | 2017-04-28 | 2019-11-19 | Uih America, Inc. | System and method for image reconstruction |
CN108648143B (zh) * | 2018-04-17 | 2022-03-29 | 中国科学院光电技术研究所 | 一种利用序列图像的图像分辨率增强方法 |
US11399137B2 (en) * | 2018-08-10 | 2022-07-26 | Aurora Flight Sciences Corporation | Object-tracking system |
CN111784624B (zh) * | 2019-04-02 | 2024-05-24 | 北京沃东天骏信息技术有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
US11694374B2 (en) * | 2020-04-13 | 2023-07-04 | Delta Electronics, Inc. | Method for gating in tomographic imaging system |
CN112037252A (zh) * | 2020-08-04 | 2020-12-04 | 深圳技术大学 | 基于鹰眼视觉的目标跟踪方法及系统 |
CN113095135A (zh) * | 2021-03-09 | 2021-07-09 | 武汉理工大学 | 基于gan的超视距目标检测系统、方法、装置和介质 |
CN117726656B (zh) * | 2024-02-08 | 2024-06-04 | 开拓导航控制技术股份有限公司 | 基于超分辨率图像的目标跟踪方法、装置、系统和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279935A (zh) * | 2013-06-09 | 2013-09-04 | 河海大学 | 基于map算法的热红外遥感图像超分辨率重建方法及系统 |
CN105182678A (zh) * | 2015-07-10 | 2015-12-23 | 中国人民解放军装备学院 | 一种基于多通道相机观测空间目标的系统及方法 |
CN105550993A (zh) * | 2016-01-18 | 2016-05-04 | 中国空间技术研究院 | 基于多重变换域的超分辨率重建方法 |
US9373036B1 (en) * | 2015-01-16 | 2016-06-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collaborative distance metric learning for method and apparatus visual tracking |
CN105741252A (zh) * | 2015-11-17 | 2016-07-06 | 西安电子科技大学 | 基于稀疏表示与字典学习的视频图像分级重建方法 |
-
2016
- 2016-10-27 CN CN201610954223.0A patent/CN106570886B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279935A (zh) * | 2013-06-09 | 2013-09-04 | 河海大学 | 基于map算法的热红外遥感图像超分辨率重建方法及系统 |
US9373036B1 (en) * | 2015-01-16 | 2016-06-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collaborative distance metric learning for method and apparatus visual tracking |
CN105182678A (zh) * | 2015-07-10 | 2015-12-23 | 中国人民解放军装备学院 | 一种基于多通道相机观测空间目标的系统及方法 |
CN105741252A (zh) * | 2015-11-17 | 2016-07-06 | 西安电子科技大学 | 基于稀疏表示与字典学习的视频图像分级重建方法 |
CN105550993A (zh) * | 2016-01-18 | 2016-05-04 | 中国空间技术研究院 | 基于多重变换域的超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106570886A (zh) | 2017-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106570886B (zh) | 一种基于超分辨率重建的目标跟踪方法 | |
US9928405B2 (en) | System and method for detecting and tracking facial features in images | |
CA2448448C (en) | Object identification | |
US10147021B2 (en) | Automatic surveillance video matting using a shape prior | |
CN106991388B (zh) | 关键点定位方法 | |
US7522749B2 (en) | Simultaneous optical flow estimation and image segmentation | |
JP5159818B2 (ja) | 画像分割方法 | |
CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及系统 | |
CN106204592B (zh) | 一种基于局部灰度聚类特征的图像水平集分割方法 | |
CN109978882A (zh) | 一种基于多模态融合的医疗影像目标检测方法 | |
CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及系统 | |
US10249046B2 (en) | Method and apparatus for object tracking and segmentation via background tracking | |
US20140050392A1 (en) | Method and apparatus for detecting and tracking lips | |
CN104202603B (zh) | 一种应用于视频帧速率上转换的运动向量场生成方法 | |
CN101964112A (zh) | 自适应的基于先验形状的图像分割方法 | |
CN111127353B (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
CN109741258B (zh) | 基于重建的图像超分辨率方法 | |
CN111950599B (zh) | 一种动态环境下融合边缘信息的稠密视觉里程计方法 | |
CN113392726A (zh) | 室外监控场景下人头识别检测方法、系统、终端及介质 | |
Zhang et al. | Spatial-attraction-based Markov random field approach for classification of high spatial resolution multispectral imagery | |
Smiatacz | Normalization of face illumination using basic knowledge and information extracted from a single image | |
CN115035326B (zh) | 一种雷达图像与光学图像精确匹配方法 | |
CN116805389A (zh) | 一种基于解耦级联区域生成网络的开放世界目标检测方法 | |
CN112508168B (zh) | 基于预测框自动修正的边框回归神经网络构建方法 | |
CN114972821A (zh) | 一种图像匹配方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190514 |
|
CF01 | Termination of patent right due to non-payment of annual fee |