CN106157329B - 一种自适应目标跟踪方法及装置 - Google Patents

一种自适应目标跟踪方法及装置 Download PDF

Info

Publication number
CN106157329B
CN106157329B CN201510188040.8A CN201510188040A CN106157329B CN 106157329 B CN106157329 B CN 106157329B CN 201510188040 A CN201510188040 A CN 201510188040A CN 106157329 B CN106157329 B CN 106157329B
Authority
CN
China
Prior art keywords
image
vertical
current frame
horizontal projection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510188040.8A
Other languages
English (en)
Other versions
CN106157329A (zh
Inventor
陈文杰
贾霞
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510188040.8A priority Critical patent/CN106157329B/zh
Priority to EP16782490.3A priority patent/EP3276574A4/en
Priority to US15/567,949 priority patent/US20180137641A1/en
Priority to PCT/CN2016/075670 priority patent/WO2016169342A1/zh
Publication of CN106157329A publication Critical patent/CN106157329A/zh
Application granted granted Critical
Publication of CN106157329B publication Critical patent/CN106157329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis

Abstract

本发明公开了一种自适应目标跟踪方法及装置,所述方法包括:对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图;利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线;根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度;根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪。本发明采用提高目标跟踪精度、降低计算复杂度、且适用于目标缩放场景。

Description

一种自适应目标跟踪方法及装置
技术领域
本发明涉及目标跟踪领域,特别涉及一种自适应目标跟踪方法及装置。
背景技术
视频目标跟踪系统中常用的滤波跟踪框架有卡尔曼滤波和粒子滤波。和卡尔曼滤波相比,粒子滤波的思想基于蒙特卡洛方法(Monte Carlo methods),它是利用粒子集来表示概率,可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布,是一种顺序重要性采样法。尽管算法中的概率分布只是真实分布的一种近似,但由于非参数化的特点,它摆脱了解决非线性滤波问题时随机量必须满足高斯分布的制约,能表达比高斯模型更广泛的分布,也对变量参数的非线性特性有更强的建模能力。因此,粒子滤波能够比较精确地表达基于观测量和控制量的后验概率分布。由于其在非线性、非高斯系统表现出来的优越性,决定了它的应用范围非常广泛。
块匹配特征在做匹配时精度非常高,但是由于其每次匹配都需要计算每个像素,导致其时间复杂度非常高,无法适用于实时系统。
传统的投影曲线特征由于也计算每个像素的像素值,所以在目标只发生平移的场景下可以得到与块匹配算法几乎一致的精度。但是该算法有两个方面主要问题,一是其在每次匹配之前要对每个像素值进行统计计算,得到新的投影曲线,故其计算复杂度与块匹配算法相当,即传统的投影曲线匹配算法在做目标匹配时虽然精度很高,但是其计算量非常大。二是该算法对目标的缩放非常敏感,在运动目标发生缩放的情况下跟踪精度会急剧下降,即传统的投影曲线匹配算法在做目标匹配时只能处理平移不能处理缩放的情况。
目前,有的目标跟踪算法在部分场景可以达到实时的效果,适用于跟踪目标较小的场景,但是在切换到另外一些场景,例如跟踪目标较大时,可能实时性能会有所下降,甚至无法做的实时处理。因此,一个好的实时目标跟踪算法应该能够自适应地改变参数,以适应各种不同的情况。
粒子滤波常用的匹配特征是基于颜色或者纹理的,以及两者的融合特征。但是使用这两种特征在目标附近的背景区域有相似颜色或者纹理时跟踪精度会大幅下降,甚至发生漂移。也就是说,视频目标跟踪系统中在粒子滤波框架下通常采用的跟踪特征为颜色或者纹理分布,但是当目标与周围环境在颜色和纹理的分布都比较相似时跟踪精度会变得很差。
发明内容
本发明的目的在于提供一种自适应目标跟踪方法及装置,能更好地解决上述目标跟踪时计算量大和实时性差等问题。
根据本发明的一个方面,提供了一种自适应目标跟踪方法,包括:
对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图;
利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线;
根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度;
根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪。
优选地,所述的对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图的步骤包括:
对于前一帧目标图像附近区域的垂直投影积分图中的任意一个像素,其像素值是与该像素位于同一列、且行数在该像素前面的所有像素值以及该像素的像素值之和;
对于前一帧目标图像附近区域的水平投影积分图中的任意一个像素,其像素值是与该像素位于同一行、且列数在该像素前面的所有像素值以及该像素的像素值之和。
优选地,还包括:
若不存在前一帧目标图像,则根据所述当前帧图像,计算当前帧目标图像的垂直和水平投影积分图;
利用所述当前帧目标图像的垂直和水平投影积分图,计算所述当前帧目标图像的垂直和水平投影曲线,以便后续利用所述当前帧目标图像的垂直和水平投影曲线进行相似度计算。
优选地,所述的利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线的步骤包括:
对于所述当前帧图像的垂直投影曲线,其纵坐标为所述垂直投影积分图中待匹配目标区域的最后一行的各个像素值与第一行的各个对应的像素值之差;
对于所述当前帧图像的水平投影曲线,其纵坐标为所述水平投影积分图中待匹配目标区域的最后一列的各个像素值与第一列的各个对应的像素值之差。
优选地,所述的根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度的步骤包括;
根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目;
根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度。
优选地,所述的根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目的步骤包括:
对实时处理帧图像的帧率进行统计;
将所述帧率与第一预设帧率和第二预设帧率进行比较;
若所述帧率小于第一预设帧率,则将降低分区数目;
若所述帧率大于第二预设帧率,则将增加分区数目;
其中,所述第一预设帧率小于第二预设帧率。
优选地,若实时处理的帧图像的帧数小于预设帧数,则不调节分区数目。
优选地,所述的根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度的步骤包括:
按照所述当前帧图像的垂直和水平投影曲线的分区数目,对所述当前帧图像的垂直和水平投影曲线进行分区处理;
按照分区处理结果,对当前帧图像与前一帧目标图像进行匹配处理,计算所述当前帧图像与前一帧目标图像的粒子相似度。
根据本发明的另一方面,提供了一种自适应目标跟踪装置,包括:
垂直和水平投影积分图计算模块,用于对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图;
垂直和水平投影曲线计算模块,用于利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线;
相似度计算模块,用于根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度;
粒子滤波目标跟踪模块,用于根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪。
优选地,所述相似度计算模块包括:
可伸缩曲线复杂度自适应计算模块,用于根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目;
可伸缩曲线特征匹配模块,用于根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度。
与现有技术相比较,本发明的有益效果在于:
本发明通过垂直和水平投影积分图大大提高了垂直和水平投影曲线的计算速度,为系统的实时性提供了保障。
附图说明
图1是本发明实施例提供的自适应目标跟踪方法原理框图;
图2是本发明实施例提供的自适应目标跟踪装置框图;
图3是本发明实施例提供的自适应目标跟踪流程图;
图4a是本发明实施例提供的该帧匹配成功的两个目标图像的HSV空间的H分量图像;
图4b是本发明实施例提供的该帧匹配成功的两个目标图像的HSV空间的S分量图像;
图4c是本发明实施例提供的该帧匹配成功的两个目标图像的HSV空间的V分量图像;
图5a是本发明实施例提供的两个目标图像的H分量图像的统计直方图;
图5b是本发明实施例提供的两个目标图像的S分量图像的统计直方图;
图5c是本发明实施例提供的两个目标图像的V分量图像的统计直方图;
图6a是本发明实施例提供的两个目标图像的垂直投影曲线;
图6b是本发明实施例提供的两个目标图像的垂直投影曲线的分区比例曲线;
图7a是本发明实施例提供的两个目标图像的水平投影曲线;
图7b是本发明实施例提供的两个目标图像的水平投影曲线的分区比例曲线。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明,应当理解,以下所说明的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1是本发明实施例提供的自适应目标跟踪方法原理框图,如图1所示,步骤包括:
步骤S101:对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图。
具体地说,对于通过摄像机或其他光学系统获取的视频图像,将视频序列按时间顺序转化成一帧一帧的图像,并做降噪等预处理,然后确定当前帧图像是否为第一帧图像。对于当前帧图像是第一帧图像的情况,当前帧图像不存在前一帧目标图像,直接根据所述当前帧图像(即第一帧图像)计算所述当前帧目标图像的垂直和水平投影积分图,后续利用所述当前帧目标图像的垂直和水平投影积分图,计算所述第一帧目标图像的垂直和水平投影曲线,以便利用所述第一帧目标图像的垂直和水平投影曲线计算后续第二帧图像与所述第一帧目标图像的相似度。对于当前帧图像不是第一帧图像的情况,当前帧图像存在前一帧目标图像,此时,确定其前一帧目标图像附近区域的垂直和水平投影积分图。其中,对于前一帧目标图像附近区域的垂直投影积分图中的任意一个像素,其像素值是其所在列的前面所有像素值之和;对于前一帧目标图像附近区域的水平投影积分图中的任意一个像素,其像素值是其所在行的前面所有像素值之和。
需要说明的是,对于第一帧目标图像,在系统检测过程中已经确定其位置和坐标,本发明主要是在第一帧确定出目标后,实现在后续帧中快速准确跟踪该目标,因此第一帧不属于本发明所述的目标跟踪的内容,在此不再赘述。
步骤S102:利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线。
具体地说,对于所述当前帧图像的垂直投影曲线,其纵坐标为所述垂直投影积分图中待匹配目标区域的最后一行的像素值与第一行的像素值之差;对于所述当前帧图像的水平投影曲线,其纵坐标为所述水平投影积分图中待匹配目标区域的最后一列的像素值与第一列的像素值之差。
步骤S103:根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度。
具体地说,根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目;根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度。
进一步地,对实时处理帧图像的帧率进行统计,并将统计得到的帧率与第一预设帧率和第二预设帧率进行比较,若所述帧率小于第一预设帧率,则将降低分区数目;若所述帧率大于第二预设帧率,则将增加分区数目;否则保持所述分区数目不变,其中,所述第一预设帧率小于第二预设帧率。
进一步地,若实时处理的帧图像的帧数小于预设帧数,例如10帧,则不调节分区数目。
进一步地,按照所述当前帧图像的垂直和水平投影曲线的分区数目,对所述当前帧图像的垂直和水平投影曲线进行分区处理;按照分区处理结果,对当前帧图像与前一帧目标图像进行匹配处理,计算所述当前帧图像与前一帧目标图像的粒子相似度。
步骤S104:根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪。
在计算相似度后,使用粒子滤波进行目标跟踪,并保存目标跟踪结果,即目标所在的坐标和图像。
图2是本发明实施例提供的自适应目标跟踪装置框图,如图2所示,包括垂直和水平投影积分图计算模块10、垂直和水平投影曲线计算模块20、相似度计算模块30、粒子滤波目标跟踪模块40。
1、垂直和水平投影积分图计算模块10
垂直和水平投影积分图计算模块10用于对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图。也就是说,垂直和水平投影积分图计算模块10主要为计算垂直和水平投影曲线做准备,可以将计算两个投影曲线的时间复杂度由O(2*m*n)降为O(m+n)),本发明所述的垂直和水平投影积分图不同于传统积分图概念,本发明中的垂直投影积分图的每个像素值表示的是与该像素位于同一列、且行数在该像素前面的所有像素值以及该像素的像素值之和。计算方式如下:
IntegralV(i,j)=IntegralV(i-1,j)+pixel(i,j) (1)
同理,水平投影积分图的每个像素值表示的是与该像素位于同一行、且列数在该像素前面的所有像素值以及该像素的像素值之和。计算方式如下:
IntegralH(i,j)=IntegralH(i,j-1)+pixel(i,j) (2)
计算公式(1)中的IntegralV为垂直投影积分图,计算公式(2)中的IntegralH为水平投影积分图,pixel为图像像素值,i为像素所在横坐标,j为像素所在纵坐标。
由计算公式(1)和(2)可知,计算一个图像的垂直和水平投影积分图只需遍历图像两次即可,且通常需要计算的图像不是整幅图像,而是跟踪目标在上一帧位置的附近进行局部计算。
若不存在前一帧目标图像,则根据所述当前帧图像,计算所述当前帧目标图像垂直和水平投影积分图。
2、垂直和水平投影曲线计算模块20
垂直和水平投影曲线计算模块20用于利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线。也就是说,垂直和水平投影曲线计算模块20主要是利用垂直和水平投影积分图,在不需要遍历图像的每一个像素的情况下计算出垂直和水平投影曲线。
垂直投影曲线的横坐标为图像像素所在的列数,纵坐标projV(j)为原图像中待匹配目标区域的该列像素值总和,即垂直投影积分图中待匹配目标区域的最后一行(例如第i1行第j列)的像素值与第一行的像素值(例如第i2行第j列)之差,计算方式如下:
projV(j)=IntegralV(i1,j)-IntegralV(i2,j) (3)
同理,水平投影曲线的横坐标为图像像素所在的行数,纵坐标projH(i)为原图像中待匹配目标区域的该行像素值总和,即水平投影积分图中待匹配目标区域的最后一列(例如第i行第j1列)的像素值与第一列((例如第i行第j2列))的像素值之差,计算方式如下:
projH(i)=IntegralH(i,j1)-IntegralH(i,j2) (4)
对于当前帧图像不存在前一帧目标图像的情况,利用所述当前帧目标图像的垂直和水平投影积分图,计算所述当前帧目标图像的垂直和水平投影曲线,以便后续利用所述当前帧目标图像的垂直和水平投影曲线进行相似度计算。
3、相似度计算模块30
相似度计算模块30用于根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度。其包括:可伸缩曲线复杂度自适应计算模块和可伸缩曲线特征匹配模块。
可伸缩曲线复杂度自适应计算模块用于根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目。也就是说,可伸缩曲线复杂度自适应计算模块主要根据系统实时处理帧率动态调节投影曲线分区的数目。
可伸缩曲线特征匹配模块用于根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度。也就是说,可伸缩曲线特征匹配模块主要是对两个图像的投影曲线进行相似度计算。
传统的投影曲线相似度计算方法是将两个曲线进行逐一差值计算,但是这种方法对于产生缩放的目标图像是不适用的。因此,本发明提出一种可抗缩放的投影曲线相似度计算方式,其基本思想是将曲线比较的过程看做类似离散函数积分计算的过程。根据实际情况将投影曲线分成相等的N份。计算出每个部分的纵坐标累计值占整个曲线纵坐标累计值的比例。若目标图像出现缩放,虽然其投影曲线的纵坐标数值会发生变化,但对应部分的比例是不会变的。该算法的精度与N的取值相关,当两个图像没有缩放且N取值为像素数时,此时算法退化为一般的投影曲线匹配算法,精度与其相当。N越小精度逐渐降低,故应在满足系统实时性的前提下尽量提高N的取值。相似度Similarity计算方式如下:
Figure GDA0003044855870000091
其中,公式(5)中的p1(n)和p2(n)分别表示两个目标图像的第n份投影曲线的累加值。
更具体地,相似度通过如下计算方式确定:
Figure GDA0003044855870000092
Figure GDA0003044855870000093
Figure GDA0003044855870000094
其中,pV(n)和pH(n)分别表示垂直投影曲线和水平投影曲线的第n个特征,即第n个可伸缩投影曲线特征,projV(n)和proj(H)在垂直和水平投影曲线计算模块有描述,由公式(8)可知相似度Similarity实际为垂直特征相似度和水平特征相似度之和。
粒子滤波目标跟踪模块40用于根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪。具体地说,粒子滤波目标跟踪模块40是在传统粒子滤波跟踪框架下使用前面所述的可伸缩投影曲线特征进行目标跟踪,即使用可伸缩投影曲线特征进行粒子滤波处理,确定跟踪目标。
所述自适应目标跟踪装置进一步包括:
图像采集模块主要负责图像的实时采集。
预处理模块负责对输入的图像进行一些降噪的操作。
本发明主要用于目标跟踪领域,其主要针对运动目标有平移和缩放的情况,能够大大降低了投影曲线计算复杂度,使得灰度投影曲线特征可以用在粒子滤波框架下进行实时跟踪,且改进的可伸缩投影曲线相似度计算方法可以应付目标缩放的情况。
图3是本发明实施例提供的自适应目标跟踪流程图,如图3所示,步骤包括:
步骤S201:利用图像采集模块进行图像采集。
步骤S202:利用预处理模块,对图像进行滤波,降低噪声影响。
步骤S203:判断当前帧图像是否为第一帧图像,如果是第一帧图像,则转步骤S204,否则转步骤S207。
步骤S204:计算目标图像(即第一帧目标图像)的垂直和水平投影积分图。
步骤S205:设定初始曲线分区数目n,初始可不考虑缩放,直接设置为目标图像的宽度以及高度,转步骤S206。
步骤S206:粒子滤波初始化,设置前一帧位置坐标(这里为初始位置坐标)、当前帧位置坐标(这里为初始位置坐标)、宽高、缩放比例等,转步骤S201。
步骤S207:按照前述垂直和水平投影积分图计算公式计算前一帧目标图像附近区域的垂直和水平投影积分图。
步骤S208:如果此时处理帧数小于10帧,则不调节曲线的分区数目,直接转步骤S209,否则统计最近10帧的帧率,帧率小于25则调低曲线分区数目,帧率大于30可调高曲线分区数目,转步骤S209。
步骤S209:粒子滤波重要性粒子采样。
步骤S210:根据可伸缩曲线特征匹配模块描述的可伸缩曲线的分区比例特征值计算粒子相似度。
步骤S211:粒子权值归一化。
步骤S212:根据权值大小进行粒子重采样。
步骤S213:粒子滤波对跟踪目标进行状态估计,转步骤S201。
粒子是在当前图像中可能是目标的一小块图像区域,为每个目标分配多个粒子,各个粒子分别计算粒子相似度,根据粒子相似度大小对应不同的权值大小,最后共同确定跟踪目标的最后位置。
本发明的自适应目标跟踪方法是基于可伸缩投影曲线特征和粒子滤波的实时的自适应目标跟踪方法,其在粒子滤波框架下采用可伸缩投影曲线特征进行匹配而不是传统的颜色或者纹理特征,可以处理目标附近有相似颜色或者纹理的情况。在计算投影曲线之前先计算出垂直和水平投影积分图,之后每次计算投影曲线则将时间复杂度由O(2*m*n)降为O(m+n),使得可以将其应用在实时系统。提出的自适应可伸缩曲线相似度计算公式能够对系统处理的实时性能进行及时评估,并即时改变相应参数以保证系统的整体实时性能。其计算过程借鉴了离散函数积分计算的思想,使得改进的投影曲线特征可以适用于有目标缩放的情况,大大扩展了该算法的应用场景。
利用按照前面所述的方法进行实际测试分析,所计算的投影曲线相似度分析图如图4a至图7b所示。对一个背景与目标有相似颜色和纹理的场景下,分别计算其颜色直方图特征和相应的投影曲线特征,分析其可能出现错误匹配的原因以及采用投影曲线特征的优势。图4a至图4c分别表示该帧匹配成功的两个目标图像的HSV空间的H、S、V分量图像H-img、S-img、V-img。图5a至图5c分别表示这三个分量的统计直方图,可以明显看出这两个图像的HSV色彩空间的三个分量统计直方图几乎完全一致,所以采用颜色特征来进行跟踪必定会出现错误匹配。图6a和图6b分别表示垂直投影曲线和垂直投影曲线的分区比例曲线。图6a和图6b分别表示水平投影曲线和水平投影曲线的分区比例曲线。从图中可以看出,两个图像的垂直投影曲线以及垂直投影曲线的分区比例曲线相似度还是比较高,这主要是因为该场景下待跟踪的广告牌的上方正好有一个与待跟踪广告牌一样的目标,该帧的匹配结果相当于正好将目标的下面一块垂直移动到了了目标的最上面。如果待跟踪广告牌上方没有这个和它一样的另外一个广告牌则不会出现这种情况。即使由于该场景的特殊性,垂直投影曲线特征无法反映出两个图像的区别,从第四行的两个图可以看出两个图像的水平投影曲线以及水平投影曲线的分区比例曲线则有很大的区别,可以区分出这两个目标,从而避免误匹配的发生。
综上所述,本发明具有以下技术效果:
1、本发明解决了传统粒子滤波框架使用颜色和纹理特征对跟踪目标附近有色彩和纹理与目标相近的情况下跟踪会发生漂移的问题,通过采用的可伸缩投影曲线特征和粒子滤波框架下通常所用的颜色和纹理特征相比,可以提高背景和目标和相似颜色或者纹理的情况下的跟踪精度。
2、本发明通过给出的垂直和水平投影积分图的计算方式,降低了粒子滤波跟踪框架中垂直和水平投影曲线的计算复杂度。
3、本发明通过可伸缩曲线相似度计算方式克服了传统投影曲线特征不能处理目标缩放的问题,使得投影曲线特征可以用在有目标缩放的场景下。
4、本发明结合系统实时性自适应调整可伸缩投影曲线的分区数N值可以在满足系统实时性的前提下最大化目标跟踪精度。
尽管上文对本发明进行了详细说明,但是本发明不限于此,本技术领域技术人员可以根据本发明的原理进行各种修改。因此,凡按照本发明原理所作的修改,都应当理解为落入本发明的保护范围。

Claims (9)

1.一种自适应目标跟踪方法,其特征在于,包括:
若存在前一帧目标图像,对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图;
利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线;
根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度;
根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪;
其中,所述的对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图的步骤包括:
对于前一帧目标图像附近区域的垂直投影积分图中的任意一个像素,其像素值是与该像素位于同一列、且行数在该像素前面的所有像素值以及该像素的像素值之和;
对于前一帧目标图像附近区域的水平投影积分图中的任意一个像素,其像素值是与该像素位于同一行、且列数在该像素前面的所有像素值以及该像素的像素值之和。
2.根据权利要求1所述的方法,其特征在于,还包括:
若不存在前一帧目标图像,则根据所述当前帧图像,计算当前帧目标图像的垂直和水平投影积分图;
利用所述当前帧目标图像的垂直和水平投影积分图,计算所述当前帧目标图像的垂直和水平投影曲线,以便后续利用所述当前帧目标图像的垂直和水平投影曲线进行相似度计算。
3.根据权利要求1所述的方法,其特征在于,所述的利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线的步骤包括:
对于所述当前帧图像的垂直投影曲线,其纵坐标为所述垂直投影积分图中待匹配目标区域的最后一行的各个像素值与第一行的各个对应的像素值之差;
对于所述当前帧图像的水平投影曲线,其纵坐标为所述水平投影积分图中待匹配目标区域的最后一列的各个像素值与第一列的各个对应的像素值之差。
4.根据权利要求1所述的方法,其特征在于,所述的根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度的步骤包括;
根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目;
根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度。
5.根据权利要求4所述的方法,其特征在于,所述的根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目的步骤包括:
对实时处理帧图像的帧率进行统计;
将所述帧率与第一预设帧率和第二预设帧率进行比较;
若所述帧率小于第一预设帧率,则将降低分区数目;
若所述帧率大于第二预设帧率,则将增加分区数目;
其中,所述第一预设帧率小于第二预设帧率。
6.根据权利要求5所述的方法,其特征在于,若实时处理的帧图像的帧数小于预设帧数,则不调节分区数目。
7.根据权利要求4所述的方法,其特征在于,所述的根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度的步骤包括:
按照所述当前帧图像的垂直和水平投影曲线的分区数目,对所述当前帧图像的垂直和水平投影曲线进行分区处理;
按照分区处理结果,对当前帧图像与前一帧目标图像进行匹配处理,计算所述当前帧图像与前一帧目标图像的粒子相似度。
8.一种自适应目标跟踪装置,其特征在于,包括:
垂直和水平投影积分图计算模块,用于对于采集到的当前帧图像,确定其前一帧目标图像附近区域的垂直和水平投影积分图;其中,对于前一帧目标图像附近区域的垂直投影积分图中的任意一个像素,其像素值是与该像素位于同一列、且行数在该像素前面的所有像素值以及该像素的像素值之和;对于前一帧目标图像附近区域的水平投影积分图中的任意一个像素,其像素值是与该像素位于同一行、且列数在该像素前面的所有像素值以及该像素的像素值之和;
垂直和水平投影曲线计算模块,用于利用所述前一帧目标图像附近区域的垂直和水平投影积分图,计算所述当前帧图像的垂直和水平投影曲线;
相似度计算模块,用于根据所述当前帧图像的垂直和水平投影曲线,计算所述当前帧图像与前一帧目标图像的相似度;
粒子滤波目标跟踪模块,用于根据所述相似度,进行所述当前帧图像是否为跟踪的目标图像的处理,以便进行视频目标跟踪。
9.根据权利要求8所述的装置,其特征在于,所述相似度计算模块包括:
可伸缩曲线复杂度自适应计算模块,用于根据实时处理帧图像的帧率,调整所述当前帧图像的垂直和水平投影曲线的分区数目;
可伸缩曲线特征匹配模块,用于根据所述当前帧图像的垂直和水平投影曲线及分区数目,计算所述当前帧图像与前一帧目标图像的相似度。
CN201510188040.8A 2015-04-20 2015-04-20 一种自适应目标跟踪方法及装置 Active CN106157329B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510188040.8A CN106157329B (zh) 2015-04-20 2015-04-20 一种自适应目标跟踪方法及装置
EP16782490.3A EP3276574A4 (en) 2015-04-20 2016-03-04 Target tracking method and device
US15/567,949 US20180137641A1 (en) 2015-04-20 2016-03-04 Target tracking method and device
PCT/CN2016/075670 WO2016169342A1 (zh) 2015-04-20 2016-03-04 一种目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510188040.8A CN106157329B (zh) 2015-04-20 2015-04-20 一种自适应目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN106157329A CN106157329A (zh) 2016-11-23
CN106157329B true CN106157329B (zh) 2021-08-17

Family

ID=57142824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510188040.8A Active CN106157329B (zh) 2015-04-20 2015-04-20 一种自适应目标跟踪方法及装置

Country Status (4)

Country Link
US (1) US20180137641A1 (zh)
EP (1) EP3276574A4 (zh)
CN (1) CN106157329B (zh)
WO (1) WO2016169342A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168007B (zh) * 2018-09-14 2021-11-23 恒信东方文化股份有限公司 一种标定焦点及其图像传输的方法
CN109543652B (zh) * 2018-12-06 2020-04-17 北京奥康达体育产业股份有限公司 一种智慧滑雪训练器及其训练结果显示方法、云服务器
CN110427815B (zh) * 2019-06-24 2020-07-10 特斯联(北京)科技有限公司 实现门禁有效内容截取的视频处理方法及装置
CN110689554B (zh) * 2019-09-25 2022-04-12 深圳大学 用于红外图像序列的背景运动估计方法、装置及存储介质
US11798828B2 (en) * 2020-09-04 2023-10-24 Kla Corporation Binning-enhanced defect detection method for three-dimensional wafer structures
CN112419287A (zh) * 2020-11-27 2021-02-26 杭州鲁尔物联科技有限公司 一种建筑挠度确定方法、装置及电子设备
CN113869422B (zh) * 2021-09-29 2022-07-12 北京易航远智科技有限公司 多相机目标匹配方法、系统、电子设备及可读存储介质
CN116309391B (zh) * 2023-02-20 2023-09-05 依未科技(北京)有限公司 图像处理方法及装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290681A (zh) * 2008-05-26 2008-10-22 华为技术有限公司 视频目标跟踪方法、装置及自动视频跟踪系统
WO2012117103A2 (en) * 2011-03-03 2012-09-07 Nhumi Technologies Ag System and method to index and query data from a 3d model
CN103620621A (zh) * 2011-06-30 2014-03-05 诺基亚公司 用于利用积分梯度投影的面部跟踪的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9805971A (pt) * 1997-02-06 1999-08-31 Koninkl Philips Electronics Nv Processo e sistema para segmentação e rastreamento de objetos
US6404900B1 (en) * 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
CN102750708B (zh) * 2012-05-11 2014-10-15 天津大学 基于快速鲁棒特征匹配的仿射运动目标跟踪算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290681A (zh) * 2008-05-26 2008-10-22 华为技术有限公司 视频目标跟踪方法、装置及自动视频跟踪系统
WO2012117103A2 (en) * 2011-03-03 2012-09-07 Nhumi Technologies Ag System and method to index and query data from a 3d model
CN103620621A (zh) * 2011-06-30 2014-03-05 诺基亚公司 用于利用积分梯度投影的面部跟踪的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Muninder Veldandi等.VIDEO STABILIZATION BY ESTIMATION OF SIMILARITY TRANSFORMATION FROM INTEGRAL PROJECTIONS.《IEEE》.2014,第785-789页. *
邵平等.广义行-列积分图及其在快速投影算法中的应用.《小型微型计算机系统》.2008,第29卷(第5期),第954-958页. *

Also Published As

Publication number Publication date
US20180137641A1 (en) 2018-05-17
CN106157329A (zh) 2016-11-23
WO2016169342A1 (zh) 2016-10-27
EP3276574A1 (en) 2018-01-31
EP3276574A4 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
CN106157329B (zh) 一种自适应目标跟踪方法及装置
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN106875415B (zh) 一种动态背景中弱小动目标的连续稳定跟踪方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN111161313B (zh) 一种视频流中的多目标追踪方法及装置
CN110728697A (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN111161172B (zh) 一种红外图像列向条纹消除方法、系统及计算机存储介质
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
CN102521840A (zh) 一种运动目标跟踪方法、系统及终端
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
CN102855465A (zh) 一种移动物体的跟踪方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
Chen et al. Real-time object tracking via CamShift-based robust framework
CN113808162A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN103578121A (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
Yang et al. Contrast limited adaptive histogram equalization for an advanced stereo visual slam system
Zhang et al. Monocular vision SLAM research for parking environment with low light
CN108401563B (zh) 基于多尺度均值滤波和显著性检测的红外小目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant