CN106296729A - 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统 - Google Patents

一种鲁棒的实时红外成像地面运动目标跟踪方法和系统 Download PDF

Info

Publication number
CN106296729A
CN106296729A CN201610603537.6A CN201610603537A CN106296729A CN 106296729 A CN106296729 A CN 106296729A CN 201610603537 A CN201610603537 A CN 201610603537A CN 106296729 A CN106296729 A CN 106296729A
Authority
CN
China
Prior art keywords
template
similarity
matching
matching template
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610603537.6A
Other languages
English (en)
Inventor
王岳环
王朝辉
张天序
郭轩
陈忠涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING HUATU INFORMATION TECHNOLOGY Co Ltd
Original Assignee
NANJING HUATU INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING HUATU INFORMATION TECHNOLOGY Co Ltd filed Critical NANJING HUATU INFORMATION TECHNOLOGY Co Ltd
Priority to CN201610603537.6A priority Critical patent/CN106296729A/zh
Publication of CN106296729A publication Critical patent/CN106296729A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种鲁棒的实时红外成像地面运动目标跟踪方法,属于计算机视觉领域。该方法包括目标模板自适应更新步骤:计算当前目标帧模板与匹配模板的灰度直方图的相似度,以相似度的大小判断是否更新匹配模板,缩放当前帧目标模板尺寸,分别计算其和匹配模板灰度直方图的卡方相似度,选取最大卡方相似度作为更新匹配模板的更新参数;目标位置估计步骤:根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标的位置,以此位置为中心,在搜索区域内进行模板匹配,以确定目标的位置。本发明还提供了一种鲁棒的实时红外成像地面运动目标的跟踪系统。本发明能有效解决因目标被遮挡、目标尺寸变化或目标先验信息未知造成的跟踪失败问题。

Description

一种鲁棒的实时红外成像地面运动目标跟踪方法和系统
技术领域
本发明属于计算机视觉技术领域,更具体地,涉及一种鲁棒的实时红外成像地面运动目标跟踪方法和系统。
背景技术
红外成像地面场景运动目标的跟踪在目标识别与跟踪、红外成像制导等军事和视频监控领域中应用十分广泛。
常见的运动目标跟踪算法大致可以分为两类,即“基于目标建模、定位”的跟踪方式和基于“滤波、数据关联”的跟踪方式。“基于目标建模、定位”的跟踪方式在对目标进行跟踪的过程中,对图像中目标的各种假设的位置进行评估,根据某个准测评估出目标的位置。此方法一般用于距离不远、目标非点状目标、图像帧间抖动较大的场合。基于“滤波、数据关联”的跟踪方式常常使用离散状态方程对运动目标的各种位置进行预测,所以描述目标运动状态的转移状态方程的建立对于实现跟踪过程的稳定、精确十分重要。此方法一般用于跟踪距离较远、运动呈现一定规律特性的目标。
在许多现实应用的情况下目标灰度与背景相差较小,目标轮廓较为模糊,目标的大小无法预估,目标有可能是面状目标、点状目标、线条状目标等,由于地面目标的复杂性和目标运动状态的不确定性,目标在运动的过程中可能出现遮挡、尺寸变化、形态变化等情况,采用传统的运动目标跟踪方法在这种情况下容易发生目标失跟的现象。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种鲁棒的实时红外成像地面运动目标跟踪方法,其目的在于计算当前目标帧模板与匹配模板的灰度直方图的相似度,以相似度的大小判断是否更新匹配模板,缩放当前帧目标模板尺寸,分别计算其和匹配模板灰度直方图的卡方相似度,选取最大卡方相似度更新匹配模板,在根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标的位置,以此位置为中心,在搜索区域内进行模板匹配,以确定目标的位置,由此解决目标被遮挡、目标尺寸变化或目标先验信息未知造成的跟踪失败问题的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种鲁棒的实时红外成像地面运动目标跟踪方法,该方法包括以下步骤:
(1)匹配模板自适应更新步骤:先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离,如巴氏距离在模板更新范围内,则计算当前帧目标模板和匹配模板灰度直方图卡方相似度,如卡方相似度大于模板更新阈值,则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度,选取最大卡方相似度为更新参数更新匹配模板;
(2)目标位置估计步骤:根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置,以此位置为搜索区域的中心位置;在搜索区域内移动匹配模板,计算不同区域的匹配模板和目标子图的相似度,相似度最大且大于匹配阈值的匹配模板位置为目标位置,如相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。
进一步的,所述匹配模板自适应更新步骤包含以下子步骤:
(11)分别计算当前帧目标模板与匹配模板的灰度直方图,将灰度直方图归一化之后计算它们的巴氏距离;
数字图像的直方图是离散函数
h(ri)=ni
其中ri是第i级灰度,ni是图像灰度级为ri的像素个数,一个归一化直方图由下式给出:
P ( r i ) = n i n ,
n为图像中的像素总数,P(ri)给出了灰度级为ri发生的概率估计值;
巴氏距离
λ = 1 - 1 N 2 H 1 ‾ H 2 ‾ Σ i H 1 ( i ) H 2 ( i ) ,
式中
H k ‾ = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 ,
其中,i是归一化直方图分段号,N表示归一化直方图中bin的数目,k表示图像的代号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
(12)判断巴氏距离λ是否在模板更新范围内,即λ2<λ<λ1是否成立,是则进行步骤(13),否则不更新匹配模板,根据实际经验,0<λ1<10<λ2<1,优选λ1=0.98、λ2=0.88;
(13)计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) ,
式中其中,i是归一化直方图分段号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
判断是否卡方相似度是否大于更新模板阈值,即ρ>λ3是否成立,根据实际经验0<λ3<1,优选λ3=0.46;是则更新匹配模板,否则不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told
其中,Tnew、Tcur、Told分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板;β为最大直方图相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度,根据实际经验0.5<a<1、1<b<1.5,优选a=0.9、b=1.1。
进一步的,所述目标位置估计步骤分为以下子步骤:
(21)根据当前帧目标位置和上一帧跟踪目标位置,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置;
(22)以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置,在搜索区域内移动匹配模板,计算目标子图与匹配模板的相似度,判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值th,根据实际经验0<th<1,优选th=0.88,是则以相似度取得最大值时的匹配模板位置为估计的目标位置,否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置,相似度计算公式:
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) 2 × e - D i s Dis m a x ,
其中i、j是目标子图左上角在被搜索区域上的坐标,T(m,n)表示匹配模板图像中第m行第n列的像素灰度值,Sij(m,n)表示目标子图中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离
D i s = | i - x ^ | + | y - y ^ | ,
式中分别是滤波器预估的目标子图位置的横纵坐标值,Dismax表示Dis的最大值。
按照本发明的另一方面,提供了一种鲁棒的实时红外成像地面运动目标跟踪系统,该系统包括以下模块:
匹配模板自适应更新模块:先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离,如巴氏距离在模板更新范围内,则计算当前帧目标模板和匹配模板灰度直方图卡方相似度,如卡方相似度大于模板更新阈值,则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度,选取最大卡方相似度为更新参数更新匹配模板;
目标位置估计模块:根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置,以此位置为搜索区域的中心位置;在搜索区域内移动匹配模板,计算不同区域的匹配模板和目标子图的相似度,相似度最大且大于匹配阈值的匹配模板位置为目标位置,如相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。
进一步的,所述匹配模板自适应更新模块包含以下子模块:
巴氏距离计算子模块,用于分别计算当前帧目标模板与匹配模板的灰度直方图,将灰度直方图归一化之后计算它们的巴氏距离;
数字图像的直方图是离散函数
h(ri)=ni
其中ri是第i级灰度,ni是图像灰度级为ri的像素个数,一个归一化直方图由下式给出:
P ( r i ) = n i n ,
n为图像中的像素总数,P(ri)给出了灰度级为ri发生的概率估计值;
巴氏距离
λ = - 1 N 2 H 1 ‾ H 2 ‾ Σ i H 1 ( i ) H 2 ( i ) ,
式中
H k ‾ = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 ,
其中,i是归一化直方图分段号,N表示归一化直方图中bin的数目,k表示图像的代号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
巴氏距离判断子模块,用于判断巴氏距离λ是否在模板更新范围内,即λ2<λ<λ1是否成立,是则进行步骤(13),否则不更新匹配模板,根据实际经验,0<λ1<1,0<λ2<1,优选λ1=0.98、λ2=0.88;
匹配模板更新子模块,用于计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) ,
式中其中,i是归一化直方图分段号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
判断是否卡方相似度是否大于更新模板阈值,即ρ>λ3是否成立,根据实际经验0<λ3<1,优选λ3=0.46;是则更新匹配模板,否则不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told
其中,Tnew、Tcur、Told分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板;β为最大直方图相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度,根据实际经验0.5<a<1、1<b<1.5,优选a=0.9、b=1.1。
进一步的,所述目标位置估计模块分为以下子模块:
卡尔曼滤波器预估子模块,用于根据当前帧目标位置和上一帧跟踪目标位置,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置;
相似度匹配目标位置子模块,用于以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置,在搜索区域内移动匹配模板,计算目标子图与匹配模板的相似度,判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值th,根据实际经验0<th<1,优选th=0.88,是则以相似度取得最大值时的匹配模板位置为估计的目标位置,否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置,相似度计算公式:
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) × e - D i s Dis m a x ,
其中i、j是目标子图左上角在被搜索区域上的坐标,T(m,n)表示匹配模板图像中第m行第n列的像素灰度值,Sij(m,n)表示目标子图中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离
D i s = | i - x ^ | + | y - y ^ | ,
式中分别是滤波器预估的目标子图位置的横纵坐标值,Dismax表示Dis的最大值。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下技术特征及有益效果:
(1)本发明提出的基于模板匹配与卡尔曼滤波的红外成像地面运动目标跟踪方法能够有效地解决红外图像中地面背景下运动目标跟踪过程中被遮挡而造成的跟踪失败问题;
(2)本发明提出的基于模板匹配与卡尔曼滤波的红外成像地面运动目标跟踪方法能够有效地解决红外图像中地面背景下运动目标跟踪过程中由于目标与成像器相对运动和姿态变化而造成目标尺寸大小变化时的跟踪失败问题
(3)本发明提出的基于模板匹配与卡尔曼滤波的红外成像地面运动目标跟踪方法能够有效地解决红外图像中地面背景下运动目标跟踪过程中由于目标距离、尺寸等先验信息未知造成的跟踪失败问题;
附图说明
图1是本发明的方法流程图;
图2是本发明的匹配模板自适应更新步骤流程图;
图3是本发明的目标位置估计步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1一种鲁棒的实时红外成像地面运动目标跟踪方法的流程图,其中包含以下步骤:
(1)匹配模板自适应更新步骤:先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离,如巴氏距离在模板更新范围内,则计算当前帧目标模板和匹配模板灰度直方图卡方相似度,如卡方相似度大于模板更新阈值,则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度,选取最大卡方相似度为更新参数更新匹配模板;
(2)目标位置估计步骤:根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置,以此位置为搜索区域的中心位置;在搜索区域内移动匹配模板,计算不同区域的匹配模板和目标子图的相似度,相似度最大且大于匹配阈值的匹配模板位置为目标位置,如相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。
如图2匹配模板自适应更新步骤包含以下子步骤:
(11)分别计算当前帧目标模板与匹配模板的灰度直方图,将灰度直方图归一化之后计算它们的巴氏距离;
数字图像的直方图是离散函数
h(ri)=ni
其中ri是第i级灰度,ni是图像灰度级为ri的像素个数,一个归一化直方图由下式给出:
P ( r i ) = n i n ,
n为图像中的像素总数,P(ri)给出了灰度级为ri发生的概率估计值;
巴氏距离
λ = 1 - 1 N 2 H 1 ‾ H 2 ‾ Σ i H 1 ( i ) H 2 ( i ) ,
式中
H k ‾ = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 ,
其中,i是归一化直方图分段号,N表示归一化直方图中bin的数目,k表示图像的代号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
(12)判断巴氏距离λ是否在模板更新范围内,即λ2<λ<λ1是否成立,是则进行步骤(13),否则不更新匹配模板,根据实际经验0<λ1<1,0<λ2<1,优选λ1=0.98、λ2=0.88;
(13)计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) ,
式中其中,i是归一化直方图分段号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
判断是否卡方相似度是否大于更新模板阈值,即ρ>λ3是否成立,其中λ3的范围是0<λ3<1,优选λ3=0.46;是则更新匹配模板,否则不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told
其中,Tnew、Tcur、Told分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板;β为最大直方图相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度,根据实际经验0.5<a<1、1<b<1.5,优选a=0.9、b=1.1。
如图3目标位置估计步骤分为以下子步骤:
(21)根据当前帧目标位置和上一帧跟踪目标位置,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置;
(22)以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置,在搜索区域内移动匹配模板,计算目标子图与匹配模板的相似度,判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值th,根据实际经验0<th<1,优选th=0.88;是则以相似度取得最大值时的匹配模板位置为估计的目标位置,否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置,相似度计算公式:
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) 2 × e - D i s Dis m a x ,
其中i、j是目标子图左上角在被搜索区域上的坐标,T(m,n)表示匹配模板图像中第m行第n列的像素灰度值,Sij(m,n)表示目标子图中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离
D i s = | i - x ^ | + | y - y ^ | ,
式中分别是滤波器预估的目标子图位置的横纵坐标值,Dismax表示Dis的最大值。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种鲁棒的实时红外成像地面运动目标跟踪方法,其特征在于,该方法包含以下步骤:
(1)匹配模板自适应更新步骤:先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离,若巴氏距离在模板更新范围内,则计算当前帧目标模板和匹配模板灰度直方图卡方相似度,若卡方相似度大于模板更新阈值,则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度,选取最大卡方相似度为更新参数更新匹配模板;
(2)目标位置估计步骤:根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置,以此位置为搜索区域的中心位置;在搜索区域内移动匹配模板,计算不同区域的匹配模板和目标子图的相似度,相似度最大且大于匹配阈值的匹配模板位置为目标位置,若相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。
2.根据权利要求1所述的一种鲁棒的红外成像地面运动目标跟踪方法,其特征在于,所述的匹配模板自适应更新步骤分为以下子步骤:
(11)分别计算当前帧目标模板与匹配模板的灰度直方图,将灰度直方图归一化之后计算它们的巴氏距离
λ = 1 - 1 N 2 H 1 ‾ H 2 ‾ Σ i H 1 ( i ) H 2 ( i ) ,
其中
H k ‾ = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 ,
其中,i是归一化直方图分段号,N表示归一化直方图中bin的数目,k表示图像的代号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
(12)判断巴氏距离λ是否在模板更新范围内,即λ2<λ<λ1是否成立,是则进行步骤(13),否则不更新匹配模板;
(13)计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) ,
式中其中,i是归一化直方图分段号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
判断是否卡方相似度是否大于模板更新阈值,即ρ>λ3是否成立,是则更新匹配模板,否则不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told
其中,Tnew、Tcur、Told分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板;β为最大直方图相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度。
3.根据权利要求1所述的一种鲁棒的红外成像地面运动目标跟踪方法,其特征在于,所述目标位置估计步骤分为以下子步骤:
(21)根据当前帧目标位置和上一帧跟踪目标位置,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置;
(22)以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置,在搜索区域内移动匹配模板,计算目标子图与匹配模板的相似度,判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值,是则以相似度取得最大值时的匹配模板位置为估计的目标位置,否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置,相似度计算公式:
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) 2 × e - D i s Dis m a x ,
其中i、j是目标子图左上角在被搜索区域上的坐标,T(m,n)表示匹配模板图像中第m行第n列的像素灰度值,Sij(m,n)表示目标子图中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离
D i s = | i - x ^ | + | y - y ^ | ,
式中分别是滤波器预估的目标子图位置的横纵坐标值,Dismax表示Dis的最大值。
4.一种鲁棒的实时红外成像地面运动目标跟踪系统,其特征在于,该系统包含以下模块:
匹配模板自适应更新模块:用于先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离,若巴氏距离在模板更新范围内,则计算当前帧目标模板和匹配模板灰度直方图卡方相似度,若卡方相似度大于模板更新阈值,则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度,选取最大卡方相似度为更新参数更新匹配模板;
目标位置估计模块:用于根据目标运动状态,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置,以此位置为搜索区域的中心位置;在搜索区域内移动匹配模板,计算不同区域的匹配模板和目标子图的相似度,相似度最大且大于匹配阈值的匹配模板位置为目标位置,若相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。
5.一种鲁棒的实时红外成像地面运动目标跟踪系统,其特征在于,所述匹配模板自适应更新模块包含以下子模块:
巴氏距离计算子模块,用于分别计算当前帧目标模板与匹配模板的灰度直方图,将灰度直方图归一化之后计算它们的巴氏距离
λ = 1 - 1 N 2 H 1 ‾ H 2 ‾ Σ i H 1 ( i ) H 2 ( i ) ,
其中
H k ‾ = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 ,
其中,i是归一化直方图分段号,N表示归一化直方图中bin的数目,k表示图像的代号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
巴氏距离判断子模块,用于判断巴氏距离λ是否在模板更新范围内,即λ2<λ<λ1是否成立,是则进行步骤(13),否则不更新匹配模板;
匹配模板更新子模块,用于计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) ,
式中其中,i是归一化直方图分段号,H1(i)、H2(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值;
判断是否卡方相似度是否大于模板更新阈值,即ρ>λ3是否成立,是则更新匹配模板,否则不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told
其中,Tnew、Tcur、Told分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板;β为最大直方图相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度。
6.一种鲁棒的实时红外成像地面运动目标跟踪系统,其特征在于,所述目标位置估计模块包含以下子模块:
卡尔曼滤波器预估子模块,用于根据当前帧目标位置和上一帧跟踪目标位置,采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置;
相似度匹配目标位置子模块,用于以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置,在搜索区域内移动匹配模板,计算目标子图与匹配模板的相似度,判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值,是则以相似度取得最大值时的匹配模板位置为估计的目标位置,否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置,相似度计算公式:
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) 2 × e - D i s Dis m a x ,
其中i、j是目标子图左上角在被搜索区域上的坐标,T(m,n)表示匹配模板图像中第m行第n列的像素灰度值,Sij(m,n)表示目标子图中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离
D i s = | i - x ^ | + | y - y ^ | ,
式中分别是滤波器预估的目标子图位置的横纵坐标值,Dismax表示Dis的最大值。
CN201610603537.6A 2016-07-27 2016-07-27 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统 Pending CN106296729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610603537.6A CN106296729A (zh) 2016-07-27 2016-07-27 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610603537.6A CN106296729A (zh) 2016-07-27 2016-07-27 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统

Publications (1)

Publication Number Publication Date
CN106296729A true CN106296729A (zh) 2017-01-04

Family

ID=57663090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610603537.6A Pending CN106296729A (zh) 2016-07-27 2016-07-27 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN106296729A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980477A (zh) * 2017-04-11 2017-07-25 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪系统及方法
CN107886522A (zh) * 2017-10-16 2018-04-06 武汉沃德自动化技术有限公司 尺度自适应的目标模型更新方法及装置
CN108303094A (zh) * 2018-01-31 2018-07-20 深圳市拓灵者科技有限公司 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法
CN109074657A (zh) * 2018-07-18 2018-12-21 深圳前海达闼云端智能科技有限公司 一种目标跟踪方法、装置、电子设备和可读存储介质
CN110059521A (zh) * 2018-01-18 2019-07-26 浙江宇视科技有限公司 目标跟踪方法及装置
CN114049771A (zh) * 2022-01-12 2022-02-15 华砺智行(武汉)科技有限公司 基于双模态的交通异常检测方法、系统和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
CN102646279A (zh) * 2012-02-29 2012-08-22 北京航空航天大学 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
CN102646279A (zh) * 2012-02-29 2012-08-22 北京航空航天大学 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIU TU-HUI: "An effective target tracking algorithm in infrared images video", 《WIRELESS COMMUNICATIONS NETWORKING AND MOBILE COMPUTING》 *
郭轩: "红外成像的地面目标检测跟踪方法研究", 《万方数据知识服务平台学位数据库》 *
阎倩倩: "基于红外视频图像的目标跟踪技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980477A (zh) * 2017-04-11 2017-07-25 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪系统及方法
CN106980477B (zh) * 2017-04-11 2018-01-02 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪系统及方法
CN107886522A (zh) * 2017-10-16 2018-04-06 武汉沃德自动化技术有限公司 尺度自适应的目标模型更新方法及装置
CN107886522B (zh) * 2017-10-16 2020-06-12 武汉沃德自动化技术有限公司 尺度自适应的目标模型更新方法及装置
CN110059521A (zh) * 2018-01-18 2019-07-26 浙江宇视科技有限公司 目标跟踪方法及装置
CN108303094A (zh) * 2018-01-31 2018-07-20 深圳市拓灵者科技有限公司 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法
CN109074657A (zh) * 2018-07-18 2018-12-21 深圳前海达闼云端智能科技有限公司 一种目标跟踪方法、装置、电子设备和可读存储介质
CN114049771A (zh) * 2022-01-12 2022-02-15 华砺智行(武汉)科技有限公司 基于双模态的交通异常检测方法、系统和存储介质

Similar Documents

Publication Publication Date Title
CN106296729A (zh) 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统
EP2858008B1 (en) Target detecting method and system
Shi et al. Fast and robust vanishing point detection for unstructured road following
CN107341820B (zh) 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
He et al. Vision-based UAV flight control and obstacle avoidance
US9911053B2 (en) Information processing apparatus, method for tracking object and program storage medium
JP4467838B2 (ja) 画像認識装置および画像認識方法
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
CN111783551B (zh) 基于贝叶斯卷积神经网络的对抗样本防御方法
CN104794733A (zh) 对象跟踪方法和装置
CN107689052A (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN106203423A (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
Nilsson et al. A fast algorithm for level set-like active contours
CN112446882A (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
He et al. Occlusion boundary detection using pseudo-depth
Zeng et al. Lookup: Vision-only real-time precise underground localisation for autonomous mining vehicles
Zhu et al. Tracking multiple objects through occlusion with online sampling and position estimation
Moreno-Garcia et al. Video sequence motion tracking by fuzzification techniques
CN107292910A (zh) 一种基于像素建模的移动相机下运动目标检测方法
Stumper et al. Offline object extraction from dynamic occupancy grid map sequences
US10818017B2 (en) Method and system for tracking a plurality of objects in a sequence of images
KR101982942B1 (ko) 객체 추적 방법 및 이를 수행하는 장치들
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
Bernuy et al. Adaptive and real-time unpaved road segmentation using color histograms and RANSAC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170104