CN106875419A - 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 - Google Patents

Abstract

本发明公开了基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，包括如下步骤：采集获得视频数据；对连续帧图像进行目标跟踪，对于跟踪到目标的连续N帧图像中每一帧，分别计算目标区域的多维特征作为正常特征、每个特征的相对于均值的偏移量为正常偏移量；当第f帧图像中目标丢失时，在第f帧图像中截取基准图像，在第f+k帧图像中截取尺寸较大的待匹配图像，计算互相关系数矩阵；以互相关系数最大的位置为中心截取设定大小的区域，利用帧差法得到候选区域，提取候选区域的多维特征，若每个特征的偏移量与正常偏移量的偏差均在设定范围内，则以所述候选区域作为目标区域；否则k自增k，重复上述过程。该方法能够够避免传统方法中的错误检测。

Description

基于NCC匹配帧差的弱小动目标跟踪丢失重检方法

技术领域

本发明属于目标检测跟踪研究领域，具体为基于NCC匹配帧差的弱小动目标跟踪丢失重检方法。

背景技术

目标跟踪是将不同视频帧图像中的目标持续检测出来的过程，是计算机视觉研究中相当重要的内容。根据摄像机与运动目标之间的关系，可将目标检测分为静态背景下和动态背景下的目标检测。对于背景不动情况下对运动目标的检测方法主要有背景差分法、帧间差分法和光流法。而对于背景运动的目标检测，往往先通过全局运动补偿方法获得视频图像相邻帧之间的全局运动参数，并对当前图像与前一帧图像进行匹配，而后通过上述静态场景的方式进行目标检测与跟踪。

目标跟踪过程中，视频图像中出现的背景杂乱、光照明暗变化、部分或者全部遮挡、目标姿态改变、目标快速运动等情况都会导致目标连续跟踪的失败。如何在目标跟踪出现问题后，自动完成目标的重新检测，形成对运动目标的连续跟踪是目标跟踪问题的重点。

发明内容

有鉴于此，本发明提供了基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，能够避免由背景变化对弱小动目标直接帧差重检带来的错误检测，同时可保证跟踪的实时处理。

为了达到上述目的，本发明的技术方案为：基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，包括如下步骤：

S1：采集获得视频数据，视频数据由连续帧的图像组成。

S2：利用目标跟踪算法对连续帧图像进行目标跟踪，对于跟踪到目标的连续N帧图像，分别计算每一帧图像中跟踪到的目标区域的多维特征作为正常特征、并计算每个正常特征的相对于特征均值的偏移量作为正常偏移量；N的取值大于或者等于2。

S3：当跟踪过程中，第f帧图像出现目标丢失情况时，以第f帧图像跟踪目标框的中心坐标[x₀,y₀]为中心，截取获得大小为m×n的基准图像ROI1。

S4：设定帧间隔k，在第f+k帧图像里以目标中心坐标[x₁,y₁]为中心，截取获得大小为2m×2n的待匹配图像ROI2。

S5：将基准图像ROI1和待匹配图像ROI2的数据分别进行数据归一化处理，将基准图像ROI1左上角位置与待匹配图像ROI2的左上角位置对齐，计算两重叠区域的归一化互相关系数NCC，以单个像素为单位滑动基准图像ROI1，遍历整个待匹配图像ROI2，得到的所有的NCC组成互相关系数矩阵。

互相关系数矩阵中互相关系数最大的位置为[X,Y]。

S6：在待匹配图像ROI2中以[X,Y]为中心截取大小为m×n的ROI3区域，利用帧差法对基准图像ROI1与ROI3进行帧差，并将帧差结果阈值化得到为候选区域，提取候选区域的多维特征，每个特征对应与S2中计算得到的正常特征进行偏移量计算，若每个特征的偏移量与正常偏移量的偏差均在设定范围内，则以候选区域作为目标区域；否则k自增k，重复执行S4～S6，当k超出设定范围时，返回S2。

进一步地，多维特征包括长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性以及对称度；

长、宽和长宽比为区域的长、宽以及长宽比；

占空比为区域面积与其最小外接矩形面积的比值；

最小外接矩形的面积为区域的最小外接矩形面积；

空间扩展度为区域内所有的点到区域主轴的距离采用主轴长度归一化后的和值；

紧凑性为目标区域或者候选区域形状偏离圆形的程度；

对称度为以目标区域或者候选区域长轴为界，左右两部分的面积的对称度。

进一步地，S2中，对于跟踪到目标的连续N帧图像，计算多维特征，N为大于或者等于2的正整数；对于多维特征中的第i个特征的特征值，其正常偏移量为：

其中，N为累积计算的帧数，Feature(i)_jN帧图像中第j帧中第i个特征的特征值，Festure_V(i)为N帧图像中第i个特征的平均值。

进一步地，S5中互相关系数的计算方法为：

其中I¹(x,y)为ROI1，x、y为ROI1中像素坐标，p为ROI1中像素个数I²(Hx,Hy)为ROI20，Hx、Hy为ROI20中像素坐标；和σ¹和σ²，分别为区域ROI1和ROI20的灰度的均值和标准差。

进一步地，S6中若得到多个候选区域，则针对其中的第q个候选区域ROI3k，q为正整数，计算对应多维特征中特征偏移数量；

其中，num(Feature)为多维特征的特征数量，logical(*)为对*取逻辑运算结果，即当*成立时，logical结果为1，否则为0；i表示第i个特征，取值范围[1,num(Feature)]；Feature(i)_ROI3k表示第i个特征在第k个候选区域ROI3k中的特征值，q表示特征数据相对于正常偏移量的容忍度，取值范围是[-1,+∞)；

当sumF＝sum(Feature)时，第k个候选区域ROI3k为目标区域，若存在多个被判定为目标区域的候选区域，则取与目标区域的欧式距离最近的为目标区域。

有益效果：

1、本发明在弱小动目标跟踪丢失后，对跟踪丢失后的前后帧图像，利用计算简单、时间效率高的NCC算法对目标邻域局部区域进行匹配，避免了由背景变化对弱小动目标直接帧差重检带来的错误检测，同时可保证跟踪的实时处理。

2、本发明在跟踪目标是弱小动目标的前提下，对匹配后的目标周围局部区域与基准图像进行帧差，对候选区域基于多维特征(长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性、对称度、形状复杂度)，基于成功跟踪跟踪帧累积获得的特征值及偏移量进行比较筛选，实现对动目标的重新检测，减少了追踪过程中人为参与，更有效快捷的恢复对目标的追踪。

附图说明

图1为发明流程图；

图2(a)和(b)分别为需跟踪的目标和待处理的视频数据示例；

图3为跟踪目标丢失前的图像；

图4(a)和(b)分别为跟踪目标丢失后获取的局部匹配基准图像和待匹配局部图像，(c)为利用NCC匹配后基准图像在待匹配图像中的位置显示。

图5为帧差法重捕获的目标及目标外接矩形框的显示。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例1、基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，其流程如图1所示，包括如下步骤：

S1：采集获得视频数据，视频数据由连续帧的图像组成；本实施例中利用无人机自主拍摄，采集视频的图像尺寸为720×1280像素的彩色数据，无人机飞行高度为103米，视频帧频为100帧/秒。本实施例中为需跟踪的目标和待处理的视频数据如图2中(a)和(b)所示。

S2：利用目标跟踪算法对连续帧图像进行目标跟踪，对于跟踪到目标的连续多帧图像，分别计算每一帧图像中跟踪到的目标区域的多维特征作为正常特征、并计算每个正常特征的相对于特征均值的偏移量作为正常偏移量；

本实施例中，对于跟踪到目标的连续N帧图像，计算多维特征，N为大于或者等于2的正整数；对于多维特征中的第i个特征的特征值，其正常偏移量为：

其中，N为累积计算的帧数，Feature(i)_jN帧图像中第j帧中第i个特征的特征值，Festure_V(i)为N帧图像中第i个特征的平均值。

如图3所示为跟踪目标丢失前的图像。

S3：当跟踪过程中，第f帧图像出现目标丢失情况时，以第f帧图像跟踪目标框的中心坐标[x₀,y₀]为中心，截取获得大小为m×n的基准图像ROI1；本实施例中设定m×n为150×150。

S4：设定帧间隔k，在第f+k帧视频图像里以目标中心坐标[x₁,y₁]为中心，截取获得大小为2m×2n的待匹配图像ROI2；本实施例中的k取值为50。

S5：将基准图像ROI1和待匹配图像ROI2的数据分别进行数据归一化处理，将基准图像ROI1左上角位置与待匹配图像ROI2的左上角位置对齐，计算两重叠区域的归一化互相关系数NCC，以单个像素为单位滑动基准图像ROI1，遍历整个待匹配图像ROI2，得到的所有的NCC组成互相关系数矩阵；

互相关系数矩阵中互相关系数最大的位置为[X,Y]，则[X,Y]即为匹配得到的基准图像在待匹配图像中的位置。

如图4(a)和(b)分别为跟踪目标丢失后获取的局部匹配基准图像和待匹配局部图像，(c)为利用NCC匹配后基准图像在待匹配图像中的位置显示。

本实施例中，互相关系数NCC的计算方法为：

其中I¹(x,y)为ROI1，x、y为ROI1中像素坐标，p为ROI1中像素个数，I²(Hx,Hy)为ROI20，Hx、Hy为ROI20中像素坐标；和σ¹和σ²，分别为区域ROI1和ROI20的灰度均值和标准差。

S6：在待匹配图像中以[X,Y]为中心截取大小为m×n的ROI3区域，利用帧差法对基准图像ROI1与ROI3进行帧差，并将帧差结果阈值化得到为候选区域，提取候选区域的多维特征，每个特征对应与S2中计算得到的正常特征进行偏移量计算，若每个特征的偏移量与正常偏移量的偏差均在设定范围内，则以候选区域作为目标区域；否则k自增k，重复执行S4～S6，当k超出设定范围时，返回S2。本实施例中设定当k超过5k时就返回S2，即如果超过5次重检均没有检测到目标区域，则重新进行跟踪。最终结果如图5，图5为帧差法重捕获的目标及目标外接矩形框的显示。

S6中若得到多个候选区域，其中的第q个候选区域ROI3k，q为正整数，计算对应多维特征中特征偏移数量；

其中，num(Feature)为多维特征的特征数量，logical(*)为对*取逻辑运算结果，即当*成立时，logical结果为1，否则为0；i表示第i个特征，取值范围[1,num(Feature)]；Feature(i)_ROI3k表示第i个特征在第k个候选区域ROI3k中的特征值，q表示特征数据相对于正常偏移量的容忍度，取值范围是[-1,+∞)。

当sumF＝sum(Feature)时，第k个候选区域ROI3k为目标区域，若存在多个被判定为目标区域的候选区域，则取与目标区域的欧式距离最近的为目标区域。

实施例2，在如实施例1中描述的技术方案中，本实施例中所采用的多维特征包括长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性以及对称度。

长、宽和长宽比为目标区域或者候选区域的长、宽以及长宽比。

占空比为目标区域或者候选区域面积与其最小外接矩形面积的比值。

最小外接矩形的面积为目标区域或者候选区域的最小外接矩形面积。

空间扩展度为目标区域或者候选区域内所有的点到区域主轴的距离采用主轴长度归一化后的和值。

紧凑性为目标区域或者候选区域形状偏离圆形的程度。

对称度为以目标区域或者候选区域长轴为界，左右两部分的面积的对称度。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，其特征在于，包括如下步骤：

S1：采集获得视频数据，所述视频数据由连续帧的图像组成；

S2：利用目标跟踪算法对连续帧图像进行目标跟踪，对于跟踪到目标的连续N帧图像，分别计算每一帧图像中跟踪到的目标区域的多维特征作为正常特征、并计算每个正常特征的相对于特征均值的偏移量作为正常偏移量；N的取值大于或者等于2；

S3：当跟踪过程中，第f帧图像出现目标丢失情况时，以第f帧图像跟踪目标框的中心坐标[x₀,y₀]为中心，截取获得大小为m×n的基准图像ROI1；

S4：设定帧间隔k，在第f+k帧图像里以目标中心坐标[x₁,y₁]为中心，截取获得大小为2m×2n的待匹配图像ROI2；

S5：将基准图像ROI1和待匹配图像ROI2的数据分别进行数据归一化处理，将基准图像ROI1左上角位置与待匹配图像ROI2的左上角位置对齐，计算两重叠区域的归一化互相关系数NCC，以单个像素为单位滑动基准图像ROI1，遍历整个待匹配图像ROI2，得到的所有的NCC组成互相关系数矩阵；

互相关系数矩阵中互相关系数最大的位置为[X,Y]；

S6：在待匹配图像ROI2中以[X,Y]为中心截取大小为m×n的ROI3区域，利用帧差法对基准图像ROI1与ROI3进行帧差，并将帧差结果阈值化得到为候选区域，提取候选区域的多维特征，每个特征对应与所述S2中计算得到的正常特征进行偏移量计算，若每个特征的偏移量与正常偏移量的偏差均在设定范围内，则以所述候选区域作为目标区域；否则k自增k，重复执行S4～S6，当k超出设定范围时，返回S2。

2.如权利要求1所述的基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，其特征在于，所述多维特征包括长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性以及对称度；

所述长、宽和长宽比为区域的长、宽以及长宽比；

所述占空比为区域面积与其最小外接矩形面积的比值；

所述最小外接矩形的面积为区域的最小外接矩形面积；

所述空间扩展度为区域内所有的点到区域主轴的距离采用主轴长度归一化后的和值；

所述紧凑性为目标区域或者候选区域形状偏离圆形的程度；

所述对称度为以目标区域或者候选区域长轴为界，左右两部分的面积的对称度。

3.如权利要求1或者2所述的基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，其特征在于，所述S2中，对于跟踪到目标的连续N帧图像，计算多维特征，N为大于或者等于2的正整数；对于多维特征中的第i个特征的特征值，其正常偏移量为：

$Feature\_Offset\left(i\right)=\frac{\underset{j=1}{\overset{N}{\Σ}}(Feature{\left(i\right)}_j-Festure\_V(i\left)\right)}{N}$

其中，N为累积计算的帧数，Feature(i)_jN帧图像中第j帧中第i个特征的特征值，Festure_V(i)为N帧图像中第i个特征的平均值。

4.如权利要求3所述的基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，其特征在于，所述S5中互相关系数的计算方法为：

$NCC=\frac{1}{p}\underset{(Hx,Hy)\∈ROI20}{\underset{(x,y)\∈ROI1}{\Σ}}\frac{\left(I^1\right(x,y)-\stackrel{\‾}{I^1})\left(I^2\right(Hx,Hy)-\stackrel{\‾}{I^2})}{{\mathrm{\σ}}^1{\mathrm{\σ}}^2}$

其中I¹(x,y)为ROI1，x、y为ROI1中像素坐标，p为ROI1中像素个数I²(Hx,Hy)为ROI20，Hx、Hy为ROI20中像素坐标；和σ¹和σ²，分别为区域ROI1和ROI20的灰度的均值和标准差。

5.如权利要求3所述的基于NCC匹配帧差的弱小动目标跟踪丢失重检方法，其特征在于，所述S6中若得到多个候选区域，则针对其中的第q个候选区域ROI3k，q为正整数，计算对应多维特征中特征偏移数量；

$sumF=\underset{i=1}{\overset{num\left(Feature\right)}{\&Sigma;}}\log ical\left(\right|Feature{\left(i\right)}_{ROI3k}-Feature\_V\left(i\right)|<(1+q)Feature\_Offset(i\left)\right)$

其中，num(Feature)为所述多维特征的特征数量，logical(*)为对*取逻辑运算结果，即当*成立时，logical结果为1，否则为0；i表示第i个特征，取值范围[1,num(Feature)]；Feature(i)_ROI3k表示第i个特征在第k个候选区域ROI3k中的特征值，q表示特征数据相对于正常偏移量的容忍度，取值范围是[-1,+∞)；

当sumF＝sum(Feature)时，所述第k个候选区域ROI3k为目标区域，若存在多个被判定为目标区域的候选区域，则取与目标区域的欧式距离最近的为目标区域。