CN104851112B - 一种基于数据集补偿的运动目标检测跟踪算法的评估方法 - Google Patents

Abstract

本发明公开了一种基于数据集补偿的运动目标检测跟踪算法的评估方法，为数据集自动添加上述八种性能干扰因素的量化因子，可供用户在进行算法评估时方便的选择变化因素；根据具体被评估算法对特定的变化因素的敏感性强弱，可自定义各项变换因素权值大小，使得各数据集对应的综合量化因子真实体现算法应用环境，最终保证评估结果的客观性；最后，由于综合量化因子是对应数据集中影响算法性能的变化因素的综合量化体现，采用各数据集的综合量化因子对评估指标精度OverlapP进行成功判定的阈值进行加权补偿，能够在评估结果里表现不同影响因素的数据集对算法性能带来的不同影响，可以模拟算法在某些干扰条件下的结果，对算法的进一步改进方向提供一定指导作用。

Description

一种基于数据集补偿的运动目标检测跟踪算法的评估方法

技术领域

本发明涉及属于视频图像处理领域，尤其涉及一种基于数据集补偿的运动目标检测跟踪算法的评估方法。

背景技术

随着计算机视觉领域的深远发展，目标检测、跟踪算法层出不穷，自动目标跟踪系统在我们生活中的广泛应用也越来越多，而这也带来了多种多样的复杂的应用环境，导致目标成像形态各不相同，给计算机视觉算法对目标的检测、跟踪带来了困难。目标检测跟踪算法及其系统的评估工作是自动目标跟踪系统研制过程中最为基础的阶段。对算法的评估不仅能够对现有算法进行比较选择，更能够明确算法的进一步发展方向，促进算法的进一步发展。因此，一种综合的算法评估方法对运动目标跟踪领域十分必要。

目前的检测、跟踪算法评估方法一般依据人工标定目标位置的数据集来作为载体，对数据集的依赖性很强，但算法评估的结果中却往往不能从数字量上体现不同数据集中影响算法运行结果的变化因素(以下简称变化因素)给算法结果带来的性能影响，其中外部环境变化因素遮挡、光照、相似干扰、目标丢失和目标自身变化因素尺度变化、运动速度、刚体非刚体、小目标等是目前发现的主要对算法性能干扰作用强烈的变化因素。与此同时，由于人工标定数据需要大量工作量，这也对数据集的进一步扩充也制约了评估准确度的发展。

发明内容

有鉴于此，本发明提供了一种一种基于数据集补偿的运动目标检测跟踪算法的评估方法，能够对运动目标检测跟踪算法进行评估。

本发明的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，包括如下步骤：

步骤1、建立数据集库，具体为：

S1-1:获取运动目标在不同场景和/或不同环境因素下运动过程的视频数据集并存入数据集库，然后对各视频数据集中的运动目标的位置进行手动标定；

S1-2，依据手动标定结果，对各视频数据集的变化因素进行量化，得到各变化因素的量化因子；

S1-3，得到各视频数据集的综合量化因子，具体为：

a，从步骤1建立的数据集库中选择至少一个视频数据集，作为算法评估使用；

b，根据被测试算法所应用环境，选择影响应用环境的变化因素；

c，确定表征各变化因素对被评估算法影响大小的权值；

d,针对选择出来的任意视频数据集，根据S1-2的量化结果，确定选择出来的各变化因素的量化因子，再求变化因素的量化因子与对应权值的乘积的均值，即为各该视频数据集的综合量化因子；

步骤2、算法结果演示：

将选择的视频数据集输入到被评估算法中运行，得到运行结果及运行时间，并显示；

步骤3、对被测试算法的评估；

S3-1，分别对选择出来的各个视频数据集对应的综合量化因子进行归一化处理，其中，第m个视频数据集对应的综合量化因子的归一化值为： 为第m个视频数据集对应的综合量化因子，和分别表示所有视频数据集对应的综合量化因子的最小值和最大值；

S3-2，将各个视频数据集下的评估指标对应的阈值除以该视频数据集对应的综合量化因子的归一化值，得到该视频数据集下的评估指标对应的新阈值，基于该新阈值并结合目标位置的人工标定结果以及步骤2的运行结果，得到以下三个评估指标：P-R曲线、AUC值以及P均值-R曲线；

S3-3，根据步骤2的运行时间以及S3-2得到的评估指标对被评估算法进行评估。

较佳的，将视频数据集进行划分，得到多个视频数据子集，其中第i个视频数据子集的起始帧在视频数据集中的序号为上一视频数据子集的结束帧序号的1/2，结束帧的序号为上一视频数据子集的结束帧序号的2倍；当最后一个视频数据子集的帧数不足时，舍弃该视频数据子集，将之前的各视频数据子集作为评估算法的视频数据集使用。

较佳的，所述变化因素的量化因子包括：刚体因子、尺度变化因子、目标运动因子、光照变化因子、相似干扰因子、遮挡因子、目标丢失因子以及小目标因子。

较佳的，所述目标运动因子的获得方法为：

a)根据S1-1中的手工标定结果，对视频数据集的第i帧，计算运动目标的像素数l_i：

其中pxⁱ和pyⁱ分别表示第i帧中目标中心在图像坐标系中的x坐标和y坐标；

通过像素数的统计值l_i，得到目标运动速度影响因子θ^fast：

其中v_fast是确定目标运动速度是否过快的阈值，N为视频数据集的总帧数；

b)利用模糊数学的方法计算运动导致的目标模糊影响因子：

对当前帧图像与前一帧进行帧间差分运算，再对帧差图像进行Sobel算子检测，在得到的检测图像中，计算人工标定的目标所在区域内的局部极大值点：若像素点灰度值p(i,j)大于其3×3邻域内像素的灰度值，则此点为局部极大值点，遍历目标区域内所有像素点，将局部极大值点添加到局部极大值点集PE中；

然后判断点集PE中的点数量是否小于目标区域内像素点数的0.5‰：若小于，图像的模糊因子为0；若大于或等于，则继续进行下一步计算：

对PE中的各点，先计算其3×3邻域内的灰度方差D(i,j)及方差特征θ_D(i,j)：

θ_D(i,j)＝1∧[0∨(D(i,j)-D1)/(D2-D1)]

其中p(s,t)表示像素点(i,j)的3×3邻域内的像素点的灰度值，表示3×3邻域内的像素点的灰度均值；运算符∧和∨分别是取小和取大运算符；

其中D2>D1>0是方差阈值；

由方差特征计算局部极大值点集PE的模糊度，即目标模糊影响因子θ^blur：

其中K表示点集PE中局部极大值点的个数，F是一个可变参数，取值范围为[4,10]；。

将运动速度影响因子与目标模糊影响因子进行融合，得到目标运动因子：

σ＝θ^blurθ^fast。

较佳的，所述遮挡因子的获得方法为：

首先，将选取的视频数据集的各帧中的目标区域均分为4×4个子块；选取第0帧无遮挡图像的目标区域作为匹配标准，先计算第1帧无遮挡图像中各子块与第0帧中对应的子块之间特征点对数量，16个子块的特征点对数量形成一个16维向量T₁；

从第2帧开始，计算第i帧与第0帧的子块之间特征点对数量，由此形成第第i帧对应的16维向量T_i；

分别计算第i帧对应的16维向量T_i与16维向量T₁之间的巴氏距离

由各帧的巴氏距离得出遮挡因子：

其中 表示第2帧到最后一帧对应的巴氏距离中的最大值，δ为局部遮挡判断因子，为常数。

较佳的，所述尺度变化因子的计算方法为：针对选择的各个视频数据集，从第1帧开始，对每一帧计算目标尺度变化率，其中第i帧的尺度变化率为

其中S_i为第i帧的目标尺度值；

视频数据集的尺度变化因子由尺度变化量与尺度变化率加权融合获得：

表示当前视频数据集中尺度变化率的均值；S_max与S_min分别表示视频数据集所有帧中目标尺度的最大值与最小值。

较佳的，所述光照变化因子的计算方法为：

对一个帧数为N的数据集，从第1帧开始，计算第i帧的亮度直方图向量V_i与第i-1帧的亮度直方图向量V_i-1之间的巴氏距离 然后由巴氏距离计算最终光照变化因子：

其中， 表示亮度直方图向量V_i的向量元素均值，表示亮度直方图向量V_i-1的向量元素均值，N为视频数据集的总帧数，M表示亮度直方图向量V_i中元素个数。

较佳的，所述相似干扰因子的计算方法为：

首先将目标以外的环境区域按目标大小分为若干窗口，再采用半径为1的8邻域LBP算子计算目标LBP向量L₀和窗口LBP向量L_i，其中每个像素的LBP值为：

其中g_c表示当前像素灰度值，gⁱ表示邻域像素灰度值；

之后通过巴氏距离公式计算得出第i个窗口的向量L_i和目标LBP向量L₀的纹理特征相似性

对目标区域的窗口颜色直方图向量C₀和其他窗口颜色直方图向量C_i做巴氏距离计算得到颜色特征相似性最后将数据集中所有帧的相似性融合获得相似干扰因子：

其中N为总帧数。

较佳的，所述目标丢失因子的计算方法为：

其中，S_i表示第i帧中目标的尺度值，N是总帧数。

较佳的，所述小目标因子的计算方法为：

其中S_small为目标像素值个数阈值，S_i表示第i帧中目标的尺度值，(S_i)_min表示所有帧中目标的尺度最小值。

为了解决上述技术问题，本发明是这样实现的：

本发明具有如下有益效果：

(1)本发明首先建立数据集库，并把视频数据集按照一定的方式划分成多个子集，各个数据子集的起始帧数相交叉，具有充分的目标时空复杂度，每一个子数据集都可作为一个独立数据集使用，大大简化了数据集获取的工作量；同时还建立了数据集关于刚体非刚体、小目标、目标丢失、光照变化、目标遮挡、快速运动、尺度变化、相似干扰的性能影响因子的计算方案，为数据集自动添加上述八种性能干扰因素的量化因子，可供用户在进行算法评估时方便的选择变化因素；根据具体被评估算法对特定的变化因素的敏感性强弱，用户可自定义各项变换因素权值大小，使得各数据集对应的综合量化因子真实体现算法应用环境，最终保证评估结果的客观性；最后，由于综合量化因子是对应数据集中影响算法性能的变化因素的综合量化体现，采用各数据集的综合量化因子对评估指标精度OverlapP进行成功判定的阈值进行加权补偿，能够在评估结果里表现不同影响因素的数据集对算法性能带来的不同影响，可以模拟算法在某些干扰条件下的结果，对算法的进一步改进方向提供一定指导作用。

(2)本发明在计算运动因子时，采用求取人工标定目标的方法结合了局部极大值点表征边缘特性的特点和模糊数学在数字图像处理上的应用。模糊数学在计算图像模糊度时需要确定像素点的灰度特征和方差特征，并对其进行取小运算。而局部极大值本身是邻域范围内灰度的极值点，因此本身就能够表征灰度特征(为1)，不需要再对灰度特征进行处理，而且本方法只计算局部极大值点集PE中的点的方差特征，使得计算量大大降低，计算速度有明显的提高。

(3)本发明在计算遮挡因子的过程中，确定是否遮挡采用了匹配特征点对和分块相关性的方法，匹配特征点对的运算已经非常成熟，通过对各个子块匹配点对的数量进行相关计算，在保证计算速度的同时提高了判定的准确度。

附图说明

图1为本发明的评估方法的流程图；

图2为本发明计算目标运动因子中的模糊影响因子时选取的目标模糊程度不同的帧图像，其中图2(a)的模糊度取0.297，图2(b)的模糊度取0.432，图2(c)的模糊度取0.513；

图3为本发明计算遮挡因子时计算第i帧目标与第0帧目标匹配的SURF特征点对数的图像。

图4为本发明算法评估指标的基础设定。

图中：A表示算法输出的目标区域中也是真实数据中目标区域的部分。B表示算法输出的目标区域中不是真实数据中目标区域的部分。C表示算法输出的非目标区域中也不是真实数据中目标区域的部分。D则表示不是算法输出的目标区域里是真实数据中目标区域的部分。1＝A+B的矩形块表示的是算法输出的目标区域，2＝A+C的矩形块表示的是标定的真实数据中的目标区域。

图5为本发明实施例中P-R曲线结果演示图，图的名称显示了所选数据集的名称，右上角显示了所选算法名称及其AUC结果。

图6为本发明实施例中P均值-R曲线结果演示图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提出了一种基于数据集变化因素补偿的运动目标检测、跟踪算法的评估方法。本实施例在安装VS2010和OpenCV2.4.0的PC机上实现。如图1所示，具体包括以下步骤：

步骤1，数据集库的建立。

步骤1-1，数据集的获取与标定。

数据集的来源主要分为两大类，一是通过网络等渠道收集到的其他实验机构公开的公用数据集，二是自己通过拍摄、标定制作的新的数据集。第一类公用数据集收集起来方便快捷但对具体的特定环境针对性不强，第二类新数据集收集制作速度慢周期长但对实际环境的变化因子有很强的针对性。

本实施例中，充分考虑两类数据集来源和算法对数据集多样性的需求，将网络资源与自己制作的数据集相结合，涉及人类生活运动数据集、近距离人脸数据集、交通监控数据集、动物活动数据集、特种车辆运动数据集等多种多样的内容，并通过标定的形式对数据集的运动目标真实数据进行txt和xml格式存储。

但数据集的人工标定需要耗费大量时间精力，如果一个数据集只被使用一次大大降低了数据集库建立的效率。从目标检测跟踪算法基本功能来看，是对复杂时空变化目标的位置确定，据此，本发明对一个帧数较多的数据集进行时空拆分，就可以获得同样具有不同时空特性的多个数据子集，具体方法为：

a)确定最小帧数数据集的帧数为N₁，起始帧为第1帧，结束帧为第N₁帧。本实施例选取N₁＝100。

b)第i个数据子集的起始帧在视频数据集中的序号为上一数据子集结束帧序号N_i-1的1/2即为N_i-1/2，结束帧的序号为上一数据子集结束帧序号的2倍即为N_i-1，则其帧数为3N_i-1/2。

c)若第j个数据集的结束帧N_j大于原数据集帧数，则舍弃第j个数据集，一个原数据集最终被划分为j-1个子数据集，加上原数据集本身，一共有j个数据集。

通过划分步骤可以计算，一个帧数为N的数据集可以被划分为个数据集，在本实施例中，一个1700帧的数据集可以被划分为6个数据集，并且由于各个数据集的起始帧数相交叉，具有充分的目标时空复杂度，每一个子数据集都可作为一个独立数据集使用，大大简化了数据集获取的工作量。

步骤1-2，数据集变化因素的量化。

对于不同的变化因素可以通过对人工标定的结果通过不同方法进行计算得出其量化结果。

1)刚体因子：由目标是否刚体非刚体可以确定

2)尺度变化因子：尺度变化是由于目标自身尺度的变化带来的干扰，通过对人工标定目标的尺度计算可以获得尺度变化因子：

从第1帧开始，对每一帧计算目标尺度变化率：

其中S_i为第i帧的目标尺度值。

数据集的尺度变化因子由尺度变化量与尺度变化率加权融合获得：

S_max与S_min分别表示数据集所有帧中目标尺度的最大值与最小值。

3)目标运动因子：在检测跟踪算法中，如果目标运动过快可能会使得算法结果产生漂移，并且由于目标运动速度过快或者拍摄设备的移动，有可能在目标边缘出现运动模糊的现象，结合这两者目标运动引起的算法干扰，可以得到目标运动因子。

a)对一个帧数为N的数据集，从第1帧开始，对于第i帧，由人工标定目标位置计算每帧目标运动的像素数l_i：

其中pxⁱ表示第i帧中目标中心的x坐标，pyⁱ表示第i帧中目标中心的y坐标。

通过对每帧像素数的统计计算，可以得到目标运动速度影响因子：

其中v_fast是确定目标运动速度是否过快的阈值，本实施例中v_fast取值为20。

b)利用模糊数学的方法可以计算运动导致的目标模糊影响因子：

从第1帧开始，先对整幅图像与前一帧进行帧间差分运算，再对帧差图像进行Sobel算子检测，在得到的检测图像中，只关注人工标定的目标区域。

计算区域内的局部极大值点：若目标点灰度值p(i,j)大于其3×3邻域内一共8个邻域像素的灰度值，则此点为局部极大值点。最后建立局部极大值点集记为PE，若PE点集中的点数量少与目标像素点数的0.5‰时，图像没有模糊，模糊因子为0；若大于，则由于局部极大值点的特性，灰度特征在所有点集中最大，其模糊特性均体现在其邻域范围内灰度的方差特征当中，继续进行下一步计算。

对PE中的点，先计算其3×3邻域内的灰度方差及方差特征：

θ_D(i,j)＝1∧[0∨(D(i,j)-D1)/(D2-D1)]

其中p(s,t)表示像素点(i,j)的3×3邻域内的像素点的灰度值，表示这9个像素点灰度值的均值。运算符∧是取小运算符，表示将符号左右两边的值较小的那个赋给结果，而运算符∨是取大运算符，上述公式利用这两个运算符将结果限定在[0,1]。

其中D2>D1>0是方差阈值，当灰度范围为[0,255]时D1＝100，D2＝5000。

由方差特征可以计算局部极大值点集PE的模糊度：

其中K表示点集PE中局部极大值点的个数，F是一个可变参数，取值范围为[4,10]，只影响模糊影响因子的绝对值，对模糊程度的相对判断无影响。本实施例中，F取值为5。

由于局部极大值是由帧差图像检测而来，边缘信息主要集中在此，因此可以表征目标边缘的模糊度，因此θ^blur就是所求的目标模糊影响因子。图2中(a)的模糊影响因子为0.297，(b)的模糊影响因子为0.432，(c)的模糊影响因子为0.513，表明模糊因子与人的视觉感受一致。

采用上述方法求取人工标定目标的方法结合了局部极大值点表征边缘特性的特点和模糊数学在数字图像处理上的应用。模糊数学在计算图像模糊度时需要确定像素点的灰度特征和方差特征，并对其进行取小运算。而局部极大值本身是邻域范围内灰度的极值点，因此本身就能够表征灰度特征(为1)，不需要再对灰度特征进行处理，而且本方法只计算局部极大值点集PE中的点的方差特征，使得计算量大大降低，计算速度有明显的提高。

将运动速度影响因子与目标模糊影响因子进行融合就可以得到目标运动因子：

σ＝θ^blurθ^fast

4)光照变化因子：HSV颜色空间分别表示色相、饱和度和亮度，其中色相和饱和度对于光照变化都不敏感，因此选取人工标定目标的亮度直方图向量作为光照变化描述特征。

对一个帧数为N的数据集，从第1帧开始，计算第i帧的亮度直方图向量V_i与第i-1帧的亮度直方图向量V_i-1之间的巴氏距离 然后由巴氏距离计算最终光照变化因子：

其中， 表示亮度直方图向量V_i的向量元素均值，表示亮度直方图向量V_i-1的向量元素均值，N为视频数据集的总帧数，M表示亮度直方图向量V_i中元素个数。

5)相似干扰因子：相似干扰表示目标所处的环境中有与其外观相似的物体对目标检测、跟踪进行干扰，具体表现在颜色和纹理的相似性上，因此，将目标的颜色特征和纹理特征分别与图像的各个相同大小区域的特征进行相似性计算，最后通过加权融合，得到相似干扰因子。

对纹理特征的计算，首先将目标以外的环境区域按目标大小分为若干窗口，再采用半径为1的8邻域LBP算子计算目标LBP向量L₀和窗口LBP向量L_i，其中每个像素的LBP值为：

其中g_c表示当前像素灰度值，gⁱ表示邻域像素灰度值。

之后通过巴氏距离公式计算得出第i个窗口的向量L_i和目标LBP向量L₀的纹理特征相似性

颜色特征计算时，对每个窗口采用256bin的HSV颜色直方图向量，其中色度H占16bin，饱和度S占4bin，亮度V占4bin。对目标区域和其他窗口颜色直方图向量C₀、C_i也同样做巴氏距离计算得到颜色特征相似性最后将数据集中所有帧的相似性融合获得相似干扰因子：

其中N为帧数。

6)遮挡因子：如果一个目标被其他物体遮挡，则其匹配特征点数量将急剧变化。利用这个特点，本发明计算人工标定目标的SURF特征点后采用Brute-Force算法进行特征点匹配，并记录匹配特征点数量。

首先，将选取的视频数据集的各帧中的目标区域均分为4×4个子块；选取第0帧无遮挡图像的目标区域作为匹配标准，先计算第1帧无遮挡图像中各子块与第0帧中对应的子块之间特征点对数量，16个子块的特征点对数量形成一个16维向量T₁；

从第2帧开始，计算第i帧与第0帧的子块之间特征点对数量，由此形成第第i帧对应的16维向量T_i；图4中可以明显看出遮挡使得特征点对的数量在某些字块中急剧下降甚至消失。

分别计算第i帧对应的16维向量T_i与16维向量T₁之间的巴氏距离

由各帧的巴氏距离得出遮挡因子：

其中 表示第2帧到最后一帧对应的巴氏距离中的最大值，δ为局部遮挡判断因子，是一个阈值常数。本实施例中δ＝0.5。

本方法确定是否遮挡采用了匹配特征点对和分块相关性的方法，匹配特征点对的运算已经非常成熟，通过对各个子块匹配点对的数量进行相关计算，在保证计算速度的同时提高了判定的准确度。

7)目标丢失因子：当人工标定的结果显示目标不再观测范围内表明目标丢失：

其中，S_i表示第i帧中目标的尺度值(即面积大小),N是总帧数；

8)小目标因子：当目标像素值过少时，许多算法所用的特征不能够获得丰富的目标信息，对算法性能影响很大：

其中S_small为目标像素值个数阈值。本实施例中，S_small取400，即像素值小于400的目标将得到非0的因子。

步骤2，算法结果演示。

步骤2-1，数据集选取及综合量化因子计算。

根据实际需求从数据集库中选择用于测试被评估算法的数据集，使用步骤1-2的方法可以得到每个选择出来的数据集中所有变化因素的量化影响因子，但对于具体的被评估算法来看，其适用环境和解决的问题都不可能包含所有变化因素，比如对于一个着重于解决目标遮挡的运动目标跟踪算法，它的应用场景被定义为目标遮挡情况较多的应用场景，这时数据集的变化因素中遮挡因子最能体现算法在遮挡环境中的性能变化，为其设定一个较大权值，可以更好体现算法对遮挡因子的敏感程度。

本发明可以选择至少一个变化因素，并自定义不同变化因素的权值α_i，模拟算法运行的现实环境。将所选数据集中的被选变化因素进行加权归一化最终计算得到数据集的自定义的综合量化因子：

在本实施例中，将每个数据集的变化因素综合量化因子取为已选的变化因素量化指标的均值即所有α_n都为1则：

计算完毕后将这些数据集的加权综合量化因子显示给用户。

步骤2-2待测算法选择

选择待测算法和其他几种算法样本作为样本进行测试。待测算法的移植采用应用程序调用和dll库功能调用两种方式实现，实现对有可用代码算法和无可用代码算法的移植，以最大程度得集成多种类别的算法。

步骤2-3，算法运行和演示对比。

本实施例中，采用调用完整算法程序的方式，将选定算法作用于选定数据集，并将算法运行结果与运动目标真实数据同时演示并进行对比，以直观的方式显示算法效果。并且，通过对不同选定算法结果的观察，可以从人的感官角度对不同算法性能好坏作一个粗略评价，最后与量化的结果相互印证，对提高评估结果的可靠性有很大作用。所有选定算法全部运行结束后，将所有算法的运行时间进行排序显示，对算法进行实时性对比。

步骤3，算法评估。

步骤3-1，确定基础量化评估指标：

本实施例采用的检测跟踪算法指标主要是P-R曲线及其AUC(Area Under theCurve)值、P均值-R曲线，如图2所示，它们在算法输出与真实数据重合度的基础上制定的指标。

a)P-R曲线及其AUC

P-R曲线是指以空间信噪比R(每一帧中，算法输出的结果中是目标的正确部分所占的比例)的0～1的各个阈值为横坐标，以精度成功率P(在本实施例中精度满足要求的阈值取50％，即每一帧中精度OverlapP＞50％则为成功，否则为失败，累计的成功帧数P⁺与帧数N的比值即为精度成功率P)为纵坐标得到的一幅二维曲线，曲线可以表现空间信噪比R的阈值变化时精度成功率P的数值变化，对算法在各个空间信噪比阈值要求的条件下的性能可以做出全面综合描述。

要画出P-R曲线，首先要计算出数据集每一帧中目标跟踪的精度OverlapP和空间信噪比R，然后通过对精度值在特定空间信噪比阈值条件下的统计得出精度成功率P：

P＝P⁺/N

其中N为视频数据集的帧数，P⁺是OverlapP＞阈值的帧数。

有时候，P-R曲线这种二维描述的方式不够直接，还需要一个数值指标来对算法整体性能做一个表述，这时就会用到曲线下围成的面积AUC。AUC值可以定量地评价一个算法在所有阈值情况下的平均性能。

b)P均值-R曲线

前面所述的P-R曲线在统计时只要满足阈值要求就判断满足要求将其作为成功检测/跟踪的帧并记录为成功，但实际上每一帧中实测的重合度、精度重合值在阈值以上的具体数值都能体现算法性能的好坏。例如在本实施例中，有一个100帧的视频数据集，他在算法1下100帧都能达到55％，在50％阈值以上，而算法2的结果中有20帧不能达到50％，但其他的80帧能够达到80％，远超阈值，在不同的需求情形下这两种算法的结果各有优劣，这时为了综合体现阈值变化带给精度的影响，引入一个新的可以衡量平均实测值的指标作为综合性能参考十分必要。

因此根据前面的P-R曲线相关参数，引入：

本实施例中阈值取50％，则称为50％阈值下的均精度。以和R分别为纵轴和横轴也能得到一个类P-R曲线，称其为P均值-R曲线。空间信噪比阈值取值为纵轴最高点的横坐标时，可以得到最大的均精度代表此时真实目标在算法结果的目标范围内的占比最大。

步骤3-2，综合量化因子加权：

经过步骤1-3之后，每个数据集都由自己的量化因子表得到一个综合量化因子，因此综合量化因子是对应数据集中影响算法性能的变化因素的综合量化体现，为了在评估结果中将不同数据集对算法性能的影响进行量化体现，采用综合量化因子对步骤3-1中评估指标精度OverlapP进行成功判定的阈值进行加权补偿的方式。

将所有选定运行数据集的综合量化因子作为一个整体考虑，先要对每个数据集的综合量化因子进行加权归一化。

为了加权归一化后可以直接对阈值进行加权补偿，需要将加权归一化后的值约束到1附近，本实施例中，对第m个数据集的综合量化因子：

μ_m即为归一化后的各个量化值，取值范围是[0.8-1.2]，值越接近1.2表示对应数据集中的变化因素对算法性能影响越大，越接近0.8影响越小。

最后用归一化后的μ_m对步骤3-1中的精度成功率的阈值进行权值加成。在本实施例中，原阈值为50％，则对第m个数据集新阈值为：

η_m＝η_50％/μ_m

每个数据集在新阈值η_m下再次进行步骤3-1的评估指标计算，最终可以得到加权补偿后的评估结果。

步骤3-3，评估结果显示与对比。

本发明中采用的评估结果既包含了曲线类的二维表述，也包含了直观的量化数字。二维曲线描述可以全面表征算法性能在不同变化条件下的表现情况，而直观量化数字则表征了在评估体系设定下算法性能的综合分数，两者互相印证，更具有准确性和全面性。因此，需要对两种表达方式的评估结果进行图文同步显示。

如图3所示，由于Matlab对二维曲线的绘制简单，显示规范，本实施例中采用Matlab的MCC编译器将MATLAB数学库、图形库和界面的MATLAB程序转化为独立于MATLAB的EXE应用程序和DLL动态连接库，在VC++中编写程序界面并加载调用动态连接库，实现与VC++的混编并对评估结果进行显示，图中的1,2部分显示了两个曲线图，3显示了本实施例运行数据集的名称，而4则是P-R曲线的AUC值，图文结合，生动直观。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，包括如下步骤：

步骤1、建立数据集库，具体为：

S1-1:获取运动目标在不同场景和/或不同环境因素下运动过程的视频数据集并存入数据集库，然后对各视频数据集中的运动目标的位置进行手动标定；

S1-2，依据手动标定结果，对各视频数据集的变化因素进行量化，得到各变化因素的量化因子；

S1-3，得到各视频数据集的综合量化因子，具体为：

a，从步骤1建立的数据集库中选择至少一个视频数据集，作为算法评估使用；

b，根据被测试算法所应用环境，选择影响应用环境的变化因素；

c，确定表征各变化因素对被评估算法影响大小的权值；

d,针对选择出来的任意视频数据集，根据S1-2的量化结果，确定选择出来的各变化因素的量化因子，再求变化因素的量化因子与对应权值的乘积的均值，即为各该视频数据集的综合量化因子；

步骤2、算法结果演示：

将选择的视频数据集输入到被评估算法中运行，得到运行结果及运行时间，并显示；

步骤3、对被测试算法的评估：

S3-1，分别对选择出来的各个视频数据集对应的综合量化因子进行归一化处理，其中，第m个视频数据集对应的综合量化因子的归一化值为： 为第m个视频数据集对应的综合量化因子，和分别表示所有视频数据集对应的综合量化因子的最小值和最大值；

S3-2，将各个视频数据集下的评估指标对应的阈值除以该视频数据集对应的综合量化因子的归一化值，得到该视频数据集下的评估指标对应的新阈值，基于该新阈值并结合目标位置的人工标定结果以及步骤2的运行结果，得到以下三个评估指标：精度成功率P-空间信噪比R阈值曲线、AUC值以及精度成功率P均值-空间信噪比R阈值曲线；

S3-3，根据步骤2的运行时间以及S3-2得到的评估指标对被评估算法进行评估。

2.如权利要求1所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，将视频数据集进行划分，得到多个视频数据子集，其中第i个视频数据子集的起始帧在视频数据集中的序号为上一视频数据子集的结束帧序号的1/2，结束帧的序号为上一视频数据子集的结束帧序号的2倍；当最后一个视频数据子集的帧数不足时，舍弃该视频数据子集，将之前的各视频数据子集作为评估算法的视频数据集使用。

3.如权利要求1所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述变化因素的量化因子包括：刚体因子、尺度变化因子、目标运动因子、光照变化因子、相似干扰因子、遮挡因子、目标丢失因子以及小目标因子。

4.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述目标运动因子的获得方法为：

a)根据S1-1中的手工标定结果，对视频数据集的第i帧，计算运动目标的像素数l_i：

其中px_i和py_i分别表示第i帧中目标中心在图像坐标系中的x坐标和y坐标；

通过像素数的统计值l_i，得到目标运动速度影响因子θ^fast：

其中v_fast是确定目标运动速度是否过快的阈值，N为视频数据集的总帧数；

b)利用模糊数学的方法计算运动导致的目标模糊影响因子：

对当前帧图像与前一帧进行帧间差分运算，再对帧差图像进行Sobel算子检测，在得到的检测图像中，计算人工标定的目标所在区域内的局部极大值点：若像素点灰度值p(i,j)大于其3×3邻域内像素的灰度值，则此点为局部极大值点，遍历目标区域内所有像素点，将局部极大值点添加到局部极大值点集PE中；

然后判断点集PE中的点数量是否小于目标区域内像素点数的0.5‰：若小于，图像的模糊因子为0；若大于或等于，则继续进行下一步计算：

对PE中的各点，先计算其3×3邻域内的灰度方差D(i,j)及方差特征θ_D(i,j)：

θ_D(i，j)＝1∧(0∨D(i，j)-D1)/(D2-D1)]

其中p(s,t)表示像素点(i,j)的3×3邻域内的像素点的灰度值，表示3×3邻域内的像素点的灰度均值；运算符∧和∨分别是取小和取大运算符；

其中D2>D1>0是方差阈值；

由方差特征计算局部极大值点集PE的模糊度，即目标模糊影响因子θ^blur：

其中K表示点集PE中局部极大值点的个数，F是一个可变参数，取值范围为[4,10]；

将运动速度影响因子与目标模糊影响因子进行融合，得到目标运动因子：

σ＝θ^blurθ^fast。

5.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述遮挡因子的获得方法为：

首先，将选取的视频数据集的各帧中的目标区域均分为4×4个子块；选取第0帧无遮挡图像的目标区域作为匹配标准，先计算第1帧无遮挡图像中各子块与第0帧中对应的子块之间特征点对数量，16个子块的特征点对数量形成一个16维向量T₁；

从第2帧开始，计算第i帧与第0帧的子块之间特征点对数量，由此形成第i帧对应的16维向量T_i；

分别计算第i帧对应的16维向量T_i与16维向量T₁之间的巴氏距离

由各帧的巴氏距离得出遮挡因子：

其中 表示第2帧到最后一帧对应的巴氏距离中的最大值，δ为局部遮挡判断因子，为常数。

6.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述尺度变化因子的计算方法为：针对选择的各个视频数据集，从第1帧开始，对每一帧计算目标尺度变化率，其中第i帧的尺度变化率为

其中S_i为第i帧的目标尺度值；

视频数据集的尺度变化因子由尺度变化量与尺度变化率加权融合获得：

表示当前视频数据集中尺度变化率的均值；S_max与S_min分别表示视频数据集所有帧中目标尺度的最大值与最小值。

7.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述光照变化因子的计算方法为：

对一个帧数为N的数据集，从第1帧开始，计算第i帧的亮度直方图向量V_i与第i-1帧的亮度直方图向量V_i-1之间的巴氏距离 然后由巴氏距离计算最终光照变化因子：

其中， 表示亮度直方图向量V_i的向量元素均值，表示亮度直方图向量V_i-1的向量元素均值，N为视频数据集的总帧数，M表示亮度直方图向量V_i中元素个数。

8.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述相似干扰因子的计算方法为：

首先将目标以外的环境区域按目标大小分为若干窗口，再采用半径为1的8邻域LBP算子计算目标LBP向量L₀和窗口LBP向量L_i，其中每个像素的LBP值为：

其中g_c表示当前像素灰度值，g_i表示邻域像素灰度值；

之后通过巴氏距离公式计算得出第i个窗口的向量L_i和目标LBP向量L₀的纹理特征相似性

对目标区域的窗口颜色直方图向量C₀和其他窗口颜色直方图向量C_i做巴氏距离计算得到颜色特征相似性最后将数据集中所有帧的相似性融合获得相似干扰因子：

其中N为总帧数。

9.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述目标丢失因子的计算方法为：

其中，S_i表示第i帧中目标的尺度值，N是总帧数。

10.如权利要求3所述的一种基于数据集补偿的运动目标检测跟踪算法的评估方法，其特征在于，所述小目标因子的计算方法为：

其中S_small为目标像素值个数阈值，S_i表示第i帧中目标的尺度值，(S_i)_min表示所有帧中目标的尺度最小值。