发明内容
有鉴于此,本发明的主要目的在于提供一种能有效的抑制实际场景中的虚警,提高目标检测正确率的方法及装置。
为达到上述目的,按照本发明的第一个方面,提供了一种视频虚警目标检测的方法,该方法包括如下步骤:
第一步骤,根据目标跟踪的结果,统计最新一段时间窗内目标历史轨迹中的特征信息;
第二步骤,选择是否检测平滑性;
第三步骤,根据统计的目标历史轨迹中的特征信息,对目标的特征进行平滑性检测,判断该目标在平滑性上是否属于异常目标;
第四步骤,选择是否检测连续性;
第五步骤,根据统计的历史轨迹的信息,对目标的特征进行连续性检测,判断该目标在连续性上是否属于异常目标;
第六步骤,选择是否检测随机性;
第七步骤,根据统计的历史轨迹的信息,对目标的特征进行随机性检测,判断该目标在随机性上是否属于异常目标;和
第八步骤,通过统计一段时间窗内目标异常的帧数,检测出虚警目标并销毁。
优选地,所述特征信息包括目标的轨迹信息、目标轨迹的均值信息、目标的速度信息、以及前后帧图像内目标叠压的面积信息。
其中,所述目标的轨迹信息包括:该时间窗内每帧图像内目标的高度、目标的宽度、目标的面积、目标的高度变化量、目标的宽度变化量、目标的X方向位移量、以及目标的Y方向位移量的7个参数;
所述目标轨迹的均值信息包括:该时间窗内所有帧图像的目标高度的均值、目标宽度的均值、目标面积的均值、目标高度变化量的均值、目标宽度变化量的均值、目标的X方向位移量均值、以及目标的Y方向位移量均值的7个均值;
所述目标的速度信息,是通过计算相隔N帧的两帧图像内目标的单位时间内的位移而获得;
所述前后帧图像内目标叠压的面积信息,是指当前帧图像内目标矩形框与前一帧图像内目标矩形框二者叠压部分的面积。
优选地,第二步骤中,手动选择是否检测平滑性,若是平滑性则进入到第三步骤,否则直接进入到第八步骤。
优选地,第三步骤中,分别计算所述特征信息中目标的轨迹信息的7个参数、所述目标轨迹的均值信息的7个均值、和该7个均值的绝对差,并且计算该绝对差与均值的比值;若该比值大于特征的平滑性阈值Tf时,则认为该目标轨迹超出正常范围,并判定该特征不平滑,否则认为该目标轨迹处于正常范围,并判定该特征平滑。
优选地,第四步骤中,手动选择是否检测连续性,若是连续性则进入到第五步骤,否则直接进入到第八步骤。
优选地,第五步骤中,所述历史轨迹的信息包括目标的面积信息和前后帧目标的叠压信息;计算当前帧图像内目标矩形框与前一帧图像内目标矩形框二者叠压部分的面积,计算该叠压部分的面积与前一帧图像内目标矩形框的面积的比值;若该比值大于第一阈值T1时,则认为当前帧图像内目标正常,满足连续性;否则认为当前帧图像内目标异常;其中0.1≤T1≤0.5。
优选地,第六步骤中,手动选择是否检测随机性,若是连续性则进入到第七步骤,否则直接进入到第八步骤。
优选地,第七步骤中,所述历史轨迹的信息包括目标的位置信息和速度信息;计算设定时间窗内目标在X、Y方向上的位置方差σx和σy,以及速度方差σvx和σvy,目标的随机性系数ξm的计算公式如下:
当ξm>T2时,认为目标具有随机性,设定当前帧为异常帧,其中T2为设定阈值,并根据需求设置。
优选地,第八步骤中,计算该异常的帧数占该短时间窗内的比值,若该比值大于第三阈值T3,则认为该目标是虚警目标,并将其销毁;其中0.1≤T3≤0.5。
按照本发明的另一个方面,提供了一种视频虚警目标检测的装置,该装置包括:
历史轨迹信息统计单元,用于根据目标跟踪的结果,统计最新一段时间窗内目标历史轨迹中的特征信息;
是否检测平滑性的选择单元,用于选择是否检测平滑性;
平滑性检测单元,用于根据统计的目标历史轨迹中的特征信息,对目标的特征进行平滑性检测,判断该目标在平滑性上是否属于异常目标;
是否检测连续性的选择单元,用于选择是否检测连续性;
连续性检测单元,用于根据统计的历史轨迹的信息,对目标的特征进行连续性检测,判断该目标在连续性上是否属于异常目标;
是否检测随机性的选择单元,用于选择是否检测随机性;
随机性检测单元,用于根据统计的历史轨迹的信息,对目标的特征进行随机性检测,判断该目标在随机性上是否属于异常目标;和
异常目标处理单元,用于通过统计一段时间窗内目标异常的帧数,检测出虚警目标并销毁。
按照上述所述方法中,平滑性检测通用性较强,但对诸如存在真实的小目标的场景适用性较差;连续性检测对存在运动速度过快的目标的场景适用性较差;随机性检测对存在运动速度过快的目标的场景适用性较差。在实施本发明的方法时,可以根据实际场景的需要,选择进行平滑性检测、连续性检测、随机性检测。
与现有的目标跟踪技术相比,按照本发明的方法和装置可以进一步地滤除虚警目标,从而减少了虚警率。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
为了更好地理解本发明,将发明中涉及的术语定义如下:
虚警目标:实际场景中存在两类虚警目标。第一类是由于编解码的量化误差导致的检测区域,由于这类虚警目标是随机产生的,且往往没有运动特性,表现为突然出现在图像的某一位置且静止不动,通常可以通过趋势检测函数很好地滤除。第二类虚警目标与实际场景中真实目标(如人和车)一样具备运动特征,但由于并非监控所关注的,所以被视为虚警目标,例如摆动的树枝树叶、飘动的旗帜等。本发明所述虚警目标指的是第二类虚警目标。
本发明主要是分别通过分析目标的平滑性、连续性、随机性三个特征,来判断目标是否属于异常目标,然后通过对异常目标的处理来检测并销毁虚警目标。
平滑性:当目标的某一特征在某一帧产生足够大的突变时,认为目标在这一特征上不平滑,当存在足够多的特征同时处于不平滑状态时,则认为该目标不平滑。
连续性:正常的目标(不包括运动速度特别快的目标),由于运动路径的规则,运动速度变化符合物理力学原理,目标在图像序列中的前景检测可以保证相邻帧相互叠压。通过计算相邻帧前景的叠压面积与目标自身面积的比值的方法,来保证叠压有效性的判断。当叠压面积比小于一定阈值时,则认为该目标不连续,视为异常目标。
随机性:由于虚警目标通常在一个固定位置的小范围内往返运动,其往返运动产生的位置方差较小,且其往返速度方差较大,因此虚警目标与真实目标相比,通常表现为速度方差远大于位置方差。
异常状态:当目标被连续跟踪时其初始状态被设定为正常状态,当目标不满足平滑性或连续性或随机性的定义时,该目标状态将被修改为异常状态。
对异常状态目标的处理:当目标在一定时间窗内处于异常状态的帧数累积到一定限制时,认为该目标为虚警目标,将其销毁。
实施例一
图1表示按照本发明的视频虚警目标检测的方法。如图1所示,按照本发明的视频虚警目标检测的方法可以包括:
步骤101,根据跟踪结果,统计目标的历史轨迹的信息。根据目标跟踪的结果,统计最新一段时间窗内目标结果中的特征信息,包括目标的轨迹信息、目标轨迹的均值信息、目标的速度信息、前后帧图像内目标叠压的面积信息。其中,目标的轨迹信息包括该时间窗内每帧图像内目标的高度、目标的宽度、目标的面积、目标的高度变化量、目标的宽度变化量、目标的X方向位移量、目标的Y方向位移量。目标轨迹的均值信息包括该时间窗内所有帧图像的目标高度的均值、目标宽度的均值、目标面积的均值、目标高度变化量的均值、目标宽度变化量的均值、目标的X方向位移量均值、目标的Y方向位移量均值。目标的速度信息是通过计算相隔N帧的两帧图像内目标的单位时间内的位移而获得。前后帧图像内目标叠压的面积信息是指当前帧图像内目标矩形框与前一帧图像内目标矩形框二者叠压部分的面积。
实施时,时间窗的宽度可以选择[4,50]内一整数值,例如选择为8。目标跟踪的结果可以通过现有的目标跟踪算法实现,经过目标跟踪处理后,可以获得每帧图像内目标的位置和大小信息,根据上述信息通过计算可以获得本发明中所需的特征信息。
目标的位置信息可以是图像中目标中心的坐标,也可以是目标外接矩形框四个端点的坐标。目标的大小信息可以是目标的宽度和高度。
以宽度为8的时间窗为例,假设该时间窗内目标的中心坐标为(x
i,y
i)(i表示第i帧图像),宽度为W
i,高度为H
i,则有目标的面积为W
i*H
i,目标的宽度变化量为W
i-W
i-1,目标的高度变化量为H
i-H
i-1,目标的X方向位移量为x
i-x
i-1,目标的Y方向位移量为y
i-y
i-1。该时间窗内所有帧图像的目标高度的均值为
目标宽度的均值为
目标面积的均值为
目标高度变化量的均值为
目标宽度变化量的均值为
目标的X方向位移量均值为
目标的Y方向位移量均值为
第i帧图像内目标在X方向的速度为
(N为自然数,例如可以选择10),在Y方向的速度为
假设帧图像内目标的像素值为1,背景的像素值为0(在存在多目标的情况下,依次处理每个目标,将当前处理的目标当成目标,其余的暂时当成背景),统计第i帧图像与第i-1帧图像内对应像素的像素值均为1的像素的个数,所统计的像素的个数即为第i帧图像与第i-1帧图像中目标矩形框二者叠压部分的面积。
步骤102,选择是否检测平滑性。手动选择是否检测平滑性,若是则进入到步骤103,否则直接进入到步骤108。
步骤103,对目标的特征进行平滑性检测,判断该目标在平滑性上是否属于异常目标。根据统计的历史轨迹的信息,分别计算目标的轨迹信息的7个考察量与目标轨迹的均值信息中的7个均值的绝对差,计算该绝对差与均值的比值,若该比值大于特征的平滑性阈值Tf时,则认为该目标轨迹超出正常范围,并判定该特征不平滑,否则认为该目标轨迹处于正常范围,并判定该特征平滑。
以目标的高度特征为例,假设当前帧(例如第t帧)图像内目标的f特征(即高度特征)为fi,以当前帧为终端的宽度为P1的时间窗内(其中时间窗的宽度P1可以选择[4,50]内一整数值,即4≤P1≤50且P1为整数,例如选择为8,此时该时间窗为[t-7,t])所有帧图像内目标的f(即高度)的均值为f,则高度特征的平滑性系数Sf的计算公式如下:
当Sf>Tf时,认为f特征(即高度特征)不平滑。其中,Tf是一个用户设定的f特征平滑性阈值,用于控制特征平滑性判定的严格性,阈值Tf设定的越大平滑性限定地越宽松。实施时,可以选择f特征的平滑性阈值均为0.5。
如果当前帧图像内存在一项以上(包括一项)特征被认为不平滑时,则认为当前帧图像内该目标为异常。
步骤104,选择是否检测连续性。手动选择是否检测连续性,若是则进入到步骤105,否则直接进入到步骤108。
步骤105,对目标的特征进行连续性检测,判断该目标在连续性上是否属于异常目标。根据统计的历史轨迹的信息(包括目标的面积信息和前后帧目标的叠压信息),计算当前帧图像内目标矩形框与前一帧图像内目标矩形框二者叠压部分的面积,计算该叠压部分的面积与前一帧图像内目标矩形框的面积的比值,若该比值大于第一阈值T1时,则认为当前帧图像内目标正常,满足连续性;否则认为当前帧图像内目标异常。
实施时,假设当前帧图像内目标矩形框与前一帧图像内目标矩形框二者叠压部分的面积为Aoverlap,前一帧图像内目标矩形框的面积为At-1,则连续系数Carea的计算公式如下:
当Carea>T1时,则认为当前帧图像内目标正常,当前帧图像内目标满足连续性;否则认为当前帧图像内目标异常。其中,第一阈值T1为(0.1,0.5)内一小数值,即0.1≤T1≤0.5(例如可以选为0.3),用于控制连续性判定的严格性,T1越大表明连续性判定越严格。
步骤106,选择是否检测随机性。手动选择是否检测随机性,若是则进入到步骤107,否则直接进入到步骤108。
步骤107,对目标的特征进行随机性检测,判断该目标在随机性上是否属于异常目标。根据统计的历史轨迹的信息(包括目标的位置信息和速度信息),计算设定时间窗内目标在X、Y方向上的位置方差σx和σy,以及速度方差σvx和σvy,目标的随机性系数ξm的计算公式如下:
当ξm>T2时,认为目标具有随机性,设定当前帧为异常帧。其中T2为设定阈值,可以根据需求设置。
实施时,假设设定宽度为P2(其中时间窗的宽度P2可以选择[4,50]内一整数值,例如选择为5,此时该时间窗为[t-4,t])的时间窗内X方向上的位置为xi,计算该时间窗内X方向上的位置均值 该时间窗内X方向上的位置方差则为 通过类似于上述的方法,可以计算到P2的时间窗内Y方向上的位置方差σy 2、P2的时间窗内X方向上的速度方差σvx 2、P2的时间窗内Y方向上的速度方差σvy 2。T2可以选择为2.5。
步骤108,通过统计一段时间窗内目标出现异常状态的概率,检测出虚警目标并销毁。统计一段时间窗内目标出现异常状态的帧数,计算该异常的帧数占该短时间窗内的比值,若该比值大于第三阈值T3,则认为该目标是虚警目标,并将其销毁。
图2给出了按照本发明的对异常目标的处理的一例示意图,该示意图表示的是在同时选择平滑性检测、连续性检测、随机性检测后,对异常目标的处理的过程。当某帧图像内目标的平滑性检测、连续性检测、随机性检测中只要有一个检测该目标为异常目标时,则认为该目标是异常目标;当某帧图像内目标的平滑性检测、连续性检测、随机性检测中检测该目标均为正常目标时,则认为该目标是正常目标。统计一段时间窗内目标的异常帧数,计算该异常帧数与时间窗总帧数(即为时间窗的宽度)的比值R。当R>T3时,则判定该目标为虚警目标并销毁。
实施时,统计宽度为P3(其中时间窗的宽度P2可以选择[4,50]内一整数值,例如选择为10,此时该时间窗为[t-4,t])的时间窗内出现目标异常的帧数Nabnormal,计算异常的帧数Nabnormal与时间窗的宽度P3的比值 若R>T3时,则认为该目标是虚警目标,将该段时间窗内所有帧图像中的该目标置为背景,并将所有与该目标相关的检测结果置0。其中T3可以选择(0.1,0.5)内一小数值,即0.1≤T3≤0.5,优选为0.3。
按照上述所述方法中,平滑性检测通用性较强,但对诸如存在真实的小目标的场景适用性较差;连续性检测对存在运动速度过快的目标的场景适用性较差;随机性检测对存在运动速度过快的目标的场景适用性较差。在实施本发明的方法时,可以根据实际场景的需要,选择进行平滑性检测、连续性检测、随机性检测。
图3给出了按照本发明的视频虚警目标检测的装置,该装置可以添加在一般的目标跟踪模块后,用于跟踪目标的进一步处理,以进一步滤除虚警目标。如图3所示,按照本发明的视频虚警目标检测的装置可以包括:历史轨迹信息统计单元1,用于根据目标跟踪的结果,统计最新一段时间窗内目标历史轨迹中的特征信息;是否检测平滑性的选择单元2,用于选择是否检测平滑性;平滑性检测单元3,用于根据统计的目标历史轨迹中的特征信息,对目标的特征进行平滑性检测,判断该目标在平滑性上是否属于异常目标;是否检测连续性的选择单元4,用于选择是否检测连续性;连续性检测单元5,用于根据统计的历史轨迹的信息,对目标的特征进行连续性检测,判断该目标在连续性上是否属于异常目标;是否检测随机性的选择单元6,用于选择是否检测随机性;随机性检测单元7,用于根据统计的历史轨迹的信息,对目标的特征进行随机性检测,判断该目标在随机性上是否属于异常目标;和异常目标处理单元8,用于通过统计一段时间窗内目标异常的帧数,检测出虚警目标并销毁。
与现有的目标跟踪技术相比,按照本发明的方法和装置可以进一步地滤除虚警目标,从而减少了虚警率。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。