CN112164097B - 一种船舶视频检测样本采集方法 - Google Patents

Abstract

本发明提供了一种船舶视频检测样本采集方法，包括视频船舶目标检测方法；船舶目标跟踪方法；运动目标检测方法；样本采集策略。本发明能够自动从海事CCTV监控视频拍摄的实时视频和历史录像视频中采集高质量的船舶目标数据集，为基于深度学习的船舶目标检测提供数据支撑，在目标检测的过程中积累数据，不断提高深度学习的效果。

Description

一种船舶视频检测样本采集方法

技术领域

本发明属于船舶CCTV视频智能监控领域，具体涉及一种船舶视频检测样本采集方法。

背景技术

近年来，随着深度学习算法在船舶视频目标检测领域的应用，检测精度和效果都远超过去基于模板匹配、运动检测、传统机器学习等方法，但是深度学习目标检测的效果是建立在大量训练数据基础上的。海事领域应用深度学习进行船舶目标检测目前还处于起步阶段，没有足够的船舶检测数据集，公开的通用数据集如COCO、VOC、CIFAR，其中船舶的图片与海事监管中船舶的图片相差较大，直接拿来训练在实际检测中的效果达不到要求。因此需要在海事CCTV视频监控系统的采集专用的船舶检测数据集，但在海量的监控视频中采集什么样的图片作为数据集依然是一个难题。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种船舶视频检测样本采集方法，结合视频船舶目标检测、船舶目标跟踪、运动目标检测的输出，样本采集策略融合三者的输出结果，判断当前视频帧是否需要采集。

所述的视频船舶目标检测包括使用海事CCTV监控视频拍摄的实时视频和历史录像视频，使用深度学习方法，如YOLO、SSD、FastRCNN等检测视频中的船舶目标，输出目标的检测矩形框信息(位置信息、大小信息、类别信息、置信度)。

所述的船舶目标跟踪根据船舶目标检测的输出，对视频中所有船舶目标进行跟踪，输出船舶目标的跟踪矩形框信息(位置信息、大小信息、类别信息、跟踪匹配结果、跟踪ID)。

所述的运动目标检测包括使用海事CCTV监控视频拍摄的实时视频和历史录像视频，对视频中的运动目标进行检测，输出运动目标的矩形框信息(位置信息、大小信息)。

所述的样本采集策略包括使用海事CCTV监控视频拍摄的实时视频和历史录像视频，判断视频流中哪些帧需要采集，采集的一帧视频为一张图片，采集后形成多张图片组成的船舶图片数据集，为深度学习提供数据支撑。

为了实现上述目的，本发明具体步骤如下：

步骤1、视频船舶目标检测：基于深度学习方法，在海事CCTV视频中检测出船舶，输出船舶目标的外接矩形框信息；

步骤2、船舶目标跟踪：跟踪检测到的船舶目标，即判断当前帧的目标与上一帧的目标是否为同一目标，输出匹配的跟踪目标、消失目标；

步骤3、运动目标检测：采用背景差分的方法，检测视频中的运动目标，输出目标的外接矩形信息；

步骤4，样本采集策略：结合步骤2和步骤3的输出信息，判断当前视频帧的检测效果，当检测效果不满足要求且离上一次采集时间间隔超过阈值时，采集当前视频帧作为船舶图片样本集。

步骤1包括：

步骤1-1，预处理：从海事CCTV实时监控视频或录像视频中采集视频帧，对视频帧进行缩放和归一化处理；

步骤1-2，将预处理后的视频帧送入船舶目标检测深度网络进行计算(深度网络需要通过大量的船舶图片样本进行训练)，计算结果为检测框，包括框的中心坐标和长、宽，置信度，框所属的类别以及类别置信度

步骤1-3，根据设定的阈值，剔除检测框置信度和类别置信度低于阈值的输出框，然后通过非极大值抑制(抑制检测框置信度不是极大值的元素)删除重合的框，输出最终的船舶目标检测框；

步骤2包括：

步骤2-1，初始化跟踪目标：对于新的船舶目标检测框，初始化跟踪目标，包括卡尔曼滤波状态空间矩阵、协方差矩阵；

步骤2-2，预测目标检测框：使用卡尔曼滤波，基于跟踪目标在t-1时刻的状态X来预测其在t时刻的状态X′，计算公式为X′＝FX，F为状态空间转移矩阵，并更新协方差矩阵S′＝FS+Q，Q为噪声矩阵，Q＝diag[Wh，Wh，0.1，Wh]，W为噪声权重，h为步骤1-2的计算结果检测框的高；

步骤2-3，目标深度特征提取：使用深度特征提取网络分别提取所有检测目标和跟踪目标的128维特征向量，网络特征通过标注的船舶跟踪目标训练得到；

步骤2-4，进行目标匹配。

步骤2-4包括：

根据如下公式计算跟踪预测目标i和检测目标j的128维深度特征之间的余弦距离d₁(i，j)：

b₁(i，j)＝1[d₁(i，j)≤t₁]

其中，R_i为跟踪预测目标i的历史预测关联框序列，t₁是设定的阈值，b₁(i，j)为跟踪预测i和检测目标j的图像相似度0-1二值化计算结果，如果跟踪预测i和检测目标j的深度特征余弦距离小于阈值t₁，b₁(i，j)置为1；

根据如下公式计算跟踪预测i和检测目标j的运动相似度d₂(i，j)：

b₂(i，j)＝1[d₂(i，j)≤t₂]

其中，x_j为检测目标j的状态特征，y_i为跟踪预测i的状态特征，S_i为跟踪预测i的协方差矩阵，t₂是设定的阈值，b₂(i，j)为跟踪预测i和检测目标j的运动相似度0-1二值化计算结果；

跟踪预测i和检测目标j的最终相似度d(i，j)为：

d(i，j)＝αd₁(i，j)+(1-α)d₂(i，j)

其中，α是设定的阈值，d(i，j)最小且b(i，j)不等于0的跟踪预测i和检测目标j为确认跟踪目标Track_i，没有匹配到的跟踪预测标记为疑似消失目标，没有匹配到的检测目标标记为疑似新目标；跟踪预测i连续I帧标记疑似消失目标，则加入标记为消失目标U_i，检测目标j连续J帧标记疑似新目标，则设为新目标。

步骤3包括：

步骤3-1，背景模型初始化：将视频的第一帧作为背景模型，将该帧中每一个像素点(x，y)的领域N_g(x，y)周围随机取N个像素点，填充该像素点的样本集M₀(x，y)：

M₀(x，y)＝{v₀(z|z∈N_g(x，y))}，

式中z表示随机取的像素，v₀表示像素点(x，y)的领域周围随机取N个像素点的计算过程；

步骤3-2，前景检测：遍历新一帧图像的每个像素点v_i(x，y)，判断像素点与样本集M₀(x，y)之差D(x，y)＝v₀(x，y)-v_i(x，y)|v_i(x，y)∈M₀(x，y)，D(x，y)中大于阈值T_v的个数R(x，y)＝∑1[D(x，y)≥T_v]，如果R(x，y)大于阈值T_R，则设为运动前景，像素值置1，背景置0；

步骤3-3，背景更新；

步骤3-4，对运动检测后的视频帧进行开运算和闭运算，并进行轮廓检测，并去掉轮廓包含的像素小于阈值的小轮廓，计算轮廓的外接矩形得到最终运动目标检测的输出。

步骤3-3包括：

同时满足以下三种策略时将像素点更新为背景：

1)每个背景点都有φ的概率更新该背景像素点模型样本集M₀(x，y)中的值；

2)以φ的概率去更新该像素点领域的模型样本值；

3)对像素点进行统计，如果一个像素点连续n次被检测为前景，则将其更新为背景点；

对前景进行开运算和闭运算，最后输出前景目标的最小外接矩形作为运动目标。

步骤4包括：

步骤4-1，设置样本采集时间间隔阈值T_i，当采集完一次样本后的T_i秒内不再采集样本，

步骤4-2，初始样本采集：对于没有进行步骤1训练过的模型，当运动检测到的运动目标的个数大于0时采集当前帧的画面作为样本；

步骤4-3，根据采集策略决定是否采集当前视频帧作为样本。

步骤4-3包括：

对于已经训练过的模型，联合步骤1、2、3共同判断是否采集样本，具体满足以下两个策略中任意一个，且满足时间间隔阈值时进行样本采集：

1)使用步骤1进行目标检测，将结果输入到步骤2进行目标跟踪，使用步骤3进行运动目标检测，如果步骤2输出的跟踪目标消失，但步骤3在消失目标附近检测到运动物体，则可能是目标检测不良造成检测框消失或突变，造成跟踪目标消失，需要进行样本采集，计算消失目标U_i与运动目标C_S的交并比IOU：

其中A_T为步骤2输出的跟踪目标消失前最后一帧的跟踪框面积，A_C为该帧对应位置的运动目标外接矩形面积；如果IOU大于阈值T_ioul，则采集跟踪目标消失时的画面帧作为样本，本发明中T_iou设为0.4。

2)计算步骤2输出的跟踪框Track_i和步骤3输出的运动目标C_S的IOU，如果连续F帧IOU小于阈值T_iou2且大于0，且跟踪框的质心与运动目标的质心位置标准差大于阈值T_std则采集当前帧的画面作为样本，本发明F设为5，T_iou2设为0.8，T_std设为0.5。

其中B为二值计算，表示跟踪框Tracki的质心，/>表示运动目标C_S的质心。

采集的样本集最终是为步骤1船舶目标检测提供训练样本，提高训练效果，增加检测精度。本发明，结合步骤1、2、3，形成深度学习和运动检测两种算法的互补，判断当前视频帧的检测效果，当满足采集策略，采集当前视频帧作为船舶图片样本集，最终实现高效地采集高质量的，可以改善船舶目标检测深度学习训练效果，不易发生过拟合，没有废样本的船舶图片样本集。

本发明产生的有益效果是：为基于深度学习的视频船舶目标检测提供数据集，与船舶目标检测形成闭环，在检测过程中自动样本，且积累的样本为检测时效果不理想的样本，如漏检、误检、检测精度低等，这样在后期训练时可以更好的学习船舶检测模型，提高检测精度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明步骤2中目标跟踪深度特征提取网络结构图；

图2是本发明实施的视频船舶目标检测流程图；

图3是本发明实施的船舶目标跟踪流程图；

图4是本发明实施的运动目标检测流程图；

图5是视频帧样本采集策略流程图；

图6是使用本发明获取的采集样本实例；

图7a是定时截图生成1000张图片作为训练集的训练精度示意图。

图7b是采用本发明生成共计736张图片作为训练集的训练精度。

具体实施方式

本发明提供了一种船舶视频检测样本采集方法，包括：

步骤1，视频船舶目标检测，采用深度学习进行船舶目标检测。流程如图2所示。

1-1预处理。从海事CCTV实时监控视频或录像视频中采集视频帧，对视频帧进行预处理。预处理包括缩放和归一化。缩放是指将视频帧的长宽尺寸缩放到深度学习网络输入尺寸的要求，本发明使用的输入尺寸为416×416。归一化是指将视频帧每一个像素值除以255归一化到0-1之间；

1-2深度目标检测网络计算。将预处理后视频帧送入船舶目标检测深度网络进行计算，本实施例采用的目标识别网络为Darknet53网络，网络参数由标注的船舶目标图片数据训练得到。网络输出13×13×6，26×26×6,52×52×6三种不同尺度的目标检测框序列，其中13×13，26×26，52×52为输出特征图的尺寸，×6表示输出检测框的左上角坐标x，y，长，宽，检测框的置信度，类别置信度。

1-3检测后处理。根据设定的阈值，剔除检测框置信度和类别置信度低于阈值的输出框，然后通过非极大值抑制删除重合的框，输出最终的船舶目标检测框Detection_j，本发明使用的检测框阈值为0.6，类别阈值为0.8，非极大值抑制的阈值为0.5。

步骤2船舶目标跟踪，步骤1检测到目标后，为了判断当前目标检测的效果作为后续样本采集的判断，需要对检测到的船舶目标进行连续跟踪，本发明采用深度学习结合运动学预测结合的方法进行船舶目标跟踪。流程如图3所示。

2-1初始化跟踪目标。对于新的船舶目标检测框，初始化跟踪目标，卡尔曼滤波状态空间矩阵P、协方差矩阵C，状态空间矩阵P包括检测框中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息，其中位置、纵横比、高度由目标检测结果提供速度信息初始化为0，协方差矩阵表示目标位置信息的不确定性，由8×8的对角矩阵表示，矩阵中数字越大则表明不确定性越大，本发明将值初始化为0-1之间的随机数。

2-2预测目标检测框。使用卡尔曼滤波，基于跟踪目标在t-1时刻的状态X来预测其在t时刻的状态X′，计算公式为X′＝FX。并更新协方差矩阵S′＝FS+Q，Q为噪声矩阵，Q＝diag[Wh，Wh，0.1，Wh]，W为噪声权重，本发明设为0.05，h为检测框的高。

2-3目标深度特征提取。使用图1网络分别提取所有检测目标和跟踪目标的128维特征向量，网络特征通过标注的船舶跟踪目标训练得到。

2-4目标匹配。计算跟踪预测i和检测目标j的128维深度特征之间的余弦距离d₁(i，j)，R_i为预测框i的历史预测关联框序列，本发明设置的序列长度为100。如果跟踪预测i和检测目标j的深度特征余弦距离小于阈值t₁，b₁(i，j)置为1，本发明中t₁设为0.2。

b₁(i，j)＝1[d₁(i，j)≤t₁]

计算跟踪预测i和检测目标j的运动相似度d₂(i，j)，其中x_j为检测目标j的状态特征，y_i为跟踪预测i的状态特征，S_i为跟踪预测i的协方差矩阵。同样引入二值判断b₂(i，j)，本发明中t₂设为9.4877。

b₂(i，j)＝1[d₂(i，j)≤t₂]

跟踪预测i和检测目标j的最终相似度为，本发明α设置为0.5：

d(i，j)＝αd₁(i，j)+(1-α)d₂(i，j)

d(i，j)最小且b(i，j)不等于0的跟踪预测i和检测目标j为确认跟踪目标Track_i，没有匹配到的跟踪预测标记为疑似消失目标，没有匹配到的检测目标标记为疑似新目标。跟踪预测i连续I帧标记疑似消失目标，则加入标记为消失目标U_i，本发明中I设为50，检测目标j连续J帧标记疑似新目标，则设为新目标，根据2-1进行初始化。

步骤3，运动目标检测。为了判断目标检测的效果，进而选择是否采集样本，仅仅采用深度学习的方法是不够的，本发明采用基于背景差分的算法与步骤1、2的结果进行联合判断船舶目标检测的效果，船舶运动目标流程如图4所示。

3-1背景模型初始化。将视频的第一帧作为背景模型，将该帧中每一个像素点(x，y)的领域N_g(x，y)周围随机取N个像素点，填充该像素点的样本集M₀(x，y)，本发明N设为25。

M₀(x，y)＝{v₀(z|z∈N_g(x，y))}

3-2前景检测。遍历新一帧图像的每个像素点v₀(x，y)，判断像素点与历史样本M₀(x，y)之差D(x，y)＝v₀(x，y)-v_i(x，y)|v_i(x，y)∈M₀(x，y)，D(x，y)中大于阈值T_v的个数R(x，y)＝∑1[D(x，y)≥T_v]，如果R(x，y)大于阈值T_R，则设为运动前景，像素值置1，背景置0。本发明中T_v设为50，T_R设为12。

3-3背景更新。同时满足以下三种策略时将像素点更新为背景。1)每个背景点都有φ的概率更新该像素点的模型样本值；2)以φ的概率去更新该像素点领域的模型样本值；3)对像素点进行统计，如果某个像素点连续n次被检测为前景，则将其更新为背景点，本发明中n设为1800，φ设为0.4。

3-4后处理。对运动检测后的视频帧进行开运算和闭运算，轮廓检测，并去掉轮廓包含的像素小于阈值T_c的小轮廓，本发明T_c设为64，计算轮廓的外接矩形得到最终运动目标检测的输出C_S。

步骤4，视频帧样本采集策略。采集的样本集最终是为步骤1船舶目标检测提供训练样本，提高训练效果，增加检测精度。如果单纯使用步骤1中深度学习的方法，如使用不同网络进行检测效果判断，存在两个问题，第一，采集的样本没有互补性，对同一艘船采集过多的样本，造成样本集偏斜，训练时易过拟合；第二，当网络没有训练时，无法获取训练样本，只能通过随机的从视频中截图获取初始样本，样本集中大量的图片的无效样本，使得模型初始训练困难。如果单纯使用步骤3中运动目标检测的方法进行样本采集判断，也存在两个问题的，第一，只能盲目增加视频中的存在运动物体的画面到样本集中，运动物体可能不是船舶目标，而是其他物体或噪声；第二，采集的样本没有针对性，无法标记深度学习检测效果不理想的样本。本发明，结合步骤1、2、3，形成深度学习和运动检测两种算法的互补，高效地采集高质量的训练样本。流程如图5所示，最终形成的采集样本实例如图6所示，采用本发明获取的样本集对比一般方法获取的样本集，在相同验证集下训练精度效果对比如图7a和图7b所示。

4-1设置样本采集时间间隔阈值T_i。为了防止多次采集临近帧相似画面的样本，提高样本的多样性，设置一个时间间隔阈值T_i，当采集完一次样本后的T_i秒内不再采集样本，本发明T_i设为30。

4-2初始样本采集。对于没有训练过的模型，采用运动检测进行样本采集判断，当运动检测到的运动目标C_S的个数大于0，且满足时间阈值T_i时采集当前帧的画面作为样本。

4-3采集策略。对于已经训练过的模型，联合步骤1、2、3共同判断是否采集样本，具体满足以下两个策略中任意一个，且满足时间间隔阈值时进行样本采集。

1)使用步骤1进行目标检测输入到步骤2进行目标跟踪，使用步骤3进行运动目标检测，如果正在步骤2输出的跟踪的目标消失，但步骤3运动检测在消失目标附近检测到运动物体，则可能是目标检测不良造成检测框消失或突变，进而影响跟踪造成跟踪目标消失，需要进行样本采集，计算消失目标U_i与运动目标C_S的IOU，

其中A_T为步骤2输出的跟踪目标消失前最后一帧的跟踪框面积，A_C为该帧对应位置的运动目标外接矩形面积。若IOU大于阈值T_ioul，则采集跟踪目标消失时的画面帧作为样本，本发明中T_iou设为0.4。

2)测试中发现，如果样本集不够丰富，深度学习训练的模型进行目标检测和跟踪，会造成最终的跟踪框Track_i抖动，而运动检测到的目标C_S相对稳定，此时进行样本采集以丰富训练样本集。判断跟踪框Track_i是否抖动通过计算Track_i和运动目标C_S的IOU实现。若连续F帧IOU小于阈值T_iou2且大于0，且Track_i的质心与C_S的质心位置标准差大于阈值T_std则采集当前帧的画面作为样本，本发明F设为5，T_iou2设为0.8，T_std设为0.5。

其中B为二值计算，表示跟踪框Track_i的质心，/>表示运动目标C_S的质心。

采集的样本集最终是为步骤1船舶目标检测提供训练样本，提高训练效果，增加检测精度。本发明，结合步骤1、2、3，形成深度学习和运动检测两种算法的互补，判断当前视频帧的检测效果，当满足采集策略，采集当前视频帧作为船舶图片样本集，最终实现高效地采集高质量的，可以改善船舶目标检测深度学习训练效果，不易发生过拟合，没有废样本的船舶图片样本集。

本发明提供了一种船舶视频检测样本采集方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种船舶视频检测样本采集方法，其特征在于，包括以下步骤；

步骤1、视频船舶目标检测：在海事CCTV视频中检测出船舶，输出船舶目标的外接矩形框信息；

步骤2、船舶目标跟踪：跟踪检测到的船舶目标，即判断当前帧的目标与上一帧的目标是否为同一目标，输出匹配的跟踪目标、消失目标；

步骤3、运动目标检测：检测视频中的运动目标，输出目标的外接矩形信息；

步骤4，样本采集策略：结合步骤2和步骤3的输出信息，判断当前视频帧的检测效果，当检测效果不满足要求且离上一次采集时间间隔超过阈值时，采集当前视频帧作为船舶图片样本集；

步骤4包括：

步骤4-1，设置样本采集时间间隔阈值T_i，当采集完一次样本后的T_i秒内不再采集样本，

步骤4-2，初始样本采集：对于没有进行步骤1训练过的模型，当运动检测到的运动目标的个数大于0时采集当前帧的画面作为样本；

步骤4-3，根据采集策略决定是否采集当前视频帧作为样本；

步骤4-3包括：

对于已经训练过的模型，联合步骤1、2、3共同判断是否采集样本，具体满足以下两个策略中任意一个，且满足时间间隔阈值时进行样本采集：

1)使用步骤1进行目标检测，将结果输入到步骤2进行目标跟踪，使用步骤3进行运动目标检测，如果步骤2输出的跟踪目标消失，但步骤3在消失目标附近检测到运动物体，则可能是目标检测不良造成检测框消失或突变，造成跟踪目标消失，需要进行样本采集，计算消失目标U_i与运动目标C_S的交并比IOU：

其中A_T为步骤2输出的跟踪目标消失前最后一帧的跟踪框面积，A_C为该帧对应位置的运动目标外接矩形面积；如果IOU大于阈值T_iou1，则采集跟踪目标消失时的画面帧作为样本；

2)计算步骤2输出的跟踪框Track_i和步骤3输出的运动目标C_s的IOU，如果连续F帧IOU小于阈值T_iou2且大于0，且跟踪框的质心与运动目标的质心位置标准差大于阈值T_std则采集当前帧的画面作为样本：

其中B为二值计算，表示跟踪框Track_i的质心，/>表示运动目标C_S的质心。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，预处理：从海事CCTV实时监控视频或录像视频中采集视频帧，对视频帧进行缩放和归一化处理；

步骤1-2，将预处理后的视频帧送入船舶目标检测深度网络进行计算，计算结果为检测框，包括框的中心坐标和长、宽，置信度，框所属的类别以及类别置信度；

步骤1-3，根据设定的阈值，剔除检测框置信度和类别置信度低于阈值的输出框，然后通过非极大值抑制删除重合的框，输出最终的船舶目标检测框。

3.根据权利要求2述的方法，其特征在于，步骤2包括：

步骤2-1，初始化跟踪目标：对于新的船舶目标检测框，初始化跟踪目标的卡尔曼滤波状态空间矩阵、协方差矩阵；

步骤2-2，预测目标检测框：使用卡尔曼滤波，基于跟踪目标在t-1时刻的状态X来预测其在t时刻的状态X′，计算公式为X′＝FX，F为状态空间转移矩阵，并更新协方差矩阵S′＝FS+Q，Q为噪声矩阵，Q＝diag[Wh,Wh,0.1,Wh]，W为噪声权重，h为步骤1-2中检测框的高；

步骤2-3，目标深度特征提取：使用深度特征提取网络分别提取所有检测目标和跟踪目标的128维特征向量，网络特征通过标注的船舶跟踪目标训练得到；

步骤2-4，进行目标匹配。

4.根据权利要求3述的方法，其特征在于，步骤2-4包括：

根据如下公式计算跟踪预测目标i和检测目标j的128维深度特征之间的余弦距离d₁(i,j)：

b₁(i,j)＝1[d₁(i,j)≤t₁]

其中，R_i为跟踪预测目标i的历史预测关联框序列，t₁是设定的阈值，b₁(i,j)为跟踪预测i和检测目标j的图像相似度0-1二值化计算结果，如果跟踪预测i和检测目标j的深度特征余弦距离小于阈值t₁，b₁(i,j)置为1；

根据如下公式计算跟踪预测i和检测目标j的运动相似度d₂(i,j)：

b₂(i,j)＝1[d₂(i,j)≤t₂]

其中，x_j为检测目标j的状态特征，y_i为跟踪预测i的状态特征，S_i为跟踪预测i的协方差矩阵，t₂是设定的阈值，b₂(i,j)为跟踪预测i和检测目标j的运动相似度0-1二值化计算结果；

跟踪预测i和检测目标j的最终相似度d(i,j)为：

d(i,j)＝αd₁(i,j)+(1-α)d₂(i,j)

其中，α是设定的阈值，d(i,j)最小且b(i,j)不等于0的跟踪预测i和检测目标j为确认跟踪目标Track_i，没有匹配到的跟踪预测标记为疑似消失目标，没有匹配到的检测目标标记为疑似新目标；跟踪预测i连续I帧标记疑似消失目标，则加入标记为消失目标U_i，检测目标j连续J帧标记疑似新目标，则设为新目标。

5.根据权利要求4述的方法，其特征在于，步骤3包括：

步骤3-1，背景模型初始化：将视频的第一帧作为背景模型，将该帧中每一个像素点(x，y)的领域N_g(x,y)周围随机取N个像素点，填充该像素点的样本集M₀(x,y)：

M₀(x,y)＝{v₀(z|z∈N_g(x,y))}

式中z表示随机取的像素，v₀表示像素点(x，y)的领域周围随机取N个像素点的计算过程；

步骤3-2，前景检测：遍历新一帧图像的每个像素点v_i(x,y)，判断像素点与样本集M₀(x,y)之差D(x,y)＝v₀(x,y)-v_i(x,y)|v_i(x,y)∈M₀(x,y)，D(x,y)中大于阈值T_v的个数R(x,y)＝∑1[D(x,y)≥T_v]，如果R(x,y)大于阈值T_R，则设为运动前景，像素值置1，背景置0；

步骤3-3，背景更新；

步骤3-4，对运动检测后的视频帧进行开运算和闭运算，并进行轮廓检测，并去掉轮廓包含的像素小于阈值的小轮廓，计算轮廓的外接矩形得到最终运动目标检测的输出。

6.根据权利要求5所述的方法，其特征在于，步骤3-3包括：

同时满足以下三种策略时将像素点更新为背景：

1)每个背景像素点都有φ的概率更新该背景像素点的模型样本集M₀(x,y)中的值；

2)以φ的概率去更新该像素点领域的模型样本值；

3)对像素点进行统计，如果一个像素点连续n次被检测为前景，则将其更新为背景点。