CN110910420B - 一种基于图像流的移动目标检测追踪方法 - Google Patents

Abstract

本发明涉及一种基于图像流的移动目标检测追踪方法，用获取的背景图像进行背景建模，基于背景模型对获取的图像流进行前背景分割以及形态学操作得到候选区域；根据前景所占的比例判定是否重建背景模型；设置局部面积阈值对候选区域进行筛选，通过训练好的分类器对筛选后的候选区域进行目标判定，剔除非目标区域；相邻图像帧内目标区域匹配特征，记录同一目标的位置信息变化，实现基于图像流的多移动目标追踪。与现有技术相比，本发明能够基于间隔拍摄的图像流对目标追踪，使用场景丰富，相比传统基于视频的追踪方法，占用存储空间小，克服了存储容量不足的缺陷，同时借助背景自动更新策略，能够满足全天候不间断工作的需求。

Description

一种基于图像流的移动目标检测追踪方法

技术领域

本发明涉及智能监控领域，尤其是涉及一种基于图像流的移动目标检测追踪方法。

背景技术

移动目标检测追踪一直是安防领域的重要研究方向，随着社会的发展，各种基础设备建设的蓬勃兴起，对安防领域移动目标检测追踪的技术需求也日益强烈。

目前，目标检测追踪技术主要以视频素材为分析对象，检测出感兴趣目标后通过分析视频中提取出的帧序列来进行目标追踪。然而在一些远程监控的情况下，受限于物理线路搭建困难和无线传输流量消耗大两方面，视频素材的传输难以实现，需要一种在间隔拍摄的图像流中进行移动目标检测追踪的方法。在对户外场景的监控中，环境变化对从图像流中检测目标造成的干扰也将直接影响到后续追踪的正确性。

公开号为CN104268899A的中国专利申请公开一种基于帧间差分和背景差分的运动目标检测方法，该方法结合帧间差分和背景差分策略，在相邻两帧图像中检测运动目标，但该方法在背景环境也发生变化的情况下会出现大量目标误判，难以满足长时间户外场景的监控需求。公开号为CN106296732B的中国专利申请公开了一种复杂背景下的运动目标追踪方法，利用meanshift进行目标追踪，但该方法在使用图像流做输入的情况下目标追踪准确率低。P KaewTraKulPong提出高斯混合模型对背景建模，该算法在图像流做输入时无法正确对复杂背景进行建模。

发明内容

本发明的目的是为了克服上述现有技术存在的缺陷而提供一种基于图像流的移动目标检测追踪方法。

本发明的目的可以通过以下技术方案来实现：

一种基于图像流的移动目标检测追踪方法，用获取的背景图像进行背景建模，基于背景模型对获取的图像流进行前背景分割以及形态学操作得到候选区域；根据前景所占的比例判定是否重建背景模型；设置局部面积阈值对候选区域进行筛选，通过训练好的分类器对筛选后的候选区域进行目标判定，剔除非目标区域；相邻图像帧内目标区域匹配特征，记录同一目标的位置信息变化，实现基于图像流的多移动目标追踪。

进一步地，具体包括以下步骤：

S1、获取背景图像，进行背景建模，背景图片记为I_B；

S2、获取图像流，对图像进行前背景分割，分割的结果为二值图像，新的图像帧记为I_i，生成的二值图像记为B_i；

S3、对二值化分割结果进行形态学操作，即噪声去除和孔洞填充，结果记为B′_i；

S4、统计前景所占的像素数目，通过前景所占比例对背景模型更新进行判定；

S5、根据B′_i中前景位置选择目标候选区域，设置局部面积阈值对候选区域进行筛选，面积上限记为T_max，下限记为T_min，将面积位于该范围以外的候选区域去除，留下的候选区域组成集合S_i；

S6、对集合S_i利用训练好的二分类器进行目标筛选，去除非目标区域，得到集合S′_i；

S7、对下一帧图像I_i+1重复步骤S2～S6，得到集合S′_i+1；对集合S′_i中的每个区域F_i，j与集合S′_i+1中的每个区域F_i+1，k进行特征匹配，记录同一目标位置信息变化，实现基于图像流的多移动目标追踪。

进一步地，所述的步骤S1中，对背景图片I_B中的每一个像素点建立一个大小为N的样本集，在像素点n×n的邻域内随机选取像素灰度值作为样本集的样本值，生成背景模型M_init。

进一步地，所述的步骤S2中，新的图像帧中(x，y)处的像素灰度值I(x，y)和背景模型M_init对应位置的样本集T_x，y进行对比，判断该像素是否属于背景点，其计算表达式如下：

其中，T_match为每个像素灰度值与背景模型样本集中样本点的匹配阈值，temp用于统计匹配的样本数目，其中i∈[1，N]；temp中元素值为1的个数超过预定最小匹配个数Num_match，则位置(x，y)处的像素点属于背景点，否则该像素点属于前景点，对背景点所在位置赋灰度值0，前景点所在位置赋灰度值255，生成二值图像B_i。

进一步地，所述的步骤S3中，具体展开为：

S31、对前背景分割后的二值图像B_i进行形态学操作，采用腐蚀操作去除噪声，其计算表达式为：

其中，x′，y′指示邻域像素点位置，B_e(x，y)为腐蚀操作后的结果；

S32、由前景和背景灰度值相似造成的前景内部孔洞，通过膨胀操作进行填充，其计算表达式为：

其中，x′，y′指示邻域像素点位置，B′_i为膨胀操作后的二值图像。

进一步地，所述的步骤S4中，具体展开为：

S41、判断形态学操作结果中前景区域像素数目是否小于等于1/3×W×H，H表示图像的高度，W表示图像的宽度，若是，则执行步骤S5；若否，则用当前的图像帧I_i做背景，采用步骤S1重新进行背景建模；

S42、后续的图像帧I_i+1、I_i+2和I_i+3在背景模型下分割前景，分割结果分别记为

和

采用以下表达式累计前景位置生成掩模：

其中，x∈[1，W]，y∈[1，H]；

S43、利用

作为掩模，对当前的图像帧I_i采用基于偏微分方差的修补算法填补

中像素值为255的区域，结果记为

用

替换步骤S1中的I_B，重复步骤S1重新建立背景模型。

进一步地，所述的步骤S5中，具体展开为：

S51、对形态学操作后的二值图像B′_i应用连通域分析，得到多个连通区域，每个连通区域对应一个候选区域，从图像帧I_i中选取对应位置像素组成候选区域；

S52、分别拟合每个候选区域的最小外接矩形，并根据该候选区域中心像素的纵坐标y_c计算局部面积阈值，其计算表达式如下：

其中，A和a分别是图像中目标的最大面积和最小面积，如果候选区域最小外接矩形面积不在范围[T_min，T_max]内，将该候选区域排除，重复以上操作，留下的候选区域组成集合S_i。

进一步地，所述的步骤S6中，对候选区域集合S_i中的每个区域提取HOG特征，利用二分类器进行目标判别，去除非目标区域，得到集合S′_i，连通区域个数为W_i。

进一步地，所述的步骤S7中，具体展开为：

S71、对下一个图像帧I_i+1重复步骤S2～S6，得到集合S′_i+1，连通区域个数为W_i+1；

S72、对集合S′_i中的每个区域F_i，j与集合S′_i+1中的每个区域F_i+1，k进行特征提取，其中j∈[1，W_i]，k∈[1，W_i+1]；以区域中每个像素为中心像素，提取周围以3为半径所形成的圆上16个像素灰度值，若有连续9个像素点与中心像素灰度差值的绝对值超过阈值T_d，则该中心像素为候选点；对候选点应用Harris计算角点响应，并利用响应值由大到小对候选点排序，选取前30％的点作为特征点；

S73、集合S′_i中的每个区域F_i，j与集合S′_i+1中的每个区域F_i+1，k利用BRIEF和汉明距离进行特征点描述与相似度计算，相似度最高的区域包含同一目标；

S74、对所有目标区域采用矩形拟合获得目标位置和尺寸信息，相邻图像帧之间相似度最高的目标位置和尺寸信息将被存储在同一向量中，当目标离开视野，将记录向量重置。

进一步地，所述的二分类器的训练过程为：

A1、在监控场景数据中，预先筛选足够数量的正样本和负样本，正样本中应包含所有需要识别的目标种类，负样本根据正样本出现的场景进行截取；

A2、对正负样本分别经过颜色空间归一化、梯度计算、梯度直方图统计和重叠块直方图归一化四个步骤来提取HOG特征；

A3、对正负样本的HOG特征通过支持向量机SVM进行训练，生成一个能判别目标的二分类器。

与现有技术相比，本发明具有以下优点：

1、本发明是基于间隔拍摄的图像流的移动目标检测追踪方法，适用场景丰富，相比传统基于视频的追踪方法，占用存储空间小，克服了存储容量不足的缺陷，可有效降低远程监控布线与数据传输成本。

2、本发明采用局部面积阈值和机器学习相结合的方式筛选目标，精确度高，实时性强；

3、本发明通过自动生成新背景模型的方式应对剧烈环境变化，适应性高，能满足全天候不间断工作的需求。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供了一种基于图像流的移动目标检测追踪方法，可以通过以下步骤实现：

步骤S1、输入背景图片，图片的宽和高分别为W＝530，H＝300，对背景图片I_B中的每一个像素点建立一个大小为20的样本集，在像素点3×3的邻域内随机选取像素灰度值作为样本集的样本值，生成背景模型M_init。其中的重要控制参数定义如下：

步骤S2、输入后续的图像流，新的图像帧在当前背景模型上进行前背景分割，计算方法如下：

像素点的灰度值I(x，y)与样本集T_x，y中的样本灰度值进行比较，用temp统计匹配的样本数目，其中i∈[1，20]，T_match取值为20；若temp中元素值为1的个数超过预定最小匹配个数3，则当前位置(x，y)处的像素点属于背景点，否则该像素点属于前景点，对背景点所在位置赋灰度值0，前景点所在位置赋灰度值255，生成二值图像B_i；

计算过程中的阈值控制参数可定义如下：

步骤S3、对包含移动目标位置信息的二值图像B_i进行形态学操作，采用腐蚀操作去除噪声，计算方式如下：

其中x′，y′指示邻域像素点位置，B_e(x，y)为腐蚀操作后的结果；

通过膨胀操作对由前景和背景灰度值相似造成的前景内部孔洞进行填充，计算方式如下：

B′_i为膨胀操作后的二值图像。

所用的腐蚀和膨胀函数如下：

void erode(InputArray src，OutputArray dst，InputArray kernel)

void dilate(InputArray src，OutputArray dst，InputArray kernel)

步骤S4、统计形态学操作结果中前景区域像素数目，若不满足条件，进行背景更新。步骤S4的背景更新的具体操作如下：

(1)统计形态学操作结果中前景区域像素数目，当像素数目不超过53000，执行步骤S5；

(2)当像素数目超过53000，用当前的图像帧I_i做背景，采用步骤S1生成背景模型M_mid；

(3)后续的图像帧I_i+1、I_i+2和I_i+3在背景模型M_mid下分割前景，分割结果分别记为

和

采用以下方式累计生成掩模：

其中x∈[1，530]，y∈[1，300]；

(4)利用

作为掩模，对当前的图像帧I_i采用基于偏微分方差的修补算法填补

中像素值为255的区域，结果记为

用

替换S1中的I_B，重复步骤S1重新建立背景模型M_init，之后返回到步骤S2按顺序执行。

步骤S5、对候选区域进行筛选，具体操作如下：

(1)对形态学操作后的二值图像B′_i应用连通域分析，得到多个连通区域，每个连通区域对应一个候选区域，从图像帧I_i中选取对应位置像素组成候选区域；

(2)分别拟合每个候选区域的最小外接矩形，假设消失点与监控相机构成的方向为纵向，根据该候选区域中心像素的纵坐标y_c计算局部面积阈值，计算方式如下：

其中A和a分别是图像中目标的最大面积和最小面积，在本实例中取值分别为20000和3000。如果候选区域面积不在范围[T_min，T_max]内，将该候选区域排除，重复以上操作，留下的候选区域组成集合S_i。

步骤S6、对候选区域集合S_i中的每个区域提取HOG特征，利用训练好的二分类器进行目标判别，去除非目标区域，得到集合S′_i，连通区域个数为W_i。

步骤S7、在每一帧上识别出候选区域后，对相邻图像帧间的所有目标区域进行匹配，找到同一目标在相邻图像帧之间的运动路径，实现对目标的追踪，具体操作如下：

(1)对下一个图像帧I_i+1重复步骤S2～S6，得到集合S′_i+1，连通区域个数为W_i+1；

(2)对集合S′_i中的每个区域F_i，j与集合S′_i+1中的每个区域F_i+1，k进行特征提取，其中j∈[1，W_i]，k∈[1，W_i+1]；以区域中每个像素为中心像素，提取周围以3为半径所形成的圆上16个像素灰度值，若有连续9个像素点与中心像素差值的绝对值超过阈值50，则该中心像素为候选点；对候选点应用Harris计算角点响应，并利用响应值由大到小对候选点排序，选取前30％的点作为特征点；

(3)集合S′_i中的每个区域F_i，j与集合S′_i+1中的每个区域F_i+1，k利用BRIEF和汉明距离来进行特征点描述与相似度计算，相似度最高的区域包含同一目标；

(4)对所有目标区域采用矩形拟合获得目标位置和尺寸信息，相邻图像帧之间相似度最高的目标位置和尺寸信息将被存储在同一向量中，当目标离开视野，将记录向量重置。

步骤S6中二分类器的具体训练过程如下：

(1)正样本内包含所有需要识别的目标图片，负样本根据正样本出现的场景进行筛选；

(2)提取HOG特征，所用的HOG特征提取算子如下：

HOGDescriptor(Size win_size，Size block_size，Size block_stride，Sizecell_size，int nbins，double win_sigma，double threshold_L2hys，bool gamma_correction，int nlevels)；

(3)对正负样本的HOG特征通过支持向量机SVM进行训练，生成一个能够进行目标判别的二分类器。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于图像流的移动目标检测追踪方法，其特征在于，用获取的背景图像进行背景建模，基于背景模型对获取的图像流进行前背景分割以及形态学操作得到候选区域；根据前景所占的比例判定是否重建背景模型；设置局部面积阈值对候选区域进行筛选，通过训练好的分类器对筛选后的候选区域进行目标判定，剔除非目标区域；相邻图像帧内目标区域匹配特征，记录同一目标的位置信息变化，实现基于图像流的多移动目标追踪，具体包括以下步骤：

S1、获取背景图像，进行背景建模，背景图片记为I_B；

S2、获取图像流，对图像进行前背景分割，分割的结果为二值图像，新的图像帧记为I_i，生成的二值图像记为B_i；

S3、对二值化分割结果进行形态学操作，即噪声去除和孔洞填充，结果记为B′_i；

S4、统计前景所占的像素数目，通过前景所占比例对背景模型更新进行判定；具体展开为：

S41、判断形态学操作结果中前景区域像素数目是否小于等于1/3×W×H，H表示图像的高度，W表示图像的宽度，若是，则执行步骤S5；若否，则用当前的图像帧I_i做背景，采用步骤S1重新进行背景建模；

S42、后续的图像帧I_i+1、I_i+2和I_i+3在背景模型下分割前景，分割结果分别记为

和

采用以下表达式累计前景位置生成掩模：

其中，x∈[1,W],y∈[1,H]；

S43、利用

作为掩模，对当前的图像帧I_i采用基于偏微分方差的修补算法填补

中像素值为255的区域，结果记为

用

替换步骤S1中的I_B，重复步骤S1重新建立背景模型；

S5、根据B′_i中前景位置选择目标候选区域，设置局部面积阈值对候选区域进行筛选，面积上限记为T_max,下限记为T_min，将面积位于该范围以外的候选区域去除，留下的候选区域组成集合S_i；

S6、对集合S_i利用训练好的二分类器进行目标筛选，去除非目标区域，得到集合S′_i；

S7、对下一帧图像I_i+1重复步骤S2～S6,得到集合S′_i+1；对集合S′_i中的每个区域F_i,j与集合S′_i+1中的每个区域F_i+1,k进行特征匹配，记录同一目标位置信息变化，实现基于图像流的多移动目标追踪。

2.根据权利要求1所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的步骤S1中，对背景图片I_B中的每一个像素点建立一个大小为N的样本集，在像素点n×n的邻域内随机选取像素灰度值作为样本集的样本值，生成背景模型M_init。

3.根据权利要求1所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的步骤S2中，新的图像帧中(x,y)处的像素灰度值I(x,y)和背景模型M_init对应位置的样本集T_x,y进行对比，判断该像素是否属于背景点，其计算表达式如下：

其中，T_match为每个像素灰度值与背景模型样本集中样本点的匹配阈值，temp用于统计匹配的样本数目，其中i∈[1,N]；temp中元素值为1的个数超过预定最小匹配个数Num_match，则位置(x,y)处的像素点属于背景点，否则该像素点属于前景点，对背景点所在位置赋灰度值0，前景点所在位置赋灰度值255，生成二值图像B_i。

4.根据权利要求1所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的步骤S3中，具体展开为：

S31、对前背景分割后的二值图像B_i进行形态学操作，采用腐蚀操作去除噪声，其计算表达式为：

其中，x′,y′指示邻域像素点位置，B_e(x,y)为腐蚀操作后像素点(x,y)的结果；

S32、由前景和背景灰度值相似造成的前景内部孔洞，通过膨胀操作进行填充，其计算表达式为：

其中，x′,y′指示邻域像素点位置，B′_i为膨胀操作后的二值图像。

5.根据权利要求1所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的步骤S5中，具体展开为：

S51、对形态学操作后的二值图像B′_i应用连通域分析，得到多个连通区域，每个连通区域对应一个候选区域，从图像帧I_i中选取对应位置像素组成候选区域；

S52、分别拟合每个候选区域的最小外接矩形，并根据该候选区域中心像素的纵坐标y_c计算局部面积阈值，其计算表达式如下：

其中，A和a分别是图像中目标的最大面积和最小面积，如果候选区域最小外接矩形面积不在范围[T_min,T_max]内,将该候选区域排除，重复以上操作，留下的候选区域组成集合S_i。

6.根据权利要求1所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的步骤S6中，对候选区域集合S_i中的每个区域提取HOG特征，利用二分类器进行目标判别，去除非目标区域，得到集合S′_i，连通区域个数为W_i。

7.根据权利要求6所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的步骤S7中，具体展开为：

S71、对下一个图像帧I_i+1重复步骤S2～S6，得到集合S′_i+1，连通区域个数为W_i+1；

S72、对集合S′_i中的每个区域F_i,j与集合S′_i+1中的每个区域F_i+1,k进行特征提取，其中j∈[1,W_i]，k∈[1,W_i+1]；以区域中每个像素为中心像素，提取周围以3为半径所形成的圆上16个像素灰度值，若有连续9个像素点与中心像素灰度差值的绝对值超过阈值T_d，则该中心像素为候选点；对候选点应用Harris计算角点响应，并利用响应值由大到小对候选点排序，选取前30％的点作为特征点；

S73、集合S′_i中的每个区域F_i,j与集合S′_i+1中的每个区域F_i+1,k利用BRIEF和汉明距离进行特征点描述与相似度计算，相似度最高的区域包含同一目标；

S74、对所有目标区域采用矩形拟合获得目标位置和尺寸信息，相邻图像帧之间相似度最高的目标位置和尺寸信息将被存储在同一向量中，当目标离开视野，将记录向量重置。

8.根据权利要求1所述的一种基于图像流的移动目标检测追踪方法，其特征在于，所述的二分类器的训练过程为：

A1、在监控场景数据中，预先筛选足够数量的正样本和负样本，正样本中应包含所有需要识别的目标种类，负样本根据正样本出现的场景进行截取；

A2、对正负样本分别经过颜色空间归一化、梯度计算、梯度直方图统计和重叠块直方图归一化四个步骤来提取HOG特征；

A3、对正负样本的HOG特征通过支持向量机SVM进行训练，生成一个能判别目标的二分类器。

Images