CN106874949B - 基于红外图像的运动成像平台运动目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于红外图像的动平台运动目标检测方法，属于计算机视觉领域；该方法提取红外序列图像的SURF特征点，对特征点进行匹配，计算仿射矩阵，获得配准图像；之后采用线性回归修正配准图像的像素灰度值，进行帧间差分，获得可疑运动目标二值图像；再进行形态学滤波；最后对可疑目标边缘像素利用区域梯度统计直方图校正，获得当前帧检测结果图；本发明还实现了一种基于红外图像的动平台运动目标检测系统；本发明技术方案法在运动成像平台下的红外序列图像运动目标检测中具有很好的实时性和鲁棒性，适用于存在非均匀性亮度变化的红外运动序列图像。

Description

基于红外图像的运动成像平台运动目标检测方法及系统

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于红外图像的运动成像平台运动目标检测方法和系统。

背景技术

运动目标检测是从序列图像中提取出运动物体，是计算机视觉中目标识别、跟踪和行为分析等后续处理的基础。运动成像平台下的红外图像运动目标检测，由于成像平台和目标都在运动，增加了运动目标检测的难度。另外，红外成像存在非均匀性亮度变化问题，在运动成像平台下，相同位置对应像素在序列图像中表现的灰度强度存在较大差异。因此，“平台动、目标动、背景动”条件下的目标检测问题更加困难。

目前运动成像平台下的运动目标检测方法主要是在背景运动补偿下进行，通过背景运动参数和变换模型对连续帧进行配准，将运动成像平台成像转化成静平台成像。

赖作镁等提出了基于鲁棒背景运动补偿的动目标检测算法，该算法在进行运动补偿后的前一帧和当前帧之间做光流，用光流的大小判断前景和背景。由于光流法计算复杂，对噪声敏感，要求亮度恒常性，难以适应存在非均匀性亮度变化的红外图像。

张天序在其申请的专利“一种动平台地面运动目标检测方法”(专利申请号201110114555.5，公开号CN102184550B)中公开了一种基于SIFT特征快速配准、利用多尺度运动显著性检验和多帧差分进行运动成像平台地面运动目标检测的方法。此方法能很好的解决运动成像平台情况下的背景补偿问题，对场景中的光学变化和背景干扰有很好的鲁棒性。然而由于SIFT特征的复杂性以及多尺度运动显著性的检验需要花费比较多的时间，而且在配准存在偏差时，对检测结果影响较大。

运动补偿后帧间背景相对静止，用帧差法检测得到的帧间差异像素主要为待检测的运动目标。帧差法虽然运算简单，但是也容易受红外成像的非均匀性干扰，使得检测结果产生虚警。又由于运动补偿还存在误差，也会使得帧差法产生虚警。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于红外图像的运动成像平台运动目标检测方法及系统，其目的在于利用红外图像的SURF特征点对运动图像序列帧间进行配准，采用线性回归对红外图像灰度值进行修正，最后采用区域梯度直方图校正，由此抑制了红外成像的非均匀性问题，提高了本发明方法估测可疑运动目标的准确性，减少了对配准精度的要求，提高对配准的鲁棒性，又由于只对边缘像素点进行区域梯度直方图统计，极大的减少了计算量。

为实现上述目的，按照本发明的一个方面，提供了一种基于红外图像的运动成像平台运动目标检测方法，该方法包括以下步骤：

(1)对当前帧红外图像构造尺度空间，采用非极大值抑制确定特征点；构造SURF特征点描述子并保存；

(2)使用SURF特征点和单应性变化模型快速、准确地对运动图像序列帧间进行配准，从而补偿因为运动成像平台成像造成的帧间背景的平移、旋转和缩放量；以当前帧为基准帧，与其前第K帧图像和前第2K帧图像进行SURF特征点匹配，计算仿射矩阵，获得前第K帧图像和前第2K帧图像的仿射变换图像；

(3)经过步骤(2)对运动图像序列帧间配准后，获得的配准帧与当前帧之间背景是相对静止的，消除了由于成像平台运动引起的场景中背景的平移、旋转、缩放等变化，但由于红外成像的非均匀性，导致场景中背景帧间对应位置的像素灰度值存在差异，采用线性回归修正配准图像对应位置的像素灰度值；

本发明利用配准后的帧间相同位置对应像素点灰度值受红外成像非均匀性影响，存在线性关系，通过利用线性回归对当前帧和配准帧进行随机采样得到的相同位置的灰度值点对进行拟合，获得线性关系参数截距a和斜率b，通过线性关系参数修正配准帧像素的灰度值，分别计算获得前第K帧修正图像和前第2K帧修正图像；

分别以前第K帧仿射变换图像和前第2K帧仿射变换图像为参考帧，对当前帧和参考帧进行随机采样N个点，采用最小化χ²(a,b)线性回归方法进行拟合：

其中，y_i和x_i分别是当前帧和参考帧图像灰度值，a是截距，b是斜率；通过拟合函数对参考帧所有像素的灰度值进行修正，获得前第K帧修正图像和前第2K帧修正图像；

(4)当前帧分别与前第K帧修正图像和前第2K帧修正图像相减，获得差分图像1和差分图像2；取作为二值化阈值，其中，c是常数项，分别对差分图像1和差分图像2进行二值化，大于二值化阈值的像素标记为可疑目标；对二值化后的差分图像1和差分图像2取交集，获得可疑运动目标二值图像；

(5)对可疑运动目标二值图像进行形态学闭操作滤波；

(6)以滤波后可疑运动目标二值图像的边缘像素点为中心划分一个区域，利用当前帧和前第2K帧修正图像内相应区域内像素点的区域梯度统计直方图进行校正，获得运动目标二值图像。

进一步地，所述步骤(6)具体分为以下子步骤：

(21)遍历可疑运动目标二值图像，寻找本身标记为运动目标但八邻域不全为运动目标的像素点，即为边缘像素点；

(22)以边缘像素点为中心，取m×m的区域，计算区域位置对应的当前帧和前第2K帧修正图像内每个像素点的梯度幅值和方向；所述m根据目标大小尺寸调整，优选m取值为7；

(23)将360度根据需求分割为x个区间，根据每个像素点的梯度方向，利用双线性内插值法将幅值累加到直方图中，分别获得基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图；所述x的取值范围为8到36之间，优选x等于18；

(24)分别对基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图进行归一化；

(25)计算基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图的差值，差值的绝对值之和小于目标阈值则重新标记为背景，大于目标阈值则标记为已校正可疑目标边缘像素点；所述目标阈值取值范围为0.4到0.6，优选0.5；

(26)返回步骤(21)，直到当前帧中所有边缘像素点都进行过校正，获得最终运动目标检查结果图。

按照本发明的另一方面，提供了一种基于红外图像的运动成像平台运动目标检测系统，该系统包括以下部分：

特征确定模块，用于对当前帧红外图像构造尺度空间，采用非极大值抑制确定特征点；构造SURF特征点描述子并保存；

特征配准模块，用于以当前帧为基准帧，与其前第K帧图像和前第2K帧图像进行SURF特征点匹配，计算仿射矩阵，获得前第K帧图像和前第2K帧图像的仿射变换图像；

灰度修正模块，用于分别以前第K帧仿射变换图像和前第2K帧仿射变换图像为参考帧，对当前帧和参考帧进行随机采样N个点，采用最小化χ²(a,b)线性回归方法进行拟合：

其中，y_i和x_i分别是当前帧和参考帧图像灰度值，a是截距，b是斜率；通过拟合函数对参考帧所有像素的灰度值进行修正，获得前第K帧修正图像和前第2K帧修正图像；

二值化模块，用于当前帧分别与前第K帧修正图像和前第2K帧修正图像相减，获得差分图像1和差分图像2；取作为二值化阈值，其中，c是常数项；分别对差分图像1和差分图像2进行二值化，大于二值化阈值的像素标记为可疑目标；对二值化后的差分图像1和差分图像2取交集，获得可疑运动目标二值图像；

滤波模块，用于对可疑运动目标二值图像进行形态学闭操作滤波；

目标获取模块，以滤波后可疑运动目标二值图像的边缘像素点为中心划分一个区域，利用当前帧和前第2K帧修正图像内相应区域内像素点的区域梯度统计直方图进行校正，获得运动目标二值图像。

进一步地，所述目标获取模块具体包括以下单元：

边缘获取单元，用于遍历可疑运动目标二值图像，寻找本身标记为运动目标但八邻域不全为运动目标的像素点，即为边缘像素点；

梯度计算单元，用于以边缘像素点为中心，取m×m的区域，计算区域位置对应的当前帧和前第2K帧修正图像内每个像素点的梯度幅值和方向；所述m根据目标大小尺寸调整，优选m取值为7；

直方图统计单元，用于将360度根据需求分割为x个区间，根据每个像素点的梯度方向，利用双线性内插值法将幅值累加到直方图中，分别获得基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图；所述x的取值范围为8到36之间，优选x等于18；

归一化单元，用于分别对基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图进行归一化；

边缘修正单元，用于计算基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图的差值，差值的绝对值之和小于目标阈值则重新标记为背景，大于目标阈值则标记为已校正可疑目标边缘像素点；所述目标阈值取值范围为0.4到0.6，优选0.5；

循环单元，用于返回步骤边缘获取单元，直到当前帧中所有边缘像素点都进行过校正，获得最终运动目标检查结果图。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)采用线性回归对红外图像灰度值进行修正，抑制了红外成像的非均匀性问题，提高了本发明方法估测可疑运动目标的准确性；

(2)采用区域梯度直方图校正，减少了对配准精度的要求，提高对配准的鲁棒性，又由于只对边缘像素点进行区域梯度直方图统计，极大的减少了计算量，同时避免了的平坦区域出现空洞。

附图说明

图1为本发明的方法实现流程图；

图2a为实施例当前帧图像；

图2b为实施例当前帧前第K帧图像；

图2c为实施例当前帧前第2K帧图像；

图3b为实施例当前帧前第K帧图像的仿射变换图像；

图3c为实施例当前帧前第2K帧图像的仿射变换图像；

图4a为实施例当前帧前第K帧图像的灰度修正图像；

图4b为实施例当前帧前第2K帧图像的灰度修正图像；

图5a为实施例当前帧的可疑运动目标二值图像；

图5b为实施例形态学滤波后可疑运动目标二值图像；

图5c为实施例当前帧最终检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

采用如图1所示本发明方法步骤，对图2所示320×256大小的红外图像进行目标检测：

(1)对图2a当前帧、图2b当前帧前第K帧图像和图2c当前帧前第2K帧图像构造尺度空间，其中K取数值3，采用非极大值抑制确定特征点；构造SURF特征点描述子并保存；

(2)以当前帧为基准帧，与其前第K帧图像和前第2K帧图像进行SURF特征点匹配，计算仿射矩阵，获得前第K帧图像和前第2K帧图像的仿射变换图像，如图3b和3c所示；

(3)分别以前第K帧仿射变换图像和前第2K帧仿射变换图像为参考帧，对当前帧和参考帧进行随机采样300个点，采用最小化χ²(a,b)线性回归方法进行拟合：

其中，y_i和x_i分别是当前帧和参考帧图像灰度值，a是截距，b是斜率；通过拟合函数对参考帧所有像素的灰度值进行修正，获得前第K帧灰度修正图像和前第2K帧灰度修正图像，如图4a和4b所示；

(4)当前帧分别与前第K帧修正图像和前第2K帧修正图像相减，获得差分图像1和差分图像2；取作为二值化阈值，其中，c是常数项，取数值2，分别对差分图像1和差分图像2进行二值化，大于二值化阈值的像素标记为可疑目标；对二值化后的差分图像1和差分图像2取交集，获得可疑运动目标二值图像，如图5a所示；

(5)对可疑运动目标二值图像进行形态学膨胀操作，再进行形态学腐蚀操作，根据目标大小选择合适的滤波模板，示例中采用3×3的正方形模板，滤波后如图5b所示；

(6)寻找边缘像素点。遍历可疑运动目标二值图像，标记为可疑目标的像素点，其八邻域像素点不全为可疑目标像素点，即认为是边缘像素点；

以边缘像素点位置为中心，取7×7的区域，计算当前帧和配准帧对应该区域内像素点的梯度，将360度分割成若18个区间，根据每个像素点的梯度方向，利用双线性内插值法将幅值累加到直方图中；

对梯度统计直方图进行归一化，即将每个区间的幅值除以所有区间幅值之和，取当前帧与其前第2K帧图像对应位置点的梯度统计直方图差的绝对值之和，小于阈值0.5则将可疑目标边缘像素点重新标记为背景，大于阈值则标记为已校正边缘像素点；

遍历完全图后再重新遍历，至到所有的边缘像素点都被标记为已校正边缘像素点，最后得到如图5c所示检测目标。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于红外图像的运动成像平台运动目标检测方法，其特征在于，该方法包括以下步骤：

(1)对当前帧、当前帧前第K帧和当前帧前第2K帧红外图像构造尺度空间，采用非极大值抑制确定特征点；构造SURF特征点描述子并保存；

(2)使用SURF特征点和单应性变化模型对运动图像序列帧间进行配准，从而补偿因为运动成像平台成像造成的帧间背景的平移、旋转和缩放量；以当前帧为基准帧，与其前第K帧图像和前第2K帧图像进行SURF特征点匹配，计算仿射矩阵，获得前第K帧图像和前第2K帧图像的仿射变换图像；

(3)分别以前第K帧仿射变换图像和前第2K帧仿射变换图像为参考帧，对当前帧和参考帧进行随机采样N个点，采用最小化χ²(a,b)线性回归方法进行拟合：

其中，y_i和x_i分别是当前帧和参考帧图像灰度值，a是截距，b是斜率；通过拟合函数对参考帧所有像素的灰度值进行修正，获得前第K帧修正图像和前第2K帧修正图像；通过利用线性回归对当前帧和配准帧进行随机采样得到的相同位置的灰度值点对进行拟合，获得线性关系参数截距a和斜率b；

(4)当前帧分别与前第K帧修正图像和前第2K帧修正图像相减，获得差分图像1和差分图像2；取作为二值化阈值，其中，c是常数项，分别对差分图像1和差分图像2进行二值化，大于二值化阈值的像素标记为可疑目标；对二值化后的差分图像1和差分图像2取交集，获得可疑运动目标二值图像；

(5)对可疑运动目标二值图像进行形态学膨胀操作，再进行形态学腐蚀操作，根据目标大小选择滤波模板；

(6)以滤波后可疑运动目标二值图像的边缘像素点为中心划分一个区域，利用当前帧和前第2K帧修正图像内相应区域内像素点的区域梯度统计直方图进行校正，获得运动目标二值图像。

2.根据权利要求1所述的一种基于红外图像的运动成像平台运动目标检测方法，其特征在于，所述步骤(6)具体分为以下子步骤：

(21)遍历可疑运动目标二值图像，寻找本身标记为运动目标但八邻域不全为运动目标的像素点，即为边缘像素点；

(22)以边缘像素点为中心，取m×m的区域，计算区域位置对应的当前帧和前第2K帧修正图像内每个像素点的梯度幅值和方向，所述m根据目标大小尺寸调整；

(23)将360度根据需求分割为x个区间，根据每个像素点的梯度方向，利用双线性内插值法将幅值累加到直方图中，分别获得基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图；所述x的取值范围为8到36之间；

(24)分别对基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图进行归一化；

(25)计算基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图的差值，差值的绝对值之和小于目标阈值则重新标记为背景，大于目标阈值则标记为已校正可疑目标边缘像素点；所述目标阈值取值范围为0.4到0.6；

(26)返回步骤(21)，直到当前帧中所有边缘像素点都进行过校正，获得最终运动目标检查结果图。

3.一种基于红外图像的运动成像平台运动目标检测系统，其特征在于，该系统包括以下模块：

特征确定模块，用于对当前帧、当前帧前第K帧和当前帧前第2K帧红外图像构造尺度空间，采用非极大值抑制确定特征点；构造SURF特征点描述子并保存；

特征配准模块，用于使用SURF特征点和单应性变化模型对运动图像序列帧间进行配准，从而补偿因为运动成像平台成像造成的帧间背景的平移、旋转和缩放量；以当前帧为基准帧，与其前第K帧图像和前第2K帧图像进行SURF特征点匹配，计算仿射矩阵，获得前第K帧图像和前第2K帧图像的仿射变换图像；

灰度修正模块，用于分别以前第K帧仿射变换图像和前第2K帧仿射变换图像为参考帧，对当前帧和参考帧进行随机采样N个点，采用最小化χ²(a,b)线性回归方法进行拟合：

其中，y_i和x_i分别是当前帧和参考帧图像灰度值，a是截距，b是斜率；通过拟合函数对参考帧所有像素的灰度值进行修正，获得前第K帧修正图像和前第2K帧修正图像；通过利用线性回归对当前帧和配准帧进行随机采样得到的相同位置的灰度值点对进行拟合，获得线性关系参数截距a和斜率b；

二值化模块，用于当前帧分别与前第K帧修正图像和前第2K帧修正图像相减，获得差分图像1和差分图像2；取作为二值化阈值，其中，c是常数项；分别对差分图像1和差分图像2进行二值化，大于二值化阈值的像素标记为可疑目标；对二值化后的差分图像1和差分图像2取交集，获得可疑运动目标二值图像；

滤波模块，用于对可疑运动目标二值图像进行形态学膨胀操作，再进行形态学腐蚀操作，根据目标大小选择滤波模板；

目标获取模块，以滤波后可疑运动目标二值图像的边缘像素点为中心划分一个区域，利用当前帧和前第2K帧修正图像内相应区域内像素点的区域梯度统计直方图进行校正，获得运动目标二值图像。

4.根据权利要求1所述的一种基于红外图像的运动成像平台运动目标检测系统，其特征在于，所述目标获取模块具体包括以下单元：

边缘获取单元，用于遍历可疑运动目标二值图像，寻找本身标记为运动目标但八邻域不全为运动目标的像素点，即为边缘像素点；

梯度计算单元，用于以边缘像素点为中心，取m×m的区域，计算区域位置对应的当前帧和前第2K帧修正图像内每个像素点的梯度幅值和方向，所述m根据目标大小尺寸调整；

直方图统计单元，用于将360度根据需求分割为x个区间，根据每个像素点的梯度方向，利用双线性内插值法将幅值累加到直方图中，分别获得基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图；所述x的取值范围为8到36之间；归一化单元，用于分别对基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图进行归一化；

边缘修正单元，用于计算基于当前帧和基于前第2K帧修正图像的区域梯度统计直方图的差值，差值的绝对值之和小于目标阈值则重新标记为背景，大于目标阈值则标记为已校正可疑目标边缘像素点；所述目标阈值取值范围为0.4到0.6；

循环单元，用于返回步骤边缘获取单元，直到当前帧中所有边缘像素点都进行过校正，获得最终运动目标检查结果图。