CN111881915B - 一种基于多种先验信息约束的卫星视频目标智能检测方法 - Google Patents

Abstract

本发明公开了一种基于多种先验信息约束的卫星视频目标智能检测方法，包括：步骤1，获取卫星视频中图像，基于线性迭代算法对整张图像生成超像素；步骤2，基于人眼显著性模型计算各个超像素的边界连接性；步骤3，利用背景建模的方法生成图像的运动热图；步骤4，构建由背景、前景、运动热图三个先验信息约束的代价函数方程，并对该代价函数方程进行优化计算，通过最小二乘法计算出最终的显著性目标图。本发明利用多先验信息约束，大大提高了对卫星视频中光照变化以及卫星凝视角度细微差异的鲁棒性，并且以超像素为单位的计算，在有效抵抗像素级别干扰的同时也大大提升了计算速度。

Description

一种基于多种先验信息约束的卫星视频目标智能检测方法

技术领域

本发明涉及遥感技术领域，尤其涉及一种基于多种先验信息约束的卫星视频目标智能检测方法。

背景技术

遥感成像发展初期，我国获得的高分辨率航天光学遥感数据主要是静态图片。很难满足对诸如森林火灾、地震洪水等自然灾害的有效观测以及某些敏感地区的实时监控。视频卫星作为一种新型对地观测卫星，通过“凝视”成像方式对某一区域进行连续观测，特别适用于动态目标的观测。

与航空图像相比，卫星视频序列中的车辆像素范围从几像素到十几像素不等，同时也表现出与背景的低对比度。因此，没有可用的外观或形状信息可以提取出来，进行一个通用的分类算法。考虑到上述卫星视频的特点，当前主流的深度学习车辆检测算法，由于卷积操作的局限性无法在这类场景下提取到目标的特征而获得较好的检测结果。基于运动信息的检测方法可以实现对视频中感兴趣目标的检测，它通过与建立的背景模型进行比较，在图像中搜索变化的像素。针对移动目标检测，开发了帧差、中值背景建模、高斯混合模型、视觉背景提取器等多种算法。但是，由于CCD中的暗电流、量子效应、材质结构等局部的不同，存在许多其他的噪声，卫星“凝视”时角度的细微变化也使得卫星拍摄视频的过程中会产生诸如光照、角度变化等干扰，容易出现背景建模不足的问题，并受到相机运动引起的视差问题的影响。而基于显著性的方法，在背景复杂的卫星视频中常常会受到各种各样的干扰，在先验信息不足的情况下可能将路障或者道路上的显眼建筑误检为目标。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多种先验信息约束的卫星视频目标智能检测方法，通过基于人眼成像模型的视觉显著性方法来获得感兴趣目标，并将目标的检测转化为以背景模型和运动信息为核心构建的成本函数的优化问题，通过最小化代价函数获得最优弱小目标检测映射。实验证明，相比于其他算法，本文算法在检测结果准确度上取得了较好的结果，具有一定的优势。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于多种先验信息约束的卫星视频目标智能检测方法，该方法包括以下步骤：

步骤1，图像超像素分割：获取卫星视频中图像，基于线性迭代算法对整张图像生成超像素；

步骤2，超像素边界连接性计算：基于人眼显著性模型计算各个超像素的边界连接性；

步骤3，运动热图生成：利用背景建模的方法生成图像的运动热图；

步骤4，多种先验信息约束：将超像素边界连接性信息引入背景概率，分别得到背景和前景两个先验信息约束，将图像的运动热图也作为先验信息约束，构建由背景、前景、运动热图三个先验信息约束的代价函数方程，并对该代价函数方程进行优化计算，通过最小二乘法计算出最终的显著性目标图；

步骤2的具体方法为：

通过连接所有相邻的超像素(m，n)，计算出它们的平均颜色在CIE-LAB空间中的欧式距离E(m，n)，以此为权重构建一个无向加权图，进而计算出图像中所有超像素间的互相关性Cc(m，n)，定义为：

即对任意两个超像素，其互相关性为在无向加权图上最短路径的累计权重和，则每个超像素m所属的本征区域面积就为：

其中，N为超像素的总数，W(m,m_i)表示某个超像素m_i对m所在的本征区域的贡献权重；

类似地，定义某个超像素对本区域边界接触的“长度”为：

Z为与m相邻的超像素个数，δ为判断m与相邻超像素之间是否存在区域边界，存在则为1，不在则置为0，m_i∈Bd；

最终用下面的简化公式来计算超像素与边界的相关性：

步骤4中将超像素边界连接性信息引入背景概率的具体方法为：

将超像素边界连接性信息引入背景概率

作为一个新的权重式，该背景概率

是超像素p_i边界连接性的映射，其公式为：

与背景概率相对应的前景概率

为：

其中，σ_bndCon是映射超参数，当σ_bndCon∈[1,3]时，输出结果对该参数敏感，最终设置为2；

步骤4中构建由背景、前景、运动热图三个先验信息约束的代价函数方程为：

其中，将第N个超像素的边界连接性值定义为

W_i ^mv表示运动概率，表示为

Q_i为某个像素的运动标志位，nP为超参数中包含的像素个数。

进一步地，本发明的步骤1的具体方法为：

将输入的卫星视频图像转化到CIE-LAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，完成对图像像素进行局部聚类；设置预分割的超像素的数量Nr以及紧凑性参数Nc，通过迭代聚类生成满足紧凑性和数量要求的超像素。

进一步地，本发明的设置图像总像素个数和超像素个数之间的比值范围为120-140，通过图像总像素个数除以比值得到超像素的数量Nr，设置紧凑性参数Nc的取值范围为25-35。

进一步地，本发明的步骤3的具体方法为：

为了获得像素的运动热图，采用一种基于背景模型动态更新的运动背景检测方法：定义O_D(v(p))为以像素值p为中心、D为半径的区域集合，计算像素点p背景模型样本集中落在O_D(v(p))中的数目N；并根据实际图像环境设定一个阈值minY，当N<minY，则判定p为前景；当N>minY则判定p为背景；将运动热图中的每一个像素用一个运动标志位Q来表示，含有运动的设置为1，不含的设置为0，最后计算各个超像素的运动累加值，并归一化。

本发明产生的有益效果是：本发明的基于多种先验信息约束的卫星视频目标智能检测方法，针对卫星视频中背景复杂以及低分辨率的特点，通过挖掘图像中多种有用的先验信息并通过一个损失函数来最优化结果。有效地针对了卫星视频中光照变化以及“凝视”角度细微变化带来的干扰。并且不同于对像素的处理，通过生成紧凑的超像素，不但减少了像素级别的细微干扰也大大减少了计算量，兼顾了运动目标检测的精度和显著性检测的适应性，可满足实时处理的要求。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的基于卫星视频微小运动目标智能检测方法的流程图。

图2是本发明实施例中超像素分割的结果实例图。

图3(a)是本发明实施例中卫星视频微小运动目标检测的遥感视频图像帧；

图3(b)是本发明实施例中卫星视频微小运动目标检测的二值化的微小目标检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例基于遥感视频运动目标智能检测方法，包括以下步骤：

步骤1，图像超像素分割；

为了简化计算，首先利用线性迭代的方法将图像抽象为一组规则的超像素。该算法需要将输入图像转化到CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，完成对图像像素进行局部聚类。生成的超像素如同细胞一般紧凑整齐，领域特征比较容易表达，很适合将基于像素的计算方法拓展到基于超像素的方法。并且该算法需要设置的参数非常少，默认情况下只需要设置预分割的超像素的数量Nr以及紧凑性参数Nc。同时为了提升检测速度和精度，在原始超像素生成算法的基础上增加了以下操作：

①提出了一种快速RGB-LAB空间的转换算法，可以无任何浮点计算快速的将RGB转换到和原图占用内存一样大小的内存空间中，而后续的编码也证明这种转换的精度损失对于结果的影响是完全在可以接受的范围内的。

②去除了为了避免初始中心点落入图像的边缘或者噪音点的重定位操作，因为一般情况下图像的边缘宽度非一个像素宽，而噪音一般也不是一个孤立点。

③为了去除分割过程中的产生的一些较小的分割块，利用区域生长法找到图像中每个超像素的大小，然后把过于小的超像素合并到周边大的超像素中。

但是迭代算法中针对的图像均为目标特征明显的自然图像，其图像分辨率和目标尺寸均较大，为了适合卫星图像中目标的微小尺寸以及考虑到后续计算对边界平滑性的要求，我们在不同尺寸的图像上进行实验。

本实例中总像素个数和超像素个数之间的比值在130左右且紧凑性参数Nc为30时效果最好。结果如图2所示。

步骤2，超像素边界连接性计算；

由人眼视觉模型可知，我们观察到自然图像中的物体和背景区域在空间布局上有很大的不同。与背景区域相比，目标与图像边界的联系要少的多。为了更好地量化该模型，用一个边界连接公式来表示某个区域R的重要性，即该区域对图像边界的连接性。定义为：

其中，BndCon(R)表示边界连接公式，Bnd为图像边界块的集合，p为其中的一个图像块。

该公式有一个直观的集合解释，它是边界上某个区域的周长与整个区域的总周长之比(或者说是其面积的平方根)。对于背景区域来说，它的边界连接性通常较大；而对于目标区域，边界连接性通常较小。

公式1中的定义比较直观，但是计算较为困难。因为图像分割本身就是一个亟待解决的具有挑战性的任务，引入纯粹的分割算法不仅涉及到算法的选择以及误差的校准，而且还可能在区域上引入不连续的伪边界产生干扰。

通过连接所有相邻的超像素(m，n)，计算出它们的平均颜色在CIE-LAB空间中的欧式距离E(m，n)，以此为权重构建一个无向加权图。进而计算出图像中所有超像素间的互相关性Cc(m，n)，定义为：

即对任意两个超像素，其互相关性为在无向加权图上最短路径的累计权重和。则每个超像素m所属的本征区域面积就为：

式(3)中N为超像素的总数，W(m,mi)表示某个超像素mi对m所在的本征区域的贡献权重。当m_i和m属于同一区域，Cc(m,m_i)≈0，W(m,m_i)≈1；表明m_i对m的区域贡献了大约一个面积单位。当mi和m属于不同区域，说明在m_i到m的最短路径上存在至少一个区域界限(不同于超像素的边界)使得跨区两个超像素的E(m，n)>>σ，导致W(m,m_i)≈0，表明mi对m的区域面积基本没有贡献。实验表明当σ取值在[5,15]之间时对不同本征区域分离效果较好。同时这也用E(m，n)的取值反向印证了不同区域之间的界限规则。

类似地，定义某个超像素对本区域边界接触的“长度”为：

Z为与m相邻的超像素个数，δ(m_i∈Bd)为判断m与相邻超像素之间是否存在区域边界，存在则为1，不在则置为0。

最终用下面的简化公式来代替式(1)计算超像素与边界的相关性：

步骤3，运动热图生成；

考虑到仅仅通过显著性先验无法区分目标以及具有显著性的建筑物或者路障，为了较为敏感的获得像素的运动热图，采用一种基于背景模型动态更新的运动背景检测方法：定义O_D(v(p))为以像素值p为中心、D为半径的区域集合，计算像素点p背景模型样本集中落在O_D(v(p))中的数目N；并根据实际图像环境设定一个阈值minY，当N<minY，则判定p为前景；当N>minY则判定p为背景；将运动热图中的每一个像素用一个运动标志位Q来表示，含有运动的设置为1，不含的设置为0，最后计算各个超像素的运动累加值，并归一化。

步骤4，多种先验信息约束；

为了充分利用图像各方面的信息和特征，我们采用一个约束框架来直观地整合各层次先验信息。将突出目标检测问题建模为为所有图像超像素的显著性优化问题。该代价函数分别将目标区域赋值为1，背景区域赋值为0，并添加了基于运动信息的运动约束。通过最小化代价函数得到最优目标背景分割。

第一部分先验信息为之前定义的超像素的边界连接性，我们引入一个背景概率

作为一个新的权重式，该概率

是超像素p_i边界连接性的映射。当边界连接性值很大时该值接近于1，当边界连接性值很小时该值接近于0。定义为：

类似地，与背景概率相对应的前景概率

当边界连接性值很大时该值接近于0，当边界连接性值很小时该值接近于1。与背景概率相对应的前景概率

为：

其中，σ_bndCon是映射超参数，当σ_bndCon∈[1,3]时，输出结果对该参数敏感，最终设置为2。

构建由背景、前景、运动热图三个先验信息约束的代价函数方程为：

其中，将第N个超像素的边界连接性值定义为

W_i ^mv表示运动概率，表示为

Q_i为某个像素的运动标志位，nP为超参数中包含的像素个数。

该式中分别定义了背景、前景、运动信息三个约束先验信息的损失。均表示为平方差的形式，采用最小二乘法优化求解，具体步骤如下：

1、确定当前位置的损失函数的梯度，对于θi,其梯度表达式如下：

2、用步长乘以损失函数的梯度，得到当前位置下降的距离，即：

3、确定是否所有的θi,梯度下降的距离都小于算法终止距离ε，如果小于ε则算法终止，当前所有的θi(i＝0,1...n)即为最终结果。否则进入步骤4。

4、更新所有的θ，对于θi，其更新表达式如下。更新完毕后继续转入步骤1:

图3(a)是遥感视频图像帧，图3(b)是二值化的微小目标检测结果，可以看到公路上行驶的汽车已经从背景中被区分出来。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于多种先验信息约束的卫星视频目标智能检测方法，其特征在于，该方法包括以下步骤：

步骤1，图像超像素分割：获取卫星视频中图像，基于线性迭代算法对整张图像生成超像素；

步骤2，超像素边界连接性计算：基于人眼显著性模型计算各个超像素的边界连接性；

步骤3，运动热图生成：利用背景建模的方法生成图像的运动热图；

步骤4，多种先验信息约束：将超像素边界连接性信息引入背景概率，分别得到背景和前景两个先验信息约束，将图像的运动热图也作为先验信息约束，构建由背景、前景、运动热图三个先验信息约束的代价函数方程，并对该代价函数方程进行优化计算，通过最小二乘法计算出最终的显著性目标图；

步骤2的具体方法为：

通过连接所有相邻的超像素(m，n)，计算出它们的平均颜色在CIE-LAB空间中的欧式距离E(m，n)，以此为权重构建一个无向加权图，进而计算出图像中所有超像素间的互相关性Cc(m，n)，定义为：

即对任意两个超像素，其互相关性为在无向加权图上最短路径的累计权重和，则每个超像素m所属的本征区域面积就为：

其中，N为超像素的总数，W(m,m_i)表示某个超像素m_i对m所在的本征区域的贡献权重；

类似地，定义某个超像素对本区域边界接触的“长度”为：

Z为与m相邻的超像素个数，δ为判断m与相邻超像素之间是否存在区域边界，存在则为1，不在则置为0，m_i∈Bd；

最终用下面的简化公式来计算超像素与边界的相关性：

步骤4中将超像素边界连接性信息引入背景概率的具体方法为：

将超像素边界连接性信息引入背景概率

作为一个新的权重式，该背景概率

是超像素p_i边界连接性的映射，其公式为：

与背景概率相对应的前景概率

为：

其中，σ_bndCon是映射超参数，当σ_bndCon∈[1,3]时，输出结果对该参数敏感，最终设置为2；

步骤4中构建由背景、前景、运动热图三个先验信息约束的代价函数方程为：

其中，将第N个超像素的边界连接性值定义为

W_i ^mv表示运动概率，表示为

Q_i为某个像素的运动标志位，nP为超参数中包含的像素个数。

2.根据权利要求1所述的基于多种先验信息约束的卫星视频目标智能检测方法，其特征在于，步骤1的具体方法为：

将输入的卫星视频图像转化到CIE-LAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，完成对图像像素进行局部聚类；设置预分割的超像素的数量Nr以及紧凑性参数Nc，通过迭代聚类生成满足紧凑性和数量要求的超像素。

3.根据权利要求2所述的基于多种先验信息约束的卫星视频目标智能检测方法，其特征在于，设置图像总像素个数和超像素个数之间的比值范围为120-140，通过图像总像素个数除以比值得到超像素的数量Nr，设置紧凑性参数Nc的取值范围为25-35。

4.根据权利要求1所述的基于多种先验信息约束的卫星视频目标智能检测方法，其特征在于，步骤3的具体方法为：

为了获得像素的运动热图，采用一种基于背景模型动态更新的运动背景检测方法：定义O_D(v(p))为以像素值p为中心、D为半径的区域集合，计算像素点p背景模型样本集中落在O_D(v(p))中的数目N；并根据实际图像环境设定一个阈值minY，当N<minY，则判定p为前景；当N>minY则判定p为背景；将运动热图中的每一个像素用一个运动标志位Q来表示，含有运动的设置为1，不含的设置为0，最后计算各个超像素的运动累加值，并归一化。

Images