CN108876807B - 一种实时星载卫星图像运动对象检测跟踪方法 - Google Patents

Abstract

一种实时星载卫星图像运动对象检测跟踪方法,属于卫星图像采集技术领域，特别涉及到一种星载卫星图像运动对象检测跟踪方法，本发明能够解决既有算法星载卫星图像检测率低的问题；解决稳像时所带来的大量运动噪点导致的误跟踪问题；解决多目标跟踪时跟踪丢失率的问题；解决检测跟踪算法的性能问题。该算法突破性能瓶颈，可实现星载卫星视频的实时监控减少人力成本，精确的检测跟踪结果可以对异常情况及时预警，不需要人力一直监控，可应用到军事领域，对航母、军舰等运动物体进行检测跟踪。

Description

一种实时星载卫星图像运动对象检测跟踪方法

技术领域

本发明属于卫星图像采集技术领域，特别涉及到一种星载卫星图像运动对象检测跟踪方法。

背景技术

动目标的检测跟踪算法是检测视频图像的每一幅图像中我们感兴趣的运动目标，并把不同帧中同一目标对应起来进行跟踪。星载卫星图像交通场景复杂，有高速公路也有立交桥；道路背景复杂，路旁边有树木，有民居等建筑物；摄像机抖动无法完全去除；图像分辨率超大，待检测目标物体却很小；目标物体多为灰色和白色，信息量比较少，特征不明显。现有的针对卫星图像运动目标检测跟踪算法，普遍都存在检测率低、跟踪效果差、性能不能达到实时等问题。常见的检测算法包括，帧间差分法：帧间差分法是基于运动图像序列中，相邻两帧图像间具有强相关性而提出的检测算法。该算法是将前后两帧图像对应像素点的灰度值相减，如果灰度差值很小，则认定该点没有目标物体，反之如果灰度差值很大，则认为有目标物体。背景差分法：背景差分法选取背景中的一幅或几幅图像的平均作为背景图像，把之后的序列图像当前帧与背景帧相减，如果所得到的像素大于一定阈值，则判断该场景中有运动物体，从而得到运动车辆。但是，由于星载图像分辨率大，运动物体移动速度慢，而且视频无法完全去除抖动，既有的帧间差分法与背景消除法的效果都不会特别理想。而帧间差分法不能检测出静止或低速物体；对于高速运动的物体，引起分割区域与运动物体速度相关，会使分割区域远大于真实运动物体数量；当运动物体内部灰度分布均匀时，容易产生内部空洞现象。背景差分法则受光线、天气等外界条件的影响较大，如果物体移动速度过慢，会被当成背景。

常见的跟踪算法：光流法，光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。但是，光流法需要多次迭代，运算速度慢，卡尔曼滤波算法要求系统是线性高斯型的，对于非线性、非高斯环境而言，不能直接用来解决目标的估计问题。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：一种实时星载卫星图像运动对象检测跟踪方法，解决既有算法星载卫星图像检测率低的问题；解决了稳像时所带来的大量运动噪点导致的误跟踪问题；解决多目标跟踪时跟踪丢失率的问题；解决检测跟踪算法的性能问题，优化后的检测跟踪算法处理速度可达到25帧每秒，达到了实时。

一种实时星载卫星图像运动对象检测跟踪方法，包括以下步骤：

步骤一、获得星载卫星视频；

步骤二、对视频进行debayer处理；

步骤三、对视频进行去抖动处理；

步骤四、利用检测算法检测出运动目标；

步骤五、利用跟踪算法对运动目标进行跟踪；

步骤六、对运动目标进行AOI裁剪；

步骤七、利用H265对裁剪后的数据进行压缩；

步骤八、将步骤七中得到的压缩结果进行输出。

所述步骤四中的检测算法包括以下步骤，

第一步、利用背景差分算法得到目标检测信息；

第二步、将目标检测信息和阈值X进行比较，大于X的为大目标、小于X的目标为小目标；

第三步、若是大目标则判断该目标为车辆，将该目标信息进行输出，若是小目标，则判断该目标是否在道路内，若是则该目标为车辆，将该目标检测信息进行输出，若不在道路内，则删除该目标。

所述步骤五中的跟踪算法包括以下步骤，

第一步、将目标和阈值X比较，判断是大目标还是小目标；

第二步、若该目标是大目标，则判断该目标是否被遮挡，若被遮挡，则将该目标信息进行卡尔曼滤波处理，并将该跟踪信息输出；若该目标未被遮挡，则将该目标特征数量和阈值Y比较，大于Y则说明目标特征多，将该目标信息进行稀疏光流处理并输出该跟踪信息；若该目标特征少，则将该目标信息进行稠密光流处理并输出该跟踪信息；

第三步、若该目标是小目标，则将该目标信息利用目标区域的像素特征来进行运动搜索；使用二值图做点乘；同时使用卡尔曼滤波对目标运动速度及方向建模得到跟踪信息，并输出该跟踪信息。

所述步骤四中还包括第四步、通过深度学习模型将大目标分为飞机和船。

通过上述设计方案，本发明可以带来如下有益效果：该算法突破性能瓶颈，可实现星载卫星视频的实时监控减少人力成本，精确的检测跟踪结果可以对异常情况及时预警，不需要人力一直监控，可应用到军事领域，对航母、军舰等运动物体进行检测跟踪。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明一种实时星载卫星图像运动对象检测跟踪方法的流程示意图。

图2为本发明一种实时星载卫星图像运动对象检测跟踪方法的检测算法的流程示意图。

图3为本发明一种实时星载卫星图像运动对象检测跟踪方法的跟踪算法的流程示意图。

具体实施方式

一种实时星载卫星图像运动对象检测跟踪方法，如图1和图2所示，包括以下步骤：

步骤一、获得星载卫星视频；

步骤二、对视频进行debayer处理；

步骤三、对视频进行去抖动处理；

步骤四、利用检测算法检测出运动目标；

步骤五、利用跟踪算法对运动目标进行跟踪；

步骤六、对运动目标进行AOI裁剪；

步骤七、利用H265对裁剪后的数据进行压缩；

步骤八、将步骤七中得到的压缩结果进行输出。

所述步骤四中的检测算法包括以下步骤，

第一步、利用背景差分算法得到目标检测信息；

第二步、将目标检测信息和阈值X进行比较，大于X的为大目标、小于X的目标为小目标；

第三步、若是大目标则判断该目标为车辆，将该目标信息进行输出，若是小目标，则判断该目标是否在道路内，若是则该目标为车辆，将该目标检测信息进行输出，若不在道路内，则删除该目标。

所述步骤五中的跟踪算法包括以下步骤，

第一步、将目标和阈值X比较，判断是大目标还是小目标；

第二步、若该目标是大目标，则判断该目标是否被遮挡，若被遮挡，则将该目标信息进行卡尔曼滤波处理，并将该跟踪信息输出；若该目标未被遮挡，则将该目标特征数量和阈值Y比较，大于Y则说明目标特征多，将该目标信息进行稀疏光流处理并输出该跟踪信息；若该目标特征少，则将该目标信息进行稠密光流处理并输出该跟踪信息；

第三步、若该目标是小目标，则将该目标信息利用目标区域的像素特征来进行运动搜索；使用二值图做点乘；同时使用卡尔曼滤波对目标运动速度及方向建模得到跟踪信息，并输出该跟踪信息。

所述步骤四中还包括第四步、通过深度学习模型将大目标分为飞机和船。

本发明所采用的光流法是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场(是运动场在二维图像平面上的投影)的目的就是为了从图片序列中近似得到不能直接得到的运动场(物体在三维真实世界中的运动)。

光流法的前提假设：

这里的V_x，V_y是x和y的速率，或称为I(x，y，t)的光流。

和

是图像(x，y，t)在t时刻特定方向的偏导数。I_x，I_y和I_t的关系可用下式表述：

I_xV_x+I_yV_y＝-I_t

或

本发明所采用的卡尔曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列(可能有偏差)预测出物体的位置的坐标及速度。在很多工程应用(如雷达、计算机视觉)中都可以找到它的身影。同时，卡尔曼滤波也是控制理论以及控制系统工程中的一个重要课题。例如，对于雷达来说，人们感兴趣的是其能够跟踪目标。但目标的位置、速度、加速度的测量值往往在任何时候都有噪声。卡尔曼滤波利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置的估计(预测)，也可以是对过去位置的估计(插值或平滑)。

使用卡尔曼滤波的前提：

(1)系统是线性的。

(2)系统噪声为高斯分布。

(3)后验概率也呈高斯型。

卡尔曼滤波实现方法：下面是卡尔曼滤波器经典的五个方程，估计

由状态方程得到估计值，也就是x和P的中间值。

状态估计

注：x(n-1|n-1)为上一时刻的最佳估计值。

最小均方误差矩阵

P(n|n-1)＝AP(n-1|n-1)A^T+Q

修正

卡尔曼滤波的核心公式，修正之前的估计值，得到当前时刻的最优估计值和最优最小均方误差矩阵。

卡尔曼增益系数(误差增益)

注：K(n)为估计最小均方误差除以n时刻测量误差+估计最小均方误差，也就是估计误差占总误差的权重。

修改后的估计值(第n时刻的最优估计值)：

注：x(n|n)是高斯融合后的最优估计误差均值，x(n|n-1)是估计误差均值，

最小均方误差矩阵：

P(n|n)＝[I-K(n)H(n)]P(n|n-1)β

本发明从获得卫星图像视频开始，通过多帧差分代替两帧差分给以改进，通过将背景差分和帧间差分进行改进融合并优化来提取运动目标，将检测结果分成大目标和小目标

大目标：对于大于一定阈值的物体，可以直接输出检测信息，也可以先判断是飞机还是船再输出检测信息。

小目标：对于小于一定阈值的物体，对视频进行道路检测，然后分布于道路范围内的物体可认为是车辆。

跟踪算法：采用改进优化过的光流法与卡尔曼滤波相结合的方式进行目标跟踪，分别对大目标和小目标进行跟踪

大目标：由于目标特征比较明显，因此我们采用改进优化过的光流法与卡尔曼滤波相结合的方式进行目标跟踪。其中卡尔曼滤波在时域上对运动特征进行预测，在目标被部分遮挡导致检测失败的时候。我们可以采用卡尔曼滤波得到的预测值.对于光流，如果目标特征较多。我们采用稀疏光流，对于运动目标特征较少的时候我们采用稠密光流。

小目标：对于相对较小的目标(如小于10像素半径)，由于目标的边缘特征等特征均不明显.我们直接利用目标区域的像素特征来进行运动搜索。并且与在检测中得到的二值图做点乘来提高目标匹配的精确度。同时我们也要用到卡尔曼滤波对目标的运动速度以及方向进行建模。最后将跟踪信息输出。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (1)

1.一种实时星载卫星图像运动对象检测跟踪方法,包括以下步骤：

步骤一、获得星载卫星视频；

步骤二、对视频进行debayer处理；

步骤三、对视频进行去抖动处理；

步骤四、利用检测算法检测出运动目标；

步骤五、利用跟踪算法对运动目标进行跟踪；

步骤六、对运动目标进行AOI裁剪；

步骤七、利用H265对裁剪后的数据进行压缩；

步骤八、将步骤七中得到的压缩结果进行输出；

其特征是：所述步骤五中的跟踪算法包括以下步骤，

第一步、将目标和阈值X比较，判断是大目标还是小目标；

第二步、若该目标是大目标，则判断该目标是否被遮挡，若被遮挡，则将该目标信息进行卡尔曼滤波处理，并将该跟踪信息输出；若该目标未被遮挡，则将该目标特征数量和阈值Y比较，大于Y则说明目标特征多，将该目标信息进行稀疏光流处理并输出该跟踪信息；若该目标特征少，则将该目标信息进行稠密光流处理并输出该跟踪信息；

第三步、若该目标是小目标，则将该目标信息利用目标区域的像素特征来进行运动搜索；使用二值图做点乘；同时使用卡尔曼滤波对目标运动速度及方向建模得到跟踪信息，并输出该跟踪信息。

Images