CN112270697B - 一种结合超分辨率重建的卫星序列影像运动目标检测方法 - Google Patents

一种结合超分辨率重建的卫星序列影像运动目标检测方法 Download PDF

Info

Publication number
CN112270697B
CN112270697B CN202011091552.XA CN202011091552A CN112270697B CN 112270697 B CN112270697 B CN 112270697B CN 202011091552 A CN202011091552 A CN 202011091552A CN 112270697 B CN112270697 B CN 112270697B
Authority
CN
China
Prior art keywords
image
sequence
frame
background
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011091552.XA
Other languages
English (en)
Other versions
CN112270697A (zh
Inventor
梁亮
卜丽静
吴文玉
孙卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011091552.XA priority Critical patent/CN112270697B/zh
Publication of CN112270697A publication Critical patent/CN112270697A/zh
Application granted granted Critical
Publication of CN112270697B publication Critical patent/CN112270697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种结合超分辨率重建的卫星序列影像运动目标检测方法，属于运动目标检测技术领域。该方法首先采用背景差分法获得卫星影像序列的前景影像序列和背景影像序列，然后分别使用基于MSE的快速超分辨率重建算法和ESRGAN实现前景影像和背景影像的超分辨率重建，利用重建后的超分背景影像再次通过背景差分法进行运动目标检测得到新的前景检测结果，将该结果与重建后的前景超分结果进行影像融合更新前景影像，再进一步对该前景影像使用多帧影像配准去除运动目标的错检点，实现卫星影像的运动目标检测。该方法使用超分辨率重建与目标检测相结合的策略，有效减少运动目标漏检、误检现象，可实现精确高效的运动目标检测。

Description

一种结合超分辨率重建的卫星序列影像运动目标检测方法
技术领域
本发明涉及运动目标检测技术领域，具体涉及一种结合超分辨率重建的卫星序列影像运动目标检测方法。
背景技术
运动目标检测是在连续的图像序列中将感兴趣的运动目标与目标所处的背景区分开来，运动目标检测是图像后续操作如分类识别、行为理解等的基础。目前的序列影像运动目标检测的研究中，以地面序列影像为主，卫星序列影像作为近几年新兴的遥感数据源，在大面积运动目标动态检测中具有重要的优势。但卫星序列影像中运动目标的特征与地面序列影像中运动目标在形状、大小、成像角度等方面都有很大差异，相应的卫星序列影像的运动目标检测方法也会有很大不同。
目前的运动目标检测方法有传统方法和深度学习方法。传统方法是根据运动目标所处的背景不同，将目标检测归类于静态背景与运动目标前景两大类，例如背景差分法是传统方法中的主流技术，该方法需要背景建模，将当前图像与先验的背景进行差分，计算图像与背景模型的匹配情况。基于背景建模的经典运动目标检测算法有Stauffe等人提出的混合高斯背景建模算法(GMM：Gaussian Mixture Model)。传统方法如背景差分法的前提条件是要有准确的背景模型，从而可以初步的区分前景和背景，但过于受限于运动目标所在的场景信息，性能的好坏取决于背景模型能否有效地表示背景的变化。
基于深度学习方法的代表算法是R-CNN(Region-based Convolution NeuralNetworks)算法，该算法首次将CNN(Convolutional Neural Networks卷积神经网络)引入到目标检测领域，采用传统图像特征提取算法寻找目标的候选区域，然后再通过CNN对这些候选区域进行特征提取，最后使用SVM(Support Vector Machines支持向量机)对提取到的特征进行分类，确定目标的类别。现有技术的缺点R-CNN算法的缺点是由于候选区域的提取仍然采用比较耗时的传统方法，因此检测速度相对来说仍然较慢，而且由于对输入图像进行缩放操作，对图像信息有一定破坏，降低了检测精度。
以上方法主要应用于地面视频，在卫星序列影像的运动目标检测问题中，由于卫星成像高度、分辨率与地面自然影像视频存在巨大差异，视频中运动地物尺寸、细节特征、区域特征不同，因此方法的效率、准确率不高，会因为运动目标过小产生漏检和错检现象，适用性差。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种结合超分辨率重建的卫星序列影像运动目标检测方法。本发明结合传统背景差分法的优势，以及深度学习超分辨率重建方法快速、多尺度细节纹理信息重现效果好的特性，可克服现有运动目标检测方法不适用于卫星序列影像运动目标检测的困难，实现了对于卫星序列影像精确高效的运动目标检测。
本发明提出一种结合超分辨率重建的卫星序列影像运动目标检测方法，其特征在于，该方法包括以下步骤：
1)获取卫星序列影像，使用背景差分法对该卫星序列影像进行运动目标检测，得到前景影像组成的前景影像序列和背景影像组成的背景影像序列；具体步骤如下：
1-1)获取卫星序列影像，该卫星序列影像包含M帧影像；
1-2)选取初始背景影像，然后构建背景模型，利用时间窗划分卫星序列影像得到窗口影像序列，并利用窗口影像序列训练背景模型；具体步骤如下：
1-2-1)选取卫星序列影像的第1帧影像为初始背景影像；
1-2-2)设定时间窗的大小为N，滑动时间窗，将步骤1)得到的卫星序列影像划分为多个窗口影像序列；
1-2-3)采用单高斯背景模型法建立背景模型并作为当前背景模型，该模型为利用背景影像的统计特征构建的高斯分布函数，表达式为：
I(x,y)～N(μ(x,y),∑(x,y))
其中，I(x，y)代表背景影像，x和y分别代表行和列，N()代表高斯分布函数，μ(x，y)代表期望；∑(x,y)代表协方差；
1-2-4)从第1个窗口影像序列开始，将每个影像窗口序列依次输入当前背景模型，利用每次输入的窗口影像序列中的影像对当前背景模型进行训练并不断更新当前背景影像：当前背景模型输出该输入序列中每帧影像中每个像素点对应的概率值P(x,y,t)，表达式为：
Figure BDA0002722257630000021
其中，t代表帧号，t＝1,2,…,M；
然后，对P(x,y,t)进行判定：
若满足P(x,y,t)≤Tp，则将该像素点归为对应输入影像的背景点，反之将该像素点归为前景点，Tp为概率阈值；
对输入的窗口序列的每帧影像的所有像素点判定完毕后，所有判定为背景点的像素点组成该输入影像对应的当前背景影像，最终得到该输入窗口序列对应的当前背景影像序列；
然后，利用下式更新当前背景模型：
Figure BDA0002722257630000031
其中d(x,y,t)＝I(x,y,t)-μ(x,y,t-1)表示灰度差，α是代表更新速度；
将每帧影像通过所在窗口影像序列最后一次输入当前背景模型后得到的对应当前背景影像最终组成背景影像序列，该序列中每帧背景影像记为Bk，k＝1,2,3,...,M，Bk代表卫星序列影像中第k帧影像对应的背景影像；
1-3)利用背景差分法，从卫星序列影像中依次选取每帧影像，计算该选取的影像与对应背景影像之间的差分影像，对该差分影像通过阈值化处理，得到该选取的影像对应的包含运动目标的二值化的前景影像，所有前景影像组成卫星序列影像对应的前景影像序列，该序列中每帧背景影像记为Ak，k＝1,2,3,...,M，Ak代表卫星序列影像中第k帧影像对应的前景影像；
2)对步骤1)得到的前景影像序列中的每一帧前景影像Ak使用基于均方根误差的快速超分辨率重建算法进行超分辨率重建，获得对应的高分辨率的前景影像Ck；具体步骤如下：
2-1)对每帧前景影像Ak进行运动估计，得到该帧影像对应的运动参数向量MLR-K；
2-2)根据重建倍数r对每帧Ak建立对应的高分辨率图像格网HR；
2-3)将步骤2-1)得到MLR-K乘以重建倍数r再四舍五入至整像素，得到HR尺度下每帧Ak对应的的运动参数向量MPHR-K；
2-4)将每帧Ak逐帧进行添零上采样得到该帧对应的与HR同尺度的影像LRUP-k；
2-5)将LRUP-k根据MPHR-k在Ak对应的HR格网上对齐；
2-6)在每帧Ak对应的HR格网上逐像素开窗口计算得到该HR格网上的每个像素值，计算方法如下：
从每帧Ak对应的HR格网上任意选取一个待计算像素的位置，以该位置为窗口中心按照设定的窗口大小进行开窗计算，得到该窗口所有位置在对应LRUP-k中对应位置像素与该窗口所有位置在Ak中对应位置像素的均方根误差；
若该均方根误差小于误差阈值，则以该窗口所有位置在LRUP-k中对应位置的像素值的均值作为该HR格网选取的位置处的像素值；若该均方根误差大于等于指定误差阈值，则以该窗口所有位置在Ak中对应位置的像素值的中位数作为该HR格网选取位置处的像素值；
对每帧Ak对应的HR格网的所有位置计算像素完毕后，得到每帧Ak对应的高分辨率前景影像Ck；
3)对步骤1)得到的背景影像序列中每一帧背景影像Bk使用ESRGAN方法进行超分辨率重建，得到对应的高分辨率的背景影像Dk；具体步骤如下：
3-1)获取卫星影像数据集作为高分辨率的训练数据集；根据卫星序列影像降质特征，构建对应的低分辨率的训练数据集；
3-2)构建ESRGAN模型；
3-3)将步骤3-1)得到的高分辨率和低分辨率的训练数据集输入步骤3-2)建立的模型进行训练，得到训练完毕ESRGAN模型的权值文件；
3-4)使用步骤3-3)中训练得到的权值文件，重建步骤1)中得到的背景影像序列中的每帧背景影像BK，获得对应的超分重建的高分辨率的背景影像Dk；
4)将每帧Dk作为对应卫星序列影像新的背景影像，利用背景差分法，计算卫星序列影像中每帧影像与对应的Dk之间的差分影像，获得对应的更新后的前景影像Ek，k＝1,2,3,...,M；
5)对步骤2)得到的每帧Ck和通过步骤4)得到的对应的每帧Ek逐像素进行影像融合，获得对应的更新后的前景影像GK组成的前景影像序列；
6)对步骤5)得到的前景影像序列的每帧前景影像Gk使用多帧影像LK光流法配准，配准后影像相邻帧间做逐像素交集逻辑运算，获得该前景影像序列对应的二值掩膜图；
7)使用步骤6)获得的二值掩膜图对步骤5)得到的前景影像序列做矩阵乘法，得到卫星影像序列中每帧影像最终的运动目标检测结果Hk，k＝1,2,3,...,M。
本发明的特点及有益效果在于：
本发明提出一种结合超分辨率重建的卫星序列影像运动目标检测方法，能够实现卫星影像的超分辨率重建以及目标检测，在操作过程中通过运动目标检测与超分辨率重建相结合的方法，提升视频卫星影像中小运动目标的细节信息，从而有效防止运动目标漏检错检现象，避免超分重建过程中的运动目标形变，实现了精确高效的运动目标检测，运动目标检测正确率能够提升10％～20％。可广泛应用于国防军事、交通运输、变化检测等遥感应用领域。
附图说明
图1是本发明的一种结合超分辨率重建的卫星序列影像运动目标检测方法整体流程图。
具体实施方式
本发明提出一种结合超分辨率重建的卫星序列影像运动目标检测方法，下面结合附图和具体实施例对本发明进一步详细说明如下。
本发明提出一种结合超分辨率重建的卫星序列影像运动目标检测方法，能够实现卫星影像的超分辨率重建以及目标检测，在操作过程中通过运动目标检测与超分辨率重建相结合的方法，有效防止运动目标漏检错检现象，避免超分重建过程中的运动目标形变，实现了精确高效的运动目标检测，同时完成高质量的卫星影像的超分辨率重建。该方法整体流程如图1所示，包括以下步骤：
1)获取卫星序列影像，使用背景差分法对该卫星序列影像进行运动目标检测，得到包含运动目标的前景影像组成的前景影像序列和只含有静止地物的背景影像组成的背景影像序列；具体步骤如下：
1-1)获取卫星序列影像；
本发明对卫星序列影像要求如下：
影像尺寸跟计算机性能有关，一般可选取输入影像的原始大小，例如1024×1024；序列影像若为卫星视频，则至少需要20秒以上的视频(共20秒*25帧)，如果序列影像不是视频而是连续拍摄的图片，需要不少于200帧)；记获取的卫星序列影像共计M帧；影像的分辨率的要求视具体待探测目标尺度而定，如待检测目标是运动的车辆，则影像分辨率需要1米左右。
1-2)选取初始背景影像，然后构建背景模型，利用时间窗划分卫星序列影像得到窗口影像序列，并利用窗口影像序列训练背景模型；具体步骤如下：
1-2-1)选取卫星序列影像的第1帧影像为初始背景影像；
1-2-2)设定时间窗的大小为N(N一般大于10帧)，滑动时间窗，将步骤1)得到的卫星序列影像划分为多个窗口影像序列；其中，第1个窗口影像序列为卫星序列影像的第1帧到第N帧，第2个窗口影像序列为卫星序列影像的第2帧到第N+1帧，以此类推，直到滑动窗口移动至卫星序列影像的最后一帧，下面的步骤可以看出，随着窗口序列向后滑动，会不断更新当前窗口序列的背景；
1-2-3)采用单高斯背景模型法建立背景模型并作为当前背景模型，该模型为利用背景影像的统计特征构建的高斯分布函数，表达式为：
I(x,y)～N(μ(x,y),∑(x,y))
其中，I(x，y)代表背景影像，x和y分别代表行和列，N()代表高斯分布函数，μ(x，y)代表期望；∑(x,y)代表协方差。
1-2-4)从第1个窗口影像序列开始，将每个窗口影像序列依次输入当前背景模型，利用每次输入的窗口影像序列中的卫星影像对当前背景模型进行训练并不断更新当前背景影像：当前背景模型输出该输入序列中每帧影像中每个像素点对应的概率值P(x,y,t)，表达式为：
Figure BDA0002722257630000061
其中，t代表帧号，t＝1,2,…,M；
然后，对P(x,y,t)进行判定：
若满足P(x,y,t)≤Tp，则将该像素点归为对应输入影像的背景点，反之将该像素点归为前景点。上式中Tp是提前设定的概率阈值，不同的阈值会产生不同的结果，根据运动目标的特征，自适应设置阈值。
对输入的窗口序列的每帧影像的所有像素点判定完毕后，所有判定为背景点的像素点组成该输入影像对应的当前背景影像；对输入窗口序列的所有影像处理完毕后，得到该输入窗口序列对应的当前背景影像序列。
接下来，利用下式更新当前背景模型：
Figure BDA0002722257630000062
其中d(x,y,t)＝I(x,y,t)-μ(x,y,t-1)表示灰度差，α(0≤α≤1)是代表更新速度。
本发明中，随着每个窗口序列的向后滑动，新窗口序列的卫星影像不断输入到当前背景模型，得到不断更新的当前背景影像，在这个更新的过程中，背景影像的精度不断提高。将每帧影像通过所在窗口影像序列最后一次输入当前背景模型后得到的对应当前背景影像最终组成背景影像序列，该序列中每帧背景影像记为Bk，k＝1,2,3,...,M，Bk代表卫星序列影像中第k帧影像对应的背景影。
1-3)利用背景差分法，从卫星序列影像中依次选取每帧影像，计算该选取的影像与对应背景影像之间的差分影像，对该差分影像通过阈值化处理，得到该选取的影像对应包含运动目标的二值化的前景影像，所有前景影像组成卫星序列影像对应的前景影像序列，该序列中每帧背景影像记为Ak，k＝1,2,3,...,M，Ak代表卫星序列影像中第k帧影像对应的前景影像；
2)对步骤1)得到的前景影像序列中的每一帧前景影像Ak使用基于均方根误差(MSE)的快速超分辨率重建算法进行超分辨率重建，获得对应的高分辨率的前景影像Ck；具体步骤如下：
2-1)对每帧前景影像Ak进行运动估计，得到该帧影像对应的运动参数向量MLR-K；
2-2)根据设定的重建倍数r对每帧Ak建立各自对应的高分辨率图像格网HR，若卫星影像序列的每帧图像的尺寸为W*H(W为该影像的宽度，H为该影像的高度)，则HR的尺寸为rW*rH；
2-3)将步骤2-1)得到每帧Ak对应的MLR-K乘以重建倍数r再四舍五入至整像素，得到HR尺度下每帧Ak对应的的运动参数向量MPHR-K；
2-4)将每帧低分辨率图像Ak逐帧进行添零上采样得到该帧对应的与HR同尺度的影像LRUP-k；
2-5)将LRUP-k根据MPHR-k在Ak对应的HR格网上对齐；
2-6)对每帧Ak对应的HR格网上逐像素开窗计算该HR格网上的每个像素值，计算方法如下：
从每帧Ak对应的HR格网上任意选取一个待计算像素的位置，以该位置为窗口中心进行开窗计算(窗口大小一般3x3)，计算该窗口所有位置在对应LRUP-k中的对应位置像素与其在Ak中对应位置像素的均方根误差；
若该均方根误差小于指定误差阈值(该误差阈值根据经验设置，本实施例为0.5)，则以该窗口所有位置在LRUP-k中对应位置的像素值的均值为该HR格网选取的位置处(即该窗口中心位置)的像素值；若该均方根误差大于等于指定误差阈值，则以该窗口所有位置在Ak中对应位置的像素值的中位数作为该HR格网选取位置处的像素值。HR格网中一个位置作为窗口中心计算像素完毕后，再将窗口中心平移至HR格网上下一个像素位置并按上述方法计算，直至所有位置均作为窗口中心计算像素完毕(其中，图像的边缘位置像素计算时需要以待计算边缘像素为中心向无像素位置填充1行或1列0值)
对每帧Ak对应的HR格网的所有位置计算像素完毕后，得到每帧Ak对应的高分辨率前景影像Ck。
3)对步骤1)得到的背景影像序列中每一帧背景影像Bk使用ESRGAN(增强型超分辨率生成对抗网络)方法进行超分辨率重建，得到对应的高分辨率的背景影像Dk；具体步骤如下：
3-1)获取卫星影像数据集作为高分辨率的训练数据集；本发明中所述卫星影像数据集必须涵盖待检测运动目标类别，如果现有的数据比较少，可以通过旋转、变形等通用的数据增广方法扩充数据集；同时，该数据集的分辨率要与超分重建后影像的分辨率接近(例如想将4米分辨率的数据超分成2米分辨率，就需要卫星影像数据集的分辨率达到2米的数据集)。根据卫星序列影像降质特征，构建对应的低分辨率的训练数据集；如果卫星序列影像中的降质模型可以估计，可以直接应用降质模型通过高分辨率训练数据降质生成相应的低分辨率训练数据组成低分辨率的训练数据集；如果降质模型无法估计，而且数据没有运动模糊影响，可采用高斯降质方式得到低分辨率的训练数据集。
3-2)根据“ESRGAN:Enhanced Super-Resolution Generative AdversarialNetworks”文章的方法搭建ESRGAN模型。
3-3)训练ESRGAN模型。将步骤3-1)得到的高分辨率和低分辨率的训练数据集输入步骤3-2)建立的ESRGAN架构进行训练，训练结束的条件可以是达到原文章说明的训练次数，也可以在原文章提到的感知损失函数收敛时结束训练，训练的结果是得到训练完毕ESRGAN模型的权值文件。
3-4)使用步骤3-3)中训练得到的权值文件，重建步骤1)中得到的背景影像序列中的每帧背景影像BK，获得对应的超分重建的高分辨率的背景影像Dk。
4)将每帧Dk作为对应卫星序列影像新的背景影像，利用背景差分法，计算卫星影像序列的每帧影像与对应的高分辨率的背景影像Dk之间的差分影像，获得对应的更新后的背景影像Fk和前景影像Ek，k＝1,2,3,...,M。(此步骤处理的图像为超分之后的背景影像，试图从超分之后的背景影像中提取前面背景差分法中可能遗漏的前景信息，然后与另一分支的前景信息进行融合增强，得到更精确的前景。)
5)对步骤2)得到的每帧Ck和通过步骤4)得到的对应的每帧Ek逐像素进行影像融合，获得对应的更新后的前景影像GK组成的前景影像序列；具体操作为：
如果两帧前景影像中相同位置的像素在任意一张前景影像中该像素值非零，则该像素赋值为非零的前景影像像素值，否则该像素值为0，最终获得更新的前景影像序列；
6)对步骤5)得到的前景影像序列的每帧前景影像Gk使用多帧影像LK光流法配准，配准后影像相邻帧间做逐像素交集逻辑运算，获得该前景影像序列对应的二值掩膜图；
7)使用步骤6)获得的二值掩膜图对步骤5)得到的前景影像序列做矩阵乘法，得到该前景影像序列对应的卫星影像序列中每帧影像最终的运动目标检测结果Hk，k＝1,2,3,...,M,运动目标检测结果是和待检测图像一样大小的图像，其中只含有运动目标，帧数与输入图像帧数一致。
以上所述，仅为本发明中的具体实施方式，本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖本发明的包含范围之内，因此本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种结合超分辨率重建的卫星序列影像运动目标检测方法，其特征在于，该方法包括以下步骤：
1)获取卫星序列影像，使用背景差分法对该卫星序列影像进行运动目标检测，得到前景影像组成的前景影像序列和背景影像组成的背景影像序列；具体步骤如下：
1-1)获取卫星序列影像，该卫星序列影像包含M帧影像；
1-2)选取初始背景影像，然后构建背景模型，利用时间窗划分卫星序列影像得到窗口影像序列，并利用窗口影像序列训练背景模型；具体步骤如下：
1-2-1)选取卫星序列影像的第1帧影像为初始背景影像；
1-2-2)设定时间窗的大小为N，滑动时间窗，将步骤1)得到的卫星序列影像划分为多个窗口影像序列；
1-2-3)采用单高斯背景模型法建立背景模型并作为当前背景模型，该模型为利用背景影像的统计特征构建的高斯分布函数，表达式为：
I(x,y)～N(μ(x,y),∑(x,y))
其中，I(x，y)代表背景影像，x和y分别代表行和列，N()代表高斯分布函数，μ(x，y)代表期望；∑(x,y)代表协方差；
1-2-4)从第1个窗口影像序列开始，将每个影像窗口序列依次输入当前背景模型，利用每次输入的窗口影像序列中的影像对当前背景模型进行训练并不断更新当前背景影像：当前背景模型输出该输入序列中每帧影像中每个像素点对应的概率值P(x,y,t)，表达式为：
Figure FDA0002722257620000011
其中，t代表帧号，t＝1,2,…,M；
然后，对P(x,y,t)进行判定：
若满足P(x,y,t)≤Tp，则将该像素点归为对应输入影像的背景点，反之将该像素点归为前景点，Tp为概率阈值；
对输入的窗口序列的每帧影像的所有像素点判定完毕后，所有判定为背景点的像素点组成该输入影像对应的当前背景影像，最终得到该输入窗口序列对应的当前背景影像序列；
然后，利用下式更新当前背景模型：
Figure FDA0002722257620000012
其中d(x,y,t)＝I(x,y,t)-μ(x,y,t-1)表示灰度差，α是代表更新速度；
将每帧影像通过所在窗口影像序列最后一次输入当前背景模型后得到的对应当前背景影像最终组成背景影像序列，该序列中每帧背景影像记为Bk，k＝1，2，3，...，M，Bk代表卫星序列影像中第k帧影像对应的背景影像；
1-3)利用背景差分法，从卫星序列影像中依次选取每帧影像，计算该选取的影像与对应背景影像之间的差分影像，对该差分影像通过阈值化处理，得到该选取的影像对应的包含运动目标的二值化的前景影像，所有前景影像组成卫星序列影像对应的前景影像序列，该序列中每帧背景影像记为Ak，k＝1，2，3，...，M，Ak代表卫星序列影像中第k帧影像对应的前景影像；
2)对步骤1)得到的前景影像序列中的每一帧前景影像Ak使用基于均方根误差的快速超分辨率重建算法进行超分辨率重建，获得对应的高分辨率的前景影像Ck；具体步骤如下：
2-1)对每帧前景影像Ak进行运动估计，得到该帧影像对应的运动参数向量MLR-K；
2-2)根据重建倍数r对每帧Ak建立对应的高分辨率图像格网HR；
2-3)将步骤2-1)得到MLR-K乘以重建倍数r再四舍五入至整像素，得到HR尺度下每帧Ak对应的运动参数向量MPHR-K；
2-4)将每帧Ak逐帧进行添零上采样得到该帧对应的与HR同尺度的影像LRUP-k；
2-5)将LRUP-k根据MPHR-k在Ak对应的HR格网上对齐；
2-6)在每帧Ak对应的HR格网上逐像素开窗口计算得到该HR格网上的每个像素值，计算方法如下：
从每帧Ak对应的HR格网上任意选取一个待计算像素的位置，以该位置为窗口中心按照设定的窗口大小进行开窗计算，得到该窗口所有位置在对应LRUP-k中对应位置像素与该窗口所有位置在Ak中对应位置像素的均方根误差；
若该均方根误差小于误差阈值，则以该窗口所有位置在LRUP-k中对应位置的像素值的均值作为该HR格网选取的位置处的像素值；若该均方根误差大于等于指定误差阈值，则以该窗口所有位置在Ak中对应位置的像素值的中位数作为该HR格网选取位置处的像素值；
对每帧Ak对应的HR格网的所有位置计算像素完毕后，得到每帧Ak对应的高分辨率前景影像Ck；
3)对步骤1)得到的背景影像序列中每一帧背景影像Bk使用ESRGAN方法进行超分辨率重建，得到对应的高分辨率的背景影像Dk；具体步骤如下：
3-1)获取卫星影像数据集作为高分辨率的训练数据集；根据卫星序列影像降质特征，构建对应的低分辨率的训练数据集；
3-2)构建ESRGAN模型；
3-3)将步骤3-1)得到的高分辨率和低分辨率的训练数据集输入步骤3-2)建立的模型进行训练，得到训练完毕ESRGAN模型的权值文件；
3-4)使用步骤3-3)中训练得到的权值文件，重建步骤1)中得到的背景影像序列中的每帧背景影像BK，获得对应的超分重建的高分辨率的背景影像Dk；
4)将每帧Dk作为对应卫星序列影像新的背景影像，利用背景差分法，计算卫星序列影像中每帧影像与对应的Dk之间的差分影像，获得对应的更新后的前景影像Ek，k＝1，2，3，...，M；
5)对步骤2)得到的每帧Ck和通过步骤4)得到的对应的每帧Ek逐像素进行影像融合，获得对应的更新后的前景影像GK组成的前景影像序列；
6)对步骤5)得到的前景影像序列的每帧前景影像Gk使用多帧影像LK光流法配准，配准后影像相邻帧间做逐像素交集逻辑运算，获得该前景影像序列对应的二值掩膜图；
7)使用步骤6)获得的二值掩膜图对步骤5)得到的前景影像序列做矩阵乘法，得到卫星影像序列中每帧影像最终的运动目标检测结果Hk，k＝1，2，3，...，M。
CN202011091552.XA 2020-10-13 2020-10-13 一种结合超分辨率重建的卫星序列影像运动目标检测方法 Active CN112270697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011091552.XA CN112270697B (zh) 2020-10-13 2020-10-13 一种结合超分辨率重建的卫星序列影像运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011091552.XA CN112270697B (zh) 2020-10-13 2020-10-13 一种结合超分辨率重建的卫星序列影像运动目标检测方法

Publications (2)

Publication Number Publication Date
CN112270697A CN112270697A (zh) 2021-01-26
CN112270697B true CN112270697B (zh) 2022-11-18

Family

ID=74338818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011091552.XA Active CN112270697B (zh) 2020-10-13 2020-10-13 一种结合超分辨率重建的卫星序列影像运动目标检测方法

Country Status (1)

Country Link
CN (1) CN112270697B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516591A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 一种遥感影像超分辨率重建方法、装置、设备及存储介质
CN114049261B (zh) * 2022-01-13 2022-04-01 武汉理工大学 一种关注前景信息的图像超分辨率重建方法
CN115147450B (zh) * 2022-09-05 2023-02-03 中印云端(深圳)科技有限公司 基于运动帧差图像的移动目标检测方法及检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658361A (zh) * 2018-12-27 2019-04-19 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法
CN111696167A (zh) * 2020-06-12 2020-09-22 荆门汇易佳信息科技有限公司 自范例学习引导的单张影像超分辨率重构方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658361A (zh) * 2018-12-27 2019-04-19 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法
CN111696167A (zh) * 2020-06-12 2020-09-22 荆门汇易佳信息科技有限公司 自范例学习引导的单张影像超分辨率重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卫星视频运动目标检测算法;于渊博等;《液晶与显示》;20170215(第02期);全文 *
顾及运动估计误差的"凝视"卫星视频运动场景超分辨率重建;卜丽静等;《测绘学报》;20200215(第02期);全文 *

Also Published As

Publication number Publication date
CN112270697A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112270697B (zh) 一种结合超分辨率重建的卫星序列影像运动目标检测方法
CN107481279B (zh) 一种单目视频深度图计算方法
CN111539273A (zh) 一种交通视频背景建模方法及系统
CN109934224B (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
CN112884716B (zh) 一种超高速撞击损伤区域特征强化方法
US9247139B2 (en) Method for video background subtraction using factorized matrix completion
US10095932B2 (en) Video abstract using signed foreground extraction and fusion
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN110378924B (zh) 基于局部熵的水平集图像分割方法
CN107609571B (zh) 一种基于lark特征的自适应目标跟踪方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN111310609B (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN113486894B (zh) 一种卫星图像特征部件语义分割方法
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111986126A (zh) 一种基于改进vgg16网络的多目标检测方法
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
CN112837320A (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN113160392B (zh) 基于深度神经网络的光学建筑目标三维重建方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
CN108257157B (zh) 一种基于Lab色彩空间和ViBe改进的运动目标检测方法
CN110827309A (zh) 一种基于超像素的偏光片外观缺陷分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant