CN110390688A - 一种稳健的视频sar图像序列配准方法 - Google Patents

一种稳健的视频sar图像序列配准方法 Download PDF

Info

Publication number
CN110390688A
CN110390688A CN201910668182.2A CN201910668182A CN110390688A CN 110390688 A CN110390688 A CN 110390688A CN 201910668182 A CN201910668182 A CN 201910668182A CN 110390688 A CN110390688 A CN 110390688A
Authority
CN
China
Prior art keywords
frame
registration
sar image
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910668182.2A
Other languages
English (en)
Inventor
余安喜
栗子涵
董臻
何志华
孙造宇
易天柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201910668182.2A priority Critical patent/CN110390688A/zh
Publication of CN110390688A publication Critical patent/CN110390688A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种稳健的视频SAR图像序列配准方法。技术方案是：首先，设第一帧SAR图像为基准帧图像，计算视频SAR图像序列中所有相邻图像对的配准变换矩阵；然后，对每帧SAR图像，采用帧间积累方法将相关的配准变换矩阵累乘，得到每帧SAR图像和基准帧图像之间的配准变换矩阵；最后，基于配准变换矩阵将视频SAR图像序列中的所有帧SAR图像变换至基准帧图像所在的空间坐标基准下，从而得到视频SAR图像序列准确、稳健的配准结果。本发明有效解决了现有配准算法在视频SAR图像序列配准中出现的配准精度低、稳健性差、运算速度较慢等问题。

Description

一种稳健的视频SAR图像序列配准方法
技术领域
本发明涉及微波遥感技术领域，特别涉及一种稳健的视频SAR(SyntheticAperture Radar，合成孔径雷达)图像序列配准方法。
背景技术
视频SAR是一种全新的空间对地侦察技术，它通过对场景进行高帧率、高分辨率成像，实现对地面状态的动态观测，实时掌握目标区域的相关信息，尤其是运动目标的状态位置信息。视频SAR图像序列配准是实现视频SAR运动目标状态感知的第一步，也是视频SAR图像序列预处理的关键步骤，通常要求将序列中的所有图像，特别是邻近帧的图像配准至相同的空间坐标基准下。
利用视频SAR系统获得的SAR图像序列是按时序排列的若干帧SAR图像，因此可以将SAR图像的配准方法应用于视频SAR的配准中，选取某帧SAR图像为基准帧，并将其余帧SAR图像与该基准帧配准至统一的空间坐标基准下。现有的SAR图像配准算法可以划分为2大类：基于区域信息的配准算法和基于特征匹配的配准算法，其中基于特征匹配的配准算法将对整帧图像的分析转化为对图像中某种特征的分析，大大降低了运算量，且能够较好地适应图像的旋转、位移及遮挡等变化，成为目前使用广泛的配准算法。在基于特征的配准算法中，目前常用的SAR图像配准算法是SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法，具体内容参见文献《Distinctive image features from scale-invariant keypoints》(International journal of computer vision，Vol.60，No.2，2004，第91页至第110页)。但该算法由于运算速度较慢，难以满足视频SAR实时处理的需求。此外，SURF(Speeded-up Robust Feature，加速鲁棒特性)算法也是常用的SAR图像配准算法，这种算法首先根据尺度空间上的特定响应检测两帧图像中的稳健特征点，再结合特征点周围小邻域的信息构建描述子向量，最后根据不同特征点之间的距离进行特征匹配，进而得到SAR图像的变换矩阵和配准结果。但在实际应用中，由于观测视角、地物散射特性和相干斑等噪声的变化，视频SAR图像序列的特征也在不断变化，观测时间相隔越远，特征差异就越大，而SURF是以特征匹配为基础的配准算法，其性能严重依赖于稳健的图像特征。因此，在视频SAR图像帧间隔较大时，现有SURF算法会受到图像特征变化的影响，其配准精度会严重下降，甚至出现失配，因此现有SURF算法在视频SAR图像序列配准中存在配准精度低、稳健性差的问题。
发明内容
本发明要解决的技术问题是，提供一种稳健的视频SAR图像序列配准方法，有效解决了现有配准算法在视频SAR图像序列配准中出现的配准精度低、稳健性差、运算速度较慢等问题。
本发明的技术方案是：首先，设第一帧SAR图像为基准帧图像，计算视频SAR图像序列中所有相邻图像对的配准变换矩阵；然后，对每帧SAR图像，采用帧间积累方法将相关的配准变换矩阵累乘，得到每帧SAR图像和基准帧图像之间的配准变换矩阵；最后，基于配准变换矩阵将视频SAR图像序列中的所有帧SAR图像变换至基准帧图像所在的空间坐标基准下，从而得到视频SAR图像序列准确、稳健的配准结果。
本发明的有益效果是：基于特征点匹配的方法实现相邻帧的高精度配准，引入了积分图像和箱式滤波器，从而有效提高了运算速度；进一步通过帧间积累，解决了现有算法在图像帧间隔较大时配准精度低、稳健性差等问题。
此外，本发明可以将所有视频SAR图像序列统一到相同的空间坐标基准，而且不会出现失配现象，算法稳健性好；本发明能够实现邻近帧的高精度匹配，以满足后续视频SAR图像动目标检测要求。
附图说明
图1是本发明的原理流程示意图；
图2(a)是视频SAR片段1的第1帧SAR图像(基准帧)，图2(b)是第200帧SAR图像(待配准帧)，图2(c)是采用本发明方法配准后的第200帧SAR图像；
图3为本发明方法与现有SURF配准算法所得匹配特征点对数量的对比；
图4为本发明方法与现有SIFT配准算法运算速度的对比。
具体实施方式
图1是本发明的原理流程示意图。下面结合图1进行详细说明。
步骤一：计算视频SAR图像序列中所有相邻图像对的配准变换矩阵：
取视频SAR图像序列第1帧为基准帧，记为Imaster，计算视频SAR图像序列中所有相邻图像对的配准变换矩阵，即计算第1帧和第2帧之间的配准变换矩阵，第2帧和第3帧之间的配准变换矩阵，以此论推。求取配准变换矩阵的方法较多，本发明采用的具体算法参考论文《Speeded-up robust features(SURF)》(Computer vision and image understanding，Vol.110，No.3，2008，第346页至第359页)。
为准确描述SAR图像之间的几何变换，本发明选用仿射变换模型(即配准变换矩阵)来描述特征点对坐标的几何变换。为描述方便，本发明以第1帧和第2帧之间的配准变换矩阵计算为例进行说明。根据匹配的特征点对，采用最小二乘方法拟合模型参数，反演出图像配准变换矩阵tform1,2。tform1,2是一个3阶方阵，如下式表示：
上述矩阵中的元素表示第2帧SAR图像几何变换至第1帧SAR图像的具体计算参数。对图像序列中每一对相邻帧图像重复进行上述2个步骤，计算得到任意相邻两帧间的配准变换矩阵tformi,j,i＝1,2,…,N-1,j＝i+1，其中i，j分别表示SAR图像帧的序号，N为视频SAR图像序列的总帧数。
步骤二：采用帧间积累方法将相关的配准变换矩阵累乘，计算基准配准变换矩阵：
第m帧SAR图像Im与第1帧SAR图像Imaster的基准配准变换矩阵由下式计算：
Tform1,m＝tform1,2×tform2,3×…×tform(m-1),m,m∈(2,N]
其中m表示SAR图像帧的序号，Tform1,m表示第m帧图像与第1帧图像之间的基准配准变换矩阵，Tform1,m同样为3阶方阵，但其元素值将发生变化，如下式所示：
上述矩阵中的元素表示第m帧SAR图像几何变换至基准帧图像的具体计算参数。
步骤三：基于基准配准变换矩阵将视频SAR图像序列中的所有帧SAR图像变换至基准帧图像所在的空间坐标下：
采用双线性插值方法，实现视频SAR图像序列的重采样。在重采样的过程中，设[xt,yt]是基准图像Imaster上的一个像素点，[xs,ys]是待配准SAR图像Im上的同名像素点，利用下述公式完成几何变换的步骤：
采用同样的方法将所有其它帧图像都变换到与基准帧Imaster相同的空间坐标上，获得配准后的视频SAR图像序列，完成图像配准。
本发明的试验数据如图2所示，视频SAR实测片段由美国Sandia国家实验室采集，并公开发布在其官方网站上。图2的视频片段成像区域大小为721×657个像素，总时长为900帧。图2(a)是视频SAR图像序列的第1帧图像，将该图像作为基准图像。图2(b)是图像序列中与第1帧相隔较远的1帧(第200帧)，可以观察到图像中许多特征都已发生明显变化，包括静止目标阴影方向及散射特性，相干斑及热噪声分布等。图2(c)是采用本发明方法配准后的第200帧SAR图像，可以看出该图像已经与第1帧图像准确配准。在试验中发现，如果不采用本发明的方法，采用现有的SURF算法，则第63帧后的SAR图像都无法配准，由此可以看出本发明方法配准稳健性较好，在长时间间隔的情况下也能够实现准确的配准。
图3为本发明与现有的基准帧不变的SURF算法所得匹配特征点对的数量对比。其中，横坐标表示图像帧号，纵坐标表示匹配特征点对数目；带“□”的线表示采用现有SURF算法得到的匹配点对数量，带“△”标记的线表示本发明获得的匹配点对数量。从图3可以看出本发明得到的匹配点对数量明显多于现有SURF算法的数量，由于特征的变化，现有SURF算法获得的匹配点对数量迅速减小至0，使得基于特征的SURF算法性能急剧下降；而采用本发明，匹配点对数量一直保持在较高水平，实现了邻近帧的高精度配准，同时也将所有视频SAR图像序列统一到相同的空间坐标基准，杜绝失配现象，表明本方法能够实现精准且稳健的视频SAR图像序列配准。
图4为本发明方法与现有SIFT配准算法运算速度的对比。从中可以看出采用本发明方法得到的特征点对数量和SIFT相差无几，但运算耗时却降低了3倍有余。因此，本发明可以在几乎不损失配准精度的前提下大幅提高运算效率。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定，任何在本发明精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (1)

1.一种视频SAR图像序列配准方法，SAR是指合成孔径雷达，其特征在于，首先，设第一帧SAR图像为基准帧图像，计算视频SAR图像序列中所有相邻图像对的配准变换矩阵；然后，对每帧SAR图像，采用帧间积累方法将相关的配准变换矩阵累乘，得到每帧SAR图像和基准帧图像之间的基准配准变换矩阵；最后，基于基准配准变换矩阵，将视频SAR图像序列中的所有帧SAR图像变换至基准帧图像所在的空间坐标基准下，即可得到配准结果。
CN201910668182.2A 2019-07-23 2019-07-23 一种稳健的视频sar图像序列配准方法 Pending CN110390688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910668182.2A CN110390688A (zh) 2019-07-23 2019-07-23 一种稳健的视频sar图像序列配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910668182.2A CN110390688A (zh) 2019-07-23 2019-07-23 一种稳健的视频sar图像序列配准方法

Publications (1)

Publication Number Publication Date
CN110390688A true CN110390688A (zh) 2019-10-29

Family

ID=68287015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910668182.2A Pending CN110390688A (zh) 2019-07-23 2019-07-23 一种稳健的视频sar图像序列配准方法

Country Status (1)

Country Link
CN (1) CN110390688A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN112087582A (zh) * 2020-09-14 2020-12-15 努比亚技术有限公司 特效视频生成方法、移动终端及计算机可读存储介质
CN113050088A (zh) * 2021-03-17 2021-06-29 电子科技大学 一种基于视频sar阴影的定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742122A (zh) * 2009-12-21 2010-06-16 汉王科技股份有限公司 一种去除视频抖动的方法和系统
CN103198501A (zh) * 2013-04-09 2013-07-10 上海理工大学 一种牙齿全景图像自动重构方法
CN105205783A (zh) * 2015-09-14 2015-12-30 河海大学 一种联合先验估计的sar图像盲超分辨率重建方法
CN106780309A (zh) * 2016-12-21 2017-05-31 中国航空工业集团公司雷华电子技术研究所 一种合成孔径雷达图像拼接方法
US9911197B1 (en) * 2013-03-14 2018-03-06 Hrl Laboratories, Llc Moving object spotting by forward-backward motion history accumulation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742122A (zh) * 2009-12-21 2010-06-16 汉王科技股份有限公司 一种去除视频抖动的方法和系统
US9911197B1 (en) * 2013-03-14 2018-03-06 Hrl Laboratories, Llc Moving object spotting by forward-backward motion history accumulation
CN103198501A (zh) * 2013-04-09 2013-07-10 上海理工大学 一种牙齿全景图像自动重构方法
CN105205783A (zh) * 2015-09-14 2015-12-30 河海大学 一种联合先验估计的sar图像盲超分辨率重建方法
CN106780309A (zh) * 2016-12-21 2017-05-31 中国航空工业集团公司雷华电子技术研究所 一种合成孔径雷达图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID G. LOWE: "《Distinctive Image Features from Scale-Invariant Keypoints》", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
HERBERT BAY，ET AL: "《SURF: Speeded Up Robust Features》", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 *
王帅: "《基于视频序列的图像配准算法研究与应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN112087582A (zh) * 2020-09-14 2020-12-15 努比亚技术有限公司 特效视频生成方法、移动终端及计算机可读存储介质
CN113050088A (zh) * 2021-03-17 2021-06-29 电子科技大学 一种基于视频sar阴影的定位方法
CN113050088B (zh) * 2021-03-17 2022-08-02 电子科技大学 一种基于视频sar阴影的定位方法

Similar Documents

Publication Publication Date Title
Li et al. Mucan: Multi-correspondence aggregation network for video super-resolution
CN110390688A (zh) 一种稳健的视频sar图像序列配准方法
CN106600536B (zh) 一种视频图像超分辨率重建方法及装置
Nasrollahi et al. Super-resolution: a comprehensive survey
KR101470112B1 (ko) 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성
Amiaz et al. Coarse to over-fine optical flow estimation
Min et al. Non-rigid infrared and visible image registration by enhanced affine transformation
CN103761252A (zh) 一种视频检索方法
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Su et al. Super-resolution without dense flow
Xu et al. An automatic optical and SAR image registration method with iterative level set segmentation and SIFT
Yang et al. Multiple dictionary pairs learning and sparse representation-based infrared image super-resolution with improved fuzzy clustering
JP6435049B2 (ja) 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
Liu et al. Reference-based dual-task framework for motion deblurring
Wang et al. Sgnet: Structure guided network via gradient-frequency awareness for depth map super-resolution
Hu et al. Error tolerance and effects analysis of satellite vibration characteristics and measurement error on TDICCD image restoration
Liu et al. RAN: Region-aware network for remote sensing image super-resolution
Xinlei et al. Super-resolution of remote sensing images via sparse structural manifold embedding
Li et al. Remote sensing image registration based on Gaussian-Hermite moments and the Pseudo-RANSAC algorithm
Zhao et al. Accurate and robust feature-based homography estimation using HALF-SIFT and feature localization error weighting
Cai et al. Vision-based automatic structural motion estimation in presence of 3D camera motion effects
Wang et al. Single-frame super-resolution for high resolution optical remote-sensing data products
Gerçek et al. Automated Co‐Registration of Satellite Images through Luminance Transformation
Zhao et al. A practical super-resolution method for multi-degradation remote sensing images with deep convolutional neural networks
An et al. A Novel Fast Image Stitching Method Based on the Combination of SURF and Cell

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191029

WD01 Invention patent application deemed withdrawn after publication