CN117745781A - 多角度sar图像序列配准方法、装置、设备及介质 - Google Patents
多角度sar图像序列配准方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117745781A CN117745781A CN202311846715.4A CN202311846715A CN117745781A CN 117745781 A CN117745781 A CN 117745781A CN 202311846715 A CN202311846715 A CN 202311846715A CN 117745781 A CN117745781 A CN 117745781A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- angle
- registered
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 94
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 89
- 239000011159 matrix material Substances 0.000 claims abstract description 81
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及雷达信号处理领域,提供了一种多角度SAR图像序列配准方法、装置、设备及介质,该方法包括:通过多角度SAR对目标进行成像,获取多角度图像序列,多角度图像序列相邻的每帧图像的观测角度至少有部分重叠;计算多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵;选取多角度图像序列中的一帧图像为参考图像,根据仿射变换关系矩阵将其他各帧待配准图像映射到参考图像上,得到参考图像与待配准图像之间的仿射变换矩阵;基于各仿射变换矩阵,对待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。本发明能够显著提高角度差较大的两帧图像之间的配准性能。
Description
技术领域
本发明涉及雷达信号处理领域,具体涉及一种多角度SAR图像序列配准方法、装置、设备及介质。
背景技术
相较于常规的合成孔径雷达(SAR),多角度合成孔径雷达(Multi-angle SAR)具有更多的优势。它不仅具备全天时、全天候的成像能力,还能够在任何时间和气候条件下对感兴趣的区域进行长时间的观测。这种雷达系统不仅可以提供动态的场景区域图像和实时的目标追踪,而且还可以获取静止物体多个角度的信息,从而呈现出更丰富的散射特性。
然而,这些应用都建立于所获得的图像序列必须是精确配准的,如果配准过程中出现误差,将会直接影响到后续的数据分析和处理。因此,实现多角度SAR图像序列的精确配准至关重要。
当前SAR领域主流的配准算法是基于特征的配准方法,比如SIFT、SAR-SIFT以及它们的各种改进算法。这些算法通过提取图像中的关键特征点,并建立它们之间的对应关系,来实现图像的精确配准。然而,当我们将这些算法应用于多角度SAR图像序列配准时,如果两幅待配准的SAR图像之间的角度差异过大,它们之间的散射特性差异也会增大。这将导致SAR-SIFT算法提取出的可靠特征数量减少,从而使配准算法的性能下降。
发明内容
(一)要解决的技术问题
鉴于上述问题,本发明提供了一种多角度SAR图像序列配准方法、装置、设备及介质,以至少部分解决当多角度SAR图像序列中的两帧图像间的角度差过大时,目前已有的配准算法提取出的可靠特征太少,导致图像配准性能下降等问题。
(二)技术方案
本发明的第一方面提供一种多角度SAR图像序列配准方法,包括:通过多角度SAR对目标进行成像,获取多角度图像序列,所述多角度图像序列相邻的每帧图像的观测角度至少有部分重叠;计算所述多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵;选取所述多角度图像序列中的一帧图像为参考图像,根据所述仿射变换关系矩阵将其他各帧待配准图像映射到所述参考图像上,得到所述参考图像与所述待配准图像之间的仿射变换矩阵;基于各所述仿射变换矩阵,对所述待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。
根据本发明的实施例,所述通过多角度SAR对目标进行成像,获取多角度图像序列包括:将所述多角度SAR具有相应观测角度的孔径划分为多个子孔径,各所述子孔径的观测角度至少有部分重叠;获取各所述子孔径对应的图像,并将各所述子孔径的图像组合成所述多角度图像序列。
根据本发明的实施例,所述计算所述多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵,包括:对相邻的两帧图像进行特征提取,得到相邻的两帧图像中的多个特征点;对相邻的两帧图像之间的所述特征点进行匹配,得到多个匹配点对;基于相邻的两帧图像之间的所述匹配点对的映射关系计算所述仿射变换关系矩阵。
根据本发明的实施例,所述获取各所述子孔径对应的图像的公式如下:
其中,(i,j)为所述子孔径对应的图像的像素点,a ij 为所述像素点(i,j)所对应的距离向脉冲压缩后的回波信号,I(i,j)为所述子孔径成像区域复图像像素值,f c 为所述多角度SAR的中心频率,R ij 为所述像素点(i,j)到所述多角度SAR的距离。
根据本发明的实施例,所述选取所述多角度图像序列中的一帧图像为参考图像,根据所述仿射变换关系矩阵将其他各帧待配准图像映射到所述参考图像,得到所述参考图像与所述待配准图像之间的仿射变换矩阵,所述方法包括:选取所述多角度图像序列中的第i帧图像为所述参考图像,其中, i=1,… ,N,N为所述多角度图像序列包括的图像总数;将所述第i帧图像与第k帧所述待配准图像之间的各所述仿射变换关系矩阵进行连乘,得到所述第i帧图像与第k帧待配准图像之间的仿射变换矩阵,其中,第k帧所述待配准图像为所述多角度图像序列中除所述第i帧图像的每一帧图像。
根据本发明的实施例,所述基于各所述仿射变换矩阵,对所述待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,所述方法包括:确定所述待配准图像的每个像素点,根据所述仿射变换矩阵的参数对待配准图像中的每个像素点进行变换;根据双线性插值方法,计算映射后各所述像素点中非整像素点在所述参考图像中的灰度值,得到校正后的所述配准图像。
根据本发明的实施例,所述根据双线性插值方法,计算映射后各所述像素点中非整像素点在所述参考图像中的灰度值,得到校正后的所述配准图像,所述方法包括:基于所述非整像素点的位置,选择所述非整像素点周围预设数量的整像素点;根据各所述整像素点的灰度值,以及各所述整像素点与所述非整像素点的距离,得到所述非整像素点新的灰度值。
本发明的第二方面提供了一种多角度SAR图像序列配准装置,包括:图像获取模块,用于通过多角度SAR对目标进行成像,获取多角度图像序列,所述多角度图像序列相邻的每帧图像的观测角度至少有部分重叠;矩阵预处理模块,用于计算所述多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵;矩阵处理模块,用于选取所述多角度图像序列中的一帧图像为参考图像,根据所述仿射变换关系矩阵将其他各帧待配准图像映射到所述参考图像上,得到所述参考图像与所述待配准图像之间的仿射变换矩阵;配准模块,用于基于各所述仿射变换矩阵,对所述待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。
本发明的第三方面提供了一种电子设备,包括:存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现所述的图像序列配准方法中的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现所述的图像序列配准方法中的各个步骤。
(三)有益效果
本发明提供的多角度SAR图像序列配准方法、装置、设备及介质,首先通过提取相邻的两帧图像之间的高精度仿射变换关系矩阵,为后续的帧间转移提供基础,然后采用帧间转移特征间接获取角度差较大的两帧图像之间的仿射变换矩阵,相比与直接进行获取,不仅精度更高,而且使得角度差较大的两帧之间的配准性能也更好,同时,实现高精度配准所耗费的时间与直接配准的时间相当,并未额外增加处理时间。
附图说明
为了更完整地理解本发明及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本发明实施例提供的多角度SAR图像序列配准方法的流程图;
图2示意性示出了本发明实施例提供的以第一帧作为参考图像的多角度SAR图像序列配准方法的流程图;
图3示意性示出了本发明实施例提供的多角度SAR图像序列配准装置的结构框图;
图4示意性示出了本发明实施例提供的一种电子设备的硬件结构图。
具体实施方式
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本发明的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
如图1所示,多角度SAR图像序列配准方法的流程图包括S1~S4。
在操作S1中,通过多角度SAR对目标进行成像,获取多角度图像序列,多角度图像序列相邻的每帧图像的观测角度至少有部分重叠。
在操作S2中,计算多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵。
在操作S3中,选取多角度图像序列中的一帧图像为参考图像,根据仿射变换关系矩阵将其他各帧待配准图像映射到参考图像上,得到参考图像与待配准图像之间的仿射变换矩阵。
在操作S4中,基于各仿射变换矩阵,对待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。
在图像序列配准的过程中,首先利用已有的成像算法获得多角度图像序列,然后利用SAR-SIFT算法对相邻的两帧图像进行配准,得到相邻的两帧图像之间的仿射变换关系矩阵,不断重复,计算每一对相邻的两帧图像之间的仿射变换关系矩阵,选取多角度图像序列中的一帧图像为参考图像,利用帧间转移特征获得角度差较大的两帧图像,即参考图像与待配准图像之间的仿射变换矩阵,基于获得的仿射变换矩阵,进行仿射变换和双线性插值即可得到配准后的图像,重复上述步骤,即可得到以多角度图像序列中的一帧图像作为参考图像的配准后的多角度SAR图像序列。
本发明基于帧间转移特征的多角度SAR图像序列配准方法,首先利用SAR-SIFT算法来精确获取相邻的两帧图像的之间的仿射变换关系矩阵,然后根据仿射变换关系矩阵将其他各帧待配准图像映射到参考图像上,基于帧间转移特征获得角度差较大的两帧图像间的仿射变换矩阵,利用所得的精准的仿射变换关系来实现图像序列配准,从而获取到更高质量、更高分辨率的图像。
图2示意性示出了本发明实施例提供的以第一帧作为参考图像的多角度SAR图像序列配准方法的流程图。
如图2所示,当以第一帧作为参考图像时,首先获取多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵,然后利用帧间关系进行连乘处理,计算第一帧图像与其他各帧图像之间的仿射变换矩阵,再利用获得的以第一帧为参考图像的各仿射变换矩阵进行仿射变换和双线性插值,即可得到以第一帧为参考图像的配准后的多角度SAR图像序列。
进一步地,通过多角度SAR对目标进行成像,获取多角度图像序列包括:将多角度SAR具有相应观测角度的孔径划分为多个子孔径,各子孔径的观测角度至少有部分重叠;获取各子孔径对应的图像,并将各子孔径的图像组合成多角度图像序列。
将一定观测角度的孔径,进行子孔径划分,得到观测角度至少有部分重叠的子孔径,然后利用后向投影成像算法来获得每张子孔径的图像,从而得到多个角度的图像序列。
通过精细的孔径划分和子孔径图像获取,可以更精细地控制SAR的观测角度,从而更好地获取目标的几何形状和物理特征,同时,更准确地获取目标的反射信号,提高SAR成像的质量和分辨率。并且利用多角度SAR成像,可以更有效地抑制地物干扰和噪声,提高目标的可检测性和可识别性。
具体地,利用后向投影成像算法获取各子孔径对应的图像的公式如下:
其中,(i,j)为子孔径对应的图像的像素点,a ij 为像素点(i,j)所对应的距离向脉冲压缩后的回波信号,I(i,j)为子孔径成像区域复图像像素值,f c 为多角度SAR的中心频率,R ij 为像素点(i,j)到多角度SAR的距离。
后向投影算法通过计算目标场景中每个像素的回波信号,并将回波信号与匹配滤波器进行卷积,以补偿雷达信号的脉冲压缩,然后进行逆变换,得到目标的图像。这种基于像素的成像方式可以提高成像精度,特别是对于非均匀分布的目标场景。同时,通过匹配滤波器和逆变换等步骤,抑制干扰和噪声,提高成像质量。
在本发明实施例中,计算多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵,包括:对相邻的两帧图像进行特征提取,得到相邻的两帧图像中的多个特征点;对相邻的两帧图像之间的所述特征点进行匹配,得到多个匹配点对;基于相邻的两帧图像之间的匹配点对的映射关系计算仿射变换关系矩阵。
仿射变换的定义具体如下:
x r ,y r 和x s ,y s 分别为参考图像和待配准图像中的特征点。利用SAR-SIFT算法在相邻的两帧图像间提取出匹配点对,利用多个匹配点对来计算得到仿射变换关系矩阵的参数ε1~ε6。
首先提取相邻的两帧图像的重要特征,例如边缘、角点等,为后续的特征匹配提供基础。然后基于特征点进行匹配,可以更准确地确定相邻两帧图像之间的变换关系,从而提高仿射变换的精度。最后根据相邻的两帧图像之间的匹配点对的映射关系,计算仿射变换关系矩阵,更好地实现图像的配准和变换。
在本发明实施例中,选取多角度图像序列中的一帧图像为参考图像,根据仿射变换关系矩阵将其他各帧待配准图像映射到参考图像,得到参考图像与待配准图像之间的仿射变换矩阵,方法包括:选取多角度图像序列中的第i帧图像为参考图像,其中, i=1,… ,N,N为多角度图像序列包括的图像总数;将第i帧图像与第k帧待配准图像之间的各仿射变换关系矩阵进行连乘,得到第i帧图像与第k帧待配准图像之间的仿射变换矩阵,其中,第k帧待配准图像为多角度图像序列中除第i帧图像的每一帧图像。
进行连乘时的连乘公式如下:
其中,T i,k 为仿射变换矩阵。
通过选取合适的参考图像,并利用仿射变换关系矩阵连乘的方式得到各待配准图像与参考图像之间的仿射变换矩阵,可以更准确地实现各帧图像的配准和变换,提高整体成像精度。同时,通过连乘的方式处理各仿射变换关系矩阵,能够克服参考图像与待配准图像之间角度差较大的问题,从而提取出更多有效的可靠特征,提高配准性能。
在本发明实施例中,基于各仿射变换矩阵,对待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,方法包括:确定待配准图像的每个像素点,根据仿射变换矩阵的参数对待配准图像中的每个像素点进行变换;根据双线性插值方法,计算映射后各像素点中非整像素点在参考图像中的灰度值,得到校正后的配准图像。
在图像配准中,双线性插值被用于将待配准图像中的像素位置映射到参考图像中的相应位置。这种映射可能导致非整像素点的出现,因为待配准图像和参考图像的尺寸等可能不完全相同。非整像素点无法直接在参考图像中找到对应的整数值像素点,因此需要插值方法来估计其灰度值。
通过将仿射变换矩阵应用于每个像素点,并利用双线性插值方法计算非整像素点的灰度值,可以更精确地实现图像配准,提高整体成像质量。
进一步地,根据双线性插值方法,计算映射后各像素点中非整像素点在参考图像中的灰度值,得到校正后的配准图像,方法包括:基于非整像素点的位置,选择非整像素点周围预设数量的整像素点;根据各整像素点的灰度值,以及各整像素点与非整像素点的距离,得到非整像素点新的灰度值。
根据得到的仿射变换矩阵的参数,可以将待配准图像中的每个像素位置映射到参考图像中的相应位置。由于映射之后,可能并不是整像素点,因此利用双线性插值方法来得到非整像素点的灰度值。双线性插值的公式如下:
(x 0,y 0)为映射后一非整像素点,(x,y)为在待配准图像中距离非整像素点最近的整像素点,∆x,∆y为[0,1]范围的小数。
具体地,首先找到待配准图像中对应像素位置的预设数量的最近邻像素点,然后根据整像素点的灰度值和它们与待配准图像中非整像素点的距离,计算出新的灰度值。这个新的灰度值即为待配准图像中对应像素位置的双线性插值结果,从而在配准过程中提供更精确的像素位置映射。通过考虑待配准图像中对应像素位置周围整数值像素点的影响,并根据它们与待配准图像中对应像素位置的距离进行加权,双线性插值能够得到更准确的灰度值,从而使得配准后的图像更加平滑、自然。
图3示意性示出了本发明实施例提供的多角度SAR图像序列配准装置的结构框图。
如图3所示,该实施例的多角度SAR图像序列配准装置包括图像获取模块301、矩阵预处理模块302、矩阵处理模块303及配准模块304。
图像获取模块301用于通过多角度SAR对目标进行成像,获取多角度图像序列,多角度图像序列相邻的每帧图像的观测角度至少有部分重叠。
矩阵预处理模块302用于计算多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵。
矩阵处理模块303用于选取多角度图像序列中的一帧图像为参考图像,根据仿射变换关系矩阵将其他各帧待配准图像映射到参考图像上,得到参考图像与待配准图像之间的仿射变换矩阵。
配准模块304用于基于各仿射变换矩阵,对待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。
可以理解的是,图像获取模块301、矩阵预处理模块302、矩阵处理模块303及配准模块304可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,图像获取模块301、矩阵预处理模块302、矩阵处理模块303及配准模块304中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,图像获取模块301、矩阵预处理模块302、矩阵处理模块303及配准模块304中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
在本发明中,由于相邻的两帧图像间的散射特性差异较小,此时利用SAR-SIFT算法可以提取相邻的两帧图像之间的高精度仿射变换关系矩阵,为后续的帧间转移提供了基础。其次,采用帧间转移特征间接获取角度差较大的两帧之间的仿射变换矩阵比直接获取的精度更高,使得角度差较大的两帧图像之间的配准性能更好。最后,采用帧间转移特征的方式实现多角度图像序列配准时所耗费的时间与直接配准的时间相当,在实现高精度配准的同时并没有增加处理时间。
图4示意性示出了本发明实施例提供的一种电子设备的硬件结构图。
如图4所示,本实施例中所描述的电子设备,包括:电子设备400包括处理器410、计算机可读存储介质420。该电子设备400可以执行上面参考图1描述的方法,以实现对特定操作的检测。
具体地,处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器410还可以包括用于缓存用途的板载存储器。处理器410可以是用于执行参考图1描述的根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质420,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质420可以包括计算机程序421,该计算机程序421可以包括代码/计算机可执行指令,其在由处理器410执行时使得处理器410执行例如上面结合图1所描述的方法流程及其任何变形。
计算机程序421可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序421中的代码可以包括一个或多个程序模块,例如包括421A、模块421B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器410执行时,使得处理器410可以执行例如上面结合图1~图2所描述的方法流程及其任何变形。
根据本发明的实施例,图像获取模块301、矩阵预处理模块302、矩阵处理模块303及配准模块304中的至少一个可以实现为参考图4描述的计算机程序模块,其在被处理器410执行时,可以实现上面描述的相应操作。
本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
本领域技术人员可以理解,本发明的各个实施例中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本发明中。特别地,在不脱离本发明精神和教导的情况下,本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种多角度SAR图像序列配准方法,其特征在于,包括:
通过多角度SAR对目标进行成像,获取多角度图像序列,所述多角度图像序列相邻的每帧图像的观测角度至少有部分重叠;
计算所述多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵;
选取所述多角度图像序列中的一帧图像为参考图像,根据所述仿射变换关系矩阵将其他各帧待配准图像映射到所述参考图像上,得到所述参考图像与所述待配准图像之间的仿射变换矩阵;
基于各所述仿射变换矩阵,对所述待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。
2.根据权利要求1所述的图像序列配准方法,其特征在于,所述通过多角度SAR对目标进行成像,获取多角度图像序列包括:
将所述多角度SAR具有相应观测角度的孔径划分为多个子孔径,各所述子孔径的观测角度至少有部分重叠;
获取各所述子孔径对应的图像,并将各所述子孔径的图像组合成所述多角度图像序列。
3.根据权利要求1所述的图像序列配准方法,其特征在于,所述计算所述多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵,包括:
对相邻的两帧图像进行特征提取,得到相邻的两帧图像中的多个特征点;
对相邻的两帧图像之间的所述特征点进行匹配,得到多个匹配点对;
基于相邻的两帧图像之间的所述匹配点对的映射关系计算所述仿射变换关系矩阵。
4.根据权利要求2所述的图像序列配准方法,其特征在于,所述获取各所述子孔径对应的图像的公式如下:
;
其中,(i,j)为所述子孔径对应的图像的像素点,a ij 为所述像素点(i,j)所对应的距离向脉冲压缩后的回波信号,I(i,j)为所述子孔径成像区域复图像像素值,f c 为所述多角度SAR的中心频率,R ij 为所述像素点(i,j)到所述多角度SAR的距离。
5.根据权利要求1所述的图像序列配准方法,其特征在于,所述选取所述多角度图像序列中的一帧图像为参考图像,根据所述仿射变换关系矩阵将其他各帧待配准图像映射到所述参考图像,得到所述参考图像与所述待配准图像之间的仿射变换矩阵,所述方法包括:
选取所述多角度图像序列中的第i帧图像为所述参考图像,其中, i=1,… ,N,N为所述多角度图像序列包括的图像总数;
将所述第i帧图像与第k帧所述待配准图像之间的各所述仿射变换关系矩阵进行连乘,得到所述第i帧图像与第k帧待配准图像之间的仿射变换矩阵,其中,第k帧所述待配准图像为所述多角度图像序列中除所述第i帧图像的每一帧图像。
6.根据权利要求1所述的图像序列配准方法,其特征在于,所述基于各所述仿射变换矩阵,对所述待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,所述方法包括:
确定所述待配准图像的每个像素点,根据所述仿射变换矩阵的参数对待配准图像中的每个像素点进行变换;
根据双线性插值方法,计算映射后各所述像素点中非整像素点在所述参考图像中的灰度值,得到校正后的所述配准图像。
7.根据权利要求6所述的图像序列配准方法,其特征在于,所述根据双线性插值方法,计算映射后各所述像素点中非整像素点在所述参考图像中的灰度值,得到校正后的所述配准图像,所述方法包括:
基于所述非整像素点的位置,选择所述非整像素点周围预设数量的整像素点;
根据各所述整像素点的灰度值,以及各所述整像素点与所述非整像素点的距离,得到所述非整像素点新的灰度值。
8.一种多角度SAR图像序列配准装置,其特征在于,包括:
图像获取模块,用于通过多角度SAR对目标进行成像,获取多角度图像序列,所述多角度图像序列相邻的每帧图像的观测角度至少有部分重叠;
矩阵预处理模块,用于计算所述多角度图像序列中每一对相邻的两帧图像之间的仿射变换关系矩阵;
矩阵处理模块,用于选取所述多角度图像序列中的一帧图像为参考图像,根据所述仿射变换关系矩阵将其他各帧待配准图像映射到所述参考图像上,得到所述参考图像与所述待配准图像之间的仿射变换矩阵;
配准模块,用于基于各所述仿射变换矩阵,对所述待配准图像进行仿射变换和双线性插值,得到对应的配准后的图像,并将配准后的各图像组合成配准图像序列。
9.一种电子设备,包括:存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现权利要求1至7中的任一项所述的图像序列配准方法中的各个步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至7中的任一项所述的图像序列配准方法中的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311846715.4A CN117745781A (zh) | 2023-12-29 | 2023-12-29 | 多角度sar图像序列配准方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311846715.4A CN117745781A (zh) | 2023-12-29 | 2023-12-29 | 多角度sar图像序列配准方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117745781A true CN117745781A (zh) | 2024-03-22 |
Family
ID=90256507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311846715.4A Pending CN117745781A (zh) | 2023-12-29 | 2023-12-29 | 多角度sar图像序列配准方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117745781A (zh) |
-
2023
- 2023-12-29 CN CN202311846715.4A patent/CN117745781A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11704810B2 (en) | Detecting crop related row from image | |
Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
CN111179230B (zh) | 遥感影像对比变化检测方法、装置、存储介质及电子设备 | |
CN108120980A (zh) | 一种星载sar多模式成像信号处理算法的fpga的实现方法 | |
EP2311006A2 (en) | Optical flow registration of panchromatic/multi-spectral image pairs | |
US11061102B2 (en) | Position estimating apparatus, position estimating method, and terminal apparatus | |
CN112927306B (zh) | 拍摄装置的标定方法、装置及终端设备 | |
Shim et al. | Time-of-flight sensor and color camera calibration for multi-view acquisition | |
US11953602B2 (en) | Detecting three-dimensional structure models at runtime in vehicles | |
US11789142B2 (en) | Graph-based array signal denoising for perturbed synthetic aperture radar | |
US20150294142A1 (en) | Apparatus and a method for detecting a motion of an object in a target space | |
Gehrig et al. | A flexible high-resolution real-time low-power stereo vision engine | |
CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
CN117745781A (zh) | 多角度sar图像序列配准方法、装置、设备及介质 | |
CN111199188B (zh) | 遥感影像差异图的像素处理方法、装置、存储介质及设备 | |
Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging | |
CN114415129A (zh) | 基于多项式模型的视觉与毫米波雷达联合标定方法及装置 | |
CN111489397A (zh) | 一种成像设备标定方法以及装置 | |
CN114881894B (zh) | 一种像素修复方法、装置、设备以及计算机存储介质 | |
CN111489398A (zh) | 一种成像设备标定方法以及装置 | |
Choi et al. | An interpolation method for strong barrel lens distortion | |
CN110967693B (zh) | 一种稳健高效的快速分解投影自动聚焦方法及系统 | |
CN114881908B (zh) | 一种异常像素识别方法、装置、设备以及计算机存储介质 | |
Wolff et al. | Image-guided depth sampling and reconstruction | |
CN109541598B (zh) | 一种sar成像质量的旁瓣比评估方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |