CN113487623A - 基于cGANs和图像转换的光学与SAR的配准方法及系统 - Google Patents

Abstract

本发明公开了一种基于cGANs和图像转换的光学与SAR的配准方法及系统，该方法包括获取待配准的成对的SAR图像和光学图像；利用训练好的条件生成对抗网络将SAR图像转化成合成光学图像小块；将合成光学图像小块进行拼接，得出合成的光学图片；对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。避免了图像之间存在的非线性强度差异，降低了SAR图像与光学图像的配准难度。

Description

基于cGANs和图像转换的光学与SAR的配准方法及系统

技术领域

本发明属于图像配准领域，具体涉及一种基于cGANs和图像转换的光学与SAR的配准方法及系统。

背景技术

遥感卫星获取到的数据广泛应用到各个领域，包括对环境污染、森林资源、河流信息等的监测以及对于各种灾难的及时响应等。不同的传感器对地观测所获取的信息具有各自的独特性，综合利用多源遥感数据是遥感应用领域的一个重要研究方向，其可以通过优势互补从而获得更为丰富的遥感信息。光学遥感和合成孔径雷达(Synthetic ApertureRadar,SAR)是利用遥感获取对地观测信息的两种重要的技术手段。可见光图像中的目标边缘清晰，空间分辨率高，细节明显，丰富的颜色信息利于视觉判读。然而，光学传感器容易受天气影响导致目标成像质量差。相对于光学传感器，SAR成像不受天气和光照的影响，可以实现全天时、全天候的监测，具有良好的穿透性；但是SAR对场景的纹理边缘描述不清晰，没有丰富的色彩信息，不适合人眼识别。因此，对SAR图像和光学图像进行配准和融合，可以利用双方的优势信息进行互补，既有利于提高视觉可读性，又有利于提高信息获取的全面性和准确性，从而全面观测和分析。

目前的SAR和光学配准算法都是直接将SAR图像和光学图像进行匹配。李芳芳等提出了一种基于线特征和SIFT点特征的多源遥感影像配准方法，利用线特征来约束SIFT点特征从而实现配准。LiQ等通过附加尺度方向约束，细化特征向量来改善SIFT算法匹配效果。YiZ等提出了SAR-SIFT算法，该算法使用尺度限制剔除误匹配点，进而提高匹配精度。陈华等提出了一种利用SIFT算法来解决不同分辨率、不同波段的SAR影像配准方法。肖雄武等结合SIFT算法提出了一种较为快速且具有仿射不变性的倾斜影像匹配方法。但是SAR遥感图像和光学图像由于其传感器的成像原理和成像条件不同，导致所成图像之间存在明显的非线性强度差异和一定的几何结构、旋转、分辨率差异，使得光学与SAR图像间的直接配准具有较大的难度。因此本文提出了一种新思路，以解决上述问题,即利用cGANs先将SAR图像转换成光学图像，然后再和真实的光学图像进行匹配。

发明内容

因此，本发明的目的在于提供一种基于cGANs和图像转换的光学与SAR的配准方法及系统；通过将SAR图像转化成光学图像，再进行图像配准，避免了图像之间存在的非线性强度差异降低了SAR图像与光学图像的配准难度。

为了实现上述目的，本发明的一种基于cGANs和图像转换的光学与SAR的配准方法，包括以下步骤：获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；利用训练好的条件生成对抗网络将裁切后的图像小块，转化成合成光学图像小块；将合成光学图像小块进行拼接，得出合成的光学图片；对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。

优选的，所述条件生成对抗网络采用如下方法进行训练：获取成对的SAR图像和光学图像；将成对的SAR图像和光学图像剪成多个子图像块，形成SAR-光学图像数据集；将SAR-光学图像数据集划分成训练样本集和测试集样本集；

将训练样本集中的SAR图像作为输入，将对应的光学图像作为有效值输出，训练条件生成对抗网络；以使生成的图片尽可能接近目标的光学图像的分布；

利用测试集测试网络的精度，当生成的光学图像精度达到目标要求时，训练完成。

在上述任意一项实施例中进一步优选的，所述条件生成对抗网络包括生成器和鉴别器；

所述生成器使用U-Net结构，用于对输入的SAR图片转化成彩色的光学图片；

所述鉴别器D用于判断输入的光学图像是否是真实的样本；所述输入的光学图像为输入的SAR图像与真实光学图像或者生成光学图像进行通道堆叠形成。

在上述任意一项实施例中进一步优选的，将待配准的SAR图像裁剪成多个图像小块时，采用在待配准的SAR图像上用一个256x256的窗口进行滑动，设定窗口步长为128，得到256x256的图像小块。

在上述任意一项实施例中进一步优选的，将合成光学图像小块进行拼接时，包括将每个生成的合成光学图像小块，将其边缘进行裁剪，再将其按照顺序进行拼接。

在上述任意一项实施例中进一步优选的，所述形成基准集和查询集时，采用SIFT算法对合成的光学图片和待配准光学图像，提取大量特征点。

在上述任意一项实施例中进一步优选的，所述形成匹配点对时，利用kd-tree和BBF算法进行粗配准，包括：对查询集特征点，构建kd-tree；对于基准集中的特征点，采用BBF算法在所构建的kd-tree中查找到最邻近点；得到一对匹配点对；对基准集中所有的特征点，都进行查找，最终得到初始匹配好的匹配点对集。

在上述任意一项实施例中进一步优选的，在利用RANSAC算法对匹配点对进行精配准时，采用如下方法：获取一对匹配点对(Q₁，Q₂)，根据该匹配点对中基准图像上特征点的坐标Q₁，利用投影变换得出待匹配图像的对应参考坐标Q₁’，并计算Q₁与Q₁’之间的距离L₁；

根据该匹配点对待匹配图像上的特征点坐标Q₂，利用投影变换得出基准图像上的对应参考坐标Q₂’，并计算Q₂与Q₂’之间的距离L₂；

根据L₁和L₂计算对称变换误差d，将对称变换误差d与预设阈值进行比较；当d>T时，则认为这对匹配点对为误匹配点对，排除至外点集，否则放入内点集。

在上述任意一项实施例中进一步优选的，在判定匹配点对属于外点集或内点集时，还包括：S501、对匹配点对按照欧氏距离进行排序，对匹配度高的点优先采样；S502、对采样剩余匹配点对集合的点，遍历计算模型H₀变换后的对称变换误差d，统计内点个数为M₀；S503、重复S501，得到新的变换模型H；重复S502，得到新的内点个数M，若M>M₀，则认为模型H为更优的参数模型；则将计算模型H₀更换为新模型H；S504、多次迭代，最终得到两幅图像之间的投影变换矩阵H；采样次数N满足以下条件时循环结束：

log(1-k^m)^N＜1-P

其中，k为内点占初始匹配点集的比例，m为每组采样点集的数据量大小，此处m＝4，P表示N次采样全部为内点的概率。

本发明还提供一种基于cGANs和图像转换的光学与SAR的配准系统，用于实施上述配准方法，包括

数据获取模块，用于获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；

条件生成对抗网络，用于利用训练好的网络参数将裁切后的图像小块，转化成合成光学图像小块；

图像拼合模块，用于将合成光学图像小块进行拼接，得出合成的光学图片；

图像配准模块，用于对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。

本申请公开的基于cGANs和图像转换的光学与SAR的配准方法及系统，相比于现有技术至少具有以下优点：

1、本发明提供的配准方法及系统，采用条件生成对抗网络将SAR图像转化成光学图像，再进行图像配准，避免了图像之间存在的非线性强度差异，降低了SAR图像与光学图像的配准难度。

2、本发明提供的配准方法及系统，采用条件生成对抗网络，通过生成器将裁剪成小块的SAR图像批量转化成光学图像，再利用鉴别器判断输入的光学图像是否是真实的样本，鉴别器引入了PatchGAN的思想，将一张图像通过多层卷积层后最终输出了一个比较小的矩阵，对每一小块分别计算一个输出。相当于计算图片的纹理损失，使转化的光学图像尽可能的贴合SAR图像，避免了图像之间存在的非线性强度差异。

3、本发明提供的配准方法及系统，利用kd-tree和BBF算法进行粗配准，再利用RANSAC算法对匹配点对进行精配准，将匹配度高的初始匹配点对进行优先采样，这有利于最佳匹配参数的采样更早地出现，提高速度。

附图说明

图1为本发明基于cGANs和图像转换的光学与SAR的配准方法的流程图；

图2是本发明条件生成对抗网络中生成器的网络结构图；

图3是本发明条件生成对抗网络中鉴别器的网络结构图；

图4是本发明鉴别器的判别算法；

图5(a)是本发明获取的待配准的SAR图像；

图5(b)是本发明将SAR图像转化合成的光学图像；

图5(c)是本发明数据集中的光学图像；

图6是本发明图像拼接示意图；

图7是本发明kd-tree算法的示意图；

图8为本发明基于cGANs和图像转换的光学与SAR的配准系统的结构图。

具体实施方式

以下通过附图和具体实施方式对本发明作进一步的详细说明。

如图1-7所示，本发明一方面实施例提供的一种基于cGANs和图像转换的光学与SAR的配准方法，包括以下步骤：

S1、获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；

S2、利用训练好的条件生成对抗网络将裁切后的图像小块，转化成合成光学图像小块；将合成光学图像小块进行拼接，得出合成的光学图片；

S3、对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；

S4、根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；

S5、利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。

在S2中，将待配准的SAR图像裁剪成多个图像小块时，采用在待配准的SAR图像上用一个256x256的窗口进行滑动，设定窗口步长为128，得到256x256的图像小块。

所述条件生成对抗网络采用如下方法进行训练：获取成对的SAR图像和光学图像；将成对的SAR图像和光学图像剪成多个子图像块，形成SAR-光学图像数据集；将SAR-光学图像数据集划分成训练样本集和测试集样本集；

将训练样本集中的SAR图像作为输入，将对应的光学图像作为有效值输出，训练条件生成对抗网络；以使生成的图片尽可能接近目标的光学图像的分布；

利用测试集测试网络的精度，当生成的光学图像精度达到目标要求时，训练完成。

进一步所述条件生成对抗网络包括生成器和鉴别器；

所述生成器使用U-Net结构，用于对输入的SAR图片转化成彩色的光学图片；U-Net是一个U形网络，如图2所示。图2中的浅灰色矩形表示卷积层，深灰色矩形表示反卷积层，该层旁边的数字乘积表示该层的特征图的长*宽*通道数。网络左边是连续的下采样层，相当于一个Encoder，右边是连续的上采样层，相当于一个Decoder。上采样层和下采样层是对称的。下采样层产生的高分辨率特征，与上采样的输出相结合，实现了定位。下采样层由7个卷积层构成：每层卷积核的大小为4，步长为2。上采样层由7个反卷积层构成，每一层反卷积层是先进行上采样然后再进行卷积操作，上采样因子为2，卷积核大小为4，步长为1。每一层反卷积层的输入都是：前一层的输出+与该层对称的卷积层的输出，从而保证encoder的信息在decoder时可以不断地被重新记忆，使得生成的图像尽可能保留原图像的一些信息。生成器的作用是输入一张SAR图片，将SAR图片转化成彩色的光学图片。

所述鉴别器D用于判断输入的光学图像是否是真实的样本；所述输入的光学图像为输入的SAR图像与真实光学图像或者生成光学图像进行堆叠形成。

如图3所示。图3中的浅灰色矩形表示卷积层，每层旁边的数字标注，表示的是该层的特征图的长x宽x通道数。鉴别器的作用是判断输入的光学图像是否是真实的样本。在cGANs中，将输入的SAR图像与真实光学图像或者生成光学图像在进行堆叠，然后一起作为输入传入鉴别器D。鉴别器的判别原理是：当输入的是SAR图像和真实的光学图像时，鉴别器应该输出为真；当输入的是SAR图像和合成的光学图像时，鉴别器应该输出的是假。鉴别器的判别算法如图4所示。

鉴别器引入了PatchGAN的思想，将一张图像通过多层卷积层后最终输出了一个比较小的矩阵，本例中鉴别器最终输出的是16*16的矩阵，然后对每个像素点输出一个softmax概率值，这就相当于对一张输入图像切分为很多小块，对每一小块分别计算一个输出。引入PatchGAN可以起到一种类似计算风格或纹理损失的效果。

训练条件生成对抗网络模型。将第一步得到的SAR-光学图像对训练集输入到网络中，训练模型，输入是SAR图像，ground truth是光学图像。训练鉴别器以不断提高其辨别真假样本的能力。训练生成器G去模拟真实的光学图像分布，以使鉴别器D无法辨别真假。

利用测试集图像测试网络的精度，精度指标为PSNR和SSIM。将测试集的图像输入到训练好的网络模型中，得到合成的光学图像，计算合成的光学图像和真实的光学图像之间的平均SSIM值和平均PSNR值，当达到预设的精度要求，则训练完成。

按照以下损失函数训练网络：

G＝arg min_Gmax_DL_cGAN(G,D)+λL_L1(G) (公式1)

L_cGAN(G,D)＝E_x,y[log D(x,y)]+E_x，G[log(1-D(x,G(x))] (公式2)

L_L1＝E_x,y[||y-G(x)||] (公式3)

其中，LcGAN(G,D)是生成对抗网络的对抗损失函数，G代表生成器，D代表鉴别器。L_L1(G)是输出图像和ground truth之间的L₁损失，其可以减小生成图像的模糊。D(x，y)中x是作为条件的SAR图像，y是真实的光学图像，D(x,y)表示当SAR和真实的光学图像一起输入到鉴别器时，鉴别器的判断，1表示真，0表示假。G(x)表示输入SAR图片时，生成器合成的光学图像。D(x,G(x))表示当SAR图像和合成的光学图像一起输入鉴别器时，鉴别器的判断。E表示期望。||*||表示1范数。对于式(1)，D努力使目标函数达到最大值，而G对抗D则努力使整个函数最小。λ表示L₁损失函数的系数。

将合成光学图像小块进行拼接时，包括将每个生成的合成光学图像小块，将其边缘进行裁剪，再将其按照顺序进行拼接。

由于上一步输入的SAR图像相邻子图的上下左右重叠是128，因此拼接时候需要将子图的上下左右边缘各裁去64个像素。如图6所示。用公式表达如下：

I₀＝I₀[64：w-64,3:h-64] (公式4)

式中，I₀表示一个256x256子图的像素矩阵，w，h分别是子图的宽度和高度。

得到边缘裁剪的光学子图块后，再将其按照顺序进行拼接。设nx,ny是第四步中输入的SAR大图在宽度、高度方向上的子图数量。第idx张子图的位置为第i行，第j列；则

i＝idx/n_x

j＝idx％n_x (公式5)

其中/表示求除得的商，％表示求除得的余数。

所述形成基准集和查询集时，采用SIFT算法对合成的光学图片和待配准光学图像，提取大量特征点。

SIFT算法提取特征点的过程如下：

(1)构建尺度空间。尺度空间是通过高斯金字塔降采样形成的。对同一层中两幅相邻尺度影像计算差，可以得到高斯差分图像(Difference of Gauss，DOG)。

(2)检测极值点。将每个像素点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，得到局部极值点，作为特征点。得到的极值点是离散的，可能不是连续空间真正的极值点，因此需要通过对离散空间插值得到连续空间更加精确的极值点，并去除比较像边缘的点。

(3)根据关键点的局部特性为每个关键点指定一个方向，可以具备旋转不变性。对于在DOG金字塔中检测出的关键点(x，y)，采集像素的梯度和方向分布特征，其所在高斯金字塔图像3σ邻域窗口内。梯度的模值和方向如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (公式6)

式中，L为特征点所在的尺度空间的灰度值，m(x，y)为梯度的幅值，θ(x,y)为特征点处梯度方向的弧度(范围为(-π,π])。使用直方图统计邻域内像素的梯度和方向。直方图最大值的方向代表该特征点的主方向，对于其他峰值，若大于或等于主方向值的80％，则再分配一个方向。

(4)为特征点创建描述子。对特征点的邻域进行采样，将特征点的领域分成4x4的子区域，每个子区域用8个方向来描述，然后创建128维的向量作为特征点的描述子。描述子的数学形式可定义为h(x,y,θ)，其中的x,y代表4×4＝16个图像区域的位置，θ即梯度方向，只能取8个值。h(x,y,θ)的值就是在(x,y)代表的图像区域计算得到的在θ方向的梯度大小。

进一步优选的，所述形成匹配点对时，利用kd-tree和BBF算法进行粗配准，包括：对查询集特征点，构建kd-tree；对于基准集中的特征点，采用BBF算法在所构建的kd-tree中查找到最邻近点；得到一对匹配点对；对基准集中所有的特征点，都进行查找，最终得到初始匹配好的匹配点对集。

为了让kd-tree满足对128维向量的索引，基于BBF算法能够实现近似K近邻的快速搜索，在保证一定查找精度的前提下，比起原始的sift算法大大提高配准的速度。

kd-tree的构建：kd-tree是一个二叉树，对数据空间进行划分，每一个结点对应一个空间范围。多维空间划分时，首先确定在数据集上对应方差最大的维度k_i，并找到在k_i维度上的数据集的中值k_v，并作为根节点；即第一步把空间划分成两部分，在第k_i维上小于k_v的为一部分称为左子节点，大于k_v的为另外一部分对应右子节点，然后再利用同样的方法，对左子结点和右子节点继续构建二叉树，直所剩数据集为空。

基于BBF的kd-tree近似最近邻查找算法步骤：

(1)对于基准集中的某个特征点P，基于BBF算法，在kd-tree中查找最邻近的点。从kd-tree的根结点开始，将P与kd-tree的中间节点进行比较。设中间结点的划分维度和该维度上的数值为(k,m)，在划分维度k上比较，若P在k上的值小于m，则进入左分支继续查找；若P在k上的值大于m，则进入右分支进行查找。并将未被选择的分支所在的树中位置和它跟P之间的距离一起保存到一个优先级队列中Queue。图7为一个简单的二维kd-tree示意图。

(2)按照步骤(1)对树的分支进行比较和选择，一直到叶结点。然后计算P与叶结点之间的距离，作为暂时的最小距离D_min；记录D_min以及叶结点的对应数据。

(3)回溯：设置最大回溯次数T_max。最大回溯次数一般人为设定，通常根据在数据集上的实验结果进行调整。回溯的具体步骤如下：

(i)如果当前回溯的次数小于T_max，且Queue不为空，则进行如下操作：从Queue中取出最小距离对应的分支，然后按照步骤(1)访问该分支，直至达到叶结点。计算P与叶子结点中各个数据间距离，如果有比D_min更小的值，则将该值赋给D_min，该数据则被认为是Q的当前近似最近邻点；

(ii)重复步骤(i)，直到回溯次数大于T_max或Queue为空时，查找结束，此时得到的数据Q就是P的近似最近邻点，距离D_min就是它们之间的距离。

进一步优选的，在利用RANSAC算法对匹配点对进行精配准时，采用如下方法：获取一对匹配点对(Q₁，Q₂)，根据该匹配点对中基准图像上特征点的坐标Q₁，利用投影变换得出待匹配图像的对应参考坐标Q₁’，并计算Q₁与Q₁’之间的距离L₁；

根据该匹配点对待匹配图像上的特征点坐标Q₂，利用投影变换得出基准图像上的对应参考坐标Q₂’，并计算Q₂与Q₂’之间的距离L₂；

根据L₁和L₂计算对称变换误差d，将对称变换误差d与预设阈值进行比较；当d>T时，则认为这对匹配点对为误匹配点对，排除至外点集，否则放入内点集。

d＝L₁+L₂ (公式7)

其中，

进一步优选的，在判定匹配点对属于外点集或内点集时，还包括：

S501、对匹配点对按照欧氏距离进行排序，对匹配度高的点优先采样；

S502、对采样剩余匹配点对集合的点，遍历计算模型H₀变换后的对称变换误差d，统计内点个数为M₀；

S503、重复S501，得到新的变换模型H；重复S502，得到新的内点个数M，若M>M₀，则认为模型H为更优的参数模型；则将计算模型H₀更换为新模型H；

S504、多次迭代，最终得到两幅图像之间的投影变换矩阵H；采样次数N满足以下条件时循环结束：

log(1-k^m)^N＜1-P (公式8)

其中，k为内点占初始匹配点集的比例，m为每组采样点集的数据量大小，此处m＝4，P表示N次采样全部为内点的概率。

如图8所示，本发明还提供一种基于cGANs和图像转换的光学与SAR的配准系统，用于实施上述配准方法，包括

数据获取模块1，用于获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；

条件生成对抗网络2，用于利用训练好的网络参数将裁切后的图像小块，转化成合成光学图像小块；

图像拼合模块3，用于将合成光学图像小块进行拼接，得出合成的光学图片；

图像配准模块4，用于对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。

上述模块在实施时，与步骤S1-5及其相关实施例对应，在此不再赘述。

显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：包括以下步骤：

获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；

利用训练好的条件生成对抗网络将裁切后的图像小块，转化成合成光学图像小块；

将合成光学图像小块进行拼接，得出合成的光学图片；

对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；

根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；

利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。

2.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述条件生成对抗网络采用如下方法进行训练：

获取成对的SAR图像和光学图像；将成对的SAR图像和光学图像剪成多个子图像块，形成SAR-光学图像数据集；将SAR-光学图像数据集划分成训练样本集和测试集样本集；

将训练样本集中的SAR图像作为输入，将对应的光学图像作为有效值输出，训练条件生成对抗网络；以使生成的图片尽可能接近目标的光学图像的分布；

利用测试集测试网络的精度，当生成的光学图像精度达到目标要求时，训练完成。

3.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述条件生成对抗网络包括生成器和鉴别器；

所述生成器使用U-Net结构，用于对输入的SAR图片转化成彩色的光学图片；

所述鉴别器D用于判断输入的光学图像是否是真实的样本；所述输入的光学图像为输入的SAR图像与真实光学图像或者生成光学图像进行通道堆叠形成。

4.根据权利要求3所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：将待配准的SAR图像裁剪成多个图像小块时，采用在待配准的SAR图像上用一个256x256的窗口进行滑动，设定窗口步长为128，得到256x256的图像小块。

5.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：将合成光学图像小块进行拼接时，包括将每个生成的合成光学图像小块，将其边缘进行裁剪，再将其按照顺序进行拼接。

6.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述形成基准集和查询集时，采用SIFT算法对合成的光学图片和待配准光学图像，提取大量特征点。

7.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述形成匹配点对时，利用kd-tree 和 BBF 算法进行粗配准，包括：

对查询集特征点，构建kd-tree；对于基准集中的特征点，采用 BBF 算法在所构建的kd-tree中查找到最邻近点；得到一对匹配点对；对基准集中所有的特征点，都进行查找，最终得到初始匹配好的匹配点对集。

8.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：在利用RANSAC算法对匹配点对进行精配准时，采用如下方法：

获取一对匹配点对（Q₁，Q₂），根据该匹配点对中基准图像上特征点的坐标Q₁，利用投影变换得出待匹配图像的对应参考坐标Q₁’，并计算Q₁与Q₁’之间的距离L₁；

根据该匹配点对待匹配图像上的特征点坐标Q₂，利用投影变换得出基准图像上的对应参考坐标Q₂’，并计算Q₂与Q₂’之间的距离L₂；

根据L₁和L₂计算对称变换误差d，将对称变换误差d与预设阈值进行比较；当 d>T时，则认为这对匹配点对为误匹配点对，排除至外点集，否则放入内点集。

9.根据权利要求8所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：在判定匹配点对属于外点集或内点集时，还包括：

S501、对匹配点对按照欧氏距离进行排序，对匹配度高的点优先采样；

S502、对采样剩余匹配点对集合的点，遍历计算模型H₀变换后的对称变换误差d，统计内点个数为M₀；

S503、重复S501，得到新的变换模型H；重复S502，得到新的内点个数M，若M>M0，则认为模型H为更优的参数模型；则将计算模型H₀更换为新模型H；

S504、多次迭代，最终得到两幅图像之间的投影变换矩阵H；采样次数N满足以下条件时循环结束：

其中，k为内点占初始匹配点集的比例，m为每组采样点集的数据量大小，此处m=4，P表示N次采样全部为内点的概率。

10.一种基于cGANs和图像转换的光学与SAR的配准系统，用于实施上述权利要求1-9中任意一项所示的配准方法，包括：

数据获取模块，用于获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；

条件生成对抗网络，用于利用训练好的网络参数将裁切后的图像小块，转化成合成光学图像小块；

图像拼合模块，用于将合成光学图像小块进行拼接，得出合成的光学图片；

图像配准模块，用于对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。

Images