CN106960449A - 基于多特征约束的异源配准方法 - Google Patents
基于多特征约束的异源配准方法 Download PDFInfo
- Publication number
- CN106960449A CN106960449A CN201710150688.5A CN201710150688A CN106960449A CN 106960449 A CN106960449 A CN 106960449A CN 201710150688 A CN201710150688 A CN 201710150688A CN 106960449 A CN106960449 A CN 106960449A
- Authority
- CN
- China
- Prior art keywords
- angle point
- registration
- point
- reference picture
- sar image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 40
- 230000009467 reduction Effects 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000011946 reduction process Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000009466 transformation Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000013641 positive control Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 208000003164 Diplopia Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域,公开了基于多特征约束的异源配准方法,该方法包括如下步骤:获取待配准SAR图像及参考图像;对待配准SAR图像进行降噪处理,并对降噪后的待配准SAR图像和参考图像进行角点检测,得到多个第一角点和多个第二角点;对多个第一角点和多个第二角点进行基于角点位置、区域互信息及距离的多特征联合约束,得到多对精确匹配角点对;采用RANSAC策略对多对精确匹配角点对进行迭代拟合,确定正向控制点对;利用全部正向控制点对计算精确映射参数,利用映射参数将降噪后的待配准SAR图像向参考图像配准,得到配准后的SAR图像。本发明能够实现变换矩阵的精确估计,从而有效提高配准精度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及基于多特征约束的异源配准方法,用于SAR图像和光学图像的特征点提取及特征匹配,可以有效解决在异源配准同名点提取困难的情况下实现对变换矩阵的精确估计,从而有效提高配准精度。
背景技术
异源配准是将时空错位、粒度不一致的异源数据映射为时空一致性的数据,这些时空一致性数据是后续多源关联检测、联合识别和信息融合的基础。由于SAR图像通常信噪比比较低且存在散焦,造成SAR图像与光学图像异源配准极其困难,因此研究SAR图像与光学图像的异源配准具有十分重要的意义。
目前,现有技术中一种主要的异源配准方法为基于图像特征的异源配准方法。该方法的主要优势表现在:一方面,该方法能够减少噪声对特征点提取过程的影响,因此对图像的灰度变化具有较好的适应能力;另一方面,由于图像的特征点要远少于图像的像素点,因此该方法能够在很大程度上减少匹配过程中的计算量。此外,由于特征点的提取对图像的几何形变具有较好的适应力,因此该方法适用性较广。然而,现有的此种方法在异源配准过程中难以对特征进行精确匹配,进而难以估计出精细的变换矩阵,这使得现有的此种方法配准精度较低。
发明内容
有鉴于此,本发明提供了基于多特征约束的异源配准方法,能够实现变换矩阵的精确估计,从而有效提高配准精度。
为达到上述目的,本发明采用如下技术方案:
提供一种基于多特征约束的异源配准方法,包括以下步骤:
步骤1,获取待配准SAR图像及对应的参考图像,参考图像为光学图像,待配准SAR图像和参考图像为同一场景的两幅图像;
步骤2,对待配准SAR图像进行降噪处理,得到降噪后的待配准SAR图像;
利用Harris算法对降噪后的待配准SAR图像进行角点检测,得到降噪后的待配准SAR图像的多个第一角点;以及,利用Harris算法对参考图像进行角点检测,得到参考图像的多个第二角点;
步骤3,对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束,得到多对精确匹配角点对;
步骤4,采用RANSAC策略对多对精确匹配角点对进行迭代拟合,确定多对精确匹配角点对中的正向控制点对;
步骤5,利用多对精确匹配角点对中的全部正向控制点对,计算得到精确映射参数,利用映射参数构造精确仿射变换模型,进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准,得到配准后的SAR图像。
基于本发明上述方案,首先获取待配准SAR图像及对应的参考图像,对待配准SAR图像进行降噪处理得到降噪后的待配准SAR图像;然后,利用Harris算法对降噪后的待配准SAR图像和参考图像分别进行角点检测,得到多个第一角点和多个第二角点;接着,对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束,得到多对精确匹配角点对,进而采用RANSAC策略对多对精确匹配角点对进行迭代拟合,确定多对精确匹配角点对中的正向控制点对;最后,利用多对精确匹配角点对中的全部正向控制点对,计算得到精确映射参数,利用映射参数构造精确仿射变换模型,进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准,得到配准后的SAR图像。相比现有技术,本发明具有以下优点:
第一,本发明中所采用了基于位置、距离和互信息的多特征约束的匹配策略,因此能够解决异源配准中特征点匹配策略单一、不够精细的问题,从而有效剔除误匹配的角点对,获得更为精确的控制点对;
第二,本发明中采用RANSAC策略对匹配焦点对进行迭代拟合,确定经过精确匹配的多对角点对中的正向控制点对,进而能够利用正向控制点对建立精确仿射变换模型,在该精确仿射变换模型的基础上来匹配控制点对,因此本发明方法能够提升数据拟合的鲁棒性,抑制积累的误差对数据造成进一步的干扰,从而实现对变换矩阵的稳健估计,有效提升异源配准精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多特征的异源配准方法的流程示意图;
图2(a)为某地实测SAR图像;
图2(b)为某地实测光学图像;
图3为对图2(a)所示的实测SAR图像进行滤波后的图像;
图4(a)为降噪处理后的SAR图像的角点检测结果图;
图4(b)为光学图像的角点检测结果图;
图5(a)为对降噪处理后SAR图像进行联合约束后得到的角点示意图;
图5(b)为对光学图像进行联合约束后得到的角点示意图
图6(a)为SAR图像中的正向控制角点示意图;
图6(b)为光学图像中的正向控制角点示意图;
图7为配准后的SAR图像;
图8为将配准后SAR图像与光学图像叠加后的图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1所示为本发明实施例提供的一种基于多特征约束的异源配准方法的流程示意图。
如图1所示,本发明实施例提供的一种基于多特征约束的异源配准方法包括以下步骤:
步骤1,获取待配准SAR图像及对应的参考图像。
其中,参考图像为光学图像,待配准SAR图像和参考图像为同一场景的两幅图像。
步骤2,对待配准SAR图像进行降噪处理,得到降噪后的待配准SAR图像;利用Harris算法对降噪后的待配准SAR图像进行角点检测,得到降噪后的待配准SAR图像的多个第一角点;以及,利用Harris算法对参考图像进行角点检测,得到参考图像的多个第二角点。
其中,具体可按照下式对待配准SAR图像进行平滑滤波处理以对其进行降噪:
Mij=exp(-Aij×Tij),
式中,g′ij表示像素点(i,j)经平滑处理后的灰度值,gij表示像素点的原始灰度值,表示平滑窗口内全部像素点的灰度平均值,Mij表示像素点(i,j)的权重指数,Tij表示平滑窗口内的中心像素点到其邻像元的绝对距离,σij表示平滑窗口中全部像素点的灰度值的方差,n2表示平滑窗口的大小。
优选的,步骤2中,利用Harris算法对降噪后的待配准SAR图像进行角点检测,得到所述降噪后的待配准SAR图像的多个第一角点,具体可以包括:
计算得到降噪后的待配准SAR图像中各像素点对应的角点响应函数;
将降噪后的待配准SAR图像中角点响应函数的取值大于零的像素点确定为所述降噪后的待配准SAR图像的第一角点。
类似的,步骤2中,利用Harris算法对参考图像进行角点检测,得到参考图像的多个第二角点,具体可以包括:
计算得到所参考图像中各像素点对应的角点响应函数;
将参考图像中角点响应函数的取值大于零的像素点确定为参考图像的第二角点。
其中,需要说明的是,某一像素点(x,y)对应的角点响应函数可以表示为:
R=det(M)-kTr(M)2,
式中,M表示像素点(x,y)的自相关矩阵,Ix表示像素点(x,y)的灰度值在水平方向上的偏导数,Iy表示像素点(x,y)的灰度值在垂直方向上的偏导数;k表示常数;det(M)表示矩阵M的行列式;Tr(M)表示矩阵M的两个特征值之和;x表示在水平方向上的坐标,y表示像素点(x,y)在垂直方向上的坐标。
步骤3,对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束,得到多对精确匹配角点对。
本发明实施例的一种优选的实现方式中,步骤3具体可以包括以下子步骤:
(3a)获取初始匹配角点对,并根据初始匹配角点对构造初始仿射变换模型,进而利用初始仿射变换模型剔除多个第一角点中的部分第一角点,并确定其余第一角点对应的候补特征点。
其中,需要说明的是,可通过人工选取的方式从降噪后的待配准SAR图像和参考图像中选取相同区域的像素点作为初始匹配角点对。由于后续会根据迭代结果不断对降噪后的待配准SAR图像和参考图像中的角点进行匹配,因此本发明方法不要求初始匹配角点对中的两个角点精确匹配,只要两个角点能够表征图像的相应特征且所处位置大致一致即可。
其中,步骤(3a)具体又可以包括以下子步骤:
(3a1)获取初始匹配角点对,利用初始匹配角点对,计算得到初始映射参数,利用初始映射参数构造初始仿射变换模型。
其中,本领域技术人员可以理解,所述的初始映射参数具体包括:沿水平方向和垂直方向的比例系数、沿水平方向和垂直方向的错切系数以及沿水平方向和垂直方向的位移。需要说明的是,本领域技术人员容易理解,具体可以利用数学工具matlab软件中的角点选择函数——cpselect函数,计算得到初始映射参数,本发明实施例对此不再赘述。
具体的,初始仿射变换模型可表示为:
式中,b11表示沿水平方向的比例系数,b12表示沿垂直方向的比例系数,b13表示沿水平方向的错切系数,b21表示沿垂直方向的错切系数,b22表示沿水平方向的位移,b23表示沿垂直方向的位移;x表示变换前像素点在水平方向上的坐标,y表示变换前像素点在垂直方向上的坐标;x′表示变换后像素点在水平方向上的坐标,y′表示变换后像素点在垂直方向上的坐标。
(3a2)对于多个第一角点中的任一第一角点,利用初始仿射变换模型将该第一角点映射至参考图像中,得到该第一角点对应的第一映射角点;若第一映射角点落在参考图像的边缘区域内,则剔除该第一角点;若第一映射角点未落在参考图像的边缘区域内,则在参考图像中以第一映射角点为中心建立搜索窗口,将落在搜索窗口内的第二角点确定为该第一角点对应的候补特征点。
即,对于全部第一角点中的每个第一角点,均按照步骤(3a2)判断是否将其剔除,并且在不剔除的情况下,确定其对应的候补特征点。
(3b)对于其余第一角点中的任一第一角点,分别在降噪后的待配准SAR图像中建立以该第一角点为中心的第一估计窗口,以及在参考图像中建立以该第一角点的各候补特征点分别为中心的多个第二估计窗口,第一估计窗口和第二估计窗口的尺寸相同;利用第一估计窗口和多个第二估计窗口进行区域互信息约束,确定该第一角点的多个候补特征点中的控制角点。
即,对于步骤(3a)中得到的余下的全部第一角点中的每个第一角点,均按照步骤(3b)确定其对应的控制角点。
具体的,步骤(3b)中,利用第一估计窗口和多个第二估计窗口进行区域互信息约束,确定该第一角点的多个候补特征点中的控制角点,具体可以包括:
对于多个第二估计窗口中的任一第二估计窗口,计算该第二估计窗口和第一估计窗口的互信息,并对互信息进行归一化,得到归一化互信息;若归一化互信息大于预设的互信息阈值,则将该第二估计窗口对应的候补特征点确定为该第一角点的一个控制角点;若归一化互信息小于或等于预设的互信息阈值,则剔除第二估计窗口对应的候补特征点。
其中,需要说明的是,所述的第二估计窗口对应的候补特征点指的是第二估计窗口的中心点,也即步骤(3b)中建立第二估计窗口时用到的候补特征点。
此外,还需说明的是,本领域技术人员可以理解,所述的归一化互信息是度量两张图片相似度的一种表达方式,其值越大代表两张图片的相似性越高。具体的,归一化互信息可表示为:
式中,NMI表示归一化互信息,H(A)表示A图像的信息熵,H(B)表示B图像的信息熵,H(A,B)表示A图像和B图像的联合信息熵。
此外,本领域技术人员可以理解,步骤(3b)中所建立的第一估计窗口和第二估计窗口的尺寸也可不同。当第一估计窗口和第二估计窗口的尺寸不同时,则需要利用插值算法将二者尺寸调整至相同后,再计算二者的互信息。
(3c)对于其余第一角点中的任一第一角点,确定该第一角点的控制角点中是否存在对应的精确匹配角点:若存在,则将该第一角点和其对应的精确匹配角点确定为一对精确匹配角点对;若不存在,则删除该第一角点。
其中,第一角点对应的精确匹配角点为与第一角点在参考图像中的映射角点之间距离最小并且距离小于第一预设距离的控制角点。
步骤4,采用RANSAC策略对多对精确匹配角点对进行迭代拟合,确定多对精确匹配角点对中的正向控制点对。
其中,步骤4具体可以包括以下子步骤:
(4a)从多对精确匹配角点对中随机选取至少3组角点对作为正向控制点对,并将其余精确匹配角点对作为反向控制点对。
(4b)利用正向控制点对计算得到中间映射参数,进而利用中间映射参数计算得到中间仿射变换模型。
其中,所述的中间映射参数具体包括:沿水平方向和垂直方向的比例系数、沿水平方向和垂直方向的错切系数以及沿水平方向和垂直方向的位移。中间仿射变换模型的具体形式可参考步骤(3a1)中的初始仿射变换模型,二者相类似,区别仅在于映射参数取值不同。
(4c)对每个反向控制点对执行以下步骤:
通过中间仿射变换模型将反向控制点对中的第一角点映射至参考图像中,得到对应的第二映射角点,计算反向控制点对中的控制角点与第二映射角点在水平方向和垂直方向上的距离;
若反向控制点对中的控制角点与第二映射角点在水平方向和垂直方向上的距离均小于第二预设距离,则将反向控制点对更改为正向控制点对。
(4d)当步骤(4c)执行结束后,确定当前正向控制点对的个数:若当前正向控制点对的个数大于预设数量,则转至步骤5;若当前正向控制点对的个数小于或等于预设数量,则重复执行步骤(4a)-(4c),直至正向控制点对的个数大于预设数量。
步骤5,利用多对精确匹配角点对中的全部正向控制点对,计算得到精确映射参数,利用映射参数构造精确仿射变换模型,进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准,得到配准后的SAR图像。
其中,所述的精确仿射变换模型具体可表示为:
其中,a11、a12、a22、a21、a13和a13为精确映射参数,a11表示沿水平方向的比例系数,a22表示沿垂直方向的比例系数,a12表示沿水平方向的错切系数,a21表示沿垂直方向的错切系数,a13表示沿水平方向的位移,a23表示沿垂直方向的位移;x表示待配准图像的像素点在水平方向上的坐标,y表示待配准图像中的像素点在垂直方向上的坐标;x′表示配准后图像的像素点在水平方向上的坐标,y′表示配准后图像的像素点在垂直方向上的坐标。
其中,步骤5中,利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准,得到配准后的SAR图像的具体实现过程为:从配准后图像的像素出发,映射到原始图像上,而该位置的坐标往往不是整数,则需要将原始图像中该位置附近的像素点灰度值利用插值的方法来求出作为此点的灰度值,之后返回给配准后图像上的对应点,得到异源配准结果。
基于本发明上述方案,首先获取待配准SAR图像及对应的参考图像,对待配准SAR图像进行降噪处理得到降噪后的待配准SAR图像;然后,利用Harris算法对降噪后的待配准SAR图像和参考图像分别进行角点检测,得到多个第一角点和多个第二角点;接着,对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束,得到多对精确匹配角点对,进而采用RANSAC策略对多对精确匹配角点对进行迭代拟合,确定多对精确匹配角点对中的正向控制点对;最后,利用多对精确匹配角点对中的全部正向控制点对,计算得到精确映射参数,利用映射参数构造精确仿射变换模型,进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准,得到配准后的SAR图像。相比现有技术,本发明具有以下优点:
第一,本发明中所采用了基于位置、距离和互信息的多特征约束的匹配策略,因此能够解决异源配准中特征点匹配策略单一、不够精细的问题,从而有效剔除误匹配的角点对,获得更为精确的控制点对;
第二,本发明中采用RANSAC策略对匹配焦点对进行迭代拟合,确定经过精确匹配的多对角点对中的正向控制点对,进而能够利用正向控制点对建立精确仿射变换模型,在该精确仿射变换模型的基础上来匹配控制点对,因此本发明方法能够提升数据拟合的鲁棒性,抑制积累的误差对数据造成进一步的干扰,从而实现对变换矩阵的稳健估计,有效提升异源配准精度。
进一步的,为验证本发明上述方法的正确性,采用本发明上述方法对图2(a)所示的某地实测SAR图像和图2(b)所示的该地的光学图像进行了配准,具体过程如下:
(1)对图2(a)所示的实测SAR图像进行滤波,抑制斑点噪声。
图3所示即为对图2(a)所示的实测SAR图像进行滤波后的图像。对比图2(a)和图3,可以发现,SAR图像中的斑点噪声得到了一定的抑制,这为后续提取SAR图像的特征点提供了有利条件。
(2)利用Harris算法分别检测上一步得到的经过降噪处理后的SAR图像和光学图像中的角点。
其中,检测结果如图4(a)和4(b)所示,图中的“+”即表示所检测出的角点,其中图4(a)为降噪处理后的SAR图像的角点检测结果图,图4(b)为光学图像的角点检测结果图。观察图4(a)和图4(b),可以看出,SAR图像和光学图像中大部分区域的角点都很好地被提取出来了,并且SAR图像中提取的角点数量明显多于光学图像中的角点。
(3)对上一步得到的图像中的角点进行位置、距离和互信息的联合约束,得到多对精确匹配角点对。
其中,执行结果如图5(a)和5(b)所示,其中图5(a)为对降噪处理后SAR图像进行联合约束后得到的角点示意图,图5(b)为对光学图像进行联合约束后得到的角点示意图,图中的“*”即表示得到的精确匹配角点对中的角点。
观察图4(a)-图5(b),可以看出,原本大量杂乱且无对应关系的SAR图像和光学图像的角点,经过联合优化处理后已经变得有序且一一对应,实现了控制点对的精确估计。
(4)对上一步得到的多对精确匹配角点对进行迭代拟合,得到其中的正向控制点对。
其中,执行结果如图6(a)和6(b)所示,其中图6(a)为SAR图像中的正向控制角点示意图,图6(b)为光学图像中的正向控制角点示意图,图中的“*”即表示得到的正向控制点对中的角点,图中的数字“1”、“2”…“7”表示图6(a)中的角点和图6(b)中的角点的对应关系,图6(a)和图6(b)中标有相同数字的角点即构成一对正向控制角点对。
对比图6与图5可知,经过迭代拟合,能够进一步剔除存在偏差的角点控制对,所获得的角点对更加精细。
(5)利用上一步得到的正向控制点对进行配准,得到配准后的SAR图像。
图7所示即为配准后的SAR图像,观察图7和图2,可以发现,利用本发明方法成功实现了异源图像的配准。为了进一步估计配准的粗细程度,可将配准后的图像和光学图像叠加显示,如图8所示,可以看出图中没有虚影和错位,取得了良好的配准效果。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种基于多特征约束的异源配准方法,其特征在于,包括以下步骤:
步骤1,获取待配准SAR图像及对应的参考图像,所述参考图像为光学图像,所述待配准SAR图像和所述参考图像为同一场景的两幅图像;
步骤2,对所述待配准SAR图像进行降噪处理,得到降噪后的待配准SAR图像;
利用Harris算法对所述降噪后的待配准SAR图像进行角点检测,得到所述降噪后的待配准SAR图像的多个第一角点;以及,利用Harris算法对所述参考图像进行角点检测,得到所述参考图像的多个第二角点;
步骤3,对所述多个第一角点和所述多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束,得到多对精确匹配角点对;
步骤4,采用RANSAC策略对所述多对精确匹配角点对进行迭代拟合,确定所述多对精确匹配角点对中的正向控制点对;
步骤5,利用所述多对精确匹配角点对中的全部正向控制点对,计算得到精确映射参数,利用所述映射参数构造精确仿射变换模型,进而利用所述精确仿射变换模型将所述降噪后的待配准SAR图像向所述参考图像配准,得到配准后的SAR图像。
2.根据权利要求1所述的方法,其特征在于,步骤3具体包括以下子步骤:
(3a)获取初始匹配角点对,并根据所述初始匹配角点对构造初始仿射变换模型,进而利用所述初始仿射变换模型剔除所述多个第一角点中的部分第一角点,并确定其余第一角点对应的候补特征点;
(3b)对于所述其余第一角点中的任一第一角点,分别在所述降噪后的待配准SAR图像中建立以该第一角点为中心的第一估计窗口,以及在所述参考图像中建立以该第一角点的各候补特征点分别为中心的多个第二估计窗口,所述第一估计窗口和所述第二估计窗口的尺寸相同;利用所述第一估计窗口和所述多个第二估计窗口进行区域互信息约束,确定该第一角点的多个候补特征点中的控制角点;
(3c)对于所述其余第一角点中的任一第一角点,确定该第一角点的控制角点中是否存在对应的精确匹配角点:若存在,则将该第一角点和其对应的精确匹配角点确定为一对精确匹配角点对;若不存在,则删除该第一角点;其中,所述第一角点对应的精确匹配角点为与所述第一角点在所述参考图像中的映射角点之间距离最小并且距离小于第一预设距离的控制角点。
3.根据权利要求2所述的方法,其特征在于,步骤(3a)具体包括以下子步骤:
(3a1)获取初始匹配角点对,并利用所述初始匹配角点对,计算得到初始映射参数,利用所述初始映射参数构造初始仿射变换模型;
(3a2)对于所述多个第一角点中的任一第一角点,利用所述初始仿射变换模型将该第一角点映射至所述参考图像中,得到该第一角点对应的第一映射角点;若所述第一映射角点落在所述参考图像的边缘区域内,则剔除该第一角点;若所述第一映射角点未落在所述参考图像的边缘区域内,则在所述参考图像中以所述第一映射角点为中心建立搜索窗口,将落在所述搜索窗口内的第二角点确定为该第一角点对应的候补特征点。
4.根据权利要求2所述的方法,其特征在于,步骤(3b)中,所述利用所述第一估计窗口和所述多个第二估计窗口进行区域互信息约束,确定该第一角点的多个候补特征点中的控制角点,具体包括:
对于所述多个第二估计窗口中的任一第二估计窗口,计算该第二估计窗口和所述第一估计窗口的互信息,并对所述互信息进行归一化,得到归一化互信息;若所述归一化互信息大于预设的互信息阈值,则将该第二估计窗口对应的候补特征点确定为该第一角点的一个控制角点;若所述归一化互信息小于或等于所述预设的互信息阈值,则剔除所述第二估计窗口对应的候补特征点。
5.根据权利要求2所述的方法,其特征在于,步骤4具体包括以下子步骤:
(4a)从所述多对精确匹配角点对中随机选取至少3组角点对作为正向控制点对,并将其余精确匹配角点对作为反向控制点对;
(4b)利用所述正向控制点对计算得到中间映射参数,进而利用所述中间映射参数计算得到中间仿射变换模型;
(4c)对每个反向控制点对执行以下步骤:
通过所述中间仿射变换模型将反向控制点对中的第一角点映射至所述参考图像中,得到对应的第二映射角点,计算反向控制点对中的控制角点与所述第二映射角点在水平方向和垂直方向上的距离;
若反向控制点对中的控制角点与所述第二映射角点在水平方向和垂直方向上的距离均小于第二预设距离,则将反向控制点对更改为正向控制点对;
(4d)当步骤(4c)执行结束后,确定当前正向控制点对的个数:若当前正向控制点对的个数大于预设数量,则转至步骤5;若当前正向控制点对的个数小于或等于所述预设数量,则重复执行步骤(4a)-(4c),直至正向控制点对的个数大于所述预设数量。
6.根据权利要求1所述的方法,其特征在于,步骤2中,所述利用Harris算法对所述降噪后的待配准SAR图像进行角点检测,得到所述降噪后的待配准SAR图像的多个第一角点,具体包括:
计算得到所述降噪后的待配准SAR图像中各像素点对应的角点响应函数;
将所述降噪后的待配准SAR图像中角点响应函数的取值大于零的像素点确定为所述降噪后的待配准SAR图像的第一角点;
所述利用Harris算法对所述参考图像进行角点检测,得到所述参考图像的多个第二角点,具体包括:
计算得到所述参考图像中各像素点对应的角点响应函数;
将所述参考图像中角点响应函数的取值大于零的像素点确定为所述参考图像的第二角点;
其中,像素点(x,y)对应的角点响应函数为R=det(M)-kTr(M)2,式中,M表示像素点(x,y)的自相关矩阵,Ix表示像素点(x,y)的灰度值在水平方向上的偏导数,Iy表示像素点(x,y)的灰度值在垂直方向上的偏导数;k表示常数;det(M)表示矩阵M的行列式;Tr(M)表示矩阵M的两个特征值之和;x表示在水平方向上的坐标,y表示像素点(x,y)在垂直方向上的坐标。
7.根据权利要求1所述的方法,其特征在于,所述精确仿射变换模型为:
其中,a11、a12、a22、a21、a13和a13为精确映射参数,a11表示沿水平方向的比例系数,a22表示沿垂直方向的比例系数,a12表示沿水平方向的错切系数,a21表示沿垂直方向的错切系数,a13表示沿水平方向的位移,a23表示沿垂直方向的位移;x表示待配准图像的像素点在水平方向上的坐标,y表示待配准图像中的像素点在垂直方向上的坐标;x′表示配准后图像的像素点在水平方向上的坐标,y′表示配准后图像的像素点在垂直方向上的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710150688.5A CN106960449B (zh) | 2017-03-14 | 2017-03-14 | 基于多特征约束的异源配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710150688.5A CN106960449B (zh) | 2017-03-14 | 2017-03-14 | 基于多特征约束的异源配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106960449A true CN106960449A (zh) | 2017-07-18 |
CN106960449B CN106960449B (zh) | 2020-02-14 |
Family
ID=59470875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710150688.5A Active CN106960449B (zh) | 2017-03-14 | 2017-03-14 | 基于多特征约束的异源配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106960449B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610164A (zh) * | 2017-09-11 | 2018-01-19 | 北京空间飞行器总体设计部 | 一种基于多特征混合的高分四号影像配准方法 |
CN107945216A (zh) * | 2017-11-10 | 2018-04-20 | 西安电子科技大学 | 基于最小二乘估计的多图像联合配准方法 |
CN108230375A (zh) * | 2017-12-27 | 2018-06-29 | 南京理工大学 | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 |
CN109191501A (zh) * | 2018-08-07 | 2019-01-11 | 宁波市测绘设计研究院 | 一种多源高空间分辨率影像的自动几何配准方法 |
CN109409292A (zh) * | 2018-10-26 | 2019-03-01 | 西安电子科技大学 | 基于精细化特征优化提取的异源图像匹配方法 |
CN111476143A (zh) * | 2020-04-03 | 2020-07-31 | 华中科技大学苏州脑空间信息研究院 | 获取多通道图像、生物多参数以及身份识别的装置 |
CN111914857A (zh) * | 2020-08-11 | 2020-11-10 | 上海柏楚电子科技股份有限公司 | 板材余料的排样方法、装置、系统、电子设备及存储介质 |
CN112132874A (zh) * | 2020-09-23 | 2020-12-25 | 西安邮电大学 | 无标定板异源图像配准方法、装置、电子设备及存储介质 |
CN112541932A (zh) * | 2020-11-30 | 2021-03-23 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
CN112750152A (zh) * | 2021-01-18 | 2021-05-04 | 上海联影医疗科技股份有限公司 | 图像配准方法、装置、计算机设备和存储介质 |
CN114241022A (zh) * | 2022-02-28 | 2022-03-25 | 北京艾尔思时代科技有限公司 | 一种无人机图像自动配准方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667293A (zh) * | 2009-09-24 | 2010-03-10 | 哈尔滨工业大学 | 对多种传感器遥感图像进行高精度稳健配准的方法 |
CN104021559A (zh) * | 2014-06-17 | 2014-09-03 | 西安电子科技大学 | 基于互信息和Harris角点检测的图像配准方法 |
-
2017
- 2017-03-14 CN CN201710150688.5A patent/CN106960449B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667293A (zh) * | 2009-09-24 | 2010-03-10 | 哈尔滨工业大学 | 对多种传感器遥感图像进行高精度稳健配准的方法 |
CN104021559A (zh) * | 2014-06-17 | 2014-09-03 | 西安电子科技大学 | 基于互信息和Harris角点检测的图像配准方法 |
Non-Patent Citations (3)
Title |
---|
ZHENHUA WANG ET AL.: "AUTOMATIC REGISTRATION OF SAR AND OPTICAL IMAGE BASED ON MULTI-FEATURES AND MULTI-CONSTRAINTS", 《IEEE》 * |
奔跑的鸡丝: "图像配准建立仿射变换模型并用RANSAC算法评估", 《博客HTTPS://WWW.CNBLOGS.COM/GISER-WHU/P/3720012.HTML》 * |
陈芳灵: "基于Harris角点匹配的目标跟踪", 《人工智能及识别技术》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610164A (zh) * | 2017-09-11 | 2018-01-19 | 北京空间飞行器总体设计部 | 一种基于多特征混合的高分四号影像配准方法 |
CN107610164B (zh) * | 2017-09-11 | 2020-07-14 | 北京空间飞行器总体设计部 | 一种基于多特征混合的高分四号影像配准方法 |
CN107945216A (zh) * | 2017-11-10 | 2018-04-20 | 西安电子科技大学 | 基于最小二乘估计的多图像联合配准方法 |
CN108230375A (zh) * | 2017-12-27 | 2018-06-29 | 南京理工大学 | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 |
CN109191501A (zh) * | 2018-08-07 | 2019-01-11 | 宁波市测绘设计研究院 | 一种多源高空间分辨率影像的自动几何配准方法 |
CN109191501B (zh) * | 2018-08-07 | 2021-08-24 | 宁波市测绘和遥感技术研究院 | 一种多源高空间分辨率影像的自动几何配准方法 |
CN109409292B (zh) * | 2018-10-26 | 2021-09-03 | 西安电子科技大学 | 基于精细化特征优化提取的异源图像匹配方法 |
CN109409292A (zh) * | 2018-10-26 | 2019-03-01 | 西安电子科技大学 | 基于精细化特征优化提取的异源图像匹配方法 |
CN111476143A (zh) * | 2020-04-03 | 2020-07-31 | 华中科技大学苏州脑空间信息研究院 | 获取多通道图像、生物多参数以及身份识别的装置 |
CN111476143B (zh) * | 2020-04-03 | 2022-04-22 | 华中科技大学苏州脑空间信息研究院 | 获取多通道图像、生物多参数以及身份识别的装置 |
CN111914857A (zh) * | 2020-08-11 | 2020-11-10 | 上海柏楚电子科技股份有限公司 | 板材余料的排样方法、装置、系统、电子设备及存储介质 |
CN111914857B (zh) * | 2020-08-11 | 2023-05-09 | 上海柏楚电子科技股份有限公司 | 板材余料的排样方法、装置、系统、电子设备及存储介质 |
CN112132874A (zh) * | 2020-09-23 | 2020-12-25 | 西安邮电大学 | 无标定板异源图像配准方法、装置、电子设备及存储介质 |
CN112132874B (zh) * | 2020-09-23 | 2023-12-05 | 西安邮电大学 | 无标定板异源图像配准方法、装置、电子设备及存储介质 |
CN112541932A (zh) * | 2020-11-30 | 2021-03-23 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
CN112541932B (zh) * | 2020-11-30 | 2024-03-26 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
CN112750152A (zh) * | 2021-01-18 | 2021-05-04 | 上海联影医疗科技股份有限公司 | 图像配准方法、装置、计算机设备和存储介质 |
CN112750152B (zh) * | 2021-01-18 | 2023-04-07 | 上海联影医疗科技股份有限公司 | 图像配准方法、装置、计算机设备和存储介质 |
CN114241022B (zh) * | 2022-02-28 | 2022-06-03 | 北京艾尔思时代科技有限公司 | 一种无人机图像自动配准方法及系统 |
CN114241022A (zh) * | 2022-02-28 | 2022-03-25 | 北京艾尔思时代科技有限公司 | 一种无人机图像自动配准方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106960449B (zh) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106960449A (zh) | 基于多特征约束的异源配准方法 | |
CN104236478B (zh) | 一种基于视觉的车辆外廓尺寸自动测量系统及方法 | |
CN108492281B (zh) | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 | |
CN101512601B (zh) | 从图像中确定深度图的方法以及确定深度图的设备 | |
Ugelmann | Automatic breakline detection from airborne laser range data | |
CN108985343B (zh) | 基于深度神经网络的汽车损伤检测方法和系统 | |
CN111178150B (zh) | 车道线检测方法、系统及存储介质 | |
CN108447016B (zh) | 基于直线交点的光学图像和sar图像的匹配方法 | |
CN111105452B (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
CN109727279B (zh) | 一种矢量数据与遥感影像的自动配准方法 | |
CN113392856B (zh) | 图像伪造检测装置和方法 | |
CN115205286B (zh) | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 | |
CN110264510A (zh) | 一种基于双目采集图像提取景深信息的方法 | |
CN114004894A (zh) | 基于三个标定板的激光雷达与双目相机空间关系确定方法 | |
Wang | Automatic extraction of building outline from high resolution aerial imagery | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
DE60019119T2 (de) | System und Verfahren zur Objekterkennung | |
CN117522803A (zh) | 基于双目视觉和目标检测的桥梁部件精确定位方法 | |
CN106355576A (zh) | 基于mrf图像分割算法的sar图像配准方法 | |
CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
Potuckova | Image matching and its applications in photogrammetry | |
CN112669360B (zh) | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 | |
Ying et al. | Technique of measuring leading vehicle distance based on digital image processing theory | |
Becker et al. | Lidar inpainting from a single image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |