CN111783548A - 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法 - Google Patents

基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法 Download PDF

Info

Publication number
CN111783548A
CN111783548A CN202010498873.5A CN202010498873A CN111783548A CN 111783548 A CN111783548 A CN 111783548A CN 202010498873 A CN202010498873 A CN 202010498873A CN 111783548 A CN111783548 A CN 111783548A
Authority
CN
China
Prior art keywords
image
matching
points
point
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010498873.5A
Other languages
English (en)
Other versions
CN111783548B (zh
Inventor
王鑫
翟华琼
宁晨
吕国芳
石爱业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010498873.5A priority Critical patent/CN111783548B/zh
Publication of CN111783548A publication Critical patent/CN111783548A/zh
Application granted granted Critical
Publication of CN111783548B publication Critical patent/CN111783548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，包括：首先，对SAR图像进行预处理，提取SAR图像的轮廓，同时在轮廓上提取CSS角点作为特征点。对于可见光图像，也预先对图像进行图像锐化的预处理，提取轮廓，同时提取轮廓上的CSS角点；然后，使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量；最后，使用基于博弈论的超图匹配算法，将匹配问题转化为博弈问题，计算达到纳什均衡点，消除错误匹配点对。

Description

基于改进特征提取和博弈论超图的SAR图像与可见光图像匹 配方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法。
背景技术
合成孔径雷达(SAR)技术发展以来，不断受到各界的关注，因SAR具有较强的穿透能力以及全天候、全天时的优点，使得其在军事侦察、气象预报、航空航天等领域被广泛应用。由于SAR对金属材料的物体和地表敏感，所以成像时会有明显的纹理特征，可以用于探寻矿产资源、探测地形变化。除了探测地面以上的物体，SAR图像还可以穿透地表，探测到地下的目标。但是SAR图像也存在较多的缺陷，光谱的缺乏导致的图像色彩上的不足，同时，在相干斑噪声的影响下，图像的纹理会比较模糊。而可见光遥感图像在成像环境良好的情况下，所成图像具有丰富的光谱信息和灰度纹理信息，可较好的反映地物特征。针对上述可见光图像与SAR图像各自的优劣势，如果能将两者进行一定的关联结合，优劣互补，将对遥感技术等领域的应用提供较大的帮助，所以，对于SAR与可见光图像的匹配有重大的意义。
图像的匹配方法主要分为两大类，分别是基于特征的匹配方法和基于区域的匹配方法。由于特征匹配算法不仅对空间变换、目标遮挡等具有较高的鲁棒性，而且匹配的质量较高，特征点匹配的精准度较高，所以本发明使用的是基于特征的匹配方法。又因为SAR图像和可见光图像的成像原理的不同，所以在灰度和分辨率上有较大差异，并且SAR图像上往往因相干斑噪声的影响，所以图像不够清晰。为了实现SAR图像与可见光图像的匹配，本发明需要选择提取异源图像中共有的稳定特征，这是本发明需要解决的重要问题，并且本发明还需要选择合适的方法来提高匹配的正确率和精度。
发明内容
发明目的：针对以上问题，由于SAR图像在成像过程中容易形成相干斑，图像细节不够清晰，与可见光的灰度差异也比较大，因此对SAR图像使用纹理进行匹配的效果往往是不够理想的，但SAR图像却能保留较为清晰的轮廓特征，所以在本发明中使用图像的轮廓特征结合角点特征进行匹配。在匹配方法上，本发明选择使用一致性点漂移(CPD)的匹配算法，CPD算法对刚性和非刚性点集都具有较好的适应性，并且可以自动的调整尺度，可以适当的调整角度，能充分的利用特征点的空间位置关系进行匹配。在本发明使用CPD算法匹配之后，为了去除掉误匹配点对，提出对于已经初步匹配的特征点，构造超图结构，并且建立超边的邻接张量，利用两个图像超边张量的相似性度量结合基于博弈论的最优化算法，来去除误匹配点对，这样的匹配方法有更好的精确性，最终该方法可以得到SAR图像与可见光图像精确匹配结果。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，包括如下步骤：
(1)针对待匹配的SAR图像和可见光图像，在提取特征之前，需要对SAR图像进行预处理，平滑相干斑噪声，对于可见光图像，也预先对图像进行图像锐化的预处理；
(2)针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓；
(3)针对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓；
(4)针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点；
(5)使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动；
(6)获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对。
所述步骤(1)中对SAR图像和可见光图像进行预处理的具体方法是：
对SAR图像进行预处理，先使用LEE滤波器对图像滤波，然后使用拉普拉斯算子锐化图像。对可见光图像进行预处理，使用拉普拉斯算子锐化图像。
所述步骤(2)中针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓，具体实现方法是：
第一，指数加权均值比(ROEWA)检测器，其本质上是基于指数平滑滤波器的线性最小均方误差，在一维中，这个滤波器如公式(1)所示：
f(xt)＝Kz·exp(-α|xt|) (1)
其中Kz是普通常量，α是滤波系数，xt是输入参数，在离散的条件下，若在离散化条件下，用n＝1,2,...,Nt作为输入参数,f(n)可以通过f1(n)和f2(n)的组合获得，公式(2)如下：
Figure BDA0002523943250000021
其中，f1(n)和f2(n)可以通过以下公式(3)获得。
Figure BDA0002523943250000031
其中，0<b＝e-α<1，a＝1-b，本发明将b的值设置为0.73，并且u(n)是离散的Heaviside函数。
对于二维图像Iimg(x,y)，(x,y)表示图像上的坐标，计算X方向(水平方向)的边缘强度分量
Figure BDA0002523943250000032
和
Figure BDA0002523943250000033
计算过程如下式(4)所示：
Figure BDA0002523943250000034
其中，符号
Figure BDA0002523943250000035
表示X方向(水平方向)的卷积，符号
Figure BDA0002523943250000036
表示Y方向(竖直方向)的卷积，同理可以计算Y方向(竖直方向)的边缘强度分量
Figure BDA0002523943250000037
和
Figure BDA0002523943250000038
通过
Figure BDA0002523943250000039
和
Figure BDA00025239432500000310
可以获得Iimg(x,y)的水平边缘强度系数rXmax(x,y)。如下式(5)所示：
Figure BDA00025239432500000311
同理，通过
Figure BDA00025239432500000312
和
Figure BDA00025239432500000313
可以获得Iimg(x,y)的竖直边缘强度系数rYmax(x,y)。计算获得ROEWA的算子rmax(x,y)，如下式(6)：
rmax(x,y)＝[rXmax(x,y),rYmax(x,y)]T (6)
基于ROEWA算子的边缘强度函数式与梯度模的定义公式类似，计算方程如下式(7)所示。
Figure BDA00025239432500000314
第二，获得梯度强度图后，先将边缘梯度强度图像归一化，再通过式(8)将梯度幅值转化为对应的灰度值，将SAR图像的梯度强度图转化为可视化的边缘强度灰度图。
Figure BDA00025239432500000315
其中，
Figure BDA00025239432500000316
表示第i个像素的边缘梯度强度值，Nr表示边缘梯度强度图像I(x,y)的像素点的个数，
Figure BDA00025239432500000317
表示第i个像素的灰度值。
第三，获得边缘强度灰度图后，设置阈值Tw，并判断每个像素点的灰度值是否大于Tw，若大于Tw则判定该点为边缘点，否则为非边缘点。新建一个与原图像同样大小的二值图像，若该点为边缘点，则在二值图像的对应位置上的值设置为1，为白色，否则设置为0，为黑色。
第四，在构建的二值图像中使用形态学方法，使用开运算或闭运算，还根据边缘所围成的区域面积，通过设置阈值Tm，筛选掉区域面积小于阈值Tm的边缘，并且适当的细化边缘，为后续图像匹配做准备。
所述步骤(3)中针对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓，具体实现形式是：
SOBEL算子对应梯度分量的图像卷积模板如下式(9)，本发明使用的3×3的卷积核。
Figure BDA0002523943250000041
其中，△x,△y分别是用来计算在x和y方向的梯度分量。利用上式的算子，对图像上的每一个像素点进行卷积，对中心点邻域的像素点的灰度值进行加权计算，计算得到的值为中心点的值，卷积后的图像是原图像的边缘灰度图。不同的算子计算的是不同梯度方向的梯度值。如果在一个非边缘的平稳区域，SOBEL计算得到的值为0。通过两个算子分别卷积，然后获得x和y方向的梯度值，计算梯度的方向和模值。
上述步骤(4)中针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点，具体内容如下：
(4.1)提取边缘后，将横纵坐标转化为边缘弧长us的函数，获得弧长参数化函数Γ(us)如下式：
Γ(us)＝(x(us),y(us)) (10)
对于边缘中任意一点曲率的计算可以按照式(11)进行计算。
Figure BDA0002523943250000042
Figure BDA0002523943250000043
上的一个点表示对弧长us的求一阶偏导数，
Figure BDA0002523943250000044
上两个点表示对us的二阶偏导。通过在绝对曲率中找到极大值点获得角点。
同时计算不同的尺度σc下的曲率Kn(us,σc)，如下式所示：
Figure BDA0002523943250000051
Figure BDA0002523943250000052
gs(us,σc)是用于卷积运算的高斯核函数，符号
Figure BDA0002523943250000053
表示卷积。上面的所有式子中，
Figure BDA0002523943250000054
上的一个点表示对弧长us的求一阶偏导数，
Figure BDA0002523943250000055
上两个点表示对us的二阶偏导，最终获得多尺度下的Kn(us,σc)。
(4.2)选择曲率为局部极大值的点作为角点，根据高尺度和实际经验设定全局阈值tn，找出大于阈值tn的候选角点
(4.3)同时对筛选出来的真角点，不断的在往低尺度进行重新定位，直到最低尺度σmin，以得到角点的准确位置。
(4.4)去除和CSS角点类似的T型角点，留下真角点。
上述步骤(5)中使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动，具体内容如下：
(5.1)取可见光图像的CSS角点和角点周围的轮廓点为
Figure BDA0002523943250000056
同理，取SAR图像的特征点为
Figure BDA0002523943250000057
(5.2)利用CPD算法求非刚性点列数据集的匹配过程：
(i)初始化：W＝0,
Figure BDA0002523943250000058
其中，WM×D＝(w1,...,wM)T是一个系数矩阵。σ2表示每个分量的各项同性协方差。
初始化：ω(0≤ω≤1),β>0,λ>0，ω表示点集中噪声量的假设，β表示平滑正则化模型(平滑高斯滤波器的宽度)，λ表示最大似然拟合优度与正则化之间的权衡项。
构建核矩阵G：
Figure BDA0002523943250000059
(ii)EM算法优化，直到收敛：
E步：计算P，
Figure BDA0002523943250000061
M步：使用快速高斯变换计算矩阵向量:P1,PT1,PX
其中，P1里面存储的是Xs中的第n个点到Ys中第m个点的距离，PX中存储的是Ys中的一个点到Xs中的所有点的距离的负指数之和。PT1是P1的转置。
求解
(G+λσ2d(P1)-1)W＝d(P1)-1PX-Ys，
NP＝1TP1,Tc＝Ys+GW,
其中Tc表示对应Ys的转换函数。
Figure BDA0002523943250000062
其中d(*)表示由向量*形成的对角矩阵，tr(ψ)表示矩阵ψ的迹。
对应点列：Tc＝Ys+GW
(iii)对应概率为P.
(5.3)CPD算法迭代110次，点集
Figure BDA0002523943250000063
朝着
Figure BDA0002523943250000064
进行一致性漂移运动，在匹配概率最大的情况下，获得变换矩阵Tc，同时获得SAR图像与可见光图像粗匹配点对关系。
上述步骤(6)中获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对。具体内容如下：
第一，利用可见光图像中的Mn个特征点，形成一致超图Hp。
令Α作为超图Hp的邻接张量，张量A的元素ai,j,k表示包含点{pi,pj,pk}的超边上的权重，同时定义{pi,pj,pk}中的pi,pj,pk每个顶点的坐标是二维的向量。公式如式(10)所示：
Figure BDA0002523943250000065
相似的，我们使用SAR图像中的Mn个特征点，建立一致超图Hq，同时定义{qi,qj,qk}中的qi,qj,qk每个顶点的坐标是二维的向量。定义Β作为Hq的邻接张量。
第二，本发明把Mn个匹配点对表示Mn个粗匹配对，建立一个关联博弈超图Hn，把Mn个匹配关系定为博弈中的Mn个策略。建立对应关联博弈超图Hn的邻接张量Sp，在Sp中的元素si,j,k，表示对应超边的权重，(i,j,k)表示对应超边包含的策略。公式(11)如下：
Figure BDA0002523943250000071
其中，σs表示尺度控制参数。
第三，在匹配博弈中，将超图中的Mn的顶点表示为Mn个策略，并将一条超边上的K个顶点关联为K个独立的博弈玩家。本发明将参与者的策略选择概率表示列向量Z,Z中的每个元素zn(n＝1,...,Mn)表示每个博弈玩家选择第n个策略的可能性。同时，Z也需要满足条件：
Figure BDA0002523943250000072
在博弈框架中，三维邻接张量Sp的每一个元素都参与到K＝3个独立的博弈玩家的总体平均收益计算过程中。将Z1,Z2,Z3分别表示三个玩家的选择概率向量。总体收益函数Gh如下式(12)所示：
Figure BDA0002523943250000073
其中，×m(m＝1,2,3)表示张量积。
三维邻接张量Sp的超对称性，在Z1,Z2,Z3发生任意位置交换的条件下，都不会对Sp产生影响。由于三个玩家彼此是相互独立的，Z1,Z2,Z3也具有相同的选择概率分布，所以，符号Zm(m＝1,2,3)表示张量积都是没有差别的。在这样的情况下，总体收益函数Gh可以重新计算如下式(13)：
Figure BDA0002523943250000074
演化博弈寻找最优选择概率向量
Figure BDA0002523943250000075
如下式(14)所示。
Figure BDA0002523943250000076
并且满足条件
Figure BDA0002523943250000077
设定一个Mn维的向量En，该向量中，除了第n项为1,其余各项都是0。在匹配博弈中，将
Figure BDA0002523943250000081
作为“n策略者”的平均收益。本发明设定的Mn个策略和K个玩家的匹配博弈如下式(15)：
Figure BDA0002523943250000082
其中，
Figure BDA0002523943250000083
表示最优选择概率向量
Figure BDA0002523943250000084
条件下的总体平均收益。
根据上式(15)，实现纳什均衡时，总体平均收益会达到最大值，意味着在演化过程后，不匹配会自动的消失。
本发明使用拉格朗日(Lagrange)乘子法最大化总收益Gh(Z,Z,Z)，下面给出博弈论超图匹配优化方法的数学分析。
令
Figure BDA0002523943250000085
λh是Lagrange算子，匹配博弈的Lagrange函数Lh如下式(16)：
Figure BDA0002523943250000086
将演化的博弈论超图匹配优化的问题转化为计算合适的拉格朗日乘子
Figure BDA0002523943250000087
和λh，保证最优的
Figure BDA0002523943250000088
可以最大化总收益，最优
Figure BDA0002523943250000089
应当满足以下方程(17)：
Figure BDA00025239432500000810
其中，n的范围是1到Mn，结合公式Gh(Z,Z,Z)的展开式，在最优
Figure BDA00025239432500000811
的条件下，令上式的偏导数等于
Figure BDA00025239432500000812
Figure BDA00025239432500000813
为向量
Figure BDA00025239432500000814
的元素，μn是
Figure BDA00025239432500000815
的一个元素。用矩阵表示λh如下式(18)所示：
Figure BDA00025239432500000816
其中，
Figure BDA00025239432500000817
Figure BDA00025239432500000818
是Mn维的列向量。K表示K个玩家，
Figure BDA00025239432500000819
同时V的第n个元素vn表示为
Figure BDA00025239432500000820
对上式(18)两边同乘以
Figure BDA00025239432500000821
Figure BDA00025239432500000822
根据选择概率向量Z的定义，令
Figure BDA00025239432500000823
同时，根据V的定义，可得
Figure BDA0002523943250000091
可获得λh的最终表达式(20)如下：
Figure BDA0002523943250000092
在
Figure BDA0002523943250000093
的条件下，概率向量Z的第n个元素zn是被认为是KKT点，因此，在最优选择概率向量
Figure BDA0002523943250000094
满足KKT(Karush-Kuhn-Tucker)条件下，
Figure BDA0002523943250000095
表示博弈中的最大总体收益。
第四，通过计算非线性优化问题的局部解可以获得公式(14)形式的博弈纳什均衡。本发明利用如下的迭代公式(21)达到zi的收敛性，获得最优选择概率向量
Figure BDA0002523943250000096
Figure BDA0002523943250000097
其中，t表示第t次迭代。Z的其余的Mn-1项元素可以通过上式相同的方法计算出来。可以识别去除误匹配点
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明是一种针对SAR图像与可见光图像的匹配算法，本发明提出使用视觉上显著的图像边缘点与角点作为特征点，在提取特征过程中，由于ROEWA算法提取边缘时受相干斑噪声影响比较小，所以本发明选择ROEWA算法提取SAR图像轮廓，同时也对ROEWA算法进行改进，使得提取的轮廓更加清晰，同时剔除细小的无用的边缘，对于可见光图像，使用SOBEL算法提取边缘。在提取轮廓的基础上，提取CSS角点。在粗匹配过程中，使用的特征点是角点和角点周围的边缘点，由于边缘点包含更多位置信息，可以弥补角点的位置信息的不足，增大角点匹配的正确率，同时角点的显著性较强，匹配的精准性更高，所以使用角点和角点周围的轮廓点进行匹配。本发明使用的CPD的非刚性匹配算法对特征点进行粗匹配，CPD算法对刚性和非刚性点集都具有较好的适应性，并且可以自动的调整尺度，可以适当的调整角度，能充分的利用空间位置关系进行匹配。最后进一步筛选初始匹配点对中的正确匹配点对，对初匹配点构建超图，使用基于博弈论的超图匹配方法，剔除误匹配的点对，得到最终的匹配点对。因此本发明方法在实现匹配时匹配的正确率和精度都得到了很大的提高。
附图说明
图1是本发明方法的框架图；
图2是本发明在同场景同尺度视角下的匹配结果图；
图3是本发明在旋转变换下的匹配结果图；
图4是本发明在仿射变换下的匹配结果图；
图5是本发明在投影变换下的匹配结果图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图1所示，本发明提供一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，首先，针对待匹配的SAR图像和可见光图像，在提取特征之前，需要对SAR图像和可见光图像，进行预处理。其次，针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓；针对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓。第三，针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点。第四，使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动。最后，获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对。所述方法具体包括如下步骤：
(1)针对待匹配的SAR图像和可见光图像，在提取特征之前，需要对SAR图像进行预处理，平滑相干斑噪声，对于可见光图像，也预先对图像进行图像锐化的预处理；
(2)针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓；
(3)针对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓；
(4)针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点；
(5)使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动；
(6)获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对。
所述步骤(1)中对SAR图像和可见光图像进行预处理的具体方法是：
对SAR图像进行预处理，先使用LEE滤波器对图像滤波，然后使用拉普拉斯算子锐化图像。对可见光图像进行预处理，使用拉普拉斯算子锐化图像。
所述步骤(2)中针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓，具体实现方法是：
第一，指数加权均值比(ROEWA)检测器，其本质上是基于指数平滑滤波器的线性最小均方误差，在一维中，这个滤波器如公式(1)所示：
f(xt)＝Kz·exp(-α|xt|) (1)
其中Kz是普通常量，α是滤波系数，xt是输入参数，在离散的条件下，若在离散化条件下，用n＝1,2,...,Nt作为输入参数,f(n)可以通过f1(n)和f2(n)的组合获得，公式(2)如下：
Figure BDA0002523943250000111
其中，f1(n)和f2(n)可以通过以下公式(3)获得。
Figure BDA0002523943250000112
其中，0<b＝e-α<1，a＝1-b，本发明将b的值设置为0.73，并且u(n)是离散的Heaviside函数。
对于二维图像Iimg(x,y)，(x,y)表示图像上的坐标，计算X方向(水平方向)的边缘强度分量
Figure BDA0002523943250000113
和
Figure BDA0002523943250000114
计算过程如下式(4)所示：
Figure BDA0002523943250000115
其中，符号
Figure BDA0002523943250000116
表示X方向(水平方向)的卷积，符号
Figure BDA0002523943250000117
表示Y方向(竖直方向)的卷积，同理可以计算Y方向(竖直方向)的边缘强度分量
Figure BDA0002523943250000118
和
Figure BDA0002523943250000119
通过
Figure BDA00025239432500001110
和
Figure BDA00025239432500001111
可以获得Iimg(x,y)的水平边缘强度系数rXmax(x,y)。如下式(5)所示：
Figure BDA00025239432500001112
同理，通过
Figure BDA00025239432500001113
和
Figure BDA00025239432500001114
可以获得Iimg(x,y)的竖直边缘强度系数rYmax(x,y)。计算获得ROEWA的算子rmax(x,y)，如下式(6)：
rmax(x,y)＝[rXmax(x,y),rYmax(x,y)]T (6)
基于ROEWA算子的边缘强度函数式与梯度模的定义公式类似，计算方程如下式(7)所示。
Figure BDA0002523943250000121
第二，获得梯度强度图后，先将边缘梯度强度图像归一化，再通过式(8)将梯度幅值转化为对应的灰度值，将SAR图像的梯度强度图转化为可视化的边缘强度灰度图。
Figure BDA0002523943250000122
其中，
Figure BDA0002523943250000123
表示第i个像素的边缘梯度强度值，Nr表示边缘梯度强度图像I(x,y)的像素点的个数，
Figure BDA0002523943250000124
表示第i个像素的灰度值。
第三，获得边缘强度灰度图后，设置阈值Tw，并判断每个像素点的灰度值是否大于Tw，若大于Tw则判定该点为边缘点，否则为非边缘点。新建一个与原图像同样大小的二值图像，若该点为边缘点，则在二值图像的对应位置上的值设置为1，为白色，否则设置为0，为黑色。
第四，在构建的二值图像中使用形态学方法，使用开运算或闭运算，还根据边缘所围成的区域面积，通过设置阈值Tm，筛选掉区域面积小于阈值Tm的边缘，并且适当的细化边缘，为后续图像匹配做准备。
所述步骤(3)中针对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓，具体实现形式是：
SOBEL算子对应梯度分量的图像卷积模板如下式(9)，本发明使用的3×3的卷积核。
Figure BDA0002523943250000125
其中，△x,△y分别是用来计算在x和y方向的梯度分量。利用上式的算子，对图像上的每一个像素点进行卷积，对中心点邻域的像素点的灰度值进行加权计算，计算得到的值为中心点的值，卷积后的图像是原图像的边缘灰度图。不同的算子计算的是不同梯度方向的梯度值。如果在一个非边缘的平稳区域，SOBEL计算得到的值为0。通过两个算子分别卷积，然后获得x和y方向的梯度值，计算梯度的方向和模值。
上述步骤(4)中针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点，具体内容如下：
(4.1)提取边缘后，将横纵坐标转化为边缘弧长us的函数，获得弧长参数化函数Γ(us)如下式：
Γ(us)＝(x(us),y(us)) (10)
对于边缘中任意一点曲率的计算可以按照式(11)进行计算。
Figure BDA0002523943250000131
Figure BDA0002523943250000132
上的一个点表示对弧长us的求一阶偏导数，
Figure BDA0002523943250000133
上两个点表示对us的二阶偏导。通过在绝对曲率中找到极大值点获得角点。
同时计算不同的尺度σc下的曲率Kn(us,σc)，如下式所示：
Figure BDA0002523943250000134
Figure BDA0002523943250000135
gs(us,σc)是用于卷积运算的高斯核函数，符号
Figure BDA0002523943250000136
表示卷积。上面的所有式子中，
Figure BDA0002523943250000137
上的一个点表示对弧长us的求一阶偏导数，
Figure BDA0002523943250000138
上两个点表示对us的二阶偏导，最终获得多尺度下的Kn(us,σc)。
(4.2)选择曲率为局部极大值的点作为角点，根据高尺度和实际经验设定全局阈值tn，找出大于阈值tn的候选角点
(4.3)同时对筛选出来的真角点，不断的在往低尺度进行重新定位，直到最低尺度σmin，以得到角点的准确位置。
(4.4)去除和CSS角点类似的T型角点，留下真角点。
上述步骤(5)中使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动，具体内容如下：
(5.1)取可见光图像的CSS角点和角点周围的轮廓点为
Figure BDA0002523943250000139
同理，取SAR图像的特征点为
Figure BDA00025239432500001310
(5.2)利用CPD算法求非刚性点列数据集的匹配过程：
(i)初始化：W＝0,
Figure BDA0002523943250000141
其中，WM×D＝(w1,...,wM)T是一个系数矩阵。σ2表示每个分量的各项同性协方差。
初始化：ω(0≤ω≤1),β>0,λ>0，ω表示点集中噪声量的假设，β表示平滑正则化模型(平滑高斯滤波器的宽度)，λ表示最大似然拟合优度与正则化之间的权衡项。
构建核矩阵G：
Figure BDA0002523943250000142
(ii)EM算法优化，直到收敛：
E步：计算P，
Figure BDA0002523943250000143
M步：使用快速高斯变换计算矩阵向量:P1,PT1,PX
其中，P1里面存储的是Xs中的第n个点到Ys中第m个点的距离，PX中存储的是Ys中的一个点到Xs中的所有点的距离的负指数之和。PT1是P1的转置。
求解
(G+λσ2d(P1)-1)W＝d(P1)-1PX-Ys，
NP＝1TP1,Tc＝Ys+GW,
其中Tc表示对应Ys的转换函数。
Figure BDA0002523943250000144
其中d(*)表示由向量*形成的对角矩阵，tr(ψ)表示矩阵ψ的迹。
对应点列：Tc＝Ys+GW
(iii)对应概率为P.
(5.3)CPD算法迭代110次，点集
Figure BDA0002523943250000145
朝着
Figure BDA0002523943250000146
进行一致性漂移运动，在匹配概率最大的情况下，获得变换矩阵Tc，同时获得SAR图像与可见光图像粗匹配点对关系。
上述步骤(6)中获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对。具体内容如下：
第一，利用可见光图像中的Mn个特征点，形成一致超图Hp。
令Α作为超图Hp的邻接张量，张量A的元素ai,j,k表示包含点{pi,pj,pk}的超边上的权重，同时定义{pi,pj,pk}中的pi,pj,pk每个顶点的坐标是二维的向量。公式如式(10)所示：
Figure BDA0002523943250000151
相似的，我们使用SAR图像中的Mn个特征点，建立一致超图Hq，同时定义{qi,qj,qk}中的qi,qj,qk每个顶点的坐标是二维的向量。定义Β作为Hq的邻接张量。
第二，本发明把Mn个匹配点对表示Mn个粗匹配对，建立一个关联博弈超图Hn，把Mn个匹配关系定为博弈中的Mn个策略。建立对应关联博弈超图Hn的邻接张量Sp，在Sp中的元素si,j,k，表示对应超边的权重，(i,j,k)表示对应超边包含的策略。公式(11)如下：
Figure BDA0002523943250000152
其中，σs表示尺度控制参数。
第三，在匹配博弈中，将超图中的Mn的顶点表示为Mn个策略，并将一条超边上的K个顶点关联为K个独立的博弈玩家。本发明将参与者的策略选择概率表示列向量Z,Z中的每个元素zn(n＝1,...,Mn)表示每个博弈玩家选择第n个策略的可能性。同时，Z也需要满足条件：
Figure BDA0002523943250000153
在博弈框架中，三维邻接张量Sp的每一个元素都参与到K＝3个独立的博弈玩家的总体平均收益计算过程中。将Z1,Z2,Z3分别表示三个玩家的选择概率向量。总体收益函数Gh如下式(12)所示：
Figure BDA0002523943250000154
其中，×m(m＝1,2,3)表示张量积。
三维邻接张量Sp的超对称性，在Z1,Z2,Z3发生任意位置交换的条件下，都不会对Sp产生影响。由于三个玩家彼此是相互独立的，Z1,Z2,Z3也具有相同的选择概率分布，所以，符号Zm(m＝1,2,3)表示张量积都是没有差别的。在这样的情况下，总体收益函数Gh可以重新计算如下式(13)：
Figure BDA0002523943250000161
演化博弈寻找最优选择概率向量
Figure BDA0002523943250000162
如下式(14)所示。
Figure BDA0002523943250000163
并且满足条件
Figure BDA0002523943250000164
设定一个Mn维的向量En，该向量中，除了第n项为1,其余各项都是0。在匹配博弈中，将
Figure BDA0002523943250000165
作为“n策略者”的平均收益。本发明设定的Mn个策略和K个玩家的匹配博弈如下式(15)：
Figure BDA0002523943250000166
其中，
Figure BDA0002523943250000167
表示最优选择概率向量
Figure BDA0002523943250000168
条件下的总体平均收益。
根据上式(15)，实现纳什均衡时，总体平均收益会达到最大值，意味着在演化过程后，不匹配会自动的消失。
本发明使用拉格朗日(Lagrange)乘子法最大化总收益Gh(Z,Z,Z)，下面给出博弈论超图匹配优化方法的数学分析。
令
Figure BDA0002523943250000169
λh是Lagrange算子，匹配博弈的Lagrange函数Lh如下式(16)：
Figure BDA00025239432500001610
将演化的博弈论超图匹配优化的问题转化为计算合适的拉格朗日乘子
Figure BDA00025239432500001611
和λh，保证最优的
Figure BDA00025239432500001612
可以最大化总收益，最优
Figure BDA00025239432500001613
应当满足以下方程(17)：
Figure BDA0002523943250000171
其中，n的范围是1到Mn，结合公式Gh(Z,Z,Z)的展开式，在最优
Figure BDA0002523943250000172
的条件下，令上式的偏导数等于
Figure BDA0002523943250000173
Figure BDA0002523943250000174
为向量
Figure BDA0002523943250000175
的元素，μn是
Figure BDA0002523943250000176
的一个元素。用矩阵表示λh如下式(18)所示：
Figure BDA0002523943250000177
其中，
Figure BDA0002523943250000178
Figure BDA0002523943250000179
是Mn维的列向量。K表示K个玩家，
Figure BDA00025239432500001710
同时V的第n个元素vn表示为
Figure BDA00025239432500001711
对上式(18)两边同乘以
Figure BDA00025239432500001712
Figure BDA00025239432500001713
根据选择概率向量Z的定义，令
Figure BDA00025239432500001714
同时，根据V的定义，可得
Figure BDA00025239432500001715
可获得λh的最终表达式(20)如下：
Figure BDA00025239432500001716
在
Figure BDA00025239432500001717
的条件下，概率向量Z的第n个元素zn是被认为是KKT点，因此，在最优选择概率向量
Figure BDA00025239432500001718
满足KKT(Karush-Kuhn-Tucker)条件下，
Figure BDA00025239432500001719
表示博弈中的最大总体收益。
第四，通过计算非线性优化问题的局部解可以获得公式(14)形式的博弈纳什均衡。本发明利用如下的迭代公式(21)达到zi的收敛性，获得最优选择概率向量
Figure BDA00025239432500001720
Figure BDA00025239432500001721
其中，t表示第t次迭代。Z的其余的Mn-1项元素可以通过上式相同的方法计算出来。可以识别去除误匹配点。
最后，本发明对提出的算法进行了实验验证，图2是同场景同尺度视角的可见光和SAR图像，匹配对数为25，正确21对，正确率84％；图3是可见光图像和旋转了15°的SAR图像，匹配对数为85，正确73对，正确率86％；图4是可见光图像和仿射变换下的SAR图像，匹配对数为69，正确63对，正确率91％。图5是可见光图像和投影变换下的SAR图像，匹配对数为105，正确对数93，正确率89％。可以看出，本发明算法在同条件以及存在旋转、仿射和投影变换条件下均具有良好的匹配结果。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明技术思想的前提下，在本发明的技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，该方法包括如下步骤：
(1)针对待匹配的SAR图像和可见光图像，在提取特征之前，对SAR图像进行预处理，平滑相干斑噪声，对于可见光图像，预先对图像进行图像锐化的预处理；
(2)针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓；
(3)针对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓；
(4)针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点；
(5)使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动；
(6)获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对。
2.根据权利要求1所述的一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，步骤(1)中对异源图像进行预处理的方法是：对SAR图像进行预处理，先使用LEE滤波器对图像滤波，然后使用拉普拉斯算子锐化图像，对可见光图像进行预处理，使用拉普拉斯算子锐化图像。
3.根据权利要求1所述的一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，所述步骤(2)中针对待匹配SAR图像，使用改进的ROEWA算法提取SAR图像的轮廓，具体方法如下：
第一，指数加权均值比(ROEWA)检测器，其本质上是基于指数平滑滤波器的线性最小均方误差，在一维中，这个滤波器如公式(1)所示：
f(xt)＝Kz·exp(-α|xt|) (1)
其中，Kz是普通常量，α是滤波系数，xt是输入参数，在离散的条件下，若在离散化条件下，用n＝1,2,...,Nt作为输入参数,f(n)可以通过f1(n)和f2(n)的组合获得，公式(2)如下：
Figure FDA0002523943240000011
其中，f1(n)和f2(n)可以通过以下公式(3)获得；
Figure FDA0002523943240000021
其中，0<b＝e-α<1，a＝1-b，并且，u(n)是离散的Heaviside函数；
对于二维图像Iimg(x,y)，(x,y)表示图像上的坐标，计算X方向的边缘强度分量
Figure FDA0002523943240000022
和
Figure FDA0002523943240000023
计算过程如下式(4)所示：
Figure FDA0002523943240000024
其中，符号
Figure FDA0002523943240000025
表示X方向的卷积，符号
Figure FDA0002523943240000026
表示Y方向的卷积，同理可以计算Y方向的边缘强度分量
Figure FDA0002523943240000027
和
Figure FDA0002523943240000028
通过
Figure FDA0002523943240000029
和
Figure FDA00025239432400000210
可以获得Iimg(x,y)的水平边缘强度系数rXmax(x,y)，如下式(5)所示：
Figure FDA00025239432400000211
同理，通过
Figure FDA00025239432400000212
和
Figure FDA00025239432400000213
可以获得Iimg(x,y)的竖直边缘强度系数rYmax(x,y)，计算获得ROEWA的算子rmax(x,y)，如下式(6)：
rmax(x,y)＝[rXmax(x,y),rYmax(x,y)]T (6)
基于ROEWA算子的边缘强度函数式与梯度模的定义公式类似，计算方程如下式(7)所示：
Figure FDA00025239432400000214
第二，获得梯度强度图后，先将边缘梯度强度图像归一化，再通过式(8)将梯度幅值转化为对应的灰度值，将SAR图像的梯度强度图转化为可视化的边缘强度灰度图：
Figure FDA00025239432400000215
其中，
Figure FDA00025239432400000216
表示第i个像素的边缘梯度强度值，Nr表示边缘梯度强度图像I(x,y)的像素点的个数，
Figure FDA00025239432400000217
表示第i个像素的灰度值，max表示取最大值；
第三，获得边缘强度灰度图后，设置阈值Tw，并判断每个像素点的灰度值是否大于Tw，若大于Tw则判定该点为边缘点，否则为非边缘点，新建一个与原图像同样大小的二值图像，若该点为边缘点，则在二值图像的对应位置上的值设置为1，为白色，否则设置为0，为黑色；
第四，在构建的二值图像中使用形态学方法，使用开运算或闭运算，根据边缘所围成的区域面积，通过设置阈值Tm，筛选掉区域面积小于阈值Tm的边缘，并且细化边缘，为后续图像匹配做准备。
4.根据权利要求1所述的一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，所述步骤(3)中对待匹配的可见光图像，使用SOBEL算子对可见光图像卷积，提取轮廓，具体方法如下：SOBEL算子对应梯度分量的图像卷积模板如下式(9)，使用的3×3的卷积核；
Figure FDA0002523943240000031
其中，△x,△y分别是用来计算在x和y方向的梯度分量，利用上式的算子，对图像上的每一个像素点进行卷积，对中心点邻域的像素点的灰度值进行加权计算，计算得到的值为中心点的值，卷积后的图像是原图像的边缘灰度图，不同的算子计算的是不同梯度方向的梯度值，如果在一个非边缘的平稳区域，SOBEL计算得到的值为0，通过两个算子分别卷积，然后获得x和y方向的梯度值，计算梯度的方向和模值。
5.根据权利要求1所述的一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，上述步骤(4)，针对待匹配的SAR图像和可见光图像，对图像提取轮廓之后，在轮廓上提取CSS角点作为特征点，具体方法如下：
(4.1)分别计算两幅边缘轮廓中高尺度边缘点的曲率，找出局部轮廓点曲率是极大值的点，并设置曲率阈值tn，筛选出大于阈值tn的候选角点；
(4.2)同时对筛选出来的角点，不断的在往低尺度进行重新定位，直到最低尺度σmin，以得到角点的准确位置；
(4.3)去除T型角点，留下真角点。
6.根据权利要求1所述的一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，上述步骤(5)中使用CPD算法对角点和角点周围的轮廓点进行匹配，将匹配问题转化为概率密度估计问题，对两幅图的特征点进行一致性漂移运动，方法如下：使用CPD的非刚性匹配算法，实现角点和角点周围轮廓点的初始匹配，具体方法如下：
(5.1)取可见光图像的CSS角点和角点周围的轮廓点为
Figure FDA0002523943240000041
同理，取SAR图像的特征点为
Figure FDA0002523943240000042
其中，N是可见光图像数据点数量，M是SAR图像数据点数量，D为点的维度，
Figure FDA0002523943240000043
表示可见光特征点的坐标向量，
Figure FDA0002523943240000044
表示SAR图像特征点的坐标向量；
(5.2)利用CPD算法求非刚性点列数据集的匹配过程：
(1)初始化：W＝0,
Figure FDA0002523943240000045
其中，WM×D＝(w1,...,wM)T是一个系数矩阵，σ2表示每个分量的各项同性协方差，初始化：ω,β>0,λ>0，0≤ω≤1，ω表示点集中噪声量的假设，β表示平滑高斯滤波器的宽度，λ表示最大似然拟合优度与正则化之间的权衡项；构建核矩阵G：
Figure FDA0002523943240000046
(2)EM算法优化，直到收敛：
E步：计算P，
Figure FDA0002523943240000047
M步：使用快速高斯变换计算矩阵向量:P1,PT1,PX
其中，P1里面存储的是Xs中的第n个点到Ys中第m个点的距离，PX中存储的是Ys中的一个点到Xs中的所有点的距离的负指数之和，PT1是P1的转置，求解：
(G+λσ2d(P1)-1)W＝d(P1)-1PX-Ys
NP＝1TP1,Tc＝Ys+GW
其中，Tc表示对应Ys的转换函数；
Figure FDA0002523943240000048
其中，d(*)表示由向量*形成的对角矩阵，tr(ψ)表示矩阵ψ的迹；
对应点列：Tc＝Ys+GW；
(3)通过计算P值得到对应点对的匹配概率；
(5.3)CPD算法迭代预设次，点集
Figure FDA0002523943240000049
朝着
Figure FDA00025239432400000410
进行一致性漂移运动，在匹配概率最大的情况下，获得变换矩阵Tc，同时获得SAR图像与可见光图像粗匹配点对关系。
7.根据权利要求1所述的一种基于改进特征提取和博弈论超图的SAR图像与可见光图像匹配方法，其特征在于，上述步骤(6)中获得初始匹配结果后，分别对每幅图的匹配点构建超图模型，并且分别对两个超图模型建立超边的邻接张量，再将匹配问题转化为博弈问题，计算优化函数达到纳什均衡点，消除错误匹配点对，具体方法如下：
第一，利用可见光图像中的Mn个特征点，形成一致超图Hp；
令Α作为超图Hp的邻接张量，张量A的元素ai,j,k表示包含三个点{pi,pj,pk}的超边上的权重，将ai,j,k作为点元组{pi,pj,pk}空间布局特征，同时定义{pi,pj,pk}中的pi,pj,pk每个顶点的坐标是二维的向量，公式如式(10)所示：
Figure FDA0002523943240000051
同样的，使用SAR图像中的Mn个特征点，建立一致超图Hq，同时定义{qi,qj,qk}中的qi,qj,qk每个顶点的坐标是二维的向量，定义Β作为Hq的邻接张量；
第二，把Mn个匹配点对表示Mn个粗匹配对，建立一个关联博弈超图Hn，把Mn个匹配关系定为博弈中的Mn个策略，建立对应关联博弈超图Hn的邻接张量Sp，在Sp中的元素si,j,k，表示对应超边的权重，(i,j,k)表示对应超边包含的策略，公式(11)如下：
Figure FDA0002523943240000052
其中，σs表示尺度控制参数，博弈超图中超边的权重Sp，不仅表示可见光图像Hp中包含特征点{pi,pj,pk}的超边与SAR图像Hq中包含特征点{qi,qj,qk}的超边的几何相似性和结构一致性，也表示了一种匹配策略i,j,k的收益；
第三，在匹配博弈中，将超图中的Mn的顶点表示为Mn个策略，并将一条超边上的K个顶点关联为K个独立的博弈玩家，将参与者的策略选择概率表示例向量Z,Z中的每个元素zn表示每个博弈玩家选择第n个策略的可能性，n＝1,...,Mn；同时，Z也需要满足条件：
Figure FDA0002523943240000053
在博弈框架中，三维邻接张量Sp的每一个元素都参与到K＝3个独立的博弈玩家的总体平均收益计算过程中，将Z1,Z2,Z3分别表示三个玩家的选择概率向量，总体收益函数Gh如下式(12)所示：
Figure FDA0002523943240000061
其中，×c(c＝1,2,3)表示张量积；
三维邻接张量Sp的超对称性，在Z1,Z2,Z3发生任意位置交换的条件下，都不会对Sp产生影响，由于三个玩家彼此是相互独立的，Z1,Z2,Z3也具有相同的选择概率分布，所以，符号Zc表示张量积都是没有差别的，c＝1,2,3，在这样的情况下，总体收益函数Gh可以重新计算如下式(13)：
Figure FDA0002523943240000062
演化博弈寻找最优选择概率向量
Figure FDA0002523943240000063
如下式(14)所示：
Figure FDA0002523943240000064
并且满足条件
Figure FDA0002523943240000065
设定一个Mn维的向量En，该向量中，除了第n项为1,其余各项都是0，在匹配博弈中，将
Figure FDA0002523943240000066
作为“n策略者”的平均收益，设定的Mn个策略和K个玩家的匹配博弈如下式(15)：
Figure FDA0002523943240000067
其中，
Figure FDA0002523943240000068
表示最优选择概率向量
Figure FDA0002523943240000069
条件下的总体平均收益；
根据上式(15)，实现纳什均衡时，总体平均收益会达到最大值，意味着在演化过程后，不匹配会自动的消失；
使用拉格朗日(Lagrange)乘子法最大化总收益Gh(Z,Z,Z)，下面给出博弈论超图匹配优化方法的数学分析：
令
Figure FDA00025239432400000610
λh是Lagrange算子，匹配博弈的Lagrange函数Lh如下式(16)：
Figure FDA00025239432400000611
将演化的博弈论超图匹配优化的问题转化为计算合适的拉格朗日乘子
Figure FDA0002523943240000071
和λh，保证最优的
Figure FDA0002523943240000072
可以最大化总收益，最优
Figure FDA0002523943240000073
应当满足以下方程(17)：
Figure FDA0002523943240000074
其中，n的范围是1到Mn，结合公式Gh(Z,Z,Z)的展开式，在最优
Figure FDA0002523943240000075
的条件下，令上式的偏导数等于
Figure FDA0002523943240000076
Figure FDA0002523943240000077
为向量
Figure FDA0002523943240000078
的元素，μn是
Figure FDA0002523943240000079
的一个元素，用矩阵表示λh如下式(18)所示：
Figure FDA00025239432400000710
其中，
Figure FDA00025239432400000711
Figure FDA00025239432400000712
是Mn维的列向量，K表示K个玩家，
Figure FDA00025239432400000713
同时V的第n个元素vn表示为
Figure FDA00025239432400000714
对上式(18)两边同乘以
Figure FDA00025239432400000715
Figure FDA00025239432400000716
根据选择概率向量Z的定义，令
Figure FDA00025239432400000717
同时，根据V的定义，可得
Figure FDA00025239432400000718
可获得λh的最终表达式(20)如下：
Figure FDA00025239432400000719
在
Figure FDA00025239432400000720
的条件下，概率向量Z的第n个元素zn是被认为是KKT点，因此，在最优选择概率向量
Figure FDA00025239432400000721
满足KKT(Karush-Kuhn-Tucker)条件下，
Figure FDA00025239432400000722
表示博弈中的最大总体收益；
第四，通过计算非线性优化问题的局部解可以获得公式(14)形式的博弈纳什均衡，利用如下的迭代公式(21)达到zi的收敛性，获得最优选择概率向量
Figure FDA00025239432400000723
Figure FDA00025239432400000724
其中，t表示第t次迭代，Z的其余的Mn-1项元素可以通过上式相同的方法计算出来，可以识别去除误匹配点。
CN202010498873.5A 2020-06-04 2020-06-04 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法 Active CN111783548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010498873.5A CN111783548B (zh) 2020-06-04 2020-06-04 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010498873.5A CN111783548B (zh) 2020-06-04 2020-06-04 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法

Publications (2)

Publication Number Publication Date
CN111783548A true CN111783548A (zh) 2020-10-16
CN111783548B CN111783548B (zh) 2022-08-05

Family

ID=72753672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010498873.5A Active CN111783548B (zh) 2020-06-04 2020-06-04 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法

Country Status (1)

Country Link
CN (1) CN111783548B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801141A (zh) * 2021-01-08 2021-05-14 吉林大学 基于模板匹配和孪生神经网络优化的异源图像匹配方法
CN113627151A (zh) * 2021-10-14 2021-11-09 北京中科闻歌科技股份有限公司 跨模态数据的匹配方法、装置、设备及介质
CN113808138A (zh) * 2021-11-22 2021-12-17 山东鹰联光电科技股份有限公司 一种基于人工智能的电线电缆表面缺陷检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456185B1 (ko) * 2013-05-16 2014-10-31 포항공과대학교 산학협력단 레이더 영상 형성 방법 및 장치
CN108230375A (zh) * 2017-12-27 2018-06-29 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456185B1 (ko) * 2013-05-16 2014-10-31 포항공과대학교 산학협력단 레이더 영상 형성 방법 및 장치
CN108230375A (zh) * 2017-12-27 2018-06-29 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801141A (zh) * 2021-01-08 2021-05-14 吉林大学 基于模板匹配和孪生神经网络优化的异源图像匹配方法
CN113627151A (zh) * 2021-10-14 2021-11-09 北京中科闻歌科技股份有限公司 跨模态数据的匹配方法、装置、设备及介质
CN113808138A (zh) * 2021-11-22 2021-12-17 山东鹰联光电科技股份有限公司 一种基于人工智能的电线电缆表面缺陷检测方法

Also Published As

Publication number Publication date
CN111783548B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN107680054B (zh) 雾霾环境下多源图像融合方法
CN111783548B (zh) 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法
CN107680120B (zh) 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN106228544B (zh) 一种基于稀疏表示和标签传播的显著性检测方法
CN106338733B (zh) 基于蛙眼视觉特性的前视声呐目标跟踪方法
WO2017049994A1 (zh) 一种高光谱图像角点检测方法与系统
CN108537102B (zh) 基于稀疏特征与条件随机场的高分辨sar图像分类方法
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
CN107301661A (zh) 基于边缘点特征的高分辨率遥感图像配准方法
CN108399625B (zh) 一种基于深度卷积生成对抗网络的sar图像定向生成方法
Zang et al. Joint enhancing filtering for road network extraction
CN103871062B (zh) 一种基于超像素描述的月面岩石检测方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
CN103080979B (zh) 从照片合成肖像素描的系统和方法
CN109712149B (zh) 一种基于小波能量和模糊c均值的图像分割方法
CN111046868B (zh) 基于矩阵低秩稀疏分解的目标显著性检测方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
Chen et al. Scene segmentation of remotely sensed images with data augmentation using U-net++
CN105701810B (zh) 一种基于点击式图像分割的无人机航拍图像电子勾绘方法
Jindal et al. An ensemble mosaicing and ridgelet based fusion technique for underwater panoramic image reconstruction and its refinement
CN113763274A (zh) 一种联合局部相位锐度定向描述的多源图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant