CN106408597A - 基于邻域熵和一致性检测的sar图像配准方法 - Google Patents
基于邻域熵和一致性检测的sar图像配准方法 Download PDFInfo
- Publication number
- CN106408597A CN106408597A CN201610807900.6A CN201610807900A CN106408597A CN 106408597 A CN106408597 A CN 106408597A CN 201610807900 A CN201610807900 A CN 201610807900A CN 106408597 A CN106408597 A CN 106408597A
- Authority
- CN
- China
- Prior art keywords
- registration
- subject
- point
- matching double
- double points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Abstract
本发明提出了一种基于邻域熵和一致性检测的SAR图像配准方法,用于解决现有基于特征的SAR图像配准方法中存在的配准准确率低的技术问题,实现步骤为:利用双边滤波算法对SAR图像参考图和待配准图进行滤波;利用BRISK算法对SAR滤波参考图和滤波待配准图提取特征;利用距离匹配得到初始匹配点对;利用特征点的邻域熵去除误匹配点对;利用一致性检测算法去除误匹配点对;计算SAR图像滤波参考图和滤波待配准图之间的仿射变换矩阵;利用仿射变换矩阵对滤波待配准图变换得到变换滤波待配准图;利用遗传算法求最优仿射变换矩阵,对滤波待配准图进行仿射变换,并将变换后的滤波待配准图与滤波参考图叠加显示。
Description
技术领域
本发明属于图像处理技术领域,涉及一种SAR图像配准方法,具体涉及一种基于邻域熵和一致性检测的SAR图像配准方法,可用于SAR图像融合、变化检测、计算机视觉等领域。
背景技术
图像配准是图像处理领域的关键技术,是指将不同时间、不同传感器或不同条件下(天气、照度、摄像位置和角度等)的两幅或多幅图像进行匹配、叠加的过程。图像配准被广泛应用于SAR图像融合、变化检测、计算机视觉等领域。
合成孔径雷达(Synthetic Aperture Radar,SAR)的主要工作原理是:信号发射设备向目标地区辐射微波频段的电磁波信号,再由天线接收反射和散射回来的电磁波信号,最后在成像系统中对收集到的信号进行相应分析和处理并生成代表目标地区信息的高分辨率图像。SAR成像系统不受气候、时间影响,穿透力强,可以实时动态检测感兴趣目标,但由于其独特的工作原理和成像模式,SAR图像往往存在严重的几何畸变和很强的斑点噪声,不利于图像特征的提取,所以研究有效适用于SAR图像的配准方法在图像融合、变化检测中具有重要的现实意义。
现有的图像配准方法主要分为三类:基于灰度信息法、基于变换域法和基于特征法。基于灰度信息的图像配准方法主要是利用图像本身具有灰度的一些统计信息来度量图像的相似程度进而完成图像配准的。这种方法实现简单,对尺寸较小、灰度变化不大的图像配准精度高,可以达到亚像素级。该方法存在的不足之处是:应用范围窄,在最优变换搜索过程中需要很大的运算量,对于视角、灰度、结构变化较大的遥感图像配准精度较差,因而不适于SAR图像配准。基于变换域的图像配准方法是利用傅里叶变换将图像从空域变换到频域进而完成图像配准的,这种方法实现原理简单,且傅氏变换有成熟的快速算法并易于硬件实现,因而计算效率较高,该方法的不足之处是:要求参考图和待配准图的重叠区域较大,且无法处理非线性形变,对噪声也不具有鲁棒性。基于特征的图像配准方法包括基于点特征的图像配准方法、基于线特征的图像配准方法和基于区域特征的图像配准方法。基于特征的图像配准方法首先提取参考图和待配准图的特征,然后对提取到的参考图特征和待配准图特征进行描述形成参考图特征描述子和待配准图特征描述子,对参考图特征描述子和待配准图特征描述子通过距离匹配得到匹配点对,通常利用RANSAC算法去除误匹配点对,利用去除误匹配点对后的匹配点对计算参考图和待配准图的变换模型,将待配准图通过变换模型变换后与参考图叠加显示,完成图像配准。基于特征的配准方法提取出的特征具有良好的尺度和旋转不变性。该方法的不足之处是:对含有大量噪声的SAR图像,很难提取到有效的点特征、线特征和区域特征,导致图像配准失效。例如,Stefan Leutenegger,Margarita Chli,Roland Siegwart于2011年在IEEE International Conference onComputer Vision(vol.58,no.11,pp.2548-2555)上发表了名称为“BRISK:Binary RobustInvariant Scalable Keypoints”的文章,该文章公开了一种基于二进制鲁棒尺度不变关键点提取特征的图像配准方法,该方法首先对输入图像构造尺度空间,然后利用FAST9-16算法检测尺度空间特征点,最后对特征点周围邻域的采样点对进行二进制编码,形成二进制特征描述子,通过特征描述子匹配完成参考图和待配准图的配准。该方法有效提高了图像特征提取的效率,并且提取到的特征具有良好的旋转不变性和尺度不变性。该方法存在的不足之处是,提取到的图像特征点数目较少且存在大量的误匹配点对,导致图像配准精度不是很高。
发明内容
本发明的目的是针对上述现有技术存在的不足,提出了一种基于邻域熵和一致性检测的SAR图像配准方法,用于解决现有基于特征的SAR图像配准方法中存在的配准准确率低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)利用双边滤波算法,对SAR图像参考图和待配准图分别进行滤波,得到滤波参考图和滤波待配准图;
(2)利用BRISK算法,分别提取滤波参考图和滤波待配准图的特征,得到滤波参考图特征描述子集合P={u1,u2,u3,…,ui,…,um}和滤波待配准图特征描述子集合Q={v1,v2,v3,…,vj,…,vn};其中,i和j分别表示滤波参考图特征描述子的下标和滤波待配准图特征描述子的下标,ui和vj分别表示滤波参考图的第i个特征描述子和滤波待配准图的第j个特征描述子,m和n分别表示滤波参考图和滤波待配准图的描述子数目;
(3)计算滤波参考图特征描述子集合P中的每一个描述子ui,分别与滤波待配准图特征描述子集合Q中所有描述子间的汉明距离,得到m个汉明距离集合,并选取每个集合中最小距离对应的描述子作为与ui匹配的描述子,得到初始匹配点对集合A={(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(pm,p′m)},其中,(pi,p′i),pi∈P且p′i∈Q表示初始匹配点对集中的一对匹配点对,m表示初始匹配点对集合A的匹配点对数目;
(4)利用特征点的邻域熵,去除初始匹配点对集合A中的误匹配点对,实现步骤为:
(4a)分别计算初始匹配点对集合A中每一对匹配点对(pi,p′i)中pi和p′i的邻域熵,并求取两个邻域熵的差值,得到m个邻域熵差;
(4b)设定阈值Te,并判断m个邻域熵差是否小于阈值Te,若是,保留该匹配点对(pi,p′i),否则,从初始匹配点对集合A中删除该匹配点对,得到粗匹配点对集合B,B={(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(ps,p′s)};其中,s表示粗匹配点对集合B中匹配点对数目;
(5)利用一致性检测算法,去除粗匹配点对集合B中的误匹配点对,实现步骤为:
(5a)利用粗匹配点对集合B中匹配点对的下标,构造下标集I={1,2…s},并从该下标集I中随机选择N个元素构造子下标集:Ison={id1,id2,…,idk,…idN},idk∈I;
(5b)将子下标集Ison中的元素作为粗匹配点对集合B中匹配点对的下标,取出集合B中对应该下标的匹配点对,构成匹配点对集合:
(5c)计算匹配点对集合B对应滤波参考图中每个特征点pi与匹配点对集合C对应滤波参考图中所有特征点之间的欧式距离,得到s个距离集合D1,D2,…,Di,…Ds;计算匹配点对集合B对应滤波待配准图中每个特征点pi′与匹配点对集合C对应滤波待配准图中所有特征点之间的欧式距离,得到s个距离集合D′1,D′2,…,D′i,…D′s;
(5d)设定阈值Td,计算距离集合Di与距离集合D′i相同下标对应元素的比值,得到s个距离比值集合,并判断该s个距离比值集合中小于阈值Td的元素个数是否大于0.5N,若是,保留匹配点对(pi,p′i),否则,从粗匹配点对集合B中删除该匹配点对,得到精确匹配点对集合;
(6)利用cp2tform(·)函数,计算精确匹配点对集合中滤波参考图特征点pi与滤波待配准图特征点p′i的映射关系,得到大小为3×3的仿射变换矩阵H;
(7)利用仿射变换矩阵H对滤波待配准图进行仿射变换,得到变换滤波待配准图;
(8)利用遗传算法,对仿射变换矩阵H进行优化,实现步骤为:
(8a)计算步骤(5d)中精确匹配点对集合的归一化均方根误差函数f1,同时计算变换滤波待配准图与滤波参考图之间的互信息函数f2,并计算该两个函数的差,得到目标函数f=f1-f2;
(8b)从仿射变换矩阵H中提取前两行元素,构造仿射变换参数向量μ0,并将该仿射变换参数向量μ0作为目标函数f的初始解,根据该初始解采用遗传算法求目标函数f的最小值,得到f的最小值对应的仿射变换参数向量μ*,将μ*表示成最优仿射变换矩阵,利用该最优仿射变换矩阵对滤波待配准图进行仿射变换,并将变换后的滤波待配准图与滤波参考图叠加显示,得到SAR图像参考图和待配准图的配准图像。
本发明与现有技术相比,具有以下优点:
1.本发明由于在图像特征匹配的过程中,采用了特征点的邻域熵和一致性检测算法结合的方法,既考虑了匹配点对的邻域信息,又考虑了匹配点对的空间一致性,两次去除了初始匹配点对集合中的误匹配点对,减少了误匹配点对数目,与现有的基于特征的SAR图像配准技术相比,有效的提高了图像配准准确率。
2.本发明由于在图像特征提取之前采用了双边滤波算法对SAR参考图和待配准图进行了滤波处理,对SAR参考图和待配准图平滑噪声的同时有效保留了图像细节信息,增加了提取到的图像特征数量;并在图像配准之后采用遗传算法优化仿射变换矩阵,得到了更准确的仿射变换矩阵,与现有的基于特征的SAR图像配准技术相比,进一步提高了图像配准准确率;
附图说明
图1是本发明的实现流程框图;
图2是本发明的滤波参考图和滤波待配准图;
图3是本发明的匹配点对图和两次经过误匹配点对去除的匹配点对图;
图4是本发明的SAR图形参考图和待配准图的配准结果图。
具体实施方式
下面结合附图和实施例,对本发明作进一步详细说明:
参照图1,本发明包括如下步骤:
步骤1.利用双边滤波算法,对SAR图像参考图和待配准图分别进行滤波,得到滤波参考图和滤波待配准图;
双边滤波算法的计算公式为:
其中,a表示待滤波像素空间位置,b表示待滤波像素邻域S内的任意像素的空间位置,Ia和Ib分别表示待滤波像素a和其邻域内任意像素b对应的像素值,Gσs和Gσr分别是标准差为σs和σr的高斯空间核和高斯强度核,取σs=2,σr=0.1,分别反映了邻域像素与待滤波像素的空间关系和强度关系,W是归一化因子,bfa是待滤波像素a处的滤波值;
常用的滤波方法有维纳滤波、高斯滤波、双边滤波等,其中维纳滤波、高斯滤波在滤波过程中都会较明显地模糊图像边缘,对于细节的保护效果并不明显。本实施例采用的双边滤波是基于特征点空间分布的,所以离边缘的较远的像素不会太影响边缘上的像素值,这样就有效保留了图像边缘。
步骤2.利用BRISK算法,分别提取滤波参考图和滤波待配准图的特征,得到滤波参考图特征描述子集合P={u1,u2,u3,…,ui,…,um}和滤波待配准图特征描述子集合Q={v1,v2,v3,…,vj,…,vn};其中,i和j分别表示滤波参考图特征描述子的下标和滤波待配准图特征描述子的下标,ui和vj分别表示滤波参考图的第i个特征描述子和滤波待配准图的第j个特征描述子,m和n分别表示滤波参考图和滤波待配准图的描述子数目;
利用BRISK算法,分别提取滤波参考图和滤波待配准图的特征,实现步骤为:
(2a)构建SAR图像滤波参考图的尺度空间S1,同时构建滤波待配准图的尺度空间S2;
(2b)采用FAST9-16算法,对SAR图像滤波参考图的尺度空间S1进行特征点检测和非极大值抑制,得到SAR图像滤波参考图的尺度空间S1的多个特征点;
(2c)采用FAST9-16算法,对SAR图像滤波待配准图的尺度空间S2进行特征点检测和非极大值抑制,得到SAR图像滤波待配准图的尺度空间S2的多个特征点;
本实施例采用的FAST9-16算法是一种基于模板和机器学习的特征点检测算法,与已有的特征点检测算法如Harris角点检测算法,Moravec角点检测算法相比具有计算速度快,精度高的优点,因此可以有效提高特征提取的速度;
(2d)利用直方图统计法,计算SAR图像滤波参考图的尺度空间S1的多个特征点的梯度方向,得到SAR图像滤波参考图的尺度空间S1的多个特征点的主方向;
(2e)利用直方图统计法,计算SAR图像滤波待配准图的尺度空间S2的多个特征点的梯度方向,得到SAR图像滤波待配准图的尺度空间S2的多个特征点的主方向;
(2f)将SAR图像滤波参考图的尺度空间S1的多个特征点旋转到该多个特征点的主方向上,并在每个特征点周围取若干个采样点对,形成SAR图像滤波参考图的特征描述子集合;
(2g)将SAR图像滤波待配准图的尺度空间S2的多个特征点旋转到该多个特征点的主方向上,并在每个特征点周围取若干个采样点对,形成SAR图像滤波待配准图的特征描述子集合;
本实施例采用二进制编码的方法形成特征描述子,与传统的SIFT算法形成的特征描述子相比,具有特征描述子结构简单,维数低,特征描述子匹配计算量小的优点。
步骤3.计算滤波参考图特征描述子集合P中的每一个描述子ui,分别与滤波待配准图特征描述子集合Q中所有描述子间的汉明距离,得到m个汉明距离集合,并选取每个集合中最小距离对应的描述子作为与ui匹配的描述子,得到初始匹配点对集合A={(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(pm,p′m)},其中,(pi,p′i),pi∈P且p′i∈Q表示初始匹配点对集中的一对匹配点对,m表示初始匹配点对集合A的匹配点对数目;
步骤4.特征点的邻域熵可以反映特征点位置上的灰度值与周围像素灰度值分布的综合特性,因此可以作为匹配点对中两个特征点相似度的度量准则,利用特征点的邻域熵,去除初始匹配点对集合A中的误匹配点对,其实现步骤为:
(4a)按照下式,分别计算初始匹配点对集合A中每一对匹配点对(pi,p′i)中pi和p′i的邻域熵,并求取两个邻域熵的差值,得到m个邻域熵差:
其中,E为邻域熵,R表示像素的邻域范围,hij表示位置(i,j)处像素的灰度概率分布,表达式为:g(i,j)表示位置(i,j)处像素的灰度值。
(4b)设定阈值Te,并判断m个邻域熵差是否小于阈值Te,若是,保留该匹配点对(pi,p′i),否则,从初始匹配点对集合A中删除该匹配点对,得到粗匹配点对集合B,B={(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(ps,p′s)};其中,s表示粗匹配点对集合B中匹配点对数目,本实施例中阈值Te是通过计算所有匹配点对的邻域熵之差进行直方图,取直方图中最大值的80%得到的,特征点的邻域取以该特征点为中心的大小为10×10的圆形邻域;
步骤5.利用一致性检测算法,去除粗匹配点对集合B中的误匹配点对,实现步骤为:
(5a)利用粗匹配点对集合B中匹配点对的下标,构造下标集I={1,2…s},并从该下标集I中随机选择N个元素构造子下标集:Ison={id1,id2,…,idk,…idN},idk∈I;
(5b)将子下标集Ison中的元素作为粗匹配点对集合B中匹配点对的下标,取出集合B中对应该下标的匹配点对,构成匹配点对集合:
(5c)计算匹配点对集合B对应滤波参考图中每个特征点pi与匹配点对集合C对应滤波参考图中所有特征点之间的欧式距离,得到s个距离集合D1,D2,…,Di,…Ds;计算匹配点对集合B对应滤波待配准图中每个特征点pi′与匹配点对集合C对应滤波待配准图中所有特征点之间的欧式距离,得到s个距离集合D′1,D′2,…,D′i,…D′s;
(5d)设定阈值Td,计算距离集合Di与距离集合D′i相同下标对应元素的比值,得到s个距离比值集合,并判断该s个距离比值集合中小于阈值Td的元素个数是否大于0.5N,若是,保留匹配点对(pi,p′i),否则,从粗匹配点对集合B中删除该匹配点对,得到精确匹配点对集合,本实施例中取阈值Td=0.1;
步骤6.利用cp2tform(·)函数,计算精确匹配点对集合中滤波参考图特征点pi与滤波待配准图特征点p′i的映射关系,得到大小为3×3的仿射变换矩阵H;
仿射变换矩阵H的表示形式如下:
其中,参数a11,a12,a21,a22,tx,ty反映了滤波参考图与滤波待配准图之间的平移变换、旋转变换及尺度变换;
步骤7.利用仿射变换矩阵H对滤波待配准图进行仿射变换,得到变换滤波待配准图;
步骤8.利用遗传算法,对仿射变换矩阵H进行优化,实现步骤为:
(8a)按照下式计算步骤(5d)中精确匹配点对集合的归一化均方根误差函数f1:
其中,pi表示精确匹配点对集合中匹配点对(pi,p′i)对应滤波参考图的特征点,p′i表示精确匹配点对集合中匹配点对(pi,p′i)对应滤波待配准图的特征点,r是步骤(5d)得到的精确匹配点对集合中的点对数目;
按照下式,计算变换滤波待配准图与滤波参考图之间的互信息函数f2,并计算该两个函数的差,得到目标函数f=f1-f2:
其中,X表示滤波参考图,Y表示步骤(7)得到的变换滤波待配准图,x,y分别表示图像X,Y对应位置上像素的灰度值,表示图像X的边缘分布,表示图像Y的边缘分布,pXY(x,y)表示图像X,Y的联合概率分布,可通过统计图像的灰度直方图得到;
(8b)从仿射变换矩阵H中提取前两行元素,构造仿射变换参数向量μ0,并将该仿射变换参数向量μ0作为目标函数f的初始解,根据该初始解采用遗传算法求目标函数f的最小值,得到f的最小值对应的仿射变换参数向量μ*,将μ*表示成最优仿射变换矩阵,利用该最优仿射变换矩阵对滤波待配准图进行仿射变换,并将变换后的滤波待配准图与滤波参考图叠加显示,得到SAR图像参考图和待配准图的配准图像。
下面结合仿真实验对本发明的效果作进一步的描述。
1.仿真实验条件:
本实施例所用的SAR图像参考图为2008年由Radarsat-2拍摄的黄河水域图像中截取的子图像,待配准图是2009年由Radarsat-2拍摄的黄河水域图像中截取的子图像。硬件平台为:Pentium Dual-Core CPU T4500@2.30GHZ、3GB RAM,软件平台:VS2010,MATLABR2015a。
2.实验内容与结果:
仿真1,对SAR图像参考图和待配准图的双边滤波过程进行仿真,如图2所示:
参照图2,图2(a)是利用双边滤波对SAR图像参考图进行滤波后的滤波参考图,图2(b)是利用双边滤波对SAR图像待配准图进行滤波后的滤波待配准图。可以看出本发明中采用的双边滤波算法对SAR参考图和待配准图进行滤波时,不仅可以有效平滑斑点噪声,而且能够很好的保持边缘细节信息;
仿真2,对匹配点对的生成和误匹配点对的去除过程进行仿真,如图3所示:
参照图3,图3(a)是本发明利用BRISK算法提取特征进行匹配后得到的初始特征匹配点对图,虽然匹配点对数目很多,但其中包含大量错误匹配点对,图3(b)是本发明利用特征点的邻域熵去除误匹配点对后的匹配点对图,去除了部分明显的误匹配点对,图3(c)是本发明利用一致性检测算法去除误匹配点对后的匹配点对图,有效的去除了剩下点对中的大量误匹配点对,有效的保留了正确匹配点对,匹配点对图的横纵坐标分别表示将SAR图像参考图和待配准图拼在一起后图像的宽度和高度;
仿真3,对遗传算法优化仿射变换参数的过程进行仿真,如图4所示:
参照图4,图4(a)是利用遗传算法优化仿射变换参数前得到的图像配准结果图,图像配准结果图中存在一定的重影,图4(b)是遗传算法优化仿射变换参数后得到的图像配准结果图,消除了遗传算法优化仿射变换参数前得到的图像配准结果图中的重影。
对比利用RANSAC去除误匹配点对后的匹配点对正确率和利用特征点的邻域熵和一致性检测算法去除误匹配点对后的匹配点对正确率,如表1所示:
参照表1,可以看出本发明采用的基于邻域熵的粗匹配和基于一致性检测算法的精确匹配方法能有效去除图像中的误匹配点对,而且特征描述子匹配正确率比RANSAC算法高出3倍多。
对比遗传算法优化仿射变换矩阵前后SAR图像参考图和待配准图的互信息值及归一化均方根误差值,如表2所示:
参照表2,可以看出本发明采用遗传算法可以有效优化SAR参考图和待配准图之间的仿射变换矩阵,使得特征匹配点对的均方根误差更小,变换滤波待配准图与滤波参考图之间的互信息值更大,SAR参考图与待配准图的配准效果更好。综上所述,本发明方法能够快速提取图像特征,更具有实时性,并能有效去除图像误匹配点对,通过参数优化能够进一步提高配准精度,所以更适用于SAR图像的图像配准,具有重要的现实意义。
表1
RANSAC | 本发明方法 | |
初始匹配点对数目 | 48 | 48 |
去除误匹配后点对数目 | 9 | 29 |
匹配正确率 | 18.75% | 60.42% |
表2
遗传算法优化前 | 遗传算法优化后 | |
归一化均方根误差RMSE | 15.331 | 14.462 |
互信息值 | 0.468 | 0.525 |
Claims (6)
1.一种基于邻域熵和一致性检测的SAR图像配准方法,包括如下步骤:
(1)利用双边滤波算法,对SAR图像参考图和待配准图分别进行滤波,得到滤波参考图和滤波待配准图;
(2)利用BRISK算法,分别提取滤波参考图和滤波待配准图的特征,得到滤波参考图特征描述子集合P={u1,u2,u3,…,ui,…,um}和滤波待配准图特征描述子集合Q={v1,v2,v3,…,vj,…,vn};其中,i和j分别表示滤波参考图特征描述子的下标和滤波待配准图特征描述子的下标,ui和vj分别表示滤波参考图的第i个特征描述子和滤波待配准图的第j个特征描述子,m和n分别表示滤波参考图和滤波待配准图的描述子数目;
(3)计算滤波参考图特征描述子集合P中的每一个描述子ui,分别与滤波待配准图特征描述子集合Q中所有描述子间的汉明距离,得到m个汉明距离集合,并选取每个集合中最小距离对应的描述子作为与ui匹配的描述子,得到初始匹配点对集合A={(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(pm,p′m)},其中,(pi,p′i),pi∈P且p′i∈Q表示初始匹配点对集中的一对匹配点对,m表示初始匹配点对集合A的匹配点对数目;
(4)利用特征点的邻域熵,去除初始匹配点对集合A中的误匹配点对,实现步骤为:
(4a)分别计算初始匹配点对集合A中每一对匹配点对(pi,p′i)中pi和p′i的邻域熵,并求取两个邻域熵的差值,得到m个邻域熵差;
(4b)设定阈值Te,并判断m个邻域熵差是否小于阈值Te,若是,保留该匹配点对(pi,p′i),否则,从初始匹配点对集合A中删除该匹配点对,得到粗匹配点对集合B,B={(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(ps,p′s)};其中,s表示粗匹配点对集合B中匹配点对数目;
(5)利用一致性检测算法,去除粗匹配点对集合B中的误匹配点对,实现步骤为:
(5a)利用粗匹配点对集合B中匹配点对的下标,构造下标集I={1,2…s},并从该下标集I中随机选择N个元素构造子下标集:Ison={id1,id2,…,idk,…idN},idk∈I;
(5b)将子下标集Ison中的元素作为粗匹配点对集合B中匹配点对的下标,取出集合B中对应该下标的匹配点对,构成匹配点对集合:
(5c)计算匹配点对集合B对应滤波参考图中每个特征点pi与匹配点对集合C对应滤波参考图中所有特征点之间的欧式距离,得到s个距离集合D1,D2,…,Di,…Ds;计算匹配点对集合B对应滤波待配准图中每个特征点p′i与匹配点对集合C对应滤波待配准图中所有特征点之间的欧式距离,得到s个距离集合D′1,D′2,…,D′i,…D′s;
(5d)设定阈值Td,计算距离集合Di与距离集合D′i相同下标对应元素的比值,得到s个距离比值集合,并判断该s个距离比值集合中小于阈值Td的元素个数是否大于0.5N,若是,保留匹配点对(pi,p′i),否则,从粗匹配点对集合B中删除该匹配点对,得到精确匹配点对集合;
(6)利用cp2tform(·)函数,计算精确匹配点对集合中滤波参考图特征点pi与滤波待配准图特征点p′i的映射关系,得到大小为3×3的仿射变换矩阵H;
(7)利用仿射变换矩阵H对滤波待配准图进行仿射变换,得到变换滤波待配准图;
(8)利用遗传算法,对仿射变换矩阵H进行优化,实现步骤为:
(8a)计算步骤(5d)中精确匹配点对集合的归一化均方根误差函数f1,同时计算变换滤波待配准图与滤波参考图之间的互信息函数f2,并计算该两个函数的差,得到目标函数f=f1-f2;
(8b)从仿射变换矩阵H中提取前两行元素,构造仿射变换参数向量μ0,并将该仿射变换参数向量μ0作为目标函数f的初始解,根据该初始解采用遗传算法求目标函数f的最小值,得到f的最小值对应的仿射变换参数向量μ*,将μ*表示成最优仿射变换矩阵,利用该最优仿射变换矩阵对滤波待配准图进行仿射变换,并将变换后的滤波待配准图与滤波参考图叠加显示,得到SAR图像参考图和待配准图的配准图像。
2.根据权利要求1所述的基于邻域熵和一致性检测的SAR图像配准方法,其特征在于:步骤(1)中所述的双边滤波算法,其表达式为:
其中,a表示待滤波像素,b表示待滤波像素邻域S内的任意像素,Ia和Ib分别表示待滤波像素a的灰度值和邻域S内任意像素b的灰度值,和分别是标准差为σs和σr的高斯空间核和高斯强度核,分别反映邻域像素与待滤波像素的空间关系和强度关系,W是归一化因子,bfa是待滤波像素a处的双边滤波值。
3.根据权利要求1所述的基于邻域熵和一致性检测的SAR图像配准方法,其特征在于:步骤(2)中利用BRISK算法,分别提取滤波参考图和滤波待配准图的特征,实现步骤为:
(2a)构建SAR图像滤波参考图的尺度空间S1,同时构建滤波待配准图的尺度空间S2;
(2b)采用FAST9-16算法,对SAR图像滤波参考图的尺度空间S1进行特征点检测和非极大值抑制,得到SAR图像滤波参考图的尺度空间S1的多个特征点;
(2c)采用FAST9-16算法,对SAR图像滤波待配准图的尺度空间S2进行特征点检测和非极大值抑制,得到SAR图像滤波待配准图的尺度空间S2的多个特征点;
(2d)利用直方图统计法,计算SAR图像滤波参考图的尺度空间S1的多个特征点的梯度方向,得到SAR图像滤波参考图的尺度空间S1的多个特征点的主方向;
(2e)利用直方图统计法,计算SAR图像滤波待配准图的尺度空间S2的多个特征点的梯度方向,得到SAR图像滤波待配准图的尺度空间S2的多个特征点的主方向;
(2f)将SAR图像滤波参考图的尺度空间S1的多个特征点旋转到该多个特征点的主方向上,并在每个特征点周围取若干个采样点对,形成SAR图像滤波参考图的特征描述子集合;
(2g)将SAR图像滤波待配准图的尺度空间S2的多个特征点旋转到该多个特征点的主方向上,并在每个特征点周围取若干个采样点对,形成SAR图像滤波待配准图的特征描述子集合。
4.根据权利要求1所述的基于邻域熵和一致性检测的SAR图像配准方法,其特征在于:步骤(4)中所述特征点的邻域熵,其表达式为:
其中,E为邻域熵,R表示像素的邻域范围,hij表示位置(i,j)处像素的灰度概率分布,其表达式为:g(i,j)表示位置(i,j)处像素的灰度值。
5.根据权利要求1所述的基于邻域熵和一致性检测的SAR图像配准方法,其特征在于:步骤(8a)中所述的归一化均方根误差函数f1,其表达式为:
其中,pi表示精确匹配点对集合中匹配点对(pi,p′i)对应滤波参考图的特征点,p′i表示精确匹配点对集合中匹配点对(pi,p′i)对应滤波待配准图的特征点,r是步骤(5d)得到的精确匹配点对集合中的点对数目。
6.根据权利要求1所述的基于邻域熵和一致性检测的SAR图像配准方法,其特征在于:步骤(8b)中所述的变换滤波待配准图与滤波参考图之间的互信息函数f2,其表达式为:
其中,X表示滤波参考图,Y表示步骤(7)得到的变换滤波待配准图,x,y分别表示图像X,Y对应位置上像素的灰度值,表示图像X的边缘分布,表示图像Y的边缘分布,pXY(x,y)表示图像X,Y的联合概率分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610807900.6A CN106408597A (zh) | 2016-09-08 | 2016-09-08 | 基于邻域熵和一致性检测的sar图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610807900.6A CN106408597A (zh) | 2016-09-08 | 2016-09-08 | 基于邻域熵和一致性检测的sar图像配准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106408597A true CN106408597A (zh) | 2017-02-15 |
Family
ID=57998838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610807900.6A Pending CN106408597A (zh) | 2016-09-08 | 2016-09-08 | 基于邻域熵和一致性检测的sar图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106408597A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492091A (zh) * | 2017-07-06 | 2017-12-19 | 东莞理工学院 | 基于机器视觉的标签外观检测方法及终端设备 |
CN107862708A (zh) * | 2017-11-08 | 2018-03-30 | 合肥工业大学 | 一种sar与可见光图像配准方法 |
CN108388830A (zh) * | 2018-01-09 | 2018-08-10 | 中国农业大学 | 基于卷积神经网的动物体形检测方法及装置 |
CN109523583A (zh) * | 2018-10-09 | 2019-03-26 | 河海大学常州校区 | 一种基于反馈机制的电力设备红外与可见光图像配准方法 |
CN109615597A (zh) * | 2018-12-07 | 2019-04-12 | 哈尔滨工程大学 | 一种基于中心仿射滤波的图像斑点噪声抑制方法 |
CN110956601A (zh) * | 2019-12-04 | 2020-04-03 | 山东大学 | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 |
CN111009001A (zh) * | 2019-09-17 | 2020-04-14 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种图像配准方法、装置、设备及存储介质 |
CN112102381A (zh) * | 2020-09-11 | 2020-12-18 | 西安电子科技大学 | 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 |
CN114216485A (zh) * | 2022-02-23 | 2022-03-22 | 广州骏天科技有限公司 | 一种用于无人机航拍测绘的图像校准方法 |
CN114972453A (zh) * | 2022-04-12 | 2022-08-30 | 南京雷电信息技术有限公司 | 改进的基于lsd与模板匹配的sar图像区域配准方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102837406A (zh) * | 2012-08-17 | 2012-12-26 | 浙江工业大学 | 基于fast-9图像特征快速配准算法的模具监视方法 |
CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
CN104200461A (zh) * | 2014-08-04 | 2014-12-10 | 西安电子科技大学 | 基于互信息图像选块和sift特征的遥感图像配准方法 |
CN104268602A (zh) * | 2014-10-14 | 2015-01-07 | 大连理工大学 | 一种基于二进制特征匹配的遮挡工件识别方法及装置 |
-
2016
- 2016-09-08 CN CN201610807900.6A patent/CN106408597A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102837406A (zh) * | 2012-08-17 | 2012-12-26 | 浙江工业大学 | 基于fast-9图像特征快速配准算法的模具监视方法 |
CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
CN104200461A (zh) * | 2014-08-04 | 2014-12-10 | 西安电子科技大学 | 基于互信息图像选块和sift特征的遥感图像配准方法 |
CN104268602A (zh) * | 2014-10-14 | 2015-01-07 | 大连理工大学 | 一种基于二进制特征匹配的遮挡工件识别方法及装置 |
Non-Patent Citations (7)
Title |
---|
STEFAN LEUTENEGGER等: ""BRISK: Binary Robust invariant scalable keypoints"", 《2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
全燕鸣等: ""基于双目视觉的工件尺寸在机三维测量"", 《光学精密工程》 * |
单小军等: ""图像匹配中误匹配点检测技术综述"", 《计算机应用研究》 * |
石祥滨等: ""一种自适应阈值分块BRISK的图像配准方法"", 《沈阳航空航天大学学报》 * |
詹曙等: ""SICP配准的三维人脸建模"", 《光电工程》 * |
郑均辉等: ""基于皮沟特征的无语言能力病人多种状态视觉识别"", 《科学技术与工程》 * |
陈凯: ""基于特征的遥感图像配准方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492091A (zh) * | 2017-07-06 | 2017-12-19 | 东莞理工学院 | 基于机器视觉的标签外观检测方法及终端设备 |
CN107862708A (zh) * | 2017-11-08 | 2018-03-30 | 合肥工业大学 | 一种sar与可见光图像配准方法 |
CN108388830B (zh) * | 2018-01-09 | 2020-08-14 | 中国农业大学 | 基于卷积神经网的动物体形检测方法及装置 |
CN108388830A (zh) * | 2018-01-09 | 2018-08-10 | 中国农业大学 | 基于卷积神经网的动物体形检测方法及装置 |
CN109523583B (zh) * | 2018-10-09 | 2021-07-13 | 河海大学常州校区 | 一种基于反馈机制的电力设备红外与可见光图像配准方法 |
CN109523583A (zh) * | 2018-10-09 | 2019-03-26 | 河海大学常州校区 | 一种基于反馈机制的电力设备红外与可见光图像配准方法 |
CN109615597A (zh) * | 2018-12-07 | 2019-04-12 | 哈尔滨工程大学 | 一种基于中心仿射滤波的图像斑点噪声抑制方法 |
CN109615597B (zh) * | 2018-12-07 | 2022-04-05 | 哈尔滨工程大学 | 一种基于中心仿射滤波的图像斑点噪声抑制方法 |
CN111009001A (zh) * | 2019-09-17 | 2020-04-14 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种图像配准方法、装置、设备及存储介质 |
CN110956601A (zh) * | 2019-12-04 | 2020-04-03 | 山东大学 | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 |
CN110956601B (zh) * | 2019-12-04 | 2022-04-19 | 山东大学 | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 |
CN112102381A (zh) * | 2020-09-11 | 2020-12-18 | 西安电子科技大学 | 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 |
CN114216485A (zh) * | 2022-02-23 | 2022-03-22 | 广州骏天科技有限公司 | 一种用于无人机航拍测绘的图像校准方法 |
CN114216485B (zh) * | 2022-02-23 | 2022-04-29 | 广州骏天科技有限公司 | 一种用于无人机航拍测绘的图像校准方法 |
CN114972453A (zh) * | 2022-04-12 | 2022-08-30 | 南京雷电信息技术有限公司 | 改进的基于lsd与模板匹配的sar图像区域配准方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106408597A (zh) | 基于邻域熵和一致性检测的sar图像配准方法 | |
Ma et al. | Infrared and visible image fusion methods and applications: A survey | |
Li et al. | LNIFT: Locally normalized image for rotation invariant multimodal feature matching | |
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
Chen et al. | Robust affine-invariant line matching for high resolution remote sensing images | |
CN104834931A (zh) | 一种基于小波变换的改进的尺度不变特征匹配算法 | |
CN112396643A (zh) | 一种尺度不变特征与几何特征融合的多模态高分影像配准方法 | |
CN104504723A (zh) | 基于视觉显著特征的图像配准方法 | |
CN106023187A (zh) | 一种基于sift特征和角度相对距离的图像配准方法 | |
CN102446356A (zh) | 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法 | |
Zhang et al. | An improved vehicle panoramic image generation algorithm | |
Li et al. | Image Matching Algorithm based on Feature-point and DAISY Descriptor. | |
Zhao et al. | An adaptation of CNN for small target detection in the infrared | |
CN105678720A (zh) | 一种全景拼接判断图像匹配方法及装置 | |
CN112614167A (zh) | 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法 | |
CN112418250A (zh) | 一种复杂3d点云的优化匹配方法 | |
CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
CN106355576A (zh) | 基于mrf图像分割算法的sar图像配准方法 | |
CN109544608B (zh) | 一种无人机图像采集特征配准方法 | |
CN110197184A (zh) | 一种基于傅里叶变换的快速图像sift提取方法 | |
CN108038849A (zh) | 一种识别性能优良的机器人视觉系统 | |
Zhang et al. | Adaptive clustering feature matching algorithm based on SIFT and RANSAC | |
Wu et al. | An accurate feature point matching algorithm for automatic remote sensing image registration | |
Haryono et al. | Oriented object detection in satellite images using convolutional neural network based on ResNeXt | |
CN106327423B (zh) | 基于有向线段的遥感图像配准方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170215 |