CN114972453A - 改进的基于lsd与模板匹配的sar图像区域配准方法 - Google Patents

改进的基于lsd与模板匹配的sar图像区域配准方法 Download PDF

Info

Publication number
CN114972453A
CN114972453A CN202210379951.9A CN202210379951A CN114972453A CN 114972453 A CN114972453 A CN 114972453A CN 202210379951 A CN202210379951 A CN 202210379951A CN 114972453 A CN114972453 A CN 114972453A
Authority
CN
China
Prior art keywords
image
sar image
matching
sar
digital map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210379951.9A
Other languages
English (en)
Other versions
CN114972453B (zh
Inventor
马志强
纪丽华
曹庆刚
周枫明
周黎明
柯树林
郑云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Thunderbolt Information Technology Co ltd
Original Assignee
Nanjing Leading Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Information Technology Co ltd filed Critical Nanjing Leading Information Technology Co ltd
Priority to CN202210379951.9A priority Critical patent/CN114972453B/zh
Publication of CN114972453A publication Critical patent/CN114972453A/zh
Application granted granted Critical
Publication of CN114972453B publication Critical patent/CN114972453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Abstract

本发明公开的改进的基于LSD与模板匹配的SAR图像区域配准方法，包括：读取SAR图像与卫星数字地图，构建待配准图像对并进行预处理；采用LSD直线检测方法检测预处理图像结果中的直线特征；构建变换矩阵1并对SAR图像进行仿射变换；计算SAR图像中最长直线特征的中心点坐标；使用坐标值在SAR图像中提取匹配模板图像，并与卫星数字地图进行匹配；根据模板匹配结果计算出SAR图像相对卫星数字地图平移量，构建变换矩阵2；使用变换矩阵1、变换矩阵2实现SAR图像与卫星数字地图的配准工作，计算匹配点坐标；根据匹配点坐标获取目标点经纬度信息。本发明结合LSD直线检测与模板匹配算法，提升SAR图像配准的准确率与效率。

Description

改进的基于LSD与模板匹配的SAR图像区域配准方法
技术领域
本发明涉及SAR图像配准技术领域，具体涉及基于LSD直线检测与模板匹配的SAR图像区域配准方法。
背景技术
合成孔径雷达（Synthetic Aperture Radar，SAR）成像具有全天时、全天候、可穿透性等优点，以及它在不同频段、不同极化下可得到目标的高分辨率雷达图像，为人们提供非常有用的目标信息，因此，一直以来针对SAR图像配准的研究热度经久不息，大量研究成果已经被广泛应用于经济和科技等众多领域，有着广泛的应用前景和发展潜力。
图像配准方法一般分为基于灰度的方法与基于特征的方法。基于灰度的方法使用图像或者图像块的灰度信息，通过相似性度量算法，测度两幅对应图像或对应图像块之间的相似性，但因为其全局优化的计算复杂度太高不太适用于对时间要求比较严格的配准的。基于特征的方法用对图像中具有稳定性和重复性图像特征的分析，代替对整个图像的分析，降低计算量以及配准算法对传感器变化的敏感性，主要图像特征包括点、线、面。基于点特征的方法中具有代表性的算法有Harris角点检测算子、SUSAN局部检测算子、SIFT尺度不变特征变换算子、SURF局部算子等。基于线特征的方法中基于边缘检测的算法当前相对成熟，经典的检测算子由Roberts算子、Sobel算子、Prewitt算子、Canny算子、Hough变换及LSD直线检测等。基于面特征方法中具有代表性的有形态学分割算法、动态阈值技术、区域增长技术、模板匹配等。又因为其具有更好的重复性和稳定性，所以它具有更强大的区分能力，对局部有差异的图像对有更好的鲁棒性。
由于SAR图像的成像方式与可见光成像方式的不同，造成两种不同图像在点特征上的差异，若仅依赖某一类特征对SAR图像与卫星数字地图进行配准，二者之间匹配存在较大的误差。基于特征的方法使用少量图像特征，对相同图像来说，算法的运算性能普遍高于基于灰度的方法，所以基于特征的方法是当前SAR图像使用最多的配准方法。同时，因为SAR图像分辨率高、数据量大、受噪声影响严重的问题，现有的配准算法处理速度很慢，所以为了高效性和高精度的合成孔径雷达图像的配准，对原有的配准算法改进使其具有高效性和高精度特性是一种比较普遍存在的方式。因此本发明结合基于线特征方法与基于面特征方法对SAR图像进行配准操作。
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供改进的基于LSD（LineSegment Detector）与模板匹配的SAR图像区域配准方法，在使用SAR图像先验知识的基础上，结合LSD直线检测与模板匹配算法，采用轮廓矩与先进的特征提取方法对模板图像进行选择，提升SAR图像配准的准确率与效率。
技术方案：本发明所述改进的基于LSD与模板匹配的SAR图像区域配准方法，包括如下步骤：
S1：读取SAR图像与卫星数字地图，构建待配准图像对并表示为
Figure DEST_PATH_IMAGE001
、
Figure DEST_PATH_IMAGE002
，对待配准图像对
Figure 337673DEST_PATH_IMAGE001
、
Figure 723655DEST_PATH_IMAGE002
进行预处理，得到
Figure DEST_PATH_IMAGE003
、
Figure DEST_PATH_IMAGE004
；
S2：采用LSD直线检测方法检测预处理图像结果
Figure 316442DEST_PATH_IMAGE003
、
Figure 305126DEST_PATH_IMAGE004
中的直线特征，得到
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE006
；
S3：根据SAR图像地距分辨率与卫星数字地图的像元宽度计算二者之间的尺度参数
Figure DEST_PATH_IMAGE007
；
S4：根据直线特征
Figure 899925DEST_PATH_IMAGE005
、
Figure 315863DEST_PATH_IMAGE006
计算待配准图像对之间的角度参数
Figure DEST_PATH_IMAGE008
，使用尺度参数
Figure DEST_PATH_IMAGE009
和角度参数
Figure 130366DEST_PATH_IMAGE008
构建变换矩阵
Figure DEST_PATH_IMAGE010
；
S5：采用
Figure 657162DEST_PATH_IMAGE010
对SAR图像
Figure DEST_PATH_IMAGE011
进行第一次仿射变换，将SAR图像变换到与卫星数字地图同一朝向，得到
Figure DEST_PATH_IMAGE012
；
S6：采用轮廓矩方法滤除
Figure 372046DEST_PATH_IMAGE012
中的小面积区域，同时计算出SAR图像
Figure 99831DEST_PATH_IMAGE011
中最长直线特征的中心点坐标
Figure DEST_PATH_IMAGE013
；
S7：使用坐标
Figure 182056DEST_PATH_IMAGE013
的值在
Figure 387910DEST_PATH_IMAGE012
中提取匹配模板图像，根据归一化模板匹配算法对选择的模板图像与卫星数字地图进行匹配；
S8：根据模板匹配结果计算出SAR图像相对卫星数字地图在x轴方向与y轴方向的平移量
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
，同时构建变换矩阵
Figure DEST_PATH_IMAGE016
；
S9：使用变换矩阵
Figure 317820DEST_PATH_IMAGE010
对
Figure DEST_PATH_IMAGE017
进行仿射变换，得到
Figure DEST_PATH_IMAGE018
，采用变换矩阵
Figure 59248DEST_PATH_IMAGE016
对
Figure 769715DEST_PATH_IMAGE018
进行仿射变换，得到
Figure DEST_PATH_IMAGE019
，实现SAR图像
Figure 372735DEST_PATH_IMAGE017
与卫星数字地图的
Figure DEST_PATH_IMAGE020
配准工作，计算匹配点坐标；
S10：载入卫星数字地图配套的经纬度数据库，根据匹配点坐标
Figure DEST_PATH_IMAGE021
获取目标点经纬度信息。
进一步完善上述技术方案，所述S1中对
Figure 563676DEST_PATH_IMAGE001
进行的预处理操作包括灰度化、滤波、二值化、形态学运算、高斯滤波、Canny边缘检测，对
Figure 757897DEST_PATH_IMAGE002
进行的预处理操作包括灰度化、滤波、二值化、形态学运算、相干斑抑制、高斯滤波、Canny边缘检测。
进一步地，所述S1中灰度化、滤波、二值化、形态学运算、相干斑抑制、高斯滤波、Canny边缘检测的处理过程包括：
S11：采用平均值法对待配准图像对进行灰度化处理
设
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
、
Figure DEST_PATH_IMAGE024
分别表示待处理图像的三个通道，采用平均值法进行灰度化处理，将三通道转换为单通道，得到图中
Figure DEST_PATH_IMAGE025
处的像素灰度值为：
Figure DEST_PATH_IMAGE026
(1)
Figure DEST_PATH_IMAGE027
、
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
表示三个通道
Figure 402331DEST_PATH_IMAGE022
、
Figure 949987DEST_PATH_IMAGE023
、
Figure 41439DEST_PATH_IMAGE024
在图中
Figure 281928DEST_PATH_IMAGE025
处的像素灰度值；
将待配准图像对
Figure DEST_PATH_IMAGE030
、
Figure DEST_PATH_IMAGE031
按公式1处理，得到SAR图像与卫星数字地图的灰度图；
S12：对待配准图像对进行滤波处理，然后对滤波结果进行二值化处理，再根据二值化图像中非零像素个数的占比重复滤波及二值化操作，迭代至非零像素个数占比达到预设阈值；
对S11中灰度图进行归一化处理，使像素灰度值在0~1范围内，设
Figure DEST_PATH_IMAGE032
为图像中最大灰度值，
Figure DEST_PATH_IMAGE033
为图像中最小灰度值，通过下式进行图像归一化：
Figure DEST_PATH_IMAGE034
(2)
设置卷积核kernel的大小，以核内中心位置对应的像素为目标像素，使用kernel对待配准图像对进行卷积操作，卷积结果为：
Figure DEST_PATH_IMAGE036
按从左到右，从上到下滑动卷积核，直到处理完图像最后一个像素；
对卷积结果进行二值化处理，得到二值化后的结果
Figure DEST_PATH_IMAGE037
、
Figure DEST_PATH_IMAGE038
，凸显待配准图像中关键区域的轮廓边缘信息；
S13：对
Figure 278572DEST_PATH_IMAGE037
、
Figure DEST_PATH_IMAGE039
进行形态学处理，将断裂区域连接起来，得到处理结果
Figure DEST_PATH_IMAGE040
、
Figure DEST_PATH_IMAGE041
；
S14：根据SAR图像的距离向分辨率Dre与方位向分辨率Dis构建滤波核
Figure DEST_PATH_IMAGE042
，大小为，以核中心点为原点，通过下式构建：
Figure DEST_PATH_IMAGE043
相干斑抑制步骤如下：
S141、采用构建的滤波核在二值SAR图像
Figure 269399DEST_PATH_IMAGE040
区域进行滑动操作，从左到右、从上到下，
S142、判断滤波核中元素与对应二值SAR图像
Figure 356304DEST_PATH_IMAGE040
元素是否相等且等于255，记录符合条件的元素个数，记为
Figure DEST_PATH_IMAGE044
，
S143、判断滤波核中元素值为255，且对应二值SAR图像
Figure 377481DEST_PATH_IMAGE040
元素值为0，记录符合条件的元素个数，记为
Figure DEST_PATH_IMAGE045
，
S144、当
Figure 877732DEST_PATH_IMAGE044
与
Figure 32770DEST_PATH_IMAGE045
的值大于滤波核元素个数的1/3时，判断图像中每行左右邻域或每列上下邻域中像素灰度值为255的像素个数是否超过5，如果超过则设置目标像素的灰度值为0，
S145：重复S141至S144，直到滤波核中心位置与图像右下角像素重合，得到处理结果
Figure DEST_PATH_IMAGE046
；
S15：对卫星数字地图
Figure 82503DEST_PATH_IMAGE041
与相干斑抑制后的SAR图像
Figure DEST_PATH_IMAGE047
进行高斯滤波去噪、Canny边缘检测，得到处理后的图像
Figure 523849DEST_PATH_IMAGE003
、
Figure 917921DEST_PATH_IMAGE004
。
进一步地，所述S2采用LSD直线检测方法检测预处理图像结果
Figure 876650DEST_PATH_IMAGE003
、
Figure 547934DEST_PATH_IMAGE004
中的直线特征包括：
S21：首先计算图像中所有像素点的梯度大小，记为
Figure DEST_PATH_IMAGE048
，根据梯度大小计算出水平角度
Figure DEST_PATH_IMAGE049
与梯度幅值
Figure DEST_PATH_IMAGE050
，如下式所示：
Figure DEST_PATH_IMAGE051
(5)
Figure DEST_PATH_IMAGE052
(6)
Figure DEST_PATH_IMAGE053
(7)
利用伪排序得到梯度幅值大的点作为种子点，以该点水平线角度
Figure 680887DEST_PATH_IMAGE049
作为区域的初始角度
Figure DEST_PATH_IMAGE054
，在八邻域中寻找与的偏差小于预设阈值
Figure DEST_PATH_IMAGE055
的点，将该点加入到区域中并更新
Figure 890151DEST_PATH_IMAGE054
，得到线支持区域，最后通过矩形逼近得到直线特征，检测到的直线特征以点数据的形式进行存储，分别表示为
Figure DEST_PATH_IMAGE056
、
Figure DEST_PATH_IMAGE057
；
S22：
Figure 731200DEST_PATH_IMAGE056
、
Figure 771837DEST_PATH_IMAGE057
中存储了检测到的所有直线段，筛选
Figure 695930DEST_PATH_IMAGE056
、
Figure 64595DEST_PATH_IMAGE057
中最具代表性的直线特征用来进行配准工作，步骤如下：
S221、计算
Figure 739028DEST_PATH_IMAGE056
、
Figure 509537DEST_PATH_IMAGE057
所有直线段的长度，并按降序排列，
S222、根据预设直线特征数量
Figure DEST_PATH_IMAGE058
，在排序结果中提取前条直线特征，
S223、提取距离间隔较大的直线特征，
S224、保存直线特征的端点坐标，表示为
Figure DEST_PATH_IMAGE059
与
Figure DEST_PATH_IMAGE060
。
进一步地，所述S3中尺度参数计算过程包括设 SAR图像
Figure 276636DEST_PATH_IMAGE017
的地距分辨率为
Figure DEST_PATH_IMAGE061
，卫星数字地图的像元宽度为
Figure DEST_PATH_IMAGE062
，则：
Figure DEST_PATH_IMAGE063
，其中
Figure 460493DEST_PATH_IMAGE061
从SAR图像文件中提取，
Figure 299136DEST_PATH_IMAGE062
从与卫星数字地图配套的经纬度库中读取；
所述S4中角度参数
Figure 298054DEST_PATH_IMAGE008
、变换矩阵
Figure 563950DEST_PATH_IMAGE010
的计算过程包括：
S41：将
Figure 907207DEST_PATH_IMAGE059
、
Figure 939754DEST_PATH_IMAGE060
中直线特征的端点坐标转化为极坐标，表示为
Figure DEST_PATH_IMAGE064
、
Figure DEST_PATH_IMAGE065
，
S411、计算每条直线段的斜率
Figure DEST_PATH_IMAGE066
与截距
Figure DEST_PATH_IMAGE067
；
S412、计算直线段的中心点坐标
Figure DEST_PATH_IMAGE068
、
Figure DEST_PATH_IMAGE069
以及
Figure DEST_PATH_IMAGE070
Figure DEST_PATH_IMAGE071
(8)
Figure DEST_PATH_IMAGE072
(9)
Figure DEST_PATH_IMAGE073
(10)
S413、计算极坐标的极角与极径：
当
Figure DEST_PATH_IMAGE074
时，获得如下三个点：
Figure DEST_PATH_IMAGE075
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
当
Figure DEST_PATH_IMAGE078
时，获得如下三个点：
Figure 216014DEST_PATH_IMAGE075
Figure DEST_PATH_IMAGE079
Figure 511866DEST_PATH_IMAGE077
得到极角
Figure DEST_PATH_IMAGE080
：
Figure DEST_PATH_IMAGE081
Figure DEST_PATH_IMAGE082
Figure DEST_PATH_IMAGE083
Figure DEST_PATH_IMAGE084
得到极径：
令
Figure DEST_PATH_IMAGE085
，
则有
Figure DEST_PATH_IMAGE086
；
S42：以卫星数字地图为基准，计算SAR图像中直线与卫星数字地图中直线的角度差
Figure 812527DEST_PATH_IMAGE008
，计算
Figure DEST_PATH_IMAGE087
与
Figure DEST_PATH_IMAGE088
中的差值：
Figure DEST_PATH_IMAGE089
，将相同的值进行计数，将出现次数最多的
Figure DEST_PATH_IMAGE090
值记为角度参数
Figure DEST_PATH_IMAGE091
；
S43：以SAR图像的中心点为坐标原点
Figure DEST_PATH_IMAGE092
，设SAR图像的宽和高分别为
Figure DEST_PATH_IMAGE093
，则原点坐标为
Figure DEST_PATH_IMAGE094
，
将SAR图像的旋转中心点平移至坐标原点
Figure 960349DEST_PATH_IMAGE092
，对应的变换矩阵为：
Figure DEST_PATH_IMAGE095
将SAR图像绕
Figure 904166DEST_PATH_IMAGE092
旋转角度
Figure 511865DEST_PATH_IMAGE091
，对应的变换矩阵为：
Figure DEST_PATH_IMAGE096
将图像缩放为原来的
Figure DEST_PATH_IMAGE097
倍，对应的变换矩阵为：
Figure DEST_PATH_IMAGE098
将坐标原点
Figure 352DEST_PATH_IMAGE092
平移回旋转中心点，对应的变换矩阵为：
Figure DEST_PATH_IMAGE099
得到最终的变换矩阵为：
Figure DEST_PATH_IMAGE100
。
进一步地，采用变换矩阵对SAR图像
Figure 312385DEST_PATH_IMAGE011
进行第一次仿射变换：
Figure DEST_PATH_IMAGE101
。
进一步地，所述S6 中SAR图像中最长直线特征的中心点坐标
Figure 376287DEST_PATH_IMAGE013
的计算过程如下：
设直线特征的端点坐标为
Figure DEST_PATH_IMAGE102
、
Figure DEST_PATH_IMAGE103
，采用欧式距离计算直线长度：
Figure DEST_PATH_IMAGE104
得到最长直线端点坐标
Figure DEST_PATH_IMAGE105
，
Figure DEST_PATH_IMAGE106
，则有：
Figure DEST_PATH_IMAGE107
。
进一步地，所述S7包括：
S71：选择SAR图像中部区域作为匹配模板，提取出的模板图像尺寸根据SAR图像的长宽动态设置，模板图像中心点在图像
Figure 528789DEST_PATH_IMAGE012
中的坐标表示为
Figure DEST_PATH_IMAGE108
；
S72：在二值化后的卫星数字地图结果上，从左到右、从上到下计算模板图像与重叠子图像的匹配度量值
Figure DEST_PATH_IMAGE109
，匹配度量值由归一化模板匹配算法计算得到，如下式：
Figure DEST_PATH_IMAGE110
将匹配度量值
Figure 6038DEST_PATH_IMAGE109
保存到结果图像矩阵中，在结果图像矩阵中
Figure DEST_PATH_IMAGE111
，值最大的位置代表了最佳的匹配，记为
Figure DEST_PATH_IMAGE112
。
进一步地，所述S8中采用模板图像中心点在SAR图像中的坐标信息，与模板图像在卫星数字地图中最佳匹配位置坐标信息，计算出SAR图像相对卫星数字地图在x轴方向与y轴方向的平移量
Figure 121761DEST_PATH_IMAGE014
、
Figure 695962DEST_PATH_IMAGE015
，根据平移量
Figure 645463DEST_PATH_IMAGE014
、
Figure 52086DEST_PATH_IMAGE015
构建变换矩阵
Figure 378025DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE113
Figure DEST_PATH_IMAGE114
Figure DEST_PATH_IMAGE115
Figure DEST_PATH_IMAGE116
。
进一步地，所述S9的计算过程如下：
采用变换矩阵对
Figure 213257DEST_PATH_IMAGE017
进行仿射变换：
Figure DEST_PATH_IMAGE117
，
采用变换矩阵
Figure 192714DEST_PATH_IMAGE016
对
Figure 972452DEST_PATH_IMAGE018
进行仿射变换：
Figure DEST_PATH_IMAGE118
，
通过上述方法，生成新图
Figure DEST_PATH_IMAGE119
，
计算出SAR图像在卫星数字地图中的匹配点
Figure 679245DEST_PATH_IMAGE021
，设SAR图像中的目标点为，通过下列公式可以得到匹配点
Figure 696880DEST_PATH_IMAGE021
：
Figure 100002_DEST_PATH_IMAGE120
。
有益效果：与现有技术相比，本发明的优点在于：本发明在使用SAR图像先验知识的基础上，结合LSD直线检测与模板匹配算法，采用轮廓矩与先进的特征提取方法对模板图像进行选择，提升SAR图像配准的准确率与效率；通过分析SAR图像中关键区域的线、面特征之间的属性关联，选择图像中目标线、面特征对SAR图像进行智能配准，提高了SAR图像与卫星数字地图的配准精准度，降低目标匹配错误概率。本发明能够获取高精度配准结果，实现目标的精准定位，并且对视角和光照变化具有很好的鲁棒性，结果准确、误检可控。
附图说明
图1是本发明的方法处理流程图；
图2是本发明中滤波卷积核的示意图；
图3是待卷积图像区域；
图4是SAR图像配准结果；
图5是卫星数字地图灰度图；
图6是SAR图像与卫星数字地图匹配结果；
图7是SAR图像中已匹配目标的经纬度信息结果。
具体实施方式
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示的改进的基于LSD与模板匹配的SAR图像区域配准方法，包括：
S1：对待配准图像对
Figure 112818DEST_PATH_IMAGE017
、
Figure 114272DEST_PATH_IMAGE020
进行预处理，主要包括灰度化、滤波、二值化、形态学运算、相干斑抑制、高斯滤波、Canny边缘检测，得到
Figure 922959DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE121
；
S2：采用LSD直线检测方法检测图像预处理结果中的直线特征，得到
Figure 529521DEST_PATH_IMAGE005
、
Figure 381939DEST_PATH_IMAGE006
；
S3：根据SAR图像地距分辨率与卫星数字地图的像元宽度计算二者之间的尺度参数
Figure 870689DEST_PATH_IMAGE009
；
S4：根据直线特征
Figure 342122DEST_PATH_IMAGE005
、
Figure 708250DEST_PATH_IMAGE006
计算待配准图像之间的角度参数
Figure 872515DEST_PATH_IMAGE008
，使用尺度参数
Figure 442037DEST_PATH_IMAGE009
与角度参数
Figure 717160DEST_PATH_IMAGE008
构建变换矩阵
Figure 95052DEST_PATH_IMAGE010
；
S5：采用
Figure 774426DEST_PATH_IMAGE010
对SAR图像
Figure 237768DEST_PATH_IMAGE011
进行第一次仿射变换，将SAR图像变换到与卫星数字地图同一朝向，得到
Figure 785424DEST_PATH_IMAGE012
；
S6：采用轮廓矩方法滤除中的小面积区域，同时计算出SAR图像
Figure 142456DEST_PATH_IMAGE011
中最长直线特征的中心点坐标
Figure 117366DEST_PATH_IMAGE013
；
S7：使用坐标
Figure 68004DEST_PATH_IMAGE013
的值在
Figure 58832DEST_PATH_IMAGE012
中提取匹配模板图像，根据归一化模板匹配算法对选择的模板图像与卫星数字地图
Figure 880157DEST_PATH_IMAGE121
进行匹配；
S8：通过模板匹配结果计算出在x轴方向与y轴方向的平移量
Figure 557126DEST_PATH_IMAGE014
、
Figure 588536DEST_PATH_IMAGE015
，同时构建变换矩阵
Figure 743574DEST_PATH_IMAGE016
；
S9：使用变换矩阵
Figure 560351DEST_PATH_IMAGE010
对
Figure 142642DEST_PATH_IMAGE017
进行仿射变换，得到
Figure 802294DEST_PATH_IMAGE018
；采用变换矩阵
Figure 620077DEST_PATH_IMAGE016
对进行仿射变换，实现SAR图像
Figure 681574DEST_PATH_IMAGE017
与卫星数字地图的
Figure 434766DEST_PATH_IMAGE020
配准工作，计算匹配点。
S10：采用匹配点坐标计算目标点经纬度信息。
S1中对待配准图像对
Figure 949756DEST_PATH_IMAGE017
、
Figure 181017DEST_PATH_IMAGE020
进行预处理，主要包括灰度化、滤波、二值化、形态学运算、相干斑抑制、高斯滤波、Canny边缘检测，得到
Figure 97021DEST_PATH_IMAGE011
、
Figure 411327DEST_PATH_IMAGE121
。
S11、本发明采用平均值法进行灰度化处理，将三通道转换为单通道，即将SAR图像与卫星数字地图的三个通道
Figure 779992DEST_PATH_IMAGE022
、
Figure 80523DEST_PATH_IMAGE023
、
Figure 460820DEST_PATH_IMAGE024
在
Figure 821394DEST_PATH_IMAGE025
处的像素灰度值
Figure 801988DEST_PATH_IMAGE027
、
Figure 640631DEST_PATH_IMAGE028
、
Figure 265648DEST_PATH_IMAGE029
相加，求平均值
Figure DEST_PATH_IMAGE122
，得到在图中
Figure 639866DEST_PATH_IMAGE025
处的像素灰度值为：
Figure 983123DEST_PATH_IMAGE026
(1)
最终将待配准图像对
Figure 750091DEST_PATH_IMAGE017
、
Figure 229613DEST_PATH_IMAGE020
按公式1处理，得到SAR图像与卫星数字地图的灰度图。
S12：对待配准图像进行滤波处理，提高对比度，突显图像边缘等特征，然后对滤波结果进行二值化处理，再根据二值化图像中非零像素个数的占比重复滤波与二值化操作，迭代至非零像素个数占比达到预设阈值。
对S11中灰度图进行归一化处理，使像素灰度值在0~1范围内，设
Figure 807356DEST_PATH_IMAGE032
为图像中最大灰度值，
Figure 637909DEST_PATH_IMAGE033
为图像中最小灰度值，通过下式进行图像归一化：
Figure 552776DEST_PATH_IMAGE034
(2)
设卷积核kernel的大小为
Figure DEST_PATH_IMAGE123
（kernel的大小根据实际情况可以设置），如图2所示。以核内中心位置对应的像素为目标像素，使用kernel对待配准图像对进行卷积操作，对应待卷积的图像区域如图3所示，卷积结果为：
Figure DEST_PATH_IMAGE124
按从左到右、从上到下滑动卷积核，直到处理完图像最后一个像素，
接下来，对卷积结果进行二值化处理，得到二值化后的结果
Figure 745860DEST_PATH_IMAGE037
、
Figure 993039DEST_PATH_IMAGE039
，凸显待配准图像中关键区域的轮廓等边缘信息。
S13：对
Figure 45309DEST_PATH_IMAGE037
、
Figure 29445DEST_PATH_IMAGE039
进行形态学处理，将断裂区域连接起来，得到处理结果
Figure 608194DEST_PATH_IMAGE040
、
Figure 652373DEST_PATH_IMAGE041
。
S14：对二值化后的SAR图像
Figure 457518DEST_PATH_IMAGE040
进行滤波处理，抑制相干斑噪声
根据SAR图像的距离向分辨率与方位向分辨率（分别表示为Dre，Dis）构建滤波核，大小为
Figure DEST_PATH_IMAGE125
，以核中心点为原点，通过下式构建：
Figure DEST_PATH_IMAGE126
相干斑噪声抑制步骤如下：
1） 采用构建的滤波核在二值SAR图像
Figure 183029DEST_PATH_IMAGE040
区域进行滑动操作，从左到右、从上到下，
2） 判断滤波核中元素与对应二值SAR图像元素是否相等且等于255，记录符合条件的元素个数，记为
Figure 226071DEST_PATH_IMAGE044
，
3） 判断滤波核中元素值为255，且对应二值SAR图像
Figure 549474DEST_PATH_IMAGE040
元素值为0，记录符合条件的元素个数，记为
Figure 310757DEST_PATH_IMAGE045
，
4） 当
Figure 26909DEST_PATH_IMAGE044
与的值大于滤波核元素个数的1/3时，判断图像中每行左右邻域或每列上下邻域中像素灰度值为255的像素个数是否超过5，如果超过则设置目标像素的灰度值为0，
5） 重复上述操作，直到滤波核中心位置与图像右下角像素重合，得到处理结果
Figure 924458DEST_PATH_IMAGE046
。
S15：对卫星数字地图
Figure 920227DEST_PATH_IMAGE041
与相干斑抑制后的SAR图像
Figure 434385DEST_PATH_IMAGE046
进行高斯滤波去噪、Canny边缘检测，得到处理后的图像
Figure 688648DEST_PATH_IMAGE011
、
Figure 706283DEST_PATH_IMAGE121
。
S2：采用LSD直线检测方法检测图像预处理结果中的直线特征，得到
Figure 528746DEST_PATH_IMAGE005
、
Figure 644381DEST_PATH_IMAGE006
，本发明在采用LSD直线检测方法之前对图像进行去噪与边缘提取操作，能够提取出质量较高的直线特征。
S21：LSD直线检测方法能在线性的时间内得出亚像素级精度的检测结果，且无需调节任何参数。
首先计算图像中所有像素点的梯度大小和水平角度，分别记为
Figure 312123DEST_PATH_IMAGE048
，
Figure 574477DEST_PATH_IMAGE049
，根据梯度大小
Figure 567841DEST_PATH_IMAGE048
计算出
Figure 791012DEST_PATH_IMAGE049
与梯度幅值，如下式所示：
Figure 137810DEST_PATH_IMAGE051
(5)
Figure 395616DEST_PATH_IMAGE052
(6)
Figure 28723DEST_PATH_IMAGE053
(7)
利用伪排序得到梯度幅值大的点作为种子点，以该点水平线角度
Figure 863824DEST_PATH_IMAGE049
作为区域的初始角度，在八邻域中寻找与
Figure 138947DEST_PATH_IMAGE054
的偏差小于预设阈值
Figure 359582DEST_PATH_IMAGE055
的点，将该点加入到区域中并更新，得到线支持区域，最后通过矩形逼近得到直线特征，检测到的直线特征以点数据的形式进行存储，分别表示为
Figure DEST_PATH_IMAGE127
、
Figure DEST_PATH_IMAGE128
。
S22：筛选
Figure 22645DEST_PATH_IMAGE127
、
Figure 954829DEST_PATH_IMAGE128
中最具代表性的直线特征用来进行配准工作，
Figure 33643DEST_PATH_IMAGE127
、
Figure 141407DEST_PATH_IMAGE128
中存储了检测到的所有直线段
筛选步骤如下：
1）计算所有直线段的长度，并按降序排列，
2）根据预设直线特征数量，在排序结果中提取前
Figure 116317DEST_PATH_IMAGE058
条直线特征，
3）提取距离间隔较大的直线特征，
4）保存直线特征的端点坐标，表示为
Figure 66955DEST_PATH_IMAGE059
、
Figure 542936DEST_PATH_IMAGE060
。
S3：根据SAR图像地距分辨率与卫星数字地图的像元宽度计算二者之间的尺度参数。
设 SAR图像地距分辨率为
Figure 629841DEST_PATH_IMAGE061
，卫星数字地图
Figure 41230DEST_PATH_IMAGE020
像元宽度为
Figure 321908DEST_PATH_IMAGE062
，则有：
Figure 742525DEST_PATH_IMAGE063
，其中
Figure 542991DEST_PATH_IMAGE061
可从SAR图像文件中提取，
Figure 390861DEST_PATH_IMAGE062
可从与卫星数字地图配套经纬度库中读取。
S4：根据直线特征
Figure 50512DEST_PATH_IMAGE059
、
Figure 619028DEST_PATH_IMAGE060
计算出角度参数，采用尺度参数
Figure 414946DEST_PATH_IMAGE009
和角度参数
Figure 433717DEST_PATH_IMAGE008
构建变换矩阵
Figure 174140DEST_PATH_IMAGE010
。
S41：将
Figure 936560DEST_PATH_IMAGE059
与
Figure 852563DEST_PATH_IMAGE060
中直线特征的端点坐标转化为极坐标，表示为
Figure 150558DEST_PATH_IMAGE064
与
Figure 784802DEST_PATH_IMAGE065
；
1）计算每条直线段的斜率与截距
2）计算直线段的中心点坐标
Figure DEST_PATH_IMAGE129
、
Figure 678809DEST_PATH_IMAGE069
及
Figure DEST_PATH_IMAGE130
Figure DEST_PATH_IMAGE131
(8)
Figure DEST_PATH_IMAGE132
(9)
Figure DEST_PATH_IMAGE133
(10)
3）计算极坐标的极角与极径：
当
Figure 855843DEST_PATH_IMAGE074
时，可以获得如下三个点：
Figure DEST_PATH_IMAGE134
Figure DEST_PATH_IMAGE135
Figure DEST_PATH_IMAGE136
当
Figure DEST_PATH_IMAGE137
时，可以获得如下三个点：
Figure 14422DEST_PATH_IMAGE134
Figure DEST_PATH_IMAGE138
Figure 463857DEST_PATH_IMAGE136
可以得到极角
Figure DEST_PATH_IMAGE139
：
Figure DEST_PATH_IMAGE140
Figure DEST_PATH_IMAGE141
Figure DEST_PATH_IMAGE142
Figure DEST_PATH_IMAGE143
可以得到极径
Figure DEST_PATH_IMAGE144
：
令
Figure 551768DEST_PATH_IMAGE085
，
则有
Figure DEST_PATH_IMAGE145
。
S42：以卫星数字地图为基准，计算SAR图像中直线与卫星数字地图中直线的角度差
Figure 911205DEST_PATH_IMAGE091
；
根据在SAR图像与卫星数字地图中检测到的直线特征计算出SAR图像与卫星数字地图之间的旋转角度，S41中通过直线端点坐标将直线用极坐标，分别表示为
Figure 301735DEST_PATH_IMAGE064
与
Figure DEST_PATH_IMAGE146
；
计算
Figure 989200DEST_PATH_IMAGE087
与中
Figure 631534DEST_PATH_IMAGE139
的差值：
Figure 376636DEST_PATH_IMAGE089
，
将相同的
Figure 938067DEST_PATH_IMAGE090
值进行计数，出现次数最多的
Figure 768620DEST_PATH_IMAGE090
值即为
Figure 949065DEST_PATH_IMAGE091
。
S43：以SAR图像的中心点为坐标原点
Figure 188155DEST_PATH_IMAGE092
，设SAR图像的宽和高分别为：
Figure 795853DEST_PATH_IMAGE093
，则原点坐标为
Figure 848123DEST_PATH_IMAGE094
；
将SAR图像的旋转中心点平移至坐标原点，对应的变换矩阵为：
Figure 956893DEST_PATH_IMAGE095
将SAR图像绕
Figure 676588DEST_PATH_IMAGE092
旋转角度
Figure 720767DEST_PATH_IMAGE091
，对应的变换矩阵为：
Figure 870120DEST_PATH_IMAGE096
将图像缩放为原来的
Figure 657947DEST_PATH_IMAGE097
倍，对应的变换矩阵为：
Figure 91203DEST_PATH_IMAGE098
将坐标原点
Figure 306283DEST_PATH_IMAGE092
平移回旋转中心点，对应的变换矩阵为：
Figure 598724DEST_PATH_IMAGE099
得到最终的变换矩阵为：
Figure 32986DEST_PATH_IMAGE100
。
S5：采用
Figure 727272DEST_PATH_IMAGE010
对SAR图像进行第一次仿射变换， 将SAR图像变换到与卫星数字地图同一朝向，得到
Figure 847675DEST_PATH_IMAGE012
；
根据上述变换矩阵
Figure 486467DEST_PATH_IMAGE010
对SAR图像进行仿射变换：
Figure DEST_PATH_IMAGE147
得到变换结果
Figure 84938DEST_PATH_IMAGE012
。
S6：采用轮廓矩方法滤除
Figure 243518DEST_PATH_IMAGE012
中的小面积区域，同时计算出SAR图像
Figure 534822DEST_PATH_IMAGE011
中最长直线特征的中心点坐标；
设直线的端点坐标为
Figure 395331DEST_PATH_IMAGE102
，采用欧式距离计算直线长度：
Figure 328652DEST_PATH_IMAGE104
得到最长直线端点坐标
Figure 731951DEST_PATH_IMAGE105
，
Figure 308338DEST_PATH_IMAGE106
，则有：
Figure 797088DEST_PATH_IMAGE107
。
S6：使用坐标
Figure 393155DEST_PATH_IMAGE013
的值在
Figure 650961DEST_PATH_IMAGE012
中提取匹配模板图像，根据归一化模板匹配算法对选择的模板图像与卫星数字地图
Figure 159434DEST_PATH_IMAGE121
进行匹配；
S61：选择SAR图像中部区域作为匹配模板，提取出的模板图像尺寸根据SAR图像的长宽动态设置，模板图像中心点在
Figure 135480DEST_PATH_IMAGE012
中的坐标表示为
Figure 410604DEST_PATH_IMAGE108
；
S62：在二值化后的卫星数字地图结果上，从左到右、从上到下计算模板图像与重叠子图像的匹配度量值
Figure 381971DEST_PATH_IMAGE109
，将匹配度量值保存到结果图像矩阵
Figure 451558DEST_PATH_IMAGE111
中，在
Figure 649321DEST_PATH_IMAGE111
中的每个位置都包含匹配度量值
Figure 102037DEST_PATH_IMAGE109
，匹配度量值
Figure 803276DEST_PATH_IMAGE109
由归一化模板匹配算法计算得到，如下式：
Figure 309344DEST_PATH_IMAGE110
在结果图像矩阵中，
Figure 119037DEST_PATH_IMAGE109
值最大的位置代表了最高的匹配，即被认为时最匹配的地方，记为
Figure 470384DEST_PATH_IMAGE112
。
S8：通过模板匹配结果计算出在x轴方向与y轴方向的平移量
Figure 557289DEST_PATH_IMAGE014
、
Figure 844045DEST_PATH_IMAGE015
，同时构建变换矩阵；
采用模板图像中心点在SAR图像中的坐标信息，与模板图像在卫星数字地图中最佳匹配位置坐标信息，计算出SAR图像相对卫星数字地图在x轴方向与y轴方向的平移量，如下式：
Figure DEST_PATH_IMAGE148
Figure DEST_PATH_IMAGE149
Figure 344296DEST_PATH_IMAGE115
Figure DEST_PATH_IMAGE150
S9：使用变换矩阵
Figure 607656DEST_PATH_IMAGE010
对
Figure 283488DEST_PATH_IMAGE017
进行仿射变换，得到
Figure 131359DEST_PATH_IMAGE018
；采用变换矩阵
Figure 915644DEST_PATH_IMAGE016
对进行仿射变换，得到
Figure 608793DEST_PATH_IMAGE019
，实现SAR图像与卫星数字地图的
Figure 670290DEST_PATH_IMAGE020
配准工作，计算匹配点
Figure 298849DEST_PATH_IMAGE021
。
Figure DEST_PATH_IMAGE151
Figure DEST_PATH_IMAGE152
通过上述方法，将
Figure 508113DEST_PATH_IMAGE019
作为新图
Figure 270533DEST_PATH_IMAGE119
，如图4、图5所示，其中图4为SAR图像，图5为卫星数字地图，可以看出，
Figure 186536DEST_PATH_IMAGE017
在中的位置与在
Figure 484531DEST_PATH_IMAGE020
中匹配的区域重合，实现了二者之间的配准。
计算出最终变换后，用于同卫星数字地图进行匹配的SAR图像在卫星数字地图
Figure 853196DEST_PATH_IMAGE020
中的匹配点，设SAR图像中的目标点为
Figure DEST_PATH_IMAGE153
，通过下列公式可以得到匹配点：
Figure DEST_PATH_IMAGE154
匹配结果如图6所示，其中A点为SAR图像中的目标点，B点为卫星数字地图中与A对应的匹配点。
S10：采用匹配点坐标计算目标点经纬度信息。
采用载入的经纬度数据库，结合匹配点坐标
Figure 216044DEST_PATH_IMAGE021
计算出目标点的经纬度信息，如图7所示。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (10)

1.改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于，包括如下步骤：
S1：读取SAR图像与卫星数字地图，构建待配准图像对并表示为
Figure 287411DEST_PATH_IMAGE001
、
Figure 798027DEST_PATH_IMAGE002
，对待配准图像对
Figure 46605DEST_PATH_IMAGE001
、
Figure 786022DEST_PATH_IMAGE002
进行预处理，得到
Figure 334815DEST_PATH_IMAGE003
、
Figure 626119DEST_PATH_IMAGE004
；
S2：采用LSD直线检测方法检测预处理图像结果
Figure 752207DEST_PATH_IMAGE003
、
Figure 419949DEST_PATH_IMAGE004
中的直线特征，得到
Figure 823249DEST_PATH_IMAGE005
、
Figure 659355DEST_PATH_IMAGE006
；
S3：根据SAR图像地距分辨率与卫星数字地图的像元宽度计算二者之间的尺度参数
Figure 882526DEST_PATH_IMAGE007
；
S4：根据直线特征
Figure 478593DEST_PATH_IMAGE005
、
Figure 470819DEST_PATH_IMAGE006
计算待配准图像对之间的角度参数
Figure 244871DEST_PATH_IMAGE008
，使用尺度参数
Figure 220918DEST_PATH_IMAGE009
和角度参数
Figure 230462DEST_PATH_IMAGE010
构建变换矩阵
Figure 467408DEST_PATH_IMAGE011
；
S5：采用
Figure 536996DEST_PATH_IMAGE011
对SAR图像
Figure 734759DEST_PATH_IMAGE012
进行第一次仿射变换，将SAR图像变换到与卫星数字地图同一朝向，得到
Figure 921895DEST_PATH_IMAGE013
；
S6：采用轮廓矩方法滤除
Figure 888714DEST_PATH_IMAGE013
中的小面积区域，同时计算出SAR图像
Figure 394782DEST_PATH_IMAGE012
中最长直线特征的中心点坐标
Figure 938896DEST_PATH_IMAGE014
；
S7：使用坐标
Figure 555822DEST_PATH_IMAGE014
的值在
Figure 252514DEST_PATH_IMAGE013
中提取匹配模板图像，根据归一化模板匹配算法对选择的模板图像与卫星数字地图
Figure 929483DEST_PATH_IMAGE015
进行匹配；
S8：根据模板匹配结果计算出SAR图像相对卫星数字地图在x轴方向与y轴方向的平移量
Figure 836259DEST_PATH_IMAGE016
、
Figure 115930DEST_PATH_IMAGE017
，同时构建变换矩阵
Figure 57342DEST_PATH_IMAGE018
；
S9：使用变换矩阵
Figure 905212DEST_PATH_IMAGE011
对
Figure 679045DEST_PATH_IMAGE019
进行仿射变换，得到
Figure 637774DEST_PATH_IMAGE020
，采用变换矩阵
Figure 433691DEST_PATH_IMAGE018
对
Figure 311517DEST_PATH_IMAGE020
进行仿射变换，得到
Figure 458465DEST_PATH_IMAGE021
，实现SAR图像与卫星数字地图的配准工作，计算匹配点坐标
Figure 830672DEST_PATH_IMAGE022
；
S10：载入卫星数字地图配套的经纬度数据库，根据匹配点坐标
Figure 746675DEST_PATH_IMAGE022
获取目标点经纬度信息。
2.根据权利要求1所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于：所述S1中对
Figure 998665DEST_PATH_IMAGE001
进行的预处理操作包括灰度化、滤波、二值化、形态学运算、高斯滤波、Canny边缘检测，对
Figure 632908DEST_PATH_IMAGE002
进行的预处理操作包括灰度化、滤波、二值化、形态学运算、相干斑抑制、高斯滤波、Canny边缘检测。
3.根据权利要求2所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于，所述S1中灰度化、滤波、二值化、形态学运算、相干斑抑制、高斯滤波、Canny边缘检测的处理过程包括：
S11：采用平均值法对待配准图像对进行灰度化处理
设
Figure 41762DEST_PATH_IMAGE023
、
Figure 77851DEST_PATH_IMAGE024
、
Figure 907267DEST_PATH_IMAGE025
分别表示待处理图像的三个通道，采用平均值法进行灰度化处理，将三通道转换为单通道，得到图中
Figure 153440DEST_PATH_IMAGE026
处的像素灰度值为：
Figure 992083DEST_PATH_IMAGE027
(1)
Figure 617100DEST_PATH_IMAGE028
、
Figure 227204DEST_PATH_IMAGE029
、
Figure 695094DEST_PATH_IMAGE030
表示三个通道
Figure 603007DEST_PATH_IMAGE023
、
Figure 82530DEST_PATH_IMAGE024
、
Figure 893229DEST_PATH_IMAGE025
在图中
Figure 723782DEST_PATH_IMAGE026
处的像素灰度值；
将待配准图像对
Figure 28861DEST_PATH_IMAGE001
、
Figure 628470DEST_PATH_IMAGE002
按公式1处理，得到SAR图像与卫星数字地图的灰度图；
S12：对SAR图像与卫星数字地图的灰度图归一化后进行滤波处理，然后对滤波结果进行二值化处理，再根据二值化图像中非零像素个数的占比重复滤波及二值化操作，迭代至非零像素个数占比达到预设阈值，包括：
对S11中灰度图进行归一化处理，使像素灰度值在0~1范围内，设
Figure 501748DEST_PATH_IMAGE031
为图像中最大灰度值，
Figure 429384DEST_PATH_IMAGE032
为图像中最小灰度值，通过下式进行图像归一化：
Figure 413520DEST_PATH_IMAGE033
(2)
设置卷积核kernel的大小，以核内中心位置对应的像素为目标像素，使用kernel对待配准图像对进行卷积操作，卷积结果为：
Figure 867635DEST_PATH_IMAGE035
按从左到右、从上到下滑动卷积核，直到处理完图像最后一个像素；
对卷积结果进行二值化处理，得到二值化后的结果
Figure 36449DEST_PATH_IMAGE036
、
Figure 576014DEST_PATH_IMAGE037
，凸显待配准图像中关键区域的轮廓边缘信息；
S13：对
Figure 363842DEST_PATH_IMAGE036
、
Figure 46365DEST_PATH_IMAGE038
进行形态学处理，将断裂区域连接起来，得到处理结果
Figure 261445DEST_PATH_IMAGE039
、
Figure 147362DEST_PATH_IMAGE040
；
S14：根据SAR图像的距离向分辨率Dre与方位向分辨率Dis构建滤波核
Figure 738880DEST_PATH_IMAGE041
，大小为
Figure 902008DEST_PATH_IMAGE042
，以核中心点为原点，通过下式构建：
Figure 163356DEST_PATH_IMAGE043
相干斑抑制步骤如下：
S141、采用构建的滤波核在二值SAR图像
Figure 943094DEST_PATH_IMAGE039
区域进行滑动操作，从左到右、从上到下，
S142、判断滤波核中元素与对应二值SAR图像
Figure 807144DEST_PATH_IMAGE039
元素是否相等且等于255，记录符合条件的元素个数，记为
Figure 214992DEST_PATH_IMAGE044
，
S143、判断滤波核中元素值为255，且对应二值SAR图像
Figure 771875DEST_PATH_IMAGE039
元素值为0，记录符合条件的元素个数，记为
Figure 773329DEST_PATH_IMAGE045
，
S144、当
Figure 809113DEST_PATH_IMAGE044
与
Figure 946833DEST_PATH_IMAGE045
的值大于滤波核元素个数的1/3时，判断图像中每行左右邻域或每列上下邻域中像素灰度值为255的像素个数是否超过5，如果超过则设置目标像素的灰度值为0，
S145：重复S141~S144，直到滤波核中心位置与图像右下角像素重合，得到处理结果
Figure 799252DEST_PATH_IMAGE046
；
S15：对卫星数字地图
Figure 288002DEST_PATH_IMAGE040
与相干斑抑制后的SAR图像
Figure 759434DEST_PATH_IMAGE047
进行高斯滤波去噪、Canny边缘检测，得到处理后的图像
Figure 627027DEST_PATH_IMAGE003
、
Figure 791293DEST_PATH_IMAGE004
。
4.根据权利要求3所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于，所述S2采用LSD直线检测方法检测预处理图像结果、
Figure 501760DEST_PATH_IMAGE004
中的直线特征包括：
S21：首先计算图像中所有像素点的梯度大小，记为
Figure 635938DEST_PATH_IMAGE048
，根据梯度大小
Figure 748250DEST_PATH_IMAGE048
计算出水平角度
Figure 395001DEST_PATH_IMAGE049
与梯度幅值
Figure 858343DEST_PATH_IMAGE050
，如下式所示：
Figure 796212DEST_PATH_IMAGE051
(5)
Figure 763031DEST_PATH_IMAGE052
(6)
Figure 3520DEST_PATH_IMAGE053
(7)
利用伪排序得到梯度幅值大的点作为种子点，以该点水平线角度
Figure 563945DEST_PATH_IMAGE049
作为区域的初始角度
Figure 180871DEST_PATH_IMAGE054
，在八邻域中寻找与
Figure 126831DEST_PATH_IMAGE054
的偏差小于预设阈值
Figure 803800DEST_PATH_IMAGE055
的点，将该点加入到区域中并更新
Figure 976155DEST_PATH_IMAGE054
，得到线支持区域，最后通过矩形逼近得到直线特征，检测到的直线特征以点数据的形式进行存储，分别表示为
Figure 239515DEST_PATH_IMAGE056
、
Figure 446505DEST_PATH_IMAGE057
；
S22：
Figure 763217DEST_PATH_IMAGE056
、
Figure 547503DEST_PATH_IMAGE057
中存储了检测到的所有直线段，筛选
Figure 240652DEST_PATH_IMAGE056
、
Figure 302149DEST_PATH_IMAGE057
中最具代表性的直线特征用来进行配准工作，步骤如下：
S221、计算
Figure 930708DEST_PATH_IMAGE056
、
Figure 77655DEST_PATH_IMAGE057
所有直线段的长度，并按降序排列，
S222、根据预设直线特征数量
Figure 433550DEST_PATH_IMAGE058
，在排序结果中提取前
Figure 349554DEST_PATH_IMAGE058
条直线特征，
S223、提取距离间隔较大的直线特征，
S224、保存直线特征的端点坐标，表示为
Figure 539226DEST_PATH_IMAGE059
与
Figure 281792DEST_PATH_IMAGE060
。
5.根据权利要求4所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于：所述S3中尺度参数
Figure 582324DEST_PATH_IMAGE009
计算过程包括设 SAR图像
Figure 87254DEST_PATH_IMAGE019
的地距分辨率为
Figure 572462DEST_PATH_IMAGE061
，卫星数字地图
Figure 428423DEST_PATH_IMAGE062
的像元宽度为
Figure 267066DEST_PATH_IMAGE063
，则：
Figure 767448DEST_PATH_IMAGE064
，其中
Figure 298924DEST_PATH_IMAGE061
从SAR图像文件中提取，
Figure 642181DEST_PATH_IMAGE063
从与卫星数字地图配套的经纬度库中读取；
所述S4中角度参数
Figure 409148DEST_PATH_IMAGE008
、变换矩阵
Figure 154250DEST_PATH_IMAGE011
的计算过程包括：
S41：将
Figure 970809DEST_PATH_IMAGE059
、
Figure 535782DEST_PATH_IMAGE060
中直线特征的端点坐标转化为极坐标，表示为
Figure 716228DEST_PATH_IMAGE065
、
Figure 706049DEST_PATH_IMAGE066
，
S411、计算每条直线段的斜率
Figure 313748DEST_PATH_IMAGE067
与截距
Figure 631597DEST_PATH_IMAGE068
，
S412、计算直线段的中心点坐标
Figure 225521DEST_PATH_IMAGE069
、
Figure 945215DEST_PATH_IMAGE070
及
Figure 848449DEST_PATH_IMAGE071
Figure 653594DEST_PATH_IMAGE072
(8)
Figure 441421DEST_PATH_IMAGE073
(9)
Figure 123944DEST_PATH_IMAGE074
(10)
S413、计算极坐标的极角与极径：
当
Figure 339025DEST_PATH_IMAGE075
时，获得如下三个点：
Figure 100308DEST_PATH_IMAGE076
当
Figure 816460DEST_PATH_IMAGE077
时，获得如下三个点：
Figure 979588DEST_PATH_IMAGE078
得到极角
Figure 365570DEST_PATH_IMAGE079
：
Figure 20673DEST_PATH_IMAGE080
Figure 884724DEST_PATH_IMAGE081
Figure 167938DEST_PATH_IMAGE082
得到极径
Figure 849455DEST_PATH_IMAGE083
：
令
Figure 850909DEST_PATH_IMAGE084
，
则有
Figure 626973DEST_PATH_IMAGE085
；
S42：以卫星数字地图为基准，计算SAR图像中直线与卫星数字地图中直线的角度差
Figure 30272DEST_PATH_IMAGE008
，计算
Figure 758057DEST_PATH_IMAGE086
与
Figure 105861DEST_PATH_IMAGE087
中
Figure 577294DEST_PATH_IMAGE088
的差值：
Figure 835100DEST_PATH_IMAGE089
；
将相同的
Figure 609152DEST_PATH_IMAGE090
值进行计数，将出现次数最多的
Figure 319619DEST_PATH_IMAGE090
值记为角度参数
Figure 594743DEST_PATH_IMAGE091
；
S43：以SAR图像的中心点为坐标原点
Figure 566110DEST_PATH_IMAGE092
，设SAR图像的宽和高分别为
Figure 901276DEST_PATH_IMAGE093
，则原点坐标为
Figure 207362DEST_PATH_IMAGE094
，
将SAR图像的旋转中心点平移至坐标原点
Figure 286176DEST_PATH_IMAGE092
，对应的变换矩阵为：
Figure 518574DEST_PATH_IMAGE095
，
将SAR图像绕
Figure 618117DEST_PATH_IMAGE092
旋转角度
Figure 568756DEST_PATH_IMAGE091
，对应的变换矩阵为：
Figure 920103DEST_PATH_IMAGE096
，
将图像缩放为原来的
Figure 882374DEST_PATH_IMAGE097
倍，对应的变换矩阵为：
Figure 28184DEST_PATH_IMAGE098
，
将坐标原点
Figure 200539DEST_PATH_IMAGE092
平移回旋转中心点，对应的变换矩阵为：
Figure 745790DEST_PATH_IMAGE099
，
得到最终的变换矩阵为：
Figure 421622DEST_PATH_IMAGE100
。
6.根据权利要求5所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于：采用变换矩阵
Figure 269493DEST_PATH_IMAGE011
对SAR图像
Figure 55044DEST_PATH_IMAGE012
进行第一次仿射变换：
Figure 13773DEST_PATH_IMAGE101
。
7.根据权利要求6所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于，所述S6 中SAR图像
Figure 934324DEST_PATH_IMAGE012
中最长直线特征的中心点坐标
Figure 953096DEST_PATH_IMAGE014
的计算过程如下：
设直线特征的端点坐标为
Figure 568885DEST_PATH_IMAGE102
、
Figure 206671DEST_PATH_IMAGE103
，采用欧式距离计算直线长度：
Figure 591516DEST_PATH_IMAGE104
得到最长直线端点坐标
Figure 905823DEST_PATH_IMAGE105
，
Figure 274487DEST_PATH_IMAGE106
，则有：
Figure 575018DEST_PATH_IMAGE107
。
8.根据权利要求7所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于，所述S7包括：
S71：选择SAR图像
Figure 453850DEST_PATH_IMAGE013
中部区域作为匹配模板，提取出的模板图像尺寸根据SAR图像的长宽动态设置，模板图像中心点在图像
Figure 814425DEST_PATH_IMAGE013
中的坐标表示为
Figure 529440DEST_PATH_IMAGE108
；
S72：在二值化后的卫星数字地图结果上，从左到右、从上到下计算模板图像与重叠子图像的匹配度量值
Figure 633662DEST_PATH_IMAGE109
，匹配度量值
Figure 258678DEST_PATH_IMAGE109
由归一化模板匹配算法计算得到，如下式：
Figure 665520DEST_PATH_IMAGE110
将匹配度量值
Figure 743198DEST_PATH_IMAGE109
保存到结果图像矩阵
Figure 385531DEST_PATH_IMAGE111
中，在结果图像矩阵中
Figure 255267DEST_PATH_IMAGE111
，
Figure 692065DEST_PATH_IMAGE109
值最大的位置代表了最佳的匹配，记为
Figure 522618DEST_PATH_IMAGE112
。
9.根据权利要求8所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于：所述S8中采用模板图像中心点在SAR图像中的坐标信息，与模板图像在卫星数字地图中最佳匹配位置坐标信息，计算出SAR图像相对卫星数字地图在x轴方向与y轴方向的平移量
Figure 76965DEST_PATH_IMAGE016
、
Figure 942152DEST_PATH_IMAGE017
，根据平移量
Figure 674485DEST_PATH_IMAGE016
、
Figure 726755DEST_PATH_IMAGE017
构建变换矩阵
Figure 976470DEST_PATH_IMAGE018
，
Figure 305952DEST_PATH_IMAGE113
Figure 350131DEST_PATH_IMAGE114
Figure 624118DEST_PATH_IMAGE115
Figure 536579DEST_PATH_IMAGE116
。
10.根据权利要求9所述的改进的基于LSD与模板匹配的SAR图像区域配准方法，其特征在于，所述S9的计算过程如下：
采用变换矩阵
Figure 845200DEST_PATH_IMAGE011
对
Figure 60281DEST_PATH_IMAGE019
进行仿射变换：
Figure 461044DEST_PATH_IMAGE117
，
采用变换矩阵
Figure 786983DEST_PATH_IMAGE018
对
Figure 340325DEST_PATH_IMAGE020
进行仿射变换：
Figure 726307DEST_PATH_IMAGE118
，
计算出SAR图像在卫星数字地图
Figure 974885DEST_PATH_IMAGE062
中的匹配点
Figure 979882DEST_PATH_IMAGE022
，设SAR图像中的目标点为
Figure 528675DEST_PATH_IMAGE119
，通过下列公式可以得到匹配点
Figure 819979DEST_PATH_IMAGE022
：
Figure DEST_PATH_IMAGE120
。
CN202210379951.9A 2022-04-12 2022-04-12 改进的基于lsd与模板匹配的sar图像区域配准方法 Active CN114972453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210379951.9A CN114972453B (zh) 2022-04-12 2022-04-12 改进的基于lsd与模板匹配的sar图像区域配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210379951.9A CN114972453B (zh) 2022-04-12 2022-04-12 改进的基于lsd与模板匹配的sar图像区域配准方法

Publications (2)

Publication Number Publication Date
CN114972453A true CN114972453A (zh) 2022-08-30
CN114972453B CN114972453B (zh) 2023-05-05

Family

ID=82977320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210379951.9A Active CN114972453B (zh) 2022-04-12 2022-04-12 改进的基于lsd与模板匹配的sar图像区域配准方法

Country Status (1)

Country Link
CN (1) CN114972453B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514606A (zh) * 2013-10-14 2014-01-15 武汉大学 一种异源遥感影像配准方法
US20150042510A1 (en) * 2012-11-07 2015-02-12 Neva Ridge Technologies SAR Point Cloud Generation System
CN106408597A (zh) * 2016-09-08 2017-02-15 西安电子科技大学 基于邻域熵和一致性检测的sar图像配准方法
CN107292922A (zh) * 2017-06-23 2017-10-24 电子科技大学 一种用于光学与合成孔径雷达图像配准的方法
CN109308715A (zh) * 2018-09-19 2019-02-05 电子科技大学 一种基于点特征和线特征结合的光学图像配准方法
US20190391255A1 (en) * 2016-12-01 2019-12-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and Device for Geo-Referencing Aerial Image Data with the Aid of SAR Image Data
CN112150520A (zh) * 2020-08-18 2020-12-29 徐州华讯科技有限公司 一种基于特征点的图像配准方法
KR102262397B1 (ko) * 2019-12-17 2021-06-07 연세대학교 산학협력단 다중 시기에 획득된 위성 sar 영상 간의 정합 자동화 장치 및 방법
CN113808180A (zh) * 2021-09-18 2021-12-17 中山大学 一种异源图像配准方法、系统及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150042510A1 (en) * 2012-11-07 2015-02-12 Neva Ridge Technologies SAR Point Cloud Generation System
CN103514606A (zh) * 2013-10-14 2014-01-15 武汉大学 一种异源遥感影像配准方法
CN106408597A (zh) * 2016-09-08 2017-02-15 西安电子科技大学 基于邻域熵和一致性检测的sar图像配准方法
US20190391255A1 (en) * 2016-12-01 2019-12-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and Device for Geo-Referencing Aerial Image Data with the Aid of SAR Image Data
CN107292922A (zh) * 2017-06-23 2017-10-24 电子科技大学 一种用于光学与合成孔径雷达图像配准的方法
CN109308715A (zh) * 2018-09-19 2019-02-05 电子科技大学 一种基于点特征和线特征结合的光学图像配准方法
KR102262397B1 (ko) * 2019-12-17 2021-06-07 연세대학교 산학협력단 다중 시기에 획득된 위성 sar 영상 간의 정합 자동화 장치 및 방법
CN112150520A (zh) * 2020-08-18 2020-12-29 徐州华讯科技有限公司 一种基于特征点的图像配准方法
CN113808180A (zh) * 2021-09-18 2021-12-17 中山大学 一种异源图像配准方法、系统及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINYUE ZHANG ET AL.: "Multimodal Remote Sensing Image Registration Methods and Advancements: A Survey" *
刘中杰 等: "基于控制线方法的机载SAR和可见光图像匹配应用研究" *

Also Published As

Publication number Publication date
CN114972453B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN107301661B (zh) 基于边缘点特征的高分辨率遥感图像配准方法
CN112085772B (zh) 一种遥感图像配准方法及装置
Choi et al. Vehicle detection from aerial images using local shape information
CN110942013A (zh) 一种基于深度神经网络的卫星影像特征提取方法及系统
CN110070545B (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN105405138B (zh) 基于显著性检测的水面目标跟踪方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111079596A (zh) 高分辨率遥感影像的海上典型人造目标识别系统及方法
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN112734729B (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN112017223A (zh) 基于改进SIFT-Delaunay的异源图像配准方法
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN112183325A (zh) 基于图像对比的公路车辆检测方法
CN116704516A (zh) 一种用于水溶肥料包装的视觉检测方法
CN111950559A (zh) 一种基于径向灰度的指针仪表自动读数方法
CN115841669A (zh) 一种基于深度学习技术的指针式仪表检测与示数识别方法
CN113436218B (zh) 基于高斯滤波与均值滤波的sar图像边缘检测方法
CN114373079A (zh) 一种快速准确的探地雷达目标检测方法
CN114723794B (zh) 基于lsd直线检测的sar图像配准方法
Haigang et al. A novel ship detection method for large-scale optical satellite images based on visual LBP feature and visual attention model
CN116206139A (zh) 一种基于局部自卷积的无人机图像升尺度匹配方法
CN114972453B (zh) 改进的基于lsd与模板匹配的sar图像区域配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 210000 Room 301, floor 3, building 75, zone B, entrepreneurship and innovation city, No. 15, Fengji Avenue, Yuhuatai District, Nanjing, Jiangsu Province

Patentee after: Nanjing Thunderbolt Information Technology Co.,Ltd.

Address before: 210000 Room 301, floor 3, building 75, zone B, entrepreneurship and innovation city, No. 15, Fengji Avenue, Yuhuatai District, Nanjing, Jiangsu Province

Patentee before: NANJING LEADING INFORMATION TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder