CN111145228A - 基于局部轮廓点与形状特征融合的异源图像配准方法 - Google Patents
基于局部轮廓点与形状特征融合的异源图像配准方法 Download PDFInfo
- Publication number
- CN111145228A CN111145228A CN201911335093.2A CN201911335093A CN111145228A CN 111145228 A CN111145228 A CN 111145228A CN 201911335093 A CN201911335093 A CN 201911335093A CN 111145228 A CN111145228 A CN 111145228A
- Authority
- CN
- China
- Prior art keywords
- image
- contour
- registration
- real
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 81
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Abstract
本发明属于雷达图像处理算法领域，公开了一种基于局部轮廓点与形状特征融合的异源图像配准方法，该方法提出一种弧长与弦长比描述子，用于获得粗配准轮廓与粗配准轮廓点；然后改进轮廓树描述符，从不同尺度完成轮廓的精配准，实现无人机载SAR图像与光学图像的实时配准，增强了图像配准算法对图像信息的利用度和对图像相干斑噪声的鲁棒性，并对图像的旋转和平移具有很好的适应性，提高了配准算法的效率，特别在异源图像配准方面具有显著的优势，可实现全天候高精度修正弹道的目的。
Description
技术领域
本发明涉及雷达图像处理算法领域，具体涉及一种基于局部轮廓点与形状特征融合的异源图像配准方法。
背景技术
无人机载合成孔径雷达SAR(Synthetic Aperture Radar)具有高灵活性、高分辨率、低成本以及高效率等优势，可以广泛应用于军事、农业、地理测绘等多个领域。
无人机载SAR的末端制导技术——图像配准技术，在提高制导精度、寻找目标等方面起着关键作用。在实际工程应用中，光学传感器所成图像满足人眼视觉特性，且相较于无人机载SAR图像，光学图像数据容量大，容易获取。但光学图像会受到成像时间、天气、云层遮挡等影响；而SAR成像系统具有全天时、全天候、能穿透地表云雾得特性，恰好弥补了光学图像的缺点。因此深入研究SAR图像和光学图像的配准技术，可用于目标识别、飞行器制导、基于图像融合的变化检测等。
由于SAR图像和光学图像间成像机理不同，导致图像上同名点灰度值不具有线性变换关系，导致区域配准方法与经典的点特征配准方法对异源图像配准失效。因此需要寻找一种新的异源图像配准方法突破这一瓶颈。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于局部轮廓点与形状特征融合的异源图像配准方法，该方法提出一种弧长与弦长比描述子，用于获得粗配准轮廓与粗配准轮廓点；然后改进轮廓树描述符，从不同尺度完成轮廓的精配准，实现无人机载SAR图像与光学图像的实时配准，增强了图像配准算法对图像信息的利用度和对图像相干斑噪声的鲁棒性，并对图像的旋转和平移具有很好的适应性，提高了配准算法的效率，特别在异源图像配准方面具有显著的优势，可实现全天候高精度修正弹道的目的。
为了达到上述目的，本发明采用以下技术方案予以实现。
基于局部轮廓点与形状特征融合的异源图像配准方法，包括以下步骤：
步骤1，获取实时SAR图像与光学图像，分别对所述实时SAR图像与光学图像进行预处理，得预处理后的实时SAR图像和预处理后的光学图像；
步骤2，分别对所述预处理后的实时SAR图像和所述预处理后的光学图像进行边缘检测，得实时SAR图像的边缘图像和光学图像的边缘图像；分别对所述实时SAR图像的边缘图像和所述光学图像的边缘图像进行轮廓跟踪，得实时SAR图像的轮廓曲线图像和光学图像的轮廓曲线图像；
步骤3，分别提取所述实时SAR图像的轮廓曲线图像和所述光学图像的轮廓曲线图像中的轮廓曲线特征点，根据所述轮廓曲线特征点分别构建实时SAR图像的弧长弦长比描述子
和光学图像的弧长弦长比描述子
根据所述SAR图像的弧长弦长比描述子
和光学图像的弧长弦长比描述子
建立特征矢量矩阵D，完成异源图像的配准。
本发明技术方案的特点和进一步的改进为：
优选的，步骤1包含以下子步骤：
子步骤1.1，对所述实时SAR图像进行三维块匹配滤波，得到滤波后的实时SAR图像；计算所述滤波后的实时SAR图像的局部区域直方图，并对所述局部区域直方图进行对比度限幅操作，得预处理后的实时SAR图像；
子步骤1.2，对所述光学图像进行双边滤波，得预处理后的光学图像。
进一步优选的，子步骤1.1中，采用限制对比度自适应直方图均衡方法计算所述滤波后的实时SAR图像的局部区域直方图。
优选的，步骤2中，所述边缘检测采用Canny算法进行边缘检测。
优选的，步骤3包含以下子步骤：
子步骤3.1，选择曲率极值点作为轮廓曲线特征点，相邻的两个轮廓曲线特征点之间的像素数据的总数为弧长，相邻的两个轮廓曲线特征点之间的坐标距离为弦长，将弦长与弧长的比值作为弧长弦长比描述子；
子步骤3.2，特征矢量矩阵D的表达式为：
其中，
n表示实时SAR图像的轮廓曲线图像中提取的轮廓曲线特征点的总个数；m表示光学图像的轮廓曲线图像中提取的轮廓曲线特征点的总个数。
优选的，还包括步骤4，采用曲线描述法分别构建实时SAR图像的轮廓曲线图像的轮廓树和光学图像的轮廓曲线图像的轮廓树，根据SAR图像的轮廓曲线图像的轮廓树和光学图像的轮廓曲线图像的轮廓树中的有向相对高度计算轮廓距离Dis(T,Q)，通过轮廓距离Dis(T,Q)衡量轮廓曲线之间的相似度，完成异源图像的高精度配准。
进一步优选的，步骤4中，所述曲线描述法为：
1)对于开环轮廓曲线，具有两个端点A和B，AB的中垂线与轮廓曲线相交于M0，取距离轮廓点M0最远的端点A作为起始点，M0到直线AB的距离为有向相对高度为h0，将h0存入轮廓树的第一层根节点；
2)M0将轮廓曲线划分为两条轮廓曲线，重复步骤1)，得到直线AM0的有向相对高度h0A和直线BM0的有向相对高度h0B，将h0A、h0B存入轮廓树的第二层根节点；
3)重复步骤1)和2)，得到轮廓树的第i层的第j个根结点，完成轮廓树的构建。
进一步优选的，步骤4中，轮廓距离Dis(T,Q)的表达式为：
其中，
表示轮廓T对应的轮廓树的第i层的第j个根结点值；
表示轮廓Q对应的轮廓树的第i层的第j个根结点值。
优选的，i取值为1或2。
优选的，所述轮廓距离Dis(T,Q)满足：Dis(T,Q)≤3。
与现有技术相比，本发明的有益效果为：
(1)本发明针对异源图像中稳健性强的轮廓特征，提出一种局部轮廓点与形状特征融合的异源图像配准方法，根据异源图像不同的特点，选择不同的图像预处理方式，提高了其对图像特征信息的利用度，并将其运用到后续异源图像轮廓提取过程中，实现了高精度、高效率的轮廓特征提取。
(2)本发明利用轮廓特征点定义了一种新的弧长弦长比描述子，该描述子可以反映轮廓特征的全局特征，对相干斑噪声有很好的鲁棒性，并且满足SAR图像与光学图像配准过程中平移不变、旋转不变的性质。
(3)本发明选择粗配准轮廓对，采用基于二叉树的曲线描述方法，这种描述方法对图像仿射变换具有很好的不变性，而且对轮廓曲线上小的扰动不敏感，因为每一结点的存储值是轮廓两端点与曲线上另一点构成的等腰三角形底边上的有向相对高度，它具有强稳定性和鲁棒性。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中开环轮廓匹配的流程示意图；
图2是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中轮廓曲线特征点的提取效果图；
图3是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中开环轮廓部分配准模型示意图；
图4是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中轮廓树构建示意图；其中，(a)图为轮廓树第一层根结点的构建示意图；(b)图为轮廓树第二层根结点的构建示意图；
图5是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中SAR图像预处理实验结果示意图；其中，(a)图为SAR图像原图；(b)图为滤波后SAR图像；(c)图为增强后SAR图像；
图6是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中光学图像预处理实验结果示意图；其中，(a)图为光学灰度图；(b)图为滤波后光学图像；
图7是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中轮廓提取实验结果示意图；其中；(a)图为SAR图像的轮廓提取图；(b)图为光学图像的轮廓提取图；
图8是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中验证算法有效性的结果示意图；
图9是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法中验证算法旋转不变性的实验结果示意图；
图10是本发明的基于局部轮廓点与形状特征融合的异源图像配准方法与传统方法的效果对比结果示意图；其中；(a)图为SAR-SIFT算法的配准结果图；(b)图为SIFT-M算法的配准结果图；(c)图为本发明提供方法的配准结果图。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
如图1所示，本发明提出一种基于局部轮廓点与形状特征融合的异源图像配方法，技术思路是：图像预处理、闭合轮廓提取和轮廓匹配模块。图像预处理模块主要针对异源图像的特性提出不同的图像预处理方法，对光学图像采用双边滤波，SAR图像采用三维块匹配滤波(BM3D滤波)和限制对比度的自适应直方图均衡化(CLAHE)。轮廓提取模块包括Canny算子提取边缘和轮廓跟踪。轮廓匹配模块主要包括弧长弦长比描述子的构建、轮廓粗配准、轮廓树描述子构建、轮廓精配准。
具体包括以下步骤：
步骤1，获取实时SAR图像和基准光学图像，分别对实时SAR图像和基准光学图像进行预处理，得预处理后的SAR图像和预处理后的光学图像。
可见光图像对比度高、纹理信息丰富，其具有良好的目标场景细节表现能力的同时，也存在较多的噪声。其图像中包含的轮廓结构丰富、清晰，但夹杂较多由物体表面纹理细节产生的冗余信息，不利于与SAR图像的配准。又由于SAR是相干成像系统，成像结果表示的是目标地物的后向散射特性，散射地物表面的凹凸不平使每个散射中心在矢量叠加时会随机增强或者抵消，最终在SAR图像中表现为亮度分布不均匀的相干斑噪声，即使在均匀区域内部也会存在较大灰度变化。因此通过图像预处理操作，消除或减小各种误差对匹配性能的影响，提高特征描述的精度和匹配性能。
具体的，步骤1包含以下子步骤：
子步骤1.1，根据可见光图像的特点，选择双边滤波对光学图像进行预处理，得预处理后的光学图像。双边滤波是一种非线性滤波方法，它的基本思路是同时考虑待滤波图像中像素点的空域信息和值域信息，该方法适当平滑了物体的纹理细节，达到去噪声的目的。相比于其他算法，双边滤波在滤除噪声、弱化细节的同时，较好保留了图像中的有效边缘结构，提高光学图像质量。
子步骤1.2，对获取的实时SAR图像进行三维块滤波操作，即先使用硬阈值得到相对干净的图像块以用于统计数据；接着在变换域中采用维纳滤波对图像全部信号降噪；最后对图像中重叠图像块的估计结果进行加权平均，最终获得滤波后的实时SAR图像。
子步骤1.3，计算滤波后的实时SAR图像局部区域直方图，即对滤波后的实时SAR图像选定限制对比度自适应直方图均衡(CLAHE)方法，对图像局部区域的直方图进行计算，增强图像的对比度信息；并对所述局部区域直方图进行对比度限幅操作，即改变图像亮度的分布情况以达到重新调整局部范围内对比度的目的，最终获得预处理后的SAR图像。
步骤2，采用Canny算法分别对预处理后的实时SAR图像和预处理后的光学图像进行边缘检测，得实时SAR图像的边缘图像和光学图像的边缘图像；分别对实时SAR图像的边缘图像和光学图像的边缘图像进行轮廓跟踪，滤除细小边缘和噪声点，得实时SAR图像的轮廓曲线图像和光学图像的轮廓曲线图像。
常见的图像轮廓提取方法存在很多问题，这些方法不仅检测出目标的整体轮廓，还检测到了目标中极其小的边缘，使得算法计算量过大。所以，对于提取轮廓的问题，本发明针对图像的固有特点，采用Canny算子对预处理后的图像进行边缘检测，然后对边缘图像进行区域轮廓跟踪以得到实时SAR图像和光学图像的开环轮廓图。
具体的，包含以下子步骤：
子步骤2.1，采用Canny算子分别对图像预处理后的基准光学图像和实时SAR图像进行边缘提取，获得基准光学图像的边缘图像和实时SAR图像的边缘图像。
传统的Canny边缘检测算子具有信噪比大、检测精度高和计算量小等优势，因此本发明对图像预处理后的异源图像采用Canny算子提取边缘。
子步骤2.2，再通过逐点跟踪的方式分别对基准光学图像的边缘图像和实时SAR图像的边缘图像进行轮廓跟踪，将足够小或者封闭的轮廓剔除掉，最终获得基准光学图像的开环轮廓图和实时SAR图像的开环轮廓图，即光学图像的轮廓曲线图像和实时SAR图像的轮廓曲线图像。
步骤3，分别提取实时SAR图像的轮廓曲线图像和光学图像的轮廓曲线图像中的轮廓曲线特征点，根据轮廓曲线特征点分别构建实时SAR图像的弧长弦长比描述子和光学图像的弧长弦长比描述子，根据SAR图像的弧长弦长比描述子和光学图像的弧长弦长比描述子建立特征矢量矩阵D，完成异源图像的配准。
轮廓就是对目标区域用二值图像的表示，它是用于目标识别的重要特征，所谓的轮廓配准就是通过一定的准则来衡量两个轮廓之间的相似程度，使待配准的两个轮廓曲线全部或者部分在空间上实现配准。本步骤提出一种具有旋转、平移不变性，强鲁棒性的局部轮廓配准方法，利用轮廓点之间的弧长弦长描述子对轮廓进行描述，每个轮廓点的特征矢量描述的是一段轮廓的局部信息，一系列顺序特征构成轮廓的全局信息。
具体包含以下子步骤：
子步骤3.1，基于局部特征的轮廓曲线配准方法主要是抓住曲线的局部特征(关键点)，如拐点、洞、突起、高曲率的点进行描述。本发明选择曲率极值点作为轮廓曲线特征点，因此首先将轮廓曲线的曲率极值点求解出来。当实时SAR图像和光学图像经过预处理和轮廓提取过程后，对于实时SAR图像的轮廓曲线图像中的轮廓曲线T和光学图像的轮廓曲线图像中的轮廓曲线Q，分别计算轮廓曲线T和Q的曲率极值点，对于曲线上的任意一点t，坐标为(x(t)，y(t))，曲率C(t)计算为：
当轮廓曲线变化过于平缓，特征点处曲率绝对值极小时，可忽略该特征点。当轮廓曲线为开曲线时，2个端点也被视为轮廓曲线特征点。
曲率极值点的求取方法如下：
a.查找出轮廓曲线上曲率值最大的一个点Pmax，将该点曲率值记为Kmax，
并令LPi＝2；
b.从Pmax开始，沿顺时针方向搜索，将Pmax的下一个点选为起始点，然后将该点的曲率依次和后续曲率点进行对比。如果当前点的下一个点P的曲率仍然比当前点曲率小，那么就继续执行行迭代比较，直到出现一个点的曲率大于当前点的曲率，那么就可以当前点选为曲线的局部极值点，记为LPi，若K(LPi)<0，则LPi＝-2；相反，LPi＝1；
c.当LPi＝-2时，令下一个点Pi+1为起点，重复步骤b，当后继点的曲率小于该点的曲率，则该点为局部极值点，用LPi+1表示，其曲率为K(LPi+1)，若K(LPi+1)>0，令LPi+1＝2；相反，LPi+1＝-1；
d.若LPi＝1，重复步骤b与c，当曲率开始下降时，停止执行，而当前曲率下降点的前一个点为曲线的局部极值点，将其标志置为2；
e.LPi＝-1，重复步骤b与c，当曲率开始上升时，停止执行，而当前曲率上升点的前一个点为曲线的局部极值点，将其标志置为-2；
f.对LPi＝-2与LPi+1＝2点进行判断。若LPi＝-2，而且这点的曲率比相邻两点中曲率较小的那个值的两倍还要大，则为极值点。若LPi+1＝2，而且这点的曲率比其相邻的两点中曲率较大的那个值的两倍还要小，则为极值点。
子步骤3.2，对于实际中的轮廓曲线，弧长的计算较为复杂，在轮廓曲线中可以认为相邻的两个特征点之间像素数据的总数即为弧长，而弦长可以通过求解两曲率特征点之间的坐标距离得到，最后将弦长与弧长的比值Ratio作为轮廓配准的弧长弦长比描述子，如图2所示，假设存在两曲率极值点P(坐标(xi，yi))和R(坐标(xi+1，yi+1))，则通过计算这两个曲率极值点之间的横坐标和纵坐标，求得弦长与弧长的比值为：
其中N代表相邻特征点之间的像素点总数。
在微分几何学中了解到，弧长是空间光滑曲线刚体运动的不变量，它不仅具有局限性，又具有稳定性，而两曲率极值点的弦长也具有相似不变性，因此选择弧长和弦长比作为配准的描述子。
子步骤3.3，
为轮廓曲线T上的n个特征点，
为轮廓曲线Q上的m个特征点。通过计算特征点之间的弧长与弦长比值后，轮廓曲线T的描述子为
轮廓曲线Q的描述子为
建立特征矢量矩阵D，对曲线上的任意一组特征矢量，特征矢量矩阵D代表了特征矢量之间的相似程度。
其中
由于本文选择的轮廓已排除封闭轮廓的情况，所以特征矢量矩阵D并不会依赖于起始特征点的选择。但不封闭的轮廓T和Q会存在部分配准的情况，如图3所示。如果找到正确的配准起始点和终止点即正确配准轮廓段，特征矢量矩阵D中会存在行子矩阵O，并且O满足：
O＝{dij}＝[0 0 … 0]
但通常子矩阵中各因子并不会等于常数0，而是一个在0值处浮动的值。为了反映子矩阵中各因子的偏离程度令
当S的值越小，所求得到轮廓曲线粗配准越准确。
步骤4，采用曲线描述法分别构建实时SAR图像的轮廓曲线图像的轮廓树和光学图像的轮廓曲线图像的轮廓树，根据SAR图像的轮廓曲线图像的轮廓树和光学图像的轮廓曲线图像的轮廓树中的有向相对高度计算轮廓距离，通过轮廓距离衡量轮廓曲线之间的相似度，完成异源图像的高精度配准。
当实时SAR图像和光学图像经过步骤3的粗配准操作后，已初步确定了轮廓配准对和配准轮廓点，但由于异源图像成像方式不同所导致的差异，轮廓中曲率极值点的提取可能会存在误差，导致描述子构建错误，进而出现误配准情况。本发明改进一种二叉树的轮廓描述法，并将其称为‘轮廓树’。最后引入轮廓距离相似度准则来配准轮廓曲线，完成基于轮廓特征的异源图像精配准。
具体包含以下子步骤：
子步骤4.1，由于任何轮廓曲线都会存在轮廓树描述符，但轮廓树结构会受到轮廓起始点位置的影响。而且由不同的描述形式构造的轮廓树往往差异较大，所以需要确定轮廓曲线的走向，即确定轮廓曲线的起始点。对于图4(a)存在的开环轮廓，A和B分别是它的两个端点，AB的中垂线必定会与其轮廓曲线相交于M0，则其必定是离该轮廓弦长AB最远的交点，取距离轮廓点M0最远的端点A作为起始点。此时M0会构成一个等腰三角形△M0AB，其中AM0、BM0、AB是该三角形的三条边，取M0到直线AB的有向相对高度为h0，将其存入轮廓树的第一层根节点中。构造轮廓树时，用M0点将轮廓划分为两条开轮廓，然后对这两条开轮廓分别重复上述操作，如图4(b)所示，即可得到两个不同的等腰三角形，接着选取离原始轮廓起始点A较近的三角形作为起始三角形，得到底边AM0的有向相对高度h0A并将其作为第一层的左孩子存放到轮廓树中。同理另一等腰三角形的底边BM0的有向相对高度h0B作为第一层的右孩子存放到轮廓树中，此时的左右孩子分别作为轮廓树的第二层根结点。继续分割轮廓重复上述步骤，对应得到轮廓树的第i层的第j个根结点，当得到的曲线几乎为直线时，完成轮廓树的构造。
子步骤4.2，由于轮廓树中储存的是轮廓的有向相对高度，当构建粗配准轮廓T和Q相对应的轮廓树描述符后，本发明通过定义轮廓距离来衡量轮廓曲线之间的相似度：
其中
表示轮廓T对应的轮廓树的第i层的第j个结点值；同理
表示轮廓Q对应的轮廓树的第i层的第j个结点值。
轮廓树层数的选择会影响计算的复杂度和轮廓相似度衡量的精准度。通过对SAR图像和光学图像轮廓树的多次构建以及轮廓距离的多次计算，轮廓树层数取为1-2层时会很好地反映轮廓曲线之间的差异性。同时，当轮廓距离Dis(T,Q)满足一定的阈值条件时，如Dis(T,Q)≤3，粗配准的位置越准，并且与子结点相对应的轮廓特征点也应当是相互配准的，因此本发明通过基于二叉树的曲线描述方法找到了更多的配准控制点。
为了验证本发明所提到的算法的配准效果，选取光学图像与SAR图像实测数据，分别对其进行图像预处理实验，轮廓图像提取，验证其旋转不变性，最后将本发明所提算法与SAR-SIFT、SIFT-M算法进行对比，同时利用均方根误差(root mean square error,RMSE)定量分析匹配的正确性。具体做法是两幅图像匹配后，待匹配图像中的多个特征点变换到基准图像中的位置与这些特征点在基准图中的像素点位置之间偏差的均值平方根。RMSE定义如下：
其中(x″i,y″i)是光学图像中坐标(x′i,y′i)转换后得到的位置坐标，对每一对图像，我们计算10次RMSE的结果，并将10次结果的平均值作为最终结果值。
(1)实验一，图像预处理分析
本发明以某湖泊的光学图像和SAR图像数据为例，算法首先对两类图像进行滤波操作，并对SAR图像进行限制对比度的自适应直方图均衡增强操作。效果如图5和图6所示，可以看出处理后的图像细节信息保持效果较好，其中SAR图像的相干斑噪声被抑制，并且图像经过增强后在视觉上更加清晰。且图像的轮廓特征更佳明显，处理后效果更佳。
(2)实验二，轮廓提取分析
本发明以某湖泊的光学图像和SAR图像数据为例，采用基于Canny算子的开环轮廓提取方法，得到光学和SAR图像间具有共性的开环轮廓特征。效果如图7所示，可以看出，所用算法不仅检测到了精确的轮廓特征，并增强了图像信息利用度。
(3)实验三，本发明算法效果验证
本实验采用实测得到的图像数据来进行验证，其中SAR和光学图像的大小均为440×560像素。两幅图像都覆盖一个湖泊的目标场景，包括：渠道、田地、树木等地物。实验结果如图8所示。本发明算法共找到20组配准对，验证了本发明所提算法的准确性。
(4)实验四，旋转不变性验证
选取大小为440×560的某湖泊的光学和SAR实测图像，其中SAR图像的分辨率为0.5米，对光学图像进行旋转90度的操作，采用本发明提出的算法进行配准。配准结果如图9所示。由图可知正确匹配的结果有20组，其RMSE值为0.612，实验结果验证了本发明算法对图像旋转有强适应性。
(5)实验五，匹配效果对比
为了验证算法的有效性，本发明选择一组大场景下带小角度旋转的SAR图像和光学图像，将其与SAR-SIFT、SIFT-M算法进行对比。其中基准光学图像和实时SAR图像大小均为740×660。图10(a)为SAR-SIFT算法的配准结果，图10(b)为SIFT-M算法的配准结果。本发明提出的算法，效果如图10(c)所示，共找到24个配准对，其中正确配准对有21对，配准正确率为87.5％。配准效果定量对比如表1所示。
表1配准结果定量分析
由计算结果可以看出，经典的雷达图像配准SAR-SIFT算法对异源图像配准失效，这是由于光学图像和SAR图像间较大的灰度差异和几何形变带来的影响。另外，本发明算法的RMSE明显低于SIFT-M算法。又由于增加了预处理、轮廓提取等模块，本发明提出算法的时间复杂度与其他算法虽然仍在同一个量级上，但有所减少，达到了理想的实时性效果。
通过对具有旋转变换的多组SAR图像与光学图像数据进行仿真实验，结果表明了一种局部轮廓点与形状特征融合的异源图像配准方法对图像旋转、平移等仿射变换具有强不变性，且具有较高的配准精度。分析不同的SAR图像数据，配准精度均＜0.7。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，包括以下步骤：
步骤1，获取实时SAR图像与光学图像，分别对所述实时SAR图像与光学图像进行预处理，得预处理后的实时SAR图像和预处理后的光学图像；
步骤2，分别对所述预处理后的实时SAR图像和所述预处理后的光学图像进行边缘检测，得实时SAR图像的边缘图像和光学图像的边缘图像；分别对所述实时SAR图像的边缘图像和所述光学图像的边缘图像进行轮廓跟踪，得实时SAR图像的轮廓曲线图像和光学图像的轮廓曲线图像；
步骤3，分别提取所述实时SAR图像的轮廓曲线图像和所述光学图像的轮廓曲线图像中的轮廓曲线特征点，根据所述轮廓曲线特征点分别构建实时SAR图像的弧长弦长比描述子
和光学图像的弧长弦长比描述子rv Q，根据所述SAR图像的弧长弦长比描述子
和光学图像的弧长弦长比描述子rv Q建立特征矢量矩阵D，完成异源图像的配准。
2.根据权利要求1所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，步骤1包含以下子步骤：
子步骤1.1，对所述实时SAR图像进行三维块匹配滤波，得到滤波后的实时SAR图像；计算所述滤波后的实时SAR图像的局部区域直方图，并对所述局部区域直方图进行对比度限幅操作，得预处理后的实时SAR图像；
子步骤1.2，对所述光学图像进行双边滤波，得预处理后的光学图像。
3.根据权利要求2所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，子步骤1.1中，采用限制对比度自适应直方图均衡方法计算所述滤波后的实时SAR图像的局部区域直方图。
4.根据权利要求1所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，步骤2中，所述边缘检测采用Canny算法进行边缘检测。
5.根据权利要求1所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，步骤3包含以下子步骤：
子步骤3.1，选择曲率极值点作为轮廓曲线特征点，相邻的两个轮廓曲线特征点之间的像素数据的总数为弧长，相邻的两个轮廓曲线特征点之间的坐标距离为弦长，将弦长与弧长的比值作为弧长弦长比描述子；
子步骤3.2，特征矢量矩阵D的表达式为：
其中，
n表示实时SAR图像的轮廓曲线图像中提取的轮廓曲线特征点的总个数；m表示光学图像的轮廓曲线图像中提取的轮廓曲线特征点的总个数。
6.根据权利要求1所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，还包括步骤4，采用曲线描述法分别构建实时SAR图像的轮廓曲线图像的轮廓树和光学图像的轮廓曲线图像的轮廓树，根据SAR图像的轮廓曲线图像的轮廓树和光学图像的轮廓曲线图像的轮廓树中的有向相对高度计算轮廓距离Dis(T,Q)，通过轮廓距离Dis(T,Q)衡量轮廓曲线之间的相似度，完成异源图像的高精度配准。
7.根据权利要求6所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，步骤4中，所述曲线描述法为：
1)对于开环轮廓曲线，具有两个端点A和B，AB的中垂线与轮廓曲线相交于M0，取距离轮廓点M0最远的端点A作为起始点，M0到直线AB的距离为有向相对高度为h0，将h0存入轮廓树的第一层根节点；
2)M0将轮廓曲线划分为两条轮廓曲线，重复步骤1)，得到直线AM0的有向相对高度h0A和直线BM0的有向相对高度h0B，将h0A、h0B存入轮廓树的第二层根节点；
3)重复步骤1)和2)，得到轮廓树的第i层的第j个根结点，完成轮廓树的构建。
8.根据权利要求7所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，步骤4中，轮廓距离Dis(T,Q)的表达式为：
其中，
表示轮廓T对应的轮廓树的第i层的第j个根结点值；
表示轮廓Q对应的轮廓树的第i层的第j个根结点值。
9.根据权利要求8所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，i取值为1或2。
10.根据权利要求8所述的基于局部轮廓点与形状特征融合的异源图像配准方法，其特征在于，所述轮廓距离Dis(T,Q)满足：Dis(T,Q)≤3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911335093.2A CN111145228B (zh) | 2019-12-23 | 2019-12-23 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911335093.2A CN111145228B (zh) | 2019-12-23 | 2019-12-23 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111145228A true CN111145228A (zh) | 2020-05-12 |
| CN111145228B CN111145228B (zh) | 2023-05-26 |
Family
ID=70519468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911335093.2A Active CN111145228B (zh) | 2019-12-23 | 2019-12-23 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145228B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017223A (zh) * | 2020-09-11 | 2020-12-01 | 西安电子科技大学 | 基于改进SIFT-Delaunay的异源图像配准方法 |
| CN112396642A (zh) * | 2020-12-08 | 2021-02-23 | 兰州交通大学 | 耦合点线特征的多模态亚米/米级卫星影像配准技术 |
| CN112669360A (zh) * | 2020-11-30 | 2021-04-16 | 西安电子科技大学 | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 |
| CN112734816A (zh) * | 2021-01-13 | 2021-04-30 | 西安电子科技大学 | 基于CSS-Delaunay的异源图像配准方法 |
| CN113223065A (zh) * | 2021-03-30 | 2021-08-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | Sar卫星图像与光学图像自动匹配方法 |
| CN113538306A (zh) * | 2021-06-15 | 2021-10-22 | 西安电子科技大学 | 一种sar图像与低分辨率光学图像多图融合方法 |
| CN114723794A (zh) * | 2022-04-12 | 2022-07-08 | 南京雷电信息技术有限公司 | 基于lsd直线检测的sar图像配准方法 |
| CN115049708A (zh) * | 2022-04-12 | 2022-09-13 | 南京雷电信息技术有限公司 | 基于lsd直线检测与模板匹配的sar图像配准方法 |
| US20220319011A1 (en) * | 2020-06-08 | 2022-10-06 | Shanghai Jiaotong University | Heterogeneous Image Registration Method and System |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100098339A1 (en) * | 2008-10-16 | 2010-04-22 | Keyence Corporation | Contour-Information Extracting Method by Use of Image Processing, Pattern Model Creating Method in Image Processing, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
| US20100098338A1 (en) * | 2008-10-16 | 2010-04-22 | Keyence Corporation | Method for Deciding Image Data Reduction Ratio in Image Processing, Pattern Model Positioning Method in Image Processing, Pattern Model Creating Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
| CN102129684A (zh) * | 2011-03-17 | 2011-07-20 | 南京航空航天大学 | 基于拟合轮廓的异源图像匹配方法 |
| CN103279930A (zh) * | 2013-05-27 | 2013-09-04 | 辽宁工程技术大学 | 一种图像的同步去噪增强方法 |
| US20140212048A1 (en) * | 2012-02-27 | 2014-07-31 | Aselsan Elektornik Sanayi Ve Ticaret Anonim Sirket | System and Method for Identifying Scale Invariant Features of Object Outlines on Images |
| WO2015104585A1 (en) * | 2014-01-10 | 2015-07-16 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Method for describing planar curves using morphological scale spaces |
| CN108416732A (zh) * | 2018-02-02 | 2018-08-17 | 重庆邮电大学 | 一种基于图像配准与多分辨率融合的全景图像拼接方法 |
| CN110246165A (zh) * | 2019-05-30 | 2019-09-17 | 中国科学院长春光学精密机械与物理研究所 | 提高可见光图像与sar图像配准速度的方法及系统 |
-
2019
- 2019-12-23 CN CN201911335093.2A patent/CN111145228B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100098339A1 (en) * | 2008-10-16 | 2010-04-22 | Keyence Corporation | Contour-Information Extracting Method by Use of Image Processing, Pattern Model Creating Method in Image Processing, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
| US20100098338A1 (en) * | 2008-10-16 | 2010-04-22 | Keyence Corporation | Method for Deciding Image Data Reduction Ratio in Image Processing, Pattern Model Positioning Method in Image Processing, Pattern Model Creating Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
| CN102129684A (zh) * | 2011-03-17 | 2011-07-20 | 南京航空航天大学 | 基于拟合轮廓的异源图像匹配方法 |
| US20140212048A1 (en) * | 2012-02-27 | 2014-07-31 | Aselsan Elektornik Sanayi Ve Ticaret Anonim Sirket | System and Method for Identifying Scale Invariant Features of Object Outlines on Images |
| CN103279930A (zh) * | 2013-05-27 | 2013-09-04 | 辽宁工程技术大学 | 一种图像的同步去噪增强方法 |
| WO2015104585A1 (en) * | 2014-01-10 | 2015-07-16 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Method for describing planar curves using morphological scale spaces |
| CN108416732A (zh) * | 2018-02-02 | 2018-08-17 | 重庆邮电大学 | 一种基于图像配准与多分辨率融合的全景图像拼接方法 |
| CN110246165A (zh) * | 2019-05-30 | 2019-09-17 | 中国科学院长春光学精密机械与物理研究所 | 提高可见光图像与sar图像配准速度的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 江晟;: "基于多模态特征的光-SAR图像融合配准算法" * |
| 罗宇;陈勃;李山山;冯钟葵;: "基于空间约束SIFT的光学与SAR图像配准" * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220319011A1 (en) * | 2020-06-08 | 2022-10-06 | Shanghai Jiaotong University | Heterogeneous Image Registration Method and System |
| CN112017223B (zh) * | 2020-09-11 | 2024-01-30 | 西安电子科技大学 | 基于改进SIFT-Delaunay的异源图像配准方法 |
| CN112017223A (zh) * | 2020-09-11 | 2020-12-01 | 西安电子科技大学 | 基于改进SIFT-Delaunay的异源图像配准方法 |
| CN112669360A (zh) * | 2020-11-30 | 2021-04-16 | 西安电子科技大学 | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 |
| CN112669360B (zh) * | 2020-11-30 | 2023-03-10 | 西安电子科技大学 | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 |
| CN112396642A (zh) * | 2020-12-08 | 2021-02-23 | 兰州交通大学 | 耦合点线特征的多模态亚米/米级卫星影像配准技术 |
| CN112396642B (zh) * | 2020-12-08 | 2024-04-05 | 兰州交通大学 | 耦合点线特征的多模态亚米/米级卫星影像配准技术 |
| CN112734816B (zh) * | 2021-01-13 | 2023-09-05 | 西安电子科技大学 | 基于CSS-Delaunay的异源图像配准方法 |
| CN112734816A (zh) * | 2021-01-13 | 2021-04-30 | 西安电子科技大学 | 基于CSS-Delaunay的异源图像配准方法 |
| CN113223065B (zh) * | 2021-03-30 | 2023-02-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | Sar卫星图像与光学图像自动匹配方法 |
| CN113223065A (zh) * | 2021-03-30 | 2021-08-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | Sar卫星图像与光学图像自动匹配方法 |
| CN113538306A (zh) * | 2021-06-15 | 2021-10-22 | 西安电子科技大学 | 一种sar图像与低分辨率光学图像多图融合方法 |
| CN113538306B (zh) * | 2021-06-15 | 2024-02-13 | 西安电子科技大学 | 一种sar图像与低分辨率光学图像多图融合方法 |
| CN115049708A (zh) * | 2022-04-12 | 2022-09-13 | 南京雷电信息技术有限公司 | 基于lsd直线检测与模板匹配的sar图像配准方法 |
| CN114723794A (zh) * | 2022-04-12 | 2022-07-08 | 南京雷电信息技术有限公司 | 基于lsd直线检测的sar图像配准方法 |
| CN115049708B (zh) * | 2022-04-12 | 2023-04-07 | 南京雷电信息技术有限公司 | 基于lsd直线检测与模板匹配的sar图像配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111145228B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145228B (zh) | 基于局部轮廓点与形状特征融合的异源图像配准方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN111899334B (zh) | 一种基于点线特征的视觉同步定位与地图构建方法及装置 | |
| CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| CN106023298B (zh) | 基于局部泊松曲面重建的点云刚性配准方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN101315698B (zh) | 基于直线特征图像配准中的特征匹配方法 | |
| CN108446634B (zh) | 基于视频分析和定位信息结合的航空器持续跟踪方法 | |
| CN102865859B (zh) | 一种基于surf特征的航空序列图像位置估计方法 | |
| CN109461132B (zh) | 基于特征点几何拓扑关系的sar图像自动配准方法 | |
| CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
| CN110021029B (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| CN110428425B (zh) | 一种基于海岸线矢量数据的sar图像海陆分离方法 | |
| CN111340875A (zh) | 一种基于三维激光雷达的空间移动目标检测方法 | |
| CN103136525A (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
| CN111242000A (zh) | 一种结合激光点云转向的道路边沿检测方法 | |
| Li et al. | Road extraction algorithm based on intrinsic image and vanishing point for unstructured road image | |
| CN114526739A (zh) | 移动机器人室内重定位方法、计算机装置及产品 | |
| Rangesh et al. | Ground plane polling for 6dof pose estimation of objects on the road | |
| CN111192194A (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
| CN108960267A (zh) | 用于模型调整的系统和方法 | |
| CN110929598B (zh) | 基于轮廓特征的无人机载sar图像匹配方法 | |
| CN115861247A (zh) | 一种高分辨率遥感影像轮廓多级正则化方法、系统及应用 | |
| CN111709893A (zh) | 一种基于信息熵和锐化调整的orb-slam2改进算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |