CN109961393A - 基于插值和迭代优化算法的亚像素配准与拼接技术 - Google Patents

基于插值和迭代优化算法的亚像素配准与拼接技术 Download PDF

Info

Publication number
CN109961393A
CN109961393A CN201910217648.7A CN201910217648A CN109961393A CN 109961393 A CN109961393 A CN 109961393A CN 201910217648 A CN201910217648 A CN 201910217648A CN 109961393 A CN109961393 A CN 109961393A
Authority
CN
China
Prior art keywords
registration
image
splicing
characteristic
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910217648.7A
Other languages
English (en)
Inventor
许向阳
董林
石晶欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ray Technology Co Ltd
Beijing Institute of Technology BIT
Original Assignee
Beijing Ray Technology Co Ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ray Technology Co Ltd, Beijing Institute of Technology BIT filed Critical Beijing Ray Technology Co Ltd
Priority to CN201910217648.7A priority Critical patent/CN109961393A/zh
Publication of CN109961393A publication Critical patent/CN109961393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

在进行工程项目时，利用图像拼接技术能够形成大视角图并进一步用于工程建筑物检测，基于插值和迭代优化算法的亚像素配准与拼接技术能够对具有重叠部分的拍摄照片实现快速准确的拼接。基于插值和迭代优化算法的亚像素配准与拼接技术：利用摄像机拍摄不同视角两张照片(有一定重合)。本发明以第一张为原图，第二张为待配准图，先对照片进行预处理，在待配准图中设定的4个特征区域中分别找出最大角点作为特征点，在原图中人工寻找4个对应的特征点同时以特征点为中心设定4个特征区域进行特征粗匹配；利用双线性插值和均方误差算法进行亚像素配准；再利用迭代优化算法精炼变换矩阵，最后用变换矩阵实现图像拼接，保证快速和高精度的拼接要求。

Description

基于插值和迭代优化算法的亚像素配准与拼接技术
技术领域
本发明涉及一种亚像素级配准和拼接技术，尤其涉及一种基于插值和迭代优化算法的亚像素配准与拼接技术，属于计算机视觉，图像处理领域。
背景技术
图像配准就是将不同时间和不同条件下获取的两幅或多幅图像进行匹配，叠加的过程，被广泛应用于遥感数据分析、计算机视觉以及图像处理等领域。图像配准是图像拼接的基础也是图像拼接的重要环节，高精度的图像配准技术能够保证良好的拼接效果。图像配准和拼接主要步骤是特征提取，特征匹配，图像配准，图像变换，图像拼接。
目前的图像配准以及拼接技术通常存在以下问题：
(1)传统算法如SURF,Harris等提取特征较多，且筛选误匹配点耗时和占用计算资源。
(2)图像配准技术中特征匹配的精度大多数在像素级，配准的精度较低。
(3)图像变换矩阵的准确性低，对后续图像拼接的准确性带来影响。
本发明通过人工标注方法标注特征点并进行粗定位，采用双线性插值算法，对特征匹配点进行插值处理，使得特征匹配点的精度达到亚像素级别；利用迭代算法精炼图像变换矩阵，从而实现良好的拼接效果。
发明内容
本发明的目的在于解决当前图像配准过程中传统算法耗时、占用计算资源，特征匹配精度低，图像拼接过程中变换矩阵准确性低等问题，提出基于双线性插值和迭代优化算法的亚像素配准与拼接技术，包括：1.人为设定特征区域对特征点进行提取以及粗匹配；2.利用双线性插值算法，对特征匹配点进行插值处理，获取亚像素级特征匹配点；3.利用迭代算法精炼图像变换矩阵进行图像拼接。本发明的图像配准精度更加准确，图像拼接的效果有所提高。
本发明为了解决以上问题，提出以下技术方案:为了省时和节省计算资源，人为设定特征区域进行特征点提取以及粗匹配；为了提高图像配准的精度以及图像拼接的效果，针对像素级特征点，利用双线性插值算法对特征匹配点进行插值处理，获取较高精度亚像素级特征匹配点；利用迭代算法精炼图像变换矩阵，提高拼接的精度。
本发明的有益效果：在进行遥感图像配准和拼接工作时，利用基于插值和迭代优化算法的亚像素配准与拼接技术能够提高图像配准的精度，精确到亚像素级，提高拼接效果，具有一定的社会与经济价值。
附图说明
图1高清摄像机采集的原图
图2高清摄像机采集的待配准图
图3亚像素配准技术流程图
图4待配准图特征点提取图
图5邻域模板匹配图
图6迭代优化算法流程图
图7基于插值和迭代优化算法的亚像素配准与拼接技术的拼接结果图
图8传统图像拼接方法的拼接结果图
具体实施方式
1.基于双线性插值的亚像素配准技术
将高清摄像机固定在一个三脚架上，通过摄像机对同一场景利用不同视角拍摄两张图像(图像之间有部分重叠区域)，以第一张为原图，如图1，第二张为待配准图，如图2。人为在两幅图中设定特征区域对特征点(注意：特征点之间尽量间隔开)进行提取以及粗匹配；对像素级特征匹配点进行双线性插值处理，精确到亚像素级别，利用亚像素级特征匹配点进行图像配准。
配准技术涉及均方误差方法和双线性插值算法，配准技术流程图如图3所示。
具体步骤：
在利用高清摄像机对某一场景进行拍摄时，由于拍摄视角的限制，拍摄的图像会出现如图2所示的情况，左右两幅图有部分区域重叠。
步骤1:利用均方误差方法对特征点对进行粗定位
图像配准算法大致分为两类:基于灰度信息的配准、基于特征的配准。基于特征的配准由于利用图像中数量较多的一些点、线、边缘等特征进行配准，较少数据量处理，同时对图像灰度变化具有鲁棒性。
在待配准图中设定4个特征区域，大小都为0.2*Weight×0.2*Height，其中待配准图像素宽和像素高分别为Weight,Height；在每个特征区域中分别利用角点检测算法找出最大角点作为特征，待配准图中标特征点集为Q((x1',y1'),(x2',y2')......(x4',y4'))，如图4所示；在原图中人工找4个对应的特征点，特征点坐标分别为(x1',y1')～(x4',y4')，找完4个点后，分别以特征点(x1',y1')～(x4',y4')坐标为中心，同样选择4个特征区域，大小为0.1*Weight×0.1*Height，以特征区域内各像素点为中心，选择3*3的邻域大小。原图各特征区域内各像素点邻域与待配准图对应特征区域内特征点邻域(大小也为3*3)形成匹配窗口，以待配准图其中1个特征点(x1',y1')为例，遍历原图中其对应特征区域内所有窗口，计算所有匹配窗口内像素点灰度值的均方误差，选取均方误差最小的窗口中心(x1,y1)为原图粗定位的特征点。同理，粗定位的4对特征匹配点分别为((x1,y1),(x1′,y1′))....((x4,y4),(x4′,y4′))。
上述均方误差是指参数估计值与参数真值之差的平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较方便的方法，可以评价数据的变化程度，MSE的值越小，说明精确度越高。均方误差的公式为：
其中I(x,y)为原图像素点的灰度值，I(x',y')为待配准图像素点的灰度值(k为邻域大小，取整数)。
步骤2：利用双线性插值算法获取亚像素级特征匹配点
上述步骤1中4对匹配点是像素级的，得到原图和待配准图的特征点集分别为((x1,y1)....(x4,y4))，((x1',y1')....(x4',y4'))。为了达到亚像素级，需要采用以下方法:
(1)对4对匹配点的邻域进行双线性插值，取原图各特征点邻域S1大小为3*3，待配准图中各特征点邻域S2大小为5*5；对S1和S2进行双线性插值，邻域内相邻像素点之间采取4倍插值。
(2)针对每对特征匹配点，设以S1为模板，将其在S2中进行滑动匹配，遍历S2，分别求出每次匹配灰度值的均方误差，选取S2内均方误差最小的邻域中心为候选匹配点，此时候选匹配点即为待配准图亚像素特征点。
经过上述方法，求得待配准图中4个亚像素特征点分别为((X1',Y1')....(X4',Y4'))。
邻域模板匹配图如图5所示。
2.基于迭代优化算法的亚像素拼接技术
图像拼接过程中，根据原图和待配准图重叠区域的变换矩阵H将原图和待配准图融合形成拼接图。图像配准完后，在拼接之前还需要先进行图像校正，图像校正需要借助透视变换将待配准图变换到原图的坐标系。在获取出亚像素级匹配点基础上，首先利用透视变换计算出初始变换矩阵。
一个二维平面经过透视变换，成为另一个平面图像，这个过程定义为：
其中(xi,yi)是原图特征点坐标，(Xi',Yi')是待配准图特征点坐标(注：(i＝1,2,3,4))，h1,h2,h3,h4,h5,h6,h7,h8是变换系数，对于给定的4组变换点，定义的变换矩阵如下：
通过步骤2中配准完的4对亚像素级特征点对计算初始变换矩阵，利用初始变换矩阵待配准图像进行校正，再与原图进行亚像素配准，再对待配准图进行校正，再进行亚像素配准，如此迭代，当相邻两次迭代运算中配准完的待配准图特征点坐标欧式距离之和满足小于设定的阈值则迭代停止，设阈值为0.5。
定义欧式距离公式为：
其中(pj+1,i,qj+1,i)为待配准图特征点第j次迭代运算后的坐标。
迭代优化算法的流程图如6所示。
实验验证
为了验证本发明的可行性，我们进行了实验的验证，实验在Windows10,VisualStudio2013的平台上进行的，实验使用的图像是用高清摄像机采集的，实验如下：
原图和待配准图是采集的两张图片(像素为4608*3456)，分别利用本发明的方法与传统图像拼接的方法(注：首先利用SURF算法对原图和待配准图进行特征提取与特征匹配，然后利用findHomography函数计算变换矩阵，其中RANSAC算法对误匹配点进行筛选并剔除，最后利用变换矩阵实现图像拼接)对它们进行图像拼接。
图7是本发明方法的拼接结果图，图8是传统图像拼接方法的结果图；通过对比，图7边缘信息保留完整，无明显畸变，拼接效果良好，图8边缘失真比较严重且右下角区域存在明显的畸变；由此可见本发明方法的拼接效果优于传统图像拼接方法。
表1是两种方法的实验结果比较：
由表1的数据可知，本发明的方法配准的准确率高于传统方法，从算法的时间复杂度来看，配准时间和拼接时间远小于传统方法。
综合以上实验结果，本发明的方法能够保证快速高精度的图像拼接。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种解决工程建筑物检测大视角问题的图像拼接技术，其特征是：采用基于插值和迭代优化算法的亚像素配准与拼接技术，对不同视角拍摄的图片(具有一定的重合)进行快速精确的拼接，为获取大视角提供条件。
2.根据权利要求1所述的基于插值和迭代优化算法的亚像素配准与拼接技术，其特征是：一种快速且高精度图像拼接技术，借助的硬件是高清摄像机。将高清摄像机固定在一个三脚架上，通过摄像机对同一场景利用不同视角拍摄两张图像(图像之间有部分重叠区域)，以第一张为原图，第二张为待配准图，对两幅图片进行拼接。本发明利用拍摄的两张图片，在待配准图中设定的4个特征区域中分别找出最大角点作为特征点，在原图中人工寻找4个对应的特征点同时以特征点为中心设定4个特征区域进行特征粗匹配；利用双线性插值和均方误差算法进行亚像素级特征点配准；再利用迭代优化算法精炼变换矩阵，最后利用变换矩阵实现图像拼接，保证了图像拼接的快速性以及高精度要求。
CN201910217648.7A 2019-03-21 2019-03-21 基于插值和迭代优化算法的亚像素配准与拼接技术 Pending CN109961393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910217648.7A CN109961393A (zh) 2019-03-21 2019-03-21 基于插值和迭代优化算法的亚像素配准与拼接技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910217648.7A CN109961393A (zh) 2019-03-21 2019-03-21 基于插值和迭代优化算法的亚像素配准与拼接技术

Publications (1)

Publication Number Publication Date
CN109961393A true CN109961393A (zh) 2019-07-02

Family

ID=67024697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910217648.7A Pending CN109961393A (zh) 2019-03-21 2019-03-21 基于插值和迭代优化算法的亚像素配准与拼接技术

Country Status (1)

Country Link
CN (1) CN109961393A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866492A (zh) * 2020-06-09 2020-10-30 青岛小鸟看看科技有限公司 基于头戴显示设备的图像处理方法、装置及设备
CN111932593A (zh) * 2020-07-21 2020-11-13 湖南中联重科智能技术有限公司 基于触摸屏手势校正的图像配准方法、系统及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463786A (zh) * 2014-12-03 2015-03-25 中国科学院自动化研究所 一种移动机器人图像拼接方法及装置
CN104574421A (zh) * 2015-01-29 2015-04-29 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463786A (zh) * 2014-12-03 2015-03-25 中国科学院自动化研究所 一种移动机器人图像拼接方法及装置
CN104574421A (zh) * 2015-01-29 2015-04-29 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓培状: "《基于特征点的图像拼接算法》", 《HTTPS://WENKU.BAIDU.COM/VIEW/DEF1939F050876323112129D.HTML》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866492A (zh) * 2020-06-09 2020-10-30 青岛小鸟看看科技有限公司 基于头戴显示设备的图像处理方法、装置及设备
CN111932593A (zh) * 2020-07-21 2020-11-13 湖南中联重科智能技术有限公司 基于触摸屏手势校正的图像配准方法、系统及设备
CN111932593B (zh) * 2020-07-21 2024-04-09 湖南中联重科智能技术有限公司 基于触摸屏手势校正的图像配准方法、系统及设备

Similar Documents

Publication Publication Date Title
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN104732482B (zh) 一种基于控制点的多分辨率图像拼接方法
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
CN109064409B (zh) 一种移动机器人的视觉图像拼接系统及方法
CN110223330B (zh) 一种可见光和红外图像的配准方法及系统
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN107680054A (zh) 雾霾环境下多源图像融合方法
CN110992263B (zh) 一种图像拼接方法及系统
CN106447602A (zh) 一种图像拼接方法及装置
US11270415B2 (en) Image inpainting with geometric and photometric transformations
CN103902953B (zh) 一种屏幕检测系统及方法
CN104392416A (zh) 一种运动场景的视频拼接方法
CN108470356A (zh) 一种基于双目视觉的目标对象快速测距方法
CN108257089A (zh) 一种基于迭代最近点的大视场视频全景图拼接的方法
CN111062895B (zh) 一种基于多视场分割的显微图像复原方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN109961393A (zh) 基于插值和迭代优化算法的亚像素配准与拼接技术
CN111127353B (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN104809720B (zh) 基于小交叉视场的两相机目标关联方法
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
CN111062900B (zh) 一种基于置信度融合的双目视差图增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190702