CN107918927A - 一种匹配策略融合及低误差的快速图像拼接方法 - Google Patents
一种匹配策略融合及低误差的快速图像拼接方法 Download PDFInfo
- Publication number
- CN107918927A CN107918927A CN201711241376.1A CN201711241376A CN107918927A CN 107918927 A CN107918927 A CN 107918927A CN 201711241376 A CN201711241376 A CN 201711241376A CN 107918927 A CN107918927 A CN 107918927A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- images
- feature
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种匹配策略融合及低误差的快速图像拼接方法,包括:S1、获取待拼接的多幅序列图像,对其进行预处理、标定图像间的重合区域;S2、在重合区域内提取SIFT特征点,并计算SURF特征描述符;S3、完成特征粗匹配,并利用粗匹配信息完成序列图像排序,然后采用随机采样一致性算法对匹配结果对进行提纯并拟合图像间的单应性变换矩阵;S4、选取序列图像中间位置的图像作为参考图像,建立其他任意图像到参考图像的投影变换模型;S5、经过亮度校正后,使用投影变换模型并结合多线程,将所有图像均投影到参考图像坐标空间,经过图像融合后合成高质量全景图像。本发明正确匹配率大大提高,且能快速合成误差低的高质量全景图,具有较高的实用价值。
Description
技术领域
本发明涉及图像拼接技术领域,尤其涉及一种匹配策略融合及低误差的快 速图像拼接方法。
背景技术
图像拼接技术将同一场景的多幅序列图像经过配准、融合后合成宽视野、 高分辨率的全景图,近年来,广泛应用于三维重建、视频监控、遥感影像及灾 害防控等领域。
图像拼接主要包括图像配准和图像融合2个步骤,图像配准是拼接算法的 核心,基于区域的配准算法使用区域信息进行拼接,且要求图片有较高重合度, 运算效率降低,实时性较差。基于特征的图像配准技术计算量小、鲁棒性高, 因而得到广泛的关注,其中特征检测及匹配是决定配准质量的关键因素。特征 点的数量远少于整幅图像的像素,且对于环境变化有较强的适应能力,鲁棒性 较高。而特征匹配是特征检测和估计图像变换参数间的关键步骤,直接影响拼 接算法的快速性和拼接效果,其核心是如何快速、有效剔除误匹配对,高精度 的匹配对可以精确地计算出图像间的变换模型。最后利用变换模型参数进行拼 接,为了降低拼接图像的扭曲变形,需要选择合适的映射模型,常用的有平面、 柱面、球面等,其中柱面能实现360度的视角,且不需要精确的焦距估计,广 泛应用于拼接领域。
目前,常用的基于特征的图像拼接算法流程为,首先利用SIFT算法提取 图像的特征点,然后使用穷举搜索策略并结合欧氏距离进行特征匹配,使用最 近邻比次近邻策略剔除一些错误的匹配对,接着使用RANSAC算法剔除错误 匹配完成精匹配,并使用最小二乘法等拟合得到变换矩阵的参数,最后,利用 帧到图像的逐帧扩大式拼接策略并结合加权平均融合完成图像序列的拼接。该 拼接算法存在以下4点缺陷:
第一,SIFT算法计算特征描述符时,需要计算特征点邻域内的梯度方向 的直方图,计算复杂、耗时;第二,使用穷举搜索匹配时需要遍历所有的特征 描述符,且描述符维数是128维,当提取的特征点数量很大时显然存在大量耗 时,且只使用最近邻比次近邻策略进行特征匹配显然会产生很多错误的匹配 对,这一方面导致最后求得的变换矩阵误差很大,另一方面使RANSAC算法 收敛时间大大增加,影响匹配效率;第三,该算法每一帧的拼接都会产生误差 且下一帧的拼接会携带上一帧的误差,使得累计误差越来越大,且串行拼接策 略会增加拼接耗时;第四,该算法无法完成无序图像的拼接,需要人工调整, 且没有对图像的亮度进行统一校正,使得拼接图像很难满足人的视觉要求。
发明内容
本发明要解决的技术问题在于针对现有技术中常用拼接算法匹配正确率 低、耗时及误差大的缺陷,提供一种匹配策略融合及低误差的快速图像拼接方 法。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种匹配策略融合及低误差的快速图像拼接方法,该方法包括 以下步骤:
S1、获取待拼接的多幅序列图像,对其进行预处理,包括灰度化、统一 图像分辨率以及标定图像间的重合区域;
S2、在标定的重合区域内提取SIFT特征点,然后利用积分图像计算SURF 特征描述符;
S3、使用基于BBF查询机制的Kd树搜索算法,融合改进的最近邻比次 近邻、交叉检查和匹配阈值化3个匹配策略,并结合坐标约束完成特征粗匹配, 并利用粗匹配信息完成序列图像排序,然后采用随机采样一致性算法对匹配结 果对进行提纯并拟合图像间的单应性变换矩阵;
S4、选取序列图像中间位置的图像作为参考图像,根据得到的单应性变 换矩阵,建立任意位置的待拼接图像到参考图像的投影变换模型;
S5、对所有图像进行亮度校正后,使用得到的投影变换模型,并结合多 线程技术,将所有图像均投影到参考坐标空间,经过图像融合后合成高质量全 景图像。
进一步地,本发明的步骤S1中进行预处理的方法具体为:
S11、对图像进行灰度化处理;
S12、统一调整图像的分辨率大小;
S13、标定图像的左右1/3区域为重合区域,中间1/3区域为不重合区域, 仅对重合区域进行特征检测。
进一步地,本发明的步骤S2中计算特征描述符的方法具体为:
S21、计算待拼接图像i(x,y)的积分图像:
S22、构建尺度空间,即高斯金字塔L(x,y,δ)和高斯差分金字塔D(x,y,δ):
S23、在D(x,y,δ)内进行三维邻域内的特征点极值搜索,初步确定特征点;
S24、利用像元插值法得到亚像素精度的特征点;
S25、剔除插值偏移量大于0.5、响应值小于0.03的点以及存在边缘效应 的点;
S26、给每个特征点分配一个主方向和多个辅方向;
S27、计算特征描述符:
沿特征点主方向,取20δ×20δ的矩形区域,并将该区域划分为4×4个子 块,然后统计积分图像Isum(m,n)子块的Harr响应值v:
v=[∑dx,∑|dx|,∑dy,∑|dy|]
即可得到4×4×4=64维的特征描述符descriptor,如果区分正负号,则为 128维。
进一步地,本发明的步骤S3中进行特征匹配的方法具体为:
S31、利用图像ii和图像ij的特征描述符建立Kd树;
S32、利用BBF查询机制,并结合改进的最近邻比次近邻策略,得到匹配 结果matches1:
利用九距离法改进最近邻比次近邻策略,即用d(2)~d(9)的平均值代替次 近邻d(2),d(1)仍为最近距离,避免了d(1)与d(2)相差较小时正确匹配对被误 排除,其具体步骤为:
S321、对于图像ij中的特征描述符,利用BBF查询机制,在Kd树中查询 9个近邻点:
NeighborPoints={N1,N2,…,N9}
并计算每个近邻点与查询点的距离:
NeighborDis={dis1,dis2,…,dis9}
S322、求N2,N3,…,N9这8个近邻点的平均距离,作为次近邻距离d(2);
S323、最后计算:DisC=dis1/d(2);
设阈值DisH=0.65,若DisC小于DisH,则认为是正确的匹配对,否则排除 匹配对;
S33、计算matches1中的特征描述符间的差值,根据差值的大小得到匹配 对matches2,具体方法为:
分别利用欧式距离计算matches1中所有匹配对间的特征描述符间的差值:
式中,Desik和Desjk分别表示两个描述符i,j的每一维的数值,当FeatureDist 大于阈值maxFeatureDist=0.4,则该匹配为错误的匹配,只有FeatureDist小于阈 值才认为是正确匹配对;
S34、利用交叉检查策略,分别匹配两个方向的特征点,只有两个方向都 能匹配到相同的匹配对,才是正确的匹配对matches3;
S35、利用坐标约束条件,得到高精度的匹配对bestmatches,具体方法为:
考虑到图像序列均处于同一方向,正确匹配对的横纵坐标符合一定的坐标 关系,因此可以增加坐标约束条件。以水平方向为例,令约束条件为|y1-y2|<p1且|w-x1-x2|<p2,其中,(x1,y1)和(x2,y2)是匹配对上的两个点,p1,p2是两个阈值, w为图像宽度;同理,垂直方向约束条件可以设为:|x1-x2|<p1且|h-y1-y2|<p2, 其中h为图像高度,只有满足水平和垂直方向的约束条件时,才认为是正确的 匹配对。
S36、利用RANSAC算法提纯匹配对,并拟合图像间的变换矩阵vectorH:
具体地,依次选择bestmatches中的每一项,随机选取4组匹配对,计算 单应矩阵和其错误概率,反复迭代,直到错误率小于事先设置的阈值0.995或 达到指定的迭代次数,得到的匹配对集合即为正确匹配对。
然后,对k组匹配对(xi,yi),(xi′,yi′),i∈1,2,…,k,利用最小二乘法估计图 像间的单应变换矩阵vectorH,其矩阵参数为:h=[h0,h1,...,h7];
h=(ATA)-1ATb
其中,
进一步地,本发明的步骤S3中进行图像排序的方法具体为:
根据粗匹配信息,遍历每一幅图像得到的匹配数,找出与其对应的次多匹 配数和最多匹配数,并求出比值,这样会得到一个一维数组;
对得到的一维数组进行排序,求出其最小值和最小值对应的位置,该位置 对应的图像即为第一幅图像;
根据找到的第一幅图像,找到与它匹配数最多的图像作为第二幅图像,与 第二幅图像匹配数最多的图像作为第三幅图像,依次类推,找出全部的图像;
最后来确定第一幅图像为首图像还是尾图像,其方法为:根据匹配点的横 坐标x的平均值H与width/2作比较,width表示图像的宽度,若H>width/2, 即匹配点集中在图像的右侧,即为首图像,若H<width/2,即匹配点集中在图 像的左侧,则为尾图像;
若第一幅图像为首图像,则直接输出排序后的图像序列,若第一幅图像为 尾图像,则逆序输出排序后的图像序列。
进一步地,本发明的步骤S4中投影变换模型的计算过程为:
S41、假设参考图像索引值为m,利用矩阵间的传递性,任意一幅图像到 中间参考图像的变换矩阵toRefHvectorim可以表示为:
式中i∈k,k=0,1,2,…,n,vectorH[i]表示经过排序后的相邻图像间的变换矩阵,则toRe-fHvectorim即为投影变换模型;
S42、利用投影变换模型toRefHvectorim完成图像的投影,假设参考图像的 点集为(xi,yi,1),其他任意图像的点集为(xi′,yi′,1),则有:
其中,h0 i、h1 i、h2 i、h3 i、h4 i、h5 i,h6 i,h7 i,h8 i是第i幅图像到参考图像的变换矩 阵toRefHvectorim的参数,即可以把第i幅图像的点集投影为参考图像坐标空 间的点集。
进一步地,本发明的步骤S5中进行多线程并行拼接的方法为:
S51、以第一幅图像的亮度为标准进行亮度校正,其具体步骤为:
假设I1和I2为待校正的两幅待拼接图像,S1和S1分别表示重合区域内的两 幅图像的任意像素点,且假设I1的亮度高于I2,且校正时以I1为基准,将I2校 正到I1的亮度上;
S52、以参考图像为界,将序列图像分为LiftImages={i1,i2,…,im}和RightImages={im,im+1,…,in}两部分,其拼接过程分别采用一个线程,两个线程分 别将LiftImages和RightImages中的每一幅图像投影到参考图像所在平面;
S53、当两个线程均工作完成后,采用渐入渐出的加权平均融合算法消除 拼接缝,完成图像拼接。
进一步地,本发明的步骤S51中进行亮度校正的方法具体为:
S511、计算两幅图像在重合区域内的所有像素点的三通道之和:
对于图像I1,有:
I1c_sum=∑(S1c)γ
对于图像I2,有:
I2c_sum=∑(S2c)γ
其中c表示某个通道,对于彩色图像,c∈(R,G,B),且γ=2.2;
S512、分别计算出三个通道的比例系数:
S513、利用求出的kc值进行校正,分别将I2的像素点的三通道值进行补偿, 补偿公式为:
具体地,以序列图像的第一幅图像的亮度为基准,利用以上步骤依次将其 他图像的亮度校正到第一幅图像。
本发明产生的有益效果是:本发明的匹配策略融合及低误差的快速图像拼 接方法,(1)提出了基于SURF描述符的SIFT算法仅在重合区域提取特征点, 提高了特征检测的效率;(2)使用基于BBF查询机制的Kd树搜索算法,融 合改进的最近邻比次近邻、交叉检查和匹配阈值化3个匹配策略,并结合坐标 约束进行特征粗匹配,提高了匹配效率和精度,使得RANSAC算法快速收敛, 且变换矩阵精度大大提高;(3)提出序列图像到参考图像的投影变换模型的计 算方法,结合多线程技术完成所有图像的投影,不仅减少了多幅图像拼接带来 的累计误差,而且效率上大大提高;(4)可自动地完成序列图像的排序,无需 人工参与,且在图像融合前对所有图像进行亮度校正处理,使得拼接视觉效果 更好。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明匹配策略融合及低误差的快速图像拼接方法的流程图;
图2是本发明匹配策略融合及低误差的快速图像拼接方法的框架图;
图3是本发明匹配策略融合及低误差的快速图像拼接方法的详细结构图;
图4是本发明特征检测流程图;
图5是本发明特征匹配流程图;
图6是本发明坐标约束原理示意图;
图7是本发明图像拼接策略流程图;
图8是本发明投影变换矩阵计算流程图;
图9a是本发明具体的拼接实例;
图9b是本发明具体的拼接实例;
图9c是本发明具体的拼接实例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实 施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅 用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例的匹配策略融合及低误差的快速图像拼接方 法,该方法包括以下步骤:
S1、获取待拼接的多幅序列图像,对其进行预处理,包括灰度化、统一 图像分辨率以及标定图像间的重合区域;
S2、在标定的重合区域内提取SIFT特征点,然后利用积分图像计算SURF 特征描述符;
S3、使用基于BBF查询机制的Kd树搜索算法,融合改进的最近邻比次 近邻、交叉检查和匹配阈值化3个匹配策略,并结合坐标约束完成特征粗匹配, 并利用粗匹配信息完成序列图像排序,然后采用随机采样一致性算法对匹配结 果对进行提纯并拟合图像间的单应性变换矩阵;
S4、选取序列图像中间位置的图像作为参考图像,根据得到的单应性变 换矩阵,建立任意位置的待拼接图像到参考图像的投影变换模型;
S5、对所有图像进行亮度校正后,使用得到的投影变换模型,并结合多 线程技术,将所有图像均投影到参考坐标空间,经过图像融合后合成高质量全 景图像。
如图2所示,本发明实施例的匹配策略融合及低误差的快速图像拼接方 法,其具体算法框架为:
分为预处理、图像配准及合成图像3个部分。预处理阶段根据全景图尺度 估计将图像分辨率统一为300×400,并标定重合区域。图像配准为经过特征检 测和匹配后,估计图像间的变换矩阵得到配准参数。合成图像包括亮度校正、 图像投影和图像融合等,最终实现快速且误差小的序列图像拼接。
更进一步,本发明的具体实施细节如图3所示。
其中,步骤A为图像预处理模块,其具体步骤为:
A1、对序列图像进行灰度化处理,具体地,由于人眼对R、G、B的敏感 度不同,采用加权的方法进行灰度化处理,即:
g(x,y)=0.30R+0.59G+0.11B
其中,g(x,y)为灰度化后的像素值,R、G、B为像素(x,y)的红色、绿色、 蓝色分量值。
A2、统一序列图像的分辨率,具体地,分辨率设置为300×400;
A3、标定序列图像的重合区域,具体地,每一幅图像的左右1/3区域标定 为重合区域。
步骤B为特征检测模块,其具体步骤如图4所示:
B1、计算图像的积分图像,积分图像IS(x,y)中的任意一点(i,j)的值,为原 图像I(x,y)左上角到任意点(i,j)相应的对角线区域灰度值的总和,即:
B2、构建图像的高斯金字塔,利用以下公式计算每一组中每一层的高斯 图像,形成高斯金字塔;
B3、构建高斯差分金字塔,在高斯金字塔的每一组,依次将相邻的高斯 图像相减得到高斯差分图像,如以下公式所示:
B4、初步确定极值点,在高斯差分金字塔DOG内进行三维邻域内的特征 点极值搜索,初步确定特征点;
B5、精确定位特征点,由于极值搜索得到的备选特征点在离散空间中得 到,如果将其放到连续空间,则原来的极值点可能不是真正的极值点,需要进 行拟合处理得到亚像素精度的特征点。剔除插值偏移量大于0.5、响应值小于 0.03的点以及存在边缘效应的点;
B6、确定特征点方向,通过积分图像Isum(m,n),计算以特征点为中心的扇 形区域内x,y方向的Haar小波响应值dx,dy,统计幅值∑dx+∑dy和对应的方向 角arctan(∑dx/∑dy),幅值最大的区域方向即为特征点主方向,且定义幅值大于最 大幅值80%的区域方向为辅方向;
B7、沿特征点主方向,取20δ×20δ的矩形区域,并将该区域划分为4×4 个子块,然后利用积分图像Isum(m,n)统计每个子块的Harr响应值v:
v=[∑dx,∑|dx|,∑dy,∑|dy|]
这样即可得到4×4×4=64维的特征描述符descriptor,如果区分正负号,则 为128维;
步骤C为特征粗匹配模块,经过步骤B提取出特征点后需要将物理位置 一致的点进行匹配,具体步骤如图5所示:
C1、利用图像和图像的特征描述符信息建立Kd树,将其表示为 kd_rootA和kd_rootB;
C2、对于图像ij中的特征描述符,利用BBF查询机制,在kd_rootA中查 询9个近邻点NeighborPoints={N1,N2,…,N9},并计算每个近邻点与查询点的距离 NeighborDis={dis1,dis2,…,dis9};
C3、求N2,N3,…,N9这8个近邻点的平均距离作为次近邻距离d(2), 然后计算DisC=dis1/d(2),设阈值DisH=0.65,若DisC小于DisH,则认为是正确的 匹配对,否则排除匹配对;
C4、判断匹配对的特征描述符间的差值,若差值大于阈值maxFeatureDist, 则剔除该匹配项;
具体地,分别利用欧式距离计算matches1中所有匹配对间的特征描述符 间的差值:
式中,Desik和Desjk分别表示两个描述符i,j的每一维的数值因此,当FeatureDist大于阈值maxFeatureDist=0.4,则该匹配为错误的匹配,只有 FeatureDist小于阈值才认为是正确匹配对;
C5、遍历图像中所有特征描述符重复步骤C2、C3、C4,得到图像到图 像的匹配对goodmatches1;
C6、对图像中所有特征描述符,重复C2、C3、C4、C5四个步骤,得到 图像到图像的匹配对goodmatches2;
C7、利用交叉检查策略,对goodmatches1和goodmatches2中的匹配对进 行交叉验证,只有两个方向都能匹配到相同的匹配对,才认为是正确的匹配对, 即得到正确的匹配对matches;
C8、对matches中的每对匹配对(x1,y1)和(x2,y2),利用|y1-y2|<v和 |w-(x1-x2)|<h两个约束条件,对以上的匹配对进行提纯处理,得到精度较高的 匹配对bestmatches。
具体地,考虑到序列图像均处于同一方向,正确匹配对的横纵坐标符合一 定的坐标关系,因此可以增加坐标约束条件。以水平方向为例,令约束条件为 |y1-y2|<p1且|w-x1-x2|<p2,其中,(x1,y1)和(x2,y2)是匹配对上的两个点,p1,p2是两个阈值,本文分别取p1=10,p2=8,w为图片的宽度,即w=300,坐标约 束原理示意如图6所示,其中A、B是正确的匹配对,C、D由于不满足坐标 约束条件将被排除。同理,垂直方向约束条件可以设为:|x1-x2|<p1且|h-y1-y2|<p2, 其中h为图像高度,即h=400。
步骤D为图像排序和特征精匹配模块,经过步骤C后,使用得到的匹配 信息完成序列图像排序,并使用RANSAC算法拟合得到图像间的变换矩阵, 具体步骤为:
D1、根据粗匹配信息,遍历每一幅得到的匹配数,找出与其对应的次多 匹配数和最多匹配数,并求出比值,这样会得到一个一维数组;
D2、对D1得到的一维数组进行排序,求出其最小值和最小值对应的位置, 该位置对应的那幅图像即为第一幅图像;
D3、根据D2找到的第一幅图像,找到与它匹配数最多的图像作为第二幅 图像,与第二幅图像匹配数最多的图像作为第三幅图像,依次类推,找出全部 的图像;
D4、最后来确定第一幅图像为首图像还是尾图像,确定的基本原理为根 据匹配点的横坐标x的平均值H与图像的一半宽度width/2作比较,若 H>width/2,即匹配点集中在图像的右侧,即为首图像,若H<width/2,即匹配 点集中在图像的左侧,则为尾图像;
D5、若第一幅图像为首图像,则直接输出排序后的图像序列,若第一幅 图像为尾图像,则逆序输出排序后的图像序列;
D6、经过排序后图像间的匹配信息为sortVectorMatches,依次选择sortVectorMatches中的每一项,随机选取4组匹配对,计算单应矩阵和其错误 概率,反复迭代,直到错误率小于事先设置的阈值或达到指定的迭代次数,此 时得到的匹配对集合即为正确匹配对。
然后,对k组匹配对(xi,yi),(xi′,yi′),i∈1,2,…,k,利用最小二乘法估计图 像间的单应变换矩阵vectorH,其矩阵参数为:h=[h0,h1,...,h7];
h=(ATA)-1ATb
其中,
步骤E为图像亮度校正模块,拼接前需要进行图像亮度校正,其具体步 骤为:
假设I1和I2为待校正的两幅待拼接图像,S1和S1分别表示重合区域内的两 幅图像的任意像素点,且假设I1的亮度高于I2,且校正时以I1为基准,将I2校 正到I1的亮度上。
E1、计算两幅图像在重合区域内的所有像素点的三通道之和:
具体地,对于图像I1,有:
I1c_sum=∑(S1c)γ
对于图像I2,有:
I2c_sum=∑(S2c)γ
其中c表示某个通道,对于彩色图像,c∈(R,G,B),且γ=2.2。
E2、根据第E1步的计算结果,利用以下公式分别计算出三个通道的比例 系数:
E3、利用第E2步求出的kc值进行校正,分别将I2的像素点的三通道值进 行补偿,补偿公式为:
具体地,以序列图像的第一幅图像的亮度为基准,依次将其他图像的亮度 校正到第一幅图像。
步骤F为并行图像投影变换模块,该模块将形成初步的拼接结果,如图7 所示,其具体步骤为:
F1、利用步骤D6求出的所有图像间的变换矩阵vectorH={H0,H1,H2,…,Hn}, 其中H0表示第一幅图像和第二幅图像间的变换矩阵,其他类似,且序列图像 数量为n+1;
F2、以中间图像为参考,假设其索引值为m,则使用以下公式计算所有 图像与参考图像间的变换矩阵,并将结果保存为toRefHvectorim:
其中,i∈k,k=0,1,2,…,n,其变换过程如图8所示。然后利用投影变换模 型toRefHvectorim完成图像的投影。假设参考图像的点集为(xi,yi,1),其他任意 图像的点集为(xi′,yi′,1),则有:
其中,h0 i、h1 i、h2 i、h3 i、h4 i、h5 i,h6 i,h7 i,h8 i是第i幅图像到参考图像的变换矩 阵toRe-fHvectorim的参数,即可以把第i幅图像的点集投影为参考图像坐标空 间的点集;
F3、以参考图像为界,将序列图像分为LiftImages和RightImages两部分,两 部分的拼接过程分别采用一个线程,记为ThreadA和ThreadB,两者同时工作;
F4、ThreadA线程工作时,分别将LiftImages中的每一幅图像投影到参考图 像所在平面,完成图像LiftImages的初步拼接,ThreadB的工作原理与ThreadA 完全一样;
F5、只有当两个线程都工作完成后,才能将两个线程的结果进行叠加, 形成初步的拼接结果。
步骤G为图像融合模块,实现图像重合区域的平滑过渡,主要的实现方 法为渐入渐出的加权平均融合算法,即在重叠区域由第一幅图像缓慢过渡到第 二幅图像,两幅图像的权值变化相反。假设第一幅图像对应像素的权值为w1, 第二幅图像对应像素的权值为w2,则w1+w2=1。
对于w1和w2的求取,首先需要知道重叠区域的宽度width和重叠区域的起 始横坐标x_start,则w2=1-w1,其中,x表示重合区域任意一点的 横坐标值。假设第一幅图像的像素值为I1(x,y),第二幅图像的像素值为I2(x,y), 融合后的像素值为I(x,y),则计算公式为:
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进 或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种匹配策略融合及低误差的快速图像拼接方法,其特征在于,该方法包括以下步骤:
S1、获取待拼接的多幅序列图像,对其进行预处理,包括灰度化、统一图像分辨率以及标定图像间的重合区域;
S2、在标定的重合区域内提取SIFT特征点,然后利用积分图像计算SURF特征描述符;
S3、使用基于BBF查询机制的Kd树搜索算法,融合改进的最近邻比次近邻、交叉检查和匹配阈值化3个匹配策略,并结合坐标约束完成特征粗匹配,并利用粗匹配信息完成序列图像排序,然后采用随机采样一致性算法对匹配结果对进行提纯并拟合图像间的单应性变换矩阵;
S4、选取序列图像中间位置的图像作为参考图像,根据得到的单应性变换矩阵,建立任意位置的待拼接图像到参考图像的投影变换模型;
S5、对所有图像进行亮度校正后,使用得到的投影变换模型,并结合多线程技术,将所有图像均投影到参考坐标空间,经过图像融合后合成高质量全景图像。
2.根据权利要求1所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S1中进行预处理的方法具体为:
S11、对图像进行灰度化处理;
S12、统一调整图像的分辨率大小;
S13、标定图像的左右1/3区域为重合区域,中间1/3区域为不重合区域,仅对重合区域进行特征检测。
3.根据权利要求1所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S2中计算特征描述符的方法具体为:
S21、计算待拼接图像i(x,y)的积分图像:
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>x</mi>
<mo>&le;</mo>
<mi>m</mi>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>y</mi>
<mo>&le;</mo>
<mi>n</mi>
</mrow>
</munderover>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
S22、构建尺度空间,即高斯金字塔L(x,y,δ)和高斯差分金字塔D(x,y,δ):
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>G</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mi>&sigma;</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>G</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
S23、在D(x,y,δ)内进行三维邻域内的特征点极值搜索,初步确定特征点;
S24、利用像元插值法得到亚像素精度的特征点;
S25、剔除插值偏移量大于0.5、响应值小于0.03的点以及存在边缘效应的点;
S26、给每个特征点分配一个主方向和多个辅方向;
S27、计算特征描述符:
沿特征点主方向,取20δ×20δ的矩形区域,并将该区域划分为4×4个子块,然后统计积分图像Isum(m,n)子块的Harr响应值v:
v=[∑dx,∑|dx|,∑dy,∑|dy|]
即可得到4×4×4=64维的特征描述符descriptor,如果区分正负号,则为128维。
4.根据权利要求1所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S3中进行特征匹配的方法具体为:
S31、利用图像ii和图像ij的特征描述符建立Kd树;
S32、利用BBF查询机制,并结合改进的最近邻比次近邻策略,得到匹配结果matches1:
利用九距离法改进最近邻比次近邻策略,即用d(2)~d(9)的平均值代替次近邻d(2),d(1)仍为最近距离,避免了d(1)与d(2)相差较小时正确匹配对被误排除,其具体步骤为:
S321、对于图像ij中的特征描述符,利用BBF查询机制,在Kd树中查询9个近邻点:
NeighborPoints={N1,N2,…,N9}
并计算每个近邻点与查询点的距离:
NeighborDis={dis1,dis2,…,dis9}
S322、求N2,N3,…,N9这8个近邻点的平均距离,作为次近邻距离d(2);
S323、最后计算:
DisC=dis1/d(2);
设阈值DisH=0.65,若DisC小于DisH,则认为是正确的匹配对,否则排除匹配对;
S33、计算matches1中的特征描述符间的差值,根据差值的大小得到匹配对matches2,具体方法为:
分别利用欧式距离计算matches1中所有匹配对间的特征描述符间的差值:
<mrow>
<mi>F</mi>
<mi>e</mi>
<mi>a</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>64</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>Des</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>Des</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
式中,Desik和Desjk分别表示两个描述符i,j的每一维的数值,当FeatureDist大于阈值maxFeatureDist=0.4,则该匹配为错误的匹配,只有FeatureDist小于阈值才认为是正确匹配对;
S34、利用交叉检查策略,分别匹配两个方向的特征点,只有两个方向都能匹配到相同的匹配对,才是正确的匹配对matches3;
S35、利用坐标约束条件,得到高精度的匹配对bestmatches,具体方法为:
考虑到图像序列均处于同一方向,正确匹配对的横纵坐标符合一定的坐标关系,因此可以增加坐标约束条件。以水平方向为例,令约束条件为|y1-y2|<p1且|w-x1-x2|<p2,其中,(x1,y1)和(x2,y2)是匹配对上的两个点,p1,p2是两个阈值,w为图像宽度;同理,垂直方向约束条件可以设为:|x1-x2|<p1且|h-y1-y2|<p2,其中h为图像高度,只有满足水平和垂直方向的约束条件时,才认为是正确的匹配对。
S36、利用RANSAC算法提纯匹配对,并拟合图像间的变换矩阵vectorH,具体方法为:
依次选择bestmatches中的每一项,随机选取4组匹配对,计算单应矩阵和其错误概率,反复迭代,直到错误率小于事先设置的阈值0.995或达到指定的迭代次数,得到的匹配对集合即为正确匹配对。
然后,对k组匹配对(xi,yi),(xi′,yi′),i∈1,2,…,k,利用最小二乘法估计图像间的单应变换矩阵vectorH,其矩阵参数为:h=[h0,h1,...,h7];
h=(ATA)-1ATb
其中,
5.根据权利要求1所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S3中图像排序的方法具体为:
根据粗匹配信息,遍历每一幅图像得到的匹配数,找出与其对应的次多匹配数和最多匹配数,并求出比值,这样会得到一个一维数组;
对得到的一维数组进行排序,求出其最小值和最小值对应的位置,该位置对应的图像即为第一幅图像;
根据找到的第一幅图像,找到与它匹配数最多的图像作为第二幅图像,与第二幅图像匹配数最多的图像作为第三幅图像,依次类推,找出全部的图像;
最后来确定第一幅图像为首图像还是尾图像,其方法为:根据匹配点的横坐标x的平均值H与width/2作比较,width表示图像的宽度,若H>width/2,即匹配点集中在图像的右侧,即为首图像,若H<width/2,即匹配点集中在图像的左侧,则为尾图像;
若第一幅图像为首图像,则直接输出排序后的图像序列,若第一幅图像为尾图像,则逆序输出排序后的图像序列。
6.根据权利要求1所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S4中投影变换模型的计算过程为:
S41、假设参考图像索引值为m,利用矩阵间的传递性,任意一幅图像到参考图像的变换矩阵toRefHvectorim可以表示为:
式中i∈k,k=0,1,2,…,n,vectorH[i]表示经过排序后的相邻图像间的变换矩阵,则toRefHvectorim即为投影变换模型;
S42、利用投影变换模型toRefHvectorim完成图像的投影,假设参考图像的点集为(xi,yi,1),其他任意图像的点集为(xi′,yi′,1),则有:
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>0</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>1</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>3</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>4</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>5</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>6</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>7</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<msub>
<mi>h</mi>
<mn>8</mn>
</msub>
<mi>i</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>*</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,h0 i、h1 i、h2 i、h3 i、h4 i、h5 i,h6 i,h7 i,h8 i是第i幅图像到参考图像的变换矩阵toRefHvectorim的参数,即可以把第i幅图像的点集投影为参考图像坐标空间的点集。
7.根据权利要求1所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S5中进行多线程并行拼接的方法为:
S51、以第一幅图像的亮度为标准进行亮度校正,其具体步骤为:
假设I1和I2为待校正的两幅待拼接图像,S1和S1分别表示重合区域内的两幅图像的任意像素点,且假设I1的亮度高于I2,且校正时以I1为基准,将I2校正到I1的亮度上;
S52、以参考图像为界,将序列图像分为LiftImages={i1,i2,…,im}和RightImages={im,im+1,…,in}两部分,其拼接过程分别采用一个线程,两个线程分别将LiftImages和RightImages中的每一幅图像投影到参考图像所在坐标空间;
S53、当两个线程均工作完成后,采用渐入渐出的加权平均融合算法消除拼接缝,完成图像拼接。
8.根据权利要求7所述的匹配策略融合及低误差的快速图像拼接方法,其特征在于,步骤S51中进行亮度校正的方法具体为:
S511、计算两幅图像在重合区域内的所有像素点的三通道之和:
对于图像I1,有:
I1c_sum=∑(S1c)γ
对于图像I2,有:
I2c_sum=∑(S2c)γ
其中c表示某个通道,对于彩色图像,c∈(R,G,B),且γ=2.2;
S512、分别计算出三个通道的比例系数:
<mrow>
<msub>
<mi>k</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mn>1</mn>
<mi>c</mi>
</mrow>
</msub>
<mo>_</mo>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mn>2</mn>
<mi>c</mi>
</mrow>
</msub>
<mo>_</mo>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</mfrac>
</mrow>
S513、利用求出的kc值进行校正,分别将I2的像素点的三通道值进行补偿,补偿公式为:
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mn>2</mn>
<mi>c</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>I</mi>
<mrow>
<mn>2</mn>
<mi>c</mi>
</mrow>
</msub>
<mo>&times;</mo>
<msup>
<msub>
<mi>k</mi>
<mi>c</mi>
</msub>
<mfrac>
<mn>1</mn>
<mi>&gamma;</mi>
</mfrac>
</msup>
</mrow>
具体地,以序列图像的第一幅图像的亮度为基准,利用以上步骤依次将其他图像的亮度校正到第一幅图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711241376.1A CN107918927B (zh) | 2017-11-30 | 2017-11-30 | 一种匹配策略融合及低误差的快速图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711241376.1A CN107918927B (zh) | 2017-11-30 | 2017-11-30 | 一种匹配策略融合及低误差的快速图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107918927A true CN107918927A (zh) | 2018-04-17 |
CN107918927B CN107918927B (zh) | 2021-06-04 |
Family
ID=61898036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711241376.1A Expired - Fee Related CN107918927B (zh) | 2017-11-30 | 2017-11-30 | 一种匹配策略融合及低误差的快速图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107918927B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764254A (zh) * | 2018-05-21 | 2018-11-06 | 深圳大学 | 一种图像特征点描述方法 |
CN108765416A (zh) * | 2018-06-15 | 2018-11-06 | 福建工程学院 | 基于快速几何对准的pcb表面缺陷检测方法及装置 |
CN108898550A (zh) * | 2018-05-30 | 2018-11-27 | 中国人民解放军军事科学院国防科技创新研究院 | 基于空间三角面片拟合的图像拼接方法 |
CN109961399A (zh) * | 2019-03-15 | 2019-07-02 | 西安电子科技大学 | 基于图像距离变换的最佳缝合线搜寻方法 |
CN110012238A (zh) * | 2019-03-19 | 2019-07-12 | 腾讯音乐娱乐科技(深圳)有限公司 | 多媒体拼接方法、装置、终端及存储介质 |
CN110211025A (zh) * | 2019-04-25 | 2019-09-06 | 北京理工大学 | 用于图像拼接的捆绑调整方法、存储介质和计算设备 |
CN110223338A (zh) * | 2019-06-11 | 2019-09-10 | 中科创达(重庆)汽车科技有限公司 | 基于图像提取的深度信息计算方法、装置及电子设备 |
CN110288533A (zh) * | 2019-07-02 | 2019-09-27 | 河北农业大学 | 一种非旋转图像的快速拼接方法 |
CN110940670A (zh) * | 2019-11-25 | 2020-03-31 | 佛山缔乐视觉科技有限公司 | 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法 |
CN111107307A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技(上海)有限公司 | 基于单应性变换的视频融合方法、系统、终端及介质 |
CN111179170A (zh) * | 2019-12-18 | 2020-05-19 | 深圳北航新兴产业技术研究院 | 一种显微血细胞图像快速全景拼接方法 |
CN111445389A (zh) * | 2020-02-24 | 2020-07-24 | 山东省科学院海洋仪器仪表研究所 | 一种高分辨率图像的宽视角快速拼接方法 |
CN111738920A (zh) * | 2020-06-12 | 2020-10-02 | 山东大学 | 一种面向全景拼接加速的fpga架构及全景图像拼接方法 |
CN111754408A (zh) * | 2020-06-29 | 2020-10-09 | 中国矿业大学 | 一种高实时性的图像拼接方法 |
CN112101475A (zh) * | 2020-09-22 | 2020-12-18 | 王程 | 若干幅无序影像智能分类与拼接方法 |
CN112258391A (zh) * | 2020-10-12 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种基于道路交通标线的碎片化地图拼接方法 |
CN112364881A (zh) * | 2020-04-01 | 2021-02-12 | 武汉理工大学 | 一种进阶采样一致性图像匹配算法 |
CN113205457A (zh) * | 2021-05-11 | 2021-08-03 | 华中科技大学 | 一种微观图像拼接方法及系统 |
CN113658041A (zh) * | 2021-07-23 | 2021-11-16 | 华南理工大学 | 一种基于多图特征联合匹配的图像快速拼接方法 |
CN113674174A (zh) * | 2021-08-23 | 2021-11-19 | 宁波棱镜空间智能科技有限公司 | 一种基于显著行匹配的线扫圆柱体几何校正方法及装置 |
CN113689331A (zh) * | 2021-07-20 | 2021-11-23 | 中国铁路设计集团有限公司 | 一种复杂背景下的全景图像拼接方法 |
CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
CN117455768A (zh) * | 2023-12-26 | 2024-01-26 | 深圳麦哲科技有限公司 | 一种三目摄像头图像拼接方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130071012A1 (en) * | 2011-03-03 | 2013-03-21 | Panasonic Corporation | Image providing device, image providing method, and image providing program for providing past-experience images |
CN103136751A (zh) * | 2013-02-05 | 2013-06-05 | 电子科技大学 | 一种改进型sift图像特征匹配算法 |
CN105608667A (zh) * | 2014-11-20 | 2016-05-25 | 深圳英飞拓科技股份有限公司 | 一种全景拼接的方法及装置 |
US20170187953A1 (en) * | 2015-01-19 | 2017-06-29 | Ricoh Company, Ltd. | Image Acquisition User Interface for Linear Panoramic Image Stitching |
CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
-
2017
- 2017-11-30 CN CN201711241376.1A patent/CN107918927B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130071012A1 (en) * | 2011-03-03 | 2013-03-21 | Panasonic Corporation | Image providing device, image providing method, and image providing program for providing past-experience images |
CN103136751A (zh) * | 2013-02-05 | 2013-06-05 | 电子科技大学 | 一种改进型sift图像特征匹配算法 |
CN105608667A (zh) * | 2014-11-20 | 2016-05-25 | 深圳英飞拓科技股份有限公司 | 一种全景拼接的方法及装置 |
US20170187953A1 (en) * | 2015-01-19 | 2017-06-29 | Ricoh Company, Ltd. | Image Acquisition User Interface for Linear Panoramic Image Stitching |
CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
Non-Patent Citations (3)
Title |
---|
FANG TIAN 等: "Image Mosaic using ORB descriptor and improved blending algorithm", 《 2014 7TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
YINGEN XIONG 等: "Color correction for mobile panorama imaging", 《ICIMCS "09: PROCEEDINGS OF THE FIRST INTERNATIONAL CONFERENCE ON INTERNET MULTIMEDIA COMPUTING AND SERVICE》 * |
雷博文 等: "一种用于螺纹桶内壁图像拼接的匹配方法", 《河南科技大学学报( 自然科学版)》 * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764254A (zh) * | 2018-05-21 | 2018-11-06 | 深圳大学 | 一种图像特征点描述方法 |
CN108898550A (zh) * | 2018-05-30 | 2018-11-27 | 中国人民解放军军事科学院国防科技创新研究院 | 基于空间三角面片拟合的图像拼接方法 |
CN108898550B (zh) * | 2018-05-30 | 2022-05-17 | 中国人民解放军军事科学院国防科技创新研究院 | 基于空间三角面片拟合的图像拼接方法 |
CN108765416A (zh) * | 2018-06-15 | 2018-11-06 | 福建工程学院 | 基于快速几何对准的pcb表面缺陷检测方法及装置 |
CN108765416B (zh) * | 2018-06-15 | 2023-10-03 | 福建工程学院 | 基于快速几何对准的pcb表面缺陷检测方法及装置 |
CN111107307A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技(上海)有限公司 | 基于单应性变换的视频融合方法、系统、终端及介质 |
CN109961399A (zh) * | 2019-03-15 | 2019-07-02 | 西安电子科技大学 | 基于图像距离变换的最佳缝合线搜寻方法 |
CN109961399B (zh) * | 2019-03-15 | 2022-12-06 | 西安电子科技大学 | 基于图像距离变换的最佳缝合线搜寻方法 |
CN110012238A (zh) * | 2019-03-19 | 2019-07-12 | 腾讯音乐娱乐科技(深圳)有限公司 | 多媒体拼接方法、装置、终端及存储介质 |
CN110012238B (zh) * | 2019-03-19 | 2021-06-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 多媒体拼接方法、装置、终端及存储介质 |
CN110211025A (zh) * | 2019-04-25 | 2019-09-06 | 北京理工大学 | 用于图像拼接的捆绑调整方法、存储介质和计算设备 |
CN110223338A (zh) * | 2019-06-11 | 2019-09-10 | 中科创达(重庆)汽车科技有限公司 | 基于图像提取的深度信息计算方法、装置及电子设备 |
CN110288533A (zh) * | 2019-07-02 | 2019-09-27 | 河北农业大学 | 一种非旋转图像的快速拼接方法 |
CN110288533B (zh) * | 2019-07-02 | 2022-12-06 | 河北农业大学 | 一种非旋转图像的快速拼接方法 |
CN110940670A (zh) * | 2019-11-25 | 2020-03-31 | 佛山缔乐视觉科技有限公司 | 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法 |
CN110940670B (zh) * | 2019-11-25 | 2023-04-28 | 佛山缔乐视觉科技有限公司 | 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法 |
CN111179170A (zh) * | 2019-12-18 | 2020-05-19 | 深圳北航新兴产业技术研究院 | 一种显微血细胞图像快速全景拼接方法 |
CN111179170B (zh) * | 2019-12-18 | 2023-08-08 | 深圳北航新兴产业技术研究院 | 一种显微血细胞图像快速全景拼接方法 |
CN111445389A (zh) * | 2020-02-24 | 2020-07-24 | 山东省科学院海洋仪器仪表研究所 | 一种高分辨率图像的宽视角快速拼接方法 |
CN112364881A (zh) * | 2020-04-01 | 2021-02-12 | 武汉理工大学 | 一种进阶采样一致性图像匹配算法 |
CN112364881B (zh) * | 2020-04-01 | 2022-06-28 | 武汉理工大学 | 一种进阶采样一致性图像匹配方法 |
CN111738920A (zh) * | 2020-06-12 | 2020-10-02 | 山东大学 | 一种面向全景拼接加速的fpga架构及全景图像拼接方法 |
CN111754408A (zh) * | 2020-06-29 | 2020-10-09 | 中国矿业大学 | 一种高实时性的图像拼接方法 |
CN112101475A (zh) * | 2020-09-22 | 2020-12-18 | 王程 | 若干幅无序影像智能分类与拼接方法 |
CN112258391A (zh) * | 2020-10-12 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种基于道路交通标线的碎片化地图拼接方法 |
CN113205457A (zh) * | 2021-05-11 | 2021-08-03 | 华中科技大学 | 一种微观图像拼接方法及系统 |
CN113689331A (zh) * | 2021-07-20 | 2021-11-23 | 中国铁路设计集团有限公司 | 一种复杂背景下的全景图像拼接方法 |
CN113658041A (zh) * | 2021-07-23 | 2021-11-16 | 华南理工大学 | 一种基于多图特征联合匹配的图像快速拼接方法 |
CN113658041B (zh) * | 2021-07-23 | 2024-04-02 | 华南理工大学 | 一种基于多图特征联合匹配的图像快速拼接方法 |
CN113674174A (zh) * | 2021-08-23 | 2021-11-19 | 宁波棱镜空间智能科技有限公司 | 一种基于显著行匹配的线扫圆柱体几何校正方法及装置 |
CN113674174B (zh) * | 2021-08-23 | 2023-10-20 | 宁波棱镜空间智能科技有限公司 | 一种基于显著行匹配的线扫圆柱体几何校正方法及装置 |
CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
CN117455768A (zh) * | 2023-12-26 | 2024-01-26 | 深圳麦哲科技有限公司 | 一种三目摄像头图像拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107918927B (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107918927B (zh) | 一种匹配策略融合及低误差的快速图像拼接方法 | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN109410207B (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
CN107154014B (zh) | 一种实时彩色及深度全景图像拼接方法 | |
CN111445389A (zh) | 一种高分辨率图像的宽视角快速拼接方法 | |
CN110992263B (zh) | 一种图像拼接方法及系统 | |
CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
CN106384383A (zh) | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 | |
CN107016646A (zh) | 一种基于改进的逼近投影变换图像拼接方法 | |
CN109523583B (zh) | 一种基于反馈机制的电力设备红外与可见光图像配准方法 | |
CN109858527B (zh) | 一种图像融合方法 | |
CN111192194B (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
CN107154017A (zh) | 一种基于sift特征点匹配的图像拼接方法 | |
CN112396643A (zh) | 一种尺度不变特征与几何特征融合的多模态高分影像配准方法 | |
CN106910208A (zh) | 一种存在运动目标的场景图像拼接方法 | |
CN112801870B (zh) | 一种基于网格优化的图像拼接方法,拼接系统及可读存储介质 | |
CN114529593A (zh) | 红外与可见光图像配准方法、系统、设备、图像处理终端 | |
CN110084743A (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN110111292A (zh) | 一种红外与可见光图像融合方法 | |
CN109919832A (zh) | 一种用于无人驾驶的交通图像拼接方法 | |
CN115393196B (zh) | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 | |
CN111311657B (zh) | 一种基于改进角点主方向分配的红外图像同源配准方法 | |
CN111047513A (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210604 Termination date: 20211130 |
|
CF01 | Termination of patent right due to non-payment of annual fee |