CN111179173A - 一种基于离散小波变换和坡度融合算法的图像拼接方法 - Google Patents
一种基于离散小波变换和坡度融合算法的图像拼接方法 Download PDFInfo
- Publication number
- CN111179173A CN111179173A CN201911371191.1A CN201911371191A CN111179173A CN 111179173 A CN111179173 A CN 111179173A CN 201911371191 A CN201911371191 A CN 201911371191A CN 111179173 A CN111179173 A CN 111179173A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- pixel
- fusion
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims description 54
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于离散小波变换和坡度融合算法的图像拼接方法，先对参考图像和目标图像进行投影变换，再经过SURF算法提取特征点并利用KNN算法和RANSAC算法进行配准，然后寻找最佳缝合线确定融合区域及其掩模图，进行离散小波变换后使用坡度融合算法对分解的低频区域和高频区域分别进行融合，利用离散小波逆变换生成融合图像，最后利用掩模图进行拼接得到最终的拼接图像。本发明可以提高图像拼接的质量。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种基于离散小波变换和坡度融合算法的图像拼接方法。
背景技术
图像拼接是指将几幅具有重叠区域的图像拼接成一幅无缝的全景图或高分辨图像的技术，被广泛应用于计算机视觉、医学图像分析、遥感图像以及虚拟现实等领域。图像融合是图像拼接的一个重要部分，而传统的像素级融合算法，比如平均融合算法与比较融合算法，会使得拼接的图像变得模糊，渐入渐出融合算法又没有充分考虑参考图像和目标图像的清晰度差异问题，导致融合后的图像细节信息不足。离散小波变换是常用的图像融合工具，传统的基于离散小波变换的融合算法采用基于区域特性量测的规则，该算法应用于彩色图像时会使得融合图像变得模糊。
发明内容
有鉴于此，本发明的目的是提供一种基于离散小波变换和坡度融合算法的图像拼接方法，拼接图像的细节信息更为丰富，拼接的质量更高。
本发明采用以下方案实现：一种基于离散小波变换和坡度融合算法的图像拼接方法，包括以下步骤：
步骤S1：获取参考图像和目标图像，分别对参考图像和目标图像进行柱面投影变换，用以保持拼接图像的视觉一致性；
步骤S2：经由步骤S1得到的参考图像和目标图像的柱面投影图像，使用SURF算法分别提取它们的特征点，然后使用双向KNN算法进行粗匹配，剔除大量未匹配的特征点，再使用RANSAC算法对KNN结果进行提纯得到匹配点对进行配准；
步骤S3：经由步骤S2配准的图像，确定重叠区域，在重叠区域内利用动态规划寻找最佳缝合线，在最佳缝合线附近确定融合区域，同时生成融合区域的公共掩模图像；
步骤S4：经由步骤S3确定的融合区域，对融合区域进行离散小波变换，生成一个代表图像轮廓的低频区域和多个代表图像细节的高频区域；
步骤S5：经由步骤S4得到的低频区域和高频区域，分别使用坡度融合算法进行融合，然后将融合结果进行离散小波逆变换生成融合图像；
步骤S6：经由步骤S3确定的掩模图像以及步骤S5得到的融合图像，利用掩模图像，对公共部分选取融合图像的像素，非公共部分选取参考图像或目标图像的像素生成最终的拼接结果。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：分别对参考图像和目标图像进行柱面投影变换：令参考图像的宽为W1，高为H1，像素的坐标为(x1,y1)，投影至圆柱曲面的坐标为(x′1,y′1)，投影半径为R1；通过反向投影变换去求对应的参考图像的坐标值；反向投影公式为：
同样地，令目标图像的宽为W2，高为H2，像素的坐标为(x2,y2)，投影至圆柱曲面的坐标为(x′2,y′2)，投影半径为R2；反向投影公式为：
步骤S12：由于投影的结果(x1,y1)和(x2,y2)均为浮点数，因此使用精度更高的双三次插值法得到投影图像，用以保留图像细节；首先给出BiCubic基函数：
其中a＝-0.5，则双三次插值法原理为：令参考图像上投影点的坐标(x1,y1)＝(ix1+u1,iy1+v1)，其中(ix1,iy1)表示整数部分，(u1,v1)表示小数部分，使用像素点(ix1,iy1)邻近的16个像素点的灰度值来计算其柱面投影图像处的像素点灰度值；邻近的16个像素点坐标由公式p1(m,n)＝(ix1-1+m,iy1-1+n),m＝0,1,2,3,n＝0,1,2,3，来确定；通过BiCubic基函数来计算这16个像素对于投影点处像素灰度值的权值，计算准则为：记系数k1(r,0)＝W(1+u1)，k1(r,1)＝W(u1),k1(r,2)＝W(1-u1),k1(r,3)＝W(2-u1),r＝0,1,2,3，k1(0,c)＝W(1+v1)，k1(1,c)＝W(v1),k1(2,c)＝W(1-v1),k1(3,c)＝W(2-v1),c＝0,1,2,3，则像素点p1(m,n)处的权值weight1(m,n)＝k1(m,c)*k1(r,n)，最后通过求和公式计算参考图像柱面投影图像的像素灰度值，公式为：
其中G(x′1,y′1)表示像素点(x′1,y′1)处的灰度值，G1(m,n)表示像素点p1(m,n)处的灰度值；同样地，令目标图像上投影点的坐标(x2,y2)＝(ix2+u2,iy2+v2)，其中(ix2,iy2)表示整数部分，(u2,v2)表示小数部分，使用像素点(ix2,iy2)邻近的16个像素点的灰度值来计算其柱面投影图像处的像素点灰度值；邻近的16个像素点坐标由公式p2(m,n)＝(ix2-1+m,iy2-1+n),m＝0,1,2,3,n＝0,1,2,3来确定；通过BiCubic基函数来计算这16个像素对于投影点处像素灰度值的权值，计算准则为：记系数k2(r,0)＝W(1+u2)，k2(r,1)＝W(u2),k2(r,2)＝W(1-u2),k2(r,3)＝W(2-u2),r＝0,1,2,3，k2(0,c)＝W(1+v2)，k2(1,c)＝W(v2),k2(2,c)＝W(1-v2),k2(3,c)＝W(2-v2),c＝0,1,2,3，则像素点p2(m,n)处的权值weight2(m,n)＝k2(m,c)*k2(r,n)，最后通过求和公式计算目标图像柱面投影图像的像素灰度值，公式为：
其中G(x′2,y′2)表示像素点(x′2,y′2)处的灰度值，G2(m,n)表示像素点p2(m,n)处的灰度值。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：使用SURF算法提取特征点；
步骤S22：使用双向KNN算法剔除大量未匹配点：在参考图像上构建特征点的KD-tree，记参考图像的点为Q1，使用BBF(Best Bin First)搜索策略寻找Q1在目标图像上的K个近邻点，记最近邻点为Dfirst，次近邻点为Dsecond，如果Dfirst/Dsecond≤T，T为阈值，则将(Q1,Dfirst)与(Q1,Dsecond)加入候选匹配点对，候选匹配点对记为Match1；否则，不加入候选匹配点对；同样地，在目标图像上构建特征点的KD-tree，记目标图像的点为Q2，使用BBF搜索策略寻找Q2在参考图像上的K个近邻点，记最近邻点为Mfirst，次近邻点为Msecond，如果Mfirst/Msecond≤T，T为阈值，则将(Q2,Mfirst)与(Q2,Msecond)加入候选匹配点对,候选匹配点对记为Match2；否则，不加入候选匹配点对；对获取到的两组候选匹配点对Match1和Match2，令Match1中用于构建KD-tree的参考图像的点记为查找点QP1，与之匹配的目标图像中的点记为训练点TP1，而在Match2中用于构建KD-tree的目标图像的点记为查找点QP2，与之匹配的参考图像中的点记为训练点TP2；根据Match1中的QP1得到对应的TP1，去Match2中寻找对应的查找点QP2，如果QP2的训练点TP2等于QP1，则加入公共匹配点对；将它们的公共匹配点对作为初始匹配结果，用以减少初始匹配中的误匹配点对；
步骤S23:使用RANSAC算法进一步剔除误匹配点对：对于初始匹配点对，从匹配数据集中随机抽出4个不共线的样本，计算出单应性矩阵记为模型H，该模型满足公式：
其中(x,y)表示输入图像的像素坐标值，(x′,y′)表示经过仿射变换后的像素坐标值，
是3×3的矩阵；然后利用这个模型H测试所有数据，并计算满足这个模型的数据点的投影误差PE，计算公式为：
若PE≤T，T为阈值，记为内点；若误差大于阈值，记为外点；通过不断迭代的方式，寻找最优参数模型，即内点最多的模型；根据寻找到的最优参数模型，剔除所有外点，同时得到单应性矩阵；利用得到的单应性矩阵，将参考图像和目标图像仿射变换到统一坐标系下，完成图像配准。
进一步地，所述步骤S3具体包括以下步骤：
步骤S31：根据步骤S2配准的结果，确定两幅图像的重叠区域；
步骤S32：在重叠区域内寻找最佳缝合线，先计算两幅图像重叠区域的能量值，生成能量值二维数组A，数组A保存的是两幅图像重叠区域在坐标(x,y)处的能量值，其计算公式为：
其中Ec(x,y)＝I1(x,y)-I2(x,y)，表示两幅图像的颜色差异强度值；
I1(x,y),I2(x,y)分别表示参考图像和目标图像的像素灰度值；
表示图像的结构差异强度值，Sx,Sy分别表示3×3的Sobel算子模板，
表示卷积运算，α表示权值，再利用动态规划找到能量值最小的一条缝合线；
步骤S33：确定缝合线的左右边界，在边界两边扩展适当的宽度W，W＝50，组成最终的融合区域；
步骤S34：生成公共掩模图：根据获取到的原始的参考图像和目标图像，生成两幅初始掩模图，灰度值＝255，分别记为Mask10和Mask20；步骤S1中对参考图像和目标图像进行投影变换的同时也对初始掩模图Mask10和Mask20进行投影变换，生成Mask11和Mask21，投影变换时映射的有效区域使用白色像素填充，灰度值＝255，无效区域使用黑色像素填充，灰度值＝0；步骤S23中对目标图像进行仿射变换的同时，也对目标图像的掩模图Mask21进行仿射变换，生成Mask22；经过投影变换和仿射变换后的两幅掩模图Mask11和Mask22，再根据步骤S33中确定的融合区域范围，也在掩模图上确定对应的区域，然后根据两幅融合区域的掩模图，生成公共掩模图Mask即：如果两幅掩模图的灰度值均为255，则公共掩模图Mask对应位置像素点灰度值也为255，否则为灰度值为0。
进一步地，步骤S32中所述利用动态规划找到能量值最小的一条缝合线的具体内容为：
通过计算两幅图像重叠区域每个像素点的能量值，从而生成的能量值二维数组A，假设其宽度为W；从数组A的第一行起，生成以第一行像素点为起始点的W条初始缝合线，然后比较每条缝合线当前像素所在行的左右两个像素点以及下一行紧邻的三个像素点即分别为该像素点下方、左下方和右下方的三个像素点的能量值，选择能量值最小的那个像素点作为扩展点，重复此过程直到最后一行。通过累加每条缝合线的能量值，找出能量值总和最小的一条缝合线。
进一步地，所述步骤S4的具体内容为：
对融合区域进行离散小波分解使用Haar小波变换进行分解，假设图像其中一行像素为a0～a2n-1，小波分解后前n个像素表示低频部分，记为l0～ln-1，后n个像素表示高频部分，记为h0～hn-1，则计算规则为li＝(a2i+a2i+1)/2，hi＝(a2i-a2i+1)/2，i＝0,1,...,n-1；对每一行执行同样的操作，生成一维Haar小波变换结果，然后对每一列再次进行同样的操作，生成二维Haar小波变换结果；一次小波分解，生成一个代表图像轮廓的低频区域和三个代表图像细节的高频区域；对每次小波变换结果的低频区域再次进行二维Haar小波变换，实现多尺度分解，最终生成一个低频区域和多个高频区域。
进一步地，所述步骤S5具体包括以下步骤：
步骤S51：使用坡度融合算法：图像融合的通用公式为：I(x,y)＝ω1I1(x,y)+ω2I2(x,y)，其中I1(x,y)，I2(x,y)分别表示参考图像和目标图像的灰度值，I(x,y)表示融合图像的灰度值，ω1，ω2分别表示参考图像和目标图像的权值；坡度融合算法权值的公式为：ω1＝1-x3/d3,ω2＝1-ω1；坡度融合算法在权值的选取上侧重于参考图像，使得融合的图像能够保留更多的信息；
步骤S52：对参考图像和目标图像的融合区域都进行离散小波变换后，两幅图像均会生成一个低频区域以及多个高频区域，将每个区域作为一个独立的图像，并在每个独立区域上分别使用坡度融合算法，使得融合后的图像能够保留更多的图像细节信息，增强图像的质量；
步骤S53：最后将分区域融合结果使用Haar小波逆变换还原，得到最终的融合图像；Haar小波逆变换是对步骤S4中提及的Haar小波变换进行解析线性方程的过程，逆变换的公式为：a2i＝li+hi,a2i+1＝li-hi,i＝0,1,...,n-1。
进一步地，步骤S6中所述最终拼接图像的生成具体方法为：由步骤S23中参考图像和目标图像仿射变换到统一坐标系下，能够确定最终拼接图像的尺寸，据此生成一幅与拼接图像尺寸相同的图像I，像素值全部初始化为0；由步骤S34获得的融合区域公共掩模图Mask，对于Mask的有效区域，灰度值＝255,，图像I对应位置的像素点选择步骤S5中获得的融合图像对应位置的像素，而对于其他区域的像素点，，再根据步骤S34中获得的参考图像与目标图像的掩模图Mask11和Mask22；图像I选取参考图像或者目标图像的像素即对于Mask11中灰度值＝255而Mask22中灰度值＝0的像素点，则选取参考图像对应位置的像素，反之选取目标图像对应位置的像素，生成的图像I作为最终的拼接图像。
与现有技术相比，本发明具有以下有益效果：
本发明拼接图像的细节信息更为丰富，拼接的质量更高。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的实验采集图像，其中，图2(a)为参考图像，图2(b)为目标图像,图2(c)为参考图像柱面投影变换图，图2(d)为目标图像柱面投影变换图。
图3为本发明实施例的进行配准处理结果图，其中，图3(a)为参考图像构建KD-tree进行KNN匹配结果图，图3(b)为目标图像构建KD-tree进行KNN匹配结果图,图3(c)为双向KNN匹配结果图，图3(d)为RANSAC结果图。
图4为本发明实施例的最佳缝合线掩模图和融合区域公共掩模图，其中，图4(a)为最佳缝合线掩模图，图4(b)为融合区域公共掩模图。
图5为本发明实施例的生成拼接图像图，其中，图5(a)为小波融合框图，图5(b)为融合区域离散小波变换与坡度融合结果图,图5(c)为最终拼接结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供一种基于离散小波变换和坡度融合算法的图像拼接方法，先对参考图像和目标图像进行投影变换，再经过SURF算法提取特征点并利用KNN算法和RANSAC算法进行配准，然后寻找最佳缝合线确定融合区域及其掩模图，进行离散小波变换后使用坡度融合算法对分解的低频区域和高频区域分别进行融合，利用离散小波逆变换生成融合图像，最后利用掩模图进行拼接得到最终的拼接图像。具体实现包括以下步骤：
步骤S1：获取参考图像和目标图像，分别对参考图像和目标图像进行柱面投影变换，这是由于在做全景图像拼接时，柱面投影变换可以有效的保持拼接图像的视觉一致性；
步骤S2：经由步骤S1得到的参考图像和目标图像的柱面投影图像，使用SURF算法分别提取它们的特征点，然后使用双向KNN算法进行粗匹配，剔除大量未匹配的特征点，再使用RANSAC算法对KNN结果进行提纯得到匹配点对进行配准；
步骤S3：经由步骤S2配准的图像，确定重叠区域，在重叠区域内利用动态规划寻找最佳缝合线，在最佳缝合线附近确定融合区域，同时生成融合区域的公共掩模图像；
步骤S4：经由步骤S3确定的融合区域，对融合区域进行离散小波变换(DWT)，生成一个代表图像轮廓的低频区域和多个代表图像细节的高频区域；
步骤S5：经由步骤S4得到的低频区域和高频区域，分别使用坡度融合算法进行融合，然后将融合结果进行离散小波逆变换(IDWT)生成融合图像；
步骤S6：经由步骤S3确定的掩模图像以及步骤S5得到的融合图像，利用掩模图像，对公共部分选取融合图像的像素，非公共部分选取参考图像或目标图像的像素生成最终的拼接结果。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：分别对参考图像和目标图像进行柱面投影变换：令参考图像的宽为W1，高为H1，像素的坐标为(x1,y1)，投影至圆柱曲面的坐标为(x′1,y′1)，投影半径为R1；由于图像像素坐标值是整型数，因此能够通过反向投影变换去求对应的参考图像的坐标值；反向投影公式为：
同样地，令目标图像的宽为W2，高为H2，像素的坐标为(x2,y2)，投影至圆柱曲面的坐标为(x′2,y′2)，投影半径为R2；反向投影公式为：
步骤S12：由于投影的结果(x1,y1)和(x2,y2)均为浮点数，因此使用精度更高的双三次插值法得到投影图像，用以保留图像细节。首先给出BiCubic基函数：
(其中a＝-0.5)，则双三次插值法原理为：假设参考图像上投影点的坐标(x1,y1)＝(ix1+u1,iy1+v1)，其中(ix1,iy1)表示整数部分，(u1,v1)表示小数部分，使用像素点(ix1,iy1)邻近的16个像素点的灰度值来计算其柱面投影图像处的像素点灰度值。这16个像素点坐标由公式p2(m,n)＝(ix2-1+m,iy2-1+n),m＝0,1,2,3,n＝0,1,2,3来确定，例如令(ix2,iy2)＝(2,3)表示参考图像第二行第三列的像素，则p1(0,0)＝(1,2)表示参考图像第一行第二列的像素。通过BiCubic基函数来计算这16个像素对于投影点处像素灰度值的权值，计算准则为：记系数k1(r,0)＝W(1+u1)，k1(r,1)＝W(u1),k1(r,2)＝W(1-u1),k1(r,3)＝W(2-u1),r＝0,1,2,3，k1(0,c)＝W(1+v1)，k1(1,c)＝W(v1),k1(2,c)＝W(1-v1),k1(3,c)＝W(2-v1),c＝0,1,2,3，则像素点p1(m,n)处的权值weight1(m,n)＝k1(m,c)*k1(r,n)，比如weight1(1,2)＝k1(1,c)*k1(r,2)＝W(v1)*W(1-u1)。最后通过求和公式计算参考图像柱面投影图像的像素灰度值，公式为：
其中G(x′1,y′1)表示像素点(x′1,y′1)处的灰度值，G1(m,n)表示像素点p1(m,n)处的灰度值。同样地，假设目标图像上投影点的坐标(x2,y2)＝(ix2+u2,iy2+v2)，其中(ix2,iy2)表示整数部分，(u2,v2)表示小数部分，使用像素点(ix2,iy2)邻近的16个像素点的灰度值来计算其柱面投影图像处的像素点灰度值。这16个像素点坐标由公式p2(m,n)＝(ix2-1+m,iy2-1+n),m＝0,1,2,3,n＝0,1,2,3来确定，例如令(ix2,iy2)＝(2,3)表示目标图像第二行第三列的像素，则p1(0,0)＝(1,2)表示目标图像第一行第二列的像素。通过BiCubic基函数来计算这16个像素对于投影点处像素灰度值的权值，计算准则为：记系数k2(r,0)＝W(1+u2)，k2(r,1)＝W(u2),k2(r,2)＝W(1-u2),k2(r,3)＝W(2-u2),r＝0,1,2,3，k2(0,c)＝W(1+v2)，k2(1,c)＝W(v2),k2(2,c)＝W(1-v2),k2(3,c)＝W(2-v2),c＝0,1,2,3，则像素点p2(m,n)处的权值weight2(m,n)＝k2(m,c)*k2(r,n)，比如weight2(1,2)＝k2(1,c)*k2(r,2)＝W(v2)*W(1-u2)。最后通过求和公式计算目标图像柱面投影图像的像素灰度值，公式为：
其中G(x′2,y′2)表示像素点(x′2,y′2)处的灰度值，G2(m,n)表示像素点p2(m,n)处的灰度值。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：使用SURF算法提取特征点；
步骤S22：使用双向KNN算法剔除大量未匹配点：在参考图像上构建特征点的KD-tree，记参考图像的点为Q1，使用BBF搜索策略寻找Q1在目标图像上的K(本实施例中K＝2)个近邻点，记最近邻点为Dfirst，次近邻点为Dsecond，如果Dfirst/Dsecond≤T，T为阈值且本实施例中T＝0.6，则将(Q1,Dfirst)与(Q1,Dsecond)加入候选匹配点对，候选匹配点对记为Match1；否则，不加入候选匹配点对；同样地，在目标图像上构建特征点的KD-tree，记目标图像的点为Q2，使用BBF搜索策略寻找Q2在参考图像上的K(本实施例中K＝2)个近邻点，记最近邻点为Mfirst，次近邻点为Msecond，如果Mfirst/Msecond≤T，T为阈值且本实施例中T＝0.6，则将(Q2,Mfirst)与(Q2,Msecond)加入候选匹配点对,候选匹配点对记为Match2；否则，不加入候选匹配点对；对获取到的两组候选匹配点对Match1和Match2，令Match1中用于构建KD-tree的参考图像的点记为查找点QP1，与之匹配的目标图像中的点记为训练点TP1，而在Match2中用于构建KD-tree的目标图像的点记为查找点QP2，与之匹配的参考图像中的点记为训练点TP2。根据Match1中的QP1得到对应的TP1，去Match2中寻找对应的查找点QP2，如果QP2的训练点TP2等于QP1，则加入公共匹配点对。将它们的公共匹配点对作为初始匹配结果，用以减少初始匹配中的误匹配点对。
步骤S23:使用RANSAC算法进一步剔除误匹配点对：对于初始匹配点对，从匹配数据集中随机抽出4个不共线的样本，计算出单应性矩阵记为模型H，改模型满足公式：
其中(x,y)表示输入图像的像素坐标值，(x′,y′)表示经过仿射变换后的像素坐标值，
是3×3的矩阵。然后利用这个模型H测试所有数据，并计算满足这个模型的数据点的投影误差PE，计算公式为：
若PE≤T(T为阈值且本实施例中T＝3)记为内点；若误差大于阈值，记为外点；通过不断迭代的方式，寻找最优参数模型，即内点最多的模型；根据寻找到的最优参数模型，剔除所有外点，同时得到单应性矩阵；利用得到的单应性矩阵，将参考图像和目标图像仿射变换到统一坐标系下，完成图像配准。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：根据步骤S2配准的结果，确定两幅图像的重叠区域；
步骤S32：在重叠区域内寻找最佳缝合线，先计算两幅图像重叠区域的能量值，生成能量值二维数组A，数组A保存的是两幅图像重叠区域在坐标(x,y)处的能量值，其计算公式为：
其中Ec(x,y)＝I1(x,y)-I2(x,y)，表示两幅图像的颜色差异强度值；
I1(x,y),I2(x,y)分别表示参考图像和目标图像的像素灰度值；
表示图像的结构差异强度值，Sx,Sy分别表示3×3的Sobel算子模板，
表示卷积运算，α表示权值(本实施例中α＝0.83)，再利用动态规划找到能量值最小的一条缝合线；
步骤S33：确定缝合线的左右边界，在边界两边扩展适当的宽度W，W＝50，组成最终的融合区域；
步骤S34：生成公共掩模图：根据获取到的原始的参考图像和目标图像，生成两幅初始掩模图，灰度值＝255，分别记为Mask10和Mask20；步骤S1中对参考图像和目标图像进行投影变换的同时也对初始掩模图Mask10和Mask20进行投影变换，生成Mask11和Mask21，投影变换时映射的有效区域使用白色像素填充，灰度值＝255，无效区域使用黑色像素填充，灰度值＝0；步骤S23中对目标图像进行仿射变换的同时，也对目标图像的掩模图Mask21进行仿射变换，生成Mask22；经过投影变换和仿射变换后的两幅掩模图Mask11和Mask22，再根据步骤S33中确定的融合区域范围，也在掩模图上确定对应的区域，然后根据两幅融合区域的掩模图，生成公共掩模图Mask即：如果两幅掩模图的灰度值均为255，则公共掩模图Mask对应位置像素点灰度值也为255，否则为灰度值为0。
在本实施例中，步骤S32中所述利用动态规划找到能量值最小的一条缝合线的具体内容为：通过步骤S32的计算规则，计算两幅图像重叠区域每个像素点的能量值，从而生成的能量值二维数组A，假设其宽度为W。从数组A的第一行起，生成以第一行像素点为起始点的W条初始缝合线，然后比较每条缝合线当前像素所在行的左右两个像素点以及下一行紧邻的三个像素点即分别为该像素点下方、左下方和右下方的三个像素点的能量值，选择能量值最小的那个像素点作为扩展点，重复此过程直到最后一行。通过累加每条缝合线的能量值，找出能量值总和最小的一条缝合线。
在本实施例中，所述步骤S4的具体内容为：
对融合区域进行离散小波分解(DWT)，DWT是对图像进行多尺度分解的一种工具，可以改善图像的细节信息，而且融合速度快，融合效果更佳。对融合区域进行离散小波分解使用Haar小波变换进行分解，假设图像其中一行像素为a0～a2n-1，小波分解后前n个像素表示低频部分，记为l0～ln-1，后n个像素表示高频部分，记为h0～hn-1，则计算规则为li＝(a2i+a2i+1)/2，hi＝(a2i-a2i+1)/2，i＝0,1,...,n-1；对每一行执行同样的操作，生成一维Haar小波变换结果，然后对每一列再次进行同样的操作，生成二维Haar小波变换结果；一次小波分解，生成一个代表图像轮廓的低频区域和三个代表图像细节的高频区域；对每次小波变换结果的低频区域再次进行二维Haar小波变换，实现多尺度分解，最终生成一个低频区域和多个高频区域。
在本实施例中，所述步骤S5具体包括以下步骤：
步骤S51：使用坡度融合算法：图像融合的通用公式为：I(x,y)＝ω1I1(x,y)+ω2I2(x,y)，其中I1(x,y)，I2(x,y)分别表示参考图像和目标图像的灰度值，I(x,y)表示融合图像的灰度值，ω1，ω2分别表示参考图像和目标图像的权值；传统的渐入渐出算法，在权值的选取上使用的公式为：ω1＝1-x/d,ω2＝1-ω1，其中d表示融合区域的宽度，x表示参考图像融合区域像素点与融合区域左边界的距离。由于融合点的权值与融合区域左右边界的距离线性相关，没有充分考虑两幅图像清晰度差异的问题(这是因为目标图像多经历了一次仿射变换，清晰度较参考图像低)，导致融合后的图像细节信息量不足。坡度融合算法改进了渐入渐出算法的权值选取规则，权值的公式为：ω1＝1-x3/d3,ω2＝1-ω1；坡度融合算法在权值的选取上侧重于参考图像，这是因为目标图像需要经过计算出的单应性矩阵进行一次额外的仿射变换，使得目标图像和参考图像能够映射到同一坐标系下。然而仿射变换需要采用插值抽样，这会导致目标图像的清晰度进一步降低，因此在权值的选取上侧重于参考图像，用以使得融合的图像能够保留更多的信息；
步骤S52：对参考图像和目标图像的融合区域都进行离散小波变换后，两幅图像均会生成一个低频区域以及多个高频区域，将每个区域作为一个独立的图像，并在每个独立区域上分别使用坡度融合算法，使得融合后的图像能够保留更多的图像细节信息，增强图像的质量；
步骤S53：最后将分区域融合结果使用Haar小波逆变换还原，得到最终的融合图像；Haar小波逆变换是对步骤S4中提及的Haar小波变换进行解析线性方程的过程，逆变换的公式为：a2i＝li+hi,a2i+1＝li-hi,i＝0,1,...,n-1。
在本实施例中，步骤S6中所述最终拼接图像的生成具体方法为：由步骤S23中参考图像和目标图像仿射变换到统一坐标系下，能够确定最终拼接图像的尺寸，据此生成一幅与拼接图像尺寸相同的图像I，像素值全部初始化为0；由步骤S34获得的融合区域公共掩模图Mask，对于Mask的有效区域，灰度值＝255,，图像I对应位置的像素点选择步骤S5中获得的融合图像对应位置的像素，而对于其他区域的像素点，，再根据步骤S34中获得的参考图像与目标图像的掩模图Mask11和Mask22；图像I选取参考图像或者目标图像的像素即对于Mask11中灰度值＝255而Mask22中灰度值＝0的像素点，则选取参考图像对应位置的像素，反之选取目标图像对应位置的像素，生成的图像I作为最终的拼接图像。
较佳的，在本实施例中，针对步骤S1如图2(a)和图2(b)所示，分别是实验用图的参考图像和目标图像，分辨率均为980×552。如图2(c)和图2(d)分别是参考图像和目标图像经过柱面投影变换后的结果。使用柱面投影变换后，有利于保持拼接图像的视觉一致性。
针对步骤S2，如图3(a)和图3(b)所示，分别是以参考图像和目标图像构建KD-tree进行KNN配准的结果，可以看到两幅图依然存在大量的误匹配对。图3(c)是通过筛选两次配准结果中的公共配准点对组成的双向KNN匹配结果图，剔除了大量的误匹配点对。图3(d)是进一步经过RANSAC进行提纯的匹配结果，误匹配点对进一步减少。
针对步骤S3，如图4(a)所示，是最佳缝合线掩模图，生成的掩模图是为了能够方便看出最佳缝合线的走向。在重叠区域利用动态规划寻找到的最佳缝合线，以此确定最佳缝合线的左右边界，然后在左右边界两边同时扩展50个像素的范围，构成融合区域。图4(b)是融合区域的掩模图，融合区域的掩模图是根据参考图像和目标图像的掩模图的公共部分确定的，用来后续拼接图像选取像素。
针对步骤S4、S5和S6，如图5a)所示，是小波融合的框图，融合区域经过两次小波变换后生成一个低频区域和六个高频区域。如图5b)所示，是对低频区域和高频区域进行分区域坡度融合的结果。与传统的平均融合算法和比较融合算法相比，在直观上更加清晰，与渐入渐出算法相比，在客观指标上也有所提升。本实施例使用的客观指标有三个：
1、信息熵(Average Gradient,AG)：反映图像包含信息量的多少，信息熵越大，表示图像所含的信息量越多。定义为：
其中，L表示图像的总的灰度等级，pi表示灰度值为i的像素数占图像总像素数的比例。
2、平均梯度(Average Gradient,AG)：平均梯度反映图像对微小细节反差和纹理变化特征表达的能力，同时反映了图像的清晰度。平均梯度越大，说明图像的可视和分辨效果越好。平均梯度定义为：
3、空间频率(Spatial Frequency,SF)：空间频率反映图像空间域的总体活跃程度。图像的空间频率越大，说明融合图像越好。空间频率定义为：
其中，RF为图像的行频率，CF为图像的列频率，分别定义为：
M和N分别表示图像的宽度和高度。
对融合区域分别使用渐入渐出融合(Gradual Fusion,GF)，坡度融合(SlopeFusion,SF)，离散小波变换和渐入渐出结合的融合(DWT-GF)以及离散小波变换和坡度结合的融合(DWT-SF)算法，并分别计算它们的融合指标如表一所示。
表一
由表一可以看到测试图像使用DWT-SF算法获得的三项融合指标都是最优的。为了使实验更具说服力，本实施例一共使用了50组图像进行测试，并统计四种融合方法中融合指标最佳的图像个数占所有测试组数的百分比，统计结果如表二所示。
表二
由表二可以看出DWT-SF算法相比于其他三种算法融合指标最优。如图5c)所示，对于掩模图公共有效区域的像素，拼接图像选择获得的融合图像的像素，而对于掩模图非公共部分的像素，再根据参考图像与目标图像的各自掩模图，选取参考图像或者目标图像的像素，生成最终的拼接图像。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (8)
1.一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：包括以下步骤：
步骤S1：获取参考图像和目标图像，分别对参考图像和目标图像进行柱面投影变换，用以保持拼接图像的视觉一致性；
步骤S2：经由步骤S1得到的参考图像和目标图像的柱面投影图像，使用SURF算法分别提取它们的特征点，然后使用双向KNN算法进行粗匹配，剔除大量未匹配的特征点，再使用RANSAC算法对KNN结果进行提纯得到匹配点对进行配准；
步骤S3：经由步骤S2配准的图像，确定重叠区域，在重叠区域内利用动态规划寻找最佳缝合线，在最佳缝合线附近确定融合区域，同时生成融合区域的公共掩模图像；
步骤S4：经由步骤S3确定的融合区域，对融合区域进行离散小波变换，生成一个代表图像轮廓的低频区域和多个代表图像细节的高频区域；
步骤S5：经由步骤S4得到的低频区域和高频区域，分别使用坡度融合算法进行融合，然后将融合结果进行离散小波逆变换生成融合图像；
步骤S6：经由步骤S3确定的掩模图像以及步骤S5得到的融合图像，利用掩模图像，对公共部分选取融合图像的像素，非公共部分选取参考图像或目标图像的像素生成最终的拼接结果。
2.根据权利要求1所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：步骤S1具体包括以下步骤：
步骤S11：分别对参考图像和目标图像进行柱面投影变换：令参考图像的宽为W1，高为H1，像素的坐标为(x1,y1)，投影至圆柱曲面的坐标为(x′1,y′1)，投影半径为R1；通过反向投影变换去求对应的参考图像的坐标值；反向投影公式为：
同样地，令目标图像的宽为W2，高为H2，像素的坐标为(x2,y2)，投影至圆柱曲面的坐标为(x′2,y′2)，投影半径为R2；反向投影公式为：
步骤S12：由于投影的结果(x1,y1)和(x2,y2)均为浮点数，因此使用精度更高的双三次插值法得到投影图像，用以保留图像细节；首先给出BiCubic基函数：
其中a＝-0.5，则双三次插值法原理为：令参考图像上投影点的坐标(x1,y1)＝(ix1+u1,iy1+v1)，其中(ix1,iy1)表示整数部分，(u1,v1)表示小数部分，使用像素点(ix1,iy1)邻近的16个像素点的灰度值来计算其柱面投影图像处的像素点灰度值；邻近的16个像素点坐标由公式p1(m,n)＝(ix1-1+m,iy1-1+n),m＝0,1,2,3,n＝0,1,2,3，来确定；通过BiCubic基函数来计算这16个像素对于投影点处像素灰度值的权值，计算准则为：记系数k1(r,0)＝W(1+u1)，k1(r,1)＝W(u1),k1(r,2)＝W(1-u1),k1(r,3)＝W(2-u1),r＝0,1,2,3，k1(0,c)＝W(1+v1)，k1(1,c)＝W(v1),k1(2,c)＝W(1-v1),k1(3,c)＝W(2-v1),c＝0,1,2,3，则像素点p1(m,n)处的权值weight1(m,n)＝k1(m,c)*k1(r,n)；最后通过求和公式计算参考图像柱面投影图像的像素灰度值，公式为：
其中G(x′1,y′1)表示像素点(x′1,y′1)处的灰度值，G1(m,n)表示像素点p1(m,n)处的灰度值；同样地，令目标图像上投影点的坐标(x2,y2)＝(ix2+u2,iy2+v2)，其中(ix2,iy2)表示整数部分，(u2,v2)表示小数部分，使用像素点(ix2,iy2)邻近的16个像素点的灰度值来计算其柱面投影图像处的像素点灰度值；邻近的16个像素点坐标由公式p2(m,n)＝(ix2-1+m,iy2-1+n),m＝0,1,2,3,n＝0,1,2,3来确定；通过BiCubic基函数来计算这16个像素对于投影点处像素灰度值的权值，计算准则为：记系数k2(r,0)＝W(1+u2)，k2(r,1)＝W(u2),k2(r,2)＝W(1-u2),k2(r,3)＝W(2-u2),r＝0,1,2,3，k2(0,c)＝W(1+v2)，k2(1,c)＝W(v2),k2(2,c)＝W(1-v2),k2(3,c)＝W(2-v2),c＝0,1,2,3，则像素点p2(m,n)处的权值weight2(m,n)＝k2(m,c)*k2(r,n)；最后通过求和公式计算目标图像柱面投影图像的像素灰度值，公式为：
其中G(x′2,y′2)表示像素点(x′2,y′2)处的灰度值，G2(m,n)表示像素点p2(m,n)处的灰度值。
3.根据权利要求1所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：使用SURF算法提取特征点；
步骤S22：使用双向KNN算法剔除大量未匹配点：在参考图像上构建特征点的KD-tree，记参考图像的点为Q1，使用BBF搜索策略寻找Q1在目标图像上的K个近邻点，记最近邻点为Dfirst，次近邻点为Dsecond，如果Dfirst/Dsecond≤T，T为阈值，则将(Q1,Dfirst)与(Q1,Dsecond)加入候选匹配点对，候选匹配点对记为Match1；否则，不加入候选匹配点对；同样地，在目标图像上构建特征点的KD-tree，记目标图像的点为Q2，使用BBF搜索策略寻找Q2在参考图像上的K个近邻点，记最近邻点为Mfirst，次近邻点为Msecond，如果Mfirst/Msecond≤T，T为阈值，则将(Q2,Mfirst)与(Q2,Msecond)加入候选匹配点对,候选匹配点对记为Match2；否则，不加入候选匹配点对；对获取到的两组候选匹配点对Match1和Match2，令Match1中用于构建KD-tree的参考图像的点记为查找点QP1，与之匹配的目标图像中的点记为训练点TP1，而在Match2中用于构建KD-tree的目标图像的点记为查找点QP2，与之匹配的参考图像中的点记为训练点TP2；根据Match1中的QP1得到对应的TP1，去Match2中寻找对应的查找点QP2，如果QP2的训练点TP2等于QP1，则加入公共匹配点对；将它们的公共匹配点对作为初始匹配结果，用以减少初始匹配中的误匹配点对；
步骤S23:使用RANSAC算法进一步剔除误匹配点对：对于初始匹配点对，从匹配数据集中随机抽出4个不共线的样本，计算出单应性矩阵记为模型H，该模型满足公式：
其中(x,y)表示输入图像的像素坐标值，(x′,y′)表示经过仿射变换后的像素坐标值，
是3×3的矩阵；然后利用这个模型H测试所有数据，并计算满足这个模型的数据点的投影误差PE，计算公式为：
若PE≤T，T为阈值，记为内点；若误差大于阈值，记为外点；通过不断迭代的方式，寻找最优参数模型，即内点最多的模型；根据寻找到的最优参数模型，剔除所有外点，同时得到单应性矩阵；利用得到的单应性矩阵，将参考图像和目标图像仿射变换到统一坐标系下，完成图像配准。
4.根据权利要求3所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：根据步骤S2配准的结果，确定两幅图像的重叠区域；
步骤S32：在重叠区域内寻找最佳缝合线，先计算两幅图像重叠区域的能量值，生成能量值二维数组A，数组A保存的是两幅图像重叠区域在坐标(x,y)处的能量值，其计算公式为：
其中Ec(x,y)＝I1(x,y)-I2(x,y)，表示两幅图像的颜色差异强度值；
I1(x,y),I2(x,y)分别表示参考图像和目标图像的像素灰度值；
表示图像的结构差异强度值，Sx,Sy分别表示3×3的Sobel算子模板，
表示卷积运算，α表示权值，再利用动态规划找到能量值最小的一条缝合线；
步骤S33：确定缝合线的左右边界，在边界两边扩展适当的宽度W，W＝50，组成最终的融合区域；
步骤S34：生成公共掩模图：根据获取到的原始的参考图像和目标图像，生成两幅初始掩模图，灰度值＝255，分别记为Mask10和Mask20；步骤S1中对参考图像和目标图像进行投影变换的同时也对初始掩模图Mask10和Mask20进行投影变换，生成Mask11和Mask21，投影变换时映射的有效区域使用白色像素填充，灰度值＝255，无效区域使用黑色像素填充，灰度值＝0；步骤S23中对目标图像进行仿射变换的同时，也对目标图像的掩模图Mask21进行仿射变换，生成Mask22；经过投影变换和仿射变换后的两幅掩模图Mask11和Mask22，再根据步骤S33中确定的融合区域范围，也在掩模图上确定对应的区域，然后根据两幅融合区域的掩模图，生成公共掩模图Mask即：如果两幅掩模图的灰度值均为255，则公共掩模图Mask对应位置像素点灰度值也为255，否则为灰度值为0。
5.根据权利要求4所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：步骤S32中所述利用动态规划找到能量值最小的一条缝合线的具体内容为：通过计算两幅图像重叠区域每个像素点的能量值，从而生成的能量值二维数组A，令其宽度为W；从数组A的第一行起，生成以第一行像素点为起始点的W条初始缝合线，然后比较每条缝合线当前像素所在行的左右两个像素点以及下一行紧邻的三个像素点即分别为该像素点下方、左下方和右下方的三个像素点的能量值，选择能量值最小的那个像素点作为扩展点，重复此过程直到最后一行。通过累加每条缝合线的能量值，找出能量值总和最小的一条缝合线。
6.根据权利要求1所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：所述步骤S4的具体内容为：
对融合区域进行离散小波分解使用Haar小波变换进行分解，假设图像其中一行像素为a0～a2n-1，小波分解后前n个像素表示低频部分，记为l0～ln-1，后n个像素表示高频部分，记为h0～hn-1，则计算规则为li＝(a2i+a2i+1)/2，hi＝(a2i-a2i+1)/2，i＝0,1,...,n-1；对每一行执行同样的操作，生成一维Haar小波变换结果，然后对每一列再次进行同样的操作，生成二维Haar小波变换结果；一次小波分解，生成一个代表图像轮廓的低频区域和三个代表图像细节的高频区域；对每次小波变换结果的低频区域再次进行二维Haar小波变换，实现多尺度分解，最终生成一个低频区域和多个高频区域。
7.根据权利要求1所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：所述步骤S5具体包括以下步骤：
步骤S51：使用坡度融合算法：图像融合的通用公式为：I(x,y)＝ω1I1(x,y)+ω2I2(x,y)，其中I1(x,y)，I2(x,y)分别表示参考图像和目标图像的灰度值，I(x,y)表示融合图像的灰度值，ω1，ω2分别表示参考图像和目标图像的权值；坡度融合算法权值的公式为：ω1＝1-x3/d3,ω2＝1-ω1；坡度融合算法在权值的选取上侧重于参考图像，使得融合的图像能够保留更多的信息；
步骤S52：对参考图像和目标图像的融合区域都进行离散小波变换后，两幅图像均会生成一个低频区域以及多个高频区域，将每个区域作为一个独立的图像，并在每个独立区域上分别使用坡度融合算法，使得融合后的图像能够保留更多的图像细节信息，增强图像的质量；
步骤S53：最后将分区域融合结果使用Haar小波逆变换还原，得到最终的融合图像；Haar小波逆变换是对步骤S4中提及的Haar小波变换进行解析线性方程的过程，逆变换的公式为：a2i＝li+hi,a2i+1＝li-hi,i＝0,1,...,n-1。
8.根据权利要求4所述的一种基于离散小波变换和坡度融合算法的图像拼接方法，其特征在于：步骤S6中所述最终拼接图像的生成具体方法为：由步骤S23中参考图像和目标图像仿射变换到统一坐标系下，能够确定最终拼接图像的尺寸，据此生成一幅与拼接图像尺寸相同的图像I，像素值全部初始化为0；由步骤S34获得的融合区域公共掩模图Mask，对于Mask的有效区域，灰度值＝255,，图像I对应位置的像素点选择步骤S5中获得的融合图像对应位置的像素，而对于其他区域的像素点，，再根据步骤S34中获得的参考图像与目标图像的掩模图Mask11和Mask22；图像I选取参考图像或者目标图像的像素即对于Mask11中灰度值＝255而Mask22中灰度值＝0的像素点，则选取参考图像对应位置的像素，反之选取目标图像对应位置的像素，生成的图像I作为最终的拼接图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371191.1A CN111179173B (zh) | 2019-12-26 | 2019-12-26 | 一种基于离散小波变换和坡度融合算法的图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371191.1A CN111179173B (zh) | 2019-12-26 | 2019-12-26 | 一种基于离散小波变换和坡度融合算法的图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179173A true CN111179173A (zh) | 2020-05-19 |
| CN111179173B CN111179173B (zh) | 2022-10-14 |
Family
ID=70657501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911371191.1A Active CN111179173B (zh) | 2019-12-26 | 2019-12-26 | 一种基于离散小波变换和坡度融合算法的图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179173B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709976A (zh) * | 2020-08-24 | 2020-09-25 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速配准方法、系统及计算机设备 |
| CN112233158A (zh) * | 2020-10-14 | 2021-01-15 | 首都师范大学 | 微纳米ct投影图像的二次投影配准方法 |
| CN113435376A (zh) * | 2021-07-05 | 2021-09-24 | 宝鸡文理学院 | 基于离散小波变换的双向特征融合深度卷积神经网络构建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100693371B1 (ko) * | 2005-11-15 | 2007-03-09 | 한국전자통신연구원 | 웨이블릿 기반의 다중 비트 핑거프린트 삽입 및 추출 방법 |
| CN104376548A (zh) * | 2014-11-07 | 2015-02-25 | 中国电子科技集团公司第二十八研究所 | 一种基于改进型surf算法的图像快速拼接方法 |
| CN106910159A (zh) * | 2016-10-12 | 2017-06-30 | 王玲 | 视频拼接方法及装置 |
| CN107146213A (zh) * | 2017-05-08 | 2017-09-08 | 西安电子科技大学 | 基于缝合线的无人机航拍图像拼接方法 |
| CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
| CN110175011A (zh) * | 2019-05-06 | 2019-08-27 | 长春理工大学 | 一种全景影像无缝拼接方法 |
-
2019
- 2019-12-26 CN CN201911371191.1A patent/CN111179173B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100693371B1 (ko) * | 2005-11-15 | 2007-03-09 | 한국전자통신연구원 | 웨이블릿 기반의 다중 비트 핑거프린트 삽입 및 추출 방법 |
| CN104376548A (zh) * | 2014-11-07 | 2015-02-25 | 中国电子科技集团公司第二十八研究所 | 一种基于改进型surf算法的图像快速拼接方法 |
| CN106910159A (zh) * | 2016-10-12 | 2017-06-30 | 王玲 | 视频拼接方法及装置 |
| CN107146213A (zh) * | 2017-05-08 | 2017-09-08 | 西安电子科技大学 | 基于缝合线的无人机航拍图像拼接方法 |
| CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
| CN110175011A (zh) * | 2019-05-06 | 2019-08-27 | 长春理工大学 | 一种全景影像无缝拼接方法 |
Non-Patent Citations (4)
| Title |
|---|
| DAOCHEN WENG 等: "Image Stitching Based on Discrete Wavelet Transform and Slope Fusion", 《INTERNATIONAL CONFERENCE ON MULTI-DISCIPLINARY TRENDS IN ARTIFICIAL INTELLIGENCE》 * |
| ZHONG QU* 等: "The Algorithm of Seamless Image Mosaic Based on A-KAZE Features Extraction and Reducing the Inclination of Image", 《IEEJ TRANSACTIONS ON ELECTRICAL AND ELECTRONIC ENGINEERING》 * |
| 仲明: "基于特征点精确配准的图像拼接技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 杨炳坤 等: "一种面向图像拼接的改进PCA-SIFT算法", 《微电子学与计算机》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709976A (zh) * | 2020-08-24 | 2020-09-25 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速配准方法、系统及计算机设备 |
| CN112233158A (zh) * | 2020-10-14 | 2021-01-15 | 首都师范大学 | 微纳米ct投影图像的二次投影配准方法 |
| CN113435376A (zh) * | 2021-07-05 | 2021-09-24 | 宝鸡文理学院 | 基于离散小波变换的双向特征融合深度卷积神经网络构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179173B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179173B (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| CN108961180B (zh) | 红外图像增强方法及系统 | |
| CN109584156A (zh) | 显微序列图像拼接方法及装置 | |
| JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
| CN1734500A (zh) | 利用基于模型的稳健贝叶斯估算计算较高分辨率图像 | |
| JP2008512767A (ja) | 一般的な２次元空間変換の表現システム及び方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN1415105A (zh) | 光流与成像 | |
| US20130089258A1 (en) | Method and apparatus for removing a visual object from a visual data stream | |
| CN107767357B (zh) | 一种基于多方向字典的深度图像超分辨率方法 | |
| Akl et al. | A survey of exemplar-based texture synthesis methods | |
| CN111179193B (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
| CN112163996A (zh) | 一种基于图像处理的平角视频融合方法 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN112184606A (zh) | 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法 | |
| CN112365518A (zh) | 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法 | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| JP2006350562A (ja) | 画像処理装置及び画像処理プログラム | |
| US10540735B2 (en) | Information processing device, information processing method, and recording medium | |
| Huang et al. | Anatomical‐functional image fusion based on deep convolution neural networks in local Laplacian pyramid domain | |
| CN115619678A (zh) | 一种图像变形的矫正方法、装置、计算机设备及存储介质 | |
| CN110717471B (zh) | 基于支持向量机模型b超图像目标检测方法及b超扫描仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |