CN111260543A - 一种基于多尺度图像融合和sift特征的水下图像拼接方法 - Google Patents

一种基于多尺度图像融合和sift特征的水下图像拼接方法 Download PDF

Info

Publication number
CN111260543A
CN111260543A CN202010060679.9A CN202010060679A CN111260543A CN 111260543 A CN111260543 A CN 111260543A CN 202010060679 A CN202010060679 A CN 202010060679A CN 111260543 A CN111260543 A CN 111260543A
Authority
CN
China
Prior art keywords
image
underwater
value
pixel
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010060679.9A
Other languages
English (en)
Other versions
CN111260543B (zh
Inventor
张森林
王昕平
刘妹琴
樊臻
何衍
郑荣濠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010060679.9A priority Critical patent/CN111260543B/zh
Publication of CN111260543A publication Critical patent/CN111260543A/zh
Application granted granted Critical
Publication of CN111260543B publication Critical patent/CN111260543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度图像融合和SIFT特征的水下图像拼接方法。该方法包括如下步骤:1)采用改进白平衡算法和基于线性插值的CLAHE算法对水下图像进行图像增强;2)采用双重金字塔图像融合方法融合图像增强后的图像,得到水下预处理图像;3)将水下预处理图像通过改进SIFT算法进行水下图像配准;4)计算得到图像仿射变换矩阵后,采用线性渐变合成算法完成最后的水下图像拼接。本发明通过实验证明此方法充分考虑到水下环境和水下成像特点,可以明显提升水下图像增强,配准和拼接的效果和准确率。

Description

一种基于多尺度图像融合和SIFT特征的水下图像拼接方法
技术领域
本发明涉及了一种图像拼接方法,具体是涉及到一种基于多尺度图像融合和SIFT特征的水下图像拼接方法。
背景技术
随着遥控无人潜行器(Remote Operated Vehicle,简称ROV)和自主式水下航行器(Autonomous Underwater Vehicle,简称AUV)技术的成熟,人们可以很容易的通过ROV和AUV得到水下光学图像。但是,由于光在水中衰减严重,通过水下光学图像设备得到的图像和视频存在视野较窄,图像质量低等问题。如果想获取更广视野和更多信息的图像和视频,难免会降低其分辨率和图像质量。为了解决这一问题,图像拼接技术产生了。近年来,图像拼接技术发展迅速,应用最广的是SIFT和SURF算法。SIFT算法虽然鲁棒性强,可靠性好,但描述符维数较高,计算复杂,算法效率不高;SURF算法通过降维的方法将匹配速度提高了3倍。但是,SURF在尺度不变性、旋转不变性等性能上的表现并不理想。考虑到水下环境和水下成像的特殊性,以及SIFT算法几乎不受图像光照、仿射变化(图像旋转角度,缩放大小等)和噪音等因素变化的影响,鲁棒性较强,容易辨识物体并提取特征,且准确率较高,并且现在已经有很多改进SIFT算法,提升了算法的速度和效率。本发明主要针对水下图像特点对SIFT算法进行改进。
进行图像配准前,图像预处理非常重要,针对自然图像的白平衡算法如灰色世界算法,白斑算法,完美反射算法等对深水图像的处理效果都不太理想,现有的灰色边缘算法根据不同图像特点选择不同的Minkowski范数p,虽然可以使得图像白平衡处理效果非常理想,但是因为产生了高次幂运算,计算量特别大,计算耗时较长。
发明内容
为了解决上述问题,充分考虑深水域环境特点,本发明提出一种改进白平衡算法,可以很好的解决在光照不足时图像偏色严重问题,使得深水域的图像也可以色彩分布均匀,有效去除色块,同时恢复图像的白色和灰色阴影,计算效率也很高;并将多尺度融合原理的图像增强算法应用于水下预处理图像中,采用改进白平衡算法和双重金字塔图像融合算法,提升水下图像拼接的效果和正确率;并在前人基础上对SIFT算法进行水下图像配准方法改进,提升水下图像配准和拼接的准确率。
本发明提供了一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,首先使用改进白平衡算法,基于线性插值的CLAHE算法和多尺度图像融合算法进行水下图像预处理,然后使用改进SIFT算法进行水下图像配准,最后计算得到变换矩阵后进行水下图像拼接。
具体包括以下步骤:
1)采用改进白平衡算法和基于线性插值的CLAHE算法对水下图像进行图像增强,得到图像增强后的两幅待融合图像;
2)采用双重金字塔图像融合方法融合步骤1)得到的两幅待融合图像,得到水下预处理图像;
3)将水下预处理图像通过改进SIFT算法进行水下图像配准,得到匹配成功的关键点;
4)根据步骤3)得到的匹配成功的关键点,得到仿射变换矩阵;采用线性渐变合成算法完成最后的水下图像拼接。
进一步的,所述步骤1)具体为:
1.1)用改进白平衡算法对水下图像进行白平衡处理,得到第一幅待融合图像;
1.2)用基于线性插值的对比度受限自适应直方图均衡化CLAHE算法进行亮通道图像增强,得到第二幅待融合图像。
进一步的,所述步骤1.1)具体为:
1.1.1)水下彩色图像数据为m×n×3的矩阵,分别计算R,G,B三通道的平均值
Figure BDA0002374355650000021
和最大值Rmax,Gmax,Bmax,并求出三个平均值中的最大值:
Figure BDA0002374355650000022
1.1.3)计算各通道的增益系数
Figure BDA0002374355650000023
1.1.3)将每个通道的矩阵重排列成1×(m·n)的行向量矩阵,按像素值从小到大排列,然后对行向量矩阵的两端像素值进行调整;
1.1.4)将像素值区间线性变换,按下面的公式拉伸至区间[min,max],此处选择[0,255],进一步修正色偏;
Figure BDA0002374355650000024
其中,x表示每一通道上每个像素值的大小,V(x)表示拉伸后的每一通道上每个像素值的大小;
进一步的,所述步骤1.1.3)具体为:
1.1.3.1)首先确定每一个通道两端像素值的调整区间,选取行向量矩阵中前N%位置和后N%位置的像素值进行调整,对于R,G,B通道,N%是不同的:
Figure BDA0002374355650000031
其中,Nr%、Ng%、Nb%分别表示R,G,B通道各自对应的百分比,kr、kg、kb分别表示各通道的增益系数;
1.1.3.2)找到各通道行向量矩阵中除前N%和后N%位置的像素值之外,中间区间的像素最大值Vmax,像素最小值Vmin
1.1.3.3)将各通道行向量矩阵中前N%位置的像素值全部设置为Vmin,后N%位置的像素值全部设置为Vmax
进一步的,所述步骤1.2)具体为:
1.2.1)对水下图像进行分片处理,获取每个片区的图像灰度直方图,并限制直方图的高度;
1.2.2)根据步骤1.2.1)得到的直方图,得到每个片区的累积分布函数,进而得到每个片区的变换函数;
1.2.3)利用线性插值后的变换函数对每个像素进行映射变换。
进一步的,所述步骤2)具体为:
2.1)分别计算每一幅待融合图像的四副权重图:全局对比度权重图WC,局部对比度权重图WLC,色度权重图WS和显著度权重图WE
2.2)计算得到各权重后,将各权重值高斯均一化:
Figure BDA0002374355650000032
Wk=WC+WLC+WS+WE
其中,
Figure BDA0002374355650000033
表示高斯均一化后的权重值,K表示待融合图像的数量,此处K=2;
2.3)最后,采用多尺度融合方法对输入的拉普拉斯金字塔和权重的高斯金字塔进行对应层的融合,得到水下预处理图像;拉普拉斯融合公式如下:
Figure BDA0002374355650000034
其中,
Figure BDA0002374355650000041
是高斯金字塔,Ll{Ik}是拉普拉斯金字塔,
Figure BDA0002374355650000042
是融合之后的金字塔图像,上角标l是金字塔图像的层数。
进一步的,所述步骤2.1)具体为:
2.1.1)计算全局对比度权重图WC:将RGB图像进行空间转换到Lab,对图像的Lab亮度通道L进行拉普拉斯卷积滤波,输出的滤波结果取绝对值得到全局对比度权重图;
2.1.2)计算局部对比度权重图WLC:为了增强局部特征,局部对比度权重图由局部像素值与其邻域像素值共同决定,WLC计算公式如下:
Figure BDA0002374355650000043
其中,Ik是第k幅待融合图像的亮度通道L,
Figure BDA0002374355650000044
是将Ik进行低通滤波;
2.1.3)计算色度权重图WS
WS=(L-Lm)2+(a-am)2+(b-bm)2
其中,L,a,b分别对应Lab空间各通道的像素矩阵,Lm,am,bm是对应的平均值;
2.1.4)计算显著度权重图WE:显著度权重表示每一个像素的突出程度,它可以使图像的局部特殊区域也保持较好的对比度,让每个像素都不被过分强调,也不被忽视。显著度权重图WE的计算公式如下:
Figure BDA0002374355650000045
其中,0.5是亮度值的均值,σ是亮度值的标准差,取0.25。
进一步的,所述步骤3)中将水下预处理图像通过改进SIFT算法进行水下图像配准,具体为:
3.1)对步骤2)得到的水下预处理图像建立图像尺度空间;
3.2)根据图像尺度空间,使用高斯差分图像金字塔进行极值点检测;
3.3)进行阈值自适应的关键点定位和消除边缘效应:将阈值设定为图像对比度的10%,对比度值在该阈值以下的点才会作为低照度点处理,以此扩大关键点范围,提高水下图像配准准确率;
3.4)使用Canny算法计算关键点的梯度和大小,平滑噪声的同时也可以保留图像更多细节,其中,对每个关键点像素进行一阶有限拆分计算偏导数,像素梯度的模值m(x,y)和方向θ(x,y)如下:
m(x,y)=[(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2]1/2
Figure BDA0002374355650000051
其中,L(x,y)是关键点所在的尺度空间值;
3.5)计算得到关键点特征描述符;
3.6)使用双向Hausdorff距离和BBF最邻近查询法对关键点进行粗匹配,再用RANSAC进行进一步提纯,可以较快速的得到匹配成功的关键点。
进一步的,所述步骤3.3)具体为:
3.3.1)关键点定位需要对图像尺度空间DoG函数进行曲线拟合,其泰勒展开式为:
Figure BDA0002374355650000052
其中,DoG表示高斯差分图像金字塔,Xmax表示极值点,X表示曲线上的点;对X=(x,y,σ)T求导并让方程等于零,可以得到极值点的偏移量
Figure BDA0002374355650000053
为:
Figure BDA0002374355650000054
然后进行迭代计算
Figure BDA0002374355650000055
直到其任何一维的值都小于0.5,就得到了关键点的精确位置;
3.3.2)消除边缘效应:一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率,这种边缘响应会对噪声不稳定,为了剔除上述DoG函数产生的边缘响应点,先获取关键点处的2×2Hessian矩阵:
Figure BDA0002374355650000056
令矩阵H的特征值为α和β,主曲率与特征值成正比,只需计算α和β的比值即可得出主曲率差别大的特征点,假设α是较大的特征值,而β是较小的特征值,令α=γβ,则有:
Figure BDA0002374355650000061
Figure BDA0002374355650000062
Figure BDA0002374355650000063
其中,Tr(H)表示矩阵H对角线元素之和,Det(H)表示矩阵H的行列式,D的主曲率和H的特征值成正比,令α为最大特征值,β为最小特征值,则公式(γ+1)2/γ的值在两个特征值相等时最小,公式值越大,说明两个特征值的比值越大,即在某一个方向的梯度值就越大,而在另一个方向的梯度值越小,而边缘恰恰就是这种情况,所以为了剔除边缘响应点,需要让该比值小于一定的阈值,因此,为了检测主曲率是否在某域值γ下,只需检测:
Figure BDA0002374355650000064
公式成立时将关键点保留,反之剔除。
进一步的,所述步骤3.5)具体为:
3.5.1)确定获取特征描述符所需的图像区域;
3.5.2)根据像素梯度的方向θ(x,y),将坐标轴旋转为关键点的方向,以确保旋转不变性;
3.5.3)将邻域内的采样点分配到对应的子区域内,将子区域内的梯度值分配到8个方向上,并获取其权值;
3.5.4)插值计算每个关键点八个方向的梯度;
3.5.5)归一化特征描述符,以去除光照变化影响;
3.5.6)设置特征描述符门限,以去除非线性光照,相机饱和度变化造成某些方向梯度值过大的影响;
3.5.7)再进行一次归一化处理,最终得到关键点特征描述符。
进一步的,所述步骤4)具体为:
4.1)对图像上位置有偏差的匹配成功的关键点进行双线性内插处理;
4.2)采用线性变换算法得到图像仿射变换矩阵;根据步骤4)得到的匹配成功的点,使用仿射变换求出变换矩阵,将两幅图像进行加权融合,得到最终拼接图像;
将一对关键点(x1,y1)和(x2,y2)转换为齐次坐标(x1,y1,z1)和(x2,y2,z2),变换矩阵公式如下:
Figure BDA0002374355650000071
x2=x'2/z2
y2=y'2/z2
其中,H表示变换矩阵;
4.3)采用线性渐变合成算法完成最后的水下图像拼接,此处假设权重系数为α,则合成后的图像I(x,y)的计算公式为:
Figure BDA0002374355650000072
Figure BDA0002374355650000073
其中,I1(x,y)表示第一幅图的非重叠部分,I2(x,y)表示第二幅图的非重叠部分,xi表示每一通道上第i个像素值的大小,xmax和xmin分别表示每一通道上像素的最大值和最小值。
本发明具备的有益效果是:
本发明提出的基于多尺度图像融合和SIFT特征的水下图像拼接方法,采用改进白平衡算法和多尺度双重金字塔融合算法来预处理水下图像,水下图像质量明显提升且对后续图像配准效果有显著提高作用,在此基础上使用改进SIFT算法可以扩大关键点范围,对噪音鲁棒性增强,特征点和匹配点个数随之增加,匹配正确率也相应提高。本发明具体创新点如下:
(1)针对水下图像预处理,本发明贴合水下环境和水下成像特点,提出专门针对偏色严重深水图像的改进白平衡算法,明显修复了偏色严重的水下图像,且比现有算法更加简单直接;
(2)针对水下图像配准的改进SIFT算法,因水下图像亮度和对比度普遍较低,本发明提出自适应阈值法筛选关键点,对比度阈值设置为图像的10%,明显扩大了关键点提取范围,增加了关键点个数;
(3)针对水下图像配准的改进SIFT算法,鉴于水下图像噪声较多,本发明采用Canny算法计算关键点的梯度和大小,平滑噪声的同时也可以保留图像的更多细节,不损失图像质量,可以增加关键点的匹配正确率。
附图说明
图1为本发明的方法流程图;
图2为不同白平衡算法处理后的水下图像颜色直方图对比图;
图3为初始水下图像(左)和配准后得到的关键点对(右);
图4为预处理后的水下图像(左)和配准后得到的关键点对(右);
图5为预处理后的水下图像进行图像拼接的实验结果。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。本发明的实施例及其实施过程如下:
本发明实施例所处理的水下图像如图2所示,包括一张测试图像和一张待配准图像。两张水下图像是对同一大场景进行两个角度的拍摄,两张图有公共部分,故需要对两张水下图像进行配准和拼接,输出一张图像。具体步骤可参考图1中的流程图。
步骤一、水下图像预处理:图像增强
采用改进白平衡算法和基于线性插值的CLAHE算法对水下图像进行图像增强。
1.1)用改进白平衡算法对水下图像进行白平衡处理。
1.1.1)水下彩色图像数据为m×n×3的矩阵,分别计算R,G,B三通道的平均值
Figure BDA0002374355650000081
和最大值Rmax,Gmax,Bmax,并求出三个平均值中的最大值:
Figure BDA0002374355650000082
1.1.2)计算各通道的增益系数
Figure BDA0002374355650000083
1.1.3)将每个通道的矩阵重排列成1×(m·n)的行向量矩阵,按像素值从小到大排列,然后对行向量矩阵的两端像素值进行调整。
1.1.3.1)首先确定两端像素值的调整区间,本发明选取行向量矩阵中前N%位置和后N%位置的像素值进行调整,对于R,G,B通道,N%是不同的:
Figure BDA0002374355650000084
1.1.3.2)找到各通道行向量矩阵中除前N%和后N%位置的像素值之外,中间区间的像素最大值Vmax,像素最小值Vmin
1.1.3.3)将各通道行向量矩阵中前N%位置的像素值全部设置为Vmin,后N%位置的像素值全部设置为Vmax
1.1.4)将像素值区间线性变换,按下面的公式拉伸至区间[min,max],此处选择[0,255],进一步修正色偏。
Figure BDA0002374355650000091
1.2)用基于线性插值的对比度受限自适应直方图均衡化(CLAHE)算法进行亮通道图像增强。
1.2.1)对水下图像进行分片处理,算出每个片区的图像灰度直方图,并限制直方图的高度。
1.2.2)计算每个片区的累积分布函数,进而得到每个片区的变换函数。
1.2.3)利用线性插值后的变换函数对每个像素进行映射变换。
步骤二、水下图像预处理:图像融合
用双重金字塔图像融合方法融合图像增强后的图像,得到水下预处理图像。
2.1)计算图像的四副权重图:全局对比度权重图WC,局部对比度权重图WLC,色度权重图WS和显著度权重图WE
2.1.1)计算全局对比度权重图WC:将RGB图像进行空间转换到Lab,对图像的Lab亮度通道L进行拉普拉斯卷积滤波,输出的滤波结果取绝对值得到全局对比度权重图。
2.1.2)计算局部对比度权重图WLC:为了增强局部特征,局部对比度权重图由局部像素值与其邻域像素值共同决定。WLC计算公式如下:
Figure BDA0002374355650000092
其中,Ik是输入图像的亮度通道L,
Figure BDA0002374355650000093
是将Ik进行低通滤波。
2.1.3)计算色度权重图WS
WS=(L-Lm)2+(a-am)2+(b-bm)2
其中,L,a,b分别对应Lab空间各通道的像素矩阵,Lm,am,bm是对应的平均值。
2.1.4)计算显著度权重图WE:显著度权重表示每一个像素的突出程度,它可以使图像的局部特殊区域也保持较好的对比度,让每个像素都不被过分强调,也不被忽视。显著度权重图WE的计算公式如下:
Figure BDA0002374355650000094
其中,Ik(x,y)是(x,y)位置的亮度值,均值是0.5,标准差σ是0.25。
2.2)计算得到各权重后,将各权重值高斯均一化:
Figure BDA0002374355650000101
2.3)最后,采用多尺度融合方法对输入的拉普拉斯金字塔和权重的高斯金字塔进行对应层的融合,即采用双重金字塔图像融合方法,得到水下预处理图像。拉普拉斯融合公式如下:
Figure BDA0002374355650000102
步骤三、水下图像配准
将水下预处理图像通过改进SIFT算法进行水下图像配准。
3.1)对步骤二得到的预处理图像建立图像尺度空间。
3.2)使用高斯差分图像金字塔进行极值点检测。
3.3)进行阈值自适应的关键点定位和消除边缘效应:算法将阈值设定为图像对比度的10%,对比度值在该阈值以下的点才会作为低照度点处理,以此扩大关键点范围,提高水下图像配准准确率。
3.3.1)关键点定位需要对图像尺度空间DoG函数进行曲线拟合,其泰勒展开式为:
Figure BDA0002374355650000103
其中,对X=(x,y,σ)T求导并让方程等于零,可以得到极值点的偏移量
Figure BDA0002374355650000104
为:
Figure BDA0002374355650000105
然后进行迭代计算
Figure BDA0002374355650000106
直到其任何一维的值都小于0.5,就得到了关键点的精确位置。
3.3.2)消除边缘效应:一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率,这种边缘响应会对噪声不稳定。为了剔除上述DoG函数产生的边缘响应点,先获取特征点处的2×2Hessian矩阵:
Figure BDA0002374355650000107
α和β是矩阵H的特征值,主曲率与特征值成正比,所以只需计算α和β的比值即可得出主曲率差别大的特征点。假设α是较大的特征值,而β是较小的特征值,令α=γβ,则有:
Figure BDA0002374355650000111
Figure BDA0002374355650000112
表示矩阵H对角线元素之和,表示矩阵H的行列式。假设α是较大的特征值,而β是较小的特征值,令α=γβ,则
Figure BDA0002374355650000113
D的主曲率和H的特征值成正比,令α为最大特征值,β为最小特征值,则公式(γ+1)2/γ的值在两个特征值相等时最小,公式值越大,说明两个特征值的比值越大,即在某一个方向的梯度值就越大,而在另一个方向的梯度值越小,而边缘恰恰就是这种情况。所以为了剔除边缘响应点,需要让该比值小于一定的阈值,因此,为了检测主曲率是否在某域值γ下,只需检测:
Figure BDA0002374355650000114
公式成立时将关键点保留,反之剔除。
3.4)Canny算法计算关键点的梯度和大小,平滑噪声的同时也可以保留图像更多细节。其中,对每个关键点像素进行一阶有限拆分计算偏导数,像素梯度的模值m(x,y)和方向θ(x,y)如下:
m(x,y)=[(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2]1/2
Figure BDA0002374355650000115
其中,L(x,y)是关键点所在的尺度空间值。
3.5)计算得到关键点特征描述符。
3.5.1)确定计算描述向量所需的图像区域;
3.5.2)将坐标轴旋转为关键点的方向,以确保旋转不变性;
3.5.3)将邻域内的采样点分配到对应的子区域内,将子区域内的梯度值分配到8个方向上,计算其权值;
3.5.4)插值计算每个种子点八个方向的梯度;
3.5.5)归一化特征向量,以去除光照变化影响;
3.5.6)设置描述子向量门限,以去除非线性光照,相机饱和度变化造成某些方向梯度值过大的影响;
3.5.7)再进行一次归一化处理。
3.6)使用双向Hausdorff距离和BBF最邻近查询法对关键点进行粗匹配,再用RANSAC进行进一步提纯,可以较快速的得到匹配成功的关键点。
步骤四、水下图像拼接
计算得到图像仿射变换矩阵后,采用线性渐变合成算法完成最后的水下图像拼接。
4.1)对图像上位置有偏差的像素点进行双线性内插处理;
4.2)采用线性变换算法计算得到图像仿射变换矩阵;根据步骤4)得到的匹配成功的点,使用仿射变换求出变换矩阵,将两幅图像进行加权融合,得到最终拼接图像。变换矩阵公式如下:
Figure BDA0002374355650000121
4.3)采用线性渐变合成算法完成最后的水下图像拼接,此处假设权重系数为α,则合成后的图像I(x,y)的计算公式为:
Figure BDA0002374355650000122
其中,
Figure BDA0002374355650000123
如图2所示为不同白平衡算法处理后的水下图像颜色直方图对比图,可以比较明显的看出Grey-world算法和完美反射算法没有完成颜色修复,Shades-of-grey算法和本发明的改进白平衡算法的颜色直方图均匀分布,完成了偏色严重图像的颜色修复。由于本发明算法使用了线性均匀映射,颜色直方图分布更加均匀,且没有进行高次幂运算,计算时间非常短,计算效率大大提升;
如图3所示为初始水下图像(左)和配准后得到的关键点对(右),用直线将配准后得到的关键点对连接起来;
如图4所示为预处理后的水下图像(左)和配准后得到的关键点对(右),用直线将配准后得到的关键点对连接起来,与图2进行对比,可以明显看出经过本发明预处理算法的水下图像质量明显提高,且关键点对的个数(即直线条数)明显提高;
如图5所示为预处理后的水下图像进行图像拼接的实验结果。
为了客观地评价本发明的算法的性能,本发明以初始水下图像中的植物图像为例,得到表1,表2和表3的实验数据:
如表1所示,将本发明的改进白平衡算法与其他白平衡算法进行比较。这些其他算法包括Grey-world算法,完美反射算法和Shades-of-grey算法。本发明使用了水下图像色度标准UICM指标和峰值信噪比PSNR指标:UICM指标衡量图像的色度符合人类视觉的程度,数值越大,则说明图像的颜色分布越符合人类视觉,白平衡算法效果越好;PSNR指标衡量图像处理后的失真程度,数值越大,则说明图像失真越小,白平衡算法效果越好。本发明的改进白平衡算法UICM值和PSNR值均为最大,效果最好。
表1不同白平衡算法的UICM值和PSNR值
Figure BDA0002374355650000131
如表2所示为调整对比度阈值时的关键点和配对成功点的实验结果,由实验结果可以看出:针对预处理图像,对比度阈值在10%以上时,关键点和配对成功点个数几乎成倍增长,而对比度阈值在10%以下时,关键点和配对成功点个数基本不再增长,保持平稳;针对未经过预处理的水下图像,阈值变化对图像关键点的增长效果不明显,水下图像依然无法完成配准,进一步证明水下图像预处理对图像配准的效果影响极大。
表2调整对比度阈值时的关键点和配对成功点的实验结果
Figure BDA0002374355650000132
Figure BDA0002374355650000141
如表3所示为不同算法进行配准的实验数据结果对比,从实验结果可以看出本发明提出的改进配准算法的关键点和匹配点个数更多,匹配正确率更高,RMSE值更小。通过与标准SIFT算法对比,本发明提出的改进配准算法的关键点和匹配点个数更多,匹配正确率更高,RMSE值更小,非常贴合水下环境。
表3不同算法进行配准的实验数据结果对比
Figure BDA0002374355650000142
虽然结合这里的具体实施例来描述本发明,但一些改变和修改对于本领域的技术人员而言是显而易见的,其不脱离本发明的真实精神。因此,本发明并非是通过这里的具体描述来进行理解,而是通过所附权利要求来进行理解。

Claims (9)

1.一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,该方法包括如下步骤:
1)采用改进白平衡算法和基于线性插值的CLAHE算法对水下图像进行图像增强,得到图像增强后的两幅待融合图像;
2)采用双重金字塔图像融合方法融合步骤1)得到的两幅待融合图像,得到水下预处理图像;
3)将水下预处理图像通过改进SIFT算法进行水下图像配准,得到匹配成功的关键点;
4)根据步骤3)得到的匹配成功的关键点,得到仿射变换矩阵;采用线性渐变合成算法完成最后的水下图像拼接。
2.如权利要求1所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤1)具体为:
1.1)用改进白平衡算法对水下图像进行白平衡处理,得到第一幅待融合图像:
1.1.1)水下彩色图像数据为m×n×3的矩阵,分别计算R,G,B三通道的平均值
Figure FDA0002374355640000011
和最大值Rmax,Gmax,Bmax,并求出三个平均值中的最大值:
Figure FDA0002374355640000012
1.1.2)计算各通道的增益系数:
Figure FDA0002374355640000013
1.1.3)将每个通道的矩阵重排列成1×(m·n)的行向量矩阵,按像素值从小到大排列,然后对行向量矩阵的两端像素值进行调整;
1.1.4)将像素值区间线性变换,按下面的公式拉伸至区间[min,max],此处选择[0,255],进一步修正色偏;
Figure FDA0002374355640000014
其中,x表示每一通道上每个像素值的大小,V(x)表示拉伸后的每一通道上每个像素值的大小;
1.2)用基于线性插值的对比度受限自适应直方图均衡化CLAHE算法进行亮通道图像增强,得到第二幅待融合图像:
1.2.1)对水下图像进行分片处理,获取每个片区的图像灰度直方图,并限制直方图的高度;
1.2.2)根据步骤1.2.1)得到的直方图,得到每个片区的累积分布函数,进而得到每个片区的变换函数;
1.2.3)利用线性插值后的变换函数对每个像素进行映射变换。
3.如权利要求2所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤1.1.3)具体为:
1.1.3.1)首先确定每一个通道两端像素值的调整区间,选取行向量矩阵中前N%位置和后N%位置的像素值进行调整,对于R,G,B通道,N%是不同的:
Figure FDA0002374355640000021
其中,Nr%、Ng%、Nb%分别表示R,G,B通道各自对应的百分比,kr、kg、kb分别表示各通道的增益系数;
1.1.3.2)找到各通道行向量矩阵中除前N%和后N%位置的像素值之外,中间区间的像素最大值Vmax,像素最小值Vmin
1.1.3.3)将各通道行向量矩阵中前N%位置的像素值全部设置为Vmin,后N%位置的像素值全部设置为Vmax
4.如权利要求1所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤2)具体为:
2.1)分别计算每一幅待融合图像的四副权重图:全局对比度权重图WC,局部对比度权重图WLC,色度权重图WS和显著度权重图WE
2.2)计算得到各权重后,将各权重值高斯均一化:
Figure FDA0002374355640000022
Wk=WC+WLC+WS+WE
其中,
Figure FDA0002374355640000023
表示高斯均一化后的权重值,K表示待融合图像的数量,此处K=2;
2.3)最后,采用多尺度融合方法对输入的拉普拉斯金字塔和权重的高斯金字塔进行对应层的融合,得到水下预处理图像;拉普拉斯融合公式如下:
Figure FDA0002374355640000024
其中,
Figure FDA0002374355640000031
是高斯金字塔,Ll{Ik}是拉普拉斯金字塔,
Figure FDA0002374355640000035
是融合之后的金字塔图像,上角标l是金字塔图像的层数。
5.如权利要求4所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤2.1)具体为:
2.1.1)计算全局对比度权重图WC:将RGB图像进行空间转换到Lab,对图像的Lab亮度通道L进行拉普拉斯卷积滤波,输出的滤波结果取绝对值得到全局对比度权重图;
2.1.2)计算局部对比度权重图WLC:为了增强局部特征,局部对比度权重图由局部像素值与其邻域像素值共同决定,WLC计算公式如下:
Figure FDA0002374355640000032
其中,Ik是第k幅待融合图像的亮度通道L,
Figure FDA0002374355640000033
是将Ik进行低通滤波;
2.1.3)计算色度权重图WS
WS=(L-Lm)2+(a-am)2+(b-bm)2
其中,L,a,b分别对应Lab空间各通道的像素矩阵,Lm,am,bm是对应的平均值;
2.1.4)计算显著度权重图WE:显著度权重表示每一个像素的突出程度,它可以使图像的局部特殊区域也保持较好的对比度,让每个像素都不被过分强调,也不被忽视。显著度权重图WE的计算公式如下:
Figure FDA0002374355640000034
其中,0.5是亮度值的均值,σ是亮度值的标准差,取0.25。
6.如权利要求1所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤3)具体为:
3.1)对步骤2)得到的水下预处理图像建立图像尺度空间;
3.2)根据图像尺度空间,使用高斯差分图像金字塔进行极值点检测;
3.3)进行阈值自适应的关键点定位和消除边缘效应:将阈值设定为图像对比度的10%,对比度值在该阈值以下的点才会作为低照度点处理,以此扩大关键点范围,提高水下图像配准准确率;
3.4)使用Canny算法计算关键点的梯度和大小,平滑噪声的同时也可以保留图像更多细节,其中,对每个关键点像素进行一阶有限拆分计算偏导数,像素梯度的模值m(x,y)和方向θ(x,y)如下:
m(x,y)=[(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2]1/2
Figure FDA0002374355640000041
其中,L(x,y)是关键点所在的尺度空间值;
3.5)计算得到关键点特征描述符;
3.6)使用双向Hausdorff距离和BBF最邻近查询法对关键点进行粗匹配,再用RANSAC进行进一步提纯,得到匹配成功的关键点。
7.如权利要求6所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤3.3)具体为:
3.3.1)关键点定位需要对图像尺度空间DoG函数进行曲线拟合,其泰勒展开式为:
Figure FDA0002374355640000042
其中,DoG表示高斯差分图像金字塔,Xmax表示极值点,X表示曲线上的点;对X=(x,y,σ)T求导并让方程等于零,可以得到极值点的偏移量
Figure FDA0002374355640000043
为:
Figure FDA0002374355640000044
然后进行迭代计算
Figure FDA0002374355640000045
直到其任何一维的值都小于0.5,就得到了关键点的精确位置;
3.3.2)消除边缘效应:一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率,这种边缘响应会对噪声不稳定,为了剔除上述DoG函数产生的边缘响应点,先获取关键点处的2×2Hessian矩阵:
Figure FDA0002374355640000046
令矩阵H的特征值为α和β,主曲率与特征值成正比,只需计算α和β的比值即可得出主曲率差别大的特征点,假设α是较大的特征值,而β是较小的特征值,令α=γβ,则有:
Figure FDA0002374355640000051
Figure FDA0002374355640000052
Figure FDA0002374355640000053
其中,Tr(H)表示矩阵H对角线元素之和,Det(H)表示矩阵H的行列式,D的主曲率和H的特征值成正比,令α为最大特征值,β为最小特征值,则公式(γ+1)2/γ的值在两个特征值相等时最小,公式值越大,说明两个特征值的比值越大,即在某一个方向的梯度值就越大,而在另一个方向的梯度值越小,而边缘恰恰就是这种情况,所以为了剔除边缘响应点,需要让该比值小于一定的阈值,因此,为了检测主曲率是否在某域值γ下,只需检测:
Figure FDA0002374355640000054
公式成立时将关键点保留,反之剔除。
8.如权利要求6所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤3.5)具体为:
3.5.1)确定获取特征描述符所需的图像区域;
3.5.2)根据像素梯度的方向θ(x,y),将坐标轴旋转为关键点的方向,以确保旋转不变性;
3.5.3)将邻域内的采样点分配到对应的子区域内,将子区域内的梯度值分配到8个方向上,并获取其权值;
3.5.4)插值计算每个关键点八个方向的梯度;
3.5.5)归一化特征描述符,以去除光照变化影响;
3.5.6)设置特征描述符门限,以去除非线性光照,相机饱和度变化造成某些方向梯度值过大的影响;
3.5.7)再进行一次归一化处理,最终得到关键点特征描述符。
9.如权利要求1所述的一种基于多尺度图像融合和SIFT特征的水下图像拼接方法,其特征在于,所述的步骤4)具体为:
4.1)对图像上位置有偏差的匹配成功的关键点进行双线性内插处理;
4.2)采用线性变换算法得到图像仿射变换矩阵;根据步骤4)得到的匹配成功的点,使用仿射变换求出变换矩阵,将两幅图像进行加权融合,得到最终拼接图像;
将一对关键点(x1,y1)和(x2,y2)转换为齐次坐标(x1,y1,z1)和(x2,y2,z2),变换矩阵公式如下:
Figure FDA0002374355640000061
x2=x'2/z2
y2=y'2/z2
其中,H表示变换矩阵;
4.3)采用线性渐变合成算法完成最后的水下图像拼接,此处假设权重系数为α,则合成后的图像I(x,y)的计算公式为:
Figure FDA0002374355640000062
Figure FDA0002374355640000063
其中,I1(x,y)表示第一幅图的非重叠部分,I2(x,y)表示第二幅图的非重叠部分,xi表示每一通道上第i个像素值的大小,xmax和xmin分别表示每一通道上像素的最大值和最小值。
CN202010060679.9A 2020-01-19 2020-01-19 一种基于多尺度图像融合和sift特征的水下图像拼接方法 Active CN111260543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060679.9A CN111260543B (zh) 2020-01-19 2020-01-19 一种基于多尺度图像融合和sift特征的水下图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060679.9A CN111260543B (zh) 2020-01-19 2020-01-19 一种基于多尺度图像融合和sift特征的水下图像拼接方法

Publications (2)

Publication Number Publication Date
CN111260543A true CN111260543A (zh) 2020-06-09
CN111260543B CN111260543B (zh) 2022-01-14

Family

ID=70949044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060679.9A Active CN111260543B (zh) 2020-01-19 2020-01-19 一种基于多尺度图像融合和sift特征的水下图像拼接方法

Country Status (1)

Country Link
CN (1) CN111260543B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710012A (zh) * 2020-06-12 2020-09-25 浙江大学 一种基于两维复合配准的octa成像方法与装置
CN112001225A (zh) * 2020-07-06 2020-11-27 西安电子科技大学 一种在线多目标跟踪方法、系统及应用
CN112561804A (zh) * 2020-10-09 2021-03-26 天津大学 基于多尺度细节增强的低光照水下图像增强方法
CN112734673A (zh) * 2021-01-13 2021-04-30 山东大学 一种基于多表达式融合的低照度图像增强方法及系统
CN113160059A (zh) * 2021-04-29 2021-07-23 五邑大学 一种水下图像拼接方法、装置及存储介质
CN114022353A (zh) * 2022-01-07 2022-02-08 成都国星宇航科技有限公司 一种时空图像纹理与图像颜色的融合方法和装置
WO2022067762A1 (zh) * 2020-09-30 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN115953332A (zh) * 2023-03-15 2023-04-11 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备
KR102611117B1 (ko) * 2023-06-22 2023-12-08 주식회사 제이디 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법
CN117323002A (zh) * 2023-11-30 2024-01-02 北京万特福医疗器械有限公司 一种基于混合现实技术的神经内镜手术可视化系统
CN117893540A (zh) * 2024-03-18 2024-04-16 乳山市创新新能源科技有限公司 用于压力容器的圆度智能检测方法及系统
CN117893540B (zh) * 2024-03-18 2024-05-31 乳山市创新新能源科技有限公司 用于压力容器的圆度智能检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
CN106897972A (zh) * 2016-12-28 2017-06-27 南京第五十五所技术开发有限公司 一种白平衡与暗原色的自适应直方图水下图像增强方法
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法
CN109658343A (zh) * 2018-11-05 2019-04-19 天津大学 结合颜色转换和自适应曝光的水下图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
CN106897972A (zh) * 2016-12-28 2017-06-27 南京第五十五所技术开发有限公司 一种白平衡与暗原色的自适应直方图水下图像增强方法
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法
CN109658343A (zh) * 2018-11-05 2019-04-19 天津大学 结合颜色转换和自适应曝光的水下图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
COSMIN ANCUIT: "Enhancing Underwater Images and Videos by Fusion", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
陈月: "图像局部特征自适应的快速SIFT图像拼接方法", 《中国光电CHINESE OPTICS 》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710012A (zh) * 2020-06-12 2020-09-25 浙江大学 一种基于两维复合配准的octa成像方法与装置
CN111710012B (zh) * 2020-06-12 2023-04-14 浙江大学 一种基于两维复合配准的octa成像方法与装置
CN112001225A (zh) * 2020-07-06 2020-11-27 西安电子科技大学 一种在线多目标跟踪方法、系统及应用
CN112001225B (zh) * 2020-07-06 2023-06-23 西安电子科技大学 一种在线多目标跟踪方法、系统及应用
WO2022067762A1 (zh) * 2020-09-30 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN112561804A (zh) * 2020-10-09 2021-03-26 天津大学 基于多尺度细节增强的低光照水下图像增强方法
CN112734673B (zh) * 2021-01-13 2022-06-21 山东大学 一种基于多表达式融合的低照度图像增强方法及系统
CN112734673A (zh) * 2021-01-13 2021-04-30 山东大学 一种基于多表达式融合的低照度图像增强方法及系统
CN113160059A (zh) * 2021-04-29 2021-07-23 五邑大学 一种水下图像拼接方法、装置及存储介质
CN113160059B (zh) * 2021-04-29 2022-04-08 五邑大学 一种水下图像拼接方法、装置及存储介质
CN114022353B (zh) * 2022-01-07 2022-03-29 成都国星宇航科技有限公司 一种时空图像纹理与图像颜色的融合方法和装置
CN114022353A (zh) * 2022-01-07 2022-02-08 成都国星宇航科技有限公司 一种时空图像纹理与图像颜色的融合方法和装置
CN115953332A (zh) * 2023-03-15 2023-04-11 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备
CN115953332B (zh) * 2023-03-15 2023-08-18 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备
KR102611117B1 (ko) * 2023-06-22 2023-12-08 주식회사 제이디 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법
CN117323002A (zh) * 2023-11-30 2024-01-02 北京万特福医疗器械有限公司 一种基于混合现实技术的神经内镜手术可视化系统
CN117893540A (zh) * 2024-03-18 2024-04-16 乳山市创新新能源科技有限公司 用于压力容器的圆度智能检测方法及系统
CN117893540B (zh) * 2024-03-18 2024-05-31 乳山市创新新能源科技有限公司 用于压力容器的圆度智能检测方法及系统

Also Published As

Publication number Publication date
CN111260543B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN111260543B (zh) 一种基于多尺度图像融合和sift特征的水下图像拼接方法
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
Tan et al. DeepDemosaicking: Adaptive image demosaicking via multiple deep fully convolutional networks
Su et al. Shadow detection and removal for occluded object information recovery in urban high-resolution panchromatic satellite images
JP4868530B2 (ja) 画像認識装置
CN108765476B (zh) 一种偏振图像配准方法
CN110428389B (zh) 基于msr理论和曝光融合的微光图像增强方法
CN102572450A (zh) 基于sift特征与grnn网络的立体视频颜色校正方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN114693760A (zh) 图像校正方法、装置及系统、电子设备
CN115731146B (zh) 基于色彩梯度直方图特征光流估计多曝光图像融合方法
CN111553845A (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111968065A (zh) 一种亮度不均匀图像的自适应增强方法
Paulus et al. Color cluster rotation
CN109934787B (zh) 一种基于高动态范围的图像拼接方法
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN112801141B (zh) 基于模板匹配和孪生神经网络优化的异源图像匹配方法
Ajith et al. Dark Channel Prior based Single Image Dehazing of Daylight Captures
CN112102379B (zh) 一种无人机多光谱影像配准方法
CN113298763A (zh) 一种基于显著性窗口策略的图像质量评估方法
Singh et al. Multiscale reflection component based weakly illuminated nighttime image enhancement
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN110610525B (zh) 一种图像处理的方法、装置及计算机可读存储介质
CN109672874A (zh) 一种时空一致的立体视频颜色校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant