CN111028165A - 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 - Google Patents

一种基于raw数据抵抗相机抖动的高动态图像恢复方法 Download PDF

Info

Publication number
CN111028165A
CN111028165A CN201911202019.3A CN201911202019A CN111028165A CN 111028165 A CN111028165 A CN 111028165A CN 201911202019 A CN201911202019 A CN 201911202019A CN 111028165 A CN111028165 A CN 111028165A
Authority
CN
China
Prior art keywords
image
feature map
exposure
channel
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911202019.3A
Other languages
English (en)
Other versions
CN111028165B (zh
Inventor
刘岩
吕冰雪
张旭
李灿林
张卫正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN201911202019.3A priority Critical patent/CN111028165B/zh
Publication of CN111028165A publication Critical patent/CN111028165A/zh
Application granted granted Critical
Publication of CN111028165B publication Critical patent/CN111028165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于RAW数据抵抗相机抖动的高动态图像恢复方法，其步骤为：将N幅多曝光RAW图像序列作为输入，通过Bayer插值算法将单通道RAW图像转换为三通道RAW数据，得到三通道RAW图像序列；然后用信息熵的方法从具有位置偏移的图像序列中选取参考图像和曝光图像序列，并分别检测和提取关键特征点，再利用ORB特征描述符和Hamming距离将曝光图像序列与参考图像进行特征匹配及对齐配准；最后，利用拉普拉斯金字塔方法对参考图像和对齐配准后的曝光图像序列进行融合，得到最终的高动态图像。本发明以RAW图像作为输入，减少了图像细节的丢失，增强了图像的对比度，对相机抖动和目标移动具有较好的鲁棒性，提高了图像的动态范围。

Description

一种基于RAW数据抵抗相机抖动的高动态图像恢复方法
技术领域
本发明涉及图像处理技术领域，特别是指一种基于RAW数据抵抗相机抖动的高动态图像恢复方法。
背景技术
RAW数据直接包含来自数码相机传感器的原始像素信息，RAW图像可以实现丰富的高亮度和低亮度，可以同时记录和复制超过1亿个颜色类别，而JPEG最多可以达到1780万个。RAW图像是10位，而JPEG图像是8位，与普通的JPEG图像相比，RAW图像其无损压缩、线性、无损白平衡以及更好的去噪等优点为图像提供了更大的动态范围。
高动态范围图像能够提供在亮度不足条件下捕获、操作和显示真实场景亮度的能力，帮助存储人眼可感知的所有范围的光或亮度，而不是使用相机捕捉有限的范围。高动态图像的目的是为了能够最大限度的显示图像中隐藏的细节，增大图像的动态范围。
现有技术中采用的图像增强方法有两种：1)色调映射方法。该方法主要用于调整图像的灰度，使经过处理的图像能够更好地表达图像的特征，对于相同颜色的像素，在映射前后可能存在差异使映射后的图像出现光晕现象，影响人眼视觉感知结果。2)图像融合方法。该方法可以从不同的曝光图像中提取图像信息，使融合结果更加真实。但是，目前存在的图像融合方法大多是基于没有位置偏移且是普通被压缩的JPEG曝光图像序列，考虑到真实场景下捕捉图像时相机抖动或目标移动等因素，研究一种新型的多曝光图像融合方法来获得既含有丰富纹理细节和高清晰度，又无光晕现象的高动态范围图像非常重要。
发明内容
针对上述背景技术中存在的不足，本发明提出了一种基于RAW数据抵抗相机抖动的高动态图像恢复方法，解决了现有图像增强方法处理后的图像存在光晕、纹理细节少、视觉效果差的技术问题。
本发明的技术方案是这样实现的：
一种基于RAW数据抵抗相机抖动的高动态图像恢复方法，其步骤如下：
S1、利用Bayer插值算法将带位移的多曝光RAW图像序列从单通道转换为三通道RAW数据，得到三通道RAW图像序列；
S2、分别计算步骤S1中三通道RAW图像序列转化为灰度图序列后的信息熵，并将信息熵值最大的一幅三通道RAW图像作为参考图像，其余作为待配准的RAW曝光图像序列；
S3、分别检测和提取步骤S2中的参考图像和待配准的RAW曝光图像序列的关键特征点，并利用ORB特征描述符和Hamming距离将曝光图像序列与参考图像进行特征匹配；
S4、将步骤S3中特征匹配后的曝光图像序列分别以参考图像为标准图像进行对齐配准；
S5、分别计算参考图像和对齐配准后的曝光图像序列的高斯金字塔特征图和拉普拉斯金字塔特征图；
S6、将步骤S5中的参考图像的拉普拉斯金字塔特征图和曝光图像序列的拉普拉斯金字塔特征图进行加权融合，得到最终的高动态图像。
所述步骤S1中的Bayer插值是利用一种通道的像素计算其他两种通道像素的方法，已知像素的通道为G，利用Bayer插值计算通道R像素的方法为：
Figure BDA0002296108010000021
其中，(i,j)为当前像素的坐标，r(i,j)为通道R的插值，G(i,j)为通道G，R(i,j-1)和R(i,j+1)均为相邻位置已知的通道R的插值，g(i,j-1)和g(i,j+1)均为相邻位置点上计算出的重构分量；
利用Bayer插值计算通道B的像素方法为：
Figure BDA0002296108010000022
其中，b(i,j)为通道B的插值，B(i-1,j)和B(i+1,j)均为上下相邻位置已知的通道B。
所述步骤S2中利用ORB特征描述符和Hamming距离将曝光图像序列与参考图像进行特征匹配的方法为：针对选出的参考图像和曝光图像序列，采用ORB特征描述符提取参考图像和曝光图像序列的特征点，对每一张曝光图像进行特征点检测，通过计算所检测像素点与周围像素点的灰度值差确定特征点；采用Hamming距离匹配曝光图像序列特征点与参考图像特征点之间相同的特征点，针对存在的错误匹配对，通过设定Hamming距离的大小剔除错误匹配对，保留正确的匹配对。
所述三通道RAW图像序列转化为灰度图序列后的信息熵的计算方法为：
Figure BDA0002296108010000023
其中，p(i)为灰度图灰度值k'的分布概率。
所述特征匹配后的曝光图像序列与参考图像进行对齐配准的方法是采用单应性变换准则建立曝光图像序列与参考图像之间的变换：
Figure BDA0002296108010000024
其中，(x1,y1)为参考图像上的点，(x2,y2)为曝光图像序列上的点，H'为变换矩阵。
所述变换矩阵H'的表达式为：
Figure BDA0002296108010000031
其中，hpq为变换矩阵H'的元素，且p＝1,2,3；q＝1,2,3。
所述步骤S5中拉普拉斯金字塔特征图的计算方法为：
S51、计算高斯金字塔特征图：
Figure BDA0002296108010000032
其中，1≤l≤N'，0≤i≤Cl，0≤j≤Rl，G'l(i,j)为第l层高斯金字塔特征图，w(m,n)为二维低通滤波器，N'为金字塔总层数，Cl为第l层高斯金字塔特征图的高度，Rl为第l层高斯金字塔特征图的宽度；
S52、利用函数Expand(·)对步骤S51中的高斯金字塔的每一层特征图进行插值：
Figure BDA0002296108010000033
其中，G'l,0(i,j)＝G'l(i,j)，G'l,k(i,j)＝Expand(G'l,k-1(i,j))，且1≤k≤N'，k为第k层高斯金字塔；
S53、根据步骤S52中高斯金字塔特征图和步骤S52中插值后的高斯金字塔特征图计算拉普拉斯金字塔特征图：
Ll＝G'l-Expand(G'l+1,k) (8)，
其中，Ll为第l层拉普拉斯金字塔特征图，G'l为第l层高斯金字塔特征图，G'l+1,k为插值后的第l+1层高斯金字塔特征图。
所述最终的高动态图像的计算方法为：
S61、根据步骤S53中的拉普拉斯金字塔特征图和步骤S52中插值后的高斯金字塔特征图重构拉普拉斯金字塔特征图：
L'l＝Ll+Expand(G'l+1,k) (9)，
其中，L'l为重构后的拉普拉斯金字塔特征图；
S62、利用加权平均对重构后的参考图像的拉普拉斯金字塔特征图和重构后的曝光图像序列的拉普拉斯金字塔特征图进行图像融合，得到融合的拉普拉斯金字塔特征图：
Fz＝L'a*50％+L'b,z*50％ (10)，
其中，z＝0,1,…,N-1为曝光图像序列中第z个曝光图像，Fz为融合的拉普拉斯金字塔特征图，L'a为重构后的参考图像的第1层拉普拉斯金字塔特征图，L'b,z为重构后的第z个曝光图像的第1层拉普拉斯金字塔特征图；
S63、将步骤S62中得到N-1个融合的拉普拉斯金字塔特征图依次进行两两融合，得到最终的高动态图像。
本技术方案能产生的有益效果：
1)本发明采用RAW图像作为输入而非被压缩的JPEG图像，减少了图像细节的丢失，尤其是图像的边缘细节；
2)本发明利用带位置偏移的RAW图像序列进行融合，避免了因相机抖动或目标移动出现鬼影现象的发生，提高了融合图像的动态范围；
3)本发明针对极端曝光图像对(高曝光和低曝光)仍有可观的融合结果，且可用于双目或多目等计算机视觉系统，具有强壮的鲁棒性；
4)本发明方法简单，计算复杂度低，利于实时处理，且融合图像动态范围高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明方法融合的高动态彩色图像结果图转化的灰度图；
图3为本发明的单张RAW图像处理流程图；
图4为传统多曝光JPEG图像融合流程图；
图5为改进的多曝光JPEG图像融合流程图；
图6为色彩滤波阵列示意图(G左右分量为R)；
图7为色彩滤波阵列示意图(G上下分量为B)；
图8为本发明方法特征点检测结果图；
图9为本发明方法特征匹配结果图，(a)为参考图像，(b)为曝光图像；
图10为本发明方法特征匹配结果图，(a)为参考图像，(b)为曝光图像；
图11为本发明方法特征匹配结果图，(a)为参考图像，(b)为曝光图像；
图12为本发明方法特征匹配结果图，(a)为参考图像，(b)为曝光图像；且图9(b)至图12(b)中的曝光图像的曝光程度不相同；
图13为本发明方法图像配准结果图；
图14为本发明方法构造的高斯金字塔结果图；
图15为本发明方法构造的拉普拉斯金字塔结果图；
图16为本发明方法RAW图像序列融合结果图；
图17为图16对应JPEG图像序列融合结果图；
图18为本发明方法与现有方法融合结果对比图，其中，(a)～(d)为RAW曝光图像序列，(e)为文献[3]方法得到的融合图像，(f)为文献[4]方法得到的融合图像，(g)为文献[1]方法得到的融合图像，(h)为JPEG直接加权融合图像，(i)为本发明方法JPEG序列融合图像，(j)为本发明方法RAW图像序列融合图像；
图19为本发明方法的极端曝光RAW图像对融合结果；
图20为本发明方法的极端曝光RAW图像对融合结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于RAW数据抵抗相机抖动的高动态图像恢复方法，具体步骤如下：
S1、将5幅带位移的多曝光RAW图像序列通过Bayer插值从单通道转换为三通道RAW数据，得到三通道RAW图像序列；在彩色信号传感相机系统中，色彩滤波阵列CFA只能表达每个像素单元的一种颜色，为得到彩色的RAW图像，以图6和图7所示的滤波阵列排列方式为例，采用Bayer插值算法将多曝光RAW图像序列转换三通道彩色图像，利用一种通道的像素计算其他两种通道像素的方法，已知像素的通道为G，利用Bayer插值计算通道R像素的方法为：
Figure BDA0002296108010000051
其中，(i,j)为当前像素的坐标，r(i,j)为通道R的插值，G(i,j)为通道G，R(i,j-1)和R(i,j+1)均为相邻位置已知的通道R的插值，g(i,j-1)和g(i,j+1)均为相邻位置点上计算出的重构分量。
利用Bayer插值计算通道B像素的方法为：
Figure BDA0002296108010000061
其中，b(i,j)为通道B的插值，B(i-1,j)和B(i+1,j)均为上下相邻位置已知的通道B。
S2、分别计算步骤S1中三通道RAW图像序列转化为灰度图序列后的信息熵，并将信息熵值最大的一幅三通道RAW图像作为参考图像，其余作为待配准的RAW曝光图像序列；
通过计算每一幅三通道RAW图像灰度模式下的信息熵，信息熵是对随机变量不确定性的度量，信息熵描述的是信号或图像所提供的信息量。不同曝光的图像包含不同的信息量，熵值越大代表图像包含的信息量越大。通过计算图像的信息熵，选取熵值最大的图像作为参考图像，图像的信息熵计算公式如下：
Figure BDA0002296108010000062
其中，p(i)为灰度图灰度值k'的分布概率。
S3、分别检测和提取步骤S2中的参考图像和待配准的RAW曝光图像序列的关键特征点，并利用ORB特征描述符和Hamming距离将曝光图像序列与参考图像进行特征匹配；针对选出的参考图像和曝光图像序列，采用ORB特征描述符提取参考图像和曝光序列的特征点，对每一张曝光图像进行特征点检测，高曝光图像检测暗区域特征点，低曝光图像检测亮区域特征点，通过计算所检测像素点与周围像素点的灰度值差确定该点是否为特征点，每张曝光图像所检测特征点都与参考图像所检测特征点匹配。特征点匹配时采用Hamming距离匹配曝光图像序列特征点与参考图像特征点之间相同的特征点，针对存在的错误匹配对，通过设定Hamming距离的大小剔除错误匹配对，保留正确的匹配对。如图8所示，不同的曝光图像包含不同的图像信息，高曝光图像中暗区域特征点较为突出，低曝光图像亮区域特征点较为突出，设定一个阈值，通过计算所检测像素点与周围像素点的灰度值差确定该点是否为特征点，若灰度值差大于阈值，该点为特征点则保留，否则就舍弃。
以步骤S2选取的参考图像为标准图像，每张曝光图像都与参考图像匹配，如图9、图10、图11和图12所示，图9(a)、图10(a)、图11(a)和图12(a)均为参考图像，图9(b)、图10(b)、图11(b)和图12(b)为不同曝光图像，针对各匹配对之间存在的错误匹配，通过设定Hamming距离的大小剔除存在的错误匹配，以保证融合图像的质量，在实施例中Hamming距离取0.7。
S4、将步骤S3中特征匹配后的曝光图像序列分别以参考图像为标准图像进行对齐配准；如图13所示，所述曝光图像序列之间存在位置偏移，以参考图像为标准图像对有位置偏移的曝光图像序列进行配准，采用单应性变换准则建立曝光图像序列与参考图像之间的变换：
Figure BDA0002296108010000071
其中，(x1,y1)为参考图像上的点，(x2,y2)为曝光图像序列上的点，H'为变换矩阵，且变换矩阵H'的表达式为：
Figure BDA0002296108010000072
其中，hpq为变换矩阵H'的元素，且p＝1,2,3；q＝1,2,3。
S5、分别计算参考图像和步骤S4中对齐配准后的曝光图像序列的高斯金字塔特征图，再分别计算参考图像的高斯金字塔和曝光图像序列的高斯金字塔特征图的拉普拉斯金字塔特征图；所述拉普拉斯金字塔特征图的计算方法为：
S51、计算高斯金字塔特征图，结果如图14所示：
Figure BDA0002296108010000073
其中，1≤l≤N'，0≤i≤Cl，0≤j≤Rl，G'l(i,j)为第l层高斯金字塔特征图，w(m,n)为二维低通滤波器，N'＝5为金字塔总层数，Cl为第l层高斯金字塔特征图的高度，Rl为第l层高斯金字塔特征图的宽度，且下采样是对图像隔行隔列采样，金字塔每一层的大小都缩小为上一层的四分之一。
S52、利用函数Expand(·)对步骤S51中的高斯金字塔的每一层特征图进行插值：
Figure BDA0002296108010000074
其中，G'l,0(i,j)＝G'l(i,j)，G'l,k(i,j)＝Expand(G'l,k-1(i,j))，且1≤k≤N'，k为第k层高斯金字塔。
S53、根据步骤S52中高斯金字塔特征图和步骤S52中插值后的高斯金字塔特征图计算拉普拉斯金字塔特征图，结果如图15所示：
Ll＝G'l-Expand(G'l+1,k) (8)，
其中，Ll为第l层拉普拉斯金字塔特征图，G'l为第l层高斯金字塔特征图，G'l+1,k为插值后的第l+1层高斯金字塔特征图。
S6、将步骤S5中的参考图像的拉普拉斯金字塔特征图和曝光图像序列的拉普拉斯金字塔特征图进行加权融合，得到最终的高动态图像，结果如图2所示。所述最终的高动态图像的计算方法为：
S61、根据步骤S53中的拉普拉斯金字塔特征图和步骤S52中插值后的高斯金字塔特征图重构拉普拉斯金字塔特征图：
L'l＝Ll+Expand(G'l+1,k) (9)，
其中，L'l为重构后的拉普拉斯金字塔特征图；
S62、利用加权平均对重构后的参考图像的拉普拉斯金字塔特征图和重构后的曝光图像序列的拉普拉斯金字塔特征图进行图像融合，得到融合的拉普拉斯金字塔特征图：
Fz＝La*50％+Lb,z*50％ (10)，
其中，z＝0,1,…,N-1为曝光图像序列中第z个曝光图像，Fz为融合的拉普拉斯金字塔特征图，La为重构后的参考图像的第1层拉普拉斯金字塔特征图，Lb,z为重构后的第z个曝光图像的第1层拉普拉斯金字塔特征图；
S63、将步骤S62中得到N-1个融合的拉普拉斯金字塔特征图进行两两融合，融合后的特征图再次进行两两融合，直至融合为一幅特征图，得到最终的高动态图像。
如图16和图17所示，相较于JPEG图像序列，本发明方法采用RAW图像序列融合得到的图像有更高的动态范围，图像纹理细节更丰富且没有鬼影现象的出现。
为验证本发明方法的可行性和有效性，对本发明方法进行实验。
利用传统的图像质量评价方法来评价本发明方法及现有的JPEG直接融合方法和4种色调映射方法的实验结果，传统的图像质量评价方法为图像信息熵(Entropy)、峰值信噪比(PSNR)和平均梯度(Average gradient)。图像的信息熵是一种平均包含多少信息的度量，熵值越大图像含有的信息量越大；PSNR用于比较所需信号强度与背景噪声的强度，其值越大图像噪音越小，图像质量越高；平均梯度表达图像的清晰度和纹理特征，梯度越大图像质量越高。
现有的4种色调映射方法分别为：文献[1]-[Reinhard,E.,et al.PhotographicTone Reproduction For Digital Images.in Conference on Computer Graphics&Interactive Techniques.2002.]、文献[2]-[Durand,F.and J.Dorsey,Fast BilateralFiltering for the Display of High-dynamic-range Images.Acm Transactions onGraphics,2002.21(3):p.257-266.]、文献[3]-[Drago,F.,et al.,Adaptive LogarithmicMapping For Displaying High Contrast Scenes.Computer Graphics Forum,2003.22(3):p.419-426.]和文献[4]-[Mantiuk,R.,S.Daly,and L.Kerofsky.Display AdaptiveTone Mapping.2008.]。
表1给出了分别利用本发明方法及现有的JPEG直接融合方法和4种色调映射方法的实验结果得到的融合图像的信息熵、峰值信噪比和平均梯度的评价值。
表1本发明与现有方法的结果的对比评价值
Figure BDA0002296108010000091
从表1所列的数据中可以看出，利用本发明方法得到的融合图像的图像信息熵、峰值信噪比以及平均梯度都高于其余五种方法，这表明本发明所得融合图像具有丰富的图像信息量，含有噪音少以及具有较高清晰度和纹理特征。实验结果以及数据分析充分表明了本发明方法的优点，有效的提高了图像的融合质量和动态范围。
如图18所示，本发明方法利用上述色调映射方法测试了其他曝光图像序列，图18中(a)～(d)为RAW曝光图像序列，(e)为文献[3]方法得到的融合图像，(f)为文献[4]方法得到的融合图像，(g)为文献[1]方法得到的融合图像，(h)为JPEG直接加权融合图像，(i)为本发明方法JPEG序列融合图像，(j)为本发明方法RAW图像序列融合图像。由上述实验结果可以看出，针对有位置偏移的曝光图像序列，文献[3]方法、文献[4]方法、文献[1]方法和JPEG加权融合法在灯的部分都存在鬼影现象，其中，JPEG加权融合法鬼影现象最严重。图18(i)图像质量明显提高，但是灯的白色部分存在轻微的鬼影现象，而本发明实验结果图18(j)没有鬼影现象，且图像的纹理特征和清晰度都比较高。由此说明本发明方法利用RAW图像有效提高了融合图像的对比度及动态范围。
为了证明本发明方法具有强壮的鲁棒性，利用本发明方法针对极端曝光RAW图像对以及对应的JPEG图像对做了试验。针对图19和图20中过曝区域丢失的图像细节信息，以及曝光不足区域细节信息不明显等问题，对融合结果做以下分析：
图19(a)中，高曝光图像中地面和远处的桥栏都出现了过曝现象，低曝光图像中椅子上文字由于曝光不足导致文字不明显。对于JPEG融合结果图19(b)，对上述三种现象进行了恢复，地面纹理特征有了明显的改善，但椅子上的文字仍没有得到恢复，本发明方法融合结果图19(c)，对上述三种现象都有很好的恢复，远处的桥栏和椅子上的文字都清晰可见，地面的纹理特征也较为可观，甚至地面上黄色的落叶都更接近真实场景。
图20(a)中，石墩处于过曝区域，其表面纹理信息已大量丢失，水中的倒影处于曝光不足状态，倒影形状模糊不清。对于JPEG融合结果图20(b)，石墩和水中的倒影经融合后都有了明显的细节，但是整个融合后的图像清晰度不够。本发明方法融合结果如图20(c)，提高了图像的清晰度和纹理特征，石墩表面用来装饰的石头的颜色清晰可见，由石头装饰的图案也清晰可见，水中数目的倒影更加逼真，岸边小路石壁上的裂纹细节都非常真实。
综上所述，本发明提供的基于RAW数据抵抗相机抖动的高动态图像恢复方法，减少了图像细节的丢失，能够最大限度的保留图像的原始信息，使用带位置偏移的图像序列，有效解决了由于相机抖动或目标移动产生的鬼影现象，具有一定的参考价值。本发明提供的方法能够使用简单的算法实现高质量的结果，具有操作简单，计算复杂度低等优点，此外，对极端曝光图像对的实施例，实验结果证明了本发明方法具有强壮的鲁棒性。本发明方法还可用于双目或多目等计算机视觉系统。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，其步骤如下：
S1、利用Bayer插值算法将带位移的多曝光RAW图像序列从单通道转换为三通道RAW数据，得到三通道RAW图像序列；
S2、分别计算步骤S1中三通道RAW图像序列转化为灰度图序列后的信息熵，并将信息熵值最大的一幅三通道RAW图像作为参考图像，其余作为待配准的RAW曝光图像序列；
S3、分别检测和提取步骤S2中的参考图像和待配准的RAW曝光图像序列的关键特征点，并利用ORB特征描述符和Hamming距离将曝光图像序列与参考图像进行特征匹配；
S4、将步骤S3中特征匹配后的曝光图像序列分别以参考图像为标准图像进行对齐配准；
S5、分别计算参考图像和对齐配准后的曝光图像序列的高斯金字塔特征图和拉普拉斯金字塔特征图；
S6、将步骤S5中的参考图像的拉普拉斯金字塔特征图和曝光图像序列的拉普拉斯金字塔特征图进行加权融合，得到最终的高动态图像。
2.根据权利要求1所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述步骤S1中的Bayer插值是利用一种通道的像素计算其他两种通道像素的方法，已知像素的通道为G，利用Bayer插值计算通道R像素的方法为：
Figure FDA0002296107000000011
其中，(i,j)为当前像素的坐标，r(i,j)为通道R的插值，G(i,j)为通道G，R(i,j-1)和R(i,j+1)均为相邻位置已知的通道R的插值，g(i,j-1)和g(i,j+1)均为相邻位置点上计算出的重构分量；
利用Bayer插值计算通道B的像素方法为：
Figure FDA0002296107000000012
其中，b(i,j)为通道B的插值，B(i-1,j)和B(i+1,j)均为上下相邻位置已知的通道B。
3.根据权利要求1所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述步骤S2中利用ORB特征描述符和Hamming距离将曝光图像序列与参考图像进行特征匹配的方法为：针对选出的参考图像和曝光图像序列，采用ORB特征描述符提取参考图像和曝光图像序列的特征点，对每一张曝光图像进行特征点检测，通过计算所检测像素点与周围像素点的灰度值差确定特征点；采用Hamming距离匹配曝光图像序列特征点与参考图像特征点之间相同的特征点，针对存在的错误匹配对，通过设定Hamming距离的大小剔除错误匹配对，保留正确的匹配对。
4.根据权利要求1或2所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述三通道RAW图像序列转化为灰度图序列后的信息熵的计算方法为：
Figure FDA0002296107000000021
其中，p(i)为灰度图灰度值k'的分布概率。
5.根据权利要求1所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述特征匹配后的曝光图像序列与参考图像进行对齐配准的方法是采用单应性变换准则建立曝光图像序列与参考图像之间的变换：
Figure FDA0002296107000000022
其中，(x1,y1)为参考图像上的点，(x2,y2)为曝光图像序列上的点，H'为变换矩阵。
6.根据权利要求5所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述变换矩阵H'的表达式为：
Figure FDA0002296107000000023
其中，hpq为变换矩阵H'的元素，且p＝1,2,3；q＝1,2,3。
7.根据权利要求1所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述步骤S5中拉普拉斯金字塔特征图的计算方法为：
S51、计算高斯金字塔特征图：
Figure FDA0002296107000000024
其中，1≤l≤N'，0≤i≤Cl，0≤j≤Rl，G'l(i,j)为第l层高斯金字塔特征图，w(m,n)为二维低通滤波器，N'为金字塔总层数，Cl为第l层高斯金字塔特征图的高度，Rl为第l层高斯金字塔特征图的宽度；
S52、利用函数Expand(·)对步骤S51中的高斯金字塔的每一层特征图进行插值：
Figure FDA0002296107000000025
其中，G'l,0(i,j)＝G'l(i,j)，G'l,k(i,j)＝Expand(G'l,k-1(i,j))，且1≤k≤N'，k为第k层高斯金字塔；
S53、根据步骤S52中高斯金字塔特征图和步骤S52中插值后的高斯金字塔特征图计算拉普拉斯金字塔特征图：
Ll＝G'l-Expand(G'l+1,k) (8)，
其中，Ll为第l层拉普拉斯金字塔特征图，G'l为第l层高斯金字塔特征图，G'l+1,k为插值后的第l+1层高斯金字塔特征图。
8.根据权利要求1或7所述的基于RAW数据抵抗相机抖动的高动态图像恢复方法，其特征在于，所述最终的高动态图像的计算方法为：
S61、根据步骤S53中的拉普拉斯金字塔特征图和步骤S52中插值后的高斯金字塔特征图重构拉普拉斯金字塔特征图：
L'l＝Ll+Expand(G'l+1,k) (9)，
其中，L'l为重构后的拉普拉斯金字塔特征图；
S62、利用加权平均对重构后的参考图像的拉普拉斯金字塔特征图和重构后的曝光图像序列的拉普拉斯金字塔特征图进行图像融合，得到融合的拉普拉斯金字塔特征图：
Fz＝L'a*50％+L'b,z*50％ (10)，
其中，z＝0,1,…,N-1为曝光图像序列中第z个曝光图像，Fz为融合的拉普拉斯金字塔特征图，L'a为重构后的参考图像的第1层拉普拉斯金字塔特征图，L'b,z为重构后的第z个曝光图像的第1层拉普拉斯金字塔特征图；
S63、将步骤S62中得到N-1个融合的拉普拉斯金字塔特征图依次进行两两融合，得到最终的高动态图像。
CN201911202019.3A 2019-11-29 2019-11-29 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 Active CN111028165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911202019.3A CN111028165B (zh) 2019-11-29 2019-11-29 一种基于raw数据抵抗相机抖动的高动态图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911202019.3A CN111028165B (zh) 2019-11-29 2019-11-29 一种基于raw数据抵抗相机抖动的高动态图像恢复方法

Publications (2)

Publication Number Publication Date
CN111028165A true CN111028165A (zh) 2020-04-17
CN111028165B CN111028165B (zh) 2023-03-21

Family

ID=70203618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911202019.3A Active CN111028165B (zh) 2019-11-29 2019-11-29 一种基于raw数据抵抗相机抖动的高动态图像恢复方法

Country Status (1)

Country Link
CN (1) CN111028165B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927160A (zh) * 2021-03-12 2021-06-08 郑州轻工业大学 一种基于深度Retinex的单张低光图像增强方法
CN112950494A (zh) * 2021-02-04 2021-06-11 华南理工大学 一种基于高动态范围的三维重建方法
CN113418455A (zh) * 2021-05-24 2021-09-21 深圳亦芯智能视觉技术有限公司 基于图像视觉的路基位移监测方法及装置
CN113840093A (zh) * 2020-06-24 2021-12-24 北京小米移动软件有限公司 图像生成方法及装置
CN114004769A (zh) * 2021-12-30 2022-02-01 江苏游隼微电子有限公司 一种基于离散权重的Bayer去噪颜色插值方法
CN114096994A (zh) * 2020-05-29 2022-02-25 北京小米移动软件有限公司南京分公司 图像对齐方法及装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
JP2012085360A (ja) * 2012-01-17 2012-04-26 Fujifilm Corp 画像処理方法、装置及びプログラム並びに撮像装置
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN110009587A (zh) * 2019-04-09 2019-07-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
JP2012085360A (ja) * 2012-01-17 2012-04-26 Fujifilm Corp 画像処理方法、装置及びプログラム並びに撮像装置
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN110009587A (zh) * 2019-04-09 2019-07-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付争方等: "多尺度细节融合的多曝光高动态图像重建", 《计算机工程与应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114096994A (zh) * 2020-05-29 2022-02-25 北京小米移动软件有限公司南京分公司 图像对齐方法及装置、电子设备、存储介质
CN113840093A (zh) * 2020-06-24 2021-12-24 北京小米移动软件有限公司 图像生成方法及装置
CN113840093B (zh) * 2020-06-24 2023-07-25 北京小米移动软件有限公司 图像生成方法及装置
CN112950494A (zh) * 2021-02-04 2021-06-11 华南理工大学 一种基于高动态范围的三维重建方法
CN112950494B (zh) * 2021-02-04 2022-09-30 华南理工大学 一种基于高动态范围的三维重建方法
CN112927160A (zh) * 2021-03-12 2021-06-08 郑州轻工业大学 一种基于深度Retinex的单张低光图像增强方法
CN112927160B (zh) * 2021-03-12 2022-11-18 郑州轻工业大学 一种基于深度Retinex的单张低光图像增强方法
CN113418455A (zh) * 2021-05-24 2021-09-21 深圳亦芯智能视觉技术有限公司 基于图像视觉的路基位移监测方法及装置
CN114004769A (zh) * 2021-12-30 2022-02-01 江苏游隼微电子有限公司 一种基于离散权重的Bayer去噪颜色插值方法

Also Published As

Publication number Publication date
CN111028165B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN111028165B (zh) 一种基于raw数据抵抗相机抖动的高动态图像恢复方法
WO2022021999A1 (zh) 一种图像处理方法及图像处理装置
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN107220931B (zh) 一种基于灰度级映射的高动态范围图像重建方法
TWI462029B (zh) Face detection and tracking device
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN112785534A (zh) 一种动态场景下去鬼影多曝光图像融合方法
WO2015184208A1 (en) Constant bracketing for high dynamic range operations (chdr)
CN107493432A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN111612725B (zh) 一种基于可见光图像对比度增强的图像融合方法
CN112150400B (zh) 图像增强方法、装置和电子设备
CN111183630B (zh) 一种智能终端的照片处理方法及处理装置
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN105931213A (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
CN111798359A (zh) 一种基于深度学习的图像去水印方法
CN107464225B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
CN115063331A (zh) 基于多尺度块lbp算子无鬼影多曝光图像融合算法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN115601240A (zh) 一种基于SwinTransformer的去马赛克重建彩色图像的方法
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN112233032B (zh) 一种高动态范围图像鬼影消除的方法
CN112750087A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant