CN107292804B - 基于OpenCL的直接多曝光融合并行加速方法 - Google Patents

基于OpenCL的直接多曝光融合并行加速方法 Download PDF

Info

Publication number
CN107292804B
CN107292804B CN201710405996.8A CN201710405996A CN107292804B CN 107292804 B CN107292804 B CN 107292804B CN 201710405996 A CN201710405996 A CN 201710405996A CN 107292804 B CN107292804 B CN 107292804B
Authority
CN
China
Prior art keywords
image
pyramid
brightness
kernel
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710405996.8A
Other languages
English (en)
Other versions
CN107292804A (zh
Inventor
赖睿
王维
张剑贤
孟灵非
周慧鑫
王炳建
秦翰林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710405996.8A priority Critical patent/CN107292804B/zh
Publication of CN107292804A publication Critical patent/CN107292804A/zh
Application granted granted Critical
Publication of CN107292804B publication Critical patent/CN107292804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于OpenCL的直接多曝光融合并行加速方法，本发明的方法基于CPU+GPU的异构并行架构，利用GPU强大的浮点计算能力，在OpenCL开发环境下，通过合并内核、缓存高斯核到常量存储器、缓存复用数据到局部存储器、增大每个工作项的工作量等方式，缩短了访存和计算时间，实现了更快速多曝光融合，较传统的串行处理方法，本发明的方法取得的最大加速比达11.19，有效地减少了多曝光融合算法运行时间，为多曝光融合算法的进一步应用提供了有力保障；另外，在空间频率和平均梯度方面，本发明的方法都有较为明显的改善，有效解决了电子成像和显示设备动态范围不足导致的场景细节信息丢失问题。

Description

基于OpenCL的直接多曝光融合并行加速方法
技术领域
本发明涉及一种图像处理并行加速方法，具体涉及一种基于OpenCL的直接多曝光融合并行加速方法，属于图像处理的异构并行加速技术领域。
背景技术
真实世界场景的动态范围可以高达十几个数量级，但是目前通用的拍摄和显示设备的动态范围远不能与之匹配。即使通过调节光圈和快门速度调整曝光度，获得的单张图像仍然会存在曝光过度的亮区和曝光不足的暗区，由于亮区和暗区的细节丢失导致不能完整表达场景的真实信息。高动态范围技术则可利用同一场景不同曝光度的图像序列获取动态范围扩展、信息表达完整的结果图像。
高动态范围技术有两种：曝光融合色调映射方法和直接多曝光融合方法。曝光融合色调映射方法利用多帧不同曝光度的低动态范围图像得到一帧高动态范围图像，然后对高动态范围图像利用色调映射进行动态范围压缩。得到高动态范围图像的过程中，需要知道每幅图像的曝光时间以及相机的响应曲线，效率较低。直接多曝光融合方法根据不同曝光度的低动态范围图像融合成一幅场景各部分细节都保留较为完整的动态范围得到扩展的图像，效率较高。
高动态范围技术的实现方式有两种：软件和硬件。相较而言，硬件实现高动态范围技术更为复杂。硬件实现方面，北京交通大学的贾琦在其硕士学位论文“基于FPGA的多曝光图像分块融合设计与验证”中，应用Verilog HDL语言基于DE2开发平台，利用ALTERA公司的Cyclone IV系列芯片仿真验证了多曝光融合算法中的部分模块，但是没有完成整个算法在FPGA上实现的目标。软件实现方面，西南科技大学的朱恩弘等人在“朱恩弘，张红英，吴亚东，等.单幅图像的高动态范围图像生成方法[J].计算机辅助设计与图形学学报，2016，28(10):1713-1722.”中，基于人类视觉系统模型，对亮度和色度分量分开处理，利用单帧图片获取动态范围得到扩展的图片，但是该方法会丢失大面积高光区域的细节信息。Mertens等人在“Mertens T，Kautz J，Van Reeth F.Exposure Fusion：A Simple and PracticalAlternative to High Dynamic Range Photography[J].Computer Graphics Forum，2009，28(1):161-171.”中，基于金字塔原理，根据输入图像序列的饱和度、对比度好曝光量构建权重图，并在不同分辨率下对输入图像根据权重图加权融合，该方法可以取得较好的融合效果，但是算法复杂度较高，运行时间较长。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种既能有效解决电子成像时动态范围不足导致的场景细节信息丢失问题，又能缩短处理时间的基于OpenCL的直接多曝光融合并行加速方法。
为了实现上述目标，本发明采用如下的技术方案：
基于OpenCL的直接多曝光融合并行加速方法，其特征在于，包括以下步骤：
1、开发环境初始化：明确OpenCL平台的主机和设备，依次创建上下文、命令队列、内核对象和程序对象；
2、通过PCI-e传递低动态范围图像到显存，具体如下：
2a、读取同一场景多帧不同曝光度的低动态范围图像到CPU内存；
2b、创建内存对象；
2c、传递内存的低动态范围图像到显存；
3、在GPU上进行RGB到HIS的色域转换：亮度和色度独立表示的HIS色域空间相较于RGB色域空间更易于表示图像特征，按照下式，在GPU上进行RGB到HIS的色域转换，假设多曝光图像序列中共有N张图片，每张图片的分辨率为W×H，则共有N×W×H个待处理像素点，一个工作项处理2×1个像素点：
其中，R、G、B是红、绿、蓝三原色，H、S、I分别表示色调、饱和度、亮度，π表示圆周率，min表示求最小值；
4、计算决定多曝光融合权重的特征因子，具体如下：
4a、不合适的曝光度会影响图像饱和度，按照下式，在GPU上筛选出饱和度适中的部分：
其中，n表示不同曝光度的图像序列的序号，T是最佳曝光度可取的最小值，In表示多曝光图像序列中第n张图像的亮度，Sn表示多曝光图像序列中第n张图像的饱和度，一个工作项处理一个像素点；
4b、按照下式，在GPU上计算对比度：
Cn＝L*In
其中，Cn表示第n张图片的对比度，L表示拉普拉斯算子，在计算对比度的过程中，拉普拉斯算子始终保持不变，将拉普拉斯算子存储在显存的常量存储器区域以加快对它的访问速度，计算对比度时存在一定的数据复用，缓存复用数据到局部存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；
4c、按照下式，对每个像素位置选择多曝光图像序列中对比度的最大值参与权值计算：
其中，表示最终参与权值计算的对比度值，一个工作项处理一个像素点；
5、计算归一化的权重图，具体如下：
5a、根据步骤4a和步骤4c得到的特征因子，按照下式计算权重图：
其中，Wn表示第n张图片的权重图；
5b、对步骤5a得到的权重图按照下式进行归一化：
其中，是归一化因子，权重计算和归一化同步实现，如果则归一化后的权重Wn＝0，如果则归一化后的一个工作项处理一个像素点；
6、同时对权重图和亮度图进行高斯下采样得到权重图高斯金字塔和亮度图高斯金字塔：以IG和WG作为高斯金字塔输入图像，则高斯金字塔第i层图像WGi和IGi按照下式计算：
其中，WGi-1和IGi-1表示第i-1层图像，第i-1层是第i层的下一层，gauss表示高斯核 表示卷积运算，down表示取偶数行和偶数列的下采样，n＝0时，WG0＝W，IG0＝I，权重图和亮度图与高斯核卷积时均存在20个复用数据，权重图和亮度图分别缓存高斯核尺寸大小的邻域到局部存储器，将卷积过程中保持不变的高斯核缓存到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；
7、构建亮度图拉普拉斯金字塔：直接根据高斯金字塔下采样的逆过程上采样会丢失部分信息，为了还原高斯下采样后偶数行和偶数列的信息，按照下式，用亮度图高斯金字塔每一层图像减去其上一层图像上采样并高斯卷积后的预测图像，得到的残差图像构成亮度图拉普拉斯金字塔：
其中，IGi+1表示亮度图第i+1层金字塔，up表示行列均扩展两倍的上采样，上采样结果的高斯卷积存在数据复用，缓存上采样图像高斯核尺寸大小的邻域到局部存储器，缓存高斯核到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；
8、亮度图在不同尺度下加权融合得到融合金字塔：对于金字塔的第l层，图像序列的每张亮度图片根据权重图按照下式加权融合得到融合金字塔的第l层pyr(l)：
融合时一个工作项处理一个像素点；
9、重构亮度金字塔：根据金字塔生成的逆过程从融合金字塔最顶层开始重构亮度金字塔，第i层亮度图上采样后和第i-1层合并成新的第i-1层，重构后的亮度金字塔最底层就是多曝光融合后得到的结果亮度图，重构过程一个工作项处理一个像素点；
10、确定结果图像的饱和度和色调，具体如下：
10a、饱和度越大，图像色彩越鲜艳，按照下式，选择最大的饱和度值作为结果图像的饱和度值：
S＝max(Sn),n＝1,2,3,...,N
10b、选择饱和度值最大的图像序列所对应的色调值作为结果图像的色调值；
11、将H、S、I转换到RGB色域空间，具体按照下式进行转换：
12、显示并保存结果图像：将步骤11的R、G、B分量传输到主机内存，在主机端显示并保存结果图像。
前述的基于OpenCL的直接多曝光融合并行加速方法，其特征在于，在步骤1中，前述内核对象包括：RGB到HIS的色域变换内核、计算特征因子内核、计算权重图内核、高斯下采样内核、构建拉普拉斯金字塔内核、基于权重对亮度图融合内核、重构亮度金字塔内核、计算结果图像饱和度和色调分量内核以及HIS到RGB的色域变换内核。
前述的基于OpenCL的直接多曝光融合并行加速方法，其特征在于，在步骤4a中，前述最佳曝光度可取的最小值T的取值为0.1。
本发明的有益之处在于：本发明的方法基于CPU+GPU的异构并行架构，利用GPU强大的浮点计算能力，在OpenCL开发环境下，通过合并内核、缓存高斯核到常量存储器、缓存复用数据到局部存储器、增大每个工作项的工作量等方式，缩短了访存和计算时间，实现了更快速多曝光融合，较传统的串行处理方法，本发明的方法取得的最大加速比达11.19，有效地减少了多曝光融合算法运行时间，为多曝光融合算法的进一步应用提供了有力保障；另外，在空间频率和平均梯度方面，本发明的方法都有较为明显的改善，有效解决了电子成像时动态范围不足导致的场景细节信息丢失问题。
附图说明
图1是本发明基于OpenCL的直接多曝光融合并行加速方法的流程图；
图2(a)至图2(c)是church场景不同曝光度下的图像序列图；
图2(d)是church场景应用本发明的方法后的融合结果图；
图3(a)至图3(c)是gate场景不同曝光度下的图像序列图；
图3(d)是gate场景应用本发明的方法后的融合结果图；
图4(a)至图4(d)是house场景不同曝光度下的图像序列图；
图4(e)是house场景应用本发明的方法后的融合结果图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1，本发明的基于OpenCL的直接多曝光融合并行加速方法具体包括以下步骤：
步骤1、开发环境初始化
开发环境初始化具体如下：明确OpenCL平台的主机和设备，依次创建上下文、命令队列、内核对象和程序对象。
其中，内核对象包括：RGB到HIS的色域变换内核、计算特征因子内核、计算权重图内核、高斯下采样内核、构建拉普拉斯金字塔内核、基于权重对亮度图融合内核、重构亮度金字塔内核、计算结果图像饱和度和色调分量内核、HIS到RGB的色域变换内核。
步骤2、通过PCI-e传递低动态范围图像到显存
具体步骤如下：
2a、读取同一场景多帧不同曝光度的低动态范围图像到CPU内存；
2b、创建内存对象；
2c、传递内存的低动态范围图像到显存。
步骤3、在GPU上进行RGB到HIS的色域转换
亮度和色度独立表示的HIS色域空间相较于RGB色域空间更易于表示图像特征，按照下式，在GPU上进行RGB到HIS的色域转换，如多曝光图像序列中共有N张图片，每张图片的分辨率为W×H，则共有N×W×H个待处理像素点，一个工作项处理2×1个像素点：
其中，R、G、B是红、绿、蓝三原色，H、S、I分别表示色调、饱和度、亮度，π表示圆周率，min表示求最小值。
步骤4、计算决定多曝光融合权重的特征因子——饱和度和对比度
4a、在GPU上筛选出饱和度适中的部分
不合适的曝光度会影响图像饱和度，按照下式，在GPU上筛选出饱和度适中的部分：
其中，n表示不同曝光度的图像序列的序号，T是最佳曝光度可取的最小值，In表示多曝光图像序列中第n张图像的亮度，Sn表示多曝光图像序列中第n张图像的饱和度，一个工作项处理一个像素点。
4b、在GPU上计算对比度
按照下式，在GPU上计算对比度：
Cn＝L*In
其中，Cn表示第n张图片的对比度，L表示拉普拉斯算子，在计算对比度的过程中，拉普拉斯算子始终保持不变，将拉普拉斯算子存储在显存的常量存储器区域以加快对它的访问速度，计算对比度时存在一定的数据复用，缓存复用数据到局部存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点。
4c、计算最终参与权值计算的对比度值
按照下式，对每个像素位置选择多曝光图像序列中对比度的最大值参与权值计算：
其中，表示最终参与权值计算的对比度值，一个工作项处理一个像素点。
步骤5、计算归一化的权重图
5a、计算权重图
根据步骤4a和步骤4c计算得到的特征因子，按照下式计算权重图：
其中，Wn表示第n张图片的权重图。
5b、归一化
对步骤5a得到的权重图按照下式进行归一化：
其中，是归一化因子，权重计算和归一化同步实现，如果则归一化后的权重Wn＝0，如果则归一化后的一个工作项处理一个像素点。
步骤6、同时对权重图和亮度图进行高斯下采样得到权重图高斯金字塔和亮度图高斯金字塔
以IG和WG作为高斯金字塔输入图像，则高斯金字塔第i层图像WGi和IGi按照下式计算：
其中，WGi-1和IGi-1表示第i-1层图像，第i-1层是第i层的下一层，gauss表示高斯核 表示卷积运算，down表示取偶数行和偶数列的下采样，n＝0时，WG0＝W，IG0＝I，权重图和亮度图与高斯核卷积时均存在20个复用数据，权重图和亮度图分别缓存高斯核尺寸大小的邻域到局部存储器，将卷积过程中保持不变的高斯核缓存到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点。
步骤7、构建亮度图拉普拉斯金字塔
直接根据高斯金字塔下采样的逆过程上采样会丢失部分信息，为了还原高斯下采样后偶数行和偶数列的信息，按照下式，用亮度图高斯金字塔每一层图像减去其上一层图像上采样并高斯卷积后的预测图像，得到的残差图像构成亮度图拉普拉斯金字塔：
其中，IGi+1表示亮度图第i+1层金字塔，up表示行列均扩展两倍的上采样，上采样结果的高斯卷积存在数据复用，缓存上采样图像高斯核尺寸大小的邻域到局部存储器，缓存高斯核到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点。
步骤8、亮度图在不同尺度下加权融合得到融合金字塔
对于金字塔的第l层，图像序列的每张亮度图片根据权重图按照下式加权融合得到融合金字塔的第l层pyr(l)：
融合时一个工作项处理一个像素点。
步骤9、重构亮度金字塔
根据金字塔生成的逆过程从融合金字塔最顶层开始重构亮度金字塔，第i层亮度图上采样后和第i-1层合并成新的第i-1层，重构后的亮度金字塔最底层就是多曝光融合后得到的结果亮度图，重构过程一个工作项处理一个像素点。
步骤10、确定结果图像的饱和度和色调
10a、确定结果图像的饱和度值
饱和度越大，图像色彩越鲜艳，按照下式，选择最大的饱和度值作为结果图像的饱和度值：
S＝max(Sn),n＝1,2,3,...,N。
10b、确定结果图像的色调值
选择饱和度值最大的图像序列所对应的色调值作为结果图像的色调值。
步骤11、将H、S、I转换到RGB色域空间
将H、S、I按照下式转换到RGB色域空间：
步骤12、显示并保存结果图
将步骤11的R、G、B分量传输到主机内存，在主机端显示并保存结果图像。
下面结合church场景、gate场景和house场景的仿真图对本发明的算法的效果做进一步的描述。
1、仿真实验条件
本发明的仿真实验使用的CPU是Intel(R)Xeon(R)E5410，使用的GPU是Intel HDGraphics 4600，软件环境是Windows7 32位，Visual Studio 2013，Matlab R2015a。
2、仿真效果
图2(a)至图2(d)、图3(a)至图3(d)、图4(a)至图4(e)是使用本发明的方法分别对不同场景进行多曝光融合前后的效果图，其中：
图2(a)至图2(c)是church场景不同曝光度下的图像序列图，图2(d)是church场景应用本发明方法后的融合结果图；
图3(a)至图3(c)是gate场景不同曝光度下的图像序列图，图3(d)是gate场景应用本发明方法后的融合结果图；
图4(a)至图4(d)是house场景不同曝光度下的图像序列图，图4(e)是house场景应用本发明方法后的融合结果图。
高斯金字塔和拉普拉斯金字塔上采样和下采样时的模板半径是2。
3、融合效果客观评价参数
本发明的多曝光融合效果由空间频率和平均梯度来衡量。
空间频率SF反映了一幅图像空间的总体活跃程度，由空间行频率RF和空间列频率CF组成，其表达式为：
其中，Z表示被评价图像，W表示被评价图像的宽度，H表示被评价图像的长度，xi，xi-1，yj，yj-1均表示被评价图像上的像素位置。空间频率越大，多曝光融合图像质量越好。
平均梯度A反映了图像对微小细节反差表达的能力，用来评价图像的清晰程度，其计算公式为：
其中，Z表示被评价图像，W表示被评价图像的宽度，H表示被评价图像的长度，xi，yj表示被评价图像上的像素位置。平均梯度越大，图像越清晰。
表1至表3列出了本发明方法对三组场景的融合效果，其中church1、church2、church3是church场景不同曝光度下3帧分辨率为512×768的低动态范围图片组成的图像序列，gate1、gate2、gate3是gate场景不同曝光度下3帧分辨率为1404×936的低动态范围图片组成的图像序列，house1、house2、house3、house4是house场景不同曝光度下4帧分辨率为752×500的低动态范围图片组成的图像序列。
表4列出了本发明方法取得的加速效果，CPU一项指的是CPU采用本发明进行多曝光融合所用时间，单位为ms，GPU一项指的是GPU采用本发明进行多曝光融合所用时间，单位为ms，加速比指的是CPU所用时间与GPU所用时间之比。
表1 church多曝光融合效果
图像 空间频率 平均梯度
church1 21.9825 7.3597
church2 22.1649 7.8188
church3 13.913 2.1504
church多曝光融合结果 23.1854 7.9945
表2 gate多曝光融合效果
图像 空间频率 平均梯度
gate1 6.5484 0.634
gate2 16.8026 3.4836
gate3 19.142 4.8384
gate多曝光融合结果 20.1102 4.9206
表3 house多曝光融合效果
图像 空间频率 平均梯度
house1 10.2174 1.5593
house2 17.9747 4.2496
house3 18.6181 5.6393
house4 16.6769 3.8527
house多曝光融合结果 20.2191 6.4088
表4 OpenCL加速效果
场景 CPU(ms) GPU(ms) 加速比
church 898 90 9.98
gate 2966 265 11.19
house 1113 110 10.12
观察表1至表3数据可知，经过本发明算法后，对于实验中的三组场景，在空间频率和平均梯度方面都有较为明显的改善，用实际数据证明了可以取得较好的融合效果。
观察表4数据可以发现，经本发明提出的加速方法较传统CPU处理方法运行时间大幅缩短，取得的最大加速比达11.19，有效地减少了多曝光融合算法运行时间，为多曝光融合算法的进一步应用提供了有力保障。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (3)

1.基于OpenCL的直接多曝光融合并行加速方法，其特征在于，包括以下步骤：
1、开发环境初始化：明确OpenCL平台的主机和设备，依次创建上下文、命令队列、内核对象和程序对象；
2、通过PCI-e传递低动态范围图像到显存，具体如下：
2a、读取同一场景多帧不同曝光度的低动态范围图像到CPU内存；
2b、创建内存对象；
2c、传递内存的低动态范围图像到显存；
3、在GPU上进行RGB到HIS的色域转换：亮度和色度独立表示的HIS色域空间相较于RGB色域空间更易于表示图像特征，按照下式，在GPU上进行RGB到HIS的色域转换，假设多曝光图像序列中共有N张图片，每张图片的分辨率为Row x Col，则共有N x Row x Col个待处理像素点，一个工作项处理2×1个像素点：
其中，R、G、B是红、绿、蓝三原色，H、S、I分别表示色调、饱和度、亮度，π表示圆周率，min表示求最小值；
4、计算决定多曝光融合权重的特征因子，具体如下：
4a、不合适的曝光度会影响图像饱和度，按照下式，在GPU上筛选出饱和度适中的部分：
其中，n表示不同曝光度的图像序列的序号，T是最佳曝光度可取的最小值，In表示多曝光图像序列中第n张图像的亮度，Sn表示多曝光图像序列中第n张图像的饱和度，一个工作项处理一个像素点；
4b、按照下式，在GPU上计算对比度：
Cn＝L*In
其中，Cn表示第n张图片的对比度，L表示拉普拉斯算子，在计算对比度的过程中，拉普拉斯算子始终保持不变，将拉普拉斯算子存储在显存的常量存储器区域以加快对它的访问速度，计算对比度时存在一定的数据复用，缓存复用数据到局部存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；
4c、按照下式，对每个像素位置选择多曝光图像序列中对比度的最大值参与权值计算：
其中，表示最终参与权值计算的对比度值，一个工作项处理一个像素点；
5、计算归一化的权重图，具体如下：
5a、根据步骤4a和步骤4c得到的特征因子，按照下式计算权重图：
其中，Wn表示第n张图片的权重图；
5b、对步骤5a得到的权重图按照下式进行归一化：
其中，是归一化因子，权重计算和归一化同步实现，如果则归一化后的权重Wn＝0，如果则归一化后的一个工作项处理一个像素点；
6、同时对权重图和亮度图进行高斯下采样得到权重图高斯金字塔和亮度图高斯金字塔：以IG和WG作为高斯金字塔输入图像，则高斯金字塔第i层图像WGi和IGi按照下式计算：
其中，WGi-1和IGi-1表示第i-1层图像，第i-1层是第i层的下一层，gauss表示高斯核 表示卷积运算，down表示取偶数行和偶数列的下采样，i＝0时，WG0＝W，IG0＝I，权重图和亮度图与高斯核卷积时均存在20个复用数据，权重图和亮度图分别缓存高斯核尺寸大小的邻域到局部存储器，将卷积过程中保持不变的高斯核缓存到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；
7、构建亮度图拉普拉斯金字塔：直接根据高斯金字塔下采样的逆过程上采样会丢失部分信息，为了还原高斯下采样后偶数行和偶数列的信息，按照下式，用亮度图高斯金字塔每一层图像减去其上一层图像上采样并高斯卷积后的预测图像，得到的残差图像构成亮度图拉普拉斯金字塔：
其中，IGi+1表示亮度图第i+1层金字塔，up表示行列均扩展两倍的上采样，上采样结果的高斯卷积存在数据复用，缓存上采样图像高斯核尺寸大小的邻域到局部存储器，缓存高斯核到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；
8、亮度图在不同尺度下加权融合得到融合金字塔：对于金字塔的第l层，图像序列的每张亮度图片根据权重图按照下式加权融合得到融合金字塔的第l层pyr(l)：
融合时一个工作项处理一个像素点；
9、重构亮度金字塔：根据金字塔生成的逆过程从融合金字塔最顶层开始重构亮度金字塔，第i层亮度图上采样后和第i-1层合并成新的第i-1层，重构后的亮度金字塔最底层就是多曝光融合后得到的结果亮度图，重构过程一个工作项处理一个像素点；
10、确定结果图像的饱和度和色调，具体如下：
10a、饱和度越大，图像色彩越鲜艳，按照下式，选择最大的饱和度值作为结果图像的饱和度值：
S＝max(Sn),n＝1,2,3,,N
10b、选择饱和度值最大的图像序列所对应的色调值作为结果图像的色调值；
11、将H、S、I转换到RGB色域空间，具体按照下式进行转换：
12、显示并保存结果图像：将步骤11的R、G、B分量传输到主机内存，在主机端显示并保存结果图像。
2.根据权利要求1所述的基于OpenCL的直接多曝光融合并行加速方法，其特征在于，在步骤1中，所述内核对象包括：RGB到HIS的色域变换内核、计算特征因子内核、计算权重图内核、高斯下采样内核、构建拉普拉斯金字塔内核、基于权重对亮度图融合内核、重构亮度金字塔内核、计算结果图像饱和度和色调分量内核以及HIS到RGB的色域变换内核。
3.根据权利要求1所述的基于OpenCL的直接多曝光融合并行加速方法，其特征在于，在步骤4a中，所述最佳曝光度可取的最小值T的取值为0.1。
CN201710405996.8A 2017-06-01 2017-06-01 基于OpenCL的直接多曝光融合并行加速方法 Active CN107292804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710405996.8A CN107292804B (zh) 2017-06-01 2017-06-01 基于OpenCL的直接多曝光融合并行加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710405996.8A CN107292804B (zh) 2017-06-01 2017-06-01 基于OpenCL的直接多曝光融合并行加速方法

Publications (2)

Publication Number Publication Date
CN107292804A CN107292804A (zh) 2017-10-24
CN107292804B true CN107292804B (zh) 2019-09-17

Family

ID=60094668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710405996.8A Active CN107292804B (zh) 2017-06-01 2017-06-01 基于OpenCL的直接多曝光融合并行加速方法

Country Status (1)

Country Link
CN (1) CN107292804B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024062A (zh) * 2017-12-13 2018-05-11 联想(北京)有限公司 图像处理方法及图像处理装置
CN108510474B (zh) * 2018-03-09 2021-07-06 上海烟草集团有限责任公司 烟叶图像质量的评价方法、系统、存储器、及电子设备
CN108510560B (zh) * 2018-04-11 2020-01-24 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109754377B (zh) * 2018-12-29 2021-03-19 重庆邮电大学 一种多曝光图像融合方法
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
CN110047058B (zh) * 2019-03-25 2021-04-30 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN110827225A (zh) * 2019-11-13 2020-02-21 山东科技大学 一种基于双重曝光框架的非均匀光照水下图像增强方法
CN113724144B (zh) * 2020-05-22 2024-08-09 北京小米移动软件有限公司 一种图像处理方法及终端设备上的图像信号处理器
CN112433847B (zh) * 2020-11-09 2024-04-02 中国船舶集团有限公司 一种OpenCL内核提交的方法及装置
CN112529088B (zh) * 2020-12-17 2024-06-21 中国航空工业集团公司成都飞机设计研究所 一种嵌入式异构显示融合系统
CN112634187B (zh) * 2021-01-05 2022-11-18 安徽大学 基于多重权重映射的宽动态融合算法
CN113591380B (zh) * 2021-07-28 2022-03-22 浙江大学 基于图高斯过程的交通流预测方法、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1171303A1 (en) * 1999-03-29 2002-01-16 Kodak Polychrome Graphics Company Ltd. Direct drawing planographic printing plate and preparation method therefor
CN105931207A (zh) * 2016-05-30 2016-09-07 西安电子科技大学 基于gpu加速的非局部平均滤波实时处理方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1171303A1 (en) * 1999-03-29 2002-01-16 Kodak Polychrome Graphics Company Ltd. Direct drawing planographic printing plate and preparation method therefor
CN105931207A (zh) * 2016-05-30 2016-09-07 西安电子科技大学 基于gpu加速的非局部平均滤波实时处理方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于自适应分块的动态场景HDR图像合成算法;李艳梅等;《计算机应用研究》;20140418;第31卷(第10期);全文

Also Published As

Publication number Publication date
CN107292804A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292804B (zh) 基于OpenCL的直接多曝光融合并行加速方法
Li et al. Low-light image enhancement via progressive-recursive network
Li et al. Luminance-aware pyramid network for low-light image enhancement
Shen et al. Exposure fusion using boosting Laplacian pyramid.
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN105279746B (zh) 一种基于双边滤波的多曝光图像融合方法
US9336578B2 (en) Interactive tone mapping for high dynamic range video
CN109003282A (zh) 一种图像处理的方法、装置及计算机存储介质
CN108022223B (zh) 一种基于对数映射函数分块处理融合的色调映射方法
CN110443763B (zh) 一种基于卷积神经网络的图像阴影去除方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
Kotwal et al. An optimization-based approach to fusion of multi-exposure, low dynamic range images
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
Ma et al. RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks
Pan et al. Multi-exposure high dynamic range imaging with informative content enhanced network
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
Ke et al. Perceptual multi-exposure image fusion with overall image quality index and local saturation
Garg et al. LiCENt: Low-light image enhancement using the light channel of HSL
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Dwivedi et al. Single image dehazing using extended local dark channel prior
Chen et al. End-to-end single image enhancement based on a dual network cascade model
CN109671044B (zh) 一种基于可变图像分解的多曝光图像融合方法
CN113409247B (zh) 一种多曝光融合图像质量评价方法
CN117745618A (zh) 一种hdr图像重建方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant