CN113344773B - 基于多级对偶反馈的单张图片重构hdr方法 - Google Patents
基于多级对偶反馈的单张图片重构hdr方法 Download PDFInfo
- Publication number
- CN113344773B CN113344773B CN202110614178.5A CN202110614178A CN113344773B CN 113344773 B CN113344773 B CN 113344773B CN 202110614178 A CN202110614178 A CN 202110614178A CN 113344773 B CN113344773 B CN 113344773B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- scale
- layer
- icrf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000009977 dual effect Effects 0.000 title claims abstract description 45
- 238000013139 quantization Methods 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims abstract description 87
- 238000013507 mapping Methods 0.000 claims abstract description 81
- 108010014691 Lithostathine Proteins 0.000 claims abstract description 53
- 102100027361 Lithostathine-1-alpha Human genes 0.000 claims abstract description 53
- 238000011084 recovery Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多级对偶反馈的单张图片重构HDR方法,包括以下步骤:S1、输入LDR图像;S2、利用反量化网络重构出反量化图像;对反量化图像进行量化操作获得对偶量化图像;S3、对反量化图像进行ICRF映射处理得到线性图像,使用相同的网络学习CRF映射作为对偶反馈结构;S4、将线性图像分为过曝区域和其它区域,将过曝区域输入至截断信息恢复网络获得HDR图像,对HDR图像进行分层截断获,利用截断图像计算截断损失,反馈给截断信息恢复网络;S5、使用多尺度感受野特征提取模块和注意力机制对HDR图像进行整体调整。本发明为每个过程增加一个对偶网络形成反馈,能够约束重构方向,提升重构效果,提高模型学习能力,增强重构图像的真实性。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种基于多级对偶反馈的单张图片重构HDR方法。
背景技术
自然场景中光照亮度是十分宽广的,明暗跨度很大,呈现出了许多视觉细节。而目前受限于硬件设备的不足,导致人们只能获取部分范围亮度的照片,也就是常见的LDR图像,LDR图像虽然基本反映了真实场景中的大部分信息和细节,但是仍然存在不少的损失。近年来,随着通信与显示设备软硬件的发展,人们对于更加真实的HDR影像资料需求日益增加。在电影拍照方面,可以HDR影像可以表现更加真实的场景;在医学诊断方面,HDR影像可以提供更多的细节,让医生判断疾病更加精准;在计算机视觉研究方面,HDR影像可以提供更多细节信息,提高各种任务精度。因此,重构HDR技术作为一种底层的图像处理方法,可以为后续各种高层的研究提供支持帮助。
目前有许多关于重构HDR的网络,在处理各种各样的场景、物体方面都有了明显的提升,但是这些网络大多都是根据图像内容来进行恢复,而没有考虑图像形成的实际过程中各种损失变换,同时还默认LDR图像与HDR图像的对应关系以一一对应的关系来处理,而实际过程中是一种多对多的关系,导致了目前单张图像重构HDR技术效果不是很好,不稳定。除此之外,现在方法都受限于成对数据集的不足,学习样本不足,导致学习能力受限。
公开号为CN106603941A的发明专利申请公开了一种计算复杂度自适应的HDR图像转换方法及其系统,计算复杂度自适应的HDR图像转换方法主要包含以下步骤:(1)获取输入LDR图像;(2)在HDR图像数据库中,选择一个或多个与所述输入LDR图像匹配的HDR图像作为备选图像;(3)根据所述备选图像与所述输入LDR图像之间的空间一致性变换所述备选图像;(4)将输入LDR图像分解成亮度分量和纹理分量;(5)根据所述已变换的备选图像,分别重构所述亮度分量和所述纹理分量;(6)整合所述重构的亮度分量和所述重构纹理分量用于生成输出HDR图像。该专利申请通过匹配HDR图片后,再进行变换拓展,恢复过曝区域的亮度信息,将输入图片转换为HDR图片。然而在实际的场景中,场景中的亮度范围特别的大,而且拍摄得到的LDR图片可能是欠曝、过曝或者正常曝光,与HDR图片的对应关系是一种多对多的关系,导致需要十分巨大的HDR数据库和泛化性足够强的匹配算法,会使得对于不同的图片恢复效果差异巨大,恢复结果不稳定。
公开号为CN107895350A的专利申请公开了一种基于自适应双伽玛变换的HDR图像生成方法,包含以下步骤:步骤1、基于图像统计特性双伽玛变换值的获取,计算输入的LDR原始图像双伽玛变换值;步骤2、对输入图像进行伽玛变换;步骤3、将两幅生成的图像进行曝光融合。与现有技术相比,本发明可以在很小的线路电流情况下快速重新闭锁换流器,有效避免了重合闸对系统造成的二次过流冲击,具有低电流危害的积极效果。与现有技术相比,本发明提出了一个简化的由输入LDR图像转化为具有HDR效果的图像算法,实现过程简单,复杂度低;并且摆脱了对人为调试参数的依赖,可以自适应的针对不同输入图像进行计算得出相应的变换参数,使这一过程更为智能化。
该申请通过分析图片计算两个伽马变换值,然后进行变化得到两幅图,最后融合两幅图得到HDR图像。在实际拍摄生成LDR图像的过程中,是有动态范围信息缺失的,该专利只是单纯地调整了已有信息的权重,以此来改变视觉效果,而没有恢复出丢失信息,导致重构的HDR图像信息有限,真实度不高。
发明内容
本发明的目的在于克服现有技术的不足,提供一种在模拟相机成像的各个过程中,引入多级对偶反馈技术,为每个过程增加一个对偶网络形成反馈,能够约束重构方向,提升重构效果的基于多级对偶反馈的单张图片重构HDR方法。
本发明的目的是通过以下技术方案来实现的:基于多级对偶反馈的单张图片重构HDR方法,包括以下步骤:
S1、输入LDR图像;
S2、利用反量化网络对输入LDR图像进行特征提取,并重构出反量化图像;对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络;
S3、使用残差网络提取出反量化图像的ICRF映射曲线,对反量化图像进行ICRF映射处理得到线性图像,同时使用相同的网络学习CRF映射作为对偶反馈结构;
S4、利用掩码将线性图像分为过曝区域和其它区域,将过曝区域输入至截断信息恢复网络,获得HDR图像,对HDR图像进行分层截断获得截断图像,利用截断图像计算截断损失,反馈给截断信息恢复网络;
S5、使用多尺度感受野特征提取模块和注意力机制对HDR图像进行整体调整,得到调优HDR图像。
进一步地,所述步骤S2具体实现方法为:采用反量化网络的下采样模块对输入LDR图像进行特征提取,并上采样重构出反量化图像,对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络;所述反量化网络为自编码器;所述量化操作用于检查反量化网络带来的噪声,以此来约束反量化网络的恢复过程,操作公式如下:
其中,x表示反量化图像;y表示对偶量化图像。
进一步地,所述步骤S3具体实现方法为:计算反量化图像的边缘信息和直方图信息,将边缘信息和直方图信息一起输入至ICRF映射曲线提取网络,获得ICRF映射曲线;然后使用ICRF映射曲线对反量化图像进行映射操作获得线性图像,对线性图像使用CRF映射曲线提取网络进行映射获得对偶非线性图像,利用非线性图像计算映射损失,反馈给ICRF映射曲线提取网络;
所述边缘信息通过Sobel滤波器进行计算;
所述ICRF映射曲线提取网络包括多个残差模块和一个全连接层,用于提取k个基向量系数,再将k个基向量系数带入EMoR模型获得ICRF映射曲线;EMoR模型用k个基向量表示ICRF曲线空间,EMoR模型使用基向量系数计算出ICRF映射曲线,计算公式如下:
所述CRF映射曲线提取网络的作用是为了根据图像内容计算CRF映射曲线,对线性图像进行映射来辅助ICRF映射曲线提取网络的求解,网络结构与ICRF映射曲线提取网络完全相同。
进一步地,所述步骤S4具体实现方法为:将图像像素值超过判别阈值的区域判定为过曝区域,否则为其他区域;并以掩码的方式对图像进行处理,掩码计算公式如下:
mask=max(0,x-α)/(1-α)
其中,mask表示掩码;x表示输入图像像素值;α=0.95表示过曝区域的判别阈值;
所述截断信息恢复网络为由多个下采样和上采样组成的自编码器,用于恢复图像丢失的信息;
所述分层截断操作通过引导滤波器对HDR图像进行分层,将图像分为基础层和细节层;然后对基础层进行截断操作获得截断的基础层,再使用截断的基础层和细节层重构得到截断图像,具体计算公式为:
xbase=filter(x)
xdetail=x/xbase
xclip_base=min(1,xbase)
y=xclip_base×xdetail
其中,x表示HDR图像,filter表示引导滤波器,xbase表示基础层,xdetail表示细节层,xclip_base表示截断的基础层,y表示截断图像。
进一步地,所述步骤S5包括以下子步骤:
S51、对输入网络的图像使用卷积操作进行初步特征提取,获得16通道的初步特征图,随后输入到连续4个多尺度感受野特征提取模块中进行特征提取,获得多尺度特征图;
S52、将多尺度特征图输入至多尺度通道注意力模块,获得调整后的特征图;
S53、将调整后的特征图经过4层上采样进行图像的重建,最后经过一个3x3的卷积层完成图像的重建,获得调整后的HDR图像。
进一步地,所述多尺度感受野特征提取模块包含一个平均池化层、两个基础卷积层和三个尺度的特征提取通道,输入的特征图先经过平均池化层减小尺寸,然后分别输入基础卷积层1和三个尺度的特征提取通道,经过基础卷积层1获得原始特征图,经过三个尺度的特征提取通道获得三个尺度的特征图;再将三个尺度的特征图输入至基础卷积层2获得三尺度特征图;最后将三尺度特征图与原始特征图按像素相加获得了模块输出的多尺度特征图;
其中,两个基础卷积层为1x1的卷积层,并包含激活函数,激活函数为ReLU;
三个尺度的特征提取通道分为尺度为1的特征提取通道、尺度为3的特征提取通道和尺度为5的特征提取通道;尺度为1的特征提取通道包含一个1x1的卷积层和一个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU;尺度为3的特征提取通道包含一个1x1的卷积层和两个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU;尺度为5的特征提取通道包含一个1x1的卷积层、三个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU。
进一步地,所述步骤S52具体实现方法为:将输入特征图先使用3x3的卷积层进行初步特征提取,激活函数为ReLU;然后经过1x1的卷积层,步长为2,进一步获取特征图;将得到的特征图分别输入至三个不同尺度的卷积层进行多尺度的特征提取,三个尺度分别为3x3、5x5和7x7;将多尺度的特征提取获得的特征图相加,输入至全局池化层,利用全局池化层将全局信息压缩成一个通道描述符,生成通道统计信息,实现通道描述;紧接着使用两个全连接层获得各通道权重系数,用两个全连接层来判别各通道的重要性,实现通道注意力,第一个全连接层使用ReLU激活,第二个全连接层使用Sigmoid激活;将各通道权重系数与多尺度特征图相乘,输入至1x1的卷积层,再通过一个双线性插值法实现上采样操作还原特征图尺寸,获得通道调整过的特征图;最后将通道调整过的特征图与初步特征图按通道连接输入至1x1的卷积层中,激活函数为ReLU,获得调整后的特征图。
本发明的有益效果是:本发明在模拟相机成像的各个过程中,引入多级对偶反馈技术,为每个过程增加一个对偶网络形成反馈,即构建网络模拟反量化、ICRF映射、截断信息恢复等操作,能够约束重构方向,提升重构效果。突破了以往学习样本的限制,提高了模型学习能力,增强了重构图像的真实性。
附图说明
图1为本发明的单张图片重构HDR方法的流程图;
图2为本发明的反量化网络结构示意图;
图3为反量化网络中下采样模块和上采样模块结构图;
图4为本发明ICRF映射曲线提取网络结构示意图;
图5为ICRF映射曲线提取网络中残差模块结构示意图;
图6为分层截断操作示意图;
图7为本发明的整体调优网络;
图8为多尺度感受野特征提取模块的结构图;
图9为多尺度通道注意力模块的结构图;
图10~图12为利用本发明的方法进行重构的结果图。
具体实施方式
在相机拍摄照片,逐步生成LDR图像的过程中,依次经过了截断、非线性映射(CRF映射,CRF原本是指相机相应函数,指的是相机成像过程中会使用该函数将图像的像素值进行一次非线性的映射,以此来获得更加的观感质量,因此该过程可称为CRF映射,而CRF映射过程是一种非线性映射通常又被称为成像过程中的一次非线性映射。ICRF映射是指对于CRF映射的一种逆过程)和量化等操作,导致LDR图像与HDR图像的对应关系是多对多的关系。因此通过模拟学习相机成像的逆过程,就能获得HDR图像。本发明便是基于以上思路,采用多级对偶反馈技术,即构建网络模拟反量化、ICRF映射、截断信息恢复等操作,同时为每个操作增加对偶结构,构成多级反馈网络。下面结合附图进一步说明本发明的技术方案。
如图1所示,本发明的一种基于多级对偶反馈的单张图片重构HDR方法,包括以下步骤:
S1、输入LDR图像;
S2、利用反量化网络对输入LDR图像进行特征提取,并重构出反量化图像,过滤掉量化操作带来的噪声,恢复出丢失的信息得到反量化图像;同时对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络,检查反量化图像是否产生新的噪声;
具体实现方法为:采用反量化网络的下采样模块对输入LDR图像进行特征提取,并上采样重构出反量化图像,对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络;所述反量化网络为包括多个下采样模块和上采样模块的自编码器,其结构如图2所示,下采样模块的结构如图3(a)所示,上采样模块的结构如图3(b)所示,pool表示池化层,Upsample表示上采样;所述量化操作用于检查反量化网络带来的噪声,以此来约束反量化网络的恢复过程,操作公式如下:
其中,x表示反量化图像;y表示对偶量化图像。
S3、使用残差网络提取出反量化图像的ICRF映射曲线,对反量化图像进行ICRF映射处理得到线性图像,同时使用相同的网络学习CRF映射作为对偶反馈结构;
具体实现方法为:计算反量化图像的边缘信息和直方图信息,将边缘信息和直方图信息一起输入至ICRF映射曲线提取网络,获得ICRF映射曲线;然后使用ICRF映射曲线对反量化图像进行映射操作获得线性图像,对线性图像使用CRF映射曲线提取网络进行映射获得对偶非线性图像,利用非线性图像计算映射损失,反馈给ICRF映射曲线提取网络;
所述边缘信息通过Sobel滤波器进行计算;
所述ICRF映射曲线提取网络包括多个残差模块和一个全连接层,如图4所示,残差模块的结构如图5所示;用于提取k个基向量系数,再将k个基向量系数带入EMoR模型获得ICRF映射曲线;
EMoR模型是一种已知的可用于计算分析ICRF映射曲线的模型,EMoR模型用k个基向量表示ICRF曲线空间,EMoR模型使用基向量系数计算出ICRF映射曲线,计算公式如下:
所述CRF映射曲线提取网络的作用是为了根据图像内容计算CRF映射曲线,对线性图像进行映射来辅助ICRF映射曲线提取网络的求解,网络结构与ICRF映射曲线提取网络完全相同。
S4、利用掩码将线性图像分为过曝区域和其它区域,将过曝区域输入至截断信息恢复网络,获得HDR图像,对HDR图像进行分层截断获得截断图像,利用截断图像计算截断损失,反馈给截断信息恢复网络;
具体实现方法为:将图像像素值超过判别阈值的区域判定为过曝区域,否则为其他区域;并以掩码的方式对图像进行处理,掩码计算公式如下:
mask=max(0,x-α)/(1-α)
其中,mask表示掩码;x表示输入图像像素值;α=0.95表示过曝区域的判别阈值;
所述截断信息恢复网络为由多个下采样和上采样组成的自编码器,用于恢复图像丢失的信息;
所述分层截断操作通过引导滤波器对HDR图像进行分层,将图像分为基础层和细节层,如图6所示;然后对基础层进行截断操作获得截断的基础层,再使用截断的基础层和细节层重构得到截断图像,具体计算公式为:
xbase=filter(x)
xdetail=x/xbase
xclip_base=min(1,xbase)
y=xclip_base×xdetail
其中,x表示HDR图像,filter表示引导滤波器,xbase表示基础层,xdetail表示细节层,xclip_base表示截断的基础层,y表示截断图像。
S5、使用多尺度感受野特征提取模块和注意力机制对HDR图像进行整体调整,得到调优HDR图像,所述整体调优网络使用自编码器作为基础结构,在特征提取过程中引入多尺度感受野特征提取模块进行空间范围上的信息恢复;在特征提取完成之后,引入通道注意力机制,改变各通道之前的权重,完成对图像色域上的恢复。最后通过编码器的上采样重建出更加逼真的HDR图像,作为最终输出结果。整体调优网络如图7所示。
包括以下子步骤:
S51、对输入网络的图像使用卷积操作进行初步特征提取,获得16通道的初步特征图,随后输入到连续4个多尺度感受野特征提取模块中进行特征提取,获得多尺度特征图;
多尺度感受野特征提取模块从空间上解决由于过曝区域动态范围拓展对周围区域带来的辐射式影响,如图8所示。多尺度感受野特征提取模块包含一个平均池化层、两个基础卷积层(分别为基础卷积层1和基础卷积层2)和三个尺度的特征提取通道,输入的特征图先经过平均池化层减小尺寸,然后分别输入基础卷积层1和三个尺度的特征提取通道,经过基础卷积层1获得原始特征图,经过三个尺度的特征提取通道获得三个尺度的特征图;再将三个尺度的特征图输入至基础卷积层2获得三尺度特征图;最后将三尺度特征图与原始特征图按像素相加获得了模块输出的多尺度特征图;
其中,两个基础卷积层为1x1的卷积层,并包含激活函数,激活函数为ReLU;
三个尺度的特征提取通道分为尺度为1的特征提取通道、尺度为3的特征提取通道和尺度为5的特征提取通道;尺度为1的特征提取通道包含一个1x1的卷积层和一个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU;尺度为3的特征提取通道包含一个1x1的卷积层和两个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU;尺度为5的特征提取通道包含一个1x1的卷积层、一个5x5的卷积层和一个3x3的卷积层,其中为了获得更大的感受野,本发明将5x5的卷积层用两个3x3的卷积层代替(即采用一个1x1的卷积层和三个3x3的卷积层),每个卷积层均包含激活函数,激活函数为ReLU。
S52、将多尺度特征图输入至多尺度通道注意力模块,获得调整后的特征图,多尺度通道注意力模块用于解决由于动态范围拓展,引起的色差问题,结构如图9所示;具体实现方法为:将输入特征图先使用3x3的卷积层进行初步特征提取,激活函数为ReLU;然后经过1x1的卷积层,步长为2,进一步获取特征图;将得到的特征图分别输入至三个不同尺度的卷积层进行多尺度的特征提取,三个尺度分别为3x3、5x5和7x7;将多尺度的特征提取获得的特征图相加,输入至全局池化层,利用全局池化层将全局信息压缩成一个通道描述符,生成通道统计信息,实现通道描述;紧接着使用两个全连接层获得各通道权重系数,用两个全连接层来判别各通道的重要性,实现通道注意力,第一个全连接层使用ReLU激活,第二个全连接层使用Sigmoid激活;将各通道权重系数与多尺度特征图相乘,输入至1x1的卷积层,再通过一个双线性插值法实现上采样操作还原特征图尺寸,获得通道调整过的特征图;最后将通道调整过的特征图与初步特征图按通道连接输入至1x1的卷积层中,激活函数为ReLU,获得调整后的特征图。
S53、将调整后的特征图经过4层上采样进行图像的重建,每个上采样如图3(b)所示,包含一个双线性插值法实现上采样操作和两个3x3的卷积层,卷积层的激活函数为LeakyReLU;最后经过一个3x3的卷积层完成图像的重建,获得调整后的HDR图像。
图10~图12为利用本发明的方法进行重构的结果图,其中,图10(a)、图11(a)和图12(a)为输入图像,图10(b)、图11(b)和图12(b)为输入图像经过色调映射之后的图像。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (7)
1.基于多级对偶反馈的单张图片重构HDR方法,其特征在于,包括以下步骤:
S1、输入LDR图像;
S2、利用反量化网络对输入LDR图像进行特征提取,并重构出反量化图像;对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络;
S3、使用残差网络提取出反量化图像的ICRF映射曲线,对反量化图像进行ICRF映射处理得到线性图像,同时使用相同的网络学习CRF映射作为对偶反馈结构;
S4、利用掩码将线性图像分为过曝区域和其它区域,将过曝区域输入至截断信息恢复网络,获得HDR图像,对HDR图像进行分层截断获得截断图像,利用截断图像计算截断损失,反馈给截断信息恢复网络;
S5、使用多尺度感受野特征提取模块和注意力机制对HDR图像进行整体调整,得到调优HDR图像。
3.根据权利要求1所述的基于多级对偶反馈的单张图片重构HDR方法,其特征在于,所述步骤S3具体实现方法为:计算反量化图像的边缘信息和直方图信息,将边缘信息和直方图信息一起输入至ICRF映射曲线提取网络,获得ICRF映射曲线;然后使用ICRF映射曲线对反量化图像进行映射操作获得线性图像,对线性图像使用CRF映射曲线提取网络进行映射获得对偶非线性图像,利用非线性图像计算映射损失,反馈给ICRF映射曲线提取网络;
所述边缘信息通过Sobel滤波器进行计算;
所述ICRF映射曲线提取网络包括多个残差模块和一个全连接层,用于提取k个基向量系数,再将k个基向量系数带入EMoR模型获得ICRF映射曲线;
EMoR模型使用基向量系数计算出ICRF映射曲线,计算公式如下:
所述CRF映射曲线提取网络的作用是为了根据图像内容计算CRF映射曲线,对线性图像进行映射来辅助ICRF映射曲线提取网络的求解,网络结构与ICRF映射曲线提取网络完全相同。
4.根据权利要求1所述的基于多级对偶反馈的单张图片重构HDR方法,其特征在于,所述步骤S4具体实现方法为:
将图像像素值超过判别阈值的区域判定为过曝区域,否则为其他区域;并以掩码的方式对图像进行处理,掩码计算公式如下:
mask=max(0,a-α)/(1-α)
其中,mask表示掩码;a表示输入图像像素值;α=0.95表示过曝区域的判别阈值;
所述截断信息恢复网络为由多个下采样和上采样组成的自编码器,用于恢复图像丢失的信息;
所述分层截断操作通过引导滤波器对HDR图像进行分层,将图像分为基础层和细节层;然后对基础层进行截断操作获得截断的基础层,再使用截断的基础层和细节层重构得到截断图像,具体计算公式为:
xbase=filter(x')
xdetail=x'/xbase
xclip_base=min(a,xbase)
y′=xclip_base×xdetail
其中,x'表示HDR图像,filter表示引导滤波器,xbase表示基础层,xdetail表示细节层,xclip_base表示截断的基础层,y'表示截断图像。
5.根据权利要求1所述的基于多级对偶反馈的单张图片重构HDR方法,其特征在于,所述步骤S5包括以下子步骤:
S51、对输入网络的图像使用卷积操作进行初步特征提取,获得16通道的初步特征图,随后输入到连续4个多尺度感受野特征提取模块中进行特征提取,获得多尺度特征图;
S52、将多尺度特征图输入至多尺度通道注意力模块,获得调整后的特征图;
S53、将调整后的特征图经过4层上采样进行图像的重建,最后经过一个3x3的卷积层完成图像的重建,获得调整后的HDR图像。
6.根据权利要求5所述的基于多级对偶反馈的单张图片重构HDR方法,其特征在于,所述多尺度感受野特征提取模块包含一个平均池化层、两个基础卷积层和三个尺度的特征提取通道,输入的特征图先经过平均池化层减小尺寸,然后分别输入基础卷积层1和三个尺度的特征提取通道,经过基础卷积层1获得原始特征图,经过三个尺度的特征提取通道获得三个尺度的特征图;再将三个尺度的特征图输入至基础卷积层2获得三尺度特征图;最后将三尺度特征图与原始特征图按像素相加获得了模块输出的多尺度特征图;
其中,两个基础卷积层为1x1的卷积层,并包含激活函数,激活函数为ReLU;
三个尺度的特征提取通道分为尺度为1的特征提取通道、尺度为3的特征提取通道和尺度为5的特征提取通道;尺度为1的特征提取通道包含一个1x1的卷积层和一个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU;尺度为3的特征提取通道包含一个1x1的卷积层和两个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU;尺度为5的特征提取通道包含一个1x1的卷积层、三个3x3的卷积层,每个卷积层均包含激活函数,激活函数为ReLU。
7.根据权利要求5所述的基于多级对偶反馈的单张图片重构HDR方法,其特征在于,所述步骤S52具体实现方法为:将输入特征图先使用3x3的卷积层进行初步特征提取,激活函数为ReLU;然后经过1x1的卷积层,步长为2,进一步获取特征图;将得到的特征图分别输入至三个不同尺度的卷积层进行多尺度的特征提取,三个尺度分别为3x3、5x5和7x7;将多尺度的特征提取获得的特征图相加,输入至全局池化层,利用全局池化层将全局信息压缩成一个通道描述符,生成通道统计信息,实现通道描述;紧接着使用两个全连接层获得各通道权重系数,用两个全连接层来判别各通道的重要性,实现通道注意力,第一个全连接层使用ReLU激活,第二个全连接层使用Sigmoid激活;将各通道权重系数与多尺度特征图相乘,输入至1x1的卷积层,再通过一个双线性插值法实现上采样操作还原特征图尺寸,获得通道调整过的特征图;最后将通道调整过的特征图与初步特征图按通道连接输入至1x1的卷积层中,激活函数为ReLU,获得调整后的特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110614178.5A CN113344773B (zh) | 2021-06-02 | 2021-06-02 | 基于多级对偶反馈的单张图片重构hdr方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110614178.5A CN113344773B (zh) | 2021-06-02 | 2021-06-02 | 基于多级对偶反馈的单张图片重构hdr方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113344773A CN113344773A (zh) | 2021-09-03 |
CN113344773B true CN113344773B (zh) | 2022-05-06 |
Family
ID=77473077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110614178.5A Active CN113344773B (zh) | 2021-06-02 | 2021-06-02 | 基于多级对偶反馈的单张图片重构hdr方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344773B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117121049A (zh) * | 2022-03-24 | 2023-11-24 | 京东方科技集团股份有限公司 | 图像处理方法、计算系统、设备以及可读存储介质 |
CN114820350A (zh) * | 2022-04-02 | 2022-07-29 | 北京广播电视台 | 逆色调映射系统、方法及其神经网络系统 |
CN114820373B (zh) * | 2022-04-28 | 2023-04-25 | 电子科技大学 | 基于知识启发的单张图像重构hdr方法 |
CN115100043B (zh) * | 2022-08-25 | 2022-11-15 | 天津大学 | 一种基于深度学习的hdr图像重建方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092870A (zh) * | 2017-04-05 | 2017-08-25 | 武汉大学 | 一种高分辨率影像语意信息提取方法及系统 |
WO2019112085A1 (en) * | 2017-12-06 | 2019-06-13 | Korea Advanced Institute Of Science And Technology | Method and apparatus for inverse tone mapping |
CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
CN112258526A (zh) * | 2020-10-30 | 2021-01-22 | 南京信息工程大学 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
CN112435306A (zh) * | 2020-11-20 | 2021-03-02 | 上海北昂医药科技股份有限公司 | G显带染色体hdr图像重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10909681B2 (en) * | 2019-01-03 | 2021-02-02 | The Regents Of The University Of California | Automated selection of an optimal image from a series of images |
CN111292264B (zh) * | 2020-01-21 | 2023-04-21 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
CN111709895B (zh) * | 2020-06-17 | 2023-05-16 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
-
2021
- 2021-06-02 CN CN202110614178.5A patent/CN113344773B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092870A (zh) * | 2017-04-05 | 2017-08-25 | 武汉大学 | 一种高分辨率影像语意信息提取方法及系统 |
WO2019112085A1 (en) * | 2017-12-06 | 2019-06-13 | Korea Advanced Institute Of Science And Technology | Method and apparatus for inverse tone mapping |
CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
CN112258526A (zh) * | 2020-10-30 | 2021-01-22 | 南京信息工程大学 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
CN112435306A (zh) * | 2020-11-20 | 2021-03-02 | 上海北昂医药科技股份有限公司 | G显带染色体hdr图像重建方法 |
Non-Patent Citations (4)
Title |
---|
Deep Convolutional Neural Network with Segmentation Techniques for Chest X-Ray Analysis;Wang Binquan等;《PROCEEDINGS OF THE 2019 14TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA 2019)》;20190621;1212-1216 * |
一种基于生成对抗网络的图像清晰化算法研究;罗阳;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20210215(第2期);I138-1165 * |
基于CT图像的超分辨率重构研究;曹洪玉等;《长春理工大学学报(自然科学版)》;20200215;第43卷(第01期);7 * |
基于对偶学习的图像去雾网络;丛晓峰等;《应用光学》;20200115;第41卷(第01期);94-99 * |
Also Published As
Publication number | Publication date |
---|---|
CN113344773A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113344773B (zh) | 基于多级对偶反馈的单张图片重构hdr方法 | |
CN111669514B (zh) | 高动态范围成像方法和装置 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
US9053558B2 (en) | Method and system for fusing multiple images | |
CN111968044A (zh) | 基于Retinex和深度学习的低照度图像增强方法 | |
CN111986084B (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
CN112330574A (zh) | 人像修复方法、装置、电子设备及计算机存储介质 | |
CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
CN112991227B (zh) | 基于U-net++网络的弱光图像增强方法和装置 | |
WO2022133194A1 (en) | Deep perceptual image enhancement | |
Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
US20210217151A1 (en) | Neural network trained system for producing low dynamic range images from wide dynamic range images | |
CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
CN115082341A (zh) | 基于事件相机的弱光图像增强方法 | |
CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
CN115115516A (zh) | 基于Raw域的真实世界视频超分辨率算法 | |
CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
CN116843551A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |