CN116029932A - 一种超高分辨率图像曝光错误矫正方法及系统 - Google Patents
一种超高分辨率图像曝光错误矫正方法及系统 Download PDFInfo
- Publication number
- CN116029932A CN116029932A CN202310034109.6A CN202310034109A CN116029932A CN 116029932 A CN116029932 A CN 116029932A CN 202310034109 A CN202310034109 A CN 202310034109A CN 116029932 A CN116029932 A CN 116029932A
- Authority
- CN
- China
- Prior art keywords
- frequency information
- layer
- low
- corrected
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明属于图像处理领域,提供了一种超高分辨率图像曝光错误矫正方法及系统,包括将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。本发明通过应用一种无损可逆的图像内容解耦方法和新型的多层残差提取矫正变换预测模块,解决了超高分辨率图像曝光矫正任务的实时性和有效性问题。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种超高分辨率图像曝光错误矫正方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
图像的曝光错误指在摄影场景中,由于恶劣的光照环境或是设置不恰当的快门速度、光圈大小以及ISO参数而使得拍摄结果上存在曝光不足或者过曝的区域。传统的矫正图像曝光错误的方法以及绝大部分基于深度学习的方法需要极大的计算量和数秒的运算时间来处理一张千万级像素的图像,使得这些方法难以部署到当今的移动设备上。
现有的加速图像曝光矫正的方法均基于相似的框架,即下采样图片,预测一个用于矫正曝光的变换,再将该变换应用于原尺寸图像上。这些方法避免了在原图尺寸上矫正曝光错误或是预测矫正变换所需的高昂计算量,有效地加速了图像曝光矫正过程。但这些方法仍有着严重的局限性。
首先,曝光矫正变换的空间自适应性有限,经过高倍率上采样后再作用于原图会产生严重的伪影。这限制了已有算法的加速效果,即对于千万级像素的图像,为平衡算法的效率和性能,仍需要在较高分辨率上进行大量运算来预测合适的曝光矫正变换。其次,该变换需要是简单且能够高速并行实现的,从而可以高速处理原尺寸的图像。然而一些已有的方法所使用的曝光矫正变换时间复杂度较高,不适用于处理超高分辨率图像。
基于上述原因,虽然现有的加速图像曝光矫正方法有一定的效果,但在超高分辨率图像上的处理速度和性能均有限。
发明内容
为了解决上述问题,本发明提出了一种超高分辨率图像曝光错误矫正方法及系统,本发明通过应用一种无损可逆的图像内容解耦方法和新型的多层残差提取矫正变换预测模块,设计了一种新型轻量级图像曝光矫正网络,以实现在超过100fps的速度下高效矫正4K图像,解决了超高分辨率图像曝光矫正任务的实时性和有效性问题。
根据一些实施例,本发明的第一方案提供了一种超高分辨率图像曝光错误矫正方法,采用如下技术方案:
一种超高分辨率图像曝光错误矫正方法,包括:
将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;
将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;
利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;
将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
进一步地,所述将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层,包括:
利用类拉普拉斯金字塔分解网络将输入图片解耦,分离为主要包含轮廓纹理信息的分辨率自高向低排列的数个高频信息层和单个包含光照、色彩、内容的低频信息层;
其中,所述利用类拉普拉斯金字塔分解网络将输入图片解耦,包括:
将图像多次模糊并下采样得到其高斯金字塔序列;
将高斯金字塔序列的最终结果多次模糊并上采样,与高斯金字塔的各层相减,得到最终的拉普拉斯金字塔。
进一步地,所述将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层,包括:
将低频信息层输入到类双边网格中的自调制特征提取模块中得到指导图特征;
将低频信息层下采样,并将下采样结果输入到类双边网格中的分层特征分解模块得到预测的双边网格系数;
将双边网格的系数与指导图特征进行切片操作得到切片后的双边网格系数;
基于切片后的双边网格系数得到类双边网格网络,利用类双边网格网络,将仿射变换逐像素作用于低频信息层,得到矫正后的低频信息层。
进一步地,所述分层特征分解模块共有三层,每层均由上下文感知特征提取模块、自调制特征提取模块、1*1卷积层和ReLU激活函数层组成;
第一层的上下文感知特征提取模块进行分解处理后,得到上下文感知特征和残差特征;其中,所述上下文特征通过1*1卷积层和ReLU激活函数层输出上下文感知特征的提取特征;所述残差特征通过自调制特征提取模块输出残差特征提取特征至下一层的上下文感知特征提取模块,做与第一层相同的处理,直到第三层的自调制特征提取模块输出最终的残差特征提取特征;
将每一层的上下文感知特征的提取特征以及最终的残差特征提取特征相加,使用1*1卷积核和重塑维度来获得预测的双边网格系数。
进一步地,所述自调制特征提取模块,将输入经过1*1卷积核后得到初始特征,然后将初始特征相继经过1*1卷积、全局平均池化层、1*1卷积得到平均特征信息,将平均特征信息与初始特征相乘后加上初始特征,经过ReLU激活函数层得到最终特征输出;
所述上下文感知特征提取模块,将输入特征分别通过全局平均池化层与全局标准差池化层,并将结果相加后通过Sigmoid激活层;将Sigmoid激活层的输出与最开始的输入特征相乘得到上下文感知特征;
最开始的输入特征与上下文感知特征相减得到残差特征。
进一步地,所述利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层,包括:
将分辨率最低的高频信息层与上采样后的低频信息层、矫正后的低频信息层相拼接;
将拼接结果作为输入,通过由2个卷积层和一个在中间的LeakyReLU层组成的矫正预测模块,输出用于矫正高频信息的矫正层mn-1,该矫正层首先与高频信息层hn-1相乘,得到矫正后的高频信息层hn′-1;
使用双线性插值将mn-1上采样至hn-2的分辨率大小,再经过相同的矫正预测模块后得到各高频信息层的矫正层mn-2,将高频信息层hn-2与相应的矫正层mn-2逐像素点相乘,得到矫正后的高频信息层hn′-2;
对新得到的矫正层重复此操作,最终得到各个矫正过的高频层h1',h'2,h3'...h'n-3。
进一步地,所述将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片,包括:
利用类拉普拉斯金字塔重建网络,从矫正后的低频信息层开始,逐层卷积上采样并于上一层相加,最终重建出矫正曝光后的图片;
其中,所述类拉普拉斯金字塔重建网络的上采样结构与类拉普拉斯金字塔图像分解网络的的上采样结构共享参数。
根据一些实施例,本发明的第二方案提供了一种超高分辨率图像曝光错误矫正系统,采用如下技术方案:
一种超高分辨率图像曝光错误矫正系统,包括:
图像解耦模块,被配置为将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;
低频信息处理模块,被配置为将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;
高频信息处理模块,被配置为利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;
图像重建模块,被配置为将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
根据一些实施例,本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一个方面所述的一种超高分辨率图像曝光错误矫正方法中的步骤。
根据一些实施例,本发明的第四方案提供了一种计算机设备。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一个方面所述的一种超高分辨率图像曝光错误矫正方法中的步骤。
与现有技术相比,本发明的有益效果为:
本发明通过应用一种无损可逆的图像内容解耦方法和新型的分层特征分解模块,设计了一种新型轻量级图像曝光矫正网络,以实现在超过100fps的速度下高效矫正4K图像,解决了超高分辨率图像曝光矫正任务的实时性和有效性问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例所述的一种超高分辨率图像曝光错误矫正方法的流程图;
图2是本发明实施例所述的一种超高分辨率图像曝光错误矫正方法的技术路线图;
图3是本发明实施例所述的类双边网格网络结构示意图;
图4是本发明实施例所述的分层特征分解模块结构示意图;
图5是本发明实施例所述的上下文感知特征分解模块结构示意图;
图6是本发明实施例所述的自调制特征提取模块结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了一种超高分辨率图像曝光错误矫正方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器和系统,并通过终端和服务器的交互实现。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。本实施例中,该方法包括以下步骤:
将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;
将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;
利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;
将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
本实施例为解决超高分辨率图像曝光矫正任务的实时性和有效性问题,设计了一种新型轻量级图像曝光矫正网络,以实现在超过100fps的速度下高效矫正4K图像。
具体地,如图1所示,本实施例提出了一种将图像深度解耦并在极低分辨率下预测曝光矫正变换从而进行图像曝光矫正的技术,技术流程包括:
使用类拉普拉斯金字塔图像分解网络将图像分解为分辨率自高向低排列的数个高频信息层和单个低频信息层。
针对高频信息层,使用简单的浅层网络和下一层网络的预测层进行矫正。针对低频信息层,首先下采样,然后输入分层特征分解模块,得到一个储存仿射变换的双边网格。最后依据低频信息层输入到自调制特征提取模块的输出结果,将得到的仿射变换作用于低频信息层对应像素点上,得到矫正后的低频信息层。
依据类拉普拉斯金字塔图像分解网络的参数,对矫正后的高频信息层和低频信息层进行拉普拉斯重建过程,获得最终矫正后的图片。
如图2所示,本实施例提出了一种可高速实时处理超高分辨率图像的图像曝光矫正技术,其由四个模块组成:图像解耦模块,低频信息处理模块,高频信息处理模块,图像重建模块。
其对超高分辨率图像曝光错误矫正方法,具体为:
首先,图像解耦模块使用类拉普拉斯金字塔分解网络将输入图片解耦,分离为主要包含轮廓纹理信息的数个高频信息层(记为h1',h'2,h3'...h'n-1)和包含光照、色彩、内容等信息的低频信息层(记为ln),从而使得网络能够依据不同信息的特点进行针对性的处理;
然后,针对低频信息层,低频信息处理模块的主体部分为预测储存仿射变换的类双边网格网络,该网络将输入的低频信息层ln进行校正得到ln′。该模块主要有三部分组成:第一部分将低频信息层输入到自调制特征提取模块(SFE)后得到指导图特征;第二部分将低频信息层下采样,然后将下采样结果输入分层特征分解模块(HFD),该模块由主要由上下文感知特征提取模块、自调制特征提取模块和1*1卷积组成。首先下采样结果经过分层特征分解模块预测得到双边网格的系数;第三部分将双边网格的系数与指导图特征进行切片操作(Slicing)得到切片后的双边网格系数B,然后将仿射变换逐像素作用于输入的低频信息层ln得到ln′,低频信息处理模块的网络结构如图3所示。
具体地,依据低频信息层的像素点强度搜索类双边网格,得到像素点对应的仿射变换;
将得到的仿射变换作用于低频信息层对应像素点上;
得到矫正后的低频信息层。
其次,针对高频信息层,高频信息处理模块主要结构为一个浅层网络,预测一个曝光矫正层并将其不断上采样以用来矫正各个高频信息层;
最后,图像重建模块依据类拉普拉斯金字塔分解网络中的卷积参数,对矫正后的高频信息层和低频信息层进行拉普拉斯金字塔重建过程,得到最终矫正的图像。
具体的,图像解耦模块主体部分为一个类拉普拉斯金字塔分解网络。其基于传统的高斯金字塔和拉普拉斯金字塔方法:首先将图像多次模糊并下采样得到其高斯金字塔序列,然后将序列的最终结果多次模糊并上采样,与高斯金字塔的各层相减,得到最终的拉普拉斯金字塔。
为强化传统拉普拉斯金字塔解耦图像高低频信息的能力和提升模型速度,本方案将传统方法中的高斯模糊并下采样的过程以及高斯模糊并上采样过程替换可学习的卷积核,以实现快速的自适应可学习的类拉普拉斯金字塔分解。类拉普拉斯金字塔分解网络采取可学习的卷积(步长为2的3*3卷积)代替传统方法高斯模糊并下采样的过程进行多次下采样,得到高斯金字塔序列,对高斯金字塔序列从低频到高频逐层经过步长为1的3*3卷积后上采样到上一层的大小并与上一层相减,即得到拉普拉斯金字塔序列。需要说明的是拉普拉斯金字塔序列,最底层即为分解后的低频信息层,其余较高层为分解后的高频信息层。
如图4所示,低频信息处理模块的主体部分为预测储存仿射变换的双边网格的分层特征提取模块。该模块共有三层,每层均由两部分组成。每层经过一个上下文感知特征分解模块处理后,将特征信息分离为上下文感知特征和残差特征两部分。对于上下文感知特征部分,通过1*1卷积层和ReLU激活函数层,直接输出到特征提取块的尾部。对于残差特征部分,将其输入到自调制特征提取模块,并将结果输入到下一层做与这一层相同的处理,重复两次。最后,在特征提取块的尾部将4部分特征相加(其中三个特征是每层上下文感知特征部分的输出,另一个特征是最后一层自调制特征提取模块的输出),然后使用1*1卷积核和重塑维度来获得预测的双边网格系数,将得到的仿射变换应用到对应像素,得到校正后的低频信息层。
其中,如图6所示,所述自调制特征提取模块,包括:
将输入通过1*1卷积核得到输出记为特征1;
将特征1输入1*1卷积核后通过全局平均池化层再通过1*1卷积核记为特征2;
将特征1和特征2相乘后与特征1相加,然后通过RELU激活层得到输出。
如图5所示,所述上下文感知特征提取模块,包括:
将输入特征分别通过全局平均池化层与全局标准差池化层,并将两个结果相加后通过Sigmoid激活层;
将Sigmoid激活层的输出与最开始的输入特征相乘得到上下文感知特征;
最开始的输入特征与上下文感知特征相减得到残差特征。
如图4所示,所述分层特征分解模块,包括:
将输入相继通过1*1卷积核和上下文感知特征提取模块,得到上下文感知特征1和残差特征1;
将上下文感知特征输入到后面连接RELU激活层的1*1卷积核,将残差特征输入到自调制特征提取模块,分别得到特征3和特征4;
将特征4重复上两步操作,得到RELU激活层输出特征5和自调制特征提取模块输出特征6;
将特征6重复特征4的操作得到RELU激活层输出特征7和自调制特征提取模块输出特征8;
将特征3、特征5、特征7和特征8相加,最后相继通过一个1*1卷积核和重塑层得到输出。
高频信息处理模块主要由一个浅层网络构成。此处的浅层网络是由多个卷积层和一个激活函数层组成的,即下面提到的矫正预测模块,通过它输出矫正层。其首先将拉普拉斯金字塔的倒数第二层、经过上采样的低频信息层与矫正低频信息层相拼接,即将分辨率最低的高频信息层hn-1、上采样的低频信息层ln和矫正低频信息层ln′相拼接,然后将拼接结果作为输入,通过由2个1*1卷积层和一个在中间的LeakyReLU层组成的矫正预测模块,输出用于矫正高频信息的矫正层mn-1。该矫正层首先与高频信息层hn-1相点乘,得到矫正后的hn′-1。随后使用双线性插值将mn-1上采样至各高频信息层的分辨率大小,再经过矫正预测模块后得到各高频信息层的矫正层m1,m2,m3....mn-2,将高频信息层h1,h2,h3...hn-3与相应的矫正层m1,m2,m3....mn-2逐像素点相乘,得到矫正后的h1',h'2,...,h'n-2。
图像重建模块的主体部分为一个类拉普拉斯金字塔重建网络,其上采样结构与图像解耦模块中类拉普拉斯金字塔分解网络的上采样结构共享参数,以确保重建的合理性。该模块从矫正后的低频信息层开始,逐层经过步长为1的3*3卷积核处理后上采样到上一信息层的大小,并与上一层相加,最终重建出矫正曝光后的图像。
本实施例基于数据驱动的深度学习技术,针对超高分辨率图像,提出了一种高速实时的矫正图像中的曝光错误技术,所提出的网络结构能以超过100fps的速度对4K图片,且总参数量为8.098K,便于移植或部署至移动端,以提高移动设备上的摄影质量。
本实施例在Inteli9-10900XCPU和TitanRTXGPU环境下能够以超过100fps的速度对4K图片进行曝光矫正处理。在公平比较下,该速度优于现有的图像曝光矫正的传统方法和深度学习方法,并在公开的基准数据集上达到最好的指标结果。
实施例二
本实施例提供了一种超高分辨率图像曝光错误矫正系统,包括:
图像解耦模块,被配置为将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;
低频信息处理模块,被配置为将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;
高频信息处理模块,被配置为利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;
图像重建模块,被配置为将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
如图2所示,本实施例提出了一种可高速实时处理超高分辨率图像的图像曝光矫正系统,其由四个模块组成:图像解耦模块,高频信息处理模块,低频信息处理模块,图像重建模块。技术流程如下:
图像解耦模块,用于将当前需要矫正曝光的图像中的高低频信息分离,将输入图像分解为数个高频信息层(记为h1,h2,h3...hn-1)和单个低频信息层(记为ln)。
低频信息处理模块,用于矫正图像的低频信息层。将低频信息层ln下采样至较低分辨率,计算并得到一个储存仿射变换的双边网格。依据双边网格中的仿射变换逐像素点矫正低频信息层。
高频信息处理模块,用于矫正图像的高频信息层。该模块首先处理上采样后的低频信息层ln、矫正后的低频信息层ln′和分辨率最低的高频信息层hn-1拼接,经过2个简单卷积层和一个在中间的LeakyReLU层组成的矫正预测模块,得到光照矫正层mn-1并将高频信息层hn-1矫正。随后多次卷积并上采样mn-1直至与各高频信息层h1,h2,h3...hn-2分辨率相同,然后经过相同的矫正预测模块并与对应的相乘hi,得到的矫正各高频信息层。
图像重建模块,将矫正后的高频信息层和低频信息层重建为曝光矫正后的图片。
上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重,某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统,可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时,可以有另外的划分方式,例如多个模块可以结合或者可以集成到另外一个系统,或一些特征可以忽略,或不执行。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例一所述的一种超高分辨率图像曝光错误矫正方法中的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例一所述的一种超高分辨率图像曝光错误矫正方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种超高分辨率图像曝光错误矫正方法,其特征在于,包括:
将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;
将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;
利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;
将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
2.如权利要求1所述的一种超高分辨率图像曝光错误矫正方法,其特征在于,所述将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层,包括:
利用类拉普拉斯金字塔分解网络将输入图片解耦,分离为主要包含轮廓纹理信息的分辨率自高向低排列的数个高频信息层和单个包含光照、色彩、内容的低频信息层;
其中,所述利用类拉普拉斯金字塔分解网络将输入图片解耦,包括:
将图像多次模糊并下采样得到其高斯金字塔序列;
将高斯金字塔序列的最终结果多次模糊并上采样,与高斯金字塔的各层相减,得到最终的拉普拉斯金字塔。
3.如权利要求1所述的一种超高分辨率图像曝光错误矫正方法,其特征在于,所述将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层,包括:
将低频信息层输入到类双边网格中的自调制特征提取模块中得到指导图特征;
将低频信息层下采样,并将下采样结果输入到类双边网格中的分层特征分解模块得到预测的双边网格系数;
将双边网格的系数与指导图特征进行切片操作得到切片后的双边网格系数;
基于切片后的双边网格系数得到类双边网格网络,利用类双边网格网络,将仿射变换逐像素作用于低频信息层,得到矫正后的低频信息层。
4.如权利要求3所述的一种超高分辨率图像曝光错误矫正方法,其特征在于,所述分层特征分解模块共有三层,每层均由上下文感知特征提取模块、自调制特征提取模块、1*1卷积层和ReLU激活函数层组成;
第一层的上下文感知特征提取模块进行分解处理后,得到上下文感知特征和残差特征;其中,所述上下文特征通过1*1卷积层和ReLU激活函数层输出上下文感知特征的提取特征;所述残差特征通过自调制特征提取模块输出残差特征提取特征至下一层的上下文感知特征提取模块,做与第一层相同的处理,直到第三层的自调制特征提取模块输出最终的残差特征提取特征;
将每一层的上下文感知特征的提取特征以及最终的残差特征提取特征相加,使用1*1卷积核和重塑维度来获得预测的双边网格系数。
5.如权利要求4所述的一种超高分辨率图像曝光错误矫正方法,其特征在于,所述自调制特征提取模块,将输入经过1*1卷积核后得到初始特征,然后将初始特征相继经过1*1卷积、全局平均池化层、1*1卷积得到平均特征信息,将平均特征信息与初始特征相乘后加上初始特征,经过ReLU激活函数层得到最终特征输出;
所述上下文感知特征提取模块,将输入特征分别通过全局平均池化层与全局标准差池化层,并将结果相加后通过Sigmoid激活层;将Sigmoid激活层的输出与最开始的输入特征相乘得到上下文感知特征;
最开始的输入特征与上下文感知特征相减得到残差特征。
6.如权利要求1所述的一种超高分辨率图像曝光错误矫正方法,其特征在于,所述利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层,包括:
将分辨率最低的高频信息层与上采样后的低频信息层、矫正后的低频信息层相拼接;
将拼接结果作为输入,通过由2个卷积层和一个在中间的LeakyReLU层组成的矫正预测模块,输出用于矫正高频信息的矫正层mn-1,该矫正层首先与高频信息层hn-1相乘,得到矫正后的高频信息层h′n-1;
使用双线性插值将mn-1上采样至hn-2的分辨率大小,再经过相同的矫正预测模块后得到各高频信息层的矫正层mn-2,将高频信息层hn-2与相应的矫正层mn-2逐像素点相乘,得到矫正后的高频信息层h′n-2;
对新得到的矫正层重复此操作,最终得到各个矫正过的高频层h′1,h'2,h′3...h'n-3。
7.如权利要求1所述的一种超高分辨率图像曝光错误矫正方法,其特征在于,所述将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片,包括:
利用类拉普拉斯金字塔重建网络,从矫正后的低频信息层开始,逐层卷积上采样并于上一层相加,最终重建出矫正曝光后的图片;
其中,所述类拉普拉斯金字塔重建网络的上采样结构与类拉普拉斯金字塔图像分解网络的的上采样结构共享参数。
8.一种超高分辨率图像曝光错误矫正系统,其特征在于,包括:
图像解耦模块,被配置为将当前需要矫正曝光的图像中的高低频信息分离,分解为多个高频信息层和单个低频信息层;
低频信息处理模块,被配置为将低频信息层下采样至低分辨率,计算并得到一个储存仿射变换的类双边网格网络,通过类双边网格得到矫正后的低频信息层;
高频信息处理模块,被配置为利用浅层网络矫正多个高频信息层,得到矫正后的高频信息层;
图像重建模块,被配置为将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的一种超高分辨率图像曝光错误矫正方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种超高分辨率图像曝光错误矫正方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310034109.6A CN116029932A (zh) | 2023-01-10 | 2023-01-10 | 一种超高分辨率图像曝光错误矫正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310034109.6A CN116029932A (zh) | 2023-01-10 | 2023-01-10 | 一种超高分辨率图像曝光错误矫正方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116029932A true CN116029932A (zh) | 2023-04-28 |
Family
ID=86079152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310034109.6A Pending CN116029932A (zh) | 2023-01-10 | 2023-01-10 | 一种超高分辨率图像曝光错误矫正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116029932A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523759A (zh) * | 2023-07-04 | 2023-08-01 | 江西财经大学 | 基于频率分解与重启机制的图像超分辨率重建方法与系统 |
-
2023
- 2023-01-10 CN CN202310034109.6A patent/CN116029932A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523759A (zh) * | 2023-07-04 | 2023-08-01 | 江西财经大学 | 基于频率分解与重启机制的图像超分辨率重建方法与系统 |
CN116523759B (zh) * | 2023-07-04 | 2023-09-05 | 江西财经大学 | 基于频率分解与重启机制的图像超分辨率重建方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109308679B (zh) | 一种图像风格转换方法及装置、设备、存储介质 | |
Xu et al. | Learning to restore low-light images via decomposition-and-enhancement | |
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
TW202134997A (zh) | 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備 | |
CN112070664B (zh) | 一种图像处理方法以及装置 | |
US20190005619A1 (en) | Image upscaling system, training method thereof, and image upscaling method | |
CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
KR20220124622A (ko) | 이미지 압축 방법 및 이미지 압축 장치 | |
CN111738952B (zh) | 一种图像修复的方法、装置及电子设备 | |
CN109785263B (zh) | 一种基于Retinex的逆色调映射图像转换方法 | |
CN116664450A (zh) | 基于扩散模型的图像增强方法、装置、设备及存储介质 | |
CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
CN113379613A (zh) | 使用深度卷积网络的图像去噪系统和方法 | |
CN114973049A (zh) | 一种统一卷积与自注意力的轻量视频分类方法 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
Dai et al. | Image super-resolution via residual block attention networks | |
CN116547694A (zh) | 用于对模糊图像去模糊的方法和系统 | |
CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
CN116029932A (zh) | 一种超高分辨率图像曝光错误矫正方法及系统 | |
CN113628115B (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
Zheng et al. | Windowing decomposition convolutional neural network for image enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |