CN110223256A - 一种逆色调映射方法、装置及电子设备 - Google Patents
一种逆色调映射方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110223256A CN110223256A CN201910499995.3A CN201910499995A CN110223256A CN 110223256 A CN110223256 A CN 110223256A CN 201910499995 A CN201910499995 A CN 201910499995A CN 110223256 A CN110223256 A CN 110223256A
- Authority
- CN
- China
- Prior art keywords
- dynamic range
- low dynamic
- network
- levels
- range echograms
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 title claims abstract description 35
- 238000011084 recovery Methods 0.000 claims abstract description 30
- 238000007906 compression Methods 0.000 claims description 49
- 230000006835 compression Effects 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 12
- 230000000574 ganglionic effect Effects 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000000576 coating method Methods 0.000 description 11
- 239000011248 coating agent Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000004040 coloring Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 244000157795 Cordia myxa Species 0.000 description 1
- 235000004257 Cordia myxa Nutrition 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本说明书实施例提供一种逆色调映射方法、装置及电子设备。所述方法包括:获取一个或多个低动态范围图像;对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层;利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层;利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。采用本申请的技术方案,能够更加鲁棒地完成低动态范围图像向高动态范围图像的转换。
Description
技术领域
本说明书涉及数字图像处理技术领域,尤其涉及一种逆色调映射方法、装置及电子设备。
背景技术
在数字图像处理领域,普通图像若要在高动态范围(High Dynamic Range,HDR)显示设备上显示则无法提供足够的精度,所以需要从普通图像恢复HDR信息,这一过程称为逆色调映射(inverse tone mapping)。以逆色调映射技术在4K电视技术的应用为例,由于目前大多数媒体资源仍为低动态范围的存储方式,所以利用逆色调映射技术将媒体资源从低动态范围转换到高动态范围,这是4K电视技术中的重要部分。
现有技术中,通过提出一个参数模型,通过参数模型完成低动态范围图像到高动态范围图像的转换,这种方式主要是对亮度的扩展,以便于在高动态范围显示器上显示出良好的视觉效果。但是现有的这种方式无法完全恢复低动态范围图像中损失的信息,而且需要复杂的参数设置。另外,目前的逆色调映射方法大多针对高质量的低动态范围图像,然而实际中,很多媒体资源在传输的过程中被存储为有损压缩的格式,这将会导致压缩伪影的产生,而压缩伪影对逆色调映射的结果有严重影响。
基于现有技术,需要提供一种能鲁棒地完成低动态范围图像向高动态范围图像转换的逆色调映射方案。
发明内容
有鉴于此,本发明的目的在于提供一种逆色调映射方法、装置及电子设备,以解决现有技术存在的低动态范围图像向高动态范围图像的转换效果差的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种逆色调映射方法,所述方法包括:
获取一个或多个低动态范围图像;
对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层;
利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层;
利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。
可选的,所述获取一个或多个低动态范围图像,包括:对原始图像进行压缩,得到所述压缩后的低动态范围图像。
可选的,所述对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层,包括:
基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层。
可选的,所述基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层,具体包括:
对所述低动态范围图像进行保边滤波,将所述保边滤波后得到的图像作为所述低动态范围图像的基本层;并对所述低动态范围图像与基本层图像进行求差,将所述求差后得到的图像作为所述低动态范围图像的细节层。
可选的,所述第一恢复网络为残差网络,所述第二恢复网络为U-Net网络;所述利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,包括:
利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复。
可选的,所述细节层包含所述低动态范围图像的高频分量和压缩伪影,所述基本层包含所述低动态范围图像的低频分量;所述利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复,包括:
利用所述残差网络对所述高频分量进行恢复,以便去除所述压缩伪影;并利用所述U-Net网络对所述低频分量进行恢复。
可选的,所述高频分量包括边缘和轮廓,所述低频分量包括颜色信息和结构信息。
可选的,所述融合网络采用残差网络。
本说明书实施例提供的一种逆色调映射装置,所述装置包括:
获取模块,用于获取一个或多个低动态范围图像;
分解模块,用于对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层;
恢复模块,用于利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层;
调整模块,用于利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。
可选的,所述获取模块具体用于:对原始图像进行压缩,得到所述压缩后的低动态范围图像。
可选的,所述分解模块具体用于:基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层。
可选的,所述分解模块进一步用于:对所述低动态范围图像进行保边滤波,将所述保边滤波后得到的图像作为所述低动态范围图像的基本层;并对所述低动态范围图像与基本层图像进行求差,将所述求差后得到的图像作为所述低动态范围图像的细节层。
可选的,所述第一恢复网络为残差网络,所述第二恢复网络为U-Net网络;所述恢复模块具体用于:利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复。
可选的,所述细节层包含所述低动态范围图像的高频分量和压缩伪影,所述基本层包含所述低动态范围图像的低频分量;所述恢复模块进一步用于:
利用所述残差网络对所述高频分量进行恢复,以便去除所述压缩伪影;并利用所述U-Net网络对所述低频分量进行恢复。
可选的,所述高频分量包括边缘和轮廓,所述低频分量包括颜色信息和结构信息。
本说明书实施例提供的一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述一种逆色调映射方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本发明通过获取一个或多个低动态范围图像,并对低动态范围图像执行分解操作,得到低动态范围图像的细节层和基本层;利用预定的第一恢复网络和第二恢复网络,分别对细节层和基本层进行恢复,得到恢复后的细节层和基本层;利用预定的融合网络对恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。采用本申请的技术方案,能够更加鲁棒地完成低动态范围图像向高动态范围图像的转换,并且无需复杂的参数设置。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见的下面描述中的附图仅仅是本发明的实施例,对于本领域普通人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本说明书实施例提供的一种逆色调映射方法的流程示意图;
图2是本说明书实施例提供的残差网络的结构示意图;
图3是本说明书实施例提供的U-Net网络的结构示意图;
图4是本说明书实施例提供的融合网络的结构示意图;
图5是本说明书实施例提供的一种逆色调映射装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
在实际应用中,由于SDR(Standard Dynamic Range)内容在HDR显示设备上显示无法提供足够的精度,而且当前的HDR内容短缺,因此亟需一种能将SDR内容转换为HDR内容的技术,逆色调映射技术应运而生。目前大多数媒体资源(如图像)仍为低动态范围的存储方式,并且为了便于将图像进行存储和传输,需要将普通图像以有损压缩的格式进行存储,而这也会引入压缩伪影,如块状伪影、带状伪影和振铃效应等。
目前的逆色调映射方法大多针对高质量的低动态范围图像,即针对的是无损压缩或未经压缩的低动态范围图像,传统的逆色调映射方法通常是提出一个参数模型,通过参数模型完成低动态范围图像到高动态范围图像的转换。这种传统方式主要是对亮度的扩展,以便于在高动态范围显示器上显示出良好的视觉效果。但是这种方式存在较多弊端,无法完全恢复低动态范围图像中损失的信息,而且还需要复杂的参数设置,对普通用户来说也很困难。除此之外,普通图像在传输的过程中以有损压缩的格式进行存储,这会导致压缩伪影的产生,而压缩伪影对逆色调映射的结果有严重影响。如果先去除压缩伪影再使用逆色调映射会导致结果过于模糊,如果在逆色调映射的基础上再去除压缩伪影,伪影会因为逆色调映射而被增强难以去除。
因此,针对低质量的低动态范围图像,即以有损压缩格式存储的低动态范围图像,需要提供一种既能恢复低动态范围图像在压缩过程中损失的信息,又能同时去除压缩伪影,更加鲁棒地完成低动态范围图像向高动态范围图像转换的逆色调映射方案。本说明书以下实施例可以是针对低动态范围图像作为处理对象进行的,特别是针对有损压缩后的低动态范围图像(即低质量的低动态范围图像)作为处理对象而进行的。当然,以有损压缩后的低动态范围图像作为处理对象仅仅是本说明书实施例的一种应用场景,不能构成对本说明书实施例应用范围的限定。
图1为本发明实施例提供的一种逆色调映射方法的流程示意图。该方法具体可以包括以下步骤:
在步骤S110中,获取一个或多个低动态范围图像。
在本说明书一个或多个实施例中,所述低动态范围图像是逆色调映射处理的对象,获取一个或多个低动态范围图像,即可以认为是获取一个或多个待处理图像。根据前述内容,本说明书实施例中的待处理图像可以是任何的低动态范围图像,包括但不限于:未经压缩的低动态范围图像、无损压缩的低动态范围图像和有损压缩的低动态范围图像。考虑到现有的大多数媒体资源为了便于存储和传输,因此均被处理为有损压缩的格式图像,而有损压缩的方式导致了压缩伪影的产生,所以相比其它的低动态范围图像,有损压缩的低动态范围图像还需要考虑压缩伪影对逆色调映射的影响。
在一个具体实施例中,可以通过对原始图像进行压缩,得到压缩后的低动态范围图像,这里的压缩可以是有损压缩,所述原始图像可以包括未经压缩的低动态范围图像、无损压缩的低动态范围图像或者高动态范围图像等。优选地,本说明书以下实施例是以有损压缩的低动态范围图像,即将低质量的低动态范围图像作为待处理图像而说的。
值得说明的是,在本说明书实施例中,低动态范围图像可以认为是像素值在0-255之间的图像,而高动态范围图像可以认为是像素值在0-16×105之间的图像。
在步骤S120中,对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层。
在本说明书一个或多个实施例中,继续上述实施例的内容,在经过压缩处理获得低质量的低动态范围图像之后,可以对获得的低动态范围图像执行分解操作,得到低动态范围图像的细节层和基本层。本说明书实施例中,可以采用以下方法对低动态范围图像执行分解操作,该方法可以包括以下过程:
基于Retinex理论对低动态范围图像进行分解,得到低动态范围图像的细节层和基本层。具体地,对所述低动态范围图像进行保边滤波,将保边滤波后得到的图像作为低动态范围图像的基本层;并对所述低动态范围图像与基本层图像进行求差,将求差后得到的图像作为低动态范围图像的细节层。
Retinex理论是一种广泛应用于数字图像处理中的理论,它认为数字图像可以被分解为细节层和基本层,两者独立互不影响。
进一步地,考虑到压缩伪影是由于对高频分量的过度压缩导致的,主要存在于高频分量部分,因此通过采用Retinex理论将低动态范围图像分解为高频部分和低频部分,即分解为细节层和基本层;其中,细节层包含了低动态范围图像的高频分量和压缩伪影,基本层包含了低动态范围图像的低频分量。
在步骤S130中,利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层。
在本说明书一个或多个实施例中,由于细节层包含了低动态范围图像的高频分量和压缩伪影,其中所述高频分量又可以包括低动态范围图像的纹理信息,如边缘和轮廓等。因此,对于细节层需要保证其结构的完整性,减少信息的损失,避免下采样,所以可以采用特征图尺寸不变的残差网络作为细节层的恢复网络。
针对基本层而言,其包含了低动态范围图像的低频分量,而低频分量中含有大量的颜色信息和结构信息(如物体形状)等,这部分信息对于恢复过曝区域、欠曝区域和颜色映射具有重要作用,为了提取充足的特征,因此需要利用多尺度信息来恢复物体结构,所以可以采用U-Net网络作为基本层的恢复网络。
进一步地,利用所述残差网络对细节层进行恢复,并利用所述U-Net网络对基本层进行恢复;此时,第一恢复网络为残差网络,第二恢复网络为U-Net网络。
根据前述实施例的内容,细节层包含了低动态范围图像的高频分量和压缩伪影,基本层包含了低动态范围图像的低频分量;因此,利用残差网络对细节层进行恢复,并利用U-Net网络对基本层进行恢复,可以包括以下内容:
利用所述残差网络对高频分量进行恢复,以便去除压缩伪影;并利用所述U-Net网络对低频分量进行恢复。
下面结合附图对残差网络和U-Net网络的结构进行详细地描述,如图2-图3所示,为本说明书实施例提供的残差网络和U-Net网络的结构示意图,具体可以包括以下内容:
残差网络包括两侧的一个或多个卷积层以及中间的多个残差块,每个所述残差块内包含按顺序排列的第一卷积层、第二激活层、第三卷积层和第四激活层,其中,在所述第四激活层之前还包括:对所述残差块的输入图像与所述第三卷积层的输出图像执行相加操作。
进一步地,在本说明书一个实施例中,残差网络可以包括前后两侧的2层卷积层和中间的16个残差块,残差块内的激活层采用SELU激活函数,残差网络中各卷积层的卷积核尺寸为3*3,步长为1,除最后一层卷积层(即图2中最右侧的卷积层)的特征通道数为3外,其余各个层的特征通道数均为64。在实际应用中,为了保持特征图尺寸不变可以采用镜像对称的方式做边缘填充。
U-Net网络包括多个卷积块和反卷积块,卷积块位于反卷积块的前面,其中,所述卷积块内包含按顺序排列的卷积层、激活层、卷积层以及激活层;为了避免棋盘伪影,在反卷积块中,先上采样,扩大特征图的分辨率,再进行卷积操作,反卷积块内包含按顺序排列的上采样层、卷积层以及激活层。同时为了加快收敛速度,每一层都加入批归一化操作,并且为了充分利用低级特征,对应的上下采样层之间有跳转链接。
进一步地,在本说明书一个实施例中,U-Net网络包括5个卷积块和4个反卷积块,即U-Net网络内一共可以包括9层;其中,前四个卷积块,每个卷积块内按顺序依次包含尺寸为1*1、步长为1的卷积层,激活层,尺寸为3*3、步长为2的卷积层以及激活层,前四个卷积块的特征通道数目分别为64、128、256、512;第五个卷积块内按顺序依次包含尺寸为3*3、步长为1的卷积层,激活层,尺寸为3*3、步长为1的卷积层以及激活层,第五个卷积块的特征通道数目为1024。反卷积块内按顺序依次包含上采样层,尺寸为3*3、步长为1的卷积层以及激活层,反卷积块的特征通道数分别为512、256、128、64、3。
在本说明书实施例中,所述上采样采用的是双线向上采样,通过上采样可以扩大特征图的分辨率。
在步骤S140中,利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。
继续上述实施例,在利用两个不同的恢复网络对高频分量和低频分量分别进行恢复后,便可以得到恢复后的细节层和基本层,最后利用预定的融合网络将恢复后的细节层和基本层做进一步调整,得到最终恢复后的高动态范围图像。
进一步地,所述融合网络可以采用残差网络,融合网络的结构与第一恢复网络(即细节层恢复网络)的结构相似,但是在实际应用中,融合网络可以只包含8个残差块。参见图4,该图示出了本说明书实施例提供的融合网络的结构示意图。由于融合网络与第一恢复网络均采用残差网络,且两者的结构相似,因此这里不再对融合网络的结构进行赘述,关于融合网络的结构可以参见上述对第一恢复网络结构的描述。
基于上述本说明书实施例,考虑到压缩伪影是由于对高频分量的过度压缩导致的,主要存在于高频分量部分,因此借助Retinex理论将低动态范围图像分解为高频部分(即细节层)和低频部分(即基本层)。由于细节层包含图像的高频分量(如边缘、轮廓)和压缩伪影,主要负责边缘的保持和压缩伪影的去除;而基本层则包含图像的低频分量(如颜色信息、结构信息),主要负责对过曝和欠曝缺失信息的恢复以及颜色的映射,因此针对上述两种不同的分量信息,分别采用两个不同的网络对细节层和基本层进行恢复,最后再利用一支融合网络将前两支网络的结果进一步调整,从而实现高动态范围图像的恢复。本发明不仅能恢复低动态范围图像中损失的信息,兼顾不同缺失信息的恢复,例如:过曝区域、欠曝区域、颜色信息和物体结构等,还可以同时去除压缩伪影,更加鲁棒地完成压缩低动态范围图像到高动态范围图像的转换。
基于同样的思路,本说明书实施例还提供了一种逆色调映射装置,如图5为本说明书实施例提供的一种逆色调映射装置,该装置500主要包括:
获取模块501,用于获取一个或多个低动态范围图像;
分解模块502,用于对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层;
恢复模块503,用于利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层;
调整模块504,用于利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。
根据本申请的实施例,在所述装置中,所述获取模块501具体用于:对原始图像进行压缩,得到所述压缩后的低动态范围图像。
根据本申请的实施例,在所述装置中,所述分解模块502具体用于:基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层。
根据本申请的实施例,在所述装置中,所述分解模块502进一步用于:对所述低动态范围图像进行保边滤波,将所述保边滤波后得到的图像作为所述低动态范围图像的基本层;并对所述低动态范围图像与基本层图像进行求差,将所述求差后得到的图像作为所述低动态范围图像的细节层。
根据本申请的实施例,在所述装置中,所述第一恢复网络为残差网络,所述第二恢复网络为U-Net网络;所述恢复模块503具体用于:利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复。
根据本申请的实施例,在所述装置中,所述细节层包含所述低动态范围图像的高频分量和压缩伪影,所述基本层包含所述低动态范围图像的低频分量;所述恢复模块503进一步用于:
利用所述残差网络对所述高频分量进行恢复,以便去除所述压缩伪影;并利用所述U-Net网络对所述低频分量进行恢复。
根据本申请的实施例,在所述装置中,所述高频分量包括边缘和轮廓,所述低频分量包括颜色信息和结构信息。
本说明书实施例还提供一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述一种逆色调映射方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、电子设备与方法是对应的,因此,装置、电子设备也具有与对应方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述对应装置、电子设备的有益技术效果。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神和范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (16)
1.一种逆色调映射方法,所述方法包括:
获取一个或多个低动态范围图像;
对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层;
利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层;
利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。
2.如权利要求1所述的方法,所述获取一个或多个低动态范围图像,包括:
对原始图像进行压缩,得到所述压缩后的低动态范围图像。
3.如权利要求2所述的方法,所述对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层,包括:
基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层。
4.如权利要求3所述的方法,所述基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层,具体包括:
对所述低动态范围图像进行保边滤波,将所述保边滤波后得到的图像作为所述低动态范围图像的基本层;并对所述低动态范围图像与基本层图像进行求差,将所述求差后得到的图像作为所述低动态范围图像的细节层。
5.如权利要求1所述的方法,所述第一恢复网络为残差网络,所述第二恢复网络为U-Net网络;所述利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,包括:
利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复。
6.如权利要求5所述的方法,所述细节层包含所述低动态范围图像的高频分量和压缩伪影,所述基本层包含所述低动态范围图像的低频分量;所述利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复,包括:
利用所述残差网络对所述高频分量进行恢复,以便去除所述压缩伪影;并利用所述U-Net网络对所述低频分量进行恢复。
7.如权利要求6所述的方法,所述高频分量包括边缘和轮廓,所述低频分量包括颜色信息和结构信息。
8.如权利要求1所述的方法,所述融合网络采用残差网络。
9.一种逆色调映射装置,所述装置包括:
获取模块,用于获取一个或多个低动态范围图像;
分解模块,用于对所述低动态范围图像执行分解操作,得到所述低动态范围图像的细节层和基本层;
恢复模块,用于利用预定的第一恢复网络和第二恢复网络,分别对所述细节层和基本层进行恢复,得到所述恢复后的细节层和基本层;
调整模块,用于利用预定的融合网络对所述恢复后的细节层和基本层进行调整,得到调整后的高动态范围图像。
10.如权利要求9所述的装置,所述获取模块具体用于:
对原始图像进行压缩,得到所述压缩后的低动态范围图像。
11.如权利要求10所述的装置,所述分解模块具体用于:
基于Retinex理论对所述低动态范围图像进行分解,得到所述低动态范围图像的细节层和基本层。
12.如权利要求11所述的装置,所述分解模块进一步用于:
对所述低动态范围图像进行保边滤波,将所述保边滤波后得到的图像作为所述低动态范围图像的基本层;并对所述低动态范围图像与基本层图像进行求差,将所述求差后得到的图像作为所述低动态范围图像的细节层。
13.如权利要求9所述的装置,所述第一恢复网络为残差网络,所述第二恢复网络为U-Net网络;所述恢复模块具体用于:
利用所述残差网络对所述细节层进行恢复,并利用所述U-Net网络对所述基本层进行恢复。
14.如权利要求13所述的装置,所述细节层包含所述低动态范围图像的高频分量和压缩伪影,所述基本层包含所述低动态范围图像的低频分量;所述恢复模块进一步用于:
利用所述残差网络对所述高频分量进行恢复,以便去除所述压缩伪影;并利用所述U-Net网络对所述低频分量进行恢复。
15.如权利要求14所述的装置,所述高频分量包括边缘和轮廓,所述低频分量包括颜色信息和结构信息。
16.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910499995.3A CN110223256A (zh) | 2019-06-10 | 2019-06-10 | 一种逆色调映射方法、装置及电子设备 |
PCT/CN2019/091874 WO2020248294A1 (zh) | 2019-06-10 | 2019-06-19 | 一种逆色调映射方法、装置及电子设备 |
US16/975,485 US11783459B2 (en) | 2019-06-10 | 2019-06-19 | Method and device of inverse tone mapping and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910499995.3A CN110223256A (zh) | 2019-06-10 | 2019-06-10 | 一种逆色调映射方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110223256A true CN110223256A (zh) | 2019-09-10 |
Family
ID=67816251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910499995.3A Pending CN110223256A (zh) | 2019-06-10 | 2019-06-10 | 一种逆色调映射方法、装置及电子设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11783459B2 (zh) |
CN (1) | CN110223256A (zh) |
WO (1) | WO2020248294A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796595A (zh) * | 2019-10-31 | 2020-02-14 | 北京大学深圳研究生院 | 一种色调映射方法、装置及电子设备 |
CN111683269A (zh) * | 2020-06-12 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN112991209A (zh) * | 2021-03-12 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN117830183A (zh) * | 2024-03-05 | 2024-04-05 | 俐玛精密测量技术(苏州)有限公司 | 一种针对ct图像的色调映射方法和相关装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893482B2 (en) * | 2019-11-14 | 2024-02-06 | Microsoft Technology Licensing, Llc | Image restoration for through-display imaging |
CN114581336A (zh) * | 2022-03-21 | 2022-06-03 | 北京有竹居网络技术有限公司 | 图像修复方法、装置、设备、介质及产品 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785263A (zh) * | 2019-01-14 | 2019-05-21 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8121401B2 (en) * | 2006-01-24 | 2012-02-21 | Sharp Labortories of America, Inc. | Method for reducing enhancement of artifacts and noise in image color enhancement |
KR20120114899A (ko) * | 2011-04-08 | 2012-10-17 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
JP6461165B2 (ja) * | 2013-12-27 | 2019-01-30 | トムソン ライセンシングThomson Licensing | 画像の逆トーンマッピングの方法 |
US10467735B2 (en) | 2015-08-25 | 2019-11-05 | Interdigital Vc Holdings, Inc. | Inverse tone mapping based on luminance zones |
CN108702496B (zh) * | 2015-09-02 | 2021-09-14 | 佛吉亚艾里斯泰克股份有限公司 | 用于实时色调映射的系统和方法 |
KR102552747B1 (ko) | 2016-06-28 | 2023-07-11 | 주식회사 엘엑스세미콘 | 역 톤 매핑 방법 |
EP3418972A1 (en) * | 2017-06-23 | 2018-12-26 | Thomson Licensing | Method for tone adapting an image to a target peak luminance lt of a target display device |
US20210166360A1 (en) * | 2017-12-06 | 2021-06-03 | Korea Advanced Institute Of Science And Technology | Method and apparatus for inverse tone mapping |
-
2019
- 2019-06-10 CN CN201910499995.3A patent/CN110223256A/zh active Pending
- 2019-06-19 US US16/975,485 patent/US11783459B2/en active Active
- 2019-06-19 WO PCT/CN2019/091874 patent/WO2020248294A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785263A (zh) * | 2019-01-14 | 2019-05-21 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
Non-Patent Citations (1)
Title |
---|
芦碧波: "一种改进的多尺度Retinex色调映射算法", 《计算机工程与科学》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796595A (zh) * | 2019-10-31 | 2020-02-14 | 北京大学深圳研究生院 | 一种色调映射方法、装置及电子设备 |
CN111683269A (zh) * | 2020-06-12 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN112991209A (zh) * | 2021-03-12 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112991209B (zh) * | 2021-03-12 | 2024-01-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN117830183A (zh) * | 2024-03-05 | 2024-04-05 | 俐玛精密测量技术(苏州)有限公司 | 一种针对ct图像的色调映射方法和相关装置 |
CN117830183B (zh) * | 2024-03-05 | 2024-05-14 | 俐玛精密测量技术(苏州)有限公司 | 一种针对ct图像的色调映射方法和相关装置 |
Also Published As
Publication number | Publication date |
---|---|
US11783459B2 (en) | 2023-10-10 |
WO2020248294A1 (zh) | 2020-12-17 |
US20230025557A1 (en) | 2023-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223256A (zh) | 一种逆色调映射方法、装置及电子设备 | |
CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
CN108376387A (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
CN109410123B (zh) | 基于深度学习的去除马赛克的方法、装置及电子设备 | |
CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
CN110062282A (zh) | 一种超分辨率视频重建方法、装置及电子设备 | |
CN109785263B (zh) | 一种基于Retinex的逆色调映射图像转换方法 | |
CN110047044B (zh) | 一种图像处理模型的构建方法、装置及终端设备 | |
US20010026278A1 (en) | Three-dimensional skeleton data compession apparatus | |
CN110689495B (zh) | 一种深度学习的图像修复方法 | |
JP4216477B2 (ja) | 選択的メッシュ細分化方法 | |
CN113450288A (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
CN110992244A (zh) | 带有摩尔纹的图片生成方法、系统、设备和存储介质 | |
CN110428382A (zh) | 一种用于移动终端的高效视频增强方法、装置和存储介质 | |
CN110610467A (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
US20220067890A1 (en) | Detail Reconstruction for SDR-HDR Conversion | |
CN111372006A (zh) | 一种面向移动端的高动态范围成像方法及系统 | |
US20220406016A1 (en) | Automated weighting generation for three-dimensional models | |
CN106101858A (zh) | 一种视频生成方法及装置 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
KR102119132B1 (ko) | 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법 | |
JP2009224901A (ja) | 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム | |
WO2023246403A1 (zh) | 模型的训练方法、水印复原方法及相关设备 | |
CN113222856A (zh) | 一种逆半色调图像处理方法、终端设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |
|
RJ01 | Rejection of invention patent application after publication |