CN112085668B - 一种基于区域自适应自监督学习的图像色调映射的方法 - Google Patents
一种基于区域自适应自监督学习的图像色调映射的方法 Download PDFInfo
- Publication number
- CN112085668B CN112085668B CN202010817616.3A CN202010817616A CN112085668B CN 112085668 B CN112085668 B CN 112085668B CN 202010817616 A CN202010817616 A CN 202010817616A CN 112085668 B CN112085668 B CN 112085668B
- Authority
- CN
- China
- Prior art keywords
- image
- representing
- dynamic range
- information
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013507 mapping Methods 0.000 title claims abstract description 38
- 238000013139 quantization Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 37
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 230000000903 blocking effect Effects 0.000 abstract description 5
- 230000004913 activation Effects 0.000 description 15
- 238000013459 approach Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008450 motivation Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明公开了一种基于区域自适应自监督学习的图像色调映射的方法，包括步骤：对第一动态范围图像进行预处理得到临时结果图像；将临时结果图像输入神经网络，通过神经网络输出亮度结果图像；神经网络是基于原图像块、原图像块对应的线性量化结果图像块以及原图像块对应的均衡量化结果图像块训练得到的；对亮度结果图像进行颜色补偿处理得到第二动态范围图像；其中，第二动态范围图像的比特位数小于第一动态范围图像的比特位数。基于平衡线性量化和均衡量化的思想，并借助神经网络，解决了传统的局部方法在处理图像时会遇到的块效应问题。且科学的自适应地平衡线性量化和均衡量化，令模型能够自适应地处理图像中不同的局部区域，得到较佳的效果。
Description
技术领域
本发明涉及数字图像处理以及计算机视觉技术领域，尤其涉及的是一种基于区域自适应自监督学习的图像色调映射的方法。
背景技术
在复杂光照条件下拍摄一张清晰的各处细节可见的照片仍是一个尚未解决的问题，如今的做法是通过拍摄一系列不同曝光的照片，通过计算融合得到能够清晰记录各处不同亮度细节的照片，一般称之为高动态范围图像。然而，从数值上看，高动态范围图像的动态范围最高可高达32比特位，而市场上常规的显示设备，如电视、电脑屏幕以及手机屏幕等，其显示的动态范围仅仅为8比特位，无法直接对高动态范围图像予以显示。因此，对于高动态范围图像，需要对应色调映射算法将其压缩为8比特位的标准动态范围图像，再通过常规显示设备对其进行显示。除此之外，色调映射算法的主要目的是，在对高动态范围图像的压缩过程中，能使得各处细节都不丢失，能够清晰地在标准动态范围图像上显示出来。
现有技术中，传统的高动态范围图像的色调映射算法可以大致地分为两类：一类是基于全局的方法，一类是基于局部的方法。基于全局的方法，主要是使用一个单调的压缩函数对整张高动态范围图像进行全局的计算。其优势在于计算速率快，保持了原图像的亮度变化，图像自然而不容易产生伪像，但由于是从高动态范围图像压缩为标砖动态范围图像，一个单调的全局函数会使得图像的对比度也同时压缩，因此基于全局的算法的结果对比度不高，各处细节显示不够清晰。而基于局部的方法则是相反，它主要聚焦于如何对不同的局部进行处理，使得各处的细节都能清晰地呈现。然而，基于局部的算法的劣势在于，其计算速度相较于基于全局的算法会有所降低，同时，由于其主要聚焦在局部的处理上，图像的整体可能处理不佳，图像的亮度变化等会显得不自然，同时可能会产生伪像。可见，现有技术的高动态范围图像的色调映射算法无法兼具较清晰的细节和较佳的整体性。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于区域自适应自监督学习的图像色调映射的方法，旨在解决现有技术中高动态范围图像的色调映射时无法兼具较清晰的细节和较佳的整体性的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于区域自适应自监督学习的图像色调映射的方法，其中，包括步骤：
对第一动态范围图像进行预处理得到临时结果图像；
将所述临时结果图像输入神经网络，通过所述神经网络输出亮度结果图像；其中，所述神经网络是基于原图像块、所述原图像块对应的线性量化结果图像块以及所述原图像块对应的均衡量化结果图像块训练得到的，所述神经网络的损失函数包括：线性量化感知损失函数和均衡量化感知损失函数；
对所述亮度结果图像进行颜色补偿处理得到第二动态范围图像；其中，所述第二动态范围图像的比特位数小于所述第一动态范围图像的比特位数。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述对第一动态范围图像进行预处理得到临时结果图像，包括：
获取第一动态范围图像的亮度信息；
根据所述亮度信息，确定所述亮度信息的最大值、所述亮度信息的最小值以及所述亮度信息的对数平均值；
根据所述亮度信息的最大值、所述亮度信息的最小值以及所述亮度信息的对数平均值，确定图像整体亮暗调节参数；
根据所述亮度信息、所述图像整体亮暗调节参数、所述亮度信息的最大值、所述亮度信息的最小值、临时结果的最大值以及临时结果的最小值，确定临时结果图像。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述临时结果图像为：
其中，P表示临时结果图像，L表示第一动态范围图像的亮度信息，τ表示图像整体亮暗调节参数，Lmax表示亮度信息的最大值，Lmin表示亮度信息的最小值，Pmax表示临时结果图像的最大值，Pmin表示临时结果图像的最小值，log(·)表示对数函数。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述图像整体亮暗调节参数满足如下关系：
其中，Lave表示亮度信息的对数平均值，A和B均表示常数；
所述亮度信息的对数平均值为：
其中，exp(·)表示以自然常数为底的指数函数，N表示第一动态范围图像的像素的数量，L(x，y)表示第一动态范围图像中坐标为(x，y)的像素的亮度信息，∈表示常数，∑表示求和符号。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述神经网络的损失函数为：
Loverall＝(1-β)Llinear+βLequalized
其中，β表示控制平衡的自适应参数，Llinear表示线性量化感知损失函数，Lequalized表示均衡量化感知损失函数。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述线性量化感知损失函数为：
所述均衡量化感知损失函数为：
其中，O表示神经网络的输出图像块，VGG(·)表示用于提取感知特征的VGGNet函数，Tlinear表示线性量化结果图像块，Tequalized表示均衡量化结果图像块，表示欧式距离。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述控制平衡的自适应参数β根据所述原图像块的信息量确定。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述控制平衡的自适应参数为：
其中，θ表示原图像块的信息量，e表示自然常数，∝表示成正比例。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述原图像块的信息量为：
其中，Hn表示原图像块的归一化的直方图中第n个区间的数目，Un表示原图像块的归一化的均匀分布中第n个区间的数目，N表示直方图的区间数目，log(·)表示对数函数，∑表示求和符号。
所述的基于区域自适应自监督学习的图像色调映射的方法，其中，所述颜色补偿处理采用如下公式实现：
其中，Cout(·)表示第二动态范围图像的颜色信息，L(·)表示第一动态范围图像的亮度信息，Cin(·)表示第一动态范围图像的颜色信息，Lout(·)表示亮度结果图像的亮度信息，x，y表示像素的坐标，γ表示控制第二动态范围图像的饱和度的参数。
有益效果：基于平衡线性量化和均衡量化的思想，本技术方案提出了一种新的应用在色调映射任务中的生成学习目标的方法。同时，借助神经网络，本技术方案解决了传统的基于同样思想局部方法在处理图像时会遇到的块效应问题。本技术方案的方法可以科学的自适应地平衡线性量化和均衡量化，令模型能够自适应地处理图像中不同的局部区域，得到较佳的效果。
附图说明
图1是本发明中神经网络的结构图。
图2a是本发明中信息量较少的原图像块的示意图。
图2b是本发明中信息量较少的线性量化结果图像块的示意图。
图2c是本发明中信息量较少的均衡量化结果图像块的示意图。
图2d是本发明中信息量较多的原图像块的示意图。
图2e是本发明中信息量较多的均衡量化结果图像块的示意图。
图2f是本发明中信息量较多的线性量化结果图像块的示意图。
图3是本发明中基于区域自适应自监督学习的图像色调映射的方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请同时参阅图1-图3，本发明提供了一种基于区域自适应自监督学习的图像色调映射的方法的一些实施例。
基于局部的算法的效果一般要比基于全局的算法效果更好。然而，对于传统的色调映射算法，一般都有多个可调参数，对于不同的高动态范围图像，需要进行针对性的参数调整，才能得到令人满意的结果。
近年来，深度学习大力发展，在多个数字图像处理任务以及计算机视觉任务上都取得了很好的效果，算法性能有很大的提升。因此，基于深度学习的色调映射算法也吸引了研究者的兴趣。对于深度学习，一般而言，往往是需要大量的真值作为学习目标知道模型的训练。然而，在高动态范围图像色调映射任务中，是没有真值的，因此缺乏可学习的目标。为了解决这个问题，最新的解决办法是，从多个传统的色调映射算法结果中，挑选一个作为学习目标。具体而言，先选定多个传统的色调映射算法，对每一张高动态范围图像，使用选定的多个色调映射算法，计算得到多个结果图像，然后计算每张结果图像的客观指标分数，将分数最高的结果图像挑选出来，作为该高动态范围图像的学习目标。因此，可以获得成对的训练数据知道神经网络的训练。但是，这种方式来产生训练数据存在一些问题。在使用客观指标分数对各个结果图像进行排序并挑选分数最高的图像，仅仅能够保证挑选出来的图像具有一个不错的整体效果，但在局部上并不是每一个局部都是完美的，在某些局部上也有可能丢失细节。因此，使用这些数据进行训练的时候，会影响网络的性能。解决该问题是提出本申请的方法的动机之一。
此外，在某些传统方法中，将色调映射问题看作一个量化问题。一般量化的方法是线性量化，即将动态范围划分为均等的B个区间，每个区间中的像素将被分配相同的像素值，于是可以得到动态范围为B的图像。但若某些区间中聚集了大量的像素，则最后获得的图像将丢失大量的细节。而为了增强图像的局部细节，可以采用一种基于直方图均衡化的均衡量化方法，同样将动态范围划为B个区间，在量化时，给每个区间分配相同数量的像素。于是，局部细节得到增强，但这种方式同样拥有缺点，容易过分夸大图像的细节，造成伪像。因此，将两种方法结合，取其平衡，可以在增强细节的同时不造成伪像。基于这种思想，既有基于全局的方法，也有基于局部的方法。但是，基于全局的方法，其细节仍稍显不够。而基于局部的方法，先对图像进行分割，然后对每一个图像块处理，最后拼接回来。由于逐图像块地进行处理，图像块之间存在块效应，基于局部的方法设计了去块效应的后操作。但对于不同的高动态图像，去块效应的操作需要调整不同的参数，及其不便。因此，遵循这种简单的思想，设计一个能够自适应处理不同的局部区域，同时不会产生块效应的方法，是本申请的工作的第二个动机。
而这两个动机，在某种程度上是互补的。借助线性量化和均衡量化的思想，可以对每一个用于训练的图像块生成对应的学习目标，对每一个局部提供合适的学习目标。这种学习目标是根据某种规则从数据本身自动生成的方式，称为自监督学习。除了数据是自动生成而非人工标定的，自监督学习仍是以一种监督学习的方式指导模型的训练。训练好的模型是能够自适应地处理不同的局部区域的，使得各个局部的细节能够很好地呈现。同时，借助神经网络，对整张图像进行测试时，并不会产生块效应。因此，本申请的方法是局部区域自适应的，能够完美解决同样思想下基于局部的算法中块效应的问题。
如图1所示，本发明实施例的一种基于区域自适应自监督学习的图像色调映射的方法，包括以下步骤：
步骤S100、对第一动态范围图像进行预处理得到临时结果图像。
具体地，第一动态范围图像具体为高动态范围图像(high dynamic range，HDR)，高动态范围图像为16比特位至32比特位的动态范围图像，例如，第一动态范围图像的比特位数为32。标准动态范围图像为比特位数为8的动态范围图像，需要说明的是，还可以根据需要设定高动态范围图像的比特位数和标准动态范围图像的比特位数。临时结果图像是指在图像处理过程中中间阶段得到的图像。对第一动态范围图像的亮度信息进行预处理得到临时结果图像，当然预处理时，还可以对第一动态范围图像的其它信息进行预处理。
具体地，步骤S100具体包括：
步骤S110、获取第一动态范围图像的亮度信息。
具体地，获取第一动态范围图像的亮度信息。第一动态范围图像的亮度信息计算公式为：
L＝0.299R+0.587G+0.114B
其中，L表示第一动态范围图像的亮度信息，R表示第一动态范围图像的红色通道，G表示第一动态范围图像的红色通道，B表示第一动态范围图像的红色通道。
步骤S120、根据所述亮度信息，确定所述亮度信息的最大值、所述亮度信息的最小值以及所述亮度信息的对数平均值。
具体地，根据第一动态范围图像的亮度信息，确定第一动态范围图像的亮度信息的最大值、亮度信息的最小值以及亮度信息的对数平均值。也就是说，根据亮度信息L，确定亮度信息的最大值Lmax、亮度信息的最小值Lmin以及亮度信息的对数平均值Lave。
亮度信息的最小值Lmin和亮度信息的最大值Lmax可以直接获取，亮度信息的对数平均值Lave的计算公式为：
其中，exp(·)表示以自然常数为底的指数函数，N表示第一动态范围图像的像素的数量，L(x,y)表示第一动态范围图像中坐标为(x,y)的像素的亮度信息，∈表示常数，∑表示求和符号，∈是一个极小的常数值，主要是为了避免在使用对数函数出现问题，∈在本技术方案中取值10-8，当然还可以取其它值，如，10-7。
步骤S130、根据所述亮度信息的最大值、所述亮度信息的最小值以及所述亮度信息的对数平均值，确定图像整体亮暗调节参数。
具体地，所述图像整体亮暗调节参数满足如下关系：
其中，Lave表示亮度信息的对数平均值，A和B均表示常数。
具体地，先计算一个可控制图像整体亮度的关键参数k。k的数值越大，图像整体亮度越大；k的数值越小，图像整体亮度越小。该参数k的计算公式如下：
其中，A和B是两个常数，在本技术方案中分别取值0.4和1.2。
然后根据控制图像整体亮度的关键参数k求解图像整体亮暗调节参数τ。为了令临时结果图像P的平均亮度趋近于参数k，可建模方程为：
对于该方程，本技术方案中使用牛顿法进行求解，并在20次迭代以内可以获得该方程的解。
步骤S140、根据所述亮度信息、所述图像整体亮暗调节参数、所述亮度信息的最大值、所述亮度信息的最小值、临时结果的最大值以及临时结果的最小值，确定临时结果图像。
具体地，在使用神经网络前，需要对第一动态范围图像进行预处理，使数值范围符合固定的分布。在本技术方案中，采取计算高动态范围图像的对数域。使用对数函数对第一动态范围图像的亮度信息进行处理，可以得到临时结果图像P。
具体地，所述临时结果图像为：
其中，P表示临时结果图像，L表示第一动态范围图像的亮度信息，τ表示图像整体亮暗调节参数，Lmax表示亮度信息的最大值，Lmin表示亮度信息的最小值，Pmax表示临时结果图像的最大值，Pmin表示临时结果图像的最小值，在本技术方案中，Pmin和Pmax分别取值0和1，log(·)表示对数函数。τ是一个可调节参数，进行自适应调整τ的取值。对于每一张第一动态范围图像，可以自适应地求解一个参数τ，进而自适应地计算相对应的临时结果图像P。由于Pmin和Pmax分别取值0和1，因此临时结果图像P的数值范围是(0,1)。当然，Pmin和Pmax还可以采用其它取值，如分别为0和255。
步骤S200、将所述临时结果图像输入神经网络，通过所述神经网络输出亮度结果图像；其中，所述神经网络是基于原图像块、所述原图像块对应的线性量化结果图像块以及所述原图像块对应的均衡量化结果图像块训练得到的，所述神经网络的损失函数包括：线性量化感知损失函数和均衡量化感知损失函数。
具体地，临时结果图像P的数值范围是(0,1)，但由于临时结果图像P的数值形式是浮点数，临时结果图像P仍然蕴含着第一动态范围图像的所有细节信息。若直接对其进行8比特量化，则会导致细节丢失，所以在本技术方案中，我们采用神经网络对临时结果图像P进行细节恢复或保留。
神经网络的训练和测试按如下步骤进行：
1.训练数据的准备
这里主要说明如何准备一组成对的训练数据，整个训练数据集的准备会因训练模式的不同而不同。
对于一张第一动态范围图像，自适应地计算得到一个临时结果图像P。从P中裁剪得到一个原图像块，尺寸自定，本技术方案中原图像块的尺寸为64×64，当然，临时结果图像还可以裁剪得到多个原图像块。对于每个原图像块，分别采用线性量化的方法和均衡量化的方法，得到两个量化的结果，分别为线性量化结果图像块、均衡量化结果图像块。
具体地，线性量化方法：将原图像块的动态范围划分为均等的B个区间，每个区间中的像素将被分配相同的像素值。例如，第一个区间中的所有像素将被赋值为整数0，第二个区间中的所有像素将被赋值为整数1，以此类推。
均衡量化方法：将原图像块的动态范围划为B个区间，按从小到大的顺序对每个区间分配相同数量的像素。例如，图像像素的总数目是N，现将动态范围划为256个区间，将像素值最小的(N/256)个像素分配到第一个区间，第一个区间中的所有像素赋值为整数0；然后将剩下的像素中数值最小的(N/256)个像素分配到第二个区间，第二个区间的所有像素赋值为整数1；以此类推。
将线性量化结果图像块、均衡量化结果图像块作为两个学习目标，将原图像块作为神经网络的输入，将原图像块、原图像块对应的线性量化结果图像块以及原图像块对应的均衡量化结果图像块组成一组成对的训练数据，并基于该训练数据训练神经网络。
需要指出的是，这里的训练数据可以是多组，每组训练数据均包括一元图像块、原图像块对应的线性量化结果图像块以及原图像块对应的均衡量化结果图像块。
需要说明的是，神经网络的训练分为线上训练模式和线下训练模式。在线下训练模式中，本技术方案采用一个数据库来生成大量的训练数据。数据库拥有100张第一动态范围图像，对100张第一动态范围图像分别计算各第一动态范围图像对应的临时结果图像P。然后，对每一张临时结果图像P，在上面随机地裁剪2000张原图像块。于是，训练数据一共有200000组训练对。在线上训练模式中，本技术方案只专注于处理一张给定的第一动态范围图像。对于一张给定的第一动态范围图像，先计算该第一动态范围图像的临时结果图像P，然后在这个临时结果图像P上，以滑动窗口的形式裁剪得到原图像块。这样获取的训练数据可以覆盖整张临时结果图像。此外，具体有多少组成对的训练数据，与第一动态范围图像的尺寸有关系。
2.神经网络的构建
神经网络的结构框架图如图1所示。
神经网络包括：第一卷积模块，残差模块，第二卷积模块，第三卷积模块。第一卷积模块包括第一卷积层、第一激活函数层、第二卷积层以及第二激活函数层。残差模块包括：第一残差单元、第二残差单元以及第三残差单元。第一残差单元包括：第三卷积层、第一批量归一化层、第三激活函数层以及拼接层。残差模块中的三个残差单元(如图1所示ResBlock)采用相同结构，也就是说，三个残差单元均包括：第三卷积层、第一批量归一化层、第三激活函数层以及拼接层。第二卷积模块包括：第四卷积层、第二批量归一化层、第四激活函数层以及第五卷积层。第三卷积模块包括：第六卷积层以及第五激活函数层。
具体地，第一卷积层、第二卷积层、第三卷积层以及第四卷积层采用相同结构，例如，都采用卷积核大小都是3×3的卷积层(如图1所示的Conv1)。第一激活函数层、第二激活函数层、第三激活函数层、第四激活函数层采用相同结构，例如，都采用ReLU函数(如图1所示的ReLU)。
将原图像块输入神经网络后，经过如下过程：
(a)步骤：原图像块作为神经网络的输入进入神经网络，首先经过第一卷积模块的两个卷积层，即第一卷积层和第二卷积层。第一卷积层的输入通道是1，输出通道是64；第二个卷积层的输入通道是64，输出通道是64。此外，两个卷积层的卷积核大小都是3×3，后续都跟随着一个ReLU激活函数。
(b)步骤：将步骤(a)的输出作为输入，也即将第一卷积模块的输出作为残差模块的输入，依次经过三个残差单元。三个残差单元的结构相同，每个残差单元由第三卷积层、第一批量归一化层、第三激活函数层以及拼接层(拼接操作)组成。拼接操作是沿着数据的第二维度，即通道维度进行拼接。此外，三个残差单元的区别在于卷积层的输入通道和输出通道有细微的不同。第一个残差单元的第三卷积层，其输入通道是64，输出通道是64；第二个残差单元的第三卷积层，其输入通道是128，输出通道是64；第三个残差单元的第三卷积层，其输入通道是192，输出通道是64。所有第三卷积层的卷积核大小都是3×3。
(c)步骤：由于步骤(b)的输出的通道数是256，包括各个残差单元的输出，因此步骤(c)对这些特征数据进行融合。首先经过第四卷积层，其输入通道是256，输出通道是64，卷积核大小是3×3。其后跟随第二批量归一化处理层和第四激活函数层。接着，再次经过第五卷积层(如图1所示的Conv2)，其输入通道是64，输出通道是64，卷积核大小是1×1。
(d)步骤：为了让三个残差单元主要学习高频的残差信息，将步骤(a)的输出，通过长跳连与步骤(c)的输出进行逐像素相加。
(e)步骤：将步骤(d)的输出，作为输入经过第六卷积层(如图1所示的Conv3)，其输入通道是64，输出通道是1。其后是第五激活函数层，具体为Sigmoid激活函数，保证最后的结果的数值范围是(0,1)。
3.损失函数的设计
根据训练数据的准备工作，对于每一个作为训练输入的原图像块，有两个显式的学习目标，即线性量化结果图像块和均衡量化结果图像块。为表示方便，使用I表示作为训练输入的原图像块，使用O表示对应的神经网络的输出图像块，使用Tlinear表示线性量化结果图像块，使用Tequalized表示均衡量化结果图像块。神经网络的输出图像块O分别与两个学习目标Tlinear和Tequalized的损失函数采用VGG感知损失函数，公式分别如下：
其中，Llinear表示线性量化感知损失函数，即神经网络的输出图像块O和线性量化结果图像块Tlinear之间的感知损失函数，Lequalized表示均衡量化感知损失函数，即神经网络的输出图像块O和均衡量化结果图像块Tequalized之间的感知损失函数，VGG(·)表示用于提取感知特征的VGGNet函数，用于计算欧式距离。
对于上述两个感知损失函数，本技术方案对其进行进一步的统一，使神经网络的输出图像块能自适应地在线性量化结果图像块和均衡量化结果图像块之间取其平衡。最终神经网络的损失函数设计如下：
Loverall＝(1-β)Llinear+βLequalized
其中，β是一个控制平衡的自适应参数，数值范围是(0,1)。β的计算方式如下。
控制β，实际上是控制神经网络的输出结果倾向于线性量化结果或是均衡量化结果。当β趋向于0，网络的输出结果趋向于线性量化结果；当β趋向于1，则网络的输出结果趋向于均衡量化结果。所以，需要制定一个准则，对于给定的原图像块，判断原图像块对应的输出图像块应该趋向于线性量化结果图像块还是应该趋向于均衡量化结果图像块。本技术方案给出的准则是，根据原图像块的信息量来决定。
为方便说明，请看图2a-图2f。对于原图像块，可以大致分为两类。一类原图像块如图2a，其信息量很少或没有，对于这类原图像块，神经网络输出的结果应该倾向于线性量化结果(即线性量化结果图像块，如图2b所示)，因为这类原图像块的均衡量化结果(即均衡量化结果图像块，如图2c所示)会产生噪声和伪像。另一类原图像块如图2d，其信息量较多，对于这类原图像块，神经网络输出的结果应该尽可能地显示更多细节，倾向于均衡量化结果(即均衡量化结果图像块，如图2e所示)，因为这类原图像块的线性量化结果(即线性量化结果图像块，如图2f所示)并不能增大对比度，凸显细节。因此，对于信息量小的原图像块，应该给予更小的β；对于信息量大的原图像块，应该给予更大的β。
根据信息论，一个直方图是均匀分布的原图像块，拥有最大的信息量。因此，可以使用均匀分布作为衡量标准，根据每个原图像块的直方图，计算各个原图像块的信息量。具体而言，采用Kullback-Leibler散度，即KL散度，又称相对熵，来衡量原图像块的信息量，计算公式如下：
其中，N表示直方图的区间数目，本技术方案取值256，Hn表示原图像块的归一化的直方图中第n个区间的数目，Un表示原图像块的归一化的均匀分布中第n个区间的数目。根据该公式，θ数值越大，原图像块的信息量越小；反之亦然。例如，图2a的原图像块的θ值为12.2965，图2d的原图像块的θ值是8.6687，图2a的原图像块比图2d的原图像块拥有更小的信息量。
因此，归纳出信息量θ和参数β的关系，就可以根据原图像块的信息量进行自适应地计算参数β。本技术方案从数十张第一动态范围图像的临时结果图像P中，采样了2000张原图像块，并手动进行了分类，分为应趋向线性量化结果和应趋向均衡量化结果两类。此外，还计算了每张原图像块的θ值。本技术方案将之视为一个软分类问题，通过逻辑回归得到信息量θ和参数β的关系，可表示为：
也就是说，其中，k表示正比例系数，b为常数。正比例系数k在本技术方案中取值为0.7，常数b为0。
4.神经网络的训练与测试
在本技术方案中，训练时神经网络的输入是从各张第一动态范围图像的临时结果图像P中裁剪出来的各个原图像块。而在测试时，神经网络的输入是整张第一动态范围图像的临时结果图像P，这样做的好处是神经网络的输出图像不会有块效应。此外，本技术方案的神经网络是通过PyTorch框架搭建的，训练的优化器是Adam，学习率初始化为10-4。神经网络中的权重和偏置参数使用PyTorch默认的初始化方法进行初始化，并使用PyTorch提供的反向传播算法对神经网络中的可学习参数进行更新，直至训练收敛，停止训练。
步骤S300、对所述亮度结果图像进行颜色补偿处理得到第二动态范围图像；其中，所述第二动态范围图像的比特位数小于所述第一动态范围图像的比特位数。
具体地，第二动态范围图像可以是标准动态范围图像，标准动态图像的比特位数为8。当然，第二动态范围图像还可以是其它动态范围图像，本申请的图像色调映射算法适用于将第一动态范围图像压缩为第二动态范围图像，其中，所述第二动态范围图像的比特位数小于所述第一动态范围图像的比特位数。
具体地，所述颜色补偿处理采用如下公式实现：
其中，Cout(·)表示第二动态范围图像的颜色信息，L(·)表示第一动态范围图像的亮度信息，Cin(·)表示第一动态范围图像的颜色信息，Lout(·)表示亮度结果图像的亮度信息，x，y表示像素的坐标，γ表示控制第二动态范围图像的饱和度的参数。γ的取值范围一般为(0.4，0.6)，本技术方案中取值0.6。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于区域自适应自监督学习的图像色调映射的方法，其特征在于，包括步骤：
对第一动态范围图像进行预处理得到临时结果图像；
将所述临时结果图像输入神经网络，通过所述神经网络输出亮度结果图像；其中，所述神经网络是基于原图像块、所述原图像块对应的线性量化结果图像块以及所述原图像块对应的均衡量化结果图像块训练得到的，所述神经网络的损失函数包括：线性量化感知损失函数和均衡量化感知损失函数；
对所述亮度结果图像进行颜色补偿处理得到第二动态范围图像；其中，所述第二动态范围图像的比特位数小于所述第一动态范围图像的比特位数；
所述神经网络的损失函数为：
；
其中，表示控制平衡的自适应参数，/>表示线性量化感知损失函数，/>表示均衡量化感知损失函数；
所述线性量化感知损失函数为：
；
所述均衡量化感知损失函数为：
；
其中，表示神经网络的输出图像块，/>表示用于提取感知特征的VGGNet函数，表示线性量化结果图像块，/>表示均衡量化结果图像块，/>表示欧式距离；
所述颜色补偿处理采用如下公式实现：
；
其中，表示第二动态范围图像的颜色信息，/>表示第一动态范围图像的亮度信息，/>表示第一动态范围图像的颜色信息，/>表示亮度结果图像的亮度信息，表示像素的坐标，/>表示控制第二动态范围图像的饱和度的参数。
2.根据权利要求1所述的基于区域自适应自监督学习的图像色调映射的方法，其特征在于，所述对第一动态范围图像进行预处理得到临时结果图像，包括：
获取第一动态范围图像的亮度信息；
根据所述亮度信息，确定所述亮度信息的最大值、所述亮度信息的最小值以及所述亮度信息的对数平均值；
根据所述亮度信息的最大值、所述亮度信息的最小值以及所述亮度信息的对数平均值，确定图像整体亮暗调节参数；
根据所述亮度信息、所述图像整体亮暗调节参数、所述亮度信息的最大值、所述亮度信息的最小值、临时结果的最大值以及临时结果的最小值，确定临时结果图像。
3.根据权利要求2所述的基于区域自适应自监督学习的图像色调映射的方法，其特征在于，所述临时结果图像为：
；
其中，表示临时结果图像，/>表示第一动态范围图像的亮度信息，/>表示图像整体亮暗调节参数，/>表示亮度信息的最大值，/>表示亮度信息的最小值，/>表示临时结果图像的最大值，/>表示临时结果图像的最小值，/>表示对数函数。
4.根据权利要求3所述的基于区域自适应自监督学习的图像色调映射的方法，其特征在于，所述图像整体亮暗调节参数满足如下关系：
；
其中，表示亮度信息的对数平均值，A和B均表示常数；
所述亮度信息的对数平均值为：
；
其中，表示以自然常数为底的指数函数，/>表示第一动态范围图像的像素的数量，/>表示第一动态范围图像中坐标为/>的像素的亮度信息，/>表示常数，∑表示求和符号。
5.根据权利要求1所述的基于区域自适应自监督学习的图像色调映射的方法，其特征在于，所述控制平衡的自适应参数根据所述原图像块的信息量确定。
6.根据权利要求5所述的基于区域自适应自监督学习的图像色调映射的方法，其特征在于，所述控制平衡的自适应参数为：
；
其中，表示原图像块的信息量，/>表示自然常数，/>表示成正比例。
7.根据权利要求6所述的基于区域自适应自监督学习的图像色调映射的方法，其特征在于，所述原图像块的信息量为：
；
其中，表示原图像块的归一化的直方图中第/>个区间的数目，/>表示原图像块的归一化的均匀分布中第/>个区间的数目，/>表示直方图的区间数目，/>表示对数函数，∑表示求和符号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010817616.3A CN112085668B (zh) | 2020-08-14 | 2020-08-14 | 一种基于区域自适应自监督学习的图像色调映射的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010817616.3A CN112085668B (zh) | 2020-08-14 | 2020-08-14 | 一种基于区域自适应自监督学习的图像色调映射的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085668A CN112085668A (zh) | 2020-12-15 |
| CN112085668B true CN112085668B (zh) | 2023-10-10 |
Family
ID=73728296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010817616.3A Active CN112085668B (zh) | 2020-08-14 | 2020-08-14 | 一种基于区域自适应自监督学习的图像色调映射的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085668B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409319A (zh) * | 2021-08-17 | 2021-09-17 | 点内（上海）生物科技有限公司 | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 |
| CN114285955B (zh) * | 2021-12-28 | 2022-12-09 | 浙江大学 | 基于动态偏差图神经网络的颜色色域映射方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871852A (zh) * | 2019-01-05 | 2019-06-11 | 天津大学 | 一种无参考色调映射图像质量评价方法 |
| CN109919959A (zh) * | 2019-01-24 | 2019-06-21 | 天津大学 | 基于色彩、自然性及结构的色调映射图像质量评价方法 |
| CN110197463A (zh) * | 2019-04-25 | 2019-09-03 | 深圳大学 | 基于深度学习的高动态范围图像色调映射方法及其系统 |
| CN110706196A (zh) * | 2018-11-12 | 2020-01-17 | 浙江工商职业技术学院 | 基于聚类感知的无参考色调映射图像质量评价算法 |
| CN110728633A (zh) * | 2019-09-06 | 2020-01-24 | 上海交通大学 | 多曝光度高动态范围反色调映射模型构建方法及装置 |
| CN110996096A (zh) * | 2019-12-24 | 2020-04-10 | 嘉兴学院 | 一种基于结构相似性差异度的色调映射图像质量评价方法 |
-
2020
- 2020-08-14 CN CN202010817616.3A patent/CN112085668B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706196A (zh) * | 2018-11-12 | 2020-01-17 | 浙江工商职业技术学院 | 基于聚类感知的无参考色调映射图像质量评价算法 |
| CN109871852A (zh) * | 2019-01-05 | 2019-06-11 | 天津大学 | 一种无参考色调映射图像质量评价方法 |
| CN109919959A (zh) * | 2019-01-24 | 2019-06-21 | 天津大学 | 基于色彩、自然性及结构的色调映射图像质量评价方法 |
| CN110197463A (zh) * | 2019-04-25 | 2019-09-03 | 深圳大学 | 基于深度学习的高动态范围图像色调映射方法及其系统 |
| CN110728633A (zh) * | 2019-09-06 | 2020-01-24 | 上海交通大学 | 多曝光度高动态范围反色调映射模型构建方法及装置 |
| CN110996096A (zh) * | 2019-12-24 | 2020-04-10 | 嘉兴学院 | 一种基于结构相似性差异度的色调映射图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085668A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107636690B (zh) | 基于卷积神经网络的全参考图像质量评估 | |
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN110197463B (zh) | 基于深度学习的高动态范围图像色调映射方法及其系统 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| WO2019238029A1 (zh) | 卷积神经网络系统和卷积神经网络量化的方法 | |
| CN112085668B (zh) | 一种基于区域自适应自监督学习的图像色调映射的方法 | |
| CN109344893B (zh) | 一种基于移动终端的图像分类方法 | |
| CN111127435B (zh) | 基于双流卷积神经网络的无参考图像质量评估方法 | |
| CN111489364A (zh) | 基于轻量级全卷积神经网络的医学图像分割方法 | |
| US10580122B2 (en) | Method and system for image enhancement | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN112767385B (zh) | 基于显著性策略与特征融合无参考图像质量评价方法 | |
| CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| US20240007600A1 (en) | Spatially Varying Reduction of Haze in Images | |
| CN112102176A (zh) | 基于多尺度密集混合注意力神经网络的图像去雨方法 | |
| WO2023125750A1 (zh) | 一种图像去噪方法、装置和存储介质 | |
| CN111931857A (zh) | 一种基于mscff的低照度目标检测方法 | |
| CN110990617B (zh) | 一种图片标记方法、装置、设备及存储介质 | |
| CN111062914B (zh) | 用于采集脸部图像的方法、装置、电子设备和计算机可读介质 | |
| CN111369477A (zh) | 一种针对视频恢复任务的预分析和工具自适应的方法 | |
| CN112348809A (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 | |
| US20220004849A1 (en) | Image processing neural networks with dynamic filter activation | |
| CN116309213A (zh) | 一种基于生成对抗网络的高实时多源图像融合方法 | |
| CN115457015A (zh) | 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置 | |
| CN114580517A (zh) | 一种图像识别模型的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |