CN113327208B - 高动态范围图像色调映射方法、装置、电子设备及介质 - Google Patents
高动态范围图像色调映射方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113327208B CN113327208B CN202110673081.1A CN202110673081A CN113327208B CN 113327208 B CN113327208 B CN 113327208B CN 202110673081 A CN202110673081 A CN 202110673081A CN 113327208 B CN113327208 B CN 113327208B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- gain
- color
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013507 mapping Methods 0.000 title claims abstract description 73
- 238000001914 filtration Methods 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 41
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000013441 quality evaluation Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高动态范围图像色调映射方法、装置、电子设备及介质，方法包括：获取目标HDR图像，并确定目标HDR图像的对比度和颜色通道像素值分布数据；将目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将三通道灰度图像转换为基础层图像和细节层图像；将基础层图像与细节层图像融合得到融合灰度图像，并利用颜色通道像素值分布数据对融合灰度图像进行色彩映射，得到初始色彩图像；将对比度输入预设增益模型中得到目标增益值，并利用目标增益值对初始色彩图像进行增益调整，得到最终色彩图像；可利用引导滤波函数进行色调映射，并根据目标图像的对比度自适应选择目标增益值进行图像优化，进而同时提升色调映射的效率及质量。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种高动态范围图像色调映射方法、装置、电子设备及存储介质。
背景技术
HDR(High-Dynamic Range，高动态范围)图像是一种包含丰富动态范围的图像细节的图像，一般需要专业显示设备进行显示。然而专业显示设备通常造价高昂，因此通常会对HDR图像进行色调映射，以利用常规显示设备显示HDR图像。然而在相关技术中，现有的色调映射方法会导致转换后的HDR图像出现失真情况，难以保证HDR图像的转换质量；同时，现有色调映射方法还需使用大量超参数进行色调映射，存在转换效率低的情况。
发明内容
本发明的目的是提供一种高动态范围图像色调映射方法、装置、电子设备及存储介质，可利用引导滤波函数确保处理结果的图像质量，同时根据目标图像的对比度自适应地选择目标增益值进行图像优化，可提升色调映射的质量及效率。
为解决上述技术问题，本发明提供一种高动态范围图像色调映射方法，包括：
获取目标HDR图像，并确定所述目标HDR图像的对比度和颜色通道像素值分布数据；
将所述目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像；
将所述基础层图像与所述细节层图像融合得到融合灰度图像，并利用所述颜色通道像素值分布数据对所述融合灰度图像进行色彩映射，得到初始色彩图像；
将所述对比度输入预设增益模型中得到目标增益值，并利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像。
可选地，所述利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像，包括：
提取所述初始色彩图像各颜色通道中的像素最小值，并利用所述像素最小值对所述初始色彩图像中的各像素值进行调整；
利用所述目标增益值对调整后的初始色彩图像进行所述增益调整，得到所述最终色彩图像。
可选地，所述利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像，包括：
将所述三通道灰度图像设置为所述引导滤波函数的输入图像和引导图像，并利用完成设置的引导滤波函数计算得到所述基础层图像；
利用所述三通道灰度图像与所述基础层图像计算得到细节层图像。
可选地，在利用完成设置的引导滤波函数计算得到所述基础层图像之后，还包括：
对所述基础层图像进行对数变换；
相应的，利用所述三通道灰度图像与所述基础层图像计算得到细节层图像，包括：
对所述三通道灰度图像进行所述对数变换；
利用完成所述对数变换的三通道灰度图像及基础层图像计算得到所述细节层图像。
可选地，所述预设增益模型的训练过程，包括：
获取HDR图像训练集中的每一训练图像，确定所述训练图像的对比度，并生成所述训练图像对应的初始色彩图像；
利用初始增益值对所述训练图像的初始色彩图像进行所述增益调整，得到中间色彩图像，并计算所述中间色彩图像的图像质量评价指标值；
对所述初始增益值进行调整，并利用调整后的初始增益值执行所述对所述训练图像的初始色彩图像进行所述增益调整的步骤，直至所述中间色彩图像的图像质量评价指标值最大时，将所述图像质量评价指标值最大时对应的初始增益值设置为所述训练图像的目标增益值；
对每一所述训练图像的对比度及目标增益值进行非线性回归建模，得到所述预设增益模型。
可选地，所述对每一所述训练图像的对比度及目标增益值进行非线性回归建模，得到所述预设增益模型，包括：
利用核岭回归方法对每一所述训练图像的对比度及目标增益值进行非线性回归建模，得到所述预设增益模型。
可选地，所述图像质量评价指标值为峰值信噪比和/或结构相似性指标值。
本发明还提供一种高动态范围图像色调映射装置，包括：
获取模块，用于获取目标HDR图像，并确定所述目标HDR图像的对比度和颜色通道像素值分布数据；
转换模块，用于将所述目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像；
色彩映射模块，用于将所述基础层图像与所述细节层图像融合得到融合灰度图像，并利用所述颜色通道像素值分布数据对所述融合灰度图像进行色彩映射，得到初始色彩图像；
增益模块，用于将所述对比度输入预设增益模型中得到目标增益值，并利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像。
本发明还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的高动态范围图像色调映射方法的步骤。
本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的高动态范围图像色调映射方法的步骤。
本发明提供一种高动态范围图像色调映射方法，包括：获取目标HDR图像，并确定所述目标HDR图像的对比度和颜色通道像素值分布数据；将所述目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像；将所述基础层图像与所述细节层图像融合得到融合灰度图像，并利用所述颜色通道像素值分布数据对所述融合灰度图像进行色彩映射，得到初始色彩图像；将所述对比度输入预设增益模型中得到目标增益值，并利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像。
可见，本方法首先将目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将三通道灰度图像划分为基础层图像和细节层图像，由于引导滤波函数可以在保持图像边缘细节的前提下进行图像滤波，因此利用引导滤波函数生成的基础层图像及细节层图像，既可以对目标HDR图像中的背景细节进行平滑，又可保留场景边缘特征；同时，本方法在利用基础层图像和细节层图像生成初始色彩图像之后，还将目标HDR图像的对比度输入预设增益模型中，得到目标HDR图像优选的目标增益值，并利用目标增益值对初始色彩图像进行增益处理，不但能够使用少量参数进行色调映射，减少色调映射所需要的参数量，提升色调映射的效率，同时可根据目标HDR图像的对比度自适应地选择目标增益值，确保目标增益值适应于目标HDR图像，进而可利用目标增益值提升最终色彩图像的图像质量，最终实现对目标HDR图像进行高效且高质量色调转换的效果。本发明还提供一种自适应高动态范围图像色调映射装置、电子设备及存储介质，具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种高动态范围图像色调映射方法的流程图；
图2为本发明实施例所提供的利用核岭回归方法训练得到的预设增益模型的示意图；
图3为本发明实施例所提供三个测试场景图；
图4为本发明实施例所提供的一种预设增益模型训练过程的流程图；
图5为本发明实施例所提供的一种高动态范围图像色调映射装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，现有的色调映射方法会导致转换后的HDR图像出现失真情况，难以保证HDR图像的转换质量；同时，现有色调映射方法还需使用大量超参数进行色调映射，存在转换效率低的情况。有鉴于此，本发明提供一种高动态范围图像色调映射方法，可利用引导滤波函数确保处理结果的图像质量，同时根据目标图像的对比度自适应地选择目标增益值进行图像优化，可提升色调映射的质量及效率。请参考图1，图1为本发明实施例所提供的一种高动态范围图像色调映射方法的流程图，该方法可以包括：
S101、获取目标HDR图像，并确定目标HDR图像的对比度和颜色通道像素值分布数据。
可以理解的是，目标HDR图像为需要进行色调映射的HDR图像。本发明实施例并不限定目标HDR图像的具体参数，例如拍摄尺寸，具体可包含的动态范围信息等，可根据实际应用需求对待处理的目标HDR图像进行参数限制。本发明实施例也不限定计算目标HDR图像对比度的具体方式，可参考图像处理的相关技术。本发明实施例也不限定颜色通道像素值分布数据的计算方式，可以理解的是RGB(Red、Green、Blue)图像包含红色、绿色、蓝色三个通道，且每个通道带有通道直方图数据，因此可直接利用通道直方图计算各通道的颜色通道像素分布数据。
S102、将目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将三通道灰度图像转换为基础层图像和细节层图像。
本发明实施例采用引导滤波函数进行图像滤波。引导滤波(Guided Filter)为一种可保持图像边缘信息的滤波算法，在本发明实施例中可起到平滑背景场景且避免图像边缘梯度反转所产出的光晕现象，可有效提升对目标HDR图像的滤波质量并避免图像失真。为了提升滤波效率及效果，本发明实施例采用由目标HDR图像转换而来的三通道灰度图像进行引导滤波；同时，本发明实施例依照分层结构的思想，利用引导滤波函数为目标HDR图像生成了基础层图像和细节层图像，能够进一步提升背景场景的平滑效果且保护边缘细节信息。
需要说明的是，本发明实施例并不限定引导滤波函数的具体计算方式，可参考引导滤波的相关技术。下面对引导滤波进行简单介绍。
引导滤波在进行滤波时需要设置引导图像，当引导图像是输入图像本身时，引导滤波可以在保持边缘的前提下进行滤波。假设引导滤波器的输入图像为p，输出图像为q，引导图像为I，则输出图像像素点qi与引导图像像素点Ii之间在以像素点K为中心的局部窗口(大小为r×r，r为线性系数)中存在线性模型：
其中ωk表示以像素点k为中心的局部窗口，ak和bk表示以k为中心时该线性函数的线性系数。对于输入图像为p和输出图像为q而言存在如下关系：
qi＝pi-ni
其中ni表示噪声，为了最小化p和q之间的距离，需要对上述公式中的ak和bk进行优化，可通过最优化方法进行求解。在求得最优的ak和bk之后，由于每一个像素i都会同时被多个局部窗口覆盖，所以需要平均以获得最终的qi：
其中：
进一步，需要说明的是，本发明实施例使用的灰度图像为三通道灰度图像，即对于输入图像P(R,G,B)，可利用灰度转换公式计算灰度图像的灰度值，并将该灰度值赋值到输入图像的各个通道中。上述过程可以表示为：
P(R,G,B)→P(Gray,Gray,Gray)
其中，Gray表示利用灰度转换公式对RGB三个通道的像素值进行转换得到的灰度值。本发明实施例并不限定具体的灰度转换公式，具体可参考灰度转换的相关技术。在一种可能的情况中，该灰度转换公式可以为：
Gray＝R·0.3+G·0.59+B·0.11
进一步，本发明实施例并不限定利用引导滤波函数将三通道灰度图像转换为基础层图像和细节层图像的具体方式。由于基础层图像主要用于平滑目标HDR图像的背景，因此可首先使用引导滤波函数对三通道灰度图像进行引导滤波得到基础层图像，进一步，由于引导滤波函数会对图像边缘信息造成损伤，为了有效保护图像边缘细节信息，可使用三通道灰度图像与基础层图像的像素值进行做差计算，以提取出图像边缘细节信息，即得到细节层图像。
在一种可能的情况中，利用引导滤波函数将三通道灰度图像转换为基础层图像和细节层图像，包括：
步骤11：将三通道灰度图像设置为引导滤波函数的输入图像和引导图像，并利用完成设置的引导滤波函数计算得到基础层图像；
步骤12：利用三通道灰度图像与基础层图像计算得到细节层图像。
可以理解的是，基础层图像及细节层图像同样具有RGB三个通道。
进一步，考虑到HDR图像包含较广的动态范围，但普通显示设备难以应对HDR图像所包含的图像动态信息，进而将会产生丢失图像细节(例如暗部细节及高光细节等)。为了有效保护目标HDR图像中的图像细节信息，可以对基础层图像及细节层图像进行灰度变换。本发明实施例并不限定具体的灰度变换方法，例如可采用线性变换或非线性的灰度变换。由于灰度线性变换容易出现饱和、截止等情况，因此在本发明实施例中，可采用非线性的灰度变换。本发明并不限定具体的非线性灰度变换方法，例如可以为对数变换、伽马变换等。由于对数变换的图像处理效果较好，因此在本发明实施例中可采用对数变换对基础层图像和细节层图像进行处理。
在一种可能的情况中，在利用完成设置的引导滤波函数计算得到基础层图像之后，还包括：
步骤21：对基础层图像进行对数变换；
相应的，利用三通道灰度图像与基础层图像计算得到细节层图像，包括：
步骤31：对三通道灰度图像进行对数变换；
步骤32：利用完成对数变换的三通道灰度图像及基础层图像计算得到细节层图像。
下面具体介绍上述生成基础层图像及细节层图像的过程。设目标HDR图像为P，引导滤波函数为G(I,Pinput)，其中I表示引导图像，Pinput表示输入图像。首先利用灰度转换公式将P变换为三通道灰度图PGray，随后将P设置为引导滤波函数的引导图像(即I＝P)及输入图像进行引导滤波，并将引导滤波的计算结果进行对数变化，便可得到基础层图像。上述过程可表示为：
IMGbase＝log(G(I,P))
其中，IMGbase表示基础层图像，log(·)表示对数变换。在得到基础层图像后，可进一步生成细节层图像：
IMGdetail＝log(Pgray)-IMGbase
其中，IMGdetail表示细节层图像。
S103、将基础层图像与细节层图像融合得到融合灰度图像，并利用颜色通道像素值分布数据对融合灰度图像进行色彩映射，得到初始色彩图像。
在得到基础层图像和细节层图像后，便可将基础层图像和细节层图像的像素值进行求和，以融合得到融合灰度图像。在融合过程中，可设置比例系数，以平衡基础层图像与细节层图像之间的融合比例，具体可表示为：
OUTgray＝λ·IMGbase+IMGdetail
其中，OUTgray表示融合灰度图像；λ为固定的比例系数，可根据实际应用需求进行调整。进一步，可以理解的是融合灰度图像也具有RGB三个通道，因此可利用目标HDR图像的颜色通道像素值分布数据进行色彩映射得到初始色彩图像OUTcolor。本发明实施例并不限定色彩映射的具体过程，可参考图像处理的相关技术。
S104、将对比度输入预设增益模型中得到目标增益值，并利用目标增益值对初始色彩图像进行增益调整，得到最终色彩图像。
在本发明实施例中，使用预设增益模型实现对目标HDR图像的自适应调整。预设增益模型利用HDR图像训练集中每一训练图像的对比度及优选的目标增益值训练而成，可依照目标HDR图像的对比度确定最优的目标增益值，进而对目标HDR图像进行色调映射得到的初始色彩图像进行增益调整，以自适应地优化初始色彩图像的色彩及细节信息。同时，本发明实施例仅使用目标增益值对初始色彩图像进行优化调整，可减少色调映射所需要的参数量，进而提升色调映射的效率。
需要说明的是，本发明实施例并不限定预设增益模型的具体形式，例如预设增益模型可以为一个基于机器学习的深度学习模型，也可以为一个非线性回归模型，即对训练图像的对比度及优选的目标增益值进行非线性回归分析得到的数学模型。考虑到非线性回归模型的训练较为简便且能够达到符合应用需求的效果，因此在本发明实施例中，预设增益模型可以为一个非线性回归模型。
进一步，可以理解的是，可以将目标增益值与初始色彩图像的像素值相乘，以实现对初始色彩图像的增益调整。本发明实施例并不限定该增益调整是否为对初始色彩图像的全局调整还是局部调整，可以理解的是，当该增益调整为全局调整时，该调整过程为对初始色彩图像中的所有像素值与目标增益值相乘；当增益调整为局部调整时，该调整仅将初始色彩图像中的像素值变化量与目标增益值相乘。为了避免对未发生变化的像素值进行调整，进而导致画质下降或失真，在本发明实施例中该增益调整可以为局部调整。进一步，本发明实施例并不限定确定初始色彩图像中发生过变化的像素值的过程，例如可以与原始HDR图像进行比对，当然也可以计算初始色彩图像中各通道的像素最小值，并利用该像素最小值与初始色彩图像中的各像素值相减，以确定像素值中的变化量。由于计算各通道像素最小值，并利用像素最小值对初始色彩图像中各像素值进行调整的方式较为高效，因此在本发明实施例中可采用计算各通道像素最小值，并利用像素最小值对初始色彩图像中各像素值进行调整的方式确定初始色彩图像中各像素值的变化量。
在一种可能的情况中，利用目标增益值对初始色彩图像进行增益调整，得到最终色彩图像，可以包括：
步骤41：提取初始色彩图像各颜色通道中的像素最小值，并利用像素最小值对初始色彩图像中的各像素值进行调整；
步骤42：利用目标增益值对调整后的初始色彩图像进行增益调整，得到最终色彩图像。
具体的，上述增益调整过程可以表示为：
OUT＝gain×(OUTcolor-δ)
其中，OUT表示最终色彩图像，gain表示目标增益值，δ表示各通道中的像素最小值。
基于上述实施例，本方法首先将目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将三通道灰度图像划分为基础层图像和细节层图像，由于引导滤波函数可以在保持图像边缘细节的前提下进行图像滤波，因此利用引导滤波函数生成的基础层图像及细节层图像，既可以对目标HDR图像中的背景细节进行平滑，又可保留场景边缘特征；同时，本方法在利用基础层图像和细节层图像生成初始色彩图像之后，还将目标HDR图像的对比度输入预设增益模型中，得到目标HDR图像优选的目标增益值，并利用目标增益值对初始色彩图像进行增益处理，不但能够使用少量参数进行色调映射，减少色调映射所需要的参数量，提升色调映射的效率，同时可根据目标HDR图像的对比度自适应地选择目标增益值，确保目标增益值适应于目标HDR图像，进而可利用目标增益值提升最终色彩图像的图像质量，最终实现对目标HDR图像进行高效且高质量色调转换的效果。
基于上述实施例，下面对本发明实施例中的预设增益模型的训练过程进行介绍。在一种可能的情况中，预设增益模型的训练过程，可以包括：
S201、获取HDR图像训练集中的每一训练图像，确定训练图像的对比度，并生成训练图像对应的初始色彩图像。
可以理解的是，HDR图像训练集中的训练图像需要具有不同的对比度；除此之外，还可选择不同场景不同物体(例如人、动物、建筑、风景)的训练图像参与训练。需要说明的是，本发明实施例并不限定HDR图像训练集中的训练图像数量，该数量可根据实际应用需求进行调整。可以理解的是，若训练图像数量越多，则预设增益模型的精度更高。本发明实施例同样不限定训练图像的实际参数及尺寸，可根据实际应用需求进行调整。
进一步，需要说明的是，生成训练图像对应的初始色彩图像的过程，与上述实施例中的描述一致，即确定训练图像的颜色通道像素值分布数据，并利用训练图像及对应的颜色通道像素值分布数据执行步骤S102及步骤S103，具体的过程及限定描述可参考上述实施例，此处不再赘述。
S202、利用初始增益值对训练图像的初始色彩图像进行增益调整，得到中间色彩图像，并计算中间色彩图像的图像质量评价指标值。
为了确保目标增益值与具体的图像及对比度相适应，本发明实施例采用图像质量评价指标值对中间色彩图像的图像质量进行测量。本发明实施例并不限定具体的图像质量评价指标值，例如可以为峰值信噪比(PSNR，Peak Signal-to-Noise Ratio)，也可以为结构相似性指标值(SSIM，Structure SIMilarity)，当然也可以为上述两种指标值的组合，其中PSNR用于衡量图像的去噪水平，PSNR越大则图像去噪水平越好；SSIM则用于衡量图像在亮度、对比度及结构方面的相似性，值越大则越相似。为了综合多种指标衡量目标增益值的增益效果，在本发明实施例中，图像质量评价指标值可以为峰值信噪比、结构相似性指标值或上述两者的组合。
S203、对初始增益值进行调整，并利用调整后的初始增益值执行对训练图像的初始色彩图像进行增益调整的步骤，直至中间色彩图像的图像质量评价指标值最大时，将图像质量评价指标值最大时对应的初始增益值设置为训练图像的目标增益值。
可以理解的是，初始增益值应当有调整区间范围。由于在本发明实施例中，增益值可以为任意值，因此该调整区间范围可根据实际应用情况进行调整。
S204、对每一训练图像的对比度及目标增益值进行非线性回归建模，得到预设增益模型。
本发明实施例并不限定具体的非线性回归建模方式，例如可以采用核岭回归(Kernel Ridge Regression，KRR)，也可以采用支持向量回归(Support VectorRegression，SVR)，其中KRR与SVR所得到的模型形式大致相同，两种方式的差异在于采用了不同的损失函数，KRR采用了平方误差损失函数，而SVR使用了ε-insensitive损失函数。由于KRR模型的拟合可以以解析解的形式完成，在中小量级(10-103)的数据集上KRR模型学习速度更快，同时KRR学习到的模型是非稀疏的，更适用于预测，因此在本发明实施例中，非线性回归建模可采用KRR方法实现。
在一种可能的情况中，对每一训练图像的对比度及目标增益值进行非线性回归建模，得到预设增益模型，包括：
步骤51：利用核岭回归方法对每一训练图像的对比度及目标增益值进行非线性回归建模，得到预设增益模型。
请参考图2，图2为本发明实施例所提供的利用核岭回归方法训练得到的预设增益模型的示意图，其中圆点表示由训练图像的对比度及目标增益值构成的坐标点，曲线表示非线性回归结果，横坐标为对比度值，纵坐标为增益值(gain)。
为了验证本方法的有效性，本发明实施例将现有的色调映射方法(分别为MSR、MSRCR、PW(A Hybrid l1-l0 Layer Decomposition Model for Tone Mapping，用于色调映射的混合l1-l2层分解模型)及ZTL(A New Tone Mapping Operator Based on Two-layerModel，基于两层模型的新型色调映射处理器))与本方法在三个场景中进行了实际对比。场景图请见图3，图3为本发明实施例所提供三个测试场景图。实际测试值见下表：
表1 三张测试图片的客观评价
可见，本发明实施例所提供的高动态范围图像色调映射方法无论在图像质量评价指标值(PSNR和SSIM，越高越好)，还是在计算时间上(越短越好)都要优于其他方法。
基于上述实施例，本方法可利用图像质量评价指标值衡量训练图像的初始增益值进行调整，以得到训练图像优选的目标增益值，并利用每一训练图像的目标增益值与对比度记性非线性回归得到预设增益模型，进而确保预设增益模型可依照目标HDR图像的对比度情况，自适应地为目标HDR图像选择合适的目标增益值，最终有效提升目标HDR图像经过色调映射后得到的最终输出图像质量。
下面结合具体的流程图介绍预设增益模型的训练过程。请参考图4，图4为本发明实施例所提供的一种预设增益模型训练过程的流程图，该过程可以包括：
1、获取HDR图像训练集中的每一训练图像，并确定训练图像的对比度和颜色通道像素值分布数据；
2、将训练图像转换为三通道灰度图像，并利用引导滤波函数将三通道灰度图像转换为基础层图像和细节层图像；
3、将基础层图像与细节层图像融合得到融合灰度图像，并利用颜色通道像素值分布数据对融合灰度图像进行色彩映射，得到初始色彩图像；
4、利用初始增益值对训练图像的初始色彩图像进行增益调整，得到中间色彩图像，并计算中间色彩图像的图像质量评价指标值；图像质量评价指标值为峰值信噪比或结构相似性；
5、对初始增益值进行调整，并利用调整后的初始增益值执行对训练图像的初始色彩图像进行增益调整的步骤，直至中间色彩图像的图像质量评价指标值最大时，将图像质量评价指标值最大时对应的初始增益值设置为训练图像的目标增益值；
6、对每一训练图像的对比度及目标增益值进行非线性回归建模，得到预设增益模型。
下面对本发明实施例提供的高动态范围图像色调映射装置、电子设备及存储介质进行介绍，下文描述的高动态范围图像色调映射装置、电子设备及存储介质与上文描述的高动态范围图像色调映射方法可相互对应参照。
请参考图5，图5为本发明实施例所提供的一种高动态范围图像色调映射装置的结构框图，该装置可以包括：
获取模块501，用于获取目标HDR图像，并确定目标HDR图像的对比度和颜色通道像素值分布数据；
转换模块502，用于将目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将三通道灰度图像转换为基础层图像和细节层图像；
色彩映射模块503，用于将基础层图像与细节层图像融合得到融合灰度图像，并利用颜色通道像素值分布数据对融合灰度图像进行色彩映射，得到初始色彩图像；
增益模块504，用于将对比度输入预设增益模型中得到目标增益值，并利用目标增益值对初始色彩图像进行增益调整，得到最终色彩图像。
可选地，增益模块504，可以包括：
调整子模块，用于提取初始色彩图像各颜色通道中的像素最小值，并利用像素最小值对初始色彩图像中的各像素值进行调整；
增益子模块，用于利用目标增益值对调整后的初始色彩图像进行增益调整，得到最终色彩图像。
可选地，转换模块502，可以包括：
基础层转换子模块，用于将三通道灰度图像设置为引导滤波函数的输入图像和引导图像，并利用完成设置的引导滤波函数计算得到基础层图像；
细节层转换子模块，用于利用三通道灰度图像与基础层图像计算得到细节层图像。
可选地，转换模块502，还可以包括：
第一变换子模块，用于对基础层图像进行对数变换；
第二变换子模块，用于对三通道灰度图像进行对数变换；
细节层转换子模块，还用于利用完成对数变换的三通道灰度图像及基础层图像计算得到细节层图像。
可选地，该装置还可以包括：
第二获取模块，用于获取HDR图像训练集中的每一训练图像，确定训练图像的对比度；
第二增益模块，用于利用初始增益值对训练图像的初始色彩图像进行增益调整，得到中间色彩图像，并计算中间色彩图像的图像质量评价指标值；
增益值调增模块，用于对初始增益值进行调整，并利用调整后的初始增益值执行对训练图像的初始色彩图像进行增益调整的步骤，直至中间色彩图像的图像质量评价指标值最大时，将图像质量评价指标值最大时对应的初始增益值设置为训练图像的目标增益值；
建模模块，用于对每一训练图像的对比度及目标增益值进行非线性回归建模，得到预设增益模型；
其中，
转换模块502和色彩映射模块503，还用于生成训练图像对应的初始色彩图像；
可选地，建模模块，可以包括：
建模子模块，用于利用核岭回归方法对每一训练图像的对比度及目标增益值进行非线性回归建模，得到预设增益模型。
可选地，第二增益模块所使用的图像质量评价指标值为峰值信噪比和/或结构相似性指标值。
本发明实施例还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的高动态范围图像色调映射方法的步骤。
由于电子设备部分的实施例与高动态范围图像色调映射方法部分的实施例相互对应，因此电子设备部分的实施例请参见高动态范围图像色调映射方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的高动态范围图像色调映射方法的步骤。
由于存储介质部分的实施例与高动态范围图像色调映射方法部分的实施例相互对应，因此存储介质部分的实施例请参见高动态范围图像色调映射方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种高动态范围图像色调映射方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种高动态范围图像色调映射方法，其特征在于，包括：
获取目标HDR图像，并确定所述目标HDR图像的对比度和颜色通道像素值分布数据；
将所述目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像；
将所述基础层图像与所述细节层图像融合得到融合灰度图像，并利用所述颜色通道像素值分布数据对所述融合灰度图像进行色彩映射，得到初始色彩图像；
将所述对比度输入预设增益模型中得到目标增益值，并利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像。
2.根据权利要求1所述的高动态范围图像色调映射方法，其特征在于，所述利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像，包括：
提取所述初始色彩图像各颜色通道中的像素最小值，并利用所述像素最小值对所述初始色彩图像中的各像素值进行调整；
利用所述目标增益值对调整后的初始色彩图像进行所述增益调整，得到所述最终色彩图像。
3.根据权利要求1所述的高动态范围图像色调映射方法，其特征在于，所述利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像，包括：
将所述三通道灰度图像设置为所述引导滤波函数的输入图像和引导图像，并利用完成设置的引导滤波函数计算得到所述基础层图像；
利用所述三通道灰度图像与所述基础层图像计算得到细节层图像。
4.根据权利要求3所述的高动态范围图像色调映射方法，其特征在于，在利用完成设置的引导滤波函数计算得到所述基础层图像之后，还包括：
对所述基础层图像进行对数变换；
相应的，利用所述三通道灰度图像与所述基础层图像计算得到细节层图像，包括：
对所述三通道灰度图像进行所述对数变换；
利用完成所述对数变换的三通道灰度图像及基础层图像计算得到所述细节层图像。
5.根据权利要求1至4任一项所述的高动态范围图像色调映射方法，其特征在于，所述预设增益模型的训练过程，包括：
获取HDR图像训练集中的每一训练图像，确定所述训练图像的对比度，并生成所述训练图像对应的初始色彩图像；
利用初始增益值对所述训练图像的初始色彩图像进行所述增益调整，得到中间色彩图像，并计算所述中间色彩图像的图像质量评价指标值；
对所述初始增益值进行调整，并利用调整后的初始增益值执行所述对所述训练图像的初始色彩图像进行所述增益调整的步骤，直至所述中间色彩图像的图像质量评价指标值最大时，将所述图像质量评价指标值最大时对应的初始增益值设置为所述训练图像的目标增益值；
对每一所述训练图像的对比度及目标增益值进行非线性回归建模，得到所述预设增益模型。
6.根据权利要求5所述的高动态范围图像色调映射方法，其特征在于，所述对每一所述训练图像的对比度及目标增益值进行非线性回归建模，得到所述预设增益模型，包括：
利用核岭回归方法对每一所述训练图像的对比度及目标增益值进行非线性回归建模，得到所述预设增益模型。
7.根据权利要求5所述的高动态范围图像色调映射方法，其特征在于，所述图像质量评价指标值为峰值信噪比和/或结构相似性指标值。
8.一种高动态范围图像色调映射装置，其特征在于，包括：
获取模块，用于获取目标HDR图像，并确定所述目标HDR图像的对比度和颜色通道像素值分布数据；
转换模块，用于将所述目标HDR图像转换为三通道灰度图像，并利用引导滤波函数将所述三通道灰度图像转换为基础层图像和细节层图像；
色彩映射模块，用于将所述基础层图像与所述细节层图像融合得到融合灰度图像，并利用所述颜色通道像素值分布数据对所述融合灰度图像进行色彩映射，得到初始色彩图像；
增益模块，用于将所述对比度输入预设增益模型中得到目标增益值，并利用所述目标增益值对所述初始色彩图像进行增益调整，得到最终色彩图像。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的高动态范围图像色调映射方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的高动态范围图像色调映射方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110673081.1A CN113327208B (zh) | 2021-06-17 | 2021-06-17 | 高动态范围图像色调映射方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110673081.1A CN113327208B (zh) | 2021-06-17 | 2021-06-17 | 高动态范围图像色调映射方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327208A CN113327208A (zh) | 2021-08-31 |
| CN113327208B true CN113327208B (zh) | 2022-10-04 |
Family
ID=77423742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110673081.1A Active CN113327208B (zh) | 2021-06-17 | 2021-06-17 | 高动态范围图像色调映射方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327208B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023155515A1 (zh) * | 2022-02-15 | 2023-08-24 | 华为技术有限公司 | 一种图像处理方法、装置和存储介质 |
| CN117456313B (zh) * | 2023-12-22 | 2024-03-22 | 中国科学院宁波材料技术与工程研究所 | 色调曲线估计网络的训练方法、估计、映射方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825472A (zh) * | 2016-05-26 | 2016-08-03 | 重庆邮电大学 | 一种快速的基于多尺度高斯滤波器的色调映射系统及方法 |
| CN105915909A (zh) * | 2016-05-27 | 2016-08-31 | 清华大学深圳研究生院 | 一种高动态范围图像分层压缩方法 |
| CN106709504A (zh) * | 2016-11-28 | 2017-05-24 | 上海大学 | 细节保持的高保真色调映射方法 |
| CN108090879A (zh) * | 2017-12-12 | 2018-05-29 | 上海顺久电子科技有限公司 | 一种对输入的高动态范围图像进行处理的方法和显示设备 |
| CN110852956A (zh) * | 2019-07-22 | 2020-02-28 | 江苏宇特光电科技股份有限公司 | 一种高动态范围图像的增强方法 |
| CN111835978A (zh) * | 2019-04-15 | 2020-10-27 | 韩华泰科株式会社 | 图像处理设备和执行局部对比度增强的方法 |
-
2021
- 2021-06-17 CN CN202110673081.1A patent/CN113327208B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825472A (zh) * | 2016-05-26 | 2016-08-03 | 重庆邮电大学 | 一种快速的基于多尺度高斯滤波器的色调映射系统及方法 |
| CN105915909A (zh) * | 2016-05-27 | 2016-08-31 | 清华大学深圳研究生院 | 一种高动态范围图像分层压缩方法 |
| CN106709504A (zh) * | 2016-11-28 | 2017-05-24 | 上海大学 | 细节保持的高保真色调映射方法 |
| CN108090879A (zh) * | 2017-12-12 | 2018-05-29 | 上海顺久电子科技有限公司 | 一种对输入的高动态范围图像进行处理的方法和显示设备 |
| CN111835978A (zh) * | 2019-04-15 | 2020-10-27 | 韩华泰科株式会社 | 图像处理设备和执行局部对比度增强的方法 |
| CN110852956A (zh) * | 2019-07-22 | 2020-02-28 | 江苏宇特光电科技股份有限公司 | 一种高动态范围图像的增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| Tone Mapping of High Dynamic Range Images Combining Co-Occurrence Histogram and Visual Salience Detection;Ho-Hyoung Choi et al;《Applied Sciences》;20191101;全文 * |
| 基于主成分分析和引导滤波的色调映射算法;方华猛 等;《光电子 激光》;20141231;第25卷(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327208A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2280376B1 (en) | Image processing apparatus and image processing method | |
| CN113327208B (zh) | 高动态范围图像色调映射方法、装置、电子设备及介质 | |
| EP2582125B1 (en) | Use of noise-optimized selection criteria to calculate scene white points | |
| KR101309498B1 (ko) | 높은 동적 범위 이미지 매핑을 위한 히스토그램 조정 | |
| US8666156B2 (en) | Image-based backgrounds for images | |
| CN105432069B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN107563976A (zh) | 美颜参数获取方法、装置、可读存储介质和计算机设备 | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| CN107895350B (zh) | 一种基于自适应双伽玛变换的hdr图像生成方法 | |
| WO2014173145A1 (zh) | 一种图像增强方法及设备 | |
| CN110930341A (zh) | 一种基于图像融合的低光照图像增强方法 | |
| CN112150368A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111340732A (zh) | 一种低照度视频图像增强方法及装置 | |
| CN110232659B (zh) | 一种图像偏色的校正方法、装置及电子设备 | |
| KR102192016B1 (ko) | 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치 | |
| US20240054622A1 (en) | Image processing method and image processing apparatus | |
| WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
| CN111028181B (zh) | 一种图像增强处理方法、装置、设备及存储介质 | |
| CN111147924B (zh) | 一种视频增强处理方法及系统 | |
| CN116934634A (zh) | 一种基于像素分类的图像增强方法及装置 | |
| CN117156289A (zh) | 色彩风格校正方法、系统、电子设备、存储介质及芯片 | |
| CN113012079B (zh) | 低亮度车底图像增强方法、装置及存储介质 | |
| CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN113870099B (zh) | 一种图片颜色转换方法、装置、设备及可读存储介质 | |
| US9536337B1 (en) | Restoring digital image noise lost in a blur |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |