CN117893455B - 图像亮度和对比度调整方法 - Google Patents
图像亮度和对比度调整方法 Download PDFInfo
- Publication number
- CN117893455B CN117893455B CN202410277084.7A CN202410277084A CN117893455B CN 117893455 B CN117893455 B CN 117893455B CN 202410277084 A CN202410277084 A CN 202410277084A CN 117893455 B CN117893455 B CN 117893455B
- Authority
- CN
- China
- Prior art keywords
- brightness
- image
- loss
- contrast
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013507 mapping Methods 0.000 claims abstract description 110
- 230000002596 correlated effect Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims description 31
- 238000011282 treatment Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 208000016261 weight loss Diseases 0.000 claims description 6
- 230000004580 weight loss Effects 0.000 claims description 6
- 208000020442 loss of weight Diseases 0.000 claims description 2
- 230000008569 process Effects 0.000 description 23
- 230000015556 catabolic process Effects 0.000 description 22
- 238000006731 degradation reaction Methods 0.000 description 22
- 238000010606 normalization Methods 0.000 description 21
- 238000007781 pre-processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000005070 sampling Methods 0.000 description 17
- 238000011176 pooling Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例提供了图像亮度和对比度调整方法,涉及图像增强技术领域,该方法包括:获取待调整图像,将待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系,基于目标映射关系对待调整图像中各像素点的像素值进行映射得到目标输出图像,其中,调整模型是预先基于样本图像和包括亮度对比度损失的目标损失对原始模型进行训练得到的,亮度对比度损失与样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与样本图像的对比度和原始输出图像的对比度之间的差异正相关。基于目标映射关系得到的目标输出图像不会出现色彩失真和细节丢失的情况,并且可以自动对待调整图像的亮度和对比度进行调节。
Description
技术领域
本申请涉及图像增强技术领域,特别是涉及图像亮度和对比度调整方法。
背景技术
在使用图像采集设备进行拍摄时,由于环境亮度或设备自身的问题,可能会导致所拍摄得到的图片较暗,无法看清图像内容。
现有技术中,通常是基于图像的灰度平均值作为调整基准,对图像进行调整。但是使用该方法调整图片亮度时,往往是调整图片的整体亮度,即调整图片中亮度较低区域的亮度的同时,也调整了图片中亮度较高区域的亮度,这样会使得调整后的图片不太自然。另外,也可以通过使用Photoshop等软件,手动调节图片中不同区域的亮度,但效率较低,且调整程度需要手动掌握,过度调整会导致图片色彩失真和细节丢失。
发明内容
本申请实施例的目的在于提供图像亮度和对比度调整方法,以实现自动且均衡调节图像的亮度和对比度。具体技术方案如下:
本申请实施例提供了一种图像亮度和对比度调整方法,所述方法包括:
获取待调整图像;
将所述待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系,其中,所述调整模型是预先基于样本图像和目标损失对原始模型进行训练得到的,所述目标损失包括亮度对比度损失,所述亮度对比度损失与所述样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与所述样本图像的对比度和所述原始输出图像的对比度之间的差异正相关,所述原始输出图像为基于原始映射关系对所述样本图像中各像素点的像素值进行映射得到的,所述原始映射关系为将所述样本图像输入至所述原始模型得到的映射关系;
基于所述目标映射关系对所述待调整图像中各像素点的像素值进行映射,得到目标输出图像。
本申请实施例有益效果:
本申请实施例提供的图像亮度和对比度调整方法,通过将待调整图像输入至预先训练好的调整模型中,得到目标映射关系,然后基于映射关系对待调整图像中各像素点的像素值进行映射,即可得到目标输出图像,其中,调整模型是预先基于样本图像与亮度对比度损失对原始模型进行训练得到的。在训练过程中,根据亮度对比度损失调整原始模型参数,以使得调整模型输出的目标映射关系可以准确对各像素点的像素值进行映射。这样,根据目标映射关系所映射得到的目标输出图像不会出现色彩失真和细节丢失的情况,并且可以自动对图像的亮度和对比度进行调节,而无需人工手动调整亮度或对比度,提高了图像的亮度和对比度的调整效率。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其它的实施例。
图1为本申请实施例提供的图像亮度和对比度调整方法的示意图;
图2为本申请实施例提供的样本图像预处理的流程图;
图3为本申请实施例提供的模型结构的示意图;
图4为本申请实施例提供的图像亮度和对比度调整方法的示例图;
图5为本申请实施例提供的图像亮度和对比度调整装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其它实施例,都属于本申请保护的范围。
首先,对本领域的专业术语进行解释:
亮度和对比度映射曲线:一种一维查找表,用于对输入数据进行查表映射,实现亮度和对比度调整。
损失函数:用来度量模型的预测值与真实值的差异程度的运算函数。
Zero-DCE:英文全称Zero-Reference Deep Curve Estimation,是一种利用深度学习自动调整图片亮度的算法。
L1:即L1损失,也称为平均绝对误差损失,计算目标值与预测值之间差的绝对值的总和。
L2:即L2损失,也称为均方误差损失,计算目标值与预测值之间差的平方和的均值。
ReLU激活:ReLU激活函数,全称Rectified Linear Unit,修正线性单元,是一种在深度学习中常用的激活函数。
在使用图像采集设备进行拍摄时,由于环境亮度或设备自身的问题,可能会导致所拍摄得到的图片较暗,无法看清图像内容。现有技术中,通常是基于图像的灰度平均值作为调整基准,对图像进行调整。但是使用该方法调整图片亮度时,往往是调整图片的整体亮度,即调整图片中亮度较低区域的亮度的同时,也调整了图片中亮度较高区域的亮度,这样会使得调整后的图片不太自然。另外,也可以通过使用具备亮度调节功能的软件,如Photoshop,手动调节图片中不同区域的亮度,但效率较低,且调整程度需要手动掌握,过度调整会导致图片色彩失真和细节丢失。
目前,利用Zero-DCE算法可以自动调整图像的亮度,但是Zero-DCE算法在训练时目标函数需要通过迭代求解,推理时间长,调整效果的可控性比较低,容易出现调整异常,并且,在训练时仅仅是基于空间一致误差、曝光控制误差、颜色恒定误差和光照平滑误差进行训练得到模型,所使用的损失较少,对图像的约束不够全面,且在训练阶段未对特定的面部做特殊处理。
为了自动且均衡地调节图像的亮度和对比度,本申请实施例提供了一种图像亮度和对比度调整方法、装置及电子设备,下面通过具体实施例来对本申请提供的图像亮度和对比度调整方法进行详细说明。在本申请实施的第一方面,首先提供了一种图像亮度和对比度调整方法,可以应用于电子设备。在具体的应用中,该电子设备可以为服务器,也可以为终端设备,也可以为具备图像采集功能的设备,本申请对此不进行限定。在实际应用中,该终端设备可以是:智能手机、平板电脑、台式电脑等等。
下面结合附图,对本申请实施例提供的图像亮度和对比度调整方法进行介绍。如图1所示,图1为本申请实施例提供的图像亮度和对比度调整方法的第一种示意图,上述方法可以包括如下步骤:
步骤S1,获取待调整图像;
步骤S2,将待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系;
步骤S3,基于目标映射关系对待调整图像中各像素点的像素值进行映射,得到目标输出图像。
通过本申请实施例的方法,由于调整模型是预先基于样本图像与亮度对比度损失对原始模型进行训练得到的,在训练过程中,根据亮度对比度损失调整原始模型参数,以使得调整模型输出的目标映射关系可以准确对各像素点的像素值进行映射。这样,根据目标映射关系所映射得到的目标输出图像不会出现色彩失真和细节丢失的情况,并且可以自动对图像的亮度和对比度进行调节,而无需人工手动调整亮度或对比度,提高了图像的亮度和对比度的调整效率。
下面将分别对步骤S1-步骤S3进行说明:
在步骤S1中,待调整图像可以是图像采集设备拍摄到的图像本身,即原始待调整图像,也可以是经过第一预处理后的图像。第一预处理可以包括:归一化和缩放。为了便于区分,下文中用Img 1表示原始待调整图像。
归一化处理:对图像进行归一化是指将图像归一化至[0,1]区间,具体的,可以采用如下公式(1)对原始待调整图像进行归一化处理,得到归一化图像Img 2:
(1)
缩放:缩放是指将图像缩放至尺寸为p 1×p 1,得到缩放图像Img 3,其中,p 1为任意正整数,如64、100、128等。在对图像进行缩放时,可以采用最近邻法、双线性插值、双立方插值或超分辨率技术等,本申请对此不进行限定。在一种可能的实施方式中,可以将图像缩放至64×64,也可以将图像缩放至其它尺寸。通过将原始待调整图像进行归一化和缩放处理,减少了调整模型的计算资源。
在步骤S2中,调整模型是预先基于样本图像和目标损失对原始模型进行训练得到的,目标损失包括亮度对比度损失,并且目标损失中还可以包括除亮度对比度损失以外的其它损失,关于其它损失将在下文中分别进行示例性说明,在此不再赘述,这里先仅对亮度对比度损失进行说明。
亮度对比度损失与样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与样本图像的对比度和原始输出图像的对比度之间的差异正相关,原始输出图像为基于原始映射关系对样本图像中各像素点的像素值进行映射得到的,原始映射关系为将样本图像输入至原始模型得到的映射关系。
原始模型为随机初始化得到的,原始模型的模型结构与下文所述的调整模型的结构相同,原始模型的模型参数与调整模型的模型参数不同。
原始映射关系与目标映射关系均是用于表示多项式,区别在于将训练阶段得到的映射关系称为原始映射关系,将待调整图像输入至预先训练好的调整模型中得到的映射关系称为目标映射关系。
对于前述待处理图像是经过归一化和缩放得到的情况,由于待调整图像为归一化后的图像,为了便于进行后续分析,需要将目标查找关系的数据范围转换为待调整图像的数据范围。因此,在一种可能的实施方式中,可以将待调整图像输入至预先训练好的调整模型中,得到了目标查找关系,然后对目标查找关系进行反归一化后,得到目标映射关系,来将目标查找关系的数据范围转换为待调整图像的数据范围。
具体的,目标查找关系可以表示为多项式的系数,目标映射关系可以表示为映射曲线,在基于调整模型输出的多个系数按照以下公式(2)构建r、g、b三个通道对应的gamma曲线,分别记为gamma r 、gamma g 和gamma b :
(2)
其中,、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>为模型输出的系数;
然后,基于公式(3)进行反归一化并取整,得到目标映射关系:
(3)
其中,表示将/>四舍五入取整到区间[0,255],/>到、/>、/>的映射即为8bit输入图像数据到三通道8bit输出图像数据的映射曲线,即目标映射关系。
亮度对比度损失用于表示样本图像的亮度和原始输出图像的亮度之间的差异,以及样本图像的对比度和原始输出图像的对比度之间的差异,换言之,亮度对比度损失用于控制原始输出图像的整体亮度与局部对比度,亮度对比度损失的具体计算过程见下文,此处不再赘述。
在步骤S3中,在基于目标映射关系对待调整图像中各像素点的像素值进行映射时,可以采用前向映射的方法。其中,前向映射是从待调整图像出发,根据目标映射关系对待调整图像进行修改。在一个例子中,采用前向映射的方法,待调整图像中坐标为(A,B)的像素点的像素值为z1,通过目标映射关系进行映射后,目标输出图像中坐标为(A,B)的像素点的像素值为z2。
由前文关于步骤S1-步骤S3的相关说明可见,本申请提供的图像亮度和对比度调整方法依赖于调整模型,因此为了更清楚地对本申请提供的图像亮度和对比度调整方法进行说明,下面将对如何训练得到调整模型的过程进行详细说明。
在一种可能的实施方式中,调整模型是预先通过以下方式训练得到:
步骤S201,获取样本图像;
其中,样本图像可以是图像采集设备拍摄到的原始图像本身,也可以是经过第二预处理后的图像。第二预处理包括:归一化、缩放、亮度退化、对比度退化等。
可以理解的是,若第一预处理包括归一化,则第二预处理也包括归一化,同理,若第一预处理包括缩放,则第二预处理也包括缩放。
归一化和缩放的处理过程与前述步骤S1中的归一化和缩放的处理过程相同,此处不再进行赘述。
若第二预处理中包括归一化、缩放、亮度退化、对比度退化中的至少两个时,对预处理操作的顺序并无限定。示例性的,假设第二预处理包括归一化和缩放,则可以先进行归一化再进行缩放,也可以先进行缩放再进行归一化,假设第二预处理包括归一化、亮度退化和对比度退化,则可以先进行归一化,再进行亮度退化,最后进行对比度退化,也可以是先进行亮度退化,再进行归一化最后进行对比度退化,也可以先进行对比度退化,再进行亮度退化,最后进行归一化,或者其它顺序都是可以的。
经过第二预处理得到样本图像的过程如图2所示,为原始样本图像,/>为经过归一化处理的归一化图像,/>为缩放处理后的缩放图像,/>为下文中经过亮度退化操作后的亮度退化图像,/>为下文中加雾处理后的对比度退化图像。
以在经过归一化和缩放处理后的图像上进行亮度退化为例,由于在上述步骤中将图像归一化至[0,1],并进行缩放,得到Img 3,亮度退化的具体过程如下:
首先,在区间[0,1]内随机采样p 2,并基于公式(4)得到gamma1,然后基于公式(5)对图像进行亮度退化,得到图像Img 4:
(4)
(5)
其中,和/>分别为[/>]和[/>]区间采样得到的随机数,/>、/>、/>以及/>是预先设定的,在一个具体实施例中,/>的取值可以为0.6,/>的取值可以为1.4,在又一实施例中,/>的取值可以为0.7,/>的取值可以为1.1,在又一实施例中,的取值可以为0.4,/>的取值可以为1.8,在其它实施例中,/>和/>也可以为其它数值。/>和/>表示训练数据集亮度不变、增加和减小的占比,示例性的,/>=0.5,/>=0.25,表示50%的训练数据集亮度保持不变,25%训练数据集的亮度增加,25%训练数据集的亮度减小,又一例子中,/>=0.7,/>=0.2,表示70%的训练数据集亮度保持不变,20%训练数据集的亮度增加,10%训练数据集的亮度减小。
对比度退化,即本申请中的加雾,可以理解的是,进行加雾处理的图像称为“雾图”,未进行加雾处理的图像称为“非雾图”。在一种可能的实施方式中,按照如下公式(6)对图像进行加雾处理:
雾图 = 原始图像 ×t +A(1 -t) (6)
其中,t和A为在预设区间内采样得到的值。本申请对采样的方式不进行限定,可以采用均匀采样的方式,也可以采用任一概率密度函数进行采样,示例性的,可以采用正态分布进行采样,也可以采用其它概率密度函数。
采样得到t和A的预设区间可以为同一预设区间,也可以为两个不同的区间,预设区间的范围是预先根据经验进行设定的,示例性的,采样得到t的预设区间可以为[0.45,0.75],也可以为[0.35,0.8],也可以为其它数值的预设区间;采样得到A的预设区间可以为[0.6,0.9],也可以为[0.4,0.7],也可以为其它数值的预设区间,本申请对预设区间的范围不进行限定。
可以理解的是,并不是所有图像均要进行加雾处理,具体的,在一种可能的实施例中,首先在[0,1]区间随机采样p 3,若p 3≥y3,则保持不变,若p3<y3,则在预设区间[]和[]区间内分别进行采样,得到t和A,并计算雾图/>,具体参见公式(7)。
(7)
其中,y3的值为预设值,表示对比度降低的训练数据集的占比,示例性的,假设采用均匀采样的方式,若y3为0.2,则表示通过上述步骤进行对比度退化的过程中,80%训练数据集的对比度保持不变,20%训练数据集对比度降低。
、/>、/>、/>均为预先设定的,在一个具体实施例中,预先设定/>、,/>=0.6、/>,在预设区间[/>]内采样得到t=0.5,在预设区间[/>]内采样得到A=0.7,也可以预先设定/>、/>,/>=0.4、/>,在预设区间[/>]内采样得到t=0.6,A=0.5。可以理解的是,这仅仅是一个实施例,并不对/>、/>、/>、/>的取值进行限定。
可以理解的是,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图。
通过对原始图像进行加雾处理,降低了图像的对比度,使得模型在训练过程中可以学习如何将对比度低的图像调整为对比度高的图像,从而有效提高模型对图像的调整效果。
步骤S202,将样本图像输入至原始模型中,得到原始映射关系;
步骤S203,根据原始映射关系对样本图像中各像素点的像素值进行映射,得到原始输出图像;
步骤S202与前述步骤S2类似,步骤S203与前述步骤S3类似,此处不再赘述。
步骤S204,基于样本图像和原始输出图像,确定包括亮度对比度损失在内的目标损失;
步骤S205,基于目标损失对原始模型的模型参数进行调整,得到调整模型。
采用本申请实施例的方法,基于样本图像和亮度对比度损失对原始模型进行训练得到调整模型,使得调整模型在对待调整图像进行处理时可以准确控制图像整体的亮度变化和对比度变化。
以上对于目标损失仅包括亮度对比度损失的情况如何训练进行了说明,而如前述说明,目标损失不仅可以包括亮度对比度损失,还可以包括其它损失,例如一致性损失、线性单调性损失、颜色损失和亮度改变程度损失中的至少一个损失。
以下对各损失进行详细描述:
由前述内容可知,亮度对比度损失与样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与样本图像的对比度和原始输出图像的对比度之间的差异正相关,用于控制输出图像的整体亮度与局部对比度。
可以理解的是,通常图像内容分为感兴趣区域和背景区域,例如,若图像为人员面部图像时,感兴趣区域为人员面部区域,人员面部区域外的其它区域为背景区域,若图像为车辆图像,则感兴趣区域为车辆区域,车辆区域外的其它区域为背景区域。而在对图像的亮度和对比度进行调整时,实际是分别调整感兴趣区域和背景区域的亮度和对比度,因此,在一种可能的实施方式中,在训练得到调整模型的过程中,基于样本图像和原始输出图像,确定亮度对比度损失,包括:
步骤S301,在样本图像和原始输出图像中确定感兴趣区域;
具体的,可以利用目标区域检测网络等现有技术确定样本图像中的感兴趣区域和背景区域。为了利用预设参考亮度和预设参考对比度对原始输出图像的亮度和对比度进行调整,在一种可能的实施方式中,在确定原始输出图像的感兴趣区域之前,可以先将原始输出图像转换为灰度图,然后基于目标区域检测网络确定该灰度图中的感兴趣区域和背景区域,进而通过控制灰度图与预设参考亮度和预设参考对比度的偏离程度控制原始输出图像的亮度和对比度。
为了便于描述,下文公式(8)中用表示原始输出图像中感兴趣区域的平均亮度,用/>表示原始输出图像中背景区域的平均亮度。
步骤S302,基于样本图像中感兴趣区域的亮度和对比度与原始输出图像中感兴趣区域的亮度和对比度,计算得到感兴趣区域的第一子亮度对比度损失,其中,第一子亮度对比度损失与样本图像中感兴趣区域的亮度和原始输出图像中感兴趣区域的亮度之间的差异正相关,且与样本图像中感兴趣区域的对比度和原始输出图像中感兴趣区域的对比度之间的差异正相关;
在一种可能的实施方式中,可以根据以下公式(8)计算得到第一子亮度对比度损失:
(8)
其中,为第一子亮度对比度损失,/>为亮度损失权重,/>为对比度损失权重,/>为感兴趣区域权重,/>为预设参考亮度,/>为预设参考对比度。
步骤S303,基于样本图像中背景区域的亮度和对比度与原始输出图像中背景区域的亮度和对比度,计算得到背景区域的第二子亮度对比度损失,其中,背景区域为样本图像中除感兴趣区域外的区域,其中,第二子亮度对比度损失与样本图像中背景区域的亮度和原始输出图像中背景区域的亮度之间的差异正相关,且与样本图像中背景区域的对比度和原始输出图像中背景区域的对比度之间的差异正相关;
根据以下公式(9)计算得到第二子亮度对比度损失:
(9)
其中,为第二子亮度对比度损失,/>大于/>。
步骤S304,基于第一子亮度对比度损失和第二子亮度对比度损失,计算得到样本图像的亮度对比度损失,其中,样本图像的亮度对比度损失与第一子亮度对比度损失正相关,且与第二子亮度对比度损失正相关。
具体的,根据以下公式(10)计算得到样本图像的亮度对比度损失:
(10)
其中,为样本图像的亮度对比度损失,/>为亮度对比度损失综合权重。
通过本申请实施例的方法,基于预设参考亮度和预设参考对比度来控制原始输出图像的亮度和对比度,防止输出图像的亮度和对比度过度调整,避免丢失图像细节。
在一种可能的实施方式中,目标损失还包括一致性损失。一致性损失与原始图像的亮度和原始输出图像的亮度的差异正相关,其中,原始图像为加雾处理前的样本图像,即前文中的。
在一种可能的实施方式中,一致性损失是根据以下公式(11)计算得到的:
(11)
其中,为样本图像的一致性损失,/>为一致性损失权重,/>为原始图像,/>为原始输出图像,/>表示原始图像和原始输出图像之间的L1损失,具体的,L1损失可以根据以下公式(12)计算得到:
(12)
其中,为图像的通道数,/>为样本图像的像素行数量,/>为样本图像的像素列数量。
一致性损失与样本图像是否经过雾化处理有关。具体的,若样本图像为雾图,的取值为预设第一权重值,若样本图像为非雾图,/>的取值为预设第二权重值,/>为样本图像的像素行数量,/>为样本图像的像素列数量,预设第一权重值与预设第二权重值不同。在一个具体实施例中,/>=64,/>=64,/>=3,针对样本图像为雾图,/>=5。
针对样本图像为非雾图的情况,的取值还与图像的亮度类型相关。因此,在对样本图像为非雾图的情况进行说明之前,先对如何确定亮度类型进行说明:
步骤S401,在样本图像中确定感兴趣区域;
该步骤S401与前述步骤S301中确定样本图像中的感兴趣区域的步骤相同,此处不再赘述。
步骤S402,确定样本图像中感兴趣区域的亮度均值和亮度最大值以及背景区域的像素点的亮度均值,背景区域为样本图像中除感兴趣区域外的区域;
其中,感兴趣区域的亮度均值可以是感兴趣区域内所有像素点的像素值的平均值,也可以是在感兴趣区域内均匀选取若干个像素点的像素值的平均值;感兴趣区域的亮度最大值,可以是感兴趣区域内亮度值最大的像素点的像素值,也可以是感兴趣区域内P4个最大像素亮度值的平均值,本申请实施例对此不进行限定,在一种具体实施例中,P4为20。
同理,背景区域亮度均值可以是背景区域内所有像素点的像素值的平均值,也可以是在背景区域内均匀选取若干个像素点的像素值的平均值。
步骤S403,若感兴趣区域的亮度均值大于预设第一阈值且背景区域的亮度均值小于预设第二阈值且感兴趣区域的亮度最大值大于预设第三阈值,则样本图像的亮度类型为第一亮度类型;若感兴趣区域的亮度均值大于预设第四阈值且背景区域的亮度均值大于预设第五阈值且感兴趣区域的亮度最大值大于预设第六阈值,则样本图像的亮度类型为第二亮度类型,其中,预设第一阈值小于预设第四阈值,预设第二阈值小于预设第五阈值,预设第三阈值大于预设第六阈值;
在一种可能的实施方式中,可以根据以下公式(13)和公式(14)确定样本图像的亮度类型:
(13)
(14)
其中,为感兴趣区域的亮度均值与背景区域的亮度均值的差,/>为感兴趣区域的亮度均值,/>为背景区域的亮度均值,/>为感兴趣区域的亮度最大值,/>、/>、/>、/>、/>、/>分别为预设第一阈值、预设第二阈值、预设第三阈值、预设第四阈值、预设第五阈值、预设第六阈值。在一个具体实施例中,/>=60,/>=80,/>=180,/>=100,/>=130,/>=150。
在一种具体实施例中,若待调整图像为面部图像,感兴趣区域为面部,则上述第一亮度类型为暗背景亮脸,上述第二亮度类型为亮背景亮脸。
上文已经对如何确定亮度类型进行说明,下面将继续对样本图像为非雾图的情况进行说明:针对样本图像为非雾图,在步骤S405中,若样本图像为非雾图且样本图像的亮度类型为第一亮度类型或第二亮度类型时,的取值为预设第三权重值;若样本图像为非雾图,且样本图像的亮度类型不为第一亮度类型且不为第二亮度类型时,/>的取值为0。
通过本申请实施例的方法,当样本图像为非雾图时,通过对样本图像的亮度类型进行判定,在计算一致性损失时,根据不同的亮度类型赋予不同的一致性损失权重,进而可以针对不同亮度类型的样本图像进行不同的处理,提升图像整体亮度的均衡性。
在一种可能的实施方式中,目标损失还包括颜色损失,颜色损失与样本图像在Lab空间中A分量和原始输出图像在Lab空间中A分量的差异正相关,且与样本图像在Lab空间中B分量和原始输出图像在Lab空间中B分量的差异正相关。颜色损失用于衡量样本图像与原始输出图像在Lab空间中A、B分量的损失。
在一种可能的实施方式中,颜色损失是根据以下公式(15)和公式(16)计算得到的:
(15)
(16)
其中,表示颜色损失,/>为颜色损失权重,/>为样本图像在Lab空间中的A分量,/>为原始输出图像在Lab空间中的A分量,/>为样本图像在Lab空间中的B分量,/>为原始输出图像在Lab空间中的B分量,/>表示样本图像的像素行数量,/>表示样本图像的像素列数量。
颜色损失权重的值是根据实际情况预先设定的,可根据经验进行修改。在一种具体实施例中,颜色损失权重/>=0.02,表示在计算颜色损失权重时,颜色损失权重为0.02。
通过本申请实施例的方法,基于颜色损失对原始模型进行训练,使得训练得到的调整模型可以保持图像颜色的一致性和准确性。
针对整体亮度较暗的图像,当图像的亮度改变程度较大时,容易产生异常。因此,在一种可能的实施方式中,目标损失还包括亮度改变程度损失,亮度改变程度损失与样本图像的亮度和原始输出图像的亮度的差异正相关,来控制图像整体亮度的增大或减小的程度。
可以理解的是,在计算亮度改变程度损失时,亮度改变程度较小的像素点的损失可以忽略,在一种可能的实施方式中,亮度改变程度损失是根据以下公式(17)计算得到的:
(17)
其中,为亮度改变程度损失,/>为亮度改变程度损失权重,/>为样本图像,/>为预设灰度值,预设灰度值为每个像素值允许更改的上限,亮度改变程度损失权重和预设灰度值均是预先根据实际情况设定的。/>,表示在计算亮度改变程度损失时,仅考虑亮度改变程度大于/>的像素点。在一种具体实施例中,/>=16,/>=0.2,表示在计算亮度改变程度损失时,亮度改变程度损失权重为16,仅计算像素值的改变值大于0.2的像素点的亮度改变程度损失。
可以理解的是,基于前述公式(2)得到的r、g、b三个通道对应的gamma曲线应当是3条单调递增的曲线。因此,需要对模型输出的目标映射关系所表示的多项式的系数拟合得到的曲线的单调性进行约束,因此,在一种可能的实施方式中,目标损失还包括线型单调性损失,线型单调性损失与目标映射关系所表示的曲线在各点的导数负相关,且目标映射关系所表示的曲线在各点的导数值均大于0。
在一种可能的实施方式中,线型单调性损失是根据以下公式(18)计算得到的:
(18)
其中,为线型单调性损失,/>为线型单调性损失权重,其值为预先设定的,/>为r通道上目标映射关系所表示的曲线的导数,/>为g通道上目标映射关系所表示的曲线的导数,/>为b通道上目标映射关系所表示的曲线的导数。在一个例子中,/>5,表示在计算线型单调性损失时,线型单调性损失权重为5。
在一种具体实施例中,当样本图像为经过归一化后的图像,则是在[0,1]区间内,以步长为1/255进行采样得到的点。
通过本申请实施例的方法,基于线型单调性损失对原始模型进行训练,对模型所输出的目标映射关系的单调性进行约束,尽可能保证模型所输出的目标映射关系的单调递增性。
可以理解的是,若样本图像为未经过雾化处理的图像,通常不需要计算颜色损失和亮度改变程度损失,因此,样本图像为雾图和非雾图时,目标损失中包括的损失也不尽相同。在一种可能的实施方式中,若样本图像为雾图,目标损失还包括一致性损失和线型单调性损失,若样本图像为非雾图,目标损失还包括颜色损失、一致性损失、亮度改变程度损失和线型单调性损失。
其中,颜色损失、一致性损失、亮度改变程度损失和线型单调性损失的具体计算过程参见前文,此处不再赘述。
采用本申请实施例的方法,在计算目标损失时,分别针对样本图像为雾图和非雾图进行计算,从而提高调整模型的泛化能力。
前文已经对调整模型的模型训练的过程进行说明,下面将对调整模型的结构进行示例性说明,可以理解的是,以下示例仅是本申请提供的调整模型的一种可能的结构,在其它可能的实施例中,调整模型也可以是其它结构的,以下示例对此不做任何限制。
在一种可能的实施方式中,调整模型依次包括输入层、中间层、展平层、全连接层、输出层;
前述步骤S2中将待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系,包括:
步骤S501,通过输入层将待调整图像输入至中间层;
步骤S502,通过中间层对待调整图像进行特征提取,得到多维特征;
其中,中间层是通过卷积层+ReLU激活+池化层等操作,进行特征提取,其中,池化层可以是最大池化层,也可以是平均池化层。
步骤S503,通过展平层将多维特征压缩为一维特征;
步骤S504,通过全连接层基于一维特征计算得到多个系数;
步骤S505,通过输出层输出多个系数;
步骤S506,基于多个系数,得到目标映射关系,目标映射关系用于表示多项式。
其中,模型结构的中间层、展平层和全连接层可以分别只有一个,也可以分别有多个。示例性的,如图3所示,中间层有5个,展平层有1个,全连接层有2个。
在一种具体实施例中,调整模型的结构参见图3,若输入模型中的样本图像为,/>的维度为3×64×64,表示3通道、长64宽64的图像,图中箭头1-箭头4均表示卷积层+ReLU激活+最大池化层的操作,箭头5表示卷积层+ReLU激活+平均池化层的操作,箭头6为展平操作,箭头7和箭头8为全连接操作,三角形9为升维操作。
将输入至输入层后,经过卷积层+ReLU激活+最大池化层的操作,在中间层1输出维度为32×32×32的特征,然后再次经过卷积层+ReLU激活+最大池化层的操作,在中间层2输出维度为32×16×16的特征,然后再次经过卷积层+ReLU激活+最大池化层的操作,在中间层3输出维度为32×8×8的特征,然后再次经过卷积层+ReLU激活+最大池化层的操作,在中间层4输出维度为32×4×4的特征,对该维度的特征进行卷积层+ReLU激活+平均池化层的操作后,在中间层5输出维度为32×2×2的特征;然后将维度为32×2×2的特征进行展平操作,在展平层输出128维向量,经过箭头7所表示的全连接操作后,在全连接层1输出100维向量,然后经过箭头8所表示的全连接操作后,在全连接层2输出15维向量,经过三角形9表示的升维操作后,在输出层输出维度为15×1×1的特征,即15个系数,然后基于前述步骤S2得到目标映射关系(即图3中模型输出曲线映射),最后,基于目标映射关系对样本图像(即图3中输入图像)中的各像素点的像素值进行映射,得到目标输出图像(即图3中输出图像)。
通过本申请实施例的方法,由于模型结构中包括了中间层、全连接层和展平层,没有复杂的结构,便于在嵌入式平台进行部署。并且,由于模型输出的为多个系数,与现有的像素级预测模型相比,减少了模型参数量,节省了计算资源。
为了更清楚的对本申请实施例提供的图像亮度和对比度调整方法,下面结合具体实施例进行说明。
在一种具体实施例中,如图4所示,本申请提供的图像亮度和对比度调整方法实际可以包括三个阶段:数据预处理阶段、模型训练阶段、模型推理阶段。在接收到原始样本图像(即图4中的人员面部图像)后,对图像进行数据归一化、缩放至p 1×p 1、随机亮度退化和随机对比度退化从而得到样本图像的过程为数据预处理阶段(对应上述步骤S201),将样本图像输入至原始模型中得到原始输出图像,并进行人员面部区域检测,然后基于样本图像和原始输出图像计算各损失函数,读取模型结构后,利用多损失函数对训练过程进行约束,多损失函数包括颜色损失函数、一致性损失函数、亮度对比度损失函数、亮度改变程度损失函数和线型单调性损失函数,得到模型训练结果,进而得到模型输出的多项式系数的过程为模型训练阶段(对应上述步骤S202~步骤S205),将待调整图像进行归一化和缩放后输入至训练好的模型,得到模型输出的多项式系数,得到映射曲线后,基于映射曲线对待调整图像进行映射得到目标输出图像的过程为模型推理阶段(对应上述步骤S1~步骤S3)。
在一种具体实施例中,在模型推理阶段,假设模型输出的是多项式系数,则基于模型输出的多项式系数构建三通道多项式函数(对应上述步骤S2中的公式(2)),从而建立三通道映射查找表,而由于在数据预处理阶段进行了归一化处理,因此,为了便于进行分析,需要在模型推理阶段进行反归一化和取整处理(对应上述步骤S2中的公式(3)),将三通道映射查找表的数据范围转换为待调整图像的数据范围,得到8bit三通道映射查找表(对应本申请中的目标映射关系),然后基于8bit三通道映射查找表对人员面部图像进行三通道差异化映射(对应上述步骤S3),得到人员面部图像亮度对比度调节结果(即本申请中的目标输出图像)。
第二方面,本申请实施例提供了一种图像亮度和对比度调整装置,参见图5,装置包括:
图像获取模块501,用于获取待调整图像;
关系获得模块502,用于将待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系,其中,调整模型是预先基于样本图像和目标损失对原始模型进行训练得到的,目标损失包括亮度对比度损失,亮度对比度损失与样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与样本图像的对比度和原始输出图像的对比度之间的差异正相关,原始输出图像为基于原始映射关系对样本图像中各像素点的像素值进行映射得到的,原始映射关系为将样本图像输入至原始模型得到的映射关系;
像素值映射模块503,用于基于目标映射关系对待调整图像中各像素点的像素值进行映射,得到目标输出图像。
采用本申请实施例的装置,通过将待调整图像输入至预先训练好的调整模型中,得到目标映射关系,然后基于映射关系对待调整图像中各像素点的像素值进行映射,即可得到目标输出图像,其中,调整模型是预先基于样本图像与亮度对比度损失对原始模型进行训练得到的。在训练过程中,根据亮度对比度损失调整原始模型参数,以使得调整模型输出的目标映射关系可以对各像素点的像素值进行映射。这样,根据目标映射关系所映射得到的目标输出图像不会出现色彩失真和细节丢失的情况,并且可以自动对待调整图像的亮度和对比度进行调节,而无需人工手动调整,提高了待调整图像的亮度和对比度的调整效率。
在一种可能的实施方式中,调整模型预先通过以下方式训练得到:
获取样本图像;
将样本图像输入至原始模型中,得到原始映射关系;
根据原始映射关系对样本图像中各像素点的像素值进行映射,得到原始输出图像;
基于样本图像和原始输出图像,确定包括亮度对比度损失在内的目标损失;
基于目标损失对原始模型的模型参数进行调整,得到调整模型。
在一种可能的实施方式中,基于样本图像和原始输出图像,确定亮度对比度损失,包括:
在样本图像和原始输出图像中确定感兴趣区域;
基于样本图像中感兴趣区域的亮度和对比度与原始输出图像中感兴趣区域的亮度和对比度,计算得到感兴趣区域的第一子亮度对比度损失,其中,第一子亮度对比度损失与样本图像中感兴趣区域的亮度和原始输出图像中感兴趣区域的亮度之间的差异正相关,且与样本图像中感兴趣区域的对比度和原始输出图像中感兴趣区域的对比度之间的差异正相关;
基于样本图像中背景区域的亮度和对比度与原始输出图像中背景区域的亮度和对比度,计算得到背景区域的第二子亮度对比度损失,其中,背景区域为样本图像中除感兴趣区域外的区域,其中,第二子亮度对比度损失与样本图像中背景区域的亮度和原始输出图像中背景区域的亮度之间的差异正相关,且与样本图像中背景区域的对比度和原始输出图像中背景区域的对比度之间的差异正相关;
基于第一子亮度对比度损失和第二子亮度对比度损失,计算得到样本图像的亮度对比度损失,其中,样本图像的亮度对比度损失与第一子亮度对比度损失正相关,且与第二子亮度对比度损失正相关。
在一种可能的实施方式中,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,基于样本图像中感兴趣区域的亮度和对比度与原始输出图像中感兴趣区域的亮度和对比度,计算得到感兴趣区域的第一子亮度对比度损失,包括:
根据以下方式计算得到第一子亮度对比度损失:
;
基于样本图像中背景区域的亮度和对比度与原始输出图像中背景区域的亮度和对比度,计算得到背景区域的第二子亮度对比度损失,包括:
根据以下方式计算得到第二子亮度对比度损失:
;
基于第一子亮度对比度损失和第二子亮度对比度损失,计算得到样本图像的亮度对比度损失,包括:
根据以下方式计算得到样本图像的亮度对比度损失:
;
其中,为样本图像的亮度对比度损失,/>为第一子亮度对比度损失,/>为原始输出图像中感兴趣区域的平均亮度,/>为第二子亮度对比度损失,/>为原始输出图像中背景区域的平均亮度,/>为对比度损失权重,/>为亮度损失权重,/>为亮度对比度损失综合权重,/>为感兴趣区域权重,/>为背景区域权重,/>为预设参考亮度,/>为预设参考对比度,/>为样本图像的像素行数量,/>为样本图像的像素列数量,其中,/>大于/>;
若样本图像为雾图,的取值为预设第一感兴趣区域权重值,/>的取值为预设第一背景区域权重值,/>的取值为预设第一参考亮度值,/>的取值为预设第一参考对比度值;
若样本图像为非雾图,的取值为预设第二感兴趣区域权重值,/>的取值为预设第二背景区域权重值,/>的取值为预设第二参考亮度值,/>的取值为预设第二参考对比度值,其中,预设第一参考亮度值大于预设第二参考亮度值。
在一种可能的实施方式中,目标损失还包括一致性损失,一致性损失与原始图像的亮度和原始输出图像的亮度的差异正相关,其中,原始图像为加雾处理前的样本图像。
在一种可能的实施方式中,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,一致性损失是根据以下公式计算得到的:
;
其中,为样本图像的一致性损失,/>为一致性损失权重,/>为原始图像,/>为原始输出图像,若样本图像为雾图,/>的取值为预设第一权重值,若样本图像为非雾图,/>的取值为预设第二权重值,预设第一权重值与预设第二权重值不同。
在一种可能的实施方式中,目标损失还包括颜色损失,颜色损失与样本图像在Lab空间中A分量和原始输出图像在Lab空间中A分量的差异正相关,且与样本图像在Lab空间中B分量和原始输出图像在Lab空间中B分量的差异正相关。
在一种可能的实施方式中,颜色损失是根据以下公式计算得到的:
;
其中,表示颜色损失,/>为颜色损失权重,/>为样本图像在Lab空间中的A分量,/>为原始输出图像在Lab空间中的A分量,/>为样本图像在Lab空间中的B分量,/>为原始输出图像在Lab空间中的B分量。
在一种可能的实施方式中,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,装置还包括:
区域确定模块,用于在样本图像中确定感兴趣区域;
亮度确定模块,用于确定样本图像中感兴趣区域的亮度均值和亮度最大值以及背景区域的像素点的亮度均值,背景区域为样本图像中除感兴趣区域外的区域;
亮度确定模块,还用于若感兴趣区域的亮度均值大于预设第一阈值且背景区域的亮度均值小于预设第二阈值且感兴趣区域的亮度最大值大于预设第三阈值,则样本图像的亮度类型为第一亮度类型;
若感兴趣区域的亮度均值大于预设第四阈值且背景区域的亮度均值大于预设第五阈值且感兴趣区域的亮度最大值大于预设第六阈值,则样本图像的亮度类型为第二亮度类型,其中,预设第一阈值小于预设第四阈值,预设第二阈值小于预设第五阈值,预设第三阈值大于预设第六阈值;
亮度确定模块,还用于若样本图像为非雾图且样本图像的亮度类型为第一亮度类型或第二亮度类型时,的取值为预设第三权重值;若样本图像为非雾图,且样本图像的亮度类型不为第一亮度类型且不为第二亮度类型时,/>的取值为0。
在一种可能的实施方式中,目标损失还包括亮度改变程度损失,亮度改变程度损失与样本图像的亮度和原始输出图像的亮度的差异正相关。
在一种可能的实施方式中,亮度改变程度损失是根据以下公式计算得到的:
;
其中,为亮度改变程度损失,/>为亮度改变程度损失权重,/>为预设灰度值。
在一种可能的实施方式中,目标损失还包括线型单调性损失,线型单调性损失与目标映射关系所表示的曲线在各点的导数负相关。
在一种可能的实施方式中,线型单调性损失是根据以下公式计算得到的:
;
其中,为线型单调性损失,/>为线型单调性损失权重,/>为r通道上目标映射关系所表示的曲线的导数,/>为g通道上目标映射关系所表示的曲线的导数,/>为b通道上目标映射关系所表示的曲线的导数。
在一种可能的实施方式中,若样本图像为雾图,目标损失还包括一致性损失和线型单调性损失;若样本图像为非雾图,目标损失还包括颜色损失、一致性损失、亮度改变程度损失和线型单调性损失。
在一种可能的实施方式中,按照以下方式进行加雾处理计算得到雾图:
雾图 = 原始图像 ×t+A(1 -t)
其中,t和A为在预设区间内采样得到的值。
在一种可能的实施方式中,调整模型依次包括输入层、中间层、展平层、全连接层、输出层;
关系获得模块502,具体用于:
通过输入层将待调整图像输入至中间层;
通过中间层对待调整图像进行特征提取,得到多维特征;
通过展平层将多维特征压缩为一维特征;
通过全连接层基于一维特征计算得到多个系数;
通过输出层输出多个系数;
基于多个系数,得到目标映射关系,目标映射关系用于表示多项式。
在一种可能的实施方式中,装置还包括:
原始图像获取模块,用于获取原始待调整图像;
预处理模块,用于对原始待调整图像进行预处理,得到待调整图像,预处理包括归一化和缩放;
关系获得模块502,具体用于:
将待调整图像输入至预先训练好的调整模型中,得到目标查找关系;
对目标查找关系进行反归一化,得到目标映射关系。
第三方面,本申请实施例还提供了一种电子设备,如图6所示,包括:
存储器601,用于存放计算机程序;
处理器602,用于执行存储器601上所存放的程序时,实现如下步骤:
获取待调整图像;
将所述待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系,其中,所述调整模型是预先基于样本图像和目标损失对原始模型进行训练得到的,所述目标损失包括亮度对比度损失,所述亮度对比度损失与所述样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与所述样本图像的对比度和所述原始输出图像的对比度之间的差异正相关,所述原始输出图像为基于原始映射关系对所述样本图像中各像素点的像素值进行映射得到的,所述原始映射关系为将所述样本图像输入至所述原始模型得到的映射关系;
基于所述目标映射关系对所述待调整图像中各像素点的像素值进行映射,得到目标输出图像。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一图像亮度和对比度调整方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一图像亮度和对比度调整方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者固态硬盘(Solid StateDisk,SSD)等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (8)
1.一种图像亮度和对比度调整方法,其特征在于,所述方法包括:
获取待调整图像;
将所述待调整图像输入至预先训练好的调整模型中,得到用于表示多项式的目标映射关系,其中,所述调整模型是预先基于样本图像和目标损失对原始模型进行训练得到的,所述目标损失包括亮度对比度损失,所述亮度对比度损失与所述样本图像的亮度和原始输出图像的亮度之间的差异正相关,且与所述样本图像的对比度和所述原始输出图像的对比度之间的差异正相关,所述原始输出图像为基于原始映射关系对所述样本图像中各像素点的像素值进行映射得到的,所述原始映射关系为将所述样本图像输入至所述原始模型得到的映射关系;
基于所述目标映射关系对所述待调整图像中各像素点的像素值进行映射,得到目标输出图像;
所述调整模型预先通过以下方式训练得到:
获取样本图像;
将所述样本图像输入至原始模型中,得到原始映射关系;
根据所述原始映射关系对所述样本图像中各像素点的像素值进行映射,得到原始输出图像;
基于所述样本图像和所述原始输出图像,确定包括亮度对比度损失在内的目标损失;
基于所述目标损失对所述原始模型的模型参数进行调整,得到调整模型;
基于所述样本图像和所述原始输出图像,确定亮度对比度损失,包括:
在所述样本图像和所述原始输出图像中确定感兴趣区域;
基于所述样本图像中所述感兴趣区域的亮度和对比度与所述原始输出图像中所述感兴趣区域的亮度和对比度,计算得到所述感兴趣区域的第一子亮度对比度损失,其中,所述第一子亮度对比度损失与所述样本图像中所述感兴趣区域的亮度和所述原始输出图像中所述感兴趣区域的亮度之间的差异正相关,且与所述样本图像中所述感兴趣区域的对比度和所述原始输出图像中所述感兴趣区域的对比度之间的差异正相关;
基于所述样本图像中背景区域的亮度和对比度与所述原始输出图像中所述背景区域的亮度和对比度,计算得到所述背景区域的第二子亮度对比度损失,其中,所述背景区域为所述样本图像中除所述感兴趣区域外的区域,其中,所述第二子亮度对比度损失与所述样本图像中所述背景区域的亮度和所述原始输出图像中所述背景区域的亮度之间的差异正相关,且与所述样本图像中所述背景区域的对比度和所述原始输出图像中所述背景区域的对比度之间的差异正相关;
基于所述第一子亮度对比度损失和所述第二子亮度对比度损失,计算得到所述样本图像的亮度对比度损失,其中,所述样本图像的亮度对比度损失与所述第一子亮度对比度损失正相关,且与所述第二子亮度对比度损失正相关。
2.根据权利要求1所述的方法,其特征在于,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,所述基于所述样本图像中所述感兴趣区域的亮度和对比度与所述原始输出图像中所述感兴趣区域的亮度和对比度,计算得到所述感兴趣区域的第一子亮度对比度损失,包括:
根据以下方式计算得到所述第一子亮度对比度损失:
;
所述基于所述样本图像中背景区域的亮度和对比度与所述原始输出图像中所述背景区域的亮度和对比度,计算得到所述背景区域的第二子亮度对比度损失,包括:
根据以下方式计算得到所述第二子亮度对比度损失:
;
所述基于所述第一子亮度对比度损失和所述第二子亮度对比度损失,计算得到所述样本图像的亮度对比度损失,包括:
根据以下方式计算得到所述样本图像的亮度对比度损失:
;
其中,为所述样本图像的亮度对比度损失,/>为所述第一子亮度对比度损失,/>为原始输出图像中感兴趣区域的平均亮度,为所述第二子亮度对比度损失,/>为原始输出图像中背景区域的平均亮度,/>为对比度损失权重,/>为亮度损失权重,/>为亮度对比度损失综合权重,为感兴趣区域权重,/>为背景区域权重,/>为预设参考亮度,/>为预设参考对比度,其中,/>大于/>。
3.根据权利要求2所述的方法,其特征在于,若所述样本图像为雾图,的取值为预设第一感兴趣区域权重值,/>的取值为预设第一背景区域权重值,/>的取值为预设第一参考亮度值,/>的取值为预设第一参考对比度值;
若所述样本图像为非雾图,的取值为预设第二感兴趣区域权重值,/>的取值为预设第二背景区域权重值,/>的取值为预设第二参考亮度值,/>的取值为预设第二参考对比度值,其中,所述预设第一参考亮度值大于所述预设第二参考亮度值。
4.根据权利要求1所述的方法,其特征在于,所述目标损失还包括以下损失中的任意损失:一致性损失、颜色损失、亮度改变程度损失、线型单调性损失;
或者,
若所述样本图像为雾图,所述目标损失还包括一致性损失和线型单调性损失;若所述样本图像为非雾图,所述目标损失还包括颜色损失、一致性损失、亮度改变程度损失和线型单调性损失;
其中,所述一致性损失与原始图像的亮度和所述原始输出图像的亮度的差异正相关,所述原始图像为加雾处理前的样本图像;所述颜色损失与所述样本图像在Lab空间中A分量和所述原始输出图像在Lab空间中A分量的差异正相关,且与所述样本图像在Lab空间中B分量和所述原始输出图像在Lab空间中B分量的差异正相关;所述亮度改变程度损失与所述样本图像的亮度和所述原始输出图像的亮度的差异正相关;所述线型单调性损失与所述目标映射关系所表示的曲线在各点的导数负相关。
5.根据权利要求4所述的方法,其特征在于,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,所述一致性损失是根据以下公式计算得到的:
;
其中,为所述样本图像的一致性损失,/>为一致性损失权重,/>为原始图像,/>为原始输出图像,若所述样本图像为雾图,/>的取值为预设第一权重值,若所述样本图像为非雾图,/>的取值为预设第二权重值,所述预设第一权重值与所述预设第二权重值不同。
6.根据权利要求4所述的方法,其特征在于,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,所述颜色损失是根据以下公式计算得到的:
;
其中,为颜色损失,/>为颜色损失权重,/>为样本图像在Lab空间中的A分量,/>为原始输出图像在Lab空间中的A分量,/>为样本图像在Lab空间中的B分量,/>为原始输出图像在Lab空间中的B分量;
所述亮度改变程度损失是根据以下公式计算得到的:
;
其中,为亮度改变程度损失,/>为亮度改变程度损失权重,/>为样本图像,/>为预设灰度值;
所述线型单调性损失是根据以下公式计算得到的:
;
其中,为线型单调性损失,/>为线型单调性损失权重,/>为r通道上目标映射关系所表示的曲线的导数,/>为g通道上目标映射关系所表示的曲线的导数,/>为b通道上目标映射关系所表示的曲线的导数。
7.根据权利要求5所述的方法,其特征在于,至少一个样本图像为经过加雾处理得到的雾图,且至少一个样本图像为未经过加雾处理得到的非雾图,所述方法还包括:
在所述样本图像中确定感兴趣区域;
确定所述样本图像中所述感兴趣区域的亮度均值和亮度最大值以及背景区域的像素点的亮度均值,所述背景区域为所述样本图像中除所述感兴趣区域外的区域;
若所述感兴趣区域的亮度均值大于预设第一阈值且所述背景区域的亮度均值小于预设第二阈值且所述感兴趣区域的亮度最大值大于预设第三阈值,则所述样本图像的亮度类型为第一亮度类型;
若所述感兴趣区域的亮度均值大于预设第四阈值且所述背景区域的亮度均值大于预设第五阈值且所述感兴趣区域的亮度最大值大于预设第六阈值,则所述样本图像的亮度类型为第二亮度类型,其中,所述预设第一阈值小于所述预设第四阈值,所述预设第二阈值小于所述预设第五阈值,所述预设第三阈值大于所述预设第六阈值;
若所述样本图像为非雾图且所述样本图像的亮度类型为所述第一亮度类型或所述第二亮度类型时,的取值为预设第三权重值;若所述样本图像为非雾图,且所述样本图像的亮度类型不为所述第一亮度类型且不为所述第二亮度类型时,/>的取值为0。
8.根据权利要求7所述的方法,其特征在于,根据以下方式确定所述样本图像的亮度类型:
;
其中,,/>为所述感兴趣区域的亮度均值与所述背景区域的亮度均值的差,/>为所述感兴趣区域的亮度均值,/>为所述背景区域的亮度均值,/>为所述感兴趣区域的亮度最大值,/>为所述预设第一阈值,/>为所述预设第二阈值,/>为所述预设第三阈值,/>为所述预设第四阈值,/>为所述预设第五阈值,/>为所述预设第六阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410277084.7A CN117893455B (zh) | 2024-03-11 | 2024-03-11 | 图像亮度和对比度调整方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410277084.7A CN117893455B (zh) | 2024-03-11 | 2024-03-11 | 图像亮度和对比度调整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117893455A CN117893455A (zh) | 2024-04-16 |
CN117893455B true CN117893455B (zh) | 2024-06-04 |
Family
ID=90642530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410277084.7A Active CN117893455B (zh) | 2024-03-11 | 2024-03-11 | 图像亮度和对比度调整方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117893455B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118247181B (zh) * | 2024-05-28 | 2024-08-02 | 杭州海康威视数字技术股份有限公司 | 图像复原模型训练方法、电子设备和图像复原方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657594A (zh) * | 2017-09-22 | 2018-02-02 | 武汉大学 | 一种高质量的快速色调映射方法和系统 |
CN112804943A (zh) * | 2018-10-03 | 2021-05-14 | 株式会社岛津制作所 | 学习完成模型的制作方法、亮度调整方法以及图像处理装置 |
CN114742907A (zh) * | 2021-12-27 | 2022-07-12 | 中煤科工开采研究院有限公司 | 图像增强方法、装置、电子设备和计算机可读存储介质 |
CN115526803A (zh) * | 2022-10-14 | 2022-12-27 | 中国石油大学(华东) | 非均匀光照图像增强方法、系统、存储介质及设备 |
CN116167926A (zh) * | 2021-11-25 | 2023-05-26 | 北京极感科技有限公司 | 一种模型训练方法及对比度调整方法 |
CN116645296A (zh) * | 2023-06-20 | 2023-08-25 | 中南大学 | 一种零参考样本下的非均匀低光照图像增强方法及系统 |
CN117094903A (zh) * | 2023-07-12 | 2023-11-21 | 内蒙古工业大学 | 一种基于颜色损失的亮度矫正灰度化方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9064459B2 (en) * | 2007-06-29 | 2015-06-23 | Samsung Electronics Co., Ltd. | Display apparatus and brightness adjusting method thereof |
-
2024
- 2024-03-11 CN CN202410277084.7A patent/CN117893455B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657594A (zh) * | 2017-09-22 | 2018-02-02 | 武汉大学 | 一种高质量的快速色调映射方法和系统 |
CN112804943A (zh) * | 2018-10-03 | 2021-05-14 | 株式会社岛津制作所 | 学习完成模型的制作方法、亮度调整方法以及图像处理装置 |
CN116167926A (zh) * | 2021-11-25 | 2023-05-26 | 北京极感科技有限公司 | 一种模型训练方法及对比度调整方法 |
CN114742907A (zh) * | 2021-12-27 | 2022-07-12 | 中煤科工开采研究院有限公司 | 图像增强方法、装置、电子设备和计算机可读存储介质 |
CN115526803A (zh) * | 2022-10-14 | 2022-12-27 | 中国石油大学(华东) | 非均匀光照图像增强方法、系统、存储介质及设备 |
CN116645296A (zh) * | 2023-06-20 | 2023-08-25 | 中南大学 | 一种零参考样本下的非均匀低光照图像增强方法及系统 |
CN117094903A (zh) * | 2023-07-12 | 2023-11-21 | 内蒙古工业大学 | 一种基于颜色损失的亮度矫正灰度化方法 |
Non-Patent Citations (2)
Title |
---|
The exposure method for digital microscopic image;Xin Po Wang et al;《IEEE Conference Anthology 》;20231231;全文 * |
基于改进MSR的锂电池X射线图像增强算法_;钱玉洋等;《电子测量技术》;20220531;第45卷(第9期);113-120 * |
Also Published As
Publication number | Publication date |
---|---|
CN117893455A (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117893455B (zh) | 图像亮度和对比度调整方法 | |
WO2022141178A1 (zh) | 图像处理方法及装置 | |
CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
CN111062876B (zh) | 用于校正模型训练和图像校正的方法和装置及电子设备 | |
CN109584179A (zh) | 一种卷积神经网络模型生成方法及图像质量优化方法 | |
CN112241976A (zh) | 一种训练模型的方法及装置 | |
CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
CN113222866B (zh) | 灰度图像增强方法、计算机可读介质及计算机系统 | |
CN115442575B (zh) | 一种基于视频质量评估的视频自适应传输方法及系统 | |
CN110809126A (zh) | 一种基于自适应可变形卷积的视频帧插值方法及系统 | |
CN112070682A (zh) | 图像亮度补偿的方法和装置 | |
CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
CN112561818B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
CN114429476A (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
CN117974420A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN117911370A (zh) | 一种皮肤图像质量评估方法、装置、电子设备及存储介质 | |
CN117151998A (zh) | 一种基于支持向量回归的图像光照校正方法 | |
CN116363015A (zh) | 一种基于Retinex理论和卷积神经网络的低照度图像增强方法 | |
CN114372941B (zh) | 一种低光照图像增强方法、装置、设备及介质 | |
CN116051421A (zh) | 基于多维度的内窥镜图像质量评价方法、装置、设备及介质 | |
CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN115187545A (zh) | 高空间分辨率遥感图像的处理方法、系统及存储介质 | |
CN107680068A (zh) | 一种考虑图像自然度的数字图像增强方法 | |
US20230061884A1 (en) | Control method of image signal processor and control device for performing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |