CN118015104A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN118015104A CN118015104A CN202211383087.6A CN202211383087A CN118015104A CN 118015104 A CN118015104 A CN 118015104A CN 202211383087 A CN202211383087 A CN 202211383087A CN 118015104 A CN118015104 A CN 118015104A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- tone mapping
- processed
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 292
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 61
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 235000019557 luminance Nutrition 0.000 description 154
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000012216 screening Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。所述方法包括:获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的亮度不同于所述第一图像的亮度;确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。采用本方法能够准确对图像的亮度进行调整。
Description
技术领域
本申请涉及影像技术,特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
随着影像技术的发展,出现了色调映射算法。色调映射算法通过对图像颜色进行映射变换,能够调整图像的亮度,使得处理后的图像看起来更加舒适。然而,传统的色调映射容易导致图像在某些区域可能提亮过度或者提亮不足。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,可以避免图像中各区域色调不均匀的问题。
一种图像处理方法,所述方法包括:
获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的亮度不同于所述第一图像的亮度;
确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;
根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;
基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
一种图像处理装置,所述装置包括:
获取模块,用于获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的图像亮度不同于所述第一图像的图像亮度;
区域确定模块,用于确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;
关系确定模块,用于根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;
映射模块,用于基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的亮度不同于所述第一图像的亮度;确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的亮度不同于所述第一图像的亮度;确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的亮度不同于所述第一图像的亮度;确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
上述图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,通过获取基于第一图像生成的待处理图像,该待处理图像的亮度不同于第一图像的亮度,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,以根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系,从而能够通过色调映射关系体现相对应的两个区域在色调上的差异。基于色调映射关系,对待处理图像进行全局色调映射,以对待处理图像的色调进行补偿,使得待处理图像的亮度与第一图像的亮度保持一致,可以减少图像中各局部区域之间的亮度差异,避免了待处理图像中局部区域过于暗局部区域过于亮的问题,从而获得各区域色调均匀的目标图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中图像处理方法的流程图;
图3为另一个实施例中图像处理方法的流程图;
图4为一个实施例中进行全局色调映射的界面示意图;
图5为一个实施例中计算第一区域对应的第一亮度均值的流程图;
图6为一个实施例中第一灰度图像中的人脸矩形框的界面示意图;
图7为一个实施例中掩膜图像的示意图;
图8为一个实施例中计算第二区域对应的第二亮度均值的流程图;
图9为一个实施例中计算色调映射函数的参数的流程示意图;
图10为一个实施例中色调映射函数的曲线示意图;
图11为一个实施例中图像处理装置的结构框图;
图12为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
本申请实施例提供的图像处理方法,可以应用于如图1所示的应用环境中。如图1所示,该应用环境包括电子设备102和服务器104。其中,电子设备102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。在一个实施例中,电子设备102和服务器104均可以单独执行图像处理方法,电子设备102和服务器104也可以协同执行图像处理方法。当电子设备102和服务器104协同执行该图像处理方法时,电子设备102获取待处理图像并发送给服务器104,该待处理图像基于第一图像生成,待处理图像的亮度不同于第一图像的亮度。服务器104确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,服务器104根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系。服务器104基于色调映射关系,对待处理图像进行全局色调映射,得到目标图像。其中,电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像处理方法,以该方法应用于图1中的电子设备为例进行说明,包括以下步骤:
步骤202,获取待处理图像,待处理图像基于第一图像生成,待处理图像的亮度不同于第一图像的亮度。
其中,待处理图像可以是高动态范围图像(High-Dynamic Range,简称HDR),具体可以是RGB(Red,Green,Blue)图像、RAW图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。其中,RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。YUV图像中的“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。第一图像可以是RGB图像、RAW图像、灰度图像、深度图像、YUV图像中的任意一种。
第一图像可以是对任意场景采集得到的图像,例如人物、动物图像、风景图像或工业器件图像等,但不限于此。第一图像和待处理图像是相同场景的图像,待处理图像基于第一图像生成。
在可选实施例中,第一图像可以是预览图像,待处理图像是基于预览图像生成的图像。
可以理解的是,待处理图像和第一图像可以是完整的图像,也可以是完整图像中的部分图像区域。
待处理图像的亮度不同于第一图像的亮度,指的是待处理图像中像素的亮度值不同于第一图像中像素的亮度值,具体可以是待处理图像中至少一个像素对应的亮度值不同于第一图像中相应像素的亮度值。
具体地,电子设备通过摄像头对任意场景进行图像采集,得到第一图像,基于第一图像生成待处理图像。该待处理图像的亮度不同于第一图像的亮度。
步骤204,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域。
其中,第一区域可以是第一图像中的感兴趣区域,可称为第一感兴趣区域。第二区域指的是待处理图像中与第一区域对应的区域,即待处理图像中与第一感兴趣区域对应的第二感兴趣区域。
其中,感兴趣区域指的是,感兴趣区域具体可以是面部区域、非面部区域、肢体区域、前景区域、背景区域等,但不限于此。
具体地,电子设备可确定第一图像中的感兴趣区域,将第一图像中的感兴趣区域作为第一区域。电子设备可确定待处理图像中与第一区域相匹配的区域,即可获得待处理图像中的第二区域。进一步地,电子设备将第一区域中的像素与待处理图像中的各像素进行匹配处理,待处理图像中与第二区域所包括的像素相匹配的各像素形成的区域即为第二区域。
本实施例中,电子设备可确定第一图像中的任意区域作为第一区域,并在待处理图像中,确定与第一区域相匹配的区域为第二区域。
本实施例中,电子设备可根据第一图像的图像类型,确定该第一图像中的第一区域。第一图像的类型可以是面部图像类型或非面部图像类型,面部图像类型指的是图像中包含面部图像,非面部图像类型指的是图像中不包括面部图像。
本实施例中,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,包括:确定第一图像中的第一区域和第一区域对应的掩膜图像,并根据掩膜图像确定待处理图像中与第一区域对应的第二区域。
其中,掩膜图像即mask图,是用于识别图像中的对象的图像滤镜模板,可以遮挡图像的其他部分,筛选出图像中的对象。本实施例中,第一区域对应的掩膜图像,可以表示出第一区域在待处理图像中的位置。通过掩膜图像可以在待处理图像中筛选出与第一区域对应的第二区域。
本实施例中,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,包括:确定第一图像对应的第一灰度图像,并确定第一灰度图像中的第一区域;确定待处理图像对应的第二灰度图像,并确定第二灰度图像中与第一区域对应的第二区域。
步骤206,根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系。
其中,色调映射关系表征第一区域和第二区域在亮度上的转换关系。通过色调映射关系,可以将第一区域的亮度和第二区域的亮度进行相互映射,使得第一区域的亮度与第二区域的亮度保持一致,或者使得第二区域的亮度与第一区域的亮度保持一致。
第一区域和第二区域之间的色调映射关系,可以用于表征第一图像和待处理图像之间的色调映射关系。
具体地,电子设备确定第一区域内的各像素分别对应的亮度值,以及第二区域内的各像素分别对应的亮度值,根据第一区域内各像素的亮度值和第二区域内各像素的亮度值,确定第一区域和第二区域之间的色调映射关系。
步骤208,基于色调映射关系,对待处理图像进行全局色调映射,得到目标图像。
具体地,电子设备确定待处理图像中各像素分别对应的亮度值,基于色调映射关系对各像素的亮度值分别进行色调映射,以对待处理图像进行全局色调映射,得到目标图像。
本实施例中,色调映射关系可以通过目标色调映射函数表征,电子设备将待处理图像的各像素的亮度值代入目标色调映射函数,得到各像素分别对应的目标亮度值。各像素和对应的目标亮度值形成目标图像。
本实施例中,确定待处理图像中像素的最小亮度值和最大亮度值,将最小亮度值、最大亮度值和各像素的亮度值代入目标色调映射函数,得到各像素分别对应的目标亮度值,以形成目标图像。
其他实施例中,电子设备确定待处理图像中各像素在亮度通道上分别对应的亮度值,基于色调映射关系对各像素在亮度通道上的亮度值分别进行色调映射,以对待处理图像进行全局色调映射,得到目标图像。其中,亮度通道可以包括YUV图像中的“Y”通道。
上述图像处理方法中,获取基于第一图像生成的待处理图像,该待处理图像的亮度不同于第一图像的亮度,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,以根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系,从而能够通过色调映射关系体现相对应的两个区域在色调上的差异。基于色调映射关系,对待处理图像进行全局色调映射,以对待处理图像的色调进行补偿,使得待处理图像的亮度与第一图像的亮度保持一致,可以减少图像中各局部区域之间的亮度差异,避免了待处理图像中局部区域过于暗局部区域过于亮的问题,从而获得各区域色调均匀的目标图像。
在一个实施例中,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,包括:
在第一图像包括面部图像的情况下,确定第一图像中的第一面部区域;第一面部区域表征第一图像中的第一区域;确定待处理图像中与第一面部区域对应的第二面部区域,第二面部区域表征待处理图像中的第二区域。
具体地,电子设备可对第一图像进行面部识别,在第一图像包括面部图像的情况下,确定第一图像中的第一面部区域。电子设备可在待处理图像中确定与第一面部区域相匹配的面部区域,作为待处理图像的第二面部区域。
第一图像中的第一区域通过第一面部区域表征,待处理图像中的第二区域通过第二面部区域表征。
进一步地,电子设备在确定第一图像中的第一面部区域后,确定第一面部区域对应的掩膜图像,根据掩膜图像在待处理图像中确定与第一面部区域对应的第二面部区域。
本实施例中,在第一图像和待处理图像属于人脸图像的情况下,第一面部区域为第一人脸区域,第二面部区域为第二人脸区域。即在第一图像属于人脸图像的情况下,确定第一图像中的第一人脸区域,并确定待处理图像中与第一人脸区域对应的第二人脸区域。第一人脸区域作为第一图像中的第一区域,第二人脸区域作为待处理图像中的第二区域。
本实施例中,在第一图像包括面部图像的情况下,确定第一图像中的第一面部区域,并确定待处理图像中与第一面部区域对应的第二面部区域,第一面部区域和第二面部区域作为图像中的主体,使得能够根据第一面部区域内的像素和第二面部区域内的像素计算色调映射关系,所得到的色调映射关系更具有代表性,从而使用由主体区域计算获得的色调映射关系对待处理图像进行更准确的全局色调映射,能够获得色调均匀的目标图像。
在一个实施例中,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,包括:
在第一图像不包括面部图像的情况下,确定第一图像中处于预设亮度范围内的各像素所形成的第一区域;确定待处理图像中与第一区域对应的第二区域。
其中,预设亮度范围是预先设置的包含预设最大值和预设最小值所形成的亮度范围。
具体地,电子设备可对第一图像进行面部识别,在第一图像不包括面部图像的情况下,获取预设亮度范围。电子设备确定第一图像中各像素对应的亮度值,并将各亮度值和预设亮度范围进行比较,筛选出处于预设亮度范围内的各亮度值所对应的像素,将处于预设亮度范围内的各像素所形成区域作为第一区域。
进一步地,电子设备在确定第一图像中的第一区域后,确定第一区域对应的掩膜图像,根据掩膜图像在待处理图像中确定与第一区域对应的第二区域。
本实施例中,预设亮度范围用于筛选出第一图像中的中间亮度区域,则第一区域为第一图像中的中间亮度区域,以排除第一图像中过暗区域和过曝区域的干扰。
本实施例中,在第一图像不包括面部图像的情况下,确定第一图像中处于预设亮度范围内的各像素所形成的第一区域,确定待处理图像中与第一区域对应的第二区域,从而能够筛查出具有特定亮度的区域,从而基于具有特定亮度的区域准确计算出色调映射关系,从而根据色调映射关系对待处理图像进行更准确的全局色调映射,以获得色调均匀的目标图像。
当预设亮度范围用于筛选出第一图像中的中间亮度区域时,排除第一图像中过暗区域和过曝区域的干扰,则使用中间亮度区域和对应的第二区域所计算得到的色调映射关系更具有代表性,经过该色调映射关系能够更精准地进行全局色调映射。
在一个实施例中,根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系,包括:
根据第一区域内的各像素分别对应的亮度值,确定第一区域对应的第一亮度值;根据第二区域内的各像素分别对应的亮度值,确定第二区域对应的第二亮度值;基于第一亮度值和第二亮度值,确定第一区域和第二区域之间的色调映射关系。
其中,第一亮度值可以是第一区域中各像素的亮度之和、各像素的亮度均值、部分像素的亮度均值、最大亮度值、最小亮度值或中间亮度值。第二亮度值可以是第二区域中各像素的亮度之和、各像素的亮度均值、部分像素的亮度均值、最大亮度值、最小亮度值或中间亮度值。
具体地,电子设备确定第一区域内的各像素,并确定各像素分别对应的亮度值。根据各像素的亮度值,确定亮度之和、亮度均值、最大亮度值、最小亮度值或中间亮度值中的至少一种,将亮度之和、亮度均值、最大亮度值、最小亮度值或中间亮度值中的至少一种作为第一区域对应的第一亮度值。其中,第一区域内的各像素可以是第一区域内的所有像素,也可以是从所有像素中选择的预设数量的亮度,还可以是关键位置所对应的像素。关键位置例如第一区域中表征轮廓的位置,第一区域的中心位置等,第一区域为面部区域时,关键位置还可以是面部关键点的位置。
电子设备确定第二区域内的各像素,并确定各像素分别对应的亮度值。根据各像素的亮度值,确定亮度之和、亮度均值、最大亮度值、最小亮度值或中间亮度值中的至少一种,将亮度之和、亮度均值、最大亮度值、最小亮度值或中间亮度值中的至少一种作为第二区域对应的第二亮度值。其中,第二区域内的各像素可以是第二区域内的所有像素,也可以是从所有像素中选择的预设数量的亮度,还可以是关键位置所对应的像素。关键位置例如第二区域中表征轮廓的位置,第二区域的中心位置等,第二区域为面部区域时,关键位置还可以是面部关键点的位置。
本实施例中,根据第一区域内的各像素分别对应的亮度值,确定第一区域对应的第一亮度值,包括:确定第一区域内各像素的亮度值之和,以及第一区域中各像素的第一数量;根据亮度值之和,与第一数量,确定第一区域中各像素的第一亮度均值;
根据第二区域内的各像素分别对应的亮度值,确定第二区域对应的第二亮度值,包括:确定第二区域内各像素的亮度值之和,以及第二区域中各像素的的第二数量;根据亮度值之和,与第二像素数量,确定第二区域中各像素的第二亮度均值。
本实施例中,根据第一区域内的各像素分别对应的亮度值,确定第一区域对应的第一亮度值,根据第二区域内的各像素分别对应的亮度值,确定第二区域对应的第二亮度值,能够基于第一亮度值和第二亮度值,准确确定出第一区域和第二区域之间的色调映射关系,从而能够通过色调映射关系准确表示第一区域和第二区域在亮度上的关系。
在一个实施例中,基于第一亮度值和第二亮度值,确定第一区域和第二区域之间的色调映射关系,包括:
获取色调映射损失函数,基于第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,得到目标色调映射系数;获取预设色调映射函数,根据目标色调映射系数和预设色调映射函数,确定第一区域和第二区域之间的色调映射关系。
具体地,电子设备获取色调映射损失函数,该色调映射损失函数是预先设置的用于计算不同区域或不同图像之间的色调损失。该色调损失具体可以是亮度损失。
该色调映射损失函数中包括待求解的色调映射系数,基于第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,得到目标候选色调映射系数。
进一步地,电子设备获取待求解的色调映射系数对应的多个候选色调映射系数,根据多个候选色调映射系数、第一亮度值、第二亮度值和色调映射损失函数进行迭代处理,以从多个候选色调映射系数中筛选出目标候选色调映射系数。
预设色调映射函数中包括待求解的色调映射系数,将目标色调映射系数替换预设色调映射函数中的待求解的色调映射系数,即可得到目标色调映射函数,该目标色调映射函数即为第一区域和第二区域之间的色调映射关系。
本实施例中,确定待处理图像中像素的最小亮度值和最大亮度值,基于最小亮度值、最大亮度值、第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,得到目标色调映射系数。
本实施例中,获取色调映射损失函数,基于第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,以准确计算出目标色调映射系数。目标色调映射系数是根据第一区域和第二区域之间的亮度差异确定的,获取预设色调映射函数,根据目标色调映射系数和预设色调映射函数,可以准确确定出能够用于对第一区域和第二区域之间的亮度进行相互映射的色调映射关系,从而通过色调映射关系能够准确对待处理图像的亮度进行补偿。
在一个实施例中,基于第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,得到目标色调映射系数,包括:
根据待处理图像中像素的最小亮度值和最大亮度值,确定多个候选色调映射系数;针对每个候选色调映射系数,将最小亮度值、最大亮度值、第一亮度值、第二亮度值和候选色调映射系数代入色调映射损失函数,以计算第一区域和第二区域之间的损失值,得到候选色调映射系数对应的损失值;将各损失值中满足损失条件的损失值所对应的候选色调映射系数,作为目标色调映射系数。
其中,损失值能够表征第一区域和第二区域在亮度上的差异。损失值越小,表示差异越小,损失值越大表示差异越大。
具体地,电子设备确定待处理图像中各像素的亮度值,并确定最小亮度值和最大亮度值。根据最小亮度值、最大亮度值、以及处于最小亮度值和最大亮度值之间的各亮度值,确定多个候选色调映射系数。例如,待处理图像中像素的最小亮度值为0,最大亮度值为255,将[0,255]中每个整数作为候选色调映射系数。
将最小亮度值、最大亮度值、第一亮度值、第二亮度值和一个候选色调映射系数代入色调映射损失函数,得到第一区域和第二区域之间的损失值,该损失值即为该一个候选色调映射系数所对应的损失值。按照相同的处理,可得到每个候选色调映射系数分别对应的损失值。
例如,在色调映射损失函数中,将第二亮度值与候选色调映射系数之和的对数,以及最小亮度值与候选色调映射系数之和的对数这两个对数的差值作为分子,将最大亮度值与候选色调映射系数之和的对数,以及最小亮度值与候选色调映射系数之和的对数这两个对数的差值作为分母,将分母和分子所形成的分数的绝对值作为该候选色调映射系数对应的损失值。
电子设备获取损失条件,从各损失值中筛选出满足损失条件的损失值,将满足损失条件的损失值所对应的候选色调映射系数,作为目标色调映射系数。
当存在多个满足损失条件的损失值的情况下,可以从中选择任意一个损失值所对应的候选色调映射系数作为目标色调映射系数。
其中,满足损失条件可以是损失值最小,还可以是损失值小于或等于损失阈值。例如,从各损失值中筛选出最小的损失值所对应的候选色调映射系数,作为目标色调映射系数。
本实施例中,根据待处理图像中像素的最小亮度值和最大亮度值,确定多个候选色调映射系数,以针对每个候选色调映射系数,将最小亮度值、最大亮度值、第一亮度值、第二亮度值和候选色调映射系数代入色调映射损失函数,从而能够计算第一区域和第二区域之间的损失值,得到候选色调映射系数对应的损失值,从而能够通过损失值表征第一区域和第二区域在亮度上的差异。并且,每个候选色调映射系数对应的损失值,表示第一区域和第二区域在使用各个候选色调映射系数时,在亮度上对应的不同差异。将各损失值中满足损失条件的损失值所对应的候选色调映射系数,作为目标色调映射系数,能够基于多个损失值筛选出使得第一区域和第二区域之间的亮度差异降低甚至达到最小亮度差异的目标色调映射系数,从而使得基于目标色调映射系数形成的色调映射关系能够更准确地对图像进行色调映射。
在一个实施例中,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,包括:
确定第一图像对应的第一灰度图像,并确定第一灰度图像中的第一区域和第一区域对应的掩膜图像;确定待处理图像对应的第二灰度图像,并根据掩膜图像确定第二灰度图像中与第一区域对应的第二区域。
其中,第一区域对应的掩膜图像,可以表示出第一区域在待处理图像或第一灰度图像中的位置。通过掩膜图像可以在待处理图像或第二灰度图像中筛选出与第一区域对应的第二区域。
具体地,电子设备根据第一图像的各像素,生成第一图像的第一灰度图像。进一步地,电子设备确定第一图像中各像素分别在各个颜色通道上的颜色值,根据各像素在各个颜色通道上的颜色值,生成第一灰度图像。例如,对于第一图像中的每个像素,对单个像素在各个颜色通道上的颜色值求均值,得到每个像素的像素均值,各像素均值即形成第一灰度图像。各个颜色通道包括红色通道、绿色通道和蓝色通道。
电子设备可确定第一灰度图像中的感兴趣区域作为第一区域,或者确定第一图像中的任意区域作为第一区域,或者根据第一图像的图像类型确定第一区域。电子设备确定第一区域在第一灰度图像中的掩膜图像。例如,将第一灰度图像中的第一区域的所有像素的像素值设置为最大值,将第一区域以外的所有像素的像素值设置为最小值,即可得到对应的掩膜图像。
电子设备根据待处理图像的各像素,生成待处理图像的第二灰度图像。进一步地,电子设备确定待处理图像中各像素分别在各个颜色通道上的颜色值,根据各像素在各个颜色通道上的颜色值,生成第二灰度图像。例如,对于待处理图像中的每个像素,对单个像素在各个颜色通道上的颜色值求均值,得到每个像素的像素均值,各像素均值即形成第二灰度图像。
电子设备可基于该掩膜图像遮挡第二灰度图像中除第二区域以外的其余区域,以筛选出第二灰度图像中的第二区域。
本实施例中,确定第一图像对应的第一灰度图像和确定待处理图像对应的第二灰度图像,能够降低后续处理的计算量,提高处理速度。确定第一灰度图像中的第一区域和第一区域对应的掩膜图像,从而能够根据掩膜图像准确确定出与第一区域对应的第二区域在第二灰度图像中位置,从而准确获得第二区域。
在一个实施例中,待处理图像基于第一图像和第二图像生成,第一图像的曝光时间大于第二图像的曝光时间。
具体地,电子设备可通过摄像头对任意场景进行图像采集,得到一张第一图像。在获得第一图像后,电子设备可缩短摄像头的曝光时间并对相同场景进行图像采集,得到第二图像。电子设备将第一图像和第二图像进行融合处理,得到待处理图像。
本实施例中,第一图像和第二图像均为预览图像,第一图像的曝光时间大于第二图像的曝光时间。具体地,电子设备可通过摄像头对任意场景进行预览,获得预览的第一图像。在获得预览的第一图像后,缩短摄像头的曝光时间并对相同场景进行图像进行预览,获得预览的第二图像。
本实施例中,待处理图像基于第一图像和第二图像生成,第一图像的曝光时间大于第二图像的曝光时间,即第一图像为正常曝光图像,第二图像为欠曝光图像,欠曝光图像的曝光时间短则图像中的高亮区域不容易出现过度曝光的现象,使得基于第一图像和第二图像生成的待处理图像中的高亮区域可以呈现更多的细节信息,从而获得更清晰的图像。
在一个实施例中,获取待处理图像,包括:
通过摄像头进行图像预览,获得预览的第一图像;在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,得到待处理图像。
具体地,电子设备通过摄像头进行图像预览,得到预览的第一图像。电子设备进行图像预览时,判断预览图像是否存在过度曝光的情况,在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,得到待处理图像。
本实施例中,在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,得到待处理图像,包括:在第一图像过度曝光的情况下,确定第一图像中的各像素的亮度值分别与曝光参数的比值,得到待处理图像。
例如,在预览的第一图像过度曝光的情况下,为了让生成的图像不过曝,将预览的第一图像的曝光线性减少N倍,若曝光参数DRC(Dynamic Range Compression)=3,即将图像曝光减少3倍以防止图像过曝,从而得到不过曝光的待处理图像。例如,待处理图像的各像素的亮度值为value_DRC_EV0,则value_DRC_EV0=1/DRC*value_EV0,其中,value_EV0为第一图像中的各像素的亮度值。
本实施例中,通过摄像头进行图像预览,获得预览的第一图像;在第一图像过度曝光的情况下,调整摄像头的曝光参数,并基于调整后的摄像头进行图像采集,得到待处理图像。
本实施例中,通过摄像头进行图像预览,获得预览的第一图像,在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,使得能够基于曝光参数调整第一图像中过曝的区域,从而获得不过度曝光的待处理图像。
在一个实施例中,提供了一种图像处理方法,应用于电子设备,包括:
基于预览的第一图像和预览的第二图像生成待处理图像,第一图像的曝光时间大于第二图像的曝光时间;待处理图像的亮度不同于第一图像的亮度。
可选地,通过摄像头进行图像预览,获得预览的第一图像;在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,得到待处理图像;待处理图像的亮度不同于第一图像的亮度。
接着,确定第一图像对应的第一灰度图像,以及确定待处理图像对应的第二灰度图像。
进一步地,在第一图像包括面部图像的情况下,确定第一灰度图像中的第一面部区域和第一面部区域对应的掩膜图像;第一面部区域表征第一灰度图像中的第一区域;根据掩膜图像确定第二灰度图像中与第一面部区域对应的第二面部区域,第二面部区域表征第二灰度图像中的第二区域。
可选地,在第一图像不包括面部图像的情况下,获取用于筛选出图像中的中间亮度区域的预设亮度范围;确定第一灰度图像中处于预设亮度范围内的各像素所形成的第一区域,以及该第一区域对应的掩膜图像;根据掩膜图像确定第一灰度图像中与第一区域对应的第二区域。
接着,根据第一区域内的各像素分别对应的亮度值,确定第一区域对应的第一亮度均值;根据第二区域内的各像素分别对应的亮度值,确定第二区域对应的第二亮度均值。
进一步地,根据待处理图像中像素的最小亮度值和最大亮度值,确定多个候选色调映射系数;针对每个候选色调映射系数,将最小亮度值、最大亮度值、第一亮度值、第二亮度值和候选色调映射系数代入色调映射损失函数,以计算第一区域和第二区域之间的损失值,得到候选色调映射系数对应的损失值;将各损失值中的最小损失值所对应的候选色调映射系数,作为目标色调映射系数。
进一步地,获取预设色调映射函数,根据目标色调映射系数和预设色调映射函数,确定第一区域和第二区域之间的色调映射关系。
接着,基于色调映射关系,对待处理图像进行全局色调映射,得到目标图像。
本实施例中,待处理图像基于正常曝光的第一图像和欠曝光的第二图像生成,第一图像的曝光时间大于第二图像的曝光时间,欠曝光图像的曝光时间短则图像中的高亮区域不容易出现过度曝光的现象,使得基于第一图像和第二图像生成的待处理图像中的高亮区域可以呈现更多的细节信息,从而获得更清晰的图像。
在第一图像包括面部图像的情况下,确定第一灰度图像中的第一面部区域,并确定能够表征第一面部区域在第一灰度图像中的位置的掩膜图像,以根据掩膜图像准确地确定第二灰度图像中与第一面部区域对应的第二面部区域,第一面部区域和第二面部区域作为图像中的主体,使得能够根据第一面部区域内各像素的亮度均值和第二面部区域内各像素的亮度均值计算色调映射关系,所得到的色调映射关系更具有代表性,从而使用由主体区域计算获得的色调映射关系对待处理图像进行更准确的全局色调映射,能够获得色调均匀的目标图像。
在第一图像不包括面部图像的情况下,获取用于筛选出图像中的中间亮度区域的预设亮度范围,以筛选出第一灰度图像和第二灰度图像中的中间亮度区域(即第一区域和第二区域),从而排除图像中过暗区域和过曝区域的干扰,则使用中间亮度区域的各像素的亮度均值所计算得到的色调映射关系更具有代表性,经过该色调映射关系能够更精准地进行全局色调映射。
并且,在计算色调映射关系时,根据待处理图像中像素的最小亮度值和最大亮度值确定多个候选色调映射系数,以针对每个候选色调映射系数,将最小亮度值、最大亮度值、第一亮度值、第二亮度值和候选色调映射系数代入色调映射损失函数,从而能够计算第一区域和第二区域之间的损失值,得到候选色调映射系数对应的损失值,从而能够通过损失值表征第一区域和第二区域在亮度上的差异。并且,每个候选色调映射系数对应的损失值,表示第一区域和第二区域在使用各个候选色调映射系数时,在亮度上对应的不同差异。将各损失值中最小损失值所对应的候选色调映射系数作为目标色调映射系数,损失值最小表示亮度差异最小,从而能够基于多个损失值筛选出使得第一区域和第二区域之间的亮度差异最小的目标色调映射系数,从而使得基于目标色调映射系数形成的色调映射关系能够更准确地对图像进行色调映射。
而基于色调映射关系对待处理图像进行全局色调映射,能够对待处理图像的色调进行补偿,使得待处理图像的亮度与预览图像的亮度保持一致,可以减少图像中各局部区域直接的亮度差异,避免了待处理图像中局部区域较暗局部区域较亮的问题,从而获得图像中各区域色调均匀的目标图像。
在一个实施例中,提供了一种图像处理方法,对HDR图像进行全局色调映射,使得HDR图像的亮度与预览的EV0图像的亮度对齐,HDR图像即待处理图像,EV0图像即第一图像,处理过程如图3所示,包括:
获取一张HDR图像,该HDR图像是通过正常曝光的EV0图像同欠曝光的EV-图像合成得到。欠曝光的EV-图像即第二图像。
若EV0图像非人像场景的图像,即不包括面部图像,则确定EV0图像中亮度值在预设亮度范围区间[m,n]内的各像素形成的第一区域,并计算第一区域对应的第一亮度均值value_EV0。其中,以预设亮度范围区间[m,n]确定第一区域的目的是为了截取EV0图像的中间亮度区域,以排除过暗区域和过曝区域的干扰。
EV0图像中处于[m,n]区间内的所有像素得到一个掩膜图像Mask,确定HDR图像在该Mask内的像素的亮度均值value_HDR,即根据掩膜图像Mask确定HDR图像中的第二区域,并确定第二区域对应的第二亮度均值value_HDR。
若EV0图像时人像场景的图像,即包括面部图像,确定EV0图像中的第一面部区域和表征第一面部区域在EV0图像中的位置的人脸框,并确定中的第一面部区域对应的第一亮度均值value_EV0。根据人脸框确定HDR图像中的第二面部区域,并确定第二面部区域对应的第二亮度均值value_HDR。
接着需要将value_HDR的亮度值映射到value_EV0,因此通过设计一个globaltonemapping色调映射函数f,通过计算该函数f的色调映射参数,使得value_EV0=f(value_HDR)。色调映射参数即色调映射系数。
将HDR图像的所有像素的亮度值用计算出色调映射参数后的global tonemapping色调映射函数f进行映射,就得到与EV0图像的亮度对齐后的目标HDR图像,即目标图像。
如图4所示,通过本实施例中的图像处理方法,对HDR图像进行全局色调映射,使得HDR图像的亮度与预览的EV0图像的亮度对齐。
如图5所示,为本实施例中计算EV0图像中的第一区域对应的第一亮度均值value_EV0的流程示意图。
步骤502,计算EV0图像的第一灰度图,第一灰度图中每个像素的灰度值具体计算方式如下:
其中,i为像素坐标。
若为人像场景,则执行步骤504,即获取如图6所示的第一灰度图像中的人脸矩形框,其中人脸矩形框为装置自动检测获取,并执行步骤506,即计算第一灰度图在人脸矩形框内像素的第一亮度均值。具体地,可计算人脸矩形框内像素的亮度值的总和SUM,同时计算人脸矩形框内的像素个数Count,则人脸框内的第一亮度均值value_EV0即为总和SUM和像素个数Count的比值,计算公式如下所示:
若非人像场景,则执行步骤508,即计算第一灰度图像中亮度值在预设亮度范围[m,n]内的第一区域和掩膜图像Mask。如图7所示,其中白色像素为Mask内的像素,黑色像素为Mask外的像素。其中,m和n为实验获取值,设定第一灰度图像最大亮度值为255,则m=0.1×255,n=0.5×255,其中m、n的设定是为了排除过暗和过亮像素的干扰。
执行步骤510,计算第一区域内像素的亮度值的总和SUM,同时计算第一区域内的像素个数Count,则第一区域的第一亮度均值value_EV0即为总和SUM和像素个数Count的比值,计算公式如下所示:
如图8所示,为本实施例中计算HDR图像中第二区域对应的第二亮度均值的流程示意图。
步骤502,计算HDR图像的第二灰度图,第二灰度图中每个像素的灰度值具体计算方式如下:
其中,i为像素坐标。
若为人像场景,则执行步骤804,即获取第二灰度图像中的人脸矩形框,其中人脸矩形框为装置自动检测获取,并执行步骤806,即计算第二灰度图在人脸矩形框内像素的第二亮度均值。具体地,可计算人脸矩形框内像素的亮度值的总和SUM,同时计算人脸矩形框内的像素个数Count,则人脸矩形框内的第二亮度均值value_HDR即为总和SUM和像素个数Count的比值,计算公式如下所示:
若非人像场景,则执行步骤808,即根据第一区域的掩膜图像,确定第二灰度图像中与第一区域对应的第二区域。
执行步骤510,计算第二区域内像素的亮度值的总和SUM,同时计算第二区域内的像素个数Count,则第二区域的第二亮度均值value_HDR即为总和SUM和像素个数Count的比值,计算公式如下所示:
如图9所示,为本实施例中计算global tonemapping色调映射函数f的参数的流程示意图。
1)首先初始化global tonemapping的预设色调映射函数,其中i为每个像素的坐标,min为HDR图像的最小亮度值,max为HDR图像的最大亮度值,param为下一步待求解的参数,即待求解的色调映射参数:
2)根据第一亮度均值value_EV0和第一亮度均值value_HDR计算第一步的参数param,需要先将value_EV0和value_HDR代入第一步的预设色调映射函数,得到如下函数:
3)通过迭代法求解参数param。迭代法具体计算方式为:若value_EV0=50,value_HDR=20,min=0,max=255,参数param从[0,255]中分别取整数作为候选色调映射系数,代入如下的色调映射损失函数,求得0到255每一个候选色调映射系数对应的损失值diff。选择损失值diff最小的候选色调映射系数作为param参数的值,例如当param=23的时候diff最小,那么通过多次迭代最终确定param=23。色调映射损失函数如下:
4)得到已知的param参数,就获得了global tonemapping的公式f,globaltonemapping函数f的曲线示意图如图10所示,横轴表示输入的亮度值,纵轴表示输出的亮度值。已知的param参数即为目标色调映射系数,将该目标色调映射系数代入第一步中的预设色调映射函数,即可得到目标色调映射函数,如下所示:
5)将目标色调映射函数应用到HDR图像上,获得全局色调映射后的HDR图像,即目标图像。其中Input[i]为输入的HDR图像的每个像素的亮度值,Output[i]为HDR图像每个像素经过全局色调映射后输出的亮度值。
本实施例中,设计了一种对高动态范围图像进行全局色调映射,使得高动态范围图像与预览图像的亮度,具体通过计算高动态范围图像中第一区域的平均亮度值value_HDR和预览图像中第二区域的平均亮度值value_EV0,并基于所设计的色调映射函数,准确地将高动态范围图像的亮度映射到预览图像的亮度,可以避免高动态范围图像中出现局部区域较亮局部区域较暗的情况,从而使得高动态范围图像的色调更均匀协调。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种图像处理装置1100,包括:获取模块1102、区域确定模块1104、关系确定模块1106和映射模块1108,其中:
获取模块1102,用于获取待处理图像,待处理图像基于第一图像生成,待处理图像的图像亮度不同于第一图像的图像亮度。
区域确定模块1104,用于确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域。
关系确定模块1106,用于根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系。
映射模块1108,用于基于色调映射关系,对待处理图像进行全局色调映射,得到目标图像。
本实施例中,获取基于第一图像生成的待处理图像,该待处理图像的亮度不同于第一图像的亮度,确定第一图像中的第一区域,并确定待处理图像中与第一区域对应的第二区域,以根据第一区域内的各像素和第二区域内的各像素,确定第一区域和第二区域之间的色调映射关系,从而能够通过色调映射关系体现相对应的两个区域在色调上的差异。基于色调映射关系,对待处理图像进行全局色调映射,以对待处理图像的色调进行补偿,使得待处理图像的亮度与第一图像的亮度保持一致,可以减少图像中各局部区域之间的亮度差异,避免了待处理图像中局部区域过于暗局部区域过于亮的问题,从而获得各区域色调均匀的目标图像。
在一个实施例中,该区域确定模块1104,还用于在第一图像包括面部图像的情况下,确定第一图像中的第一面部区域;第一面部区域表征第一图像中的第一区域;确定待处理图像中与第一面部区域对应的第二面部区域,第二面部区域表征待处理图像中的第二区域。
本实施例中,在第一图像包括面部图像的情况下,确定第一图像中的第一面部区域,并确定待处理图像中与第一面部区域对应的第二面部区域,第一面部区域和第二面部区域作为图像中的主体,使得能够根据第一面部区域内的像素和第二面部区域内的像素计算色调映射关系,所得到的色调映射关系更具有代表性,从而使用由主体区域计算获得的色调映射关系对待处理图像进行更准确的全局色调映射,能够获得色调均匀的目标图像。
在一个实施例中,该区域确定模块1104,还用于在第一图像不包括面部图像的情况下,确定第一图像中处于预设亮度范围内的各像素所形成的第一区域;
确定待处理图像中与第一区域对应的第二区域。
本实施例中,在第一图像不包括面部图像的情况下,确定第一图像中处于预设亮度范围内的各像素所形成的第一区域,确定待处理图像中与第一区域对应的第二区域,从而能够筛查出具有特定亮度的区域,从而基于具有特定亮度的区域准确计算出色调映射关系,从而根据色调映射关系对待处理图像进行更准确的全局色调映射,以获得色调均匀的目标图像。
当预设亮度范围用于筛选出第一图像中的中间亮度区域时,排除第一图像中过暗区域和过曝区域的干扰,则使用中间亮度区域和对应的第二区域所计算得到的色调映射关系更具有代表性,经过该色调映射关系能够更精准地进行全局色调映射。
在一个实施例中,关系确定模块1106,还用于根据第一区域内的各像素分别对应的亮度值,确定第一区域对应的第一亮度值;根据第二区域内的各像素分别对应的亮度值,确定第二区域对应的第二亮度值;基于第一亮度值和第二亮度值,确定第一区域和第二区域之间的色调映射关系。
本实施例中,根据第一区域内的各像素分别对应的亮度值,确定第一区域对应的第一亮度值,根据第二区域内的各像素分别对应的亮度值,确定第二区域对应的第二亮度值,能够基于第一亮度值和第二亮度值,准确确定出第一区域和第二区域之间的色调映射关系,从而能够通过色调映射关系准确表示第一区域和第二区域在亮度上的关系。
在一个实施例中,关系确定模块1106,还用于获取色调映射损失函数,基于第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,得到目标色调映射系数;获取预设色调映射函数,根据目标色调映射系数和预设色调映射函数,确定第一区域和第二区域之间的色调映射关系。
本实施例中,获取色调映射损失函数,基于第一亮度值和第二亮度值,对色调映射损失函数进行迭代处理,以准确计算出目标色调映射系数。目标色调映射系数是根据第一区域和第二区域之间的亮度差异确定的,获取预设色调映射函数,根据目标色调映射系数和预设色调映射函数,可以准确确定出能够用于对第一区域和第二区域之间的亮度进行相互映射的色调映射关系,从而通过色调映射关系能够准确对待处理图像的亮度进行补偿。
在一个实施例中,关系确定模块1106,还用于根据待处理图像中像素的最小亮度值和最大亮度值,确定多个候选色调映射系数;针对每个候选色调映射系数,将最小亮度值、最大亮度值、第一亮度值、第二亮度值和候选色调映射系数代入色调映射损失函数,以计算第一区域和第二区域之间的损失值,得到候选色调映射系数对应的损失值;将各损失值中满足损失条件的损失值所对应的候选色调映射系数,作为目标色调映射系数。
本实施例中,根据待处理图像中像素的最小亮度值和最大亮度值,确定多个候选色调映射系数,以针对每个候选色调映射系数,将最小亮度值、最大亮度值、第一亮度值、第二亮度值和候选色调映射系数代入色调映射损失函数,从而能够计算第一区域和第二区域之间的损失值,得到候选色调映射系数对应的损失值,从而能够通过损失值表征第一区域和第二区域在亮度上的差异。并且,每个候选色调映射系数对应的损失值,表示第一区域和第二区域在使用各个候选色调映射系数时,在亮度上对应的不同差异。将各损失值中满足损失条件的损失值所对应的候选色调映射系数,作为目标色调映射系数,能够基于多个损失值筛选出使得第一区域和第二区域之间的亮度差异降低甚至达到最小亮度差异的目标色调映射系数,从而使得基于目标色调映射系数形成的色调映射关系能够更准确地对图像进行色调映射。
在一个实施例中,该区域确定模块1104,还用于确定第一图像对应的第一灰度图像,并确定第一灰度图像中的第一区域和第一区域对应的掩膜图像;确定待处理图像对应的第二灰度图像,并根据掩膜图像确定第二灰度图像中与第一区域对应的第二区域。
本实施例中,确定第一图像对应的第一灰度图像和确定待处理图像对应的第二灰度图像,能够降低后续处理的计算量,提高处理速度。确定第一灰度图像中的第一区域和第一区域对应的掩膜图像,从而能够根据掩膜图像准确确定出与第一区域对应的第二区域在第二灰度图像中位置,从而准确获得第二区域。
在一个实施例中,待处理图像基于第一图像和第二图像生成,第一图像的曝光时间大于第二图像的曝光时间。
本实施例中,待处理图像基于第一图像和第二图像生成,第一图像的曝光时间大于第二图像的曝光时间,即第一图像为正常曝光图像,第二图像为欠曝光图像,欠曝光图像的曝光时间短则图像中的高亮区域不容易出现过度曝光的现象,使得基于第一图像和第二图像生成的待处理图像中的高亮区域可以呈现更多的细节信息,从而获得更清晰的图像。
在一个实施例中,获取模块1102,还用于通过摄像头进行图像预览,获得预览的第一图像;在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,得到待处理图像。
通过摄像头进行图像预览,获得预览的第一图像,在第一图像过度曝光的情况下,基于曝光参数对第一图像进行动态范围压缩处理,使得能够基于曝光参数调整第一图像中过曝的区域,从而获得不过度曝光的待处理图像。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是电子设备或服务器,以电子设备为例,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory,MRAM)、铁电存储器(Ferroelectric RandomAccess Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccess Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的亮度不同于所述第一图像的亮度;
确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;
根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;
基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域,包括:
在所述第一图像包括面部图像的情况下,确定所述第一图像中的第一面部区域;所述第一面部区域表征所述第一图像中的第一区域;
确定所述待处理图像中与所述第一面部区域对应的第二面部区域,所述第二面部区域表征所述待处理图像中的第二区域。
3.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域,包括:
在所述第一图像不包括面部图像的情况下,确定所述第一图像中处于预设亮度范围内的各像素所形成的第一区域;
确定所述待处理图像中与所述第一区域对应的第二区域。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系,包括:
根据所述第一区域内的各像素分别对应的亮度值,确定所述第一区域对应的第一亮度值;
根据所述第二区域内的各像素分别对应的亮度值,确定所述第二区域对应的第二亮度值;
基于所述第一亮度值和所述第二亮度值,确定所述第一区域和所述第二区域之间的色调映射关系。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一亮度值和所述第二亮度值,确定所述第一区域和所述第二区域之间的色调映射关系,包括:
获取色调映射损失函数,基于所述第一亮度值和所述第二亮度值,对所述色调映射损失函数进行迭代处理,得到目标色调映射系数;
获取预设色调映射函数,根据所述目标色调映射系数和所述预设色调映射函数,确定所述第一区域和所述第二区域之间的色调映射关系。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一亮度值和所述第二亮度值,对所述色调映射损失函数进行迭代处理,得到目标色调映射系数,包括:
根据所述待处理图像中像素的最小亮度值和最大亮度值,确定多个候选色调映射系数;
针对每个所述候选色调映射系数,将所述最小亮度值、所述最大亮度值、所述第一亮度值、所述第二亮度值和所述候选色调映射系数代入所述色调映射损失函数,以计算所述第一区域和所述第二区域之间的损失值,得到所述候选色调映射系数对应的损失值;
将各损失值中满足损失条件的损失值所对应的候选色调映射系数,作为目标色调映射系数。
7.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域,包括:
确定所述第一图像对应的第一灰度图像,并确定所述第一灰度图像中的第一区域和所述第一区域对应的掩膜图像;
确定所述待处理图像对应的第二灰度图像,并根据所述掩膜图像确定所述第二灰度图像中与所述第一区域对应的第二区域。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述待处理图像基于第一图像和第二图像生成,所述第一图像的曝光时间大于所述第二图像的曝光时间。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述获取待处理图像,包括:
通过摄像头进行图像预览,获得预览的第一图像;
在所述第一图像过度曝光的情况下,基于曝光参数对所述第一图像进行动态范围压缩处理,得到待处理图像。
10.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理图像,所述待处理图像基于第一图像生成,所述待处理图像的图像亮度不同于所述第一图像的图像亮度;
区域确定模块,用于确定所述第一图像中的第一区域,并确定所述待处理图像中与所述第一区域对应的第二区域;
关系确定模块,用于根据所述第一区域内的各像素和所述第二区域内的各像素,确定所述第一区域和所述第二区域之间的色调映射关系;
映射模块,用于基于所述色调映射关系,对所述待处理图像进行全局色调映射,得到目标图像。
11.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211383087.6A CN118015104A (zh) | 2022-11-07 | 2022-11-07 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211383087.6A CN118015104A (zh) | 2022-11-07 | 2022-11-07 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118015104A true CN118015104A (zh) | 2024-05-10 |
Family
ID=90945018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211383087.6A Pending CN118015104A (zh) | 2022-11-07 | 2022-11-07 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118015104A (zh) |
-
2022
- 2022-11-07 CN CN202211383087.6A patent/CN118015104A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108335279B (zh) | 图像融合和hdr成像 | |
US20180367774A1 (en) | Convolutional Color Correction in Digital Images | |
WO2012170462A2 (en) | Automatic exposure correction of images | |
WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20150063694A1 (en) | Techniques for combining images with varying brightness degrees | |
CN112351195B (zh) | 图像处理方法、装置和电子系统 | |
CN115115554B (zh) | 基于增强图像的图像处理方法、装置和计算机设备 | |
WO2023137956A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113132695A (zh) | 镜头阴影校正方法、装置及电子设备 | |
CN114862735A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
Choi et al. | A method for fast multi-exposure image fusion | |
Zabaleta et al. | Photorealistic style transfer for video | |
WO2023151210A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN113747062B (zh) | Hdr场景检测方法与装置、终端及可读存储介质 | |
CN109345602A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN118015104A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN114049288A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN115103129B (zh) | 拍摄参数的确定方法、装置、电子设备和计算机存储介质 | |
CN118071658A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN117876237A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN118200748B (zh) | 一种图像处理方法、电子设备、存储介质及程序产品 | |
CN113888455B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN115082357B (zh) | 视频去噪数据集生成方法、装置、计算机设备和存储介质 | |
Cao et al. | A Perceptually Optimized and Self-Calibrated Tone Mapping Operator | |
CN118101854A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |