CN115330633A - 图像色调映射方法及装置、电子设备、存储介质 - Google Patents

图像色调映射方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN115330633A
CN115330633A CN202211012022.0A CN202211012022A CN115330633A CN 115330633 A CN115330633 A CN 115330633A CN 202211012022 A CN202211012022 A CN 202211012022A CN 115330633 A CN115330633 A CN 115330633A
Authority
CN
China
Prior art keywords
image
tone mapping
mapping
image block
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211012022.0A
Other languages
English (en)
Inventor
林桥洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202211012022.0A priority Critical patent/CN115330633A/zh
Publication of CN115330633A publication Critical patent/CN115330633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例是关于一种图像色调映射方法及装置、电子设备、存储介质，涉及影像技术领域，该图像色调映射方法包括：获取待处理图像，并对所述待处理图像进行分块得到多个图像块；将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。本公开实施例中的技术方案，能够提高局部色调映射的准确性。

Description

图像色调映射方法及装置、电子设备、存储介质
技术领域
本公开涉及影像技术领域，具体而言，涉及一种图像色调映射方法及装置、电子设备以及计算机可读存储介质。
背景技术
在图像处理过程中，图像色调映射处理是提高图像质量的常用方式。
相关技术中，可基于一个参数对整个图像进行色调映射，或者是进行局部色调映射。其中，全局色调映射具有一定的局限性，局部色调映射的准确性较低，使得色调映射效果较差，且降低了图像质量。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像色调映射方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的色调映射图像质量较差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种图像色调映射方法，包括：获取待处理图像，并对所述待处理图像进行分块得到多个图像块；将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
根据本公开的第二方面，提供一种图像色调映射装置，包括：图像分块模块，用于获取待处理图像，并对所述待处理图像进行分块得到多个图像块；映射参数获取模块，用于将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；映射曲线确定模块，用于结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；色调映射模块，用于基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像色调映射方法及其可能的实现方式。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像色调映射方法及其可能的实现方式。
本公开实施例中提供的技术方案中，一方面，能够结合对待处理图像进行实例分割得到的每个像素的类别的映射参数确定每个图像块的色调映射参数，进而确定每个图像块的色调映射曲线，由于每个图像块均存在对应的色调映射曲线，因此可以独立的进行局部色调映射，避免了相关技术中只能进行全局色调映射的局限性，增加了灵活性和针对性。另一方面，能够根据每个图像块的像素的类别来指导每个图像块的色调映射曲线，能够从像素类别以及图像块等多个维度来确定每个图像块的色调映射曲线，提高了图像块的色调映射曲线的准确性和真实性，能够针对于不同类别的像素实现对应的色调映射，提高了局部色调映射的准确性，提高了图像质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的图像色调映射方法的应用场景的示意图。
图2示意性示出本公开实施例一种图像色调映射方法的示意图。
图3示意性示出本公开实施例中像素重组的示意图。
图4示意性示出本公开实施例中UNET网络的示意图。
图5示意性示出本公开实施例中获取像素的类别的流程示意图。
图6示意性示出本公开实施例的确定图像块的色调映射参数的示意图。
图7示意性示出本公开实施例的进行色调映射的流程示意图。
图8示意性示出本公开实施例的插值处理的示意图。
图9示意性示出本公开实施例中图像处理的流程示意图。
图10示意性示出本公开实施例中对图像进行色调映射处理的流程示意图。
图11示意性示出本公开实施例中一种图像色调映射装置的框图。
图12示意性示出本公开实施例中电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
相关技术中，可通过Reinhard色调映射进行色调映射。具体方式包括：统计当前像素对应的经过Log域转换的均值，并将该图像中的像素值根据其均值映射到另一个值，以将一个参考亮度映射到中性灰。除此之外，还可以将图像的值在Log域中做转换，进一步使得每个像素值根据整个图像输入的最大值和最小值进行色调映射。
上述方式中，均通过全局的均值来确定的全局色调映射方式，会存在局部效果不佳的问题。通过局部色调映射进行处理时，会存在准确性较差的问题，从而导致图像质量较差。
为了解决相关技术中的技术问题，本公开实施例中提供了一种图像色调映射方法，可以应用于拍照过程中对图像进行色调映射处理，以实现色彩增强的应用场景。图1示出了可以应用本公开实施例的图像色调映射方法及装置的系统架构的示意图。
如图1所示，终端101可以为具有图像处理功能的智能设备，例如可以为智能手机、电脑、平板电脑、智能音箱、智能手表、车载设备、可穿戴设备、监控设备等智能设备。终端中可以包含摄像头，摄像头的类型可以为任意类型，只要能够进行拍照处理即可。摄像头的数量可以为至少一个，例如可以为一个、四个等等，只要能够进行拍照即可。待处理图像可以为拍摄得到的图像，也可以为拍摄得到的视频中的每一帧图像。
本公开实施例中，终端101可以包括存储器102以及处理器103。存储器用于对图像进行存储，处理器用于对图像进行处理，例如进行色调映射处理等等。存储器102中可以存储待处理图像104。终端101从存储器102中获取待处理图像104，并发送至处理器103中，在处理器103中对所述待处理图像进行分块得到多个图像块；将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；基于各图像块的色调映射曲线对各所述图像块进行色调映射，从而生成色调映射后的目标图像105。
需要说明的是，本公开实施例所提供的图像色调映射方法可以由终端101来执行。图像色调映射方法也可以设置于终端中。
图2中示意性示出了本公开实施例中的图像色调映射方法，具体包括以下步骤：
步骤S210，获取待处理图像，并对所述待处理图像进行分块得到多个图像块；
步骤S220，将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；
步骤S230，结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；
步骤S240，基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
本公开实施例中，待处理图像可以为任意类型的图像，可以对待处理图像进行分块得到多个图像块。多个图像块的大小可以相同或不同，图像块的大小以及数量具体根据实际需求而确定。
除此之外，可以将待处理图像进行实例分割来获取待处理图像中每个像素的类别，即每个像素属于哪一类别。类别可以包括但不限于天空、人、草地绿植、灯光、黑体以及其他类型。类别可以根据实际需求而训练确定。在获取每个像素的类别后，可确定每个类别的映射参数。映射参数用于表示每个类别的映射程度。需要说明的是，对图像进行分块得到多个图像块以及对待处理图像进行实例分割得到每个像素的类别的步骤可以互换，即可以先执行图像分块，也可以先执行实例分割，此处不作具体限定。
进一步地，可统计每个图像块包含的所有像素的类别，根据每个图像块包含的所有类别的映射参数共同确定图像块的色调映射参数，进而结合目标图像块的色调映射参数来确定每个图像块的色调映射曲线。在此基础上，可基于每个图像块的色调映射曲线来对每个图像块进行局部色调映射，从而实现对整个待处理图像的色调映射，得到每个图像块中每个像素点的目标像素值，从而获取待处理图像对应的色调映射后的目标图像。
接下来，参考图2所示，对本公开实施例中的图像色调映射方法的具体步骤进行详细说明。
在步骤S210中，获取待处理图像，并对所述待处理图像进行分块得到多个图像块。
本公开实施例中，待处理图像可以为通过终端的摄像模组对待拍摄物体进行拍摄得到的图像，也可以为拍摄的视频中的每一帧图像。终端可以为智能手机、数码相机、智能手表、可穿戴设备、车载设备或者是监控设备的摄像头中的任意一种，只要能够对待拍摄物体进行拍照以及能够实现图像处理即可，此处以智能手机为例进行说明。摄像模组中可以包括至少一个摄像头，例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。待处理图像可以为各种类型的图像，例如可以为动态图像或者是静态图像等等。
待处理图像可以为RGB图像，即RGB三通道图像。RGB图像的每一个像素点均是由RGB三种颜色组成的。在终端处于拍照模式时，通过摄像模组得到的拍摄图像可以为RAW图像。RAW图像为摄像模组采集到的原始的图像数据信息。在本公开实施例中，可以对终端拍摄得到的拍摄图像进行转换得到待处理图像。例如，可以对RAW格式的拍摄图像利用通用转换算法进行格式转换得到RGB格式的待处理图像，以提高后续处理的便捷性。
待处理图像也可以为Bayer格式的图像，参考图3中所示。当待处理图像为Bayer格式的图像时，可以对待处理图像进行像素重组与排列，以减少网络的输入带宽。进行像素重组与排列的具体步骤可以包括：将待处理图像按照颜色通道进行重组排列。例如将每个颜色通道重组为一个图像，以得到重组后的图像，此处不作具体限定。
在获取到待处理图像之后，可以对待处理图像进行分块处理得到多个图像块。图像块可以为待处理图像的一部分，且多个图像块之间不重叠。每个图像块的大小可以相同或不同，且图像块的数量可以根据分块方式而确定。为了便于处理，此处以每个图像块的大小相同为例进行说明。分块方式可以根据实际需求而确定。
本公开实施例中，可以根据多个参考属性参数来确定图像块的数量。多个参考属性参数可以包括但不限于视野特征、图像分辨率、光源状态、算法性能以及评估参数中的任意一种或其组合。其中，视野特征可以为视野和光源特征，光源状态可以为光源数量以及分布，算法性能可以为计算量，评估参数可以为色调映射准确性。基于此，可以在参考属性参数的基础上，根据实际需求来确定进行图像划分得到的图像块的数量。例如，可以将待处理图像划分为M×N个图像块。
接下来，继续参考图2中所示，在步骤S220中，将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数。
本公开实施例中，实例分割指的是分离待处理图像的前景和背景，实现像素级别的对象分离。实例分割针对于待处理图像中的每个对象而进行，实例分割能够为每个像素分别分配一个类别，此处的类别可以用于描述待处理图像中的每个像素属于哪个对象，例如每个像素是属于天空、属于人物还是属于灯光等等。类别可以根据实际需求而确定，例如可以包括但不限于：天空、人、草地绿植、灯光、黑体以及其他类型。
在一些实施例中，可以通过实例分割模型来对待处理图像进行实例分割，以获取每个像素的类别。实例分割模型可以为Mask-RCNN实例分割网络、PANet实例分割网络等任意类型的能够进行实例分割的模型，此处以实例分割模型为UNET网络为例进行说明。UNET网络指的是U型网络。
图4中示意性示出了UNET网络的结构示意图，参考图4中所示，UNET网络可以包括第一部分和第二部分，其中第一部分可以为由2个3×3的卷积层以及1个2×2的最大池化层maxpooling重复多次构成的下采样模块，可用于实现特征提取。第二部分为由1个上采样的卷积层、特征拼接copy and crop以及2个3×3的卷积层重复多次构成的上采样模块，可用于实现特征融合。第二部分的最后一层通过一个1×1卷积将通道数变成期望的类别数。本公开实施例中，第一部分可执行多次下采样操作，第二部分可对应执行多次上采样处理。例如，可以执行四次下采样和四次上采样。
基于上述网络结构，获取每个像素的类别的具体过程可以参考图5中所示，主要包括以下步骤：
在步骤S510中，通过实例分割模型中的多层下采样网络对所述待处理图像进行多次特征提取，获取每层下采样网络的特征向量；
在步骤S520中，根据每层网络的特征向量获取对应的参考特征向量，通过多层上采样网络将所述参考特征向量与所述特征向量进行特征融合，以获取每个像素的类别。
本公开实施例中，第一部分的上采样模块可以包含多层网络，每层网络均包括2个3×3的卷积层以及最大池化层，因此可以认为多层网络为多层下采样网络。在第一部分进行特征提取时，由于每层下采样网络均包括2个3×3的卷积层以及最大池化层，因此可以根据每层下采样网络依次对所述待处理图像进行卷积操作获取卷积结果；对所述卷积结果进行下采样得到下采样结果，以将所述下采样结果确定为每层下采样网络的特征向量。即，依次经过第一层下采样网络中的卷积层和最大池化层进行特征提取，并根据第二层下采样网络中的卷积层和最大池化层进行特征提取，直至所有下采样层网络中的卷积层和最大池化层均执行完特征提取为止。每经过一次下采样，通道数翻倍。
第二部分的上采样模块可以包含多层网络，每层网络均包括1个上采样的卷积层、特征拼接copy and crop以及2个3×3的卷积层，因此可以认为第二部分的多层网络为多层上采样网络。第二部分进行处理时，首先通过第二部分的每层上采样网络对第一部分的每层下采样网络的特征向量进行上采样得到上采样结果。特征拼接时，先从第一部分相同层对应输出的特征向量中截取相同尺寸特征向量作为第二部分的每层上采样网络的参考特征向量，并将参考特征向量与第二部分的上采样结果融合得到每层上采样网络的融合特征。此处的融合可以为通道拼接。进一步对每层上采样网络的融合特征进行卷积操作，以获取每个像素的类别。每一次上采样卷积之后，height和width都加倍，同时通道数减半，用于和第一部分的浅层特征进行合并拼接。
在图4的基础上，可以将待处理图像输入至图像分割模型中，通过图像分割模型中的卷积层以及最大池化层对所述待处理图像重复进行特征提取，以获取待处理图像的特征向量。进一步根据图像分割模型中的上采样的卷积层进行上采样处理得到上采样结果、将上采样结果与相同层的特征向量进行组合拼接，并进行卷积操作，重复执行上述步骤，以获取目标特征向量；对目标特征向量进行卷积操作获取每个像素的类别。
举例而言，将待处理图像输入至实例分割模型中，对待处理图像进行卷积操作得到第一特征向量，并对第一特征向量进行下采样获取第一下采样结果；将第一下采样结果进行卷积操作得到第二特征向量，并对第二特征向量进行下采样获取第二下采样结果；重复上述步骤，直至所有层网络执行完卷积操作和下采样，例如得到第五下采样结果，并将每层下采样网络的下采样结果作为该层的特征向量。在得到每层下采样网络的特征向量后，以最后一层的特征向量为基础进行第二部分的特征融合。具体地，将特征向量进行上采样得到上采样结果，并将上采样结果与相同层的参考特征向量进行融合获取融合特征，并对融合特征进行卷积操作，重复执行上述步骤，直至得到每个像素的类别。其中，可以将相同层的特征向量本身作为参考特征向量，或者是将相同层的特征向量进行裁剪以使得与特征向量尺寸相同，得到参考特征向量。
其中，每次下采样后，通道数均变为上一层网络的2倍；每次上采样后通道数均变为上一层网络的一半。例如，参考图4中所示，下采样4次，通道数从64变化为1024；上采样4次，通道数从1024变化为64。
本公开实施例中，通过UNET网络获取每个像素的类别，上采样部分会融合特征提取部分的输出，将多尺度特征融合在了一起，能够将浅层网络提取的特征和深层网络提取的特征融合可以提高特征的全面性和准确性。
在获取到每个像素的类别后，可以为每个类别分别确定对应的映射参数。映射参数能够用于表示每个类别对应的色调映射的程度。不同类别对应的映射参数可以不同，具体根据实际需求而确定。示例性地，可以根据每个类别的颜色亮度或者是其它属性参数来确定映射参数。例如，将分割得到的类别：天空、人、草地绿植、灯光、黑体以及其他类型的参数分别设定α0，α1…α6。
接下来，继续参考图2中所示，在步骤S230中，结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线。
本公开实施例中，一个图像块可以包含多个像素，且一个图像块中的所有像素可以属于相同类别或不同类别，基于此，可以根据每个图像块中包含的所有像素的类别的映射参数来确定待处理图像中每个图像块的色调映射曲线。色调映射曲线可以为映射函数，用于表示输入值和输出值之间的映射关系。在确定每个图像块的色调映射参数后，可进一步根据色调映射参数来生成每个图像块的色调映射曲线。
在一些实施例中，图像块中包含的像素的类别不同，则使用不同方式确定图像块的色调映射参数。示例性地，若所述图像块中的所有像素包括一种类别，根据所述类别的映射参数确定所述色调映射参数；若所述图像块中的所有像素包括多种类别，对所述多种类别的映射参数进行融合确定所述色调映射参数。具体地，如果某个图像块中只存在一种类别，则直接将该类别的映射参数确定为图像块的色调映射参数。如果某个图像块中存在多种类别，可确定每种类别的比例，并根据每种类别的比例进行加法操作确定每个图像块的色调映射参数。每种类别的比例可以根据各图像块中包含的每种类别的像素数量和每种类别的映射参数的乘积，以及乘积与图像块对应的总像素数量的比值来确定，确定图像块的色调映射参数的具体方式可以如公式(1)所示：
Figure BDA0003811287490000101
其中，Ni为对应类别的像素数量，αi为每种类别的映射参数，α为图像块更新后的色调映射参数，N为图像块的总像素数量，m为每个图像块中包含的类别的数量。
除此之外，也可以为每个类别分别设置一个权重，不同类别的权重可以相同或不同，进一步可以将图像块包含的类别的比例按照权重进行加和，得到每个图像块的色调映射参数。
图6中示意性示出了确定图像块的色调映射参数的示意图。参考图6中所示，待处理图像600划分为多个图像块，图像块601中包含一个类别，例如人，则根据类别人对应的映射参数确定该图像块的色调映射参数。图像块602中所有像素包含两个类别，例如类别1和类别2，类别1可以为人，类别2可以为草地绿植。则根据类别1对应的映射参数和类别1的像素数量之积，与图像块602的总像素数量的比值确定类别1的比例1，以及根据类别2对应的映射参数和类别2的像素数量之积与图像块502的总像素数量的比值确定类别2的比例2，根据比例1和比例2之和来确定图像块602的色调映射参数。通过每个图像块包含的所有像素的类别的映射参数来确定整个图像块的色调映射参数，能够提高图像块的色调映射参数的准确性和全面性。
在得到每个图像块的色调映射参数后，每个图像块可以生成一个对应的色调映射曲线，且每个图像块的色调映射曲线可能相同或不同，此处根据具体计算得到的色调映射参数而确定。
在确定色调映射曲线时，可以结合实例分割结果以及图像块的色调映射参数来进行确定。具体地，根据目标图像块的色调映射参数，对各图像块的均值以及对待处理图像中的最大值进行伽马映射，生成各图像块的色调映射曲线。
目标图像块可以为第一图像块和第二图像块，第一图像块可以为暗区，第二图像块可以为亮区。暗区和亮区具体可根据亮度值来确定，例如在有光源的夜景场景中，光源附近的图像块区域亮度较大(灰度值较大)可以为亮区，距离光源较远的图像块区域的亮度较小(灰度值较小)可以为暗区。具体地，可以计算各图像块的均值与映射前待处理图像中的最大值的比值以获取各图像块的比值，并基于各图像块的比值以及目标图像块的色调映射参数进行融合，获取各图像块的色调映射曲线。基于各图像块的比值以及目标图像块的色调映射参数进行融合具体为，将各图像块的比值与调试参数进行逻辑操作，并根据逻辑操作结果与目标图像块的色调映射参数进行乘法操作，从而得到每个图像块的色调映射曲线。逻辑操作可以为加法操作或乘法操作等等，此处不作限定。示例性地，可将第一图像块的色调映射参数与逻辑操作结果进行乘法操作，将第二图像块的色调映射参数与逻辑操作结果进行乘法操作，并将所有乘法操作的结果进行相加，以获取每个图像块的色调映射曲线。
本公开实施例中，通过结合图像块中所有像素的类别对应的映射参数确定各图像块的色调映射参数，从而根据目标图像块的色调映射参数以及每个图像块的均值和待处理图像中的最大值确定出每个图像块的色调映射曲线。由于可以结合语义分割的类别以及亮区和暗区来辅助生成每个图像块的色调映射曲线，能够提高色调映射曲线的准确性和针对性。
参考图2中所示，在步骤S240中，基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
本公开实施例中，可以基于每个图像块的色调映射曲线对所述待处理图像中的每个图像块进行色调映射，从而实现对整个待处理图像的色调映射，以获取目标图像。色调映射指的是压缩图像的动态范围至输出设备的动态范围以下，使高动态范围图像能够适应低动态范围输出设备，即将图像的像素值(亮度值)从高动态范围映射到低动态范围的过程。色调映射也是一种非线性的映射，它会将亮区的像素点的亮度降低，然后提升暗区像素点的亮度。色调映射可以针对于亮度值而进行，也可以结合颜色信息等来进行，还可以针对像素值来进行。本公开实施例中以针对像素值进行映射为例进行说明。
在进行色调映射时，可以通过归一化和映射方式对待处理图像中的每个像素点的像素值进行映射从而得到目标像素值。除此之外，由于色调映射可用于对每个像素点的亮度值进行调整，因此可以基于每个像素点的像素值获取对应的亮度值，并对亮度值进行映射得到目标亮度值。
图7中示意性示出了进行色调映射的流程图，参考图7中所示，主要包括以下步骤：
在步骤S710中，对所述待处理图像的各图像块中像素点的像素值进行归一化映射，得到所述像素点的归一化像素值。
本步骤中，像素点指的是每个图像块中的每个像素点。可以将待处理图像中每个像素点的像素值进行归一化，得到归一化像素值。像素值可以为像素点的灰度值。归一化方式可以为任意类型的归一化方式，例如，可以根据每个像素点的像素值与待处理图像中的最大值的比值来确定。除此之外，还可以同时结合待处理图像中的最大值、最小值以及均值来进行归一化。最大值、最小值以及均值均可为灰度值的最大值、最小值以及均值。示例性地，可以将每个像素点的像素值在log域中进行转换，并结合待处理图像中的最大值Lmax、最小值Lmin以及均值La来对每个像素点的像素值L(x,y)进行归一化得到归一化像素值
Figure BDA0003811287490000131
具体参考公式(2)中所示：
Figure BDA0003811287490000132
其中，均值可以通过公式(3)来计算：
Figure BDA0003811287490000133
在步骤S720中，基于所述像素点所属的图像块的所述色调映射曲线，对所述归一化像素值进行伽马映射，以获取所述像素点的映射像素值。
本步骤中，可以对归一化像素值进行色调映射，并将归一化像素值映射至目标值，从而获取像素点的映射像素值。色调映射可以通过伽马映射或者是直方图均衡化来实现。此处以伽马映射为例进行说明。
示例性地，可以通过伽马映射来将归一化像素值进行处理。具体而言，可以根据像素点所属的图像块的色调映射曲线对像素点的归一化像素值进行伽马映射。例如当伽马等于1时，无需进行伽马映射。伽马参数小于1时，图像会变暗；伽马参数大于1时，会使图像变亮。
进一步将伽马映射后的归一化像素值扩充映射至目标值，以将像素点的像素值映射为映射像素值。目标值可以为映射后期望输出的最大值。获取映射像素值的过程具体参考公式(4)所示：
Figure BDA0003811287490000134
其中，p为调试参数，Min为映射前输入像素的最大值，Mout为映射后期望输出的最大值，La为每个图像块的均值。γ0为第一图像块的色调映射参数，γ1为第二图像块的色调映射参数。
通过将像素点的像素值进行归一化，并根据图像块的色调映射曲线对归一化像素值进行伽马映射，进一步映射至期望输出的最大值，能够提高映射像素值的准确性。除此之外，将第一图像块的色调映射参数和第二图像块的色调映射参数作为两个伽马矫正系数，使用两个伽马矫正系数来分别控制图像的暗区和亮区，进而对每个图像块实现伽马映射，能够灵活地实现亮度和暗区的控制，增加了应用范围和准确性。
在一些实施例中，也可以将实例分割结果得到的每个像素的类别应用至其他局部色调映射方式。其他局部色调映射方式可以为CLAHE(Contrast Limited AdaptiveHistogram Equalization，限制对比度自适应直方图均衡)算法。限制对比度自适应直方图均衡算法中，可以通过限制图像局部直方图的高度从而限制局部对比度的增强幅度。CLAHE算法中，首先将图像划分为不同的图像块区域并且保证各图像块区域之间互不重叠，然后针对图像中每一图像块区域进行直方图均衡化；其中，针对每一图像块区域的直方图的高度设置了一个限制对比度的阈值，可以裁剪出超过该阈值的部分，并将该部分平均分布到0～255的灰度值上，最后基于重构的直方图进行均衡化操作。
当以CLAHE进行局部色调映射时，针对待处理图像预设有全局直方图高度预设阈值，基于图像的灰度均值、灰度方差、局部直方图的分布以及图像大小将得到图像的直方图的高度预设阈值。进一步地，在预设阈值的限制下，基于预设阈值可以对直方图进行峰裁剪，将结果平均到图像所有的灰阶，再进行积分运算即可得到灰度映射曲线，即CLAHE曲线。
限制对比度自适应直方图均衡算法中，可以实现的直方图处理方式包括但不限于：控制局部色调映射的强度、限制直方图的高度和最大值、确定平滑方式的系数以及给每个直方图加一个数值等功能。基于此，可以结合实例分割得到的每个像素的类别，将每个像素的类别所对应的映射参数确定每个图像块的色调映射参数，并根据该色调映射参数生成每个图像块的CLAHE曲线，从而指导每个图像块的直方图处理。
通过实例分割得到的类别的映射参数辅助进行局部色调映射的功能，能够更好的实现不同类型物体的映射风格与喜好倾向，能够更好的保证局部的效果。
在步骤S730中，对所述像素点在相邻图像块的映射像素值进行插值处理，确定所述像素点的目标像素值。
本步骤中，由于每个图像块均有不同的色调映射曲线，因此会导致块效应的出现，为了提高图像质量，需要消除块效应。在消除块效应时，可以采用插值处理来执行，插值处理可以为双线性插值。
在一些实施例中，对于每个像素点而言，可以获取该像素点在相邻图像块的映射像素值。相邻图像块指的是与像素点所属的图像块相邻的图像块。参考图8中所示，像素点O处于图像块D，则相邻图像块可以为图像块A、图像块B以及图像块C。
可以根据步骤710和步骤S720中的方式，通过每个相邻图像块的色调映射曲线对像素点在每个相邻图像块中进行色调映射，即通过每个相邻图像块的色调映射曲线对像素点的像素值进行映射，得到像素点在每个相邻图像块中对应的映射像素值。进一步根据权重参数对像素点所属的图像块的映射像素值以及每个相邻图像块对应的映射像素值进行加权求和以实现插值处理，根据插值结果获取像素点的目标像素值。
重复执行上述步骤，对每个图像块中的每个像素点的映射像素值进行双线性插值，得到每个像素点的目标像素值，以通过色调映射得到目标图像。
举例而言，参考图8中所示，处于图像块D中的像素点O的灰度值为r0，灰度值也可以表示像素值。像素点O所属的图像块D的相邻图像块可以为图像块A、图像块B以及图像块C。假设图像块A的中心点到像素点O的距离为x和y，图像块B的中心点到像素点O的距离为1-x和y，图像块C的中心点到像素点O的距离为x和1-y，图像块D的中心点到像素点O的距离为1-x和1-y。假设每个图像块相邻图像块和像素点所属的图像块的色调映射曲线分别为gA,gB,gC,gD。可以将像素点O的像素值r0分别代入其所属的图像块以及相邻图像块的色调映射曲线，得到像素点的映射像素值，可以表示为gA(r0)、gB(r0)、gC(r0)、gD(r0)。接下来，可以将像素点在所属图像块的映射像素值以及像素点在相邻图像块的映射像素值进行双线性插值，得到像素点的目标像素值。举例而言，可以参考公式(5)确定像素点O的目标像素值：
Figure BDA0003811287490000151
其中，图像块的映射像素值的权重参数与像素点到图像块的距离负相关。图像块A的映射像素值的权重参数为图像块D的中心点到像素点O的距离的乘积，图像块D的映射像素值的权重参数为图像块A的中心点到像素点O的距离的乘积，图像块B的映射像素值的权重参数为图像块C的中心点到像素点O的距离的乘积，图像块C的映射像素值的权重参数为图像块B的中心点到像素点O的距离的乘积。
本公开实施例中，通过像素点所属的图像块的相邻图像块的色调映射曲线对像素点的像素值进行映射，将多个图像块的映射像素值进行双线性插值，能够消除不同图像块之间的由于色调映射曲线不同而导致的块效应，使得图像块之间过渡平滑自然，整张图像上不会出现很突兀的区域，提高了平滑度和图像质量。
图9中示意性示出了进行图像处理的流程图，参考图9中所示，主要包括以下步骤：
在步骤S901中，获取待处理图像。待处理图像为RGB图像。
在步骤S902中，对待处理图像进行实例分割，得到每个像素的类别。
在步骤S903中，对待处理图像进行分块得到多个图像块。示例性地，可预先设置图像块的数量，以实现图像分块。
在步骤S904中，根据图像块确定每个图像块的色调映射参数。
在步骤S905中，获取图像块的统计信息。统计信息可以为图像块的均值、最大值等等。
在步骤S906中，结合每个图像块的统计信息和每个图像块的色调映射参数生成色调映射曲线。
在步骤S907中，根据每个图像块的色调映射曲线对每个图像块进行色调映射，输出目标图像。
图10中示意性示出了通过色调映射获取目标图像的流程图，参考图10中所示，主要包括以下步骤：
在步骤S1001中，获取待处理图像1010。
在步骤S1002中，对待处理图像进行实例分割，获取每个像素的类别1020。
在步骤S1003中，获取每个类别1020的映射参数1030。
在步骤S1004中，对待处理图像进行分块得到多个图像块1040。
在步骤S1005中，根据图像块1040中包含的所有像素的类别的映射参数，确定图像块的色调映射参数1050。
在步骤S1006中，结合目标图像块的色调映射参数确定每个图像块的色调映射曲线1060。
在步骤S1007中，根据每个图像块的色调映射曲线1060对每个图像块中的像素点的像素值进行伽马映射并扩充至目标值，得到映射像素值1070。
在步骤S1008中，根据相邻图像块的色调映射曲线对像素点的像素值进行映射得到映射像素值1080。
在步骤S1009中，将映射像素值1070和映射像素值1080进行双线性插值，得到目标像素值1090。
在步骤S1010中，根据每个像素点的目标像素值得到目标图像1000。
本公开实施例中的技术方案，由于结合了实例分割得到的类别的映射参数来确定每个图像块的色调映射曲线，通过每个图像块的色调映射曲线来对每个图像块进行色调映射，相比于现有技术而言，能够结合不同类别的像素确定图像块的色调映射曲线，提高了色调映射曲线的准确性和针对性，提高了局部色调映射的准确性，提高了应用范围和图像质量。利用了语义分割的结果来指导色调映射曲线，更好的实现了局部色调映射。能够更好的实现不同类型物体的映射风格与喜好倾向，能够更好的保证局部的效果。使用两个伽马矫正系数分别控制图像暗区与亮区，更好的实现亮区与暗区的调控。能够精准地实现对不同图像块实现不同幅度的对比度增强处理，能够提高局部色调映射的效果和真实性。
本公开实施例中提供了一种图像色调映射装置，参考图11中所示，该图像色调映射装置1100可以包括：
图像分块模块1101，用于获取待处理图像，并对所述待处理图像进行分块得到多个图像块；
映射参数获取模块1102，用于将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；
映射曲线确定模块1103，用于结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；
色调映射模块1104，用于基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
在本公开的一种示例性实施例中，映射曲线确定模块包括：映射参数确定模块，用于根据待处理图像中，各图像块包含的所有像素的类别对应的映射参数，确定各图像块的色调映射参数；曲线生成模块，用于根据所述色调映射参数生成各图像块的色调映射曲线。
在本公开的一种示例性实施例中，映射参数确定模块包括：第一确定模块，用于若所述图像块中的所有像素包括一种类别，根据所述类别的映射参数确定所述色调映射参数；第二确定模块，用于若所述图像块中的所有像素包括多种类别，对所述多种类别的映射参数进行融合确定各图像块的所述色调映射参数。
在本公开的一种示例性实施例中，第二确定模块包括：比例确定模块，用于根据各图像块中包含的每种类别的像素数量、每种类别的映射参数，以及图像块对应的总像素数量，确定每种类别的比例；融合模块，用于将所述每种类别的比例进行融合，确定各图像块的色调映射参数。
在本公开的一种示例性实施例中，曲线生成模块包括：生成控制模块，用于根据目标图像块的色调映射参数，对各图像块的均值以及待处理图像中的最大值进行伽马映射，生成各图像块的色调映射曲线。
在本公开的一种示例性实施例中，色调映射模块包括：归一化映射模块，用于对所述待处理图像的各图像块中像素点的像素值进行归一化映射，得到所述像素点的归一化像素值；伽马映射模块，用于基于所述像素点所属的图像块的所述色调映射曲线，对所述归一化像素值进行伽马映射，以获取所述像素点的映射像素值；插值模块，用于对所述像素点在相邻图像块的映射像素值进行插值处理，确定所述像素点的目标像素值。
在本公开的一种示例性实施例中，伽马映射模块包括：映射扩充模块，用于基于像素点所属的图像块的色调映射曲线对所述归一化像素值进行伽马映射，并将像素点对应的伽马映射后的归一化像素值扩充映射至目标值，以确定所述映射像素值。
在本公开的一种示例性实施例中，插值模块包括：相邻图像块映射模块，用于基于像素点的相邻图像块的色调映射曲线对所述像素点的像素值进行映射，获取各相邻图像块对应的映射像素值；双线性插值模块，用于对所述图像块的映射像素值以及各相邻图像块对应的映射像素值进行双线性插值，确定所述像素点的目标像素值。
在本公开的一种示例性实施例中，映射参数获取模块包括：特征向量获取模块，用于通过实例分割模型中的多层下采样网络对所述待处理图像进行多次特征提取，获取每层下采样网络的特征向量；特征融合模块，用于根据每层网络的特征向量获取对应的参考特征向量，通过多层上采样网络将所述参考特征向量与所述特征向量进行特征融合，以获取每个像素的类别。
在本公开的一种示例性实施例中，特征向量获取模块包括：卷积模块，用于通过实例分割模型中的每层下采样网络依次对所述待处理图像进行卷积操作获取卷积结果；下采样模块，用于对所述卷积结果进行下采样得到下采样结果，以将所述下采样结果确定为每层下采样网络的特征向量。
在本公开的一种示例性实施例中，特征融合模块包括：上采样模块，用于通过每层上采样网络对每层下采样网络的特征向量进行上采样得到上采样结果；卷积模块，用于对所述上采样结果以及每层下采样网络对应的参考特征向量进行融合得到融合特征，并对所述融合特征进行卷积操作，获取每个像素的类别。
需要说明的是，上述图像色调映射装置中各部分的具体细节在图像色调映射方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供一种电子设备。该电子设备可以是上述终端101。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像色调映射方法。
下面以图12中的移动终端1200为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图12中的构造也能够应用于固定类型的设备。
如图12所示，移动终端1200具体可以包括：处理器1201、存储器1202、总线1203、移动通信模块1204、天线1、无线通信模块1205、天线2、显示屏1206、摄像模块1207、音频模块1208、电源模块1209与传感器模块1210。
处理器1201可以包括一个或多个处理单元，例如：处理器1201可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像去噪处理方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行，例如NPU可以加载神经网络参数并执行神经网络相关的算法指令。示例性地，处理器中的ISP可以对待处理图像进行分块得到多个图像块；确定所述待处理图像的全局色调映射系数，并确定各所述图像块的局部色调映射系数；根据所述全局色调映射系数和所述局部色调映射系数，插值获取与所述待处理图像的各像素点对应的目标系数矩阵；根据所述目标系数矩阵对所述待处理图像中各像素点的参数进行校正，生成所述待处理图像对应的目标图像。
编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1200可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
处理器1201可以通过总线1203与存储器1202或其他部件形成连接。
存储器1202可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1201通过运行存储在存储器1202的指令，执行移动终端1200的各种功能应用以及数据处理。存储器1202还可以存储应用数据，例如存储图像，视频等文件。
移动终端1200的通信功能可以通过移动通信模块1204、天线1、无线通信模块1205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1204可以提供应用在移动终端1200上3G、4G、5G等移动通信解决方案。无线通信模块1205可以提供应用在移动终端1200上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏1206用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1207用于实现拍摄功能，如拍摄图像、视频等，且摄像模块中可以包含色温传感器阵列。音频模块1208用于实现音频功能，如播放音频，采集语音等。电源模块1209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1210可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块1210可以包括惯性传感器，其用于检测移动终端1200的运动位姿，输出惯性传感数据。
需要说明的是，本公开实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种图像色调映射方法，其特征在于，包括：
获取待处理图像，并对所述待处理图像进行分块得到多个图像块；
将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；
结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；
基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
2.根据权利要求1所述的图像色调映射方法，其特征在于，所述结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线，包括：
根据待处理图像中，各图像块包含的所有像素的类别对应的映射参数，确定各图像块的色调映射参数；
根据所述色调映射参数生成各图像块的色调映射曲线。
3.根据权利要求2所述的图像色调映射方法，其特征在于，所述根据待处理图像中，各图像块包含的所有像素的类别对应的映射参数，确定各图像块的色调映射参数，包括：
若所述图像块中的所有像素包括一种类别，根据所述类别的映射参数确定所述色调映射参数；
若所述图像块中的所有像素包括多种类别，对所述多种类别的映射参数进行融合确定各图像块的所述色调映射参数。
4.根据权利要求3所述的图像色调映射方法，其特征在于，所述对所述多种类别的映射参数进行融合确定各图像块的所述色调映射参数，包括：
根据各图像块中包含的每种类别的像素数量、每种类别的映射参数，以及图像块对应的总像素数量，确定每种类别的比例；
将所述每种类别的比例进行融合，确定各图像块的色调映射参数。
5.根据权利要求2所述的图像色调映射方法，其特征在于，所述根据所述色调映射参数生成各图像块的色调映射曲线，包括：
根据目标图像块的色调映射参数，对各图像块的均值以及待处理图像中的最大值进行伽马映射，生成各图像块的色调映射曲线。
6.根据权利要求1所述的图像色调映射方法，其特征在于，所述基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像，包括：
对所述待处理图像的各图像块中像素点的像素值进行归一化映射，得到所述像素点的归一化像素值；
基于所述像素点所属的图像块的所述色调映射曲线，对所述归一化像素值进行伽马映射，以获取所述像素点的映射像素值；
对所述像素点在相邻图像块的映射像素值进行插值处理，确定所述像素点的目标像素值。
7.根据权利要求6所述的图像色调映射方法，其特征在于，所述基于各图像块的所述色调映射曲线对所述归一化像素值进行伽马映射，以获取所述像素点的映射像素值，包括：
基于像素点所属的图像块的色调映射曲线对所述归一化像素值进行伽马映射，并将像素点对应的伽马映射后的归一化像素值扩充映射至目标值，以确定所述映射像素值。
8.根据权利要求6所述的图像色调映射方法，其特征在于，所述对对所述像素点在相邻图像块的映射像素值进行插值处理，确定所述像素点的目标像素值，包括：
基于像素点的相邻图像块的色调映射曲线对所述像素点的像素值进行映射，获取各相邻图像块对应的映射像素值；
对所述图像块的映射像素值以及各相邻图像块对应的映射像素值进行双线性插值，确定所述像素点的目标像素值。
9.根据权利要求1所述的图像色调映射方法，其特征在于，所述将所述待处理图像进行实例分割获取每个像素的类别，包括：
通过实例分割模型中的多层下采样网络对所述待处理图像进行多次特征提取，获取每层下采样网络的特征向量；
根据每层网络的特征向量获取对应的参考特征向量，通过多层上采样网络将所述参考特征向量与所述特征向量进行特征融合，以获取每个像素的类别。
10.根据权利要求9所述的图像色调映射方法，其特征在于，所述通过实例分割模型中的多层下采样网络对所述待处理图像进行多次特征提取，获取每层下采样网络的特征向量，包括：
通过实例分割模型中的每层下采样网络依次对所述待处理图像进行卷积操作获取卷积结果；
对所述卷积结果进行下采样得到下采样结果，以将所述下采样结果确定为每层下采样网络的特征向量。
11.根据权利要求9所述的图像色调映射方法，其特征在于，所述通过多层上采样网络将所述参考特征向量与所述特征向量进行特征融合，以获取每个像素的类别，包括：
通过每层上采样网络对每层下采样网络的特征向量进行上采样得到上采样结果；
对所述上采样结果以及每层下采样网络对应的参考特征向量进行融合得到融合特征，并对所述融合特征进行卷积操作，获取每个像素的类别。
12.一种图像色调映射装置，其特征在于，包括：
图像分块模块，用于获取待处理图像，并对所述待处理图像进行分块得到多个图像块；
映射参数获取模块，用于将所述待处理图像进行实例分割获取每个像素的类别，并确定各类别对应的映射参数；
映射曲线确定模块，用于结合各图像块中所有像素的类别对应的映射参数，确定待处理图像中各图像块的色调映射曲线；
色调映射模块，用于基于各图像块的色调映射曲线对各所述图像块进行色调映射，以获取目标图像。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任意一项所述的图像色调映射方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任意一项所述的图像色调映射方法。
CN202211012022.0A 2022-08-23 2022-08-23 图像色调映射方法及装置、电子设备、存储介质 Pending CN115330633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211012022.0A CN115330633A (zh) 2022-08-23 2022-08-23 图像色调映射方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211012022.0A CN115330633A (zh) 2022-08-23 2022-08-23 图像色调映射方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN115330633A true CN115330633A (zh) 2022-11-11

Family

ID=83925657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211012022.0A Pending CN115330633A (zh) 2022-08-23 2022-08-23 图像色调映射方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN115330633A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861096A (zh) * 2022-11-22 2023-03-28 瀚博半导体(上海)有限公司 图像处理方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861096A (zh) * 2022-11-22 2023-03-28 瀚博半导体(上海)有限公司 图像处理方法、装置及计算机设备
CN115861096B (zh) * 2022-11-22 2023-10-31 瀚博半导体(上海)有限公司 图像处理方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN111598776B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
WO2021179820A1 (zh) 图像处理方法、装置、存储介质及电子设备
KR101764943B1 (ko) 높은 동적 범위의 이미지 생성 및 렌더링
CN112330574A (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
WO2023284401A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN111696039B (zh) 图像处理方法及装置、存储介质和电子设备
CN111899197B (zh) 一种图像增亮去噪方法、装置、移动终端和存储介质
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN115035011A (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
CN113902611A (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN114049278A (zh) 图像美颜处理方法、装置、存储介质与电子设备
US11521305B2 (en) Image processing method and device, mobile terminal, and storage medium
WO2024027287A9 (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN115187488A (zh) 图像处理方法及装置、电子设备、存储介质
CN115205159A (zh) 图像处理方法及装置、电子设备、存储介质
CN114565532A (zh) 视频美颜处理方法、装置、存储介质与电子设备
CN115661403A (zh) 显式辐射场的处理方法、设备和存储介质
CN115187487A (zh) 图像处理方法及装置、电子设备、存储介质
WO2022206202A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN115619666A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
WO2022266955A1 (zh) 图像解码及处理方法、装置及设备
CN115471435A (zh) 图像融合方法及装置、计算机可读介质和电子设备
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination