CN113052923B - 色调映射方法、装置、电子设备和存储介质 - Google Patents
色调映射方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113052923B CN113052923B CN202110351984.8A CN202110351984A CN113052923B CN 113052923 B CN113052923 B CN 113052923B CN 202110351984 A CN202110351984 A CN 202110351984A CN 113052923 B CN113052923 B CN 113052923B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- mapping
- region
- tone mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
本申请公开了一种色调映射方法、装置、电子设备和存储介质，属于计算机领域。所述方法包括：基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像。
Description
技术领域
本申请属于计算机领域，具体涉及一种色调映射方法、装置、电子设备和存储介质。
背景技术
拍摄设备拍摄出的图像自然亮度是线性，而人眼对于自然亮度的感知是非线性的，所以为了适应人眼的感知特性，色调映射技术被广泛应用在图像处理领域。
对于现有的色调映射算法来说，其增强效果和结果一致性与曝光算法输出的曝光增益值高度相关，严重依赖曝光算法的算法结果，本身高度依赖图像内容的局部色调映射算法同时受到曝光算法的输出结果准确性和稳定性的双重影响，鲁棒性不足。
发明内容
本申请实施例的目的是提供一种色调映射方法、装置、电子设备和存储介质，能够解决现有的色调映射算法鲁棒性不足的问题。
第一方面，本申请实施例提供了一种色调映射方法，该方法包括：
基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像。
第二方面，本申请实施例提供了一种色调映射装置，该装置包括：
全景分割模块，用于基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
等距分块模块，用于基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
系数确定模块，用于基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
色调映射模块，用于基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
附图说明
图1是本实施实施例提供的色调映射方法的流程示意图之一；
图2是本申请实施例提供的全景分割示意图；
图3是本申请实施例提供的一种棋盘式网格分块的示意图；
图4是本申请实施例提供的分块示意图；
图5是本申请实施例提供的亮度最高的区域的位置示意图；
图6是本申请实施例提供的色调映射方法的流程示意图之二；
图7是本申请实施例提供的色调映射装置的结构示意图；
图8为实现本申请实施例的一种电子设备的硬件结构示意图之一；
图9为实现本申请实施例的一种电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的色调映射方法及装置进行详细地说明。
图1是本实施实施例提供的色调映射方法的流程示意图之一，如图1所示，所述方法包括如下步骤：
步骤100，基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
可选地，图2是本申请实施例提供的全景分割示意图，如图2所示，可以首次基于全景分割模型，对输入的目标映射图像进行全景分割，图中外围框体是图像边界，图像内部Object1、Object2、Object3、Object4、…、ObjectN为全景分割输出的分割结果，N为分割结果的个数，全景分割输出的N个结果的像素拼合之后将等于整幅图像。
可选地，其中一个Object，可以作为一个元素图像，即一个元素图像即表示图像中的一个物体。
可选地，本申请实施例使用常规的全景分割数据集进行训练，无需收集特殊数据集和繁杂的标注工作，降低了训练难度。通过全景分割网络作为色调映射算法的前处理方法，从根本上提高色调映射系数的精确程度。
可选地，本申请实施例将全景分割网络应用于局部色调映射方法中，与原有局部色调映射算法不同，本申请实施例使用全景分割算法作为色调映射算法的前处理方法。以常规的全景分割数据集作为模型的监督信息进行训练，通过增加全景分割网络训练集的种类，可以提升色调映射算法的映射精细度。本发明的方法不需要个人收集数据集，使用公开数据集即可完成网络训练，极大的降低了数据集获取难度和模型的训练难度。
本申请实施例通过全景分割网络作为色调映射算法的前处理方法，使用AI技术对传统算法赋能，让依赖图像内容信息的局部色调映射方法获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果。
步骤110，基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
可选地，局部色调映射算法原理上需要高度依赖图像内容决定对特定分块区域设置专属的映射系数，而图3是本申请实施例提供的一种棋盘式网格分块的示意图，如图3所示，简单采用棋盘式网格分块方式划分图像进行分块处理，每个分块使用一个映射系数，提亮系数需要考虑到大多数像素的提亮需求，提亮效果受到众数控制，无法充分利用图像内容更多的信息。简单的棋盘格式划分图像进行分块，分块内部亮度信息鱼龙混杂，过程中大量使用平均值进行计算和加权，会造成原图像对比度损失，虽然处理完成后可以使用对比度增强算法进行弥补，但照片质量会和对比度增强程度成反比。
可选地，可以模拟图像中正常光线分布情况等，基于目标映射图像中亮度最高的区域的位置，进行发散式地分块，即对所述至少一个元素图像进行等距分块，同一个元素图像中与亮度最高的区域之间的距离相近的部分为一块，获得每一个元素图像的至少一个分块区域。
比如，图4是本申请实施例提供的分块示意图，如图4所示，可以以目标映射图像中亮度最高的区域为圆心，作半径为等比数列的多个同心圆，则处于同一个圆环且处于同一个元素图像中的部分可以作为一个分块区域。
可选地，每一个元素图像可以包括一个或多个分块区域，比如图3中的元素图像Object1，包括3个分块区域，分别为区域1，区域2和区域3。
比如，可以以目标映射图像中亮度最高的区域为中心，作半径为等比数列的多个同心正多边形，则处于同一个环且处于同一个元素图像中的部分可以作为一个分块区域。
可选地，本申请实施例的分块区域考虑到了更多的图像空间信息和光源辐射特性，可以提高色调映射的精确程度。
可选地，本申请实施例与原局部色调映射方法图像区域分块方法不同，原局部色调映射分块方法使用棋盘格式分块。本申请实施例首先获取图像中亮度最高的区域位置，以其作为中心位置，以等步长半径增长的同心圆或同心多边形边界和全景分割输出的不同对象边界组成的多个闭合区域作为分块标准。本分块标准同时考虑了光源对不同空间位置对象影响的趋同性和光源的中心辐射特性对图像亮度的影响，每个分块出来的内容同属于一个对象，使用相同的色调映射系数，本申请实施例可以提高局部色调映射方法的精确程度。
本申请实施例中，依靠全景分割网络的空间识别能力提出了全新的非线性区域分块方法，其中分块区域像素属于同一个物体，受光源影响结果较为一致，可以降低映射后图像对比度损失程度。考虑了更多的图像空间信息和光源辐射特性，将传统的信息源被局限在二维像素平面内的局部色调映射方法提升到了三维层面。
步骤120，基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
可选地，在确定每一个元素图像的至少一个分块区域后，可以以每一个分块区域的亮度均值为标准，确定所述每一个分块区域中每一个像素的亮度值与该分块区域亮度均值的差距，确定所述每一个像素的色调映射系数
步骤130，基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像。
可选地，大多数显示设备只能够显示[0，255]范围内的RGB值。但是，在现实生活中，入射光的能量范围是没有限制的。这些高辐射度值被定义为高动态范围(HDR)，像素值无上限，而可见目标范围被描述为低动态范围(LDR)，有固定的上限值255。色调映射其实是一个将[0，∞)中的HDR值映射为LDR值(例如[0，255]或[0.0,1.0])的过程。
可选地，色调映射分为全局的(Global Tone Mapping,GTM)和局部的(Local ToneMapping,LTM)，这两种映射分别对应人类视觉系统的全局适应(global adaptation)和局部适应(local adaptation)特性。全局色调映射对图像中的所有像素使用同样的映射函数，相同的输入像素值会被确定地映射到一个相同的输出像素值。局部色调映射与全局色调映射不同，主要特点是对于同一个输入像素值，因其空间位置或者其周围像素值不同，映射系数不同，映射后输出的像素值也不同。
可选地，在确定每一个像素的色调映射系数后，可以基于每个像素的色调映射系数对每个像素进行局部色调映射，进而得到映射后的图像结果，显示色调映射后的目标映射图像。
可选地，在确定每一个像素的色调映射系数时，即进行颜色空间转换，计算单个像素映射系数时，可以首先将目标处理图像的RGB图像转为YUV格式的图像，并对每个分块区域进行2D滤波。滤波核为3×3的高斯滤波核，其中，像素越靠近中心高斯滤波系数权重最大，离中心越远，高斯滤波系数权重越小。
可选地，在对每个分块区域进行2D滤波后，可以计算每个分块区域的Y通道均值m，根据分块内部每个像素的Y通道值和所属分块的Y通道均值m的像素值差距设定映射系数，以此类推，得到每个像素的色调映射系数。
可选地，本申请实施例中，由于获取图像信息的能力得到增强，可以将AEC算法输出结果作为参考，降低对AEC算法输出结果的依赖程度，提高局部色调映射方法的鲁棒性。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
可选地，所述基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域，包括：
对全景分割后的目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
可选地，若需要基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，则需要首先确定目标映射图像中亮度最高的区域的位置；
可选地，图5是本申请实施例提供的亮度最高的区域的位置示意图，如图5所示，对全景分割后的目标映射图像进行高光区域检测，确定四角星的位置为目标映射图像中亮度最高的区域的位置。
可选地，所述对全景分割后的目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置，包括：
基于目标映射图像的亮度值，建立图像金字塔；
基于所述图像金字塔，对所述目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
可选地，可以基于目标映射图像的亮度值，建立图像金字塔，多维度地对目标映射图像进行高光区域检测，确定其中亮度最高的区域的位置。
可选地，可以对Y通道建立图像金字塔，比如可以选择金字塔层数为3-5层，在多个维度上检测高光区域，保证高光区域的准确性。
可选地，还包括：
对所述全景分割后的目标映射图像进行滤波预处理。
可选地，在高光区域检测过程中，其结果容易被椒盐噪声和较小的反光物体影响，因此在目标映射图像进行全景分割后，确定目标映射图像中亮度最高的区域的位置之前，可以首先进行滤波预处理。
可选地，在进行滤波预处理时，可以对输入的目标映射图像即RGB图像使用卷积核为3×3的高斯滤波器滤波，然后转为YUV格式的图像，椒盐噪声较多时可增加使用中值滤波器滤波。
可选地，所述基于目标映射图像中亮度最高的区域的位置，以及所述至少一个元素图像进行等距分块，获得至少一个分块区域，包括：
以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆；
对于每一个元素图像，基于相邻同心正多边形或同心圆的边组成的环形区域，确定一个所述元素图像中处于同一个环形区域的所有像素组成一个所述元素图像的一个分块区域。
可选地，在基于目标映射图像中亮度最高的区域的位置，以及所述至少一个元素图像进行等距分块时，可以模仿光照条件，或者图片中光的正常发射情况，以亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆，即可以确定每一个元素图像中，与亮度最高的区域距离相近的部分，即可以默认同一个元素图像中，与亮度最高的区域距离相近的部分的亮度相似；
因此，如图4所示，可以以亮度最高的区域为中心，根据图像大小设置半径增长步长，获得多个同心圆或同心多边形，多个同心圆或同心多边形的边界可以为图像分块的第一道边界。
比如，可以以亮度最高的区域为圆心，根据图像大小设置半径增长步长，获得多个同心圆，多个同心圆的边界可以为图像分块的第一道边界。
比如，可以以亮度最高的区域为中心，根据图像大小设置半径增长步长，可以获得多个同心正多边形，多个同心正多边形的边界可以为图像分块的第一道边界。
可选地，可以由全景分割得到的N个元素图像(物体外轮廓线)为第二道图像分块边界线，第一道和第二道图像分块边界线形成的多个闭合区域即为图像分块结果即至少一个分块区域，对于Object1来说，同一个物体被分割为3个闭合区域，每个闭合区域为一个分块区域，同属于一个物体。
可选地，对于全景分割输出的所有结果可以均使用相同的分块规则。
可选地，所述以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆，包括：
基于在目标处理图像的大小，确定所述至少一个同心正多边形或同心圆的半径增长步长；
以所述目标映射图像中亮度最高的区域的位置为中心，基于所述半径增长步长，在所述目标映射图像中确定至少一个同心正多边形或同心圆。
可选地，在目标处理图像中确定至少一个同心正多边形或同心圆时，可以基于目标处理图像的大小，确定所述至少一个同心正多边形或同心圆的半径增长步长，以此保证目标处理图像中的元素图像中亮度相近的部分被分在同一部分，亮度明显差距较大的部分被分在不同部分。
可选地，可以以亮度最高的区域为中心，根据图像大小设置半径增长步长，记为Re，比如对于大小为3060×4080像素大小的图片，可以设置半径增长步长Re的取值为320，获得8-10个同心圆或同心多边形，多个同心圆或同心多边形的边界可以为图像分块的第一道边界。
比如，可以以亮度最高的区域为圆心，根据图像大小设置半径增长步长，记为Re，比如对于大小为3060×4080像素大小的图片，可以使用设置半径增长步长Re的取值为320，获得8-10个同心圆，多个同心圆的边界可以为图像分块的第一道边界。
比如，可以以亮度最高的区域为中心，根据图像大小设置半径增长步长，记为Re，比如对于大小为3060×4080像素大小的图片，可以使用设置半径增长步长Re的取值为320，获得8-10个同心正多边形，多个同心正多边形的边界可以为图像分块的第一道边界。
可选地，所述方法还包括：
基于全景分割训练数据集进行训练，获得全景分割模型。
可选地，可以首先获取公开全景分割训练数据集。如MSCOCO、Vistas、ADE20K和Cityscapes等。使用常规全景分割网络进行训练，如UPSNet、OANet、TASCNet、Panoptic FPN等，获得全景分割模型。
可选地，为增强模型的针对性和鲁棒性，可扩充全景分割训练数据集、数据类别、以及对图像加入随机噪声后进行训练。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
图6是本申请实施例提供的色调映射方法的流程示意图之二，如图6所示，包括如下步骤：
步骤600，输入目标处理；
步骤610，判断是否有全景分割模型；
可选地，可以预先基于全景分割训练数据集进行训练，获得全景分割模型。
若确定没有全景分割模型，即没有预先训练全景分割模型，则可以进入步骤620，基于全景分割训练数据集进行训练，获得全景分割模型。
若确定有全景分割模型，即有预先训练全景分割模型，则可以进入步骤630，基于全景分割模型对目标处理图像进行全景分割，获得目标映射图像中的至少一个元素图像。
步骤620，在没有全景分割模型的情况下，训练全景分割模型；
可选地，在训练获得全景分割模型后，则可以进入步骤630，基于全景分割模型对目标处理图像进行全景分割，获得目标映射图像中的至少一个元素图像。
步骤630，在有全景分割模型的情况下，基于全景分割模型对目标处理图像进行全景分割，获得目标映射图像中的至少一个元素图像；
步骤640，高光区域检测；
其中，高光区域检测可以在全景分割目标处理图像之前，也可以在全景分割目标处理图像之后，也可以与全景分割目标处理图像同时进行；
可选地，在进行高光区域监测时，可以基于目标映射图像的亮度值，建立图像金字塔，多维度地对目标映射图像进行高光区域检测，确定其中亮度最高的区域的位置。
步骤650，非线性图像分块；
可选地，在完成目标处理图像的全景分割以及确定了亮度最高的区域的位置后，则可以对目标处理图像进行非线性图像分块；
可选地，在对目标处理图像进行非线性图像分块时，可以以亮度最高的区域为中心，根据图像大小设置半径增长步长，获得多个同心圆或同心多边形，多个同心圆或同心多边形的边界可以为图像分块的第一道边界；
可选地，可以由全景分割得到的N个元素图像(物体外轮廓线)为第二道图像分块边界线，第一道和第二道图像分块边界线形成的多个闭合区域即为图像分块结果即至少一个分块区域，对于Object1来说，同一个物体被分割为3个闭合区域，每个闭合区域为一个分块区域，同属于一个物体。
步骤660，颜色空间转换，计算单个像素映射系数；
可选地，在完成目标处理图像的非线性图像分块后，可以首先将目标处理图像的RGB图像转为YUV格式的图像，并对每个分块区域进行2D滤波。滤波核为3×3的高斯滤波核，其中，像素越靠近中心高斯滤波系数权重最大，离中心越远，高斯滤波系数权重越小。
可选地，在对每个分块区域进行2D滤波后，可以计算每个分块区域的Y通道均值m，根据分块内部每个像素的Y通道值和所属分块的Y通道均值m的像素值差距设定映射系数，以此类推，得到每个像素的色调映射系数。
步骤670，图像映射；显示图像映射结果。
可选地，在确定每一个像素的色调映射系数后，可以基于每个像素的色调映射系数对每个像素进行局部色调映射，进而得到映射后的图像结果，显示色调映射后的目标映射图像。
需要说明的是，本申请实施例提供的色调映射方法，执行主体可以为色调映射装置，或者该色调映射装置中的用于执行色调映射方法的控制模块。本申请实施例中以色调映射装置执行色调映射方法为例，说明本申请实施例提供的色调映射装置。
图7是本申请实施例提供的色调映射装置的结构示意图，如图7所示，所述装置包括：全景分割模块710，等距分块模块720，系数确定模块730，以及色调映射模块740；其中，
全景分割模块710用于基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
等距分块模块720用于基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
系数确定模块730用于基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
色调映射模块740用于基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
可选地，所述等距分块模块还用于：
对全景分割后的目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
可选地，所述等距分块模块还用于：基于目标映射图像的亮度值，建立图像金字塔；
基于所述图像金字塔，对所述目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
可选地，还包括：
预处理模块，用于对所述全景分割后的目标映射图像进行滤波预处理。
可选地，所述等距分块模块还用于：
以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆；
对于每一个元素图像，基于相邻同心正多边形或同心圆的边组成的环形区域，确定一个所述元素图像中处于同一个环形区域的所有像素组成一个所述元素图像的一个分块区域。
可选地，所述等距分块模块还用于：
基于在目标处理图像的大小，确定所述至少一个同心正多边形或同心圆的半径增长步长；
以所述目标映射图像中亮度最高的区域的位置为中心，基于所述半径增长步长，在所述目标映射图像中确定至少一个同心正多边形或同心圆。
可选地，所述装置还包括：
训练模块，用于基于全景分割训练数据集进行训练，获得全景分割模型。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
本申请实施例中的色调映射装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的色调映射装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的色调映射装置能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，图8为实现本申请实施例的一种电子设备的硬件结构示意图之一；如图8所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述色调映射方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图之二。
该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器910，用于：
基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
可选地，处理器910还用于：
对全景分割后的目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
可选地，处理器910还用于：
基于目标映射图像的亮度值，建立图像金字塔；
基于所述图像金字塔，对所述目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
可选地，处理器910还用于：
对所述全景分割后的目标映射图像进行滤波预处理。
可选地，处理器910还用于：
以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆；
对于每一个元素图像，基于相邻同心正多边形或同心圆的边组成的环形区域，确定一个所述元素图像中处于同一个环形区域的所有像素组成一个所述元素图像的一个分块区域。
可选地，处理器910还用于：
基于在目标处理图像的大小，确定所述至少一个同心正多边形或同心圆的半径增长步长；
以所述目标映射图像中亮度最高的区域的位置为中心，基于所述半径增长步长，在所述目标映射图像中确定至少一个同心正多边形或同心圆。
可选地，处理器910还用于：
基于全景分割训练数据集进行训练，获得全景分割模型。
在本申请实施例中，通过全景分割网络作为色调映射算法的前处理方法，获取到更多的局部像素信息和空间信息，从根本上提高了色调映射系数的精确程度，可以得到更加优异的色调映射结果，降低对其他算法输出结果的依赖程度，提高色调映射方法的鲁棒性，且基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，考虑了更多的图像空间信息和光源辐射特性，且分块区域像素属于同一个物体，受光源影响结果较为一致，降低映射后图像对比度损失程度。
应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述色调映射方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述色调映射方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (8)
1.一种色调映射方法，其特征在于，所述方法包括：
基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像；
所述基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域，包括：
以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆；
对于每一个元素图像，基于相邻同心正多边形或同心圆的边组成的环形区域，确定一个所述元素图像中处于同一个环形区域的所有像素组成一个所述元素图像的一个分块区域。
2.根据权利要求1所述的色调映射方法，其特征在于，所述基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域，包括：
基于目标映射图像的亮度值，建立图像金字塔；
基于所述图像金字塔，对所述目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
3.根据权利要求1所述的色调映射方法，其特征在于，所述以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆，包括：
基于在目标处理图像的大小，确定所述至少一个同心正多边形或同心圆的半径增长步长；
以所述目标映射图像中亮度最高的区域的位置为中心，基于所述半径增长步长，在所述目标映射图像中确定至少一个同心正多边形或同心圆。
4.一种色调映射装置，其特征在于，所述装置包括：
全景分割模块，用于基于全景分割模型，对目标映射图像进行全景分割，获得目标映射图像中的至少一个元素图像；
等距分块模块，用于基于目标映射图像中亮度最高的区域的位置，对所述至少一个元素图像进行等距分块，获得每一个元素图像的至少一个分块区域；
系数确定模块，用于基于每一个分块区域的亮度均值和所述每一个分块区域中每一个像素的亮度值，确定所述每一个像素的色调映射系数；
色调映射模块，用于基于所述每一个像素的色调映射系数，显示色调映射后的目标映射图像；
所述等距分块模块，用于：
以所述目标映射图像中亮度最高的区域的位置为中心，在目标处理图像中确定至少一个同心正多边形或同心圆；
对于每一个元素图像，基于相邻同心正多边形或同心圆的边组成的环形区域，确定一个所述元素图像中处于同一个环形区域的所有像素组成一个所述元素图像的一个分块区域。
5.根据权利要求4所述的色调映射装置，其特征在于，所述等距分块模块还用于：基于目标映射图像的亮度值，建立图像金字塔；
基于所述图像金字塔，对所述目标映射图像进行高光区域检测，确定目标映射图像中亮度最高的区域的位置。
6.根据权利要求4所述的色调映射装置，其特征在于，所述等距分块模块还用于：
基于在目标处理图像的大小，确定所述至少一个同心正多边形或同心圆的半径增长步长；
以所述目标映射图像中亮度最高的区域的位置为中心，基于所述半径增长步长，在所述目标映射图像中确定至少一个同心正多边形或同心圆。
7.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-3任一项所述的色调映射方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-3任一项所述的色调映射方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110351984.8A CN113052923B (zh) | 2021-03-31 | 2021-03-31 | 色调映射方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110351984.8A CN113052923B (zh) | 2021-03-31 | 2021-03-31 | 色调映射方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052923A CN113052923A (zh) | 2021-06-29 |
| CN113052923B true CN113052923B (zh) | 2023-02-28 |
Family
ID=76516759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110351984.8A Active CN113052923B (zh) | 2021-03-31 | 2021-03-31 | 色调映射方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052923B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115619648A (zh) * | 2021-07-14 | 2023-01-17 | 华为技术有限公司 | 全景图像的色调映射方法和装置 |
| CN115546328B (zh) * | 2022-11-28 | 2023-03-14 | 阿里巴巴（中国）有限公司 | 图片映射方法、压缩方法、解码方法、电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886479A (zh) * | 2017-10-31 | 2018-04-06 | 建荣半导体（深圳）有限公司 | 一种图像hdr转换方法、装置、图像处理芯片及存储装置 |
| CN108200441A (zh) * | 2018-01-22 | 2018-06-22 | 青岛海信电器股份有限公司 | 一种图像亮度处理方法及装置、电子设备 |
| CN110246470A (zh) * | 2018-03-08 | 2019-09-17 | 三星显示有限公司 | 执行图像自适应色调映射的方法和采用该方法的显示装置 |
| CN111292269A (zh) * | 2020-02-13 | 2020-06-16 | 珠海全志科技股份有限公司 | 一种图像色调映射方法、计算机装置及计算机可读存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8265392B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
| US9741305B2 (en) * | 2015-08-04 | 2017-08-22 | Apple Inc. | Devices and methods of adaptive dimming using local tone mapping |
| CN105894484B (zh) * | 2016-03-30 | 2017-03-08 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
| CN109410126B (zh) * | 2017-08-30 | 2022-04-05 | 中山大学 | 一种细节增强与亮度自适应的高动态范围图像的色调映射方法 |
-
2021
- 2021-03-31 CN CN202110351984.8A patent/CN113052923B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886479A (zh) * | 2017-10-31 | 2018-04-06 | 建荣半导体（深圳）有限公司 | 一种图像hdr转换方法、装置、图像处理芯片及存储装置 |
| CN108200441A (zh) * | 2018-01-22 | 2018-06-22 | 青岛海信电器股份有限公司 | 一种图像亮度处理方法及装置、电子设备 |
| CN110246470A (zh) * | 2018-03-08 | 2019-09-17 | 三星显示有限公司 | 执行图像自适应色调映射的方法和采用该方法的显示装置 |
| CN111292269A (zh) * | 2020-02-13 | 2020-06-16 | 珠海全志科技股份有限公司 | 一种图像色调映射方法、计算机装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "高动态范围图像色调映射算法的研究";苗笛声;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215(第2期);第I138-2205页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052923A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
| Park et al. | Single image dehazing with image entropy and information fidelity | |
| Jiang et al. | Image dehazing using adaptive bi-channel priors on superpixels | |
| US10410327B2 (en) | Shallow depth of field rendering | |
| Li et al. | A multi-scale fusion scheme based on haze-relevant features for single image dehazing | |
| Liu et al. | A unified variational model for single image dehazing | |
| CN109064390A (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
| Khan et al. | Localization of radiance transformation for image dehazing in wavelet domain | |
| CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
| CN110796600A (zh) | 一种图像超分重建方法、图像超分重建装置及电子设备 | |
| CN109816694A (zh) | 目标跟踪方法、装置及电子设备 | |
| CN106373086A (zh) | 一种基于增强现实的戒指2d在线实时试戴方法及系统 | |
| CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN115330640B (zh) | 光照贴图降噪方法、装置、设备和介质 | |
| CN106981054A (zh) | 一种图像处理方法及电子设备 | |
| CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112215861A (zh) | 一种足球检测方法、装置、计算机可读存储介质及机器人 | |
| CN112102207A (zh) | 一种确定温度的方法、装置、电子设备及可读存储介质 | |
| US9940543B2 (en) | Control of computer vision pre-processing based on image matching using structural similarity | |
| CN110246086A (zh) | 彩色图像增强的图像处理方法及其图像处理系统 | |
| CN109658360B (zh) | 图像处理的方法、装置、电子设备和计算机存储介质 | |
| CN110140150B (zh) | 一种图像处理方法、装置以及终端设备 | |
| CN113469903A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| Fang et al. | Detail Maintained Low-Light Video Image Enhancement Algorithm | |
| CN116245741B (zh) | 图像处理方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |