CN111127476A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111127476A CN111127476A CN201911242140.9A CN201911242140A CN111127476A CN 111127476 A CN111127476 A CN 111127476A CN 201911242140 A CN201911242140 A CN 201911242140A CN 111127476 A CN111127476 A CN 111127476A
- Authority
- CN
- China
- Prior art keywords
- image
- saturation
- target
- adjustment
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、设备及存储介质，该方法包括：基于语义分割算法对目标图像进行语义分割，得到目标图像中每个像素的类别标签；基于目标图像中每个像素的类别标签，确定目标图像中由相同类别标签的像素组成的至少一个物体，以及至少一个物体的类别标签；对目标图像中的每一个物体的饱和度进行自适应调整，得到第一调整图像；接着基于确定的目标拍摄场景对第一调整图像中的特定参数进行自适应调整，得到第二调整图像。采用图像语义分割结果进行图像参数的调整，考量了图像中物体的类别信息，来实现对图像中不同类别物体的图像参数的自适应调整，重建图像色彩，使图像颜色更鲜艳自然。
Description
技术领域
本申请涉及图像技术，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
目前对图像的参数进行调整时，主要是根据亮度信息将图像划分为不同亮度水平的多个区域或者采用分水岭方法对图像进行分割，在对不同区域的图像参数进行单独调整。比如，调整对比度时，前者主要是通过计算不同区域的空间频率，基于亮度水平和空间频率计算出每个区域的对比度，最后将多个区域合并为一幅完整的图像。后者主要是先获得当前图像对应的灰阶图像，对灰阶图像进行分割，获得若干分割区域；根据分割区域的面积，计算出最小可察觉误差(Just noticeable difference，JND)值及当前图像的背景亮度值，计算得到目标对比度；根据目标对比度及预设条件，调整图像不同区域的对比度。
但现有技术对不同内容图像的调整效果千差万别调整效果稳定性差。
发明内容
为解决上述技术问题，本申请实施例期望提供一种图像处理方法、装置、设备及存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种图像处理方法，该方法包括：
基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
第二方面，提供了一种图像处理装置，该装置包括：
检测单元，用于基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
处理单元，用于基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
调整单元，用于基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
所述处理单元，还用于基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
所述调整单元，还用于基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
第三方面，提供了一种图像处理设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例提供了图像处理方法、装置、设备及存储介质，该方法基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；对目标图像中的每一个物体的饱和度进行自适应调整，得到第一调整图像；接着基于确定的目标拍摄场景对第一调整图像中的特定参数进行自适应调整，得到第二调整图像。采用图像语义分割结果进行图像参数的调整，考量了图像中物体的类别信息，来实现对图像中不同类别物体的图像参数的自适应调整，重建图像色彩，使图像颜色更鲜艳自然。
附图说明
图1为本申请实施例中图像处理方法的第一流程示意图；
图2为本申请实施例中语义分割流程示意图；
图3为本申请实施例中图像处理方法的第二流程示意图；
图4为本申请实施例中像素的邻域位置示意图；
图5为本申请实施例中图像处理方法的第三流程示意图；
图6为本申请实施例中图像处理装置的组成结构示意图；
图7为本申请实施例中图像处理设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例提供了一种图像处理方法，图1为本申请实施例中图像处理方法的第一流程示意图，如图1所示，该方法具体可以包括：
步骤101：基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
步骤102：基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
步骤103：基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
步骤104：基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
步骤105：基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
这里，步骤101至步骤105的执行主体可以为图像处理装置处理器。这里，图像处理装置可以为智能手机、个人电脑(例如平板电脑、台式电脑、笔记本、上网本、掌上电脑)、相机、摄像机、虚拟现实设备和可穿戴设备等。
实际应用时，获取图像采集单元采集的目标图像，图像采集单元可以位于图像处理装置中，使图像处理装置同时具备图像采集功能和图像处理功能，比如智能手机。图像采集单元也可以独立于图像处理装置单独存在，图像采集单元只具备图像处理功能。图像处理单元还可以具备图像输出单元，用于向用户展示图像。
随着计算机计算能力的增强和大数据技术的发展，深度学习被广泛应用于图像识别、图像检测和图像分割任务中。深度学习属于机器学习领域，是一种深层神经网络。与传统机器学习不同的是，深度学习无需人工设计特征，可根据大量数据自动提取特征，通过不断组合浅层特征形成抽象的深层特征将样本在原空间的特征表示转换到一个新特征空间。通过设计网络结构和参数调优，建立从输入到输出的函数映射关系从而训练学习得到样本数据的内在规律。利用深度学习技术进行语义分割主要采用全卷积神经网络和基于弱监督的深度卷积神经网络两种方法。
本申请实施例采用基于弱监督的深度卷积神经网络的方法根据图像级别标签获得显著性对象区域的高质量种子，利用显著性信息进行模型训练，并充分利用物体信息和引入图像统计的先验知识实现图像语义分割。图2为本申请实施例中语义分割流程示意图，如图2所示，从训练样本库中获取输入图像，输入图像已经进行了图像级别标签，该输入图像中包含的物体包括人、桌子和椅子，结合种子信息和显著性信息得到引导标签，从而生成一个粗糙的分割掩模；然后，将上一步生成的分割掩模作为监督信息，将输入图像输入到分割卷积神经网络中，输出预测信息，利用监督信息和预测信息计算损失函数，并不断调整分割卷积神经网络参数，使损失函数收敛，得到训练完成的分割卷积神经网络模型。
进一步的，根据像素的类别标签，确定具有相同类别标签的像素组成同一个物体，也就是根据像素的类别标签对物体进行分类，像素所属物体的类别标签也就是像素的类别标签。
示例性的，目标图像中每个像素的类别标签包括人、桌子、椅子和背景，类别标签都为人的像素组成人所在的区域，类别标签都为桌子的像素组成桌子所在的区域，类别标签都为椅子的像素组成椅子所在的区域，类别标签都为背景的像素组成背景区域。实际应用中，可以仅对图像中的前景物体进行增强，不对背景进行处理，也可以对前景物体和背景同时进行增强。
进一步的，基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像。
物体的类别标签表明了目标图像中所包含的物体类型，根据物体类型识别图像场景。比如，当物体类型都为食物时，表明拍摄场景为美食场景；当物体类型为人物时，表明拍摄场景为人像；当物体类型为植物时，表明拍摄场景为植物；当物体类型为灯光时，表明拍摄场景为夜景。
示例性的，预先为不同拍摄场景设置对应的特定参数调整策略，选择目标拍摄场景对应的目标特定参数调整，利用目标特定参数调整策略对第一调整图像的特定参数进行调整。比如，目标特定参数策略包括：明暗度调整量、对比度调整量和色彩调整量，在第一调整图像原始明暗度、原始对比度和原始色彩的基础上加上各自对应的调整量，得到调整后的明暗度、对比度和色彩。
采用上述技术方案，基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；对目标图像中的每一个物体的饱和度进行自适应调整，得到第一调整图像；接着基于确定的目标拍摄场景对第一调整图像中的特定参数进行自适应调整，得到第二调整图像。采用图像语义分割结果进行图像参数的调整，考量了图像中物体的类别信息，来实现对图像中不同类别物体的图像参数的自适应调整，重建图像色彩，使图像颜色更鲜艳自然。
在上述实施例的基础上还提供了一种更详细图像处理方法，图3为本申请实施例中图像处理方法的第二流程示意图，如图3所示，该方法包括：
步骤301：基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
实际应用中，图像语义分割主要分为以下两个步骤：物体定位；确定物体的范围。
步骤一：物体定位
由于图像分类器对图像的识别区域很敏感，因此本文利用用图像级别标签进行模型训练可以在感兴趣的目标物体类(即“种子”)和背景高置信区上找到高置信点。一般而言，卷积神经网络由卷积层、池化层和全连接层构成。本文通过引入全局平均池化层(Global Average Pooling，GAP)代替全连接层，大大降低网络参数的同时保留了前面各个卷积层和池化层提取到的空间信息，从而通过反向传播得到特征图的权重系数，针对特征图进行可视化得到弱监督下的目标检测结果，实现物体的定位。其中，特征图可视化主要是根据网络训练过程中前向运算和反向传播形成的梯度值进行可视化，通过计算最后一层卷积运算输出值相对于输入图像的梯度值，直观反映输出值是如何随着不同类别物体的变化而改变。本文采用加权梯度类激活映射方法(Gradient-weighted Class ActivationMapping，Grad-CAM)根据网络中梯度的全局平均值得到权重参数，针对输入图像每个特征图及对应的权重进行加权求和构建热力图，得到物体定位结果，即“种子”。
步骤二：确定物体的范围
由于大部分图像的目标是捕捉一个主题，通过使用类无关的目标物体显著性，将物体显著性作为一种有效的先验知识，可快速找到与某些检测到的物体种子对应的区域，为图像语义分割提供目标物体范围的信息。
(1)随机类别分配：假设给定一幅显著性掩膜图像，将所有前景像素值随机设置为图像级别标签类别。
(2)连通域分类：根据显著性眼膜图像进行连通域分析，针对每个连通域分配不同类别的标签。
(3)种子繁殖：首先将种子看作一组连通域，对种子区域和前景区域进行图像相加得到二者融合结果图，然后将其作为引导标签，最后训练分割卷积神经网络模型。
通过物体定位和确定物体的范围，通过图像级别标签确定的显著性掩模来训练得到分割卷积神经网络模型，输入图像便可直接输出每个像素的类别标签，完成图像语义分割。
步骤302：基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
具体的，根据像素的类别标签，确定具有相同类别标签的像素组成同一个物体，也就是根据像素的类别标签对物体进行分类，像素所属物体的类别标签也就是像素的类别标签。
步骤303：获取目标物体的初始饱和度；
这里，所述目标物体为所述至少一个物体中的任意一个物体。通过步骤303至步骤305实现对目标图像中每一个物体的饱和度进行调整，得到第一调整图像。
步骤304：基于第一饱和度增强算法，将所述目标物体的初始饱和度调整为第一饱和度；
在一些实施例中，所述第一饱和度增强算法包括：所述初始饱和度小于或者等于第一阈值时，将所述初始饱和度作为所述第一饱和度；所述初始饱和度大于所述第一阈值且小于或者等于第二阈值时，基于所述初始饱和度、第一系数和第一常数，计算得到所述第一饱和度；所述初始饱和度大于所述第二阈值且小于或者等于第三阈值时，基于所述初始饱和度、第二系数和第二常数，计算得到所述第一饱和度；所述初始饱和度大于所述第三阈值时，基于所述初始饱和度和第三系数，得到所述第一饱和度。
色度(Hue，H)，饱和度(Saturation，S)，明度(Value，V)，简称HSV，HSV空间的饱和度分量在模型中表现为一个圆或棱形，以S分量的圆心为中心绘制三个不同半径R的同心圆从而划分不同色饱和度的区域，分别为R1、R2、R3，其中R1<R2<R3，根据实验法确定(R1＝0.25，R2＝0.5，R3＝0.75)。当所处的区域半径R越大时，则表示该区域的色饱和度越高。这里，首先将图像由RGB转换为HSV，然后根据图像中不同类别标签的物体分别进行色饱和度分析。假设某物体色饱和度为S，增强后的饱和度为Senhance，则饱和度增强表达式如下所示：
也就是说，第一阈值为0.25，第二阈值为0.5，第三阈值为0.75，初始饱和度小于或者等于第一阈值时，将所述初始饱和度作为所述第一饱和度；初始饱和度大于所述第一阈值且小于或者等于第二阈值时，初始饱和度乘以第一系数减去第一常数得到第一饱和度；初始饱和度大于所述第二阈值且小于或者等于第三阈值时，初始饱和度乘以第二系数加上第二常数，得到第一饱和度；初始饱和度大于所述第三阈值时，初始饱和度乘以第三系数，得到第一饱和度。
步骤305：基于第二饱和度增强算法，将所述目标物体的第一饱和度调整为第二饱和度，得到所述第一调整图像；
在一些实施例中，所述第二饱和度增强算法包括：基于所述第一饱和度、所述目标物体的平均亮度、所述目标物体邻域的平均亮度和局部相关系数，计算得到所述第二饱和度。
具体的，根据人眼视觉特性，亮度信息对饱和度有着一定的影响。人眼对高、低亮度的图像细节敏感度较低，而对中高亮度的图像细节敏感度较高。本文根据图像中不同类别标签的物体分别通过利用亮度信息对饱和度进行调整,使图像中不同类别标签的物体更适应于人眼观察。针对图像中某个类别物体，假设为Senhance、S′enhance分别为调整前后的饱和度，k为权重参数，V为物体所在区域内的亮度平均值，
为物体所在区域内以像素点(x，y)为中心的M×N邻域内的亮度平均值，M和N取正整数，则有：
其中，ρ表示局部相关系数，主要用于衡量图像亮度-饱和度相关系数的大小，ρ值越大则表示该区域需要进行越大的亮度信息调整。同时根据ρ值的大小自适应调整图像的饱和度，即针对较暗的区域降低饱和度，针对较亮的区域增强饱和度。
图4为本申请实施例中像素的邻域位置示意图，如图4所示，网格区域为目标图像，网格区域内椭圆形虚线所围城的区域为物体所在的区域，以物体所在区域内的任意一个像素点(x，y)为中心的5×5邻域为图中黑色粗实线所围城的区域w。这里，M和N均为5。
设w为物体所在区域范围内以像素点(x，y)为中心5×5的邻域，
亮度为方差，
为亮度均值，则局部相关系数ρ计算公式为：
方差和均值的计算公式如下：
步骤306：基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
在一些实施例中，该步骤具体包括：从所述至少一个物体中确定显著性物体；从所述至少一个物体的类别标签中确定所述显著性物体的类别标签；基于所述显著性物体的类别标签确定所述目标拍摄场景。
对于一幅图像来说，用户只对图像中的部分区域感兴趣，这部分感兴趣的区域包含了显著性物体，称为显著性区域，而多数剩余的不感兴趣区域则不包含显著性物体，显著区域是图像中最能引起用户兴趣、最能表现图像内容的区域。
实际应用中，显著性物体多为拍摄主体，拍摄主体所对应的拍摄场景即为目标图像的拍摄场景，其他识别出的非显著性物体则不是拍摄主体，可以忽略非显著性物体指示作用。
步骤307：基于目标拍摄场景对第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
实际应用中，不同拍摄场景设置对应的参数调整策略，选择目标拍摄场景对应的参数调整，利用目标特定参数调整策略对第一调整图像的特定参数进行调整。
上述技术方案，采用图像语义分割结果进行图像参数的调整，考量了图像中物体的类别信息，来实现对图像中不同类别物体的图像参数的自适应调整，重建图像色彩，使图像颜色更鲜艳自然。
在上述实施例的基础上还提供了一种更详细的图像处理方法，图5为本申请实施例中图像处理方法的第三流程示意图，如图5所示，该方法包括：
步骤501：基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
步骤502：基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
步骤503：基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
步骤504：基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
步骤505：基于所述目标拍摄场景，从预设的映射关系表中确定所述目标拍摄场景对应的目标特定参数；其中，所述映射关系表包括至少一种拍摄场景和特定参数的映射关系；
示例性的，预先为不同拍摄场景设置对应的参数调整策略，选择目标拍摄场景对应的参数调整，利用选择参数调整策略对第一调整图像的特定参数进行调整。比如，目标特定参数策略包括：明暗度调整量、对比度调整量和色彩调整量。
具体的，预设关系表中包含不同拍摄场景对应的特定参数调整量，比如，人物场景对应第一调整量，美食场景对应第二调整量，夜景对应第三调整量等等。通过确定的目标拍摄场景确定对应的调整量。在第一调整图像原始明暗度、原始对比度和原始色彩的基础上加上各自对应的调整量，得到调整后的明暗度、对比度和色彩。
步骤506：基于所述目标特征参数对所述第一调整图像中的特定参数进行调整，得到所述第二调整图像。
具体的，当目标特定参数为特定参数调整量时，第一调整图像原始明暗度、原始对比度和原始色彩的基础上加上各自对应的调整量，得到调整后的明暗度、对比度和色彩。
当目标特定参数为原始特定参数调整后的值时，将第一调整图像原始明暗度、原始对比度和原始色彩直接调整为目标特定参数中所包含的明暗度、对比度和色彩。
上述技术方案，采用图像语义分割结果进行图像参数的调整，考量了图像中物体的类别信息，来实现对图像中不同类别物体的图像参数的自适应调整，重建图像色彩，使图像颜色更鲜艳自然。
本申请实施例中还提供了一种图像处理装置，如图6所示，该装置包括：
检测单元601，用于基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
处理单元602，用于基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
调整单元603，用于基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
所述处理单元602，还用于基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
所述调整单元603，还用于基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
在一些实施例中，调整单元603，具体用于获取所述至少一个物体中目标物体的初始饱和度；基于第一饱和度增强算法，将所述目标物体的初始饱和度调整为第一饱和度；基于第二饱和度增强算法，将所述目标物体的第一饱和度调整为第二饱和度，得到所述第一调整图像。
在一些实施例中，调整单元603，具体用于所述初始饱和度小于或者等于第一阈值时，将所述初始饱和度作为所述第一饱和度；所述初始饱和度大于所述第一阈值且小于或者等于第二阈值时，基于所述初始饱和度、第一系数和第一常数，计算得到所述第一饱和度；所述初始饱和度大于所述第二阈值且小于或者等于第三阈值时，基于所述初始饱和度、第二系数和第二常数，计算得到所述第一饱和度；所述初始饱和度大于所述第三阈值时，基于所述初始饱和度和第三系数，得到所述第一饱和度。
在一些实施例中，调整单元603，具体用于基于所述第一饱和度、所述目标物体的平均亮度、所述目标物体邻域的平均亮度和局部相关系数，计算得到所述第二饱和度。
在一些实施例中，处理单元602，具体用于从所述至少一个物体中确定显著性物体；从所述至少一个物体的类别标签中确定所述显著性物体的类别标签；基于所述显著性物体的类别标签确定所述目标拍摄场景。
在一些实施例中，处理单元602，具体用于基于视觉显著性检测算法，检测到所述目标图像中的感兴趣区域；将位于所述感兴趣区域内的物体作为所述显著性物体。
在一些实施例中，调整单元603，具体用于基于所述目标拍摄场景，从预设的映射关系表中确定所述目标拍摄场景对应的目标特定参数；其中，所述映射关系表包括至少一种拍摄场景和特定参数的映射关系；将所述第一调整图像的特定参数调整为所述目标特定参数，得到所述第二调整图像。
本申请实施例还提供了另一种图像处理设备，如图7所示，该设备包括：处理器701和配置为存储能够在处理器上运行的计算机程序的存储器702；处理器701运行存储器702中计算机程序时实现前述图像处理方法的步骤。
当然，实际应用时，如图7所示，该设备中的各个组件通过总线系统703耦合在一起。可理解，总线系统703用于实现这些组件之间的连接通信。总线系统703除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统703。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
2.根据权利要求1所述的方法，其特征在于，所述基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，包括：
获取目标物体的初始饱和度；其中，所述目标物体为所述至少一个物体中的任意一个物体；
基于第一饱和度增强算法，将所述目标物体的初始饱和度调整为第一饱和度；
基于第二饱和度增强算法，将所述目标物体的第一饱和度调整为第二饱和度，得到所述第一调整图像。
3.根据权利要求2所述的方法，其特征在于，所述第一饱和度增强算法包括：
所述初始饱和度小于或者等于第一阈值时，将所述初始饱和度作为所述第一饱和度；
所述初始饱和度大于所述第一阈值且小于或者等于第二阈值时，基于所述初始饱和度、第一系数和第一常数，计算得到所述第一饱和度；
所述初始饱和度大于所述第二阈值且小于或者等于第三阈值时，基于所述初始饱和度、第二系数和第二常数，计算得到所述第一饱和度；
所述初始饱和度大于所述第三阈值时，基于所述初始饱和度和第三系数，得到所述第一饱和度。
4.根据权利要求2所述的方法，其特征在于，所述第二饱和度增强算法包括：
基于所述第一饱和度、所述目标物体的平均亮度、所述目标物体邻域的平均亮度和局部相关系数，计算得到所述第二饱和度。
5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景，包括：
从所述至少一个物体中确定显著性物体；
从所述至少一个物体的类别标签中确定所述显著性物体的类别标签；
基于所述显著性物体的类别标签确定所述目标拍摄场景。
6.根据权利要求5所述的方法，其特征在于，所述从所述至少一个物体中确定显著性物体，包括：
基于视觉显著性检测算法，检测到所述目标图像中的感兴趣区域；
将位于所述感兴趣区域内的物体作为所述显著性物体。
7.根据权利要求1至6所述的方法，其特征在于，所述基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，包括：
基于所述目标拍摄场景，从预设的映射关系表中确定所述目标拍摄场景对应的目标特定参数调整策略；其中，所述映射关系表包括至少一种拍摄场景和特定参数调整策略的映射关系；
基于所述目标特定参数调整策略，对所述第一调整图像的特定参数进行调整，得到所述第二调整图像。
8.一种图像处理装置，其特征在于，所述装置包括：
检测单元，用于基于语义分割算法对目标图像进行语义分割，得到所述目标图像的语义分割结果；其中，所述语义分割结果中包含所述目标图像中每个像素的类别标签；
处理单元，用于基于所述目标图像中每个像素的类别标签，确定所述目标图像中由相同类别标签的像素组成的至少一个物体，以及所述至少一个物体的类别标签；
调整单元，用于基于饱和度调整策略，对所述目标图像中所述至少一个物体的饱和度进行自适应调整，得到第一调整图像；
所述处理单元，还用于基于所述至少一个物体的类别标签，确定所述目标图像的目标拍摄场景；
所述调整单元，还用于基于所述目标拍摄场景对所述第一调整图像的特定参数进行自适应调整，得到第二调整图像；其中，所述特定参数包括以下至少之一：明暗度、对比度和色彩。
9.一种图像处理设备，所述图像处理设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911242140.9A CN111127476B (zh) | 2019-12-06 | 2019-12-06 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911242140.9A CN111127476B (zh) | 2019-12-06 | 2019-12-06 | 一种图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127476A true CN111127476A (zh) | 2020-05-08 |
| CN111127476B CN111127476B (zh) | 2024-01-26 |
Family
ID=70496314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911242140.9A Active CN111127476B (zh) | 2019-12-06 | 2019-12-06 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127476B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681244A (zh) * | 2020-05-29 | 2020-09-18 | 山东大学 | 叶片图像分割方法、系统、设备及存储介质 |
| CN111768327A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 基于深度学习的水印添加、提取方法、设备及存储介质 |
| CN111861577A (zh) * | 2020-07-28 | 2020-10-30 | 北京思特奇信息技术股份有限公司 | 产品办理热力图生成方法、装置、电子设备及存储介质 |
| CN112270745A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种图像生成方法、装置、设备以及存储介质 |
| CN114125414A (zh) * | 2021-11-23 | 2022-03-01 | Oppo广东移动通信有限公司 | 图像饱和度增强方法和编解码处理方法、装置及系统 |
| CN114273240A (zh) * | 2020-09-27 | 2022-04-05 | 深圳顺丰泰森控股(集团)有限公司 | 快递单件分离方法、装置、系统和存储介质 |
| WO2023108444A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017101626A1 (zh) * | 2015-12-15 | 2017-06-22 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
| CN108805103A (zh) * | 2018-06-29 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN108848306A (zh) * | 2018-06-25 | 2018-11-20 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
| CN110248170A (zh) * | 2018-03-09 | 2019-09-17 | 华为技术有限公司 | 图像色彩调整方法及装置 |
| CN110458172A (zh) * | 2019-08-16 | 2019-11-15 | 中国农业大学 | 一种基于区域对比度检测的弱监督图像语义分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT1311443B1 (it) * | 1999-11-16 | 2002-03-12 | St Microelectronics Srl | Metodo di classificazione di immagini digitali in base al lorocontenuto. |
| JP2006173824A (ja) * | 2004-12-14 | 2006-06-29 | Canon Inc | 画像処理装置および方法 |
| US10297070B1 (en) * | 2018-10-16 | 2019-05-21 | Inception Institute of Artificial Intelligence, Ltd | 3D scene synthesis techniques using neural network architectures |
-
2019
- 2019-12-06 CN CN201911242140.9A patent/CN111127476B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017101626A1 (zh) * | 2015-12-15 | 2017-06-22 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
| CN110248170A (zh) * | 2018-03-09 | 2019-09-17 | 华为技术有限公司 | 图像色彩调整方法及装置 |
| CN108848306A (zh) * | 2018-06-25 | 2018-11-20 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN108805103A (zh) * | 2018-06-29 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
| CN110458172A (zh) * | 2019-08-16 | 2019-11-15 | 中国农业大学 | 一种基于区域对比度检测的弱监督图像语义分割方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681244A (zh) * | 2020-05-29 | 2020-09-18 | 山东大学 | 叶片图像分割方法、系统、设备及存储介质 |
| CN111681244B (zh) * | 2020-05-29 | 2022-06-21 | 山东大学 | 叶片图像分割方法、系统、设备及存储介质 |
| CN111768327A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 基于深度学习的水印添加、提取方法、设备及存储介质 |
| CN111861577A (zh) * | 2020-07-28 | 2020-10-30 | 北京思特奇信息技术股份有限公司 | 产品办理热力图生成方法、装置、电子设备及存储介质 |
| CN111861577B (zh) * | 2020-07-28 | 2024-01-23 | 北京思特奇信息技术股份有限公司 | 产品办理热力图生成方法、装置、电子设备及存储介质 |
| CN114273240A (zh) * | 2020-09-27 | 2022-04-05 | 深圳顺丰泰森控股(集团)有限公司 | 快递单件分离方法、装置、系统和存储介质 |
| CN112270745A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种图像生成方法、装置、设备以及存储介质 |
| CN112270745B (zh) * | 2020-11-04 | 2023-09-29 | 北京百度网讯科技有限公司 | 一种图像生成方法、装置、设备以及存储介质 |
| CN114125414A (zh) * | 2021-11-23 | 2022-03-01 | Oppo广东移动通信有限公司 | 图像饱和度增强方法和编解码处理方法、装置及系统 |
| WO2023108444A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127476B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127476B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| Ren et al. | Gated fusion network for single image dehazing | |
| JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
| JP6438403B2 (ja) | 結合された深度キューに基づく平面視画像からの深度マップの生成 | |
| Li et al. | A multi-scale fusion scheme based on haze-relevant features for single image dehazing | |
| Hwang et al. | Context-based automatic local image enhancement | |
| CN110163810B (zh) | 一种图像处理方法、装置以及终端 | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN111028170B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP2007047965A (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN109816694A (zh) | 目标跟踪方法、装置及电子设备 | |
| CN111476849A (zh) | 对象颜色识别方法、装置、电子设备以及存储介质 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
| US20160140748A1 (en) | Automated animation for presentation of images | |
| Lee et al. | Ramp distribution-based contrast enhancement techniques and over-contrast measure | |
| CN113450282A (zh) | 美化图像的方法和系统 | |
| Feng et al. | Low-light image enhancement by refining illumination map with self-guided filtering | |
| Yan et al. | A natural-based fusion strategy for underwater image enhancement | |
| Song et al. | Optimized tone mapping function for contrast enhancement considering human visual perception system | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |