CN109658330B - 一种发色调整方法及装置 - Google Patents
一种发色调整方法及装置 Download PDFInfo
- Publication number
- CN109658330B CN109658330B CN201811500225.8A CN201811500225A CN109658330B CN 109658330 B CN109658330 B CN 109658330B CN 201811500225 A CN201811500225 A CN 201811500225A CN 109658330 B CN109658330 B CN 109658330B
- Authority
- CN
- China
- Prior art keywords
- input image
- image
- module
- decoding
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011161 development Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 39
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005549 size reduction Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 abstract description 19
- 230000011218 segmentation Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明涉及一种发色调整方法及装置，所述方法包括：获取待处理图像，并对待处理图像进行尺寸调整，得到输入图像；将输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，卷积神经网络模型包括编码网络和解码网络，编码网络由多个编码模块级联组成，编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为输入图像，解码网络由多个解码模块级联组成，解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，解码模块用于进行反卷积运算和深度可分离卷积运算；根据头发特征图将输入图像的头发区域调整为目标颜色。在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种发色调整方法及装置。
背景技术
随着移动终端配置的提高，通过移动终端拍照并对照片进行处理提高了用户使用移动终端的积极性。其中，对照片的处理包括对人物图像的发色进行调整，例如，将发色从黑色调整为黄色。
现有技术中，发色调整的步骤主要包括：首先，对人物图像进行头发分割，得到头发区域和其他区域；然后，对头发区域进行颜色调整。其中，头发分割可以通过深度学习实现，包括:首先，获取原始图像；然后，对原始图像进行人脸检测，得到人脸关键点，并利用人脸关键点生成人脸关键部位描述图；再然后，将原始图像和人脸关键部位描述图合并，获得4通道图像；最后，将4通道图像输入卷积神经网络模型，通过卷积神经网络模型推断出每个像素点是头发的概率，从而获得头发概率图，并利用头发概率图对原始图像进行头发分割，上述卷积神经网络模型包括：卷积层、最大池化层、上池化层、加权层和最大化层。
然而，上述卷积神经网络模型的结构较简单，导致分割结果准确度较低。
发明内容
本发明的实施例提供一种发色调整方法及装置，可以在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
根据本发明的实施例的第一方面，提供了一种发色调整方法，所述方法包括：
获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；
根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。
根据本发明的实施例的第二方面，提供了一种发色调整装置，所述装置包括：
尺寸调整模块，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
头发特征预测模块，用于将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；
颜色调整模块，用于根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。
本发明实施例提供了一种发色调整方法及装置，所述方法包括：获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。可以在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
附图说明
为了更清楚地说明本发明的实施例的技术方案，下面将对本发明的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明的一种实施例中的发色调整方法步骤流程图；
图2(A、B)分别示出了本发明实施例中输入图像、对应头发特征图的示意图；
图3示出了本发明的卷积神经网络模型的结构示意图；
图4示出了本发明的另一种实施例中的发色调整方法步骤流程图；
图5示出了本发明的一种实施例中的发色调整装置的结构图；
图6示出了本发明的另一种实施例中的发色调整装置的结构图。
具体实施方式
下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的实施例一部分实施例，而不是全部的实施例。基于本发明的实施方式中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的实施例保护的范围。
实施例一
参照图1，其示出了本发明的一种实施例中的发色调整方法的步骤流程图，具体如下。
步骤101，获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像。
其中，待处理图像可以为用户上传的图像。
在实际应用中，由于用户上传的图像尺寸通常各不相同，而卷积神经网络模型要求输入输入图像的尺寸为224(行像素点数)*224(列像素点数)*3(Red Green Blue三个通道)，从而需要将待处理图像的尺寸调整为224*224*3。
步骤102，将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算。
其中，头发特征图用于表示图像中各像素点是否属于头发区域，头发特征图的尺寸与输入图像尺寸相同。头发特征图中的每个点均对应输入图像的对应位置的像素点，取值为该像素点的是否为头发区域的标识。如图2(A)所示为输入图像，图2(B)为对应的头发特征图，其中，属于头发区域的像素点的亮度值设定为255，其他区域的像素点的亮度值设定为0。
如图3所示，本发明的卷积神经网络模型采用编码和解码两部分，在编码网络中，每个编码模块为一个循环卷积网络，编码模块级联，整个网络的输入为第一个编码模块的输入在解码网络中，最后一个编码模块的输出输入至解码模块的第一个解码模块；在解码网络中，每个解码模块为一个反卷积网络，解码模块级联，每个解码模块的输入(例如解码模块2)包括上一级解码模块(解码模块1)的输出，以及，对应编码模块(编码模块3)输出的头发特征图，其中，对应编码模块(编码模块3)的输出尺寸与上一级解码模块(解码模块1)的输出尺寸相同，实际上是将上一级解码模块(解码模块1)的输出与对应编码模块(编码模块3)的输出加权得到新的头发特征图作为每个解码模块(编码模块2)的输入。
在本发明实施例中，编码网络采用DWSC(depth-wise separable convolution,深度可分离卷积)可以降低网络权值参数，提高运算速度，从而可以应用于移动终端等运算能力较弱的终端上。解码网络可以为反卷积运算单元和深度可分离卷积运算单元的级联网络，并采用rellu激活函数。
步骤103，根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。
其中，目标颜色可以为用户选择的颜色，在实际应用中，用户可以从颜色库中选取期望颜色作为目标颜色，用户还可以在各颜色之间切换，直至颜色效果满意位置。
具体地，首先，接收用户选择的目标颜色；然后，对于输入头像中的每个像素点，从头发特征图中获取相同位置的取值；最后，若取值代表该像素点属于头发区域，则将该像素点的颜色值修改为目标颜色。
本发明实施例提供了一种发色调整方法，所述方法包括：获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。可以在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
实施例二
参照图4，其示出了本发明的另一种实施例中的发色调整方法的步骤流程图，具体如下。
步骤201，获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像。
该步骤可以参照步骤101的详细说明，在此不再赘述。
步骤202，将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算。
该步骤可以参照步骤102的详细说明，在此不再赘述。
可选地，在本发明的另一种实施例中，上述解码网络的每个解码网络的输入为目标编码模块的输出与上一级解码网络的输出的加权图像，所述目标编码模块为与所述上一级解码网络的输出为尺寸相同的特征图像。
为了使得网络性能更好，加入了解码网络，而解码网络导致了网络结构加深，导致出现梯度消失的情况，不利于网络优化。为了解决上述问题，如图3所示，编码模块1与解码模块4的输入之间、编码模块2与解码模块3的输入之间、编码模块4与解码模块2的输入之间的连接线，使得解码网络的输入包含了编码网络的输出，减小了网络深度。
可选地，在本发明的另一种实施例中，上述卷积神经网络模型在训练过程中通过如下步骤计算损失值：
步骤A1，计算所述解码网络输出的特征图像的二分类交叉熵。
在二分类问题中，预测结果为是和否，对于本发明，预测结果为是否为头发区域。具体地，可以用1表示为头发区域，0表示非头发区域。
在二分类问题中，损失函数通常采用二分类交叉熵，对于每个像素点，具体计算公式如下：
LOSS1i,j＝yi,j·log(yi,j')+(1-yi,j)·log(1-yi,j') (1)
其中，yi,j为输入图像中第i行第j列像素点的样本值，yi,j'为输入图像中第i行第j列像素点的预测值。
从而，整个图像LOSS1的损失值为各像素点的损失值的平均值，具体公式如下：
其中，I为行数，J为列数。
步骤A2，计算所述解码网络输出的特征图像与所述输入图像之间的梯度损失值。
具体地，梯度损失值LOSS2的计算公式如下：
其中，IXi为输入图像第i行第j列像素处梯度的x轴分量，IYj为输入图像第i行第j列像素处梯度的y轴分量，MXi为输入图像第i行第j列像素处梯度的x轴分量，MYj为输入图像第i行第j列像素处梯度的y轴分量。
步骤A3，计算所述二分类交叉熵和所述梯度损失值的加权值得到损失值。
具体地，损失值LOSS的计算公式如下：
LOSS＝w1·LOSS1+w2·LOSS2 (4)
其中，w1和w2之和为1，大小可以调整。
可以理解，当存在多个图像样本时，可以将多个图像样本的损失值的平均值作为总损失值。
在训练过程中，对图像样本进行标注，表明其是否为头发区域，但通常标注并不是很准确，为了解决上述问题，本发明实施例采用梯度损失值测量原图像与特征图边缘之间的一致性，保证头发特征图更加准确。
步骤203，对所述输入图像进行如下处理中的至少一种：锐化处理、平滑处理、亮度调整。
其中，锐化处理用于补偿图像轮廓、增强图像边缘及灰度跳变，使图像变得清晰，分为空域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。从而提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强。
平滑处理用于平滑图像亮度。在实际应用中，受传感器和大气等因素的影响，图像上会出现亮度变化过大的区域或亮点，平滑处理使图像亮度趋于平缓，图像平滑实际上是低通滤波。
亮度调整可以根据用户操作进行，用户可以将亮度值调大，也可以将亮度值调小，此操作可以通过滑动条实现。
在实际应用中，图像边缘、过亮区域以及图像亮度均会导致头发颜色的效果，从而在染色之前需要首先对图像进行锐化处理、平滑处理、以及亮度调整。
步骤204，对于所述输入图像中的每个像素点，从所述头发特征图中获取所述像素点位置对应的特征值。
具体地，对于每个像素点，根据其行号和列好，从头发特征图中获取该行号和列好对应位置的点的取值，作为该像素点的特征值。
步骤205，在所述特征值为预设目标特征值的情况下，将所述像素点的颜色值调整为所述目标颜色，所述目标特征值表示所述像素点属于头发区域。
在实际应用中，目标特征值与训练时样本标签值的设定规则相关，例如，若1表示像素点属于头发区域，则目标特征值为1。
具体地，在调整颜色值时，将像素点的RGB三个通道的值均替换为目标颜色对应的RGB颜色通道的值。
可以理解，在特征值代表像素点不为目标特征值的情况下，代表该像素点不属于头发区域，从而不调整该像素点的颜色值。
在本发明实施例中，可以逐个像素点调整颜色，可以有效保证发色调整的准确度。
可选地，在本发明实施例中，上述目标颜色针对不同位置的像素点不同，根据颜色调整操作变化。
在本发明实施例中，每个像素点的颜色可以相同，从而使得整个发色呈现单一颜色；每个像素点的颜色还可以不同，从而使得整个发色呈现为渐变色或其他彩色效果。
在实际应用中，目标颜色还可以供用户调整，从而发色调整效果为用户期望效果，有利于提高用户体验。
步骤206，将所述颜色值经过调整的输入图像的尺寸调整为所述待处理图像的尺寸。
在本发明实施例中，用户输入的待处理图像的尺寸通常是用户期望或常用的尺寸，从而将图像染色之后将图像尺寸调整为原尺寸，使得图像在用户终端上的展示效果较好，有利于提高用户体验。
本发明实施例提供了一种发色调整方法，所述方法包括：获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。可以在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
实施例三
参照图5，其示出了在本发明的一种实施例中的发色调整装置的结构图，具体如下。
尺寸调整模块301，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像。
头发特征预测模块302，用于将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算。
颜色调整模块303，用于根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。
本发明实施例提供了一种发色调整装置，所述装置包括：尺寸调整模块，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；头发特征预测模块，用于将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；颜色调整模块，用于根据所述头发特征图将所述输入图像的头发区域调整为目标颜色。可以在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
实施例三为实施例一对应的装置实施例，详细说明可以参照实施例一，在此不再赘述。
实施例四
参照图6，其示出了在本发明的另一种实施例中的发色调整装置的结构图，具体如下。
尺寸调整模块401，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像。
头发特征预测模块402，用于将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算。
颜色调整模块403，用于根据所述头发特征图将所述输入图像的头发区域调整为目标颜色；可选地，在本发明实施例中，上述颜色调整模块403，包括：
图像处理子模块4031，用于对所述输入图像进行如下处理中的至少一种：锐化处理、平滑处理、亮度调整。
特征值获取子模块4032，用于对于所述输入图像中的每个像素点，从所述头发特征图中获取所述像素点位置对应的特征值。
颜色调整子模块4033，用于在所述特征值为预设目标特征值的情况下，将所述像素点的颜色值调整为所述目标颜色，所述目标特征值表示所述像素点属于头发区域。
尺寸还原模块404，用于将所述颜色值经过调整的输入图像的尺寸调整为所述待处理图像的尺寸。
可选地，在本发明的另一种实施例中，上述解码网络的每个解码网络的输入为目标编码模块的输出与上一级解码网络的输出的加权图像，所述目标编码模块为与所述上一级解码网络的输出为尺寸相同的特征图像。
可选地，在本发明的另一种实施例中，上述卷积神经网络模型在训练过程中通过如下模块计算损失值：
交叉熵计算模块，用于计算所述解码网络输出的特征图像的二分类交叉熵。
梯度损失值计算模块，用于计算所述解码网络输出的特征图像与所述输入图像之间的梯度损失值。
损失值计算模块，用于计算所述二分类交叉熵和所述梯度损失值的加权值得到损失值。
可选地，在本发明的另一种实施例中，上述目标颜色针对不同位置的像素点不同，根据颜色调整操作变化。
本发明实施例提供了一种发色调整装置，所述装置包括：尺寸调整模块，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；头发特征预测模块，用于将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；颜色调整模块，用于根据所述头发特征图将所述输入图像的头发区域调整为目标颜色；尺寸还原模块，用于将所述颜色值经过调整的输入图像的尺寸调整为所述待处理图像的尺寸。可以在解码时根据编码模块和上一级解码模块共同预测头发分割区域，有助于提高预测的准确度。
实施例四为实施例二对应的装置实施例，详细说明可以参照实施例二，在此不再赘述。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的实施例的内容，并且上面对特定语言所做的描述是为了披露本发明的实施例的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的实施例的示例性实施例的描述中，本发明的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的实施例的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明的实施例的发色调整设备中的一些或者全部部件的一些或者全部功能。本发明的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明的实施例进行说明而不是对本发明的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的实施例的较佳实施例而已，并不用以限制本发明的实施例，凡在本发明的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的实施例的保护范围之内。
以上所述，仅为本发明的实施例的具体实施方式，但本发明的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的实施例的保护范围之内。因此，本发明的实施例的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种发色调整方法，其特征在于，所述方法包括：
获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；
根据所述头发特征图将所述输入图像的头发区域调整为目标颜色；
所述解码网络的每个解码网络的输入为目标编码模块的输出与上一级解码网络的输出的加权图像，所述目标编码模块为与所述上一级解码网络的输出为尺寸相同的特征图像；
所述卷积神经网络模型在训练过程中通过如下步骤计算损失值：
计算所述解码网络输出的特征图像的二分类交叉熵，对于每个像素点，其二分类交叉熵计算公式为：
LOSS1i,j＝yi,j·log(yi,j')+(1-yi,j)·log(1-yi,j')
其中，yi,j为输入图像中第i行第j列像素点的样本值，yi,j'为输入图像中第i行第j列像素点的预测值；
整个特征图像的损失值LOSS1，
其中，I为行数，J为列数；
计算所述解码网络输出的特征图像与所述输入图像之间的梯度损失值LOSS2，
其中，IXi为输入图像第i行第j列像素处梯度的x轴分量，IYj为输入图像第i行第j列像素处梯度的y轴分量，MXi为输入图像第i行第j列像素处梯度的x轴分量，MYj为输入图像第i行第j列像素处梯度的y轴分量；计算所述二分类交叉熵和所述梯度损失值的加权值得到损失值LOSS，
LOSS＝w1·LOSS1+w2·LOSS2
其中，w1和w2之和为1。
2.根据权利要求1所述的方法，其特征在于，所述根据所述头发特征图将所述输入图像的头发区域调整为目标颜色的步骤，包括：
对于所述输入图像中的每个像素点，从所述头发特征图中获取所述像素点位置对应的特征值；
在所述特征值为预设目标特征值的情况下，将所述像素点的颜色值调整为所述目标颜色，所述目标特征值表示所述像素点属于头发区域。
3.根据权利要求2所述的方法，其特征在于，所述目标颜色针对不同位置的像素点不同，根据颜色调整操作变化。
4.根据权利要求2所述的方法，其特征在于，在所述对于所述输入图像中的每个像素点，从所述头发特征图中获取所述像素点位置对应的特征值的步骤之前，还包括：
对所述输入图像进行如下处理中的至少一种：锐化处理、平滑处理、亮度调整。
5.根据权利要求2所述的方法，其特征在于，在所述根据所述头发特征图将所述输入图像的头发区域调整为目标颜色的步骤之后，所述方法还包括：
将所述颜色值经过调整的输入图像的尺寸调整为所述待处理图像的尺寸。
6.一种发色调整装置，其特征在于，所述装置包括：
尺寸调整模块，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
头发特征预测模块，用于将所述输入图像输入至预先训练得到的卷积神经网络模型中，得到头发特征图，所述卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于进行深度可分离卷积运算，其中第一个编码模块的输入为所述输入图像，所述解码网络由多个解码模块级联组成，所述解码网络的第一个解码模块的输入为编码网络中最后一个编码模块的输出，所述解码模块用于进行反卷积运算和深度可分离卷积运算；
颜色调整模块，用于根据所述头发特征图将所述输入图像的头发区域调整为目标颜色；
所述解码网络的每个解码网络的输入为目标编码模块的输出与上一级解码网络的输出的加权图像，所述目标编码模块为与所述上一级解码网络的输出为尺寸相同的特征图像；
所述卷积神经网络模型在训练过程中通过如下模块计算损失值：
交叉熵计算模块，用于计算所述解码网络输出的特征图像的二分类交叉熵，对于每个像素点，其二分类交叉熵计算公式为：
LOSS1i,j＝yi,j·log(yi,j')+(1-yi,j)·log(1-yi,j')
其中，yi,j为输入图像中第i行第j列像素点的样本值，yi,j'为输入图像中第i行第j列像素点的预测值；
整个特征图像的损失值LOSS1，
其中，I为行数，J为列数；梯度损失值计算模块，用于计算所述解码网络输出的特征图像与所述输入图像之间的梯度损失值LOSS2，
其中，IXi为输入图像第i行第j列像素处梯度的x轴分量，IYj为输入图像第i行第j列像素处梯度的y轴分量，MXi为输入图像第i行第j列像素处梯度的x轴分量，MYj为输入图像第i行第j列像素处梯度的y轴分量；
损失值计算模块，用于计算所述二分类交叉熵和所述梯度损失值的加权值得到损失值LOSS，
LOSS＝w1·LOSS1+w2·LOSS2
其中，w1和w2之和为1。
7.根据权利要求6所述的装置，其特征在于，所述颜色调整模块，包括：
特征值获取子模块，用于对于所述输入图像中的每个像素点，从所述头发特征图中获取所述像素点位置对应的特征值；
颜色调整子模块，用于在所述特征值为预设目标特征值的情况下，将所述像素点的颜色值调整为所述目标颜色，所述目标特征值表示所述像素点属于头发区域。
8.根据权利要求7所述的装置，其特征在于，所述目标颜色针对不同位置的像素点不同，根据颜色调整操作变化。
9.根据权利要求7所述的装置，其特征在于，所述颜色调整模块还包括：
图像处理子模块，用于对所述输入图像进行如下处理中的至少一种：锐化处理、平滑处理、亮度调整。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
尺寸还原模块，用于将所述颜色值经过调整的输入图像的尺寸调整为所述待处理图像的尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811500225.8A CN109658330B (zh) | 2018-12-10 | 2018-12-10 | 一种发色调整方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811500225.8A CN109658330B (zh) | 2018-12-10 | 2018-12-10 | 一种发色调整方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658330A CN109658330A (zh) | 2019-04-19 |
| CN109658330B true CN109658330B (zh) | 2023-12-26 |
Family
ID=66113141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811500225.8A Active CN109658330B (zh) | 2018-12-10 | 2018-12-10 | 一种发色调整方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658330B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276766A (zh) * | 2019-06-27 | 2019-09-24 | 广州久邦世纪科技有限公司 | 一种人像分割的方法及装置 |
| CN110660061A (zh) * | 2019-08-22 | 2020-01-07 | 清华大学 | 一种采用概率图梯度损失函数的图像语义分割方法 |
| CN110730303B (zh) * | 2019-10-25 | 2022-07-12 | 腾讯科技（深圳）有限公司 | 图像染发处理方法、装置、终端和存储介质 |
| CN110930296B (zh) * | 2019-11-20 | 2023-08-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110969631B (zh) * | 2019-11-25 | 2023-04-11 | 杭州小影创新科技股份有限公司 | 一种精细化照片染发方法及系统 |
| CN111815708B (zh) * | 2020-07-17 | 2021-09-07 | 中国科学院自动化研究所 | 基于双通路卷积神经网络的服务机器人抓取检测方法 |
| CN113870372A (zh) * | 2021-08-31 | 2021-12-31 | 浙江大学 | 一种基于深度学习的视频头发颜色转换方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780512A (zh) * | 2016-11-30 | 2017-05-31 | 厦门美图之家科技有限公司 | 分割图像的方法、应用及计算设备 |
| CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
| CN108010031A (zh) * | 2017-12-15 | 2018-05-08 | 厦门美图之家科技有限公司 | 一种人像分割方法及移动终端 |
| CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| CN108351600A (zh) * | 2015-11-19 | 2018-07-31 | 科磊股份有限公司 | 从设计信息产生模拟图像 |
| CN108764250A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 一种运用卷积神经网络提取本质图像的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130222559A1 (en) * | 2012-02-24 | 2013-08-29 | Ali Lebaschi | Id scanner with machine-readable coded indicia reader and card imaging digital camera |
-
2018
- 2018-12-10 CN CN201811500225.8A patent/CN109658330B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108351600A (zh) * | 2015-11-19 | 2018-07-31 | 科磊股份有限公司 | 从设计信息产生模拟图像 |
| CN106780512A (zh) * | 2016-11-30 | 2017-05-31 | 厦门美图之家科技有限公司 | 分割图像的方法、应用及计算设备 |
| CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
| CN108010031A (zh) * | 2017-12-15 | 2018-05-08 | 厦门美图之家科技有限公司 | 一种人像分割方法及移动终端 |
| CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| CN108764250A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 一种运用卷积神经网络提取本质图像的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度可分离卷积的实时农业图像逐像素分类研究;刘庆飞等;《中国农业科学》;20181001;第51卷(第19期);第3673-3682页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658330A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658330B (zh) | 一种发色调整方法及装置 | |
| CN104517110B (zh) | 一种二维码图像的二值化方法及系统 | |
| Celik et al. | Contextual and variational contrast enhancement | |
| CN110189349B (zh) | 图像处理方法及装置 | |
| KR101194133B1 (ko) | 화상 처리 방법, 표시 화상 처리 방법, 화상 처리 장치,화상 처리 프로그램 및 그 화상 처리 장치를 포함하는집적회로 | |
| US10073602B2 (en) | System and method for displaying a suggested luminance adjustment for an image | |
| CN108205804A (zh) | 图像处理方法、装置及电子设备 | |
| WO2015070723A1 (zh) | 眼部图像处理方法和装置 | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| US10992845B1 (en) | Highlight recovery techniques for shallow depth of field rendering | |
| CN110691226B (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| CN111489322A (zh) | 给静态图片加天空滤镜的方法及装置 | |
| Wang et al. | Color contrast-preserving decolorization | |
| CN111968057A (zh) | 图像降噪方法、装置、存储介质及电子装置 | |
| CN110175967B (zh) | 图像去雾处理方法、系统、计算机设备和存储介质 | |
| CN112541868A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Katırcıoğlu | Colour image enhancement with brightness preservation and edge sharpening using a heat conduction matrix | |
| Yang et al. | Multi-scale exposure fusion based on multi-visual feature measurement and detail enhancement representation | |
| KR102583038B1 (ko) | 지향성 스케일링 시스템들 및 방법들 | |
| CN116681636A (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| Siddiqui et al. | Hierarchical color correction for camera cell phone images | |
| Yao et al. | A multi-expose fusion image dehazing based on scene depth information | |
| Li et al. | Contrast enhancement algorithm for outdoor infrared images based on local gradient-grayscale statistical feature | |
| WO2020241337A1 (ja) | 画像処理装置 | |
| JP2003016444A (ja) | パターン認識装置とそのパターン認識方法、及びパターン認識プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |