CN112949348A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112949348A CN112949348A CN201911179668.6A CN201911179668A CN112949348A CN 112949348 A CN112949348 A CN 112949348A CN 201911179668 A CN201911179668 A CN 201911179668A CN 112949348 A CN112949348 A CN 112949348A
- Authority
- CN
- China
- Prior art keywords
- face image
- original
- image
- optimization
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims description 79
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 206010014970 Ephelides Diseases 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域，该方法包括：获取待优化的原始人脸图像；按照人脸肤色对原始人脸图像进行分类，得到原始人脸图像的类别；根据原始人脸图像的类别对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。这种方式考虑到了不同人脸肤色的用户具有不同的人脸优化需求，通过根据按照人脸肤色分类得到的原始人脸图像的类别对原始人脸图像进行人脸优化，提高了人脸优化的针对性，从而缓解了用户在人脸优化方面的实际应用需求。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着诸如手机、平板电脑等终端设备的不断发展和普及，越来越多的用户使用带有摄像头的终端设备进行拍照。为了美化拍摄的照片，已经开发出了一些实现人脸优化的图像处理方法。
现有的实现人脸优化的图像处理方法主要是针对图像中人脸部分进行去噪，以实现磨皮嫩肤的效果。然而对所有图像均进行这种方式的人脸优化，无法满足人们的实际应用需求。
发明内容
本发明的目的在于提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以缓解用户在人脸优化方面的实际应用需求。
本发明实施例提供了一种图像处理方法，包括：
获取待优化的原始人脸图像；
按照人脸肤色对所述原始人脸图像进行分类，得到所述原始人脸图像的类别；
根据所述原始人脸图像的类别对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
进一步地，所述按照人脸肤色对所述原始人脸图像进行分类，得到所述原始人脸图像的类别，包括：
利用预先训练好的分类模型对所述原始人脸图像进行分类，得到所述原始人脸图像的类别；其中，所述分类模型用于根据图像中人脸的肤色对图像进行分类。
进一步地，所述利用预先训练好的分类模型对所述原始人脸图像进行分类，得到所述原始人脸图像的类别，包括：
将所述原始人脸图像输入预先训练好的神经网络模型，得到所述神经网络模型输出的分类结果；其中，所述分类结果指示属于多个预设类别中每个所述预设类别的概率，所述预设类别包括白种人、黄种人和黑种人；
将所述分类结果中概率最大的预设类别确定为所述原始人脸图像的类别。
进一步地，所述根据所述原始人脸图像的类别对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像，包括：
根据所述原始人脸图像的类别确定所述原始人脸图像对应的目标优化模型；其中，不同类别所对应的目标优化模型对图像的优化处理不同；
采用所述目标优化模型对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
进一步地，所述根据所述原始人脸图像的类别确定所述原始人脸图像对应的目标优化模型，包括：
如果所述原始人脸图像的类别指示所述原始人脸图像中的人脸为白种人或黑种人，确定所述原始人脸图像对应的目标优化模型为第一优化模型，所述第一优化模型用于去除在预设的第一噪声强度范围内的第一噪声，以保留图像中的纹理细节；
如果所述原始人脸图像的类别为黄种人，确定所述原始人脸图像对应的目标优化模型为第二优化模型，所述第二优化模型用于去除高斯噪声和/或在预设的第二噪声强度范围内的第二噪声；
其中，所述第二噪声的噪声强度大于所述第一噪声的噪声强度。
进一步地，所述第一优化模型包括预先训练好的第一WDSR网络模型，所述第一WDSR网络模型的上采样因子为1；在所述获取待优化的原始人脸图像之前，所述方法还包括：
获取第一训练人脸图像，所述第一训练人脸图像中的人脸为白种人或黑种人；
在所述第一训练人脸图像中加入噪声强度在所述第一噪声强度范围内的第一压缩噪声；
对加入噪声后的第一训练人脸图像进行高斯模糊处理，得到第一输入图像；
利用所述第一训练人脸图像和所述第一输入图像对待训练的第一WDSR网络模型进行训练，得到训练完成的所述第一WDSR网络模型。
进一步地，所述第二优化模型包括预先训练好的第二WDSR网络模型，所述第二WDSR网络模型的上采样因子为1；在所述获取待优化的原始人脸图像之前，所述方法还包括：
获取第二训练人脸图像，所述第二训练人脸图像中的人脸为黄种人；
在所述第二训练人脸图像中加入目标噪声，得到第二输入图像；其中，所述目标噪声包括高斯噪声和/或噪声强度在所述第二噪声强度范围内的第二压缩噪声；
利用所述第二训练人脸图像和所述第二输入图像对待训练的第二WDSR网络模型进行训练，得到训练完成的所述第二WDSR网络模型。
本发明实施例还提供了一种图像处理装置，包括：
获取模块，用于获取待优化的原始人脸图像；
分类模块，用于按照人脸肤色对所述原始人脸图像进行分类，得到所述原始人脸图像的类别；
优化模块，用于根据所述原始人脸图像的类别对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像处理方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的图像处理方法。
本发明实施例提供的图像处理方法、装置、电子设备及计算机可读存储介质中，该方法包括：获取待优化的原始人脸图像；按照人脸肤色对原始人脸图像进行分类，得到原始人脸图像的类别；根据原始人脸图像的类别对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。这种方式考虑到了不同人脸肤色的用户具有不同的人脸优化需求，通过根据按照人脸肤色分类得到的原始人脸图像的类别对原始人脸图像进行人脸优化，提高了人脸优化的针对性，从而缓解了用户在人脸优化方面的实际应用需求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例提供的另一种图像处理方法的流程示意图；
图3为本发明实施例提供的一种WDSR网络模型的结构示意图；
图4为本发明实施例提供的一种训练第一优化模型的流程示意图；
图5为本发明实施例提供的另一种训练第一优化模型的流程示意图；
图6为本发明实施例提供的一种训练第二优化模型的流程示意图；
图7为本发明实施例提供的一种图像处理装置的结构示意图；
图8为本发明实施例提供的另一种图像处理装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人发现，现有的实现人脸优化的图像处理方法主要是针对图像中人脸部分进行去噪，并未针对不同的人脸肤色提出相应的人脸优化方案，而不同人脸肤色的人种对人脸优化的需求是不同的，基于此，本发明实施例提供的一种图像处理方法、装置、电子设备及计算机可读存储介质，可以基于人脸肤色对图像进行分类，例如分为白种人、黄种人、黑种人三类，并针对不同类别的人脸图像实施不同的人脸优化方法，从而缓解用户在人脸优化方面的实际应用需求。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。
本发明实施例提供了一种图像处理方法，该方法可以由具有图像处理能力的电子设备执行，该电子设备可以但不限于为以下中的任一种：台式电脑、笔记本电脑、平板电脑和智能手机等。
参见图1所示的一种图像处理方法的流程示意图，该方法包括以下步骤S102至步骤S106：
步骤S102，获取待优化的原始人脸图像。
上述待优化的原始人脸图像可以是照片，也可以是视频图像；可以是电子设备自身拍摄得到的，也可以是通过数据传输得到的，本发明实施例对此不做限定。
步骤S104，按照人脸肤色对上述原始人脸图像进行分类，得到该原始人脸图像的类别。
可以利用预先训练好的分类模型对上述原始人脸图像进行分类，得到原始人脸图像的类别；其中，分类模型用于根据图像中人脸的肤色对图像进行分类。该分类模型可以但不限于为神经网络模型。基于人脸肤色分类的类别可以包括白种人、黄种人和黑种人三类，也可以包括白种人、黄种人、黑种人和棕种人四类。
在一种可能的实现方式中，步骤S104包括：将原始人脸图像输入预先训练好的神经网络模型，得到神经网络模型输出的分类结果；其中，分类结果指示属于多个预设类别中每个预设类别的概率，预设类别包括白种人、黄种人和黑种人；将分类结果中概率最大的预设类别确定为原始人脸图像的类别。其中，神经网络模型可以采用卷积神经网络模型，卷积神经网络模型可以但不限于为VGG16模型、GoogleNet模型、AlexNet模型和VGG19模型中的一种或多种。
步骤S106，根据上述原始人脸图像的类别对该原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
由于不同人脸肤色的用户，其人脸优化需求不同，因此基于人脸肤色划分得到的类别对原始人脸图像进行有针对性的人脸优化处理，更加贴合用户的实际优化需求，从而能够提高用户的体验感。
在一些可能的实施例中，步骤S106包括：根据原始人脸图像的类别确定该原始人脸图像对应的目标优化模型，其中，不同类别所对应的目标优化模型对图像的优化处理不同；采用该目标优化模型对该原始人脸图像进行人脸优化，得到优化后的目标人脸图像。其中，目标优化模型可以是传统的去噪模型，如NLM(Non-Local Means，非局部均值)降噪模型，也可以是预先训练好的神经网络模型。
考虑到很多白种人所在的国家都认为，有雀斑是被上帝祝福的标志，因此在做人脸优化时，白种人脸上的雀斑等纹理细节信息尽可能保留；而黄种人多以皮肤干净为美，因此在去噪和锐化的时候，尽量模糊脸部瑕疵，达到美颜效果；对于黑种人，实现图像的保边去噪即可。基于此，在一种可能的实现方式中，如果原始人脸图像的类别指示原始人脸图像中的人脸为白种人或黑种人，确定原始人脸图像对应的目标优化模型为第一优化模型，第一优化模型用于去除在预设的第一噪声强度范围内的第一噪声，以保留图像中的纹理细节；如果原始人脸图像的类别指示原始人脸图像中的人脸为黄种人，确定原始人脸图像对应的目标优化模型为第二优化模型，第二优化模型用于去除高斯噪声和/或在预设的第二噪声强度范围内的第二噪声；其中，第二噪声的噪声强度大于第一噪声的噪声强度。
可选地，上述第一优化模型包括NLM降噪模型或预先训练好的神经网络模型，第二优化模型包括NLM降噪模型或预先训练好的神经网络模型。该神经网络模型可以为基于深度学习的传统去噪网络模型，也可以为WDSR(Wide Activation for Efficient andAccurate Image Super-Resolution，基于宽激活的高效准确的超分辨率重建)网络模型；其中，WDSR网络模型本身是用于做超分辨率重建的网络模型，但在本发明实施例中WDSR网络模型用于去噪，不用于做超分辨率重建，因此WDSR网络模型的上采样因子为1，以保证输入WDSR网络模型的图像大小与输出WDSR网络模型的图像大小一致。
本发明实施例中，获取待优化的原始人脸图像；按照人脸肤色对原始人脸图像进行分类，得到原始人脸图像的类别；根据原始人脸图像的类别对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。这种方式考虑到了不同人脸肤色的用户具有不同的人脸优化需求，通过根据按照人脸肤色分类得到的原始人脸图像的类别对原始人脸图像进行人脸优化，提高了人脸优化的针对性，从而缓解了用户在人脸优化方面的实际应用需求。
为了便于理解，下面将以采用预先训练好的VGG16模型对原始人脸图像进行分类，目标优化模型为预先训练好的WDSR网络模型为例，参照图2对上述图像处理方法进行示例性介绍。
参见图2所示的另一种图像处理方法的流程示意图，该方法包括以下步骤：
步骤S202，获取待优化的原始人脸图像。
步骤S204，利用预先训练好的VGG16模型对上述原始人脸图像进行分类，得到原始人脸图像的类别；其中，原始人脸图像的类别包括白种人、黄种人或黑种人。
本实施例通过预先训练好的VGG16模型将人脸图像分为三类：白种人、黄种人和黑种人。在具体实施时，将上述原始人脸图像输入该训练好的VGG16模型，VGG16模型会输出原始人脸图像的分类结果；其中，分类结果指示属于白种人、黄种人和黑种人中每个预设类别的概率；并将分类结果中概率最大的预设类别确定为原始人脸图像的类别。
上述VGG16模型的一种网络结构如下表1所示：
表1
上述表1中，“N Conv3-C”表示N个3*3的卷积层(Convolutional Layer)，C表示每个卷积层的卷积核个数；“FC M”表示全连接层(Fully connected Layer)，M表示全连接层神经元的个数；“maxpool”表示最大池化层。如上表1所示，最终的全连接层神经元个数为3，表示三分类任务，softmax函数计算图像属于每一个类别的概率，最大概率的类别即为输入的人脸图像的类别。
在训练上述VGG16模型时，需要对每个类别选取一定数量的人脸图像，将选取的人脸图像作为训练图像，然后在训练图像中加入类别标记得到标记图像，最后基于训练图像和标记图像对待训练的VGG16模型进行训练，得到训练好的VGG16模型。另外，VGG16模型可以在该方法所应用的电子设备上训练得到，也可以在其他设备上训练好之后，部署在该电子设备上。
步骤S206，根据上述原始人脸图像的类别确定该原始人脸图像对应的目标优化模型；其中，不同类别所对应的目标优化模型对图像的优化处理不同。
用于执行该方法的电子设备中预先存储有类别与优化模型的对应关系，通过查找该对应关系即可确定原始人脸图像对应的目标优化模型。如果原始人脸图像的类别为白种人或黑种人，确定原始人脸图像对应的目标优化模型为第一优化模型，第一优化模型用于去除在预设的第一噪声强度范围内的第一噪声；如果原始人脸图像的类别为黄种人，确定原始人脸图像对应的目标优化模型为第二优化模型，第二优化模型用于去除高斯噪声和/或在预设的第二噪声强度范围内的第二噪声；其中，第二噪声的噪声强度大于第一噪声的噪声强度。
可选地，噪声强度的总范围为0-100，上述第一噪声强度范围可以为30-60，上述第二噪声强度范围可以为20-32。上述第一噪声和第二噪声均可以是压缩噪声(图像压缩时产生的噪声)，如jpeg压缩噪声。
上述第一优化模型和第二优化模型均可以采用WDSR网络模型，二者的训练过程不同，后续将分别对二者的训练过程进行详细介绍。对于白种人或黑种人，WDSR网络模型能够保留原始人脸图像中的面部真实细节、去除噪声；对于黄种人，训练好的WDSR网络模型属于强去噪网络模型，采用该WDSR网络模型对原始人脸图像进行强去噪时，会产生一定程度的面部磨皮效果，从而可以达到美颜的效果。
为了便于理解WDSR网络模型，本实施例还提供了一种WDSR网络模型的结构示意图，参见图3所示的一种WDSR网络模型的结构示意图，矩形表示卷积层，“Residual Body”表示残差结构，梯形表示上采样层，本实施例中上采样因子为1，“+”表示特征图相加。如图3所示，上述WDSR网络模型的处理过程如下：对输入图像做卷积处理、残差结构处理、卷积处理和上采样处理，得到第一特征图；对输入图像做卷积处理和上采样处理，得到第二特征图；将第一特征图与第二特征图相加，得到输出图像。
步骤S208，采用上述目标优化模型对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
采用第一优化模型对类别为白种人或黑种人的原始人脸图像进行人脸优化，或者采用第二优化模型对类别为黄种人的原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
需要说明的是，上述图2中未详细描述的各步骤的具体过程，可以参见前述实施例中的相应内容，这里不再赘述。
本实施例中，采用预先训练好的VGG16模型对原始人脸图像进行分类，将人脸图像分为白种人、黄种人或黑种人三类，基于与原始人脸图像的类别对应的WDSR网络模型对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。这样根据人脸属性(肤色)来制定相应的人脸优化方法，针对性强，优化效果更佳符合用户的需求，提高了用户的体验感。
为了便于理解，本发明实施例还提供了第一优化模型的训练流程，下面将以第一优化模型为WDSR网络模型为例，分别参照图4和图5对第一优化模型的训练流程进行详细介绍。
首先，参见图4所示的一种训练第一优化模型的流程示意图，该第一优化模型为预先训练好的第一WDSR网络模型，第一WDSR网络模型的上采样因子为1，通过以下过程训练得到第一WDSR网络模型：
步骤S402，获取第一训练人脸图像，该第一训练人脸图像中的人脸为白种人或黑种人。
可选地，可以收集高清且无噪声的白种人人脸图像和高清且无噪声的黑种人人脸图像作为网络学习的目标(第一训练人脸图像)。
步骤S404，在上述第一训练人脸图像中加入噪声强度在上述第一噪声强度范围内的第一压缩噪声，得到第一输入图像。
上述第一输入图像为训练第一WDSR网络模型时的输入数据。具体实现时，可以通过opencv(Open Source Computer Vision Library，开源计算机视觉库)在第一训练人脸图像中加入随机的第一压缩噪声，噪声强度在30～60之间(第一噪声强度范围)，从而获得网络模型训练过程中的输入数据。
步骤S406，利用上述第一训练人脸图像和第一输入图像对待训练的第一WDSR网络模型进行训练，得到训练完成的第一WDSR网络模型。
将第一输入图像输入第一WDSR网络模型，获得第一WDSR网络模型的输出图像，通过比较输出图像与训练人脸图像来反复调整第一WDSR网络模型的参数，从而得到训练好的第一WDSR网络模型。
本实施例中，在获取第一输入图像时加入了中低强度(30～60)的压缩噪声，这样训练好的第一WDSR网络模型可以去除原始人脸图像中的中低强度的噪声，由于所去除的噪声强度适中，因此能够保留原始人脸图像的细节，适合于白种人或黑种人的人脸优化。
为了实现锐化效果，参见图5所示的另一种训练第一优化模型的流程示意图，该第一优化模型也为预先训练好的第一WDSR网络模型，第一WDSR网络模型的上采样因子为1，通过以下过程训练得到第一WDSR网络模型：
步骤S502，获取第一训练人脸图像，该第一训练人脸图像中的人脸为白种人或黑种人。
步骤S504，在上述第一训练人脸图像中加入噪声强度在上述第一噪声强度范围内的第一压缩噪声。
步骤S506，对加入噪声后的第一训练人脸图像进行高斯模糊处理，得到第一输入图像。
步骤S508，利用上述第一训练人脸图像和第一输入图像对待训练的第一WDSR网络模型进行训练，得到训练完成的第一WDSR网络模型。
需要说明的是，上述图5中未详细描述的各步骤的具体过程，可以参见前述实施例中的相应内容，这里不再赘述。
本实施例中，在获取第一输入图像时做了高斯模糊处理，这样训练得到的第一WDSR网络模型能够增强人脸图像中人脸部分的边缘，实现一定程度的锐化效果。
为了便于理解，本发明实施例还提供了第二优化模型的训练流程，下面将以第二优化模型为WDSR网络模型为例，参照图6对第二优化模型的训练流程进行详细介绍。
参见图6所示的一种训练第二优化模型的流程示意图，该第二优化模型为预先训练好的第二WDSR网络模型，第二WDSR网络模型的上采样因子为1，通过以下过程训练得到第二WDSR网络模型：
步骤S602，获取第二训练人脸图像，该第二训练人脸图像中的人脸为黄种人。
可选地，可以收集高清且无噪声的黄种人人脸图像作为第二训练人脸图像。
步骤S604，在上述第二训练人脸图像中加入目标噪声，得到第二输入图像；其中，目标噪声包括高斯噪声和/或噪声强度在上述第二噪声强度范围内的第二压缩噪声。
上述第二输入图像为训练第二WDSR网络模型时的输入数据。具体实现时，可以通过opencv在第二训练人脸图像中加入强压缩噪声(第二压缩噪声)，噪声强度在20～32之间(第二噪声强度范围)；也可以在第二训练人脸图像中加入高斯噪声；还可以在第二训练人脸图像中加入强压缩噪声和高斯噪声。
步骤S606，利用上述第二训练人脸图像和第二输入图像对待训练的第二WDSR网络模型进行训练，得到训练完成的第二WDSR网络模型。
需要说明的是，上述图6中未详细描述的各步骤的具体过程，可以参见前述实施例中的相应内容，这里不再赘述。
本实施例中，在获取第二输入图像时加入了高斯噪声和/或强压缩噪声，这样训练得到的第二WDSR网络模型属于强去噪网络模型，采用该第二WDSR网络模型对原始人脸图像进行强去噪时，会产生一定程度的面部磨皮效果，从而可以达到美颜的效果，因此比较适合于黄种人的人脸优化。
对应于上述的图像处理方法，本发明实施例还提供了一种图像处理装置。参见图7所示的一种图像处理装置的结构示意图，该装置包括：
获取模块72，用于获取待优化的原始人脸图像；
分类模块74，用于按照人脸肤色对原始人脸图像进行分类，得到原始人脸图像的类别；
优化模块76，用于根据原始人脸图像的类别对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
本发明实施例中，获取模块72获取待优化的原始人脸图像；分类模块74按照人脸肤色对原始人脸图像进行分类，得到原始人脸图像的类别；优化模块76根据原始人脸图像的类别对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。这种方式考虑到了不同人脸肤色的用户具有不同的人脸优化需求，通过根据按照人脸肤色分类得到的原始人脸图像的类别对原始人脸图像进行人脸优化，提高了人脸优化的针对性，从而缓解了用户在人脸优化方面的实际应用需求。
可选地，上述分类模块74具体用于：利用预先训练好的分类模型对原始人脸图像进行分类，得到原始人脸图像的类别；其中，分类模型用于根据图像中人脸的肤色对图像进行分类。
可选地，上述分类模块74还用于：将原始人脸图像输入预先训练好的神经网络模型，得到神经网络模型输出的分类结果；其中，分类结果指示属于多个预设类别中每个预设类别的概率，预设类别包括白种人、黄种人和黑种人；将分类结果中概率最大的预设类别确定为原始人脸图像的类别。
可选地，参见图8所示的另一种图像处理装置的结构示意图，上述优化模块76包括：
确定单元761，用于根据原始人脸图像的类别确定原始人脸图像对应的目标优化模型；其中，不同类别所对应的目标优化模型对图像的优化处理不同；
优化单元762，用于采用目标优化模型对原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
可选地，上述确定单元761具体用于：如果原始人脸图像的类别指示原始人脸图像中的人脸为白种人或黑种人，确定原始人脸图像对应的目标优化模型为第一优化模型，第一优化模型用于去除在预设的第一噪声强度范围内的第一噪声，以保留图像中的纹理细节；如果原始人脸图像的类别指示原始人脸图像中的人脸为黄种人，确定原始人脸图像对应的目标优化模型为第二优化模型，第二优化模型用于去除高斯噪声和/或在预设的第二噪声强度范围内的第二噪声；其中，第二噪声的噪声强度大于第一噪声的噪声强度。
可选地，上述第一优化模型包括预先训练好的第一WDSR网络模型，第一WDSR网络模型的上采样因子为1，如图8所示，在图7的基础上，上述装置还包括第一训练模块82，第一训练模块82用于：获取第一训练人脸图像，第一训练人脸图像中的人脸为白种人或黑种人；在第一训练人脸图像中加入噪声强度在第一噪声强度范围内的第一压缩噪声；对加入噪声后的第一训练人脸图像进行高斯模糊处理，得到第一输入图像；利用第一训练人脸图像和第一输入图像对待训练的第一WDSR网络模型进行训练，得到训练完成的第一WDSR网络模型。
可选地，上述第二优化模型包括预先训练好的第二WDSR网络模型，第二WDSR网络模型的上采样因子为1，如图8所示，上述装置还包括第二训练模块84，第二训练模块84用于：获取第二训练人脸图像，第二训练人脸图像中的人脸为黄种人；在第二训练人脸图像中加入目标噪声，得到第二输入图像；其中，目标噪声包括高斯噪声和/或噪声强度在第二噪声强度范围内的第二压缩噪声；利用第二训练人脸图像和第二输入图像对待训练的第二WDSR网络模型进行训练，得到训练完成的第二WDSR网络模型。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
参见图9，本发明实施例还提供一种电子设备100，包括：处理器90，存储器91，总线92和通信接口93，所述处理器90、通信接口93和存储器91通过总线92连接；处理器90用于执行存储器91中存储的可执行模块，例如计算机程序。
其中，存储器91可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线92可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器91用于存储程序，所述处理器90在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器90中，或者由处理器90实现。
处理器90可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91，处理器90读取存储器91中的信息，结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的图像处理方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待优化的原始人脸图像；
按照人脸肤色对所述原始人脸图像进行分类，得到所述原始人脸图像的类别；
根据所述原始人脸图像的类别对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述按照人脸肤色对所述原始人脸图像进行分类，得到所述原始人脸图像的类别，包括：
利用预先训练好的分类模型对所述原始人脸图像进行分类，得到所述原始人脸图像的类别；其中，所述分类模型用于根据图像中人脸的肤色对图像进行分类。
3.根据权利要求2所述的方法，其特征在于，所述利用预先训练好的分类模型对所述原始人脸图像进行分类，得到所述原始人脸图像的类别，包括：
将所述原始人脸图像输入预先训练好的神经网络模型，得到所述神经网络模型输出的分类结果；其中，所述分类结果指示属于多个预设类别中每个所述预设类别的概率，所述预设类别包括白种人、黄种人和黑种人；
将所述分类结果中概率最大的预设类别确定为所述原始人脸图像的类别。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述原始人脸图像的类别对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像，包括：
根据所述原始人脸图像的类别确定所述原始人脸图像对应的目标优化模型；其中，不同类别所对应的目标优化模型对图像的优化处理不同；
采用所述目标优化模型对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述原始人脸图像的类别确定所述原始人脸图像对应的目标优化模型，包括：
如果所述原始人脸图像的类别指示所述原始人脸图像中的人脸为白种人或黑种人，确定所述原始人脸图像对应的目标优化模型为第一优化模型，所述第一优化模型用于去除在预设的第一噪声强度范围内的第一噪声，以保留图像中的纹理细节；
如果所述原始人脸图像的类别指示所述原始人脸图像中的人脸为黄种人，确定所述原始人脸图像对应的目标优化模型为第二优化模型，所述第二优化模型用于去除高斯噪声和/或在预设的第二噪声强度范围内的第二噪声；
其中，所述第二噪声的噪声强度大于所述第一噪声的噪声强度。
6.根据权利要求5所述的方法，其特征在于，所述第一优化模型包括预先训练好的第一WDSR网络模型，所述第一WDSR网络模型的上采样因子为1；在所述获取待优化的原始人脸图像之前，所述方法还包括：
获取第一训练人脸图像，所述第一训练人脸图像中的人脸为白种人或黑种人；
在所述第一训练人脸图像中加入噪声强度在所述第一噪声强度范围内的第一压缩噪声；
对加入噪声后的第一训练人脸图像进行高斯模糊处理，得到第一输入图像；
利用所述第一训练人脸图像和所述第一输入图像对待训练的第一WDSR网络模型进行训练，得到训练完成的所述第一WDSR网络模型。
7.根据权利要求5所述的方法，其特征在于，所述第二优化模型包括预先训练好的第二WDSR网络模型，所述第二WDSR网络模型的上采样因子为1；在所述获取待优化的原始人脸图像之前，所述方法还包括：
获取第二训练人脸图像，所述第二训练人脸图像中的人脸为黄种人；
在所述第二训练人脸图像中加入目标噪声，得到第二输入图像；其中，所述目标噪声包括高斯噪声和/或噪声强度在所述第二噪声强度范围内的第二压缩噪声；
利用所述第二训练人脸图像和所述第二输入图像对待训练的第二WDSR网络模型进行训练，得到训练完成的所述第二WDSR网络模型。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待优化的原始人脸图像；
分类模块，用于按照人脸肤色对所述原始人脸图像进行分类，得到所述原始人脸图像的类别；
优化模块，用于根据所述原始人脸图像的类别对所述原始人脸图像进行人脸优化，得到优化后的目标人脸图像。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911179668.6A CN112949348B (zh) | 2019-11-26 | 2019-11-26 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911179668.6A CN112949348B (zh) | 2019-11-26 | 2019-11-26 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949348A true CN112949348A (zh) | 2021-06-11 |
| CN112949348B CN112949348B (zh) | 2024-03-26 |
Family
ID=76225063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911179668.6A Active CN112949348B (zh) | 2019-11-26 | 2019-11-26 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949348B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105763747A (zh) * | 2016-05-03 | 2016-07-13 | 成都索贝数码科技股份有限公司 | 一种获得高质量且实时的美颜的移动终端 |
| CN107578371A (zh) * | 2017-09-29 | 2018-01-12 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及介质 |
| CN107730446A (zh) * | 2017-10-31 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN107862659A (zh) * | 2017-10-31 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN109829071A (zh) * | 2018-12-14 | 2019-05-31 | 平安科技（深圳）有限公司 | 人脸图像搜索方法、服务器、计算机设备及存储介质 |
| CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
| RU2706891C1 (ru) * | 2019-06-06 | 2019-11-21 | Самсунг Электроникс Ко., Лтд. | Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями |
-
2019
- 2019-11-26 CN CN201911179668.6A patent/CN112949348B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105763747A (zh) * | 2016-05-03 | 2016-07-13 | 成都索贝数码科技股份有限公司 | 一种获得高质量且实时的美颜的移动终端 |
| CN107578371A (zh) * | 2017-09-29 | 2018-01-12 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及介质 |
| CN107730446A (zh) * | 2017-10-31 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN107862659A (zh) * | 2017-10-31 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN109829071A (zh) * | 2018-12-14 | 2019-05-31 | 平安科技（深圳）有限公司 | 人脸图像搜索方法、服务器、计算机设备及存储介质 |
| RU2706891C1 (ru) * | 2019-06-06 | 2019-11-21 | Самсунг Электроникс Ко., Лтд. | Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями |
| CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
Non-Patent Citations (4)
| Title |
|---|
| YU J , FAN Y , YANG J 等: "Wide Activation for Efficient and Accurate Image Super-Resolution", ARXIV:1808.08718V2, pages 47 - 10 * |
| 吴颖斌;: "基于肤色检测和导向滤波的人脸美化技术", 运城学院学报, vol. 36, no. 3, pages 8 - 11 * |
| 王志强, 苗翔宇: "基于保边滤波和肤色模型的人脸美颜技术研究与实现", 无线互联科技, vol. 15, no. 17, pages 135 - 138 * |
| 邱佳梁;戴声奎;: "肤色纹理保留实时人脸美化算法", 计算机辅助设计与图形学学报, vol. 30, no. 2, pages 336 - 345 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949348B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493350B (zh) | 人像分割方法及装置 | |
| CN108010031B (zh) | 一种人像分割方法及移动终端 | |
| CN109522874B (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| JP7226851B2 (ja) | 画像処理の方法および装置並びにデバイス | |
| CN109102483B (zh) | 图像增强模型训练方法、装置、电子设备及可读存储介质 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN113298845A (zh) | 一种图像处理方法、装置与设备 | |
| CN110335216B (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
| CN109064504B (zh) | 图像处理方法、装置和计算机存储介质 | |
| CN108846814B (zh) | 图像处理方法、装置、可读存储介质及计算机设备 | |
| CN107944381B (zh) | 人脸跟踪方法、装置、终端及存储介质 | |
| CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN113034358A (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| WO2018002436A1 (en) | Method and apparatus for removing turbid objects in an image | |
| WO2019202511A1 (en) | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling | |
| CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| Byun et al. | BitNet: Learning-based bit-depth expansion | |
| CN111316628A (zh) | 一种基于智能终端的图像拍摄方法及图像拍摄系统 | |
| CN107909551A (zh) | 图像处理方法、装置、计算机装置及计算机可读存储介质 | |
| CN113658050A (zh) | 一种图像的去噪方法、去噪装置、移动终端及存储介质 | |
| CN112949348B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111383188A (zh) | 一种图像处理方法、系统及终端设备 | |
| Lim et al. | LAU-Net: A low light image enhancer with attention and resizing mechanisms | |
| CN112561822A (zh) | 美颜方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |