CN113077382B - 基于bemd和深度学习的美颜图像还原方法 - Google Patents
基于bemd和深度学习的美颜图像还原方法 Download PDFInfo
- Publication number
- CN113077382B CN113077382B CN202110457719.8A CN202110457719A CN113077382B CN 113077382 B CN113077382 B CN 113077382B CN 202110457719 A CN202110457719 A CN 202110457719A CN 113077382 B CN113077382 B CN 113077382B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- sub
- bemd
- bimf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 230000003796 beauty Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 14
- 208000003351 Melanosis Diseases 0.000 claims abstract description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 208000002874 Acne Vulgaris Diseases 0.000 claims description 3
- 206010000496 acne Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 239000011324 bead Substances 0.000 claims 1
- 230000037303 wrinkles Effects 0.000 abstract description 8
- 206010014970 Ephelides Diseases 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 abstract 1
- 230000000306 recurrent effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 241000209202 Bromus secalinus Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于BEMD和深度学习的美颜图像还原方法，旨在从美颜图像中恢复出原始未美颜图像的亮度以及人脸上的皱纹、雀斑等信息，从而解决当今社会美颜图像的“照骗”所造成的社会信任危机。其主要操作过程是：首先，从IMDB‑WIKI人脸数据集中挑选照片，组成本发明的人像数据集。其次，构建一个成分递归神经网络模型，包含一个普通网络和若干个子网络，其输入是美颜图像，子网络的训练监督标签是原始未美颜图像经过BEMD得到的各个不同频率的分量。最后，对各个子网络的预测图像进行相加，得到还原图像。本发明方法通过构造成分递归网络，在恢复出图像整体轮廓信息的同时，也能够较好的恢复其中的细节信息。
Description
技术领域
本发明涉及神经网络与图像处理技术领域，尤其是基于BEMD和深度学习的美颜图像还原方法。
背景技术
近年来，由于网络平台和社交软件的快速发展，分享照片成为人们记录生活的一种方式。新一代的智能手机都附带了非常强大的美颜拍照功能，还有诸如美颜相机，无他相机等软件也支持美颜拍照，拍出来的照片经过滤镜、美白等操作的处理，提高照片的美感度。同时，美图秀秀和Photoshop等一些常用的美化图片的软件，可以提供图像编辑和智能修图功能。经过美颜处理之后的图像更能够满足人眼的视觉需求，也标志着图像处理技术的进步。但是，美颜之后的自拍照其实是不真实的，这些“照骗”甚至可以被称作是网络欺骗，由此会引发严重的社会信任危机。
深度学习作为实现人工智能的强大技术，在图像处理领域获得了大量成功的运用，卷积神经网络(Convolutional Neural Network,CNN)是比较常用的模型，从2012以来极大地推进了图像分类、识别和理解技术的发展。CNN在图像恢复和图像重建领域能发挥较大的作用，使用卷积神经网络来对美颜处理后的图片进行还原操作具有极其重要的研究价值。传统的CNN模型在美颜图像还原任务中性能较差，未能清晰地还原出人脸的皱纹等细节信息。BEMD是一种自适应的信号分析方法，用于分析非线性非平稳的二维图像信号，可以将图像分解成一系列不同频率的分量。高频分量包含图像的边缘轮廓信息，低频分量包含图像的具体细节信息，把BEMD应用到图像恢复领域成为热门的研究课题。
发明内容
技术问题：本发明提出了一种基于BEMD和深度学习的美颜图像还原方法，在恢复出图像整体轮廓信息的同时，也能够较好地恢复其中的细节信息。
技术方案：一种基于BEMD和深度学习的美颜图像还原方法，其特征在于，包括以下步骤：
步骤1，选择人脸数据集，把人脸数据集中的图片经美颜处理后作为美颜图像样本；
从IMDB-WIKI人脸数据集中挑选不同年龄、颜色、服饰、发型、性别的比较清晰的人脸照片作为人脸数据集，人脸数据集中的照片均是未经美颜处理过的照片；把人脸数据集的图片经美颜处理后作为美颜图像样本；美颜处理是指自动磨皮和自动祛斑祛痘处理，美颜图像样本作为网络的训练输入。
步骤2，构建成分递归网络(Component Regression Network,CRN)，成分递归网络包括普通网络和子网络组，普通网络旨在学习输入美颜图像的特征，子网络组中每个子网络的结构都相同，输入都是普通网络输出的相同的特征，但是独立执行回归任务；
步骤3，将未经过美颜处理的原始图像，也就是人脸数据集中的图像使用BEMD分解，得到一系列不同频率的图像分量，即二维固有模式函数(Bidimensional IntrinsicMode Function,BIMF)，分别作为子网络训练监督的标签，低阶高频分量主要是图像的边缘轮廓信息，高阶低频分量主要是图像的具体细节信息；
步骤4，使用均方误差作为网络的损失函数训练各个子网络，当网络回归收敛后，最终的重建图像是各个子网络的输出值之和。
本发明的进一步改进，所述步骤(1)中，对于本发明的任务需求，没有公开的数据集可以直接下载训练，需要自己构建数据集。从IMDB-WIKI人脸数据集中挑选包含较多的细节信息并且未美化过的人脸照片，一共包含2000张图片，作为网络训练监督的标签。把数据集中的图片经美图秀秀处理后的结果作为网络的训练输入，使用自动磨皮和自动祛斑祛痘的功能。
本发明的进一步改进，步骤2中普通网络包括3个卷积层，每个卷积层的设置都是相同的。采用的卷积核的大小为3x3，包含56个通道。在普通网络中引入PReLU激活函数层，提高模型非线性表示能力，从图像中提取特征信息，在所有的卷积操作之前对图像进行“补零”操作；
子网络是由6个卷积核大小为3x3的卷积层组成，卷积层都采用“补零”操作以保持图像的大小不变。第1个卷积层是收缩层，把输入图像特征映射的数量从56减小到12，可以加速映射过程，减少了训练和测试过程中的网络参数数量，提升网络的训练速度。接下来是3个卷积层和PReLU非线性映射层。第5层卷积是重构操作，相当于收缩层的逆操作，使用1个卷积核把特征图拓展成64个通道。最后把图像恢复成3通道的RGB图像。
本发明的进一步改进，所述步骤3中将未经过美颜处理的原始图像使用BEMD分解的具体过程为：
设原始图像为一个M×N的二维图像信号f(x,y)，x＝1,2,...,M，y＝1,2,...,N。
步骤3.1：外部初始化，设置中间变量rj,h(x,y)＝f(x,y),j＝1,h＝1，j代表迭代次数，即处理得到的第j个BIMF，h表示第h次筛选。
步骤3.2：采用某种方式可以找出函数rj，h(x，y)中所有的局部极大值点和局部极小值点。
步骤3.3：对步骤3.2中得到的点采用某种插值方法可以得到上包络轮廓面Max(x，y)和下包络轮廓面Min(x，y)。
步骤3.4：计算轮廓面的平均量m(x，y)＝(Max(x，y)+Min(x，y))/2。
步骤3.5：计算L(x，y)＝rj，h(x，y)-m(x，y)，检验是否满足筛选终止条件，即L(x，y)是否为一个BIMF分量，如果满足，则BIMFj(x，y)＝L(x，y)，进入步骤3.6；
否则，令h＝h+1，rj，h(x，y)＝L(x，y)；返回步骤3.2；
步骤3.6：保存过程变量temp(x，y)＝rj，1(x，y)-BIMFj(x，y)，令j＝j+1，h＝1，rj，h(x，y)＝temp(x，y)，检验是否满足迭代结束条件，若不满足，返回步骤3.2；若满足，结束分解过程。
最终得到原始信号的分解结果为
其中，BIMFj(x，y)是第j个BIMF，BEMD分解得到J个BIMF，R(x，y)是残余分量。对彩色图像的分析需要分别对R、G、B三个通道上的图像使用BEMD操作，最终把各通道上的分量合并，得到彩色的BIMF分量。
本发明的进一步改进，所述步骤(4)通过修改BEMD的迭代结束条件，可以减少BEMD的分解时间，提高分解效率。
BEMD中的迭代次数决定了分解后会得到的BIMF的个数，如果迭代的次数过多，会花费很长的时间。如果迭代的次数过少，就会达不到分解的要求。因此，设置合适的迭代停止准则对BEMD很重要。通常迭代停止准则有以下三种。
(一)分解出来的BIMF的数目达到了分解所需要的个数。
(二)待分解信号的局部极值点个数少于2个。
(三)分解出来的残余分量满足柯西收敛准则。
在本发明所使用的BEMD方法中使用第一种作为分解停止的规则，例如，如果分解得到的BIMF图像分量个数为5，结束分解过程。
本发明的进一步改进，所述步骤(5)中的使用均方误差作为网络的损失函数
其中，y是网络的训练监督图像，是网络的输出图像。
最终的重建图像是各个子网络的输出值和
其中，I(i)表示第i个子网络得到的回归结果，一共有n个子网络。
本发明的进一步改进，子网络的数量等于BEMD自适应分解得到的BIMF分量总数。本发明的进一步改进，子网络的数量为k，图像通过BEMD得到J+1个二维固有模式函数BIMF分量，其中，把残余分量看成是最后一个BIMF分量，且满足k<J+1，第j个子网络的训练监督标签为图像分量BIMFj，j＝1,2,…,k-1，最后一个子网络的训练标签为减少子网络的数量，减小网络的训练时间。
有益效果：
本发明提供一种新的基于BEMD的成分递归网络模型，可以用于对美颜图像进行还原，旨在还原出图像的亮度、人脸上的皱纹和雀斑等信息。通过使用一个普通网络提取美颜图像的输入特征，再分别使用多个子网络对不同频率的图像分量进行回归操作，子网络训练监督的标签是原始图像经过BEMD分解后得到的图像分量。最后通过对子网络的输出结果进行相加操作，得到网络预测的还原图像。本发明通过使用单独的子网络对不同频率的图像分量分别进行回归操作，在恢复出图像整体亮度、轮廓等信息的同时，对于人脸上的雀斑、皱纹等细节信息也能较好地还原。由于图像的低频分量中包含较少的信息，把CRN模型的子网络数量设置成5，同时修改BEMD的迭代终止条件，可以减少训练时间，提高模型效率。
附图说明
图1为本发明实现的CRN网络结构图。
图2为使用不同网络模型得到的还原图。
图2(a)为美颜操处理得到的图。
图2(b)是使用VDSR模型还原得到的结果图。
图2(c)是本发明方法还原得到的结果图。
图2(d)是原始图。
图2(e)是图2(a)-(d)中鼻梁方框中的细节放大图。
图2(f)是图2(a)-(d)中脸颊方框中的细节放大图。
具体实施方式
下面结合附图对本发明进一步说明：
图1为本发明提出的CRN网络结构图。普通网络旨在学习输入美颜图像的特征，子网络组中每个子网络的结构都相同，输入都是普通网络输出的特征，但是独立执行回归任务。如果对图像通过BEMD得到的所有的J+1个分量分别设置一个子网络回归，模型的回归学习需要较长的时间。为了提高网络的训练效率，本文把子网络的数量减小到k，满足k<J+1，第j个子网络的训练监督标签为图像分量BIMFj，j＝1,2,…,k-1，最后一个子网络的训练标签为对于前k-1个BIMF分量，使用k-1个子网络进行回归，剩下的J-k+2个BIMF分量都是低频分量，包含的信息量比较少，在还原时受到高频分量抑制的影响较小，使用第k个网络回归所有剩余的分量。如果存在BEMD分解得到的BIMF总数小于k的情况，对每一个分量使用一个子网络，子网络组中只对有需要的网络进行回归训练操作。在本发明中，k取值5。CRN模型的具体细节如下。
CRN模型由一个普通网络和5个子网络构成，以美颜图像作为模型的输入进行训练，模型的输出为还原操作得到的恢复图像结果。普通网络通过3个卷积层进行处理，每个卷积层的设置都是相同的。采用的卷积核的大小为3×3，包含56个通道。在模型中引入PReLU激活函数层，提高模型非线性表示能力，从图像中提取特征信息，在所有的卷积操作之前对图像进行“补零”操作。
子网络是由6个卷积核大小为3×3的卷积层组成，卷积层都采用“补零”操作以保持图像的大小不变。第1个卷积层是收缩层，把输入图像特征映射的数量从56减小到12，可以加速映射过程，减少了训练和测试过程中的网络参数数量，提升网络的训练速度。接下来是3个卷积层和PReLU非线性映射层。第5层卷积是重构操作，相当于收缩层的逆操作，使用1个卷积核把特征图拓展成64个通道。最后把图像恢复成3通道的RGB图像，通过把各个子网络的图像分量相加，得到最终的重建图像。
子网络数量的多少会影响CRN的美颜图像恢复性能，理想情况下，应该对图像通过BEMD得到的每一个分量都使用单独的网络进行回归，此时子网络的数量等于BEMD自适应分解得到的分量总数，子网络数量过多会带来非常大的计算成本。同时，不同图像使用BEMD自适应分解后得到的BIMF分量数未必相等，因此对子网络数量的选择带来困难。在本发明的美颜图像还原恢复任务中，把最后的若干个低频分量放在同一个子网络中回归，在几乎不影响性能的前提下加快了网络的训练和测试速度。通过修改BEMD的迭代终止条件使得分解得到的分量总数和CRN的子网络数量一致。
图2为使用不同网络模型得到的图像还原结果。(a)为美颜操作后得到的图像，(d)为原始图像，与(d)相比，(a)较好地遮盖了位于鼻梁方框中的斑点和位于脸颊方框中的皱纹，(b)是使用VDSR模型得到的结果，(c)是使用本发明提出的5个子网络的CRN模型得到的结果，(e)和(f)是(a)-(d)中两方框中的细节放大图。从主观评价角度出发，VDSR模型得到的恢复图像虽然在图像的亮度和整体轮廓方面进行了较好的还原，但未能较好的恢复出人脸部的雀斑和皱纹信息。包含5个子网络的CRN模型能够比较好的还原出了人脸部的细节，皱纹和斑点等信息清晰可见，恢复效果最好。
从客观评价的角度对不同网络模型得到的结果进行评价。如表1所示，使用MSE，PSNR，SSIM这三个指标进行客观评价。使用5个子网络的CRN模型得到的恢复图像均方误差最小，说明与原始图像的偏差最小；峰值信噪比最大，说明与原始的未美颜图像相似度最大；结构相似度较大，说明得到的恢复图像与原始图像最为接近。从主观评价和客观评价相结合的角度出发，CRN模型的还原性能较好。
表1不同网络模型得到的还原图像客观评价
本发明提出的CRN模型对美颜图像进行盲还原时，能够在具体美颜操作未知的情况下，较好地恢复出人脸上的皱纹和雀斑等细节信息，恢复性能较好。为了减少网络的训练时间，提高训练效率，没有对BEMD分解得到的每一个分量都建立一个子网络，而是使用了固定数量的子网络，最后一个子网络对剩余的所有图像分量进行回归。使用实例证明CRN模型在美颜图像还原任务中性能较好。
Claims (5)
1.基于BEMD和深度学习的美颜图像还原方法，其特征在于，具体包括如下步骤：
步骤1，选择人脸数据集，把人脸数据集中的图片经美颜处理后作为美颜图像样本；
步骤2，构建成分递归网络，成分递归网络包括普通网络和子网络组，普通网络旨在学习输入美颜图像的特征，子网络组中每个子网络的结构都相同，输入都是普通网络输出的相同的特征，但是独立执行回归任务；
步骤3，将未经过美颜处理的原始图像使用BEMD分解，得到一系列不同频率的图像分量，即二维固有模式函数BIMF，分别作为子网络训练监督的标签，低阶高频分量主要是图像的边缘轮廓信息，高阶低频分量主要是图像的具体细节信息；
步骤4，使用均方误差作为网络的损失函数训练各个子网络，当网络回归收敛后，最终的重建图像是各个子网络的输出值之和；
步骤2中普通网络包括3个卷积层，每个卷积层的设置都是相同的；采用的卷积核的大小为3x3，包含56个通道；在普通网络中引入PReLU激活函数层，提高模型非线性表示能力，从图像中提取特征信息，在所有的卷积操作之前对图像进行“补零”操作；
子网络是由6个卷积核大小为3x3的卷积层组成，卷积层都采用“补零”操作以保持图像的大小不变；第1个卷积层是收缩层，把输入图像特征映射的数量从56减小到12；接下来是3个卷积层和PReLU非线性映射层；第5层卷积是重构操作，相当于收缩层的逆操作，使用1个卷积核把特征图拓展成64个通道；最后把图像恢复成3通道的RGB图像；
步骤3中将未经过美颜处理的原始图像使用BEMD分解的具体过程为：
设原始图像为一个M×N的二维图像信号f(x,y)，x＝1,2,...,M，y＝1,2,...,N；
步骤3.1：外部初始化，设置中间变量rj,h(x,y)＝f(x,y),j＝1,h＝1，j代表迭代次数，即处理得到的第j个BIMF，h表示第h次筛选；
步骤3.2：找出函数rj,h(x,y)中所有的局部极大值点和局部极小值点；
步骤3.3：对步骤3.2中得到的点采用插值方法得到上包络轮廓面Max(x,y)和下包络轮廓面Min(x,y)；
步骤3.4：计算轮廓面的平均量m(x,y)＝(Max(x,y)+Min(x,y))/2；
步骤3.5：计算L(x,y)＝rj,h(x,y)-m(x,y)，检验是否满足筛选终止条件，即L(x,y)是否为一个BIMF分量，如果满足，则BIMFj(x,y)＝L(x,y)，进入步骤3.6；
否则，令h＝h+1，rj,h(x,y)＝L(x,y)；返回步骤3.2；
步骤3.6：保存过程变量temp(x,y)＝rj,1(x,y)-BIMFj(x,y)，令j＝j+1，h＝1，rj,h(x,y)＝temp(x,y)，检验是否满足迭代结束条件，若不满足，返回步骤3.2；若满足，结束分解过程；
最终得到原始信号的分解结果为
其中，BIMFj(x,y)是第j个BIMF，BEMD分解得到J个BIMF，R(x,y)是残余分量；对彩色图像的分析需要分别对R、G、B三个通道上的图像使用BEMD操作，最终把各通道上的分量合并，得到彩色的BIMF分量；
步骤4中的使用均方误差作为网络的损失函数
其中，y是网络的训练监督图像，是网络的输出图像；
最终的重建图像是各个子网络的输出值和
其中，I(i)表示第i个子网络得到的回归结果，一共有n个子网络。
2.根据权利要求1所述基于BEMD和深度学习的美颜图像还原方法，其特征在于，步骤1中人脸数据集是指从IMDB-WIKI人脸数据集中挑选的不同年龄、颜色、服饰、发型、性别的比较清晰的人脸照片；人脸数据集中的照片均是未经美颜处理过的照片；
步骤1中的美颜处理是指自动磨皮和自动祛斑祛痘处理，美颜图像样本作为网络的训练输入。
3.根据权利要求1所述基于BEMD和深度学习的美颜图像还原方法，其特征在于，迭代结束条件采用分解出来的BIMF的数目达到了分解所需要的个数时，结束迭代。
4.根据权利要求1所述基于BEMD和深度学习的美颜图像还原方法，其特征在于，子网络的数量等于BEMD自适应分解得到的BIMF分量总数。
5.根据权利要求1所述基于BEMD和深度学习的美颜图像还原方法，其特征在于，子网络的数量为k，图像通过BEMD得到J+1个二维固有模式函数BIMF分量，其中把残余分量看成是最后一个BIMF分量，且满足k＜J+1，第j个子网络的训练监督标签为图像分量BIMFj，j＝1,2,…,k-1，最后一个子网络的训练标签为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110457719.8A CN113077382B (zh) | 2021-04-27 | 2021-04-27 | 基于bemd和深度学习的美颜图像还原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110457719.8A CN113077382B (zh) | 2021-04-27 | 2021-04-27 | 基于bemd和深度学习的美颜图像还原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077382A CN113077382A (zh) | 2021-07-06 |
| CN113077382B true CN113077382B (zh) | 2024-01-12 |
Family
ID=76618786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110457719.8A Active CN113077382B (zh) | 2021-04-27 | 2021-04-27 | 基于bemd和深度学习的美颜图像还原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077382B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| CN111754403A (zh) * | 2020-06-15 | 2020-10-09 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
| WO2021031566A1 (zh) * | 2019-08-21 | 2021-02-25 | 五邑大学 | 一种基于多任务学习的人脸美丽预测方法 |
-
2021
- 2021-04-27 CN CN202110457719.8A patent/CN113077382B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| WO2021031566A1 (zh) * | 2019-08-21 | 2021-02-25 | 五邑大学 | 一种基于多任务学习的人脸美丽预测方法 |
| CN111754403A (zh) * | 2020-06-15 | 2020-10-09 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进的ＢＥＭＤ的红外与可见光图像融合方法;朱莹等;计算机科学;第47卷(第3期);124-129 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077382A (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| Yang et al. | Deep edge guided recurrent residual learning for image super-resolution | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| Atoum et al. | Color-wise attention network for low-light image enhancement | |
| CN111861901A (zh) | 一种基于gan网络的边缘生成图像修复方法 | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| RU2770748C1 (ru) | Способ и аппарат для обработки изображений, устройство и носитель данных | |
| CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| WO2023151529A1 (zh) | 人脸图像的处理方法及相关设备 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| Velusamy et al. | FabSoften: Face beautification via dynamic skin smoothing, guided feathering, and texture restoration | |
| CN114638749A (zh) | 低光照图像增强模型、方法、电子设备及存储介质 | |
| Mun et al. | Texture preserving photo style transfer network | |
| CN112837212B (zh) | 一种基于流形对齐的图像任意风格迁移方法 | |
| CN113077382B (zh) | 基于bemd和深度学习的美颜图像还原方法 | |
| Yin et al. | Multiscale depth fusion with contextual hybrid enhancement network for image dehazing | |
| CN112862712A (zh) | 美颜处理方法、系统、存储介质和终端设备 | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| CN115731172A (zh) | 基于图像增强和纹理提取的裂缝检测方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |