CN111507917B - 一种基于卷积神经网络的无参智能磨皮方法 - Google Patents

一种基于卷积神经网络的无参智能磨皮方法 Download PDF

Info

Publication number
CN111507917B
CN111507917B CN202010296043.4A CN202010296043A CN111507917B CN 111507917 B CN111507917 B CN 111507917B CN 202010296043 A CN202010296043 A CN 202010296043A CN 111507917 B CN111507917 B CN 111507917B
Authority
CN
China
Prior art keywords
image
noise
skin
sample
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010296043.4A
Other languages
English (en)
Other versions
CN111507917A (zh
Inventor
胡耀武
李云夕
熊永春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xiaoying Innovation Technology Co ltd
Original Assignee
Hangzhou Xiaoying Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiaoying Innovation Technology Co ltd filed Critical Hangzhou Xiaoying Innovation Technology Co ltd
Priority to CN202010296043.4A priority Critical patent/CN111507917B/zh
Publication of CN111507917A publication Critical patent/CN111507917A/zh
Application granted granted Critical
Publication of CN111507917B publication Critical patent/CN111507917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的无参智能磨皮方法,具体包括如下步骤:101)图像输入步骤、102)CNN降噪步骤、103)CNN皮肤概率处理步骤、104)整合处理步骤;本发明提供对不同的图像进行不同程度的降噪,人物图像的磨皮效果自然、精确,远优于传统算法效果的一种基于卷积神经网络的无参智能磨皮方法。

Description

一种基于卷积神经网络的无参智能磨皮方法
技术领域
本发明涉及手机拍摄拍摄图像处理技术领域,更具体的说,它涉及一种基于卷积神经网络的无参智能磨皮方法。
背景技术
目前在图像处理软件市场以及相机拍照等领域,人像照片磨皮美颜技术已经成为不可或缺的一部分,磨皮效果的好坏,直接影响人像照片修图最终的质量。在影视婚纱摄影等的后期处理中,磨皮技术往往依靠设计师手工像素级处理,耗时长,效率低下;在手机app应用中,多数使用基于传统图像处理的磨皮技术,磨皮效果千篇一律,无法自动调节磨皮程度,磨皮程度过大容易损失图像细节,过小又无法有效去除皱纹信息,效果单一。
发明内容
本发明克服了现有技术的不足,提供一种基于卷积神经网络的无参智能磨皮方法。
本发明的技术方案如下:
一种基于卷积神经网络的无参智能磨皮方法,具体包括如下步骤:
101)图像输入步骤:图像转换为特定处理格式作为处理的输入图像,图像为原始图像S;
102)CNN降噪步骤:基于同一场景下不同的噪声样本,并结合CNN网络学习噪声的分布情况,然后通过噪声的分布情况对场景中的噪声图像去噪,得到降噪图像A;
103)CNN皮肤概率处理步骤:通过卷积网络对输入图像的皮肤区域进行分割,输出为分割概率图B;输入图像为W×H×3,3为RGB三个颜色通道,输出的分割概率图为W×H×1;W为图像的横向尺寸,H为图像的纵向尺寸;
104)整合处理步骤:将原始图像S、降噪图像A、分割概率图B进行整合,得到智能磨皮效果图,具体整合的公式如下:
D=S*(1-B)+A*B 公式(1)
其中,D为磨皮效果图。
进一步的,步骤102)中的噪声样本,通过选取自然场景拍摄的图像,即在自然场景下,固定相机位置,快速连续拍摄同一目标的两张图像,构成一个样本。
进一步的,步骤102)中的噪声样本,通过人工添加噪声的方式,具体如下:
201)添加高斯噪声处理步骤:准备N张高清人像照片,N>10000,对N张人像照片进行高斯噪声添加,添加较小强度即μ<0.06,σ<0.2的高斯噪声得到输入样本T1;添加较大强度即μ>0.1,σ>0.3的高斯噪声得到输入样本T2;
添加的高斯噪声公式如下所示:
Figure BDA0002452226170000021
其中,x表示像素值,μ表示均值参数,σ表示方差参数,均值参数和方差参数为设定值;
高斯噪声添加的公式如下:
P'(x)=P(x)+Gauss(x)×255 公式(3)
其中,P’(x)表示高斯噪声添加后的结果像素,P(x)表示原始图像中对应x位置的像素值;
202)CNN降噪网络训练步骤:对N张高清人像照片添加较大强度的高斯噪声,得到输出样本T2;将样本T1和样本T2进行图像缩放到CNN降噪网络,输入尺寸,进行训练,通过LOSS使用MSE,并迭代大于10000次,得到最终的训练模型;
203)图像A获取步骤:将原始图像S输入步骤202)训练好的降噪模型中,得到降噪后的降噪图像A。
进一步的,步骤103)中的卷积网络对输入图像的皮肤区域进行分割,具体包括如下步骤:
301)训练样本集获取步骤:准备M张带人像的原始图像S,对M张原始图像S进行人工皮肤分割标记,得到M张分割结果图Mask,Mask为黑白二值图,黑色为背景,白色为皮肤区域,以此构建皮肤分割网络训练样本集;
302)建模步骤:将步骤301处理的训练样本集输入到卷积网络进行训练,最终得到皮肤分割模型;
303)分割概率图B获取步骤:将原始图像S输入皮肤分割模型进行预测,得到概率图B。
进一步的,对概率图B进行图像二值化处理,判断概率值大于0.5则填充白色,否则填充黑色。
本发明相比现有技术优点在于:
本发明避免了传统滤波算法中繁荣复杂的参数设置,同时,根据每一张图片的噪声分布不同,会进行不同程度的皮肤区域降噪;训练模型建立之后神经网络模型会记录学习到的噪声分布,对不同的图像进行不同程度的降噪,人物图像的磨皮效果自然、精确,远优于传统算法效果。
附图说明
图1为本发明的流程图;
图2为本发明的降噪网络结构图;
图3为本发明的皮肤分割网络结构图;
图4为本发明的未处理前的原图;
图5为本发明的处理后的效果图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1至图5所示,一种基于卷积神经网络的无参智能磨皮方法,具体包括如下步骤:
101)图像输入步骤:图像转换为特定处理格式作为处理的输入图像,图像为原始图像S;原始图像S一般以BGRA32格式作为输入,实际中并不局限于此格式,可以采用其它已有的图像格式。
102)CNN降噪步骤:基于同一场景下不同的噪声样本,并结合CNN网络学习噪声的分布情况,然后通过噪声的分布情况对场景中的噪声图像去噪,得到降噪图像A。由于人像照片中皮肤上的瑕疵也可以理解为一种特殊的图像噪声,因此,该方法可以达到自然磨皮的效果。对于噪声样本的采集可以通过选取自然场景拍摄的图像,即在自然场景下,固定相机位置,快速连续拍摄同一目标的两张图像,构成一个样本。也可以使用人工添加噪声的方式进行。
通过人工添加噪声的方式具体如下:
201)添加高斯噪声处理步骤:准备N张高清人像照片,N>10000,对N张人像照片进行高斯噪声添加,添加较小强度即μ<0.06,σ<0.2的高斯噪声得到输入样本T1;添加较大强度即μ>0.1,σ>0.3的高斯噪声得到输入样本T2。
添加的高斯噪声公式如下所示:
Figure BDA0002452226170000041
其中,x表示像素值,μ表示均值参数,σ表示方差参数,均值参数和方差参数为设定值;
高斯噪声添加的公式如下:
P'(x)=P(x)+Gauss(x)×255 公式(3)
其中,P’(x)表示高斯噪声添加后的结果像素,P(x)表示原始图像中对应x位置的像素值。
202)CNN降噪网络训练步骤:对N张高清人像照片添加较大强度的高斯噪声,得到输出样本T2。将样本T1和样本T2进行图像缩放到CNN降噪网络,输入尺寸,进行训练,通过LOSS(深度学习的代价函数)使用MSE(均方误差),并迭代大于10000次,得到最终的训练模型。该模型具备对图像进行降噪的能力,不同的图像,降噪程度不同,对于人像照片而言,皮肤上的痘印和瑕疵均属于噪声,因此,降噪表现为皮肤的光滑度不同,瑕疵越少,越光滑,即达到自动智能磨皮效果。其中,CNN降噪网络将输入原图的W×H×3,输出对应降噪效果图W×H×3;输入原图经过卷积和线性整流函数(Relu)后进行下采样Maxpooling方法,多次重复卷积、下采样到深度学习分割网络Unet的底端,然后对应进行多次上采样UpSample和卷积操作,每一层横向与下一层上采样结果进行Concentate融合,最后经过3次卷积输出降噪效果图。其中,Concentate是深度学习中的一种通道连接方式,属于特有概念。以256×256尺寸的图像输入为例,W=H=256,分别进行3次下采样和3次上采样,3次Concentate融合后,进行3次卷积输出降噪效果图。
203)图像A获取步骤:将原始图像S输入步骤202)训练好的降噪模型中,得到降噪后的降噪图像A。
103)CNN皮肤概率处理步骤:通过卷积网络对输入图像的皮肤区域进行分割,输出为分割概率图B;输入图像为W×H×3,3为RGB三个颜色通道,输出的分割概率图为W×H×1;W为图像的横向尺寸,H为图像的纵向尺寸。
其中,卷积网络对输入图像的皮肤区域进行分割,具体包括如下步骤:
301)训练样本集获取步骤:准备M张带人像的原始图像S,对M张原始图像S进行人工皮肤分割标记(人工皮肤分割就是用类似Photoshop之类的工具,把图像中的皮肤区域标记为白色,其他区域标记为黑色,以此作为二值图保存下来;深度学习中样本的准备方法就是先通过人工标定),得到M张分割结果图Mask,Mask为黑白二值图,黑色为背景,白色为皮肤区域,以此构建皮肤分割网络训练样本集。
302)建模步骤:将步骤301处理的训练样本集输入到卷积网络进行训练,最终得到皮肤分割模型。
303)分割概率图B获取步骤:将原始图像S输入皮肤分割模型进行预测,得到概率图B。对概率图B进行图像二值化处理,判断概率值大于0.5则填充白色,否则填充黑色。即过程中样本原图输入卷积网络训练输出二值图像或者概率图,这两个都可以输出的,概率图也是一张黑白图,不过黑白之间有过渡。
104)整合处理步骤:将原始图像S、降噪图像A、分割概率图B进行整合,得到智能磨皮效果图,具体整合的公式如下:
D=S*(1-B)+A*B 公式(1)
其中,D为磨皮效果图。具体效果如图4变为图5照片上人物的皮肤更细腻润滑。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。

Claims (4)

1.一种基于卷积神经网络的无参智能磨皮方法,其特征在于,具体包括如下步骤:
101)图像输入步骤:图像转换为特定处理格式作为处理的输入图像,图像为原始图像S;
102)CNN降噪步骤:基于同一场景下不同的噪声样本,并结合CNN网络学习噪声的分布情况,然后通过噪声的分布情况对场景中的噪声图像去噪,得到降噪图像A;
103)CNN皮肤概率处理步骤:通过卷积网络对输入图像的皮肤区域进行分割,输出为分割概率图B;输入图像为W×H×3,3为RGB三个颜色通道,输出的分割概率图为W×H×1;W为图像的横向尺寸,H为图像的纵向尺寸;
104)整合处理步骤:将原始图像S、降噪图像A、分割概率图B进行整合,得到智能磨皮效果图,具体整合的公式如下:
D=S*(1-B)+A*B 公式(1)
其中,D为磨皮效果图;
其中,步骤102)中的噪声样本,通过人工添加噪声的方式,具体如下:
201)添加高斯噪声处理步骤:准备N张高清人像照片,N>10000,对N张人像照片进行高斯噪声添加,添加较小强度即μ<0.06,σ<0.2的高斯噪声得到输入样本T1;添加较大强度即μ>0.1,σ>0.3的高斯噪声得到输入样本T2;
添加的高斯噪声公式如下所示:
Figure FDA0003776357380000011
其中,x表示像素值,μ表示均值参数,σ表示方差参数,均值参数和方差参数为设定值;
高斯噪声添加的公式如下:
P'(x)=P(x)+Gauss(x)×255 公式(3)
其中,P’(x)表示高斯噪声添加后的结果像素,P(x)表示原始图像中对应x位置的像素值;
202)CNN降噪网络训练步骤:对N张高清人像照片添加较大强度的高斯噪声,得到输出样本T2;将样本T1和样本T2进行图像缩放到CNN降噪网络,输入尺寸,进行训练,通过LOSS使用MSE,并迭代大于10000次,得到最终的训练模型;
203)图像A获取步骤:将原始图像S输入步骤202)训练好的降噪模型中,得到降噪后的降噪图像A。
2.根据权利要求1所述的一种基于卷积神经网络的无参智能磨皮方法,其特征在于,步骤102)中的噪声样本,通过选取自然场景拍摄的图像,即在自然场景下,固定相机位置,快速连续拍摄同一目标的两张图像,构成一个样本。
3.根据权利要求1所述的一种基于卷积神经网络的无参智能磨皮方法,其特征在于,步骤103)中的卷积网络对输入图像的皮肤区域进行分割,具体包括如下步骤:
301)训练样本集获取步骤:准备M张带人像的原始图像S,对M张原始图像S进行人工皮肤分割标记,得到M张分割结果图Mask,Mask为黑白二值图,黑色为背景,白色为皮肤区域,以此构建皮肤分割网络训练样本集;
302)建模步骤:将步骤301处理的训练样本集输入到卷积网络进行训练,最终得到皮肤分割模型;
303)分割概率图B获取步骤:将原始图像S输入皮肤分割模型进行预测,得到概率图B。
4.根据权利要求3所述的一种基于卷积神经网络的无参智能磨皮方法,其特征在于,对概率图B进行图像二值化处理,判断概率值大于0.5则填充白色,否则填充黑色。
CN202010296043.4A 2020-04-15 2020-04-15 一种基于卷积神经网络的无参智能磨皮方法 Active CN111507917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010296043.4A CN111507917B (zh) 2020-04-15 2020-04-15 一种基于卷积神经网络的无参智能磨皮方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010296043.4A CN111507917B (zh) 2020-04-15 2020-04-15 一种基于卷积神经网络的无参智能磨皮方法

Publications (2)

Publication Number Publication Date
CN111507917A CN111507917A (zh) 2020-08-07
CN111507917B true CN111507917B (zh) 2022-11-01

Family

ID=71876060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010296043.4A Active CN111507917B (zh) 2020-04-15 2020-04-15 一种基于卷积神经网络的无参智能磨皮方法

Country Status (1)

Country Link
CN (1) CN111507917B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229278A (zh) * 2017-04-14 2018-06-29 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108932699A (zh) * 2018-04-24 2018-12-04 南京信息工程大学 基于变换域的三维匹配调和滤波图像去噪方法
CN110706179A (zh) * 2019-09-30 2020-01-17 维沃移动通信有限公司 一种图像处理方法及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI453680B (zh) * 2010-10-08 2014-09-21 Micro Star Int Co Ltd 可抑制雜訊及環境影響之臉部辨識方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229278A (zh) * 2017-04-14 2018-06-29 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108932699A (zh) * 2018-04-24 2018-12-04 南京信息工程大学 基于变换域的三维匹配调和滤波图像去噪方法
CN110706179A (zh) * 2019-09-30 2020-01-17 维沃移动通信有限公司 一种图像处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《采用多重特征蒙板的人像皮肤美化技术》;鲁晓卉 等;;《浙江大学学报(工学版)》;20171231;第2300-2309页; *

Also Published As

Publication number Publication date
CN111507917A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
Wang et al. An experiment-based review of low-light image enhancement methods
Zhang et al. Residual non-local attention networks for image restoration
CN110781895B (zh) 一种基于卷积神经网络的图像语义分割方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN108986132B (zh) 一种使用全卷积神经网络生成证件照Trimap图的方法
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN106485668A (zh) 用于过曝修正的方法、系统和装置
CN108694705A (zh) 一种多帧图像配准与融合去噪的方法
US7768529B2 (en) Method and system for image editing
CN110610526B (zh) 一种基于wnet对单目人像进行分割和景深渲染的方法
CN111445384B (zh) 一种通用人像照片漫画风格化方法
CN111626918A (zh) 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
Yuan et al. High quality image reconstruction from RAW and JPEG image pair
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Meng et al. Gia-net: Global information aware network for low-light imaging
KR20110108934A (ko) 참조 이미지를 이용한 카툰 렌더링 장치 및 방법
CN112927160B (zh) 一种基于深度Retinex的单张低光图像增强方法
CN112561782B (zh) 一种提高海上场景仿真图片真实度的方法
CN112070686B (zh) 一种基于深度学习的逆光图像协同增强方法
CN111507917B (zh) 一种基于卷积神经网络的无参智能磨皮方法
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN112991236B (zh) 一种基于模板的图像增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 22nd floor, block a, Huaxing Times Square, 478 Wensan Road, Xihu District, Hangzhou, Zhejiang 310000

Applicant after: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address before: 310000 16 / F, HANGGANG metallurgical technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address after: 310000 16 / F, HANGGANG metallurgical technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address before: 16 / F, HANGGANG Metallurgical Science and technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province, 310012

Applicant before: HANGZHOU QUWEI SCIENCE & TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant