CN109345480A - 一种基于图像修复模型的人脸自动去痘方法 - Google Patents

一种基于图像修复模型的人脸自动去痘方法 Download PDF

Info

Publication number
CN109345480A
CN109345480A CN201811139087.5A CN201811139087A CN109345480A CN 109345480 A CN109345480 A CN 109345480A CN 201811139087 A CN201811139087 A CN 201811139087A CN 109345480 A CN109345480 A CN 109345480A
Authority
CN
China
Prior art keywords
face
acne
acne print
picture
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811139087.5A
Other languages
English (en)
Other versions
CN109345480B (zh
Inventor
周曦
刘伸展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuncong Artificial Intelligence Technology Co Ltd
Original Assignee
Guangzhou Yuncong Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuncong Artificial Intelligence Technology Co Ltd filed Critical Guangzhou Yuncong Artificial Intelligence Technology Co Ltd
Priority to CN201811139087.5A priority Critical patent/CN109345480B/zh
Publication of CN109345480A publication Critical patent/CN109345480A/zh
Application granted granted Critical
Publication of CN109345480B publication Critical patent/CN109345480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像修复模型的人脸自动去痘方法，采用以下步骤，步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框；步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；利用RGB肤色检测算法定位肤色区域，使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域。用户体验好，不需要用户指定痘印的位置，算法可以自动完成去痘。

Description

一种基于图像修复模型的人脸自动去痘方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于图像修复模型的人脸自动去痘方法。
背景技术
随着各类视频社交娱乐软件和美颜相机的普及，人们对于拍照后图片的美化处理越来越重视。但是针对皮肤去痘，目前大致有两种思路：第一，借助磨皮美白等整体处理方法，通过增大这些操作的阈值来缓解皮肤存在的瑕疵。这种方法没有从根本上解决问题，对于痘印较为明显或较为密集的情况，处理后的结果在视觉上很难达到要求。
第二，如PS和美颜相机，需要用户手动指定痘印的位置，算法通过类似附近选区替换的方法去痘。这种方法去痘效果较好，但是需要较多的用户干预，显然对于很多痘印的情况需要花费用户较多的时间，比较繁琐耗时。
发明内容
本发明针对现有技术的不足，提出一种基于图像修复模型的人脸自动去痘方法，具体技术方案如下：
一种基于图像修复模型的人脸自动去痘方法，其特征在于：
采用以下步骤，
步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框；
步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；
利用RGB肤色检测算法定位肤色区域，使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域；
步骤3：对人脸存在的痘印进行定位，将位于RGB空间的人脸转换到HSV空间，选取饱和度S通道，确定在饱和度S通道中保存的痘印信息，设定有阈值c；
然后选取25*25像素为标准块，在标准块中选取3*3像素块为中心块，得到标准块的平均饱和度值m，确定平均饱和度值m与中心块的饱和度值a的差值b，通过比较c与b的大小来判断是否为痘印；
步骤4：建立修复模型，随机从人脸肤色区域中截取m*m像素大小的图片作为训练图片，在该训练图片中随机抠n*n像素大小的空洞作为要修复的区域，将该训练图片作为神经网络的输入用于训练整个修复模型，n<m；
所述神经网络包括粗粒度网络和细粒度网络，训练图片先通过粗粒度神经网络重建图片内容损失，得到第一阶段图片，再将第一阶段图片通过一个细粒度网络重建局部纹理，最终得到一阶段去痘图片；
步骤5：设置初始修复模板，该修复模板创建为，创建一张与原图大小相同的掩膜图片，在掩膜图片中有痘印的地方像素值置为255，没有痘印的像素值置为0，将该初始修复模板分配到稀疏模板；
步骤6：利用模板对痘印进行修复。
进一步地：所述人脸关键点采用dlib库中的68个关键点位置信息。
进一步地：初始修复模板分配到稀疏模板的方法为，
S1：将已经确定的痘印从初始修复模板中分离，所有的痘印组成痘印集合Q，对痘印集合Q中每个痘印按位置进行编号，确保每一个痘印有唯一的位置编号；
S2：设置有密集指数s，如果初始修复模板内的痘印数量超过密集指数s，则判断该修复模板为密集型，进入步骤S5，否则，进入步骤S4；
S3：对初始修复模板范围内的痘印进行合并，进入到S7；
S4：将该初始修复模板分配到t个稀疏的模板中，t>1，以空洞大小的一半d作为分配依据；
S5：在痘印集合Q中随机选取一个痘印作为种子点，以该种子点生成一个稀疏模板；
S6：逐个遍历痘印集合Q中的痘印，对痘印与种子点之间的距离超过d的痘印加入到稀疏模板中；
S7：重复S5和S6，直到将痘印集合Q中的痘印分配到不同的稀疏模板中，进入步骤6。
本发明的有益效果为：第一，用户体验好，不需要用户指定痘印的位置，算法可以自动完成去痘。第二，相对于整体的较大程度的磨皮美白，本发明能够较为彻底的清除痘印同时较为自然。本发明能有效的减少手工修图的时间，不需要人工指定去痘的区域。相对于目前的去痘方法，具有较强的彻底性和便捷性。相对于目前的过度磨皮美颜方法，本发明能够有效的保留原来的肤质，直观上看起来更加真实自然。
附图说明
图1为本发明的工作流程图；
图2为神经网络训练图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1和图2所示：
一种基于图像修复模型的人脸自动去痘方法，
采用以下步骤，
步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框，该人脸关键点可以使用如dlib库有68个关键点位置信息；
步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；
利用RGB肤色检测算法定位肤色区域，肤色检测结果会把部分非肤色，为头发和背景等误检为肤色，因此，再使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域；
步骤3：对人脸存在的痘印进行定位，将位于RGB空间的人脸转换到HSV空间，选取饱和度S通道，确定在饱和度S通道中保存的痘印信息，设定有阈值c；
然后选取25*25像素为标准块，在标准块中选取3*3像素块为中心块，得到标准块的平均饱和度值m，确定平均饱和度值m与中心块的饱和度值a的差值b，通过比较c与b的大小来判断是否为痘印，采用该种方法能够准确定位痘印位置；
步骤4：建立修复模型，随机从人脸肤色区域中截取m*m像素大小的图片作为训练图片，在该训练图片中随机抠n*n像素大小的空洞作为要修复的区域，将该训练图片作为神经网络的输入用于训练整个修复模型，n<m；
所述神经网络包括粗粒度网络和细粒度网络，训练图片先通过粗粒度神经网络重建图片内容损失，得到第一阶段图片，再将第一阶段图片通过一个细粒度网络重建局部纹理，最终得到一阶段去痘图片，该修复模型对于皮肤存在较多且分布较为集中的痘印修复很容易带来纹理破坏或起皱，一阶段去痘图片上任然留有痘印；
步骤5：设置初始修复模板，该修复模板创建为，创建一张与原图大小相同的掩膜图片，在掩膜图片中有痘印的地方像素值置为255，没有痘印的像素值置为0，将该初始修复模板进行分配，该初始修复模板分配方法为，
S1：将已经确定的痘印从初始修复模板中分离，所有的痘印组成痘印集合Q，对痘印集合Q中每个痘印按位置进行编号，确保每一个痘印有唯一的位置编号；
S2：设置有密集指数s，如果初始修复模板内的痘印数量超过密集指数s，则判断该修复模板为密集型，进入步骤S4，否则，进入步骤S3；
S3：对初始修复模板范围内的痘印进行合并，进入到S7；
S4：将该初始修复模板分配到t个稀疏的模板中，t>1，以空洞大小的一半d作为分配依据；
S5：在痘印集合Q中随机选取一个痘印作为种子点，以该种子点生成一个稀疏模板；
S6：逐个遍历痘印集合Q中的痘印，对痘印与种子点之间的距离超过d的痘印加入到稀疏模板中；
S7：重复S5和S6，直到将痘印集合Q中的痘印分配到不同的稀疏模板中；
步骤6：利用模板对痘印进行修复。

Claims (3)

1.一种基于图像修复模型的人脸自动去痘方法，其特征在于：
采用以下步骤，
步骤1：确定图片中人脸位置，通过人脸检测模块识别图片中的人脸，通过人脸68个关键点定位人脸范围，得到人脸范围矩形框；
步骤2：确定人脸肤色范围，以人脸范围矩形框为内核，沿人脸范围矩形框外周构造一个填充区域；
利用RGB肤色检测算法定位肤色区域，使用轮廓填充方法填充每一个检测到的肤色区域，然后使用漫水填充方法锁定人脸肤色区域；
步骤3：对人脸存在的痘印进行定位，将位于RGB空间的人脸转换到HSV空间，选取饱和度S通道，确定在饱和度S通道中保存的痘印信息，设定有阈值c；
然后选取25*25像素为标准块，在标准块中选取3*3像素块为中心块，得到标准块的平均饱和度值m，确定平均饱和度值m与中心块的饱和度值a的差值b，通过比较c与b的大小来判断是否为痘印；
步骤4：建立修复模型，随机从人脸肤色区域中截取m*m像素大小的图片作为训练图片，在该训练图片中随机抠n*n像素大小的空洞作为要修复的区域，将该训练图片作为神经网络的输入用于训练整个修复模型，n<m；
所述神经网络包括粗粒度网络和细粒度网络，训练图片先通过粗粒度神经网络重建图片内容损失，得到第一阶段图片，再将第一阶段图片通过一个细粒度网络重建局部纹理，最终得到一阶段去痘图片；
步骤5：设置初始修复模板，该修复模板创建为，创建一张与原图大小相同的掩膜图片，在掩膜图片中有痘印的地方像素值置为255，没有痘印的像素值置为0，将该初始修复模板分配到稀疏模板；
步骤6：利用模板对痘印进行修复，得到最终图片。
2.根据权利要求1所述一种基于图像修复模型的人脸自动去痘方法，其特征在于：所述人脸关键点采用dlib库中的68个关键点位置信息。
3.根据权利要求1所述一种基于图像修复模型的人脸自动去痘方法，其特征在于：初始修复模板分配到稀疏模板的方法为，
S1：将已经确定的痘印从初始修复模板中分离，所有的痘印组成痘印集合Q，对痘印集合Q中每个痘印按位置进行编号，确保每一个痘印有唯一的位置编号；
S2：设置有密集指数s，如果初始修复模板内的痘印数量超过密集指数s，则判断该修复模板为密集型，进入步骤S5，否则，进入步骤S4；
S3：对初始修复模板范围内的痘印进行合并，进入到S7；
S4：将该初始修复模板分配到t个稀疏的模板中，t>1，以空洞大小的一半d作为分配依据；
S5：在痘印集合Q中随机选取一个痘印作为种子点，以该种子点生成一个稀疏模板；
S6：逐个遍历痘印集合Q中的痘印，对痘印与种子点之间的距离超过d的痘印加入到稀疏模板中；
S7：重复S5和S6，直到将痘印集合Q中的痘印分配到不同的稀疏模板中，进入步骤6。
CN201811139087.5A 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法 Active CN109345480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811139087.5A CN109345480B (zh) 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811139087.5A CN109345480B (zh) 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法

Publications (2)

Publication Number Publication Date
CN109345480A true CN109345480A (zh) 2019-02-15
CN109345480B CN109345480B (zh) 2020-11-27

Family

ID=65307577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811139087.5A Active CN109345480B (zh) 2018-09-28 2018-09-28 一种基于图像修复模型的人脸自动去痘方法

Country Status (1)

Country Link
CN (1) CN109345480B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349108A (zh) * 2019-07-10 2019-10-18 北京字节跳动网络技术有限公司 处理图像的方法、装置、电子设备、及存储介质
CN110348358A (zh) * 2019-07-03 2019-10-18 网易（杭州）网络有限公司 一种肤色检测系统、方法、介质和计算设备
CN110443764A (zh) * 2019-08-01 2019-11-12 北京百度网讯科技有限公司 视频修复方法、装置及服务器
CN111339943A (zh) * 2020-02-26 2020-06-26 重庆中科云从科技有限公司 一种对象管理方法、系统、平台、设备及介质
CN112862712A (zh) * 2021-02-01 2021-05-28 广州方图科技有限公司 美颜处理方法、系统、存储介质和终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440633A (zh) * 2013-09-06 2013-12-11 厦门美图网科技有限公司 一种数字图像自动祛除斑点的方法
US20140147003A1 (en) * 2012-11-23 2014-05-29 Nokia Corporation Method and Apparatus for Facial Image Processing
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN104952036A (zh) * 2015-06-18 2015-09-30 福州瑞芯微电子有限公司 一种即时视频中的人脸美化方法和电子设备
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147003A1 (en) * 2012-11-23 2014-05-29 Nokia Corporation Method and Apparatus for Facial Image Processing
CN103440633A (zh) * 2013-09-06 2013-12-11 厦门美图网科技有限公司 一种数字图像自动祛除斑点的方法
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN104952036A (zh) * 2015-06-18 2015-09-30 福州瑞芯微电子有限公司 一种即时视频中的人脸美化方法和电子设备
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348358A (zh) * 2019-07-03 2019-10-18 网易（杭州）网络有限公司 一种肤色检测系统、方法、介质和计算设备
CN110348358B (zh) * 2019-07-03 2021-11-23 网易（杭州）网络有限公司 一种肤色检测系统、方法、介质和计算设备
CN110349108A (zh) * 2019-07-10 2019-10-18 北京字节跳动网络技术有限公司 处理图像的方法、装置、电子设备、及存储介质
CN110349108B (zh) * 2019-07-10 2022-07-26 北京字节跳动网络技术有限公司 处理图像的方法、装置、电子设备、及存储介质
CN110443764A (zh) * 2019-08-01 2019-11-12 北京百度网讯科技有限公司 视频修复方法、装置及服务器
CN111339943A (zh) * 2020-02-26 2020-06-26 重庆中科云从科技有限公司 一种对象管理方法、系统、平台、设备及介质
CN112862712A (zh) * 2021-02-01 2021-05-28 广州方图科技有限公司 美颜处理方法、系统、存储介质和终端设备

Also Published As

Publication number Publication date
CN109345480B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN109345480A (zh) 一种基于图像修复模型的人脸自动去痘方法
US6839463B1 (en) System and method providing subpixel-edge-offset-based determination of opacity
CN101609500B (zh) 出入境数字人像相片质量评估方法
TWI417811B (zh) The Method of Face Beautification in Digital Image
CN111445410A (zh) 基于纹理图像的纹理增强方法、装置、设备和存储介质
JP2007534179A (ja) デジタル画像の明度の調整
US20100054584A1 (en) Image-based backgrounds for images
CN108021881B (zh) 一种肤色分割方法、装置和存储介质
Johnson et al. Sharpness rules
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN106506901A (zh) 一种显著性视觉注意模型的混合式数字图像半色调方法
CN111860369A (zh) 一种欺诈识别方法、装置以及存储介质
CN104123697A (zh) 一种图像增强方法及设备
CN113301408B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
DE10246102A1 (de) Verfahren und Vorrichtung zum Filtern von Rauschen von einem digatalen Bild
CN112749298A (zh) 视频封面确定方法、装置、电子设备及计算机存储介质
JP4281135B2 (ja) 画質改善方法及び画質改善装置
JP2004173248A (ja) Ｊｐｅｇのアーチファクト除去
Masood et al. Automatic Correction of Saturated Regions in Photographs using Cross‐Channel Correlation
CN110826380A (zh) 一种异常签名的识别方法及其系统
Beghdadi et al. Ceed-a database for image contrast enhancement evaluation
CN108876721A (zh) 基于课程学习的超分辨率图像重建方法及系统
CN115620117B (zh) 一种用于网络访问权限认证的人脸信息加密方法及系统
CN100562135C (zh) 图像质量评测系统
Hu et al. Jpeg ringing artifact visibility evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant