CN108257194A - 基于卷积神经网络的人脸简笔画生成方法 - Google Patents

基于卷积神经网络的人脸简笔画生成方法 Download PDF

Info

Publication number
CN108257194A
CN108257194A CN201810062910.0A CN201810062910A CN108257194A CN 108257194 A CN108257194 A CN 108257194A CN 201810062910 A CN201810062910 A CN 201810062910A CN 108257194 A CN108257194 A CN 108257194A
Authority
CN
China
Prior art keywords
image
face
stage
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810062910.0A
Other languages
English (en)
Other versions
CN108257194B (zh
Inventor
郑丽颖
王伊雪
赵硕
邴鑫阳
初妍
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201810062910.0A priority Critical patent/CN108257194B/zh
Publication of CN108257194A publication Critical patent/CN108257194A/zh
Application granted granted Critical
Publication of CN108257194B publication Critical patent/CN108257194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于卷积神经网络的人脸简笔画生成方法，包括如下步骤：步骤一：初始化I＝{I1，I2，……，IN}为人脸图像集；步骤二：构造训练数据集；步骤三：使用误差反传梯度下降算法，根据训练数据集T训练卷积神经网络；步骤四：生成人脸简笔画。本发明根据已有数据集，对原有数据集进行多尺度扰动，增大训练数据集，提高网络泛化能力，可以实现自动提取人脸特征，提取的人脸轮廓精确，系统鲁棒性强。

Description

基于卷积神经网络的人脸简笔画生成方法
技术领域
本发明涉及一种人脸简笔画生成方法，特别是一种基于卷积神经网络的人脸简笔画生成方法。
背景技术
随着智能科技的发展，机器人走入了我们的生活。为了增加机器人的亲切感和趣味性，我们让机器人参与人脸简笔画的制作。给机器人提供人像照片，经过机器系统处理，让机器人画出人脸简笔画。人脸简笔画可以用贴近于人脸和五官的轮廓曲线组合表示。因此，通过提取人脸及五官的边缘轮廓，可以生成人脸简笔画。
然而，在传统图像处理方法中，利用肤色检测分割人脸区域后再提取轮廓的方法，受光照噪声的影响，人脸区域分割结果并不适用于大批量照片的处理，进而轮廓提取的效果并不好。另外，由于人脸照片有遮挡物、头发刘海、装饰品等影响，利用边缘算子提取的边缘会有较大误差，精确度低。另一类轮廓提取方法是基于几何特征的方法。这类方法计算眼角、下巴、嘴巴等面部明显特征部位之间的距离，以及彼此间的角度等一些几何关系，利用这些几何信息进行数学建模，来达到人脸的区域定位、提取轮廓的目的。但是，这种方法提取的轮廓并不精确，并且鲁棒性差。
自上世纪90年代以来，基于机器学习的人脸图像处理技术取得长足进展。机器学习技术比传统的图像处理技术精确度高，但是做不了高维度、复杂的矩阵运算。2006年，Geoffrey Hinton等发表论文，解决了深度网络快速、准确训练的问题，促使深度神经网络成为解决人脸检测、识别问题的新方法。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种精确、强鲁棒性、快速的基于卷积神经网络的人脸简笔画生成方法。
为解决上述技术问题，本发明的基于卷积神经网络的人脸简笔画生成方法，包括如下步骤：
步骤一：初始化I＝{I1，I2，……，IN}为人脸图像集，其中Ii表示人脸图像集合中的第i幅图像，Ii的尺寸为H×W像素，H为图像高度，W为图像宽度，i＝1,2,..,N，N为图像集的大小；
步骤二：构造训练数据集，包括：
(1)对集合I中的全部图像采用双三次插值法实现图像尺寸缩放，得到集合II1和II2，其中II1中每张图像的尺寸为H/2×W/2，II2中每张图像的尺寸为2H×2W；
(2)构造数据集I'＝{I，II1，II2}，手工标记图像集I'对应的简笔画图像，得到相应的标签图，记为Y＝{Y1,Y2,...,Yn}，其中n＝3N；
(3)利用原图像与扰动好的图像构造训练数据集T，T＝{(I'i,Yi),i＝1,2,...,n}，其中I'i为I'中的第i幅图像；
步骤三：使用误差反传梯度下降算法，根据训练数据集T训练卷积神经网络，其中，网络的损失函数采用最小化图像级损失，满足：
L(W,w(m))＝min(lside(W,w(m))) (1)
式(1)中，min()为最小化函数；W表示网络的权重；w(m)为第m层输出结果对网络整体输出的贡献度，其参数值由网络训练得出；lside(W,w(m))为侧输出图的图像级损失；
步骤四：生成人脸简笔画，包括：
(1)任给一幅人脸图像S，将S输入到训练好的卷积神经网络，保存输出图X。
(2)利用形态学方法对X进行去噪，然后利用Canny算子提取去噪之后的图像的边缘，得到人脸简笔画图像。
本发明还包括：
卷积神经网络满足具有5个阶段卷积，阶段1和阶段2有2个卷积层，阶段3至阶段5均具有3个卷积层；阶段1至4的最后一层卷积层均与1个最大池化层连接；同时，每个阶段卷积层又分别与融合层相连；阶段2至5的融合层后均接有反卷积层；阶段1的融合层以及阶段2至5的反卷积层与连接层相连，实现人脸轮廓提取。
本发明的有益效果：1)由于采用了卷积神经网络，因此，可以利用神经网络的学习能力自动提取人脸特征；2)由于引入了融合层，因此提取的人脸轮廓精确；3)神经网络的泛化能力保证了所设计的系统具有强鲁棒性。
附图说明
图1为卷积神经网络结构图。
具体实施方式
下面结合附图对本发明基于卷积神经网络的人脸简笔画生成方法作详细说明。
本发明提出一种基于卷积神经网络的人脸简笔画生成方法，为了获取细致的五官信息，对现有vgg-16网络结构进行了改进，通过分阶段融合和反卷积得到各阶段的侧输出图，通过连接层进一步融合各个侧输出图信息。
本发明采用的技术方案是：1)数据处理：根据已有数据集，对原有数据集进行多尺度扰动，增大训练数据集，提高网络泛化能力。2)训练：把训练数据集输入深度神经网络，训练网络参数。3)图像后处理：对网络的输出图像进行处理，根据融合的轮廓图生成人脸简笔画。
本发明采用的卷积神经网络结构如图1所示，网络结构具体说明如下：
首先，基于典型的卷积神经网络vgg-16(Very Deep Convolutional Networks，vgg)结构，建立简笔画生成算法的网络框架，如图1所示。具有5个阶段卷积，阶段1和阶段2有2个卷积层，其余阶段均具有3个卷积层；阶段1至4的最后一层卷积层均与1个最大池化层连接；同时，每个阶段卷积层又分别与融合层相连；阶段2至5的融合层后均接有反卷积层；阶段1的融合层以及阶段2至5的反卷积层与连接层相连，实现人脸轮廓提取。网络各层的参数如表1所示。该网络结构中，卷积层对输入图进行卷积，利用卷积结果，得到分层轮廓特征；池化层的作用是引入不变性，减少出现过拟合的可能性；融合层将该层的输入特征图相加，实现本阶段各层卷积特征图的像素级融合；反卷积层根据输入图像的尺寸设定的卷积核大小和卷积步长，实现上采样，得到侧输出图，其中侧输出图的尺寸与输入图像一致；连接层实现通道之间的连接，要求除通道维度外，其余维度要保证完全一致，该层的作用是融合各侧输出图，以便得到人脸轮廓图。
表1卷积神经网络参数
网络层 conv1_1 conv1_2 maxpool1 conv2_1 conv2_2 maxpool2
感受野尺寸 3×3 5×5 6×6 10×10 14×14 16×16
特征图个数 64 64 64 128 128 128
步长 1 1 2 2 2 4
网络层 conv3_1 conv3_2 conv3_3 maxpool3 conv4_1 conv4_2
感受野尺寸 24×32 32×32 40×40 44×44 60×60 76×76
特征图个数 256 256 256 512 512 512
步长 4 4 4 8 8 8
网络层 conv4_3 maxpool4 conv5_1 conv5_2 conv5_3
感受野尺寸 92×92 100×100 132×132 164×164 196×196
特征图个数 512 512 512 512 512
步长 8 16 16 16 16
设I＝{I1，I2，……，IN}为人脸图像集，其中Ii表示人脸图像集合中的第i幅图像，Ii的尺寸为H×W像素，H为图像高度，W为图像宽度，i＝1,2,..,N，N为图像集的大小。
本发明的具体实现步骤如下：
步骤1，构造训练数据集：
1.1对集合I中的所有图像采用双三次插值法实现图像尺寸缩放，得到集合II1和II2，其中II1中每张图像的尺寸为H/2×W/2，II2中每张图像的尺寸为2H×2W。
1.2构造数据集I'＝{I，II1，II2}。手工标记图像集I'对应的简笔画图像，得到相应的标签图，记为Y＝{Y1,Y2,...,Yn}，其中n＝3N。
1.3利用原图像与扰动好的图像构造训练数据集T：T＝{(I'i,Yi),i＝1,2,...,n}，其中I'i为I'中的第i幅图像。
步骤2，使用误差反传梯度下降算法，根据训练数据集T训练图1所示的卷积神经网络。其中，网络的损失函数采用最小化图像级损失，如式(1)所示：
L(W,w(m))＝min(lside(W,w(m))) (1)
式(1)中，min()为最小化函数；W表示网络的权重；w(m)为第m层输出结果对网络整体输出的贡献度，其参数值由网络训练得出；lside(W,w(m))为侧输出图的图像级损失。
步骤3，生成人脸简笔画：
3.1任给一幅人脸图像S，将S输入到训练好的卷积神经网络，保存输出图X。
3.2利用形态学方法对X进行去噪，然后利用Canny算子提取去噪之后的图像的边缘，得到人脸简笔画图像。

Claims (2)

1.一种基于卷积神经网络的人脸简笔画生成方法，其特征在于：包括以下步骤：
步骤一：初始化I＝{I1，I2，……，IN}为人脸图像集，其中Ii表示人脸图像集合中的第i幅图像，Ii的尺寸为H×W像素，H为图像高度，W为图像宽度，i＝1,2,..,N，N为图像集的大小；
步骤二：构造训练数据集，包括：
(1)对集合I中的全部图像采用双三次插值法实现图像尺寸缩放，得到集合II1和II2，其中II1中每张图像的尺寸为H/2×W/2，II2中每张图像的尺寸为2H×2W；
(2)构造数据集I'＝{I，II1，II2}，手工标记图像集I'对应的简笔画图像，得到相应的标签图，记为Y＝{Y1,Y2,...,Yn}，其中n＝3N；
(3)利用原图像与扰动好的图像构造训练数据集T，T＝{(I'i,Yi),i＝1,2,...,n}，其中I'i为I'中的第i幅图像；
步骤三：使用误差反传梯度下降算法，根据训练数据集T训练卷积神经网络，其中，网络的损失函数采用最小化图像级损失，满足：
L(W,w(m))＝min(lside(W,w(m))) (1)
式(1)中，min()为最小化函数；W表示网络的权重；w(m)为第m层输出结果对网络整体输出的贡献度，其参数值由网络训练得出；lside(W,w(m))为侧输出图的图像级损失；
步骤四：生成人脸简笔画，包括：
(1)任给一幅人脸图像S，将S输入到训练好的卷积神经网络，保存输出图X；
(2)利用形态学方法对X进行去噪，然后利用Canny算子提取去噪之后的图像的边缘，得到人脸简笔画图像。
2.根据权利要求1所述的一种基于卷积神经网络的人脸简笔画生成方法，其特征在于：步骤三所述卷积神经网络满足具有5个阶段卷积，阶段1和阶段2有2个卷积层，阶段3至阶段5均具有3个卷积层；阶段1至4的最后一层卷积层均与1个最大池化层连接；同时，每个阶段卷积层又分别与融合层相连；阶段2至5的融合层后均接有反卷积层；阶段1的融合层以及阶段2至5的反卷积层与连接层相连，实现人脸轮廓提取。
CN201810062910.0A 2018-01-23 2018-01-23 基于卷积神经网络的人脸简笔画生成方法 Active CN108257194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810062910.0A CN108257194B (zh) 2018-01-23 2018-01-23 基于卷积神经网络的人脸简笔画生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810062910.0A CN108257194B (zh) 2018-01-23 2018-01-23 基于卷积神经网络的人脸简笔画生成方法

Publications (2)

Publication Number Publication Date
CN108257194A true CN108257194A (zh) 2018-07-06
CN108257194B CN108257194B (zh) 2021-06-01

Family

ID=62742546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810062910.0A Active CN108257194B (zh) 2018-01-23 2018-01-23 基于卷积神经网络的人脸简笔画生成方法

Country Status (1)

Country Link
CN (1) CN108257194B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272031A (zh) * 2018-09-05 2019-01-25 宽凳（北京）科技有限公司 一种训练样本生成方法及装置、设备、介质
CN109920021A (zh) * 2019-03-07 2019-06-21 华东理工大学 一种基于正则化宽度学习网络的人脸素描合成方法
CN110399812A (zh) * 2019-07-08 2019-11-01 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014048858A2 (en) * 2012-09-25 2014-04-03 Pcovery Aps Crystal structure i
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
EP3153095A1 (en) * 2015-10-06 2017-04-12 N.V. Nederlandsche Apparatenfabriek NEDAP System and method for determining a physiological condition of a ruminant
CN106873893A (zh) * 2017-02-13 2017-06-20 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及装置
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014048858A2 (en) * 2012-09-25 2014-04-03 Pcovery Aps Crystal structure i
EP3153095A1 (en) * 2015-10-06 2017-04-12 N.V. Nederlandsche Apparatenfabriek NEDAP System and method for determining a physiological condition of a ruminant
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN106873893A (zh) * 2017-02-13 2017-06-20 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及装置
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VASSILIOS PETRIDIS等: "Detection and identification of human actions using Predictive Modular Neural Networks", 《2009 17TH MEDITERRANEAN CONFERENCE ON CONTROL AND AUTOMATION》 *
辛愿: "简笔画识别算法研究及系统移植", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272031A (zh) * 2018-09-05 2019-01-25 宽凳（北京）科技有限公司 一种训练样本生成方法及装置、设备、介质
CN109272031B (zh) * 2018-09-05 2021-03-30 宽凳（北京）科技有限公司 一种训练样本生成方法及装置、设备、介质
CN109920021A (zh) * 2019-03-07 2019-06-21 华东理工大学 一种基于正则化宽度学习网络的人脸素描合成方法
CN110399812A (zh) * 2019-07-08 2019-11-01 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN110399812B (zh) * 2019-07-08 2023-05-30 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112215819B (zh) * 2020-10-13 2023-06-30 中国民航大学 基于深度特征融合的机场道面裂缝检测方法

Also Published As

Publication number Publication date
CN108257194B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN106384094B (zh) 一种基于书写风格建模的中文字库自动生成方法
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN108257194A (zh) 基于卷积神经网络的人脸简笔画生成方法
CN105139004B (zh) 基于视频序列的人脸表情识别方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN110930297B (zh) 人脸图像的风格迁移方法、装置、电子设备及存储介质
CN109902748A (zh) 一种基于多层信息融合全卷积神经网络的图像语义分割方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN111553837B (zh) 一种基于神经风格迁移的艺术文本图像生成方法
CN107133616A (zh) 一种基于深度学习的无分割字符定位与识别方法
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
CN108090403A (zh) 一种基于3d卷积神经网络的人脸动态识别方法及系统
CN108629338A (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN107945244A (zh) 一种基于人脸照片的简笔画生成方法
CN109448015A (zh) 基于显著图融合的图像协同分割方法
CN108764242A (zh) 基于深层卷积神经网络的离线手写汉字体识别方法
CN104077612B (zh) 一种基于多特征稀疏表示技术的害虫图像识别方法
JP6929322B2 (ja) データ拡張システム、データ拡張方法、及びプログラム
Qin et al. Automatic skin and hair masking using fully convolutional networks
CN108647682A (zh) 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法
CN111046763A (zh) 一种人像卡通化的方法和装置
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN107967480A (zh) 一种基于标签语义的显著对象提取方法
CN108596195A (zh) 一种基于稀疏编码特征提取的场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant