CN110992374A - 一种基于深度学习的头发精细化分割方法及系统 - Google Patents

一种基于深度学习的头发精细化分割方法及系统 Download PDF

Info

Publication number
CN110992374A
CN110992374A CN201911187025.6A CN201911187025A CN110992374A CN 110992374 A CN110992374 A CN 110992374A CN 201911187025 A CN201911187025 A CN 201911187025A CN 110992374 A CN110992374 A CN 110992374A
Authority
CN
China
Prior art keywords
hair
module
mask
segmentation
portrait data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911187025.6A
Other languages
English (en)
Other versions
CN110992374B (zh
Inventor
张明琦
李云夕
陈希玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Quwei Science & Technology Co ltd
Original Assignee
Hangzhou Quwei Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Quwei Science & Technology Co ltd filed Critical Hangzhou Quwei Science & Technology Co ltd
Priority to CN201911187025.6A priority Critical patent/CN110992374B/zh
Publication of CN110992374A publication Critical patent/CN110992374A/zh
Application granted granted Critical
Publication of CN110992374B publication Critical patent/CN110992374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的头发精细化分割方法及系统,分割方法包括步骤:S1、构建包括头发分割模块、发丝精细化模块的卷积神经网络;S2、利用所述头发分割模块提取训练人像数据中的头发概率图;S3、合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;S4、计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;S5、将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。本发明在对头发区域进行整体分割的同时,能够对发丝部分进行分割,提高了头发分割的精细度。

Description

一种基于深度学习的头发精细化分割方法及系统
技术领域
本发明涉及图像处理领域,具体涉及一种基于深度学习的头发精细化分割方法及系统。
背景技术
由于头发关乎个人形象,头发仿真、头发编辑等问题备受关注。手机自拍已经成为现代人们生活中非常流行的现象。各种美图工具也孕育而生。很多软件都可以识别人脸的特征,对人脸进行一些有趣的处理。但是人们手机自拍时的背景往往很复杂,当软件想对人像做处理时,比如生成人物的素描图或者将人物动漫化,往往需要将背景分离出去。在分离的过程中,头发分割往往非常困难。此外,头发在人的身份识别、性别识别方面起着至关重要的作用。由于人们一般不会频繁地更换发型,头发分割有利于身份识别,而男女发型差异使其可辅助性别识别。为了完成以上这些应用任务,从输入图像中分割出头发区域用于后续处理,是相当有价值的工作。
公开号为CN 107220990A的发明专利申请公开了一种基于深度学习的头发分割方法,并具体公开了:S100获取原始图像;S200对原始图像进行人脸检测,得到人脸关键点;S300利用人脸关键点生成人脸关键部位描述图;S400将原始图像和人脸关键部位描述图合并,获得4通道图像;S500将所述4通道图像输入卷积神经网络模型,通过卷积神经网络模型推断出每个像素点是头发的概率,从而获得头发概率图;S600利用头发概率图对原始图像进行头发分割。
基于深度学习的头发分割方法通常由数据驱动,数据的质量对分割结果有很大的影响。然而由于头发区域中发丝部分的标注十分困难,导致目前基于深度学习的头发分割方法只能对头发区域进行整体分割,而无法处理细小的发丝部分。因此,如果对头发区域进行后续的处理,例如对头发染色等,将无法达到理想的效果。
因此,如何在头发区域中发丝部分未进行标注的情况下实现头发精细化的分割是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷,提供了一种基于深度学习的头发精细化分割方法及系统。本发明通过头发分割模块提取训练人像数据中的头发概率图,再利用发丝精细化模块提取精细化头发掩膜,在对头发区域进行整体分割的同时,能够对发丝部分进行分割,提高了头发分割的精细度。
为了实现以上目的,本发明采用以下技术方案:
一种基于深度学习的头发精细化分割方法,包括步骤:
S1、构建包括头发分割模块、发丝精细化模块的卷积神经网络;
S2、利用所述头发分割模块提取训练人像数据中的头发概率图;
S3、合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
S4、计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;
S5、将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。
进一步地,所述头发分割模块由编码子模块和解码子模块组成,其中编码子模块由卷积层和下采样层组成,解码子模块由卷积层和上采样层组成;所述发丝精细化模块包括少量的卷积层。
进一步地,所述步骤S2之前还包括:
S21、对收集的人像数据进行头发区域标注,得到对应的二值化头发掩膜;
S22、对所述人像数据及二值化头发掩膜进行缩放,对应生成训练人像数据及训练掩膜;
S23、对所述训练人像数据及训练掩膜进行数据增强,生成最终的训练人像数据集及训练掩膜集。
进一步地,所述损失函数包括头发分割模块造成的损失Loss1及发丝精细化模块引起的损失Loss2,即:整个头发精细化分割模型的损失函数为:
Loss=Loss1+Loss2
其中,Loss1=-Ylog(M)+(1-Y)log(1-M)
M为头发概率图,Y为相应人像数据的训练掩膜;
Loss2=(P-Q)2
P为精细化头发掩膜,Q为滤波后的发丝掩膜。
所述发丝掩膜通过对所述头发概率图进行引导滤波生成。
进一步地,,所述步骤S5具体为:
S51、对待分割人像数据进行缩放;
S52、利用所述头发分割模块提取待分割人像数据中的头发概率图;
S53、合并待分割人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜。
本发明还提出一种基于深度学习的头发精细化分割系统,包括:
构建模块,用于构建包括头发分割模块、发丝精细化模块的卷积神经网络;
头发概率图生成模块,用于利用所述头发分割模块提取训练人像数据中的头发概率图;
精细化头发掩膜生成模块,用于合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
迭代更新模块,用于计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;
测试模块,用于将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。
进一步地,所述头发分割模块由编码子模块和解码子模块组成,其中编码子模块由卷积层和下采样层组成,解码子模块由卷积层和上采样层组成;所述发丝精细化模块包括少量的卷积层。
进一步地,所述头发精细化分割系统还包括:
二值化模块,用于对收集的人像数据进行头发区域标注,得到对应的二值化头发掩膜;
缩放模块,用于对所述人像数据及二值化头发掩膜进行缩放,对应生成训练人像数据及训练掩膜;
数据增强模块,用于对所述训练人像数据及训练掩膜进行数据增强,生成最终的训练人像数据集及训练掩膜集。
进一步地,所述损失函数包括头发分割模块造成的损失Loss1及发丝精细化模块引起的损失Loss2,即整个头发精细化分割模型的损失函数为:
Loss=Loss1+Loss2
其中,Loss1=-Ylog(M)+(1-Y)log(1-M)
M为头发概率图,Y为相应人像数据的训练掩膜;
Loss2=(P-Q)2
P为精细化头发掩膜,Q为滤波后的发丝掩膜;所述发丝掩膜通过对所述头发概率图进行引导滤波生成。
本发明提供了一种基于深度学习的头发精细化分割方法及系统,通过头发分割模块提取训练人像数据中的头发概率图,再利用发丝精细化模块提取精细化头发掩膜,在对头发区域进行整体分割的同时,能够对发丝部分进行分割,提高了头发分割的精细度。此外,本发明实现的发丝级别的分割效果能够进一步优化基于头发分割的处理效果,如染发等。
附图说明
图1是实施例一提供的一种基于深度学习的头发精细化分割方法流程图;
图2是实施例二提供的一种基于深度学习的头发精细化分割系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
实施例一
如图1所示,本实施例提出了一种基于深度学习的头发精细化分割方法,包括:
S1、构建包括头发分割模块、发丝精细化模块的卷积神经网络;
针对目前基于深度学习的头发分割方法只能对头发区域进行整体分割,而无法处理细小的发丝部分的问题,本发明构建包括头发分割模块、发丝精细化模块的卷积神经网络,以实现头发精细化分割。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,主要由输入层、卷积层、采样层、全连接层、输出层组成。输入层是需要处理的人像数据,对于计算机而言可将其理解为若干矩阵。卷积层是卷积神经网络的重要组成部分,通过输入层和卷积层之间的矩阵卷积运算,提取输入人像数据的特征。全连接层位于最后一个池化层和输出层之间,其中每一个神经元都与前一层的全部神经元相连接,并根据目标检测的需要,有针对性地将特征向量映射到输出层。输出层位于神经网络的最后,其作用是对权连接层映射过来的输入向量进行分类。卷积层与采样层可以根据需要重复多次,其中不同的卷积核负责提取多种特征。
本发明所述的头发分割模块用于提取头发区域特征,该模块由编码子模块和解码子模块组成,其中编码子模块由一系列卷积层和下采样层组成,解码子模块由一系列卷积层和上采样层组成。下采样层用于对人像数据进行下采样,生成输入人像数据的缩略图。上采样层用于放大人像数据,从而可以显示在更高分辨率的显示设备上。本发明所述的发丝精细化模块用于提取精细化的头发掩膜,该模块包括少量的卷积层。
S2、利用所述头发分割模块提取训练人像数据中的头发概率图;
本发明利用大量标注的人像数据对卷积神经网络进行训练,得到最终使用的卷积神经网络。将人像数据输入卷积神经网络前,需要对采集的人像数据进行预处理,具体包括:
S21、对收集的人像数据进行头发区域标注,得到对应的二值化头发掩膜;
本发明采集人像数据,如来自Figaro数据集的人像数据,并对收集的人像数据进行头发标注。使用Adobe Photo shop CS6(64Bit)软件抠图工具得到头发的二值区域掩膜,其中,白色区域表示头发区域,其像素值为1,黑色区域表示背景区域,其像素值为0。
S22、对所述人像数据及二值化头发掩膜进行缩放,对应生成训练人像数据及训练掩膜;
为了优化头发分割效率,本发明所有输入分割模块的人像数据均为256*256像素,格式为RGB原图。因此,对输入人像数据进行预处理,将原始图像的长边缩放至256,短边等比缩放,不足之处补0对齐,得到尺寸为256*256*3的RGB输入的训练人像数据X。对该人像数据相应的二值化头发掩膜做同样的缩放操作得到训练掩膜Y。
S23、对所述训练人像数据及训练掩膜进行数据增强,生成最终的训练人像数据集及训练掩膜集。
为了提高头发分割的精确性,本发明的人像样本数据包括10000+的人像样本照片。由于样本集较大,样本数据采集困难,因此,本发明采集1000张人像照片,并对1000张人像照片分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例,其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成数据的随机性。通过人像数据的增强,得到包括10000+的人像样本照片。对该人像数据相应的训练掩膜做同样的图像增强操作,生成最终的训练掩膜集。
训练数据集生成后,将数据集中的人像数据输入卷积神经网络,卷积神经网络利用所述头发分割模块提取训练人像数据中的头发概率图,即输入的人像数据编码和解码过程后,得到尺寸为256*256*1头发概率图M。
S3、合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
本发明在通过头发分割模块提取到头发概率图后,还需要通过发丝精细化模块提取精细化头发掩膜。合并头发概率图、训练人像数据,将其作为发丝精细化模块的输入,通过精细化模块后得到最终的精细化头发掩膜。具体地,将RGB输入图像X和头发概率图M进行通道上的合并操作,作为发丝精细化模块的输入N。
如上所述,发丝精细化模块包括少量的卷积层,N作为输入输入到发丝精细化模块中的卷积层,通过卷积层提取精细化头发掩膜,输出到最终的精细化头发掩膜P。
S4、计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;
基于深度学习的头发分割通过不断对卷积神经网络进行训练,使损失函数降到预期值。本发明头发精细化分割过程包括两部分,一部分是通过头发分割模块提取训练人像数据中的头发概率图,另一部分是利用发丝精细化模块提取精细化头发掩膜。因此,本发明的损失函数包括头发分割模块造成的损失Loss1及发丝精细化模块引起的损失Loss2
对于头发分割模块,本发明采用交叉熵损失函数(Cross Entropy ErrorFunction)计算Loss1,具体为:
Loss1=-Ylog(M)+(1-Y)log(1-M)
其中,M为头发概率图,Y为相应人像数据的训练掩膜。
对于发丝精细化模块,Loss2具体为:
Loss2=(P-Q)2
其中,P为精细化头发掩膜,Q为滤波后的发丝掩膜。
头发概率图可能存在大量的噪声,影响头发精细化分割效果。因此,本发明在得到头发概率图后,对其进行去噪。本发明通过引导滤波,得到滤波后的发丝掩膜。引导滤波过程中,头发概率图作为输入图像I和引导图像P,计算发丝掩膜q,满足:
Figure BDA0002292628610000071
其中,qi是发丝掩膜的像素值,Ii是输入图像的像素值,i和k是像素索引,a和b是当窗口中心位于k时该线性函数的系数。
求出线性函数的系数,也就是线性回归,即拟合函数的输出值q与真实值p之间的差距最小,也就是让下式最小:
Figure BDA0002292628610000081
因此,整个头发精细化分割模型的损失函数为:
Loss=Loss1+Loss2
本发明将预处理后的人像样本数据输入卷积神经网络,首先通过头发分割模块提取训练人像数据中的头发概率图,再利用发丝精细化模块提取精细化头发掩膜。通过计算整个头发精细化分割模型的损失函数对头发精细化分割模型进行迭代、优化、更新,训练生成头发精细化分割模型。
S5、将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。
训练生成头发精细化分割模型后,就可以对需要进行头发分割的人像数据进行头发精细化分割,以得到包括对发丝部分进行分割的头发精细化分割区域。
对于待分割人像数据,头发精细化分割模型的具体处理如下:
S51、对待分割人像数据进行缩放;
对输入的待分割人像数据进行预处理,将原始图像的长边缩放至256,短边等比缩放,不足之处补0对齐,得到尺寸为256*256*3的RGB输入的待分割人像数据X。
S52、利用所述头发分割模块提取待分割人像数据中的头发概率图;
待分割人像数据输入卷积神经网络,卷积神经网络利用所述头发分割模块提取待分割人像数据中的头发概率图,即输入的人像数据经过编码和解码过程后,得到尺寸为256*256*1头发概率图M。
S53、合并待分割人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
将RGB待分割人像数据X和头发概率图M进行通道上的合并操作,作为发丝精细化模块的输入N。N作为输入输入到发丝精细化模块中的卷积层,通过卷积层提取精细化头发掩膜,输出到最终的精细化头发掩膜P。
实施例二
如图2所示,本实施例提出了一种基于深度学习的头发精细化分割系统,包括:
构建模块,用于构建包括头发分割模块、发丝精细化模块的卷积神经网络;
针对目前基于深度学习的头发分割方法只能对头发区域进行整体分割,而无法处理细小的发丝部分的问题,本发明构建包括头发分割模块、发丝精细化模块的卷积神经网络,以实现头发精细化分割。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,主要由输入层、卷积层、采样层、全连接层、输出层组成。输入层是需要处理的人像数据,对于计算机而言可将其理解为若干矩阵。卷积层是卷积神经网络的重要组成部分,通过输入层和卷积层之间的矩阵卷积运算,提取输入人像数据的特征。全连接层位于最后一个池化层和输出层之间,其中每一个神经元都与前一层的全部神经元相连接,并根据目标检测的需要,有针对性地将特征向量映射到输出层。输出层位于神经网络的最后,其作用是对权连接层映射过来的输入向量进行分类。卷积层与采样层可以根据需要重复多次,其中不同的卷积核负责提取多种特征。
本发明所述的头发分割模块用于提取头发区域特征,该模块由编码子模块和解码子模块组成,其中编码子模块由一系列卷积层和下采样层组成,解码子模块由一系列卷积层和上采样层组成。下采样层用于对人像数据进行下采样,生成输入人像数据的缩略图。上采样层用于放大人像数据,从而可以显示在更高分辨率的显示设备上。本发明所述的发丝精细化模块用于提取精细化的头发掩膜,该模块包括少量的卷积层。
头发概率图生成模块,用于利用所述头发分割模块提取训练人像数据中的头发概率图;
本发明利用大量标注的人像数据对卷积神经网络进行训练,得到最终使用的卷积神经网络。将人像数据输入卷积神经网络前,需要对采集的人像数据进行预处理,因此,本发明所述的头发精细化分割系统还包括预处理模块,具体包括:
二值化模块,用于对收集的人像数据进行头发区域标注,得到对应的二值化头发掩膜;
本发明采集人像数据,如来自Figaro数据集的人像数据,并对收集的人像数据进行头发标注。使用Adobe Photo shop CS6(64Bit)软件抠图工具得到头发的二值区域掩膜,其中,白色区域表示头发区域,其像素值为1,黑色区域表示背景区域,其像素值为0。
缩放模块,用于对所述人像数据及二值化头发掩膜进行缩放,对应生成训练人像数据及训练掩膜;
为了优化头发分割效率,本发明所有输入分割模块的人像数据均为256*256像素,格式为RGB原图。因此,对输入人像数据进行预处理,将原始图像的长边缩放至256,短边等比缩放,不足之处补0对齐,得到尺寸为256*256*3的RGB输入的训练人像数据X。对该人像数据相应的二值化头发掩膜做同样的缩放操作得到训练掩膜Y。
数据增强模块,用于对所述训练人像数据及训练掩膜进行数据增强,生成最终的训练人像数据集及训练掩膜集。
为了提高头发分割的精确性,本发明的人像样本数据包括10000+的人像样本照片。由于样本集较大,样本数据采集困难,因此,本发明采集1000张人像照片,并对1000张人像照片分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例,其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成数据的随机性。通过人像数据的增强,得到包括10000+的人像样本照片。对该人像数据相应的训练掩膜做同样的图像增强操作,生成最终的训练掩膜集。
训练数据集生成后,将数据集中的人像数据输入卷积神经网络,卷积神经网络利用所述头发分割模块提取训练人像数据中的头发概率图,即输入的人像数据编码和解码过程后,得到尺寸为256*256*1头发概率图M。
精细化头发掩膜生成模块,用于合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
本发明在通过头发分割模块提取到头发概率图后,还需要通过发丝精细化模块提取精细化头发掩膜。合并头发概率图、训练人像数据,将其作为发丝精细化模块的输入,通过精细化模块后得到最终的精细化头发掩膜。具体地,将RGB输入图像X和头发概率图M进行通道上的合并操作,作为发丝精细化模块的输入N。
如上所述,发丝精细化模块包括少量的卷积层,N作为输入输入到发丝精细化模块中的卷积层,通过卷积层提取精细化头发掩膜,输出到最终的精细化头发掩膜P。
迭代更新模块,用于计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;
基于深度学习的头发分割通过不断对卷积神经网络进行训练,使损失函数降到预期值。本发明头发精细化分割过程包括两部分,一部分是通过头发分割模块提取训练人像数据中的头发概率图,另一部分是利用发丝精细化模块提取精细化头发掩膜。因此,本发明的损失函数包括头发分割模块造成的损失Loss1及发丝精细化模块引起的损失Loss2
对于头发分割模块,本发明采用交叉熵损失函数(Cross Entropy ErrorFunction)计算Loss1,具体为:
Loss1=-Ylog(M)+(1-Y)log(1-M)
其中,M为头发概率图,Y为相应人像数据的训练掩膜。
对于发丝精细化模块,Loss2具体为:
Loss2=(P-Q)2
其中,P为精细化头发掩膜,Q为滤波后的发丝掩膜。
头发概率图可能存在大量的噪声,影响头发精细化分割效果。因此,本发明在得到头发概率图后,对其进行去噪。本发明通过引导滤波,得到滤波后的发丝掩膜。引导滤波过程中,头发概率图作为输入图像I和引导图像P,计算发丝掩膜q,满足:
Figure BDA0002292628610000111
其中,qi是发丝掩膜的像素值,Ii是输入图像的像素值,i和k是像素索引,a和b是当窗口中心位于k时该线性函数的系数。
求出线性函数的系数,也就是线性回归,即拟合函数的输出值q与真实值p之间的差距最小,也就是让下式最小:
Figure BDA0002292628610000121
因此,整个头发精细化分割模型的损失函数为:
Loss=Loss1+Loss2
本发明将预处理后的人像样本数据输入卷积神经网络,首先通过头发分割模块提取训练人像数据中的头发概率图,再利用发丝精细化模块提取精细化头发掩膜。通过计算整个头发精细化分割模型的损失函数对头发精细化分割模型进行迭代、优化、更新,训练生成头发精细化分割模型。
测试模块,用于将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。
训练生成头发精细化分割模型后,就可以对需要进行头发分割的人像数据进行头发精细化分割,以得到包括对发丝部分进行分割的头发精细化分割区域。
由此可知,本发明提出的基于深度学习的头发精细化分割方法及系统,通过头发分割模块提取训练人像数据中的头发概率图,再利用发丝精细化模块提取精细化头发掩膜,在对头发区域进行整体分割的同时,能够对发丝部分进行分割,提高了头发分割的精细度。此外,本发明实现的发丝级别的分割效果能够进一步优化基于头发分割的处理效果,如染发等。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于深度学习的头发精细化分割方法,其特征在于,包括步骤:
S1、构建包括头发分割模块、发丝精细化模块的卷积神经网络;
S2、利用所述头发分割模块提取训练人像数据中的头发概率图;
S3、合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
S4、计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;
S5、将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。
2.根据权利要求1所述的头发精细化分割方法,其特征在于,
所述头发分割模块由编码子模块和解码子模块组成,其中编码子模块由卷积层和下采样层组成,解码子模块由卷积层和上采样层组成;所述发丝精细化模块包括少量的卷积层。
3.根据权利要求1所述的头发精细化分割方法,其特征在于,所述步骤S2之前还包括:
S21、对收集的人像数据进行头发区域标注,得到对应的二值化头发掩膜;
S22、对所述人像数据及二值化头发掩膜进行缩放,对应生成训练人像数据及训练掩膜;
S23、对所述训练人像数据及训练掩膜进行数据增强,生成最终的训练人像数据集及训练掩膜集。
4.根据权利要求3所述的头发精细化分割方法,其特征在于,所述损失函数包括头发分割模块造成的损失Loss1及发丝精细化模块引起的损失Loss2,即整个头发精细化分割模型的损失函数为:
LossLoss1+Loss2
其中,Loss1=-Ylog(M)+(1-Y)log(1-M)
M为头发概率图,Y为相应人像数据的训练掩膜;
Loss2=(P-Q)2
P为精细化头发掩膜,Q为滤波后的发丝掩膜。
5.根据权利要求4所述的头发精细化分割方法,其特征在于,所述发丝掩膜通过对所述头发概率图进行引导滤波生成。
6.根据权利要求1所述的头发精细化分割方法,其特征在于,所述步骤S5具体为:
S51、对待分割人像数据进行缩放;
S52、利用所述头发分割模块提取待分割人像数据中的头发概率图;
S53、合并待分割人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜。
7.一种基于深度学习的头发精细化分割系统,其特征在于,包括:
构建模块,用于构建包括头发分割模块、发丝精细化模块的卷积神经网络;头发概率图生成模块,用于利用所述头发分割模块提取训练人像数据中的头发概率图;
精细化头发掩膜生成模块,用于合并训练人像数据及相应的头发概率图,利用发丝精细化模块提取精细化头发掩膜;
迭代更新模块,用于计算卷积神经网络的损失函数,利用损失函数对卷积神经网络进行迭代、更新,生成最终的头发精细化分割模型;
测试模块,用于将待分割人像数据输入所述头发精细化分割模型,得到相应的精细化头发掩膜。
8.根据权利要求7所述的头发精细化分割系统,其特征在于,
所述头发分割模块由编码子模块和解码子模块组成,其中编码子模块由卷积层和下采样层组成,解码子模块由卷积层和上采样层组成;所述发丝精细化模块包括少量的卷积层。
9.根据权利要求7所述的头发精细化分割系统,其特征在于,所述头发精细化分割系统还包括:
二值化模块,用于对收集的人像数据进行头发区域标注,得到对应的二值化头发掩膜;
缩放模块,用于对所述人像数据及二值化头发掩膜进行缩放,对应生成训练人像数据及训练掩膜;
数据增强模块,用于对所述训练人像数据及训练掩膜进行数据增强,生成最终的训练人像数据集及训练掩膜集。
10.根据权利要求9所述的头发精细化分割系统,其特征在于,所述损失函数包括头发分割模块造成的损失Loss1及发丝精细化模块引起的损失Loss2,即整个头发精细化分割模型的损失函数为:
LossLoss1+Loss2
其中,Loss1=-Ylog(M)+(1-Y)log(1-M)
M为头发概率图,Y为相应人像数据的训练掩膜;
Loss2=(P-Q)2
P为精细化头发掩膜,Q为滤波后的发丝掩膜;所述发丝掩膜通过对所述头发概率图进行引导滤波生成。
CN201911187025.6A 2019-11-28 2019-11-28 一种基于深度学习的头发精细化分割方法及系统 Active CN110992374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911187025.6A CN110992374B (zh) 2019-11-28 2019-11-28 一种基于深度学习的头发精细化分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911187025.6A CN110992374B (zh) 2019-11-28 2019-11-28 一种基于深度学习的头发精细化分割方法及系统

Publications (2)

Publication Number Publication Date
CN110992374A true CN110992374A (zh) 2020-04-10
CN110992374B CN110992374B (zh) 2023-09-05

Family

ID=70087590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911187025.6A Active CN110992374B (zh) 2019-11-28 2019-11-28 一种基于深度学习的头发精细化分割方法及系统

Country Status (1)

Country Link
CN (1) CN110992374B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111563868A (zh) * 2020-07-20 2020-08-21 腾讯科技(深圳)有限公司 基于人工智能的头部装饰处理方法及装置
CN112529914A (zh) * 2020-12-18 2021-03-19 北京中科深智科技有限公司 一种实时头发分割方法和系统
CN112862807A (zh) * 2021-03-08 2021-05-28 网易(杭州)网络有限公司 基于头发图像的数据处理方法及装置
CN114187309A (zh) * 2022-01-11 2022-03-15 盛视科技股份有限公司 一种基于卷积神经网络的头发分割方法及系统
CN114187302A (zh) * 2021-11-15 2022-03-15 北京达佳互联信息技术有限公司 图像处理方法、装置及电子设备
WO2022261828A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110175900A1 (en) * 2010-01-18 2011-07-21 Beeler Thabo Dominik System and method for mesoscopic geometry modulation
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN107330900A (zh) * 2017-06-22 2017-11-07 成都品果科技有限公司 一种自动人像分割方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
US20190051048A1 (en) * 2016-04-19 2019-02-14 Zhejiang University Method for single-image-based fully automatic three-dimensional hair modeling
CN109359527A (zh) * 2018-09-11 2019-02-19 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统
WO2019079895A1 (en) * 2017-10-24 2019-05-02 Modiface Inc. SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110008832A (zh) * 2019-02-27 2019-07-12 西安电子科技大学 基于深度学习人物图像自动分割方法、信息数据处理终端
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
US20190266731A1 (en) * 2018-02-26 2019-08-29 Abc Fintech Co., Ltd. Image segmentation method and device
CN110189340A (zh) * 2019-06-03 2019-08-30 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110276767A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110473243A (zh) * 2019-08-09 2019-11-19 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110175900A1 (en) * 2010-01-18 2011-07-21 Beeler Thabo Dominik System and method for mesoscopic geometry modulation
US20190051048A1 (en) * 2016-04-19 2019-02-14 Zhejiang University Method for single-image-based fully automatic three-dimensional hair modeling
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN107330900A (zh) * 2017-06-22 2017-11-07 成都品果科技有限公司 一种自动人像分割方法
WO2019079895A1 (en) * 2017-10-24 2019-05-02 Modiface Inc. SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS
US20190266731A1 (en) * 2018-02-26 2019-08-29 Abc Fintech Co., Ltd. Image segmentation method and device
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109359527A (zh) * 2018-09-11 2019-02-19 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统
CN110008832A (zh) * 2019-02-27 2019-07-12 西安电子科技大学 基于深度学习人物图像自动分割方法、信息数据处理终端
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110189340A (zh) * 2019-06-03 2019-08-30 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110276767A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110473243A (zh) * 2019-08-09 2019-11-19 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEX LEVINSHTEIN: "Real-time deep hair matting on mobile devices", 《CRV 2018》 *
王丹,等: "一种由粗到细的头发分割方法" *
王丹,等: "一种由粗到细的头发分割方法", 《软件学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111507994B (zh) * 2020-04-24 2023-10-03 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111563868A (zh) * 2020-07-20 2020-08-21 腾讯科技(深圳)有限公司 基于人工智能的头部装饰处理方法及装置
CN112529914A (zh) * 2020-12-18 2021-03-19 北京中科深智科技有限公司 一种实时头发分割方法和系统
CN112529914B (zh) * 2020-12-18 2021-08-13 北京中科深智科技有限公司 一种实时头发分割方法和系统
CN112862807A (zh) * 2021-03-08 2021-05-28 网易(杭州)网络有限公司 基于头发图像的数据处理方法及装置
WO2022261828A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114187302A (zh) * 2021-11-15 2022-03-15 北京达佳互联信息技术有限公司 图像处理方法、装置及电子设备
CN114187309A (zh) * 2022-01-11 2022-03-15 盛视科技股份有限公司 一种基于卷积神经网络的头发分割方法及系统

Also Published As

Publication number Publication date
CN110992374B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110992374A (zh) 一种基于深度学习的头发精细化分割方法及系统
CN112541503B (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN113221639B (zh) 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN114758383A (zh) 基于注意力调制上下文空间信息的表情识别方法
JP2023545565A (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
CN113239954B (zh) 基于注意力机制的图像语义分割特征融合方法
CN112070158B (zh) 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
CN113569865A (zh) 一种基于类别原型学习的单样本图像分割方法
CN110929762B (zh) 一种基于深度学习的肢体语言检测与行为分析方法及系统
CN111860046B (zh) 一种改进MobileNet模型的人脸表情识别方法
CN111368734B (zh) 一种基于正常表情辅助的微表情识别方法
CN113052775B (zh) 一种图像去阴影方法及装置
Liang et al. MAFNet: Multi-style attention fusion network for salient object detection
CN113657528B (zh) 图像特征点提取方法、装置、计算机终端及存储介质
CN114140786B (zh) 基于HRNet编码与双分支解码的场景文本识别方法
CN115797179A (zh) 一种街景中文文本图像超分辨率重建方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN114155541A (zh) 一种文字识别方法、装置、终端设备及存储介质
CN113076916A (zh) 基于几何特征加权融合的动态人脸表情识别方法及系统
CN112132253B (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
CN117079313A (zh) 图像处理方法、装置、设备及存储介质
CN117437557A (zh) 一种基于双通道特征增强的高光谱图像分类方法
CN115035097A (zh) 基于域适应的跨场景带钢表面缺陷检测方法
CN114140667A (zh) 一种基于深度卷积神经网络的小样本快速风格迁移方法
CN112529081A (zh) 基于高效注意力校准的实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 22nd floor, block a, Huaxing Times Square, 478 Wensan Road, Xihu District, Hangzhou, Zhejiang 310000

Applicant after: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address before: 16 / F, HANGGANG Metallurgical Science and technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province, 310012

Applicant before: HANGZHOU QUWEI SCIENCE & TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant