CN107220990B - 一种基于深度学习的头发分割方法 - Google Patents

一种基于深度学习的头发分割方法 Download PDF

Info

Publication number
CN107220990B
CN107220990B CN201710482239.0A CN201710482239A CN107220990B CN 107220990 B CN107220990 B CN 107220990B CN 201710482239 A CN201710482239 A CN 201710482239A CN 107220990 B CN107220990 B CN 107220990B
Authority
CN
China
Prior art keywords
hair
neural network
network model
convolutional neural
face key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710482239.0A
Other languages
English (en)
Other versions
CN107220990A (zh
Inventor
黄亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pinguo Technology Co Ltd
Original Assignee
Chengdu Pinguo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pinguo Technology Co Ltd filed Critical Chengdu Pinguo Technology Co Ltd
Priority to CN201710482239.0A priority Critical patent/CN107220990B/zh
Publication of CN107220990A publication Critical patent/CN107220990A/zh
Application granted granted Critical
Publication of CN107220990B publication Critical patent/CN107220990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的头发分割方法，包括步骤S100获取原始图像；S200对原始图像进行人脸检测，得到人脸关键点；S300利用人脸关键点生成人脸关键部位描述图；S400将原始图像和人脸关键部位描述图合并，获得4通道图像；S500将所述4通道图像输入卷积神经网络模型，通过卷积神经网络模型推断出每个像素点是头发的概率，从而获得头发概率图；S600利用头发概率图对原始图像进行头发分割。本发明能够有效避免传统分割方法的不足，达到较好的头发分割效果，不需要人工干预，实现自动分割；能够对任意分辨率的图像进行分割；占用内存小，运行速度快。

Description

一种基于深度学习的头发分割方法
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于深度学习的头发分割方法。
背景技术
图像分割一直是计算机视觉领域比较重要的一个分支，现如今应用最广的是一些交互式的分割方法如grabcut等基于图的分割方法，这些方法需要手动指定一部分前背景种子点，而手机设备上要有好的用户体验的话要求尽量自动化；grabcut等图割方法仅仅使用颜色信息以及空间信息进行分割，缺少高层语义上的分割与理解。
头发分割属于图像分割中的一种情况，发型的复杂性、颜色的多变、纹理的不确定性、亮度的不确定性等使得传统的图割的方法并不能很好地分割头发。而现有的头发分割方法使头发分割的效果差，无法明确的分割出头发区域；无法实现自动分割，需要人工干预；无法对任意分辨率的图像进行头发分割；占用内存大，运行速度慢。
发明内容
为了解决上述问题，本发明提出了一种基于深度学习的头发分割方法，能够有效避免传统分割方法的不足，达到较好的头发分割效果，不需要人工干预，实现自动分割；能够对任意分辨率的图像进行分割；占用内存小，运行速度快。
为达到上述目的，本发明采用的技术方案是：一种基于深度学习的头发分割方法，包括步骤：
S100获取原始图像；
S200对原始图像进行人脸检测，得到人脸关键点；
S300利用人脸关键点生成人脸关键部位描述图；
S400将原始图像和人脸关键部位描述图合并，获得4通道图像；
S500将所述4通道图像输入卷积神经网络模型，通过卷积神经网络模型推断出每个像素点是头发的概率，从而获得头发概率图；
S600利用头发概率图对原始图像进行头发分割。
进一步的是，步骤S300中，利用人脸关键点建立对于人脸器官以及轮廓的二值蒙版图，并由所述二值蒙版图作为人脸关键部位描述图。
进一步的是，在所述卷积神经网络模型的训练过程中，通过人工标定多组人脸图片作为训练样本训练卷积神经网络模型。
进一步的是，所述卷积神经网络模型包括卷积层、Maxpooling层、Unpooling层、Add层和SoftMax层；模型简单、占用空间小且运算速度快。
进一步的是，在所述卷积神经网络模型的卷积层引入ReLU激活函数，加快计算速度。
进一步的是，利用头发概率图，通过最小化能量函数对原始图像进行头发分割，最小化能量函数公式为：
Figure BDA0001329639980000021
其中，yi为推断的头发概率图，
Figure BDA0001329639980000022
为卷积神经网络模型中标定的头发概率图，m为总的训练样本数。
采用本技术方案的有益效果：
通过人脸关键部位描述图作为卷积神经网络模型，增强卷积神经网络模型对人头部区域的理解能力，从而能够精确的分割出头发区域；
利用卷积神经网络模型，能够加快计算速度，可以实现任意分辨率的输入；
模型结构简单，内存占用小，适合在手机上运行。
附图说明
图1为本发明的一种基于深度学习的头发分割方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1所示，本发明提出了一种基于深度学习的头发分割方法，包括步骤：S100-S600。
S100获取原始图像Irgb，Irgb为3通道rgb图像。
S200对原始图像进行人脸检测，得到人脸关键点。
S300利用人脸关键点生成人脸关键部位描述图。
利用人脸关键点建立对于人脸器官以及轮廓的二值蒙版图，并由所述二值蒙版图作为人脸关键部位描述图。
S400将原始图像和人脸关键部位描述图合并，获得4通道图像。
S500将所述4通道图像输入卷积神经网络模型，通过卷积神经网络模型推断出每个像素点是头发的概率，从而获得头发概率图；
在所述卷积神经网络模型的训练过程中，通过人工标定多组人脸图片作为训练样本训练卷积神经网络模型。
所述卷积神经网络模型包括卷积层、Maxpooling层、Unpooling层、Add层和SoftMax层；模型简单、占用空间小且运算速度快。
在所述卷积神经网络模型的卷积层引入ReLU激活函数，加快计算速度。
卷积神经网络模型结构：
Figure BDA0001329639980000031
Figure BDA0001329639980000041
其中：
BLK(In,Out,KxK)为：convolution_2D+ReLU；卷积层的输入为In个通道，卷积层输出为Out个通道，采用KxK大小的核；
Unpooling(KxK,Stride)：采用KxK大小的核，Stride为步长；
Maxpooling(KxK,Stride)：采用KxK大小的核，Stride为步长。
具体推断过程为：
1.将输入的4通道图像经过输入层：BLK(4,32,3x3)，得到32通道的特征图A0；
2.将32通道的特征图A0经过BLK(32,32,3x3)，得到32通道的特征图A1；
3.将32通道的特征图A1经过Maxpooling(4x4,4)，得到32通道的特征图A2；
4.将32通道的特征图A2经过BLK(32,64,3x3)，得到64通道的特征图A3；
5.将64通道的特征图A3经过Maxpooling(2x2,2)，得到64通道的特征图A4；
6.将64通道的特征图A4经过BLK(64,2,3x3)，得到2通道的特征图A5_1；
7.将64通道的特征图A4经过BLK(64,128,3x3)，得到128通道的特征图A5_2；
8.将128通道的特征图A5_2经过Maxpooling(4x4,4)，得到128通道的特征图A6；
9.将128通道的特征图A6经过BLK(128,2,1x1)，得到2通道的特征图A7_1；
10.将128通道的特征图A6经过BLK(128,128,3x3)，得到128通道的特征图A7_2；
11.将128通道的特征图A7_2依次经过Maxpooling(2x2,2)、BLK(128,128,1x1)、BLK(128,64,3x3)、BLK(64,32,3x3)、BLK(32,16,3x3)、BLK(16,8,5x5)、BLK(8,2,7x7)、Unpooling(2x2,2)、BLK(2,2,3x3)，得到2通道的特征图A8；
12.将2通道的特征图A8与A7_1相加，得到2通道的特征图A6_add；
13.将2通道的特征图A6_add依次经过Unpooling(4x4,4)、BLK(2,2,5x5)，得到2通道的特征图A6_up；
14.将2通道的特征图A6_up与A5_1相加，得到2通道的特征图A5_add；
15.将2通道的特征图A5_add依次经过Unpooling(8x8,8)、BLK(2,2,7x7)、SoftMax，得到2通道的结果图A0_1；
16.取结果图A0_1的第二个通道作为最终的输出，即头发概率图。
S600利用头发概率图对原始图像进行头发分割。
利用头发概率图，通过最小化能量函数对原始图像进行头发分割，最小化能量函数公式为：
Figure BDA0001329639980000051
其中，yi为推断的头发概率图，
Figure BDA0001329639980000052
为卷积神经网络模型中标定的头发概率图，m为总的训练样本数。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于深度学习的头发分割方法，其特征在于，包括步骤：
S100获取原始图像；
S200对原始图像进行人脸检测，得到人脸关键点；
S300利用人脸关键点生成人脸关键部位描述图；
S400将原始图像和人脸关键部位描述图合并，获得4通道图像；
S500将所述4通道图像输入卷积神经网络模型，通过卷积神经网络模型推断出每个像素点是头发的概率，从而获得头发概率图；
S600利用头发概率图对原始图像进行头发分割。
2.根据权利要求1所述的一种基于深度学习的头发分割方法，其特征在于，步骤S300中，利用人脸关键点建立对于人脸器官以及轮廓的二值蒙版图，并由所述二值蒙版图作为人脸关键部位描述图。
3.根据权利要求2所述的一种基于深度学习的头发分割方法，其特征在于，在所述卷积神经网络模型的训练过程中，通过人工标定多组人脸图片作为训练样本训练卷积神经网络模型。
4.根据权利要求3所述的一种基于深度学习的头发分割方法，其特征在于，所述卷积神经网络模型包括卷积层、Maxpooling层、Unpooling层、Add层和SoftMax层。
5.根据权利要求4所述的一种基于深度学习的头发分割方法，其特征在于，在所述卷积神经网络模型的卷积层引入ReLU激活函数。
6.根据权利要求5所述的一种基于深度学习的头发分割方法，其特征在于，利用头发概率图，通过最小化能量函数对原始图像进行头发分割，最小化能量函数公式为：
Figure FDA0001329639970000011
其中，yi为推断的头发概率图，
Figure FDA0001329639970000012
为卷积神经网络模型中标定的头发概率图，m为总的训练样本数。
CN201710482239.0A 2017-06-22 2017-06-22 一种基于深度学习的头发分割方法 Active CN107220990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710482239.0A CN107220990B (zh) 2017-06-22 2017-06-22 一种基于深度学习的头发分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710482239.0A CN107220990B (zh) 2017-06-22 2017-06-22 一种基于深度学习的头发分割方法

Publications (2)

Publication Number Publication Date
CN107220990A CN107220990A (zh) 2017-09-29
CN107220990B true CN107220990B (zh) 2020-09-08

Family

ID=59950398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710482239.0A Active CN107220990B (zh) 2017-06-22 2017-06-22 一种基于深度学习的头发分割方法

Country Status (1)

Country Link
CN (1) CN107220990B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909583B (zh) * 2017-11-08 2020-01-10 维沃移动通信有限公司 一种图像处理方法、装置及终端
CN108280397B (zh) * 2017-12-25 2020-04-07 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法
CN109117760B (zh) * 2018-07-27 2021-01-22 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN109359527B (zh) * 2018-09-11 2020-09-04 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统
CN109816670B (zh) * 2019-01-31 2020-05-15 北京字节跳动网络技术有限公司 用于生成图像分割模型的方法和装置
CN110033448B (zh) * 2019-04-15 2021-05-18 中国医学科学院皮肤病医院 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法
CN110189340B (zh) * 2019-06-03 2022-01-21 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110992374B (zh) * 2019-11-28 2023-09-05 杭州小影创新科技股份有限公司 一种基于深度学习的头发精细化分割方法及系统
CN110991412A (zh) * 2019-12-20 2020-04-10 北京百分点信息科技有限公司 人脸识别的方法、装置、存储介质及电子设备
CN111161405B (zh) * 2019-12-24 2023-08-01 东南大学 一种动物毛发三维重建方法
CN113570052B (zh) * 2020-04-28 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112258440B (zh) * 2020-10-29 2024-01-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2022116163A1 (zh) * 2020-12-04 2022-06-09 深圳市优必选科技股份有限公司 人像分割方法、机器人及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US9928601B2 (en) * 2014-12-01 2018-03-27 Modiface Inc. Automatic segmentation of hair in images
CN104484658A (zh) * 2014-12-30 2015-04-01 中科创达软件股份有限公司 一种基于多通道卷积神经网络的人脸性别识别方法及装置
CN105787482A (zh) * 2016-02-26 2016-07-20 华北电力大学 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
CN105844706B (zh) * 2016-04-19 2018-08-07 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN106203305B (zh) * 2016-06-30 2020-02-04 北京旷视科技有限公司 人脸活体检测方法和装置
CN106203399B (zh) * 2016-07-27 2019-06-04 厦门美图之家科技有限公司 一种图像处理方法、装置和计算设备
CN106295591A (zh) * 2016-08-17 2017-01-04 乐视控股（北京）有限公司 基于人脸图像的性别识别方法及装置
CN106780512B (zh) * 2016-11-30 2020-01-17 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
CN106815566B (zh) * 2016-12-29 2021-04-16 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Semantic Segmentation Based on Fully Convolutional Neural Network and CRF;Huiyun Li et al.;《GRMSE 2016》;20170303;第245-250页 *
图像物体分类与检测算法综述;黄凯奇 等;《计算机学报》;20140630;第37卷(第6期);第1225-1240页 *

Also Published As

Publication number Publication date
CN107220990A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220990B (zh) 一种基于深度学习的头发分割方法
Ren et al. Low-light image enhancement via a deep hybrid network
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
Grampurohit et al. Brain tumor detection using deep learning models
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN109033945B (zh) 一种基于深度学习的人体轮廓提取方法
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN116363261B (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN112991493B (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN111986075A (zh) 一种目标边缘清晰化的风格迁移方法
CN106682127A (zh) 图像搜索系统及方法
Ma et al. RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
CN110163864A (zh) 图像分割方法、装置、计算机设备和存储介质
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN109034070B (zh) 一种置换混叠图像盲分离方法及装置
Deng et al. ELMGAN: A GAN-based efficient lightweight multi-scale-feature-fusion multi-task model
CN115018729B (zh) 一种面向内容的白盒图像增强方法
CN117197454A (zh) 一种肝脏及肝肿瘤数据分割方法及系统
CN112132253A (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
CN111709889B (zh) 一种基于人工智能的图像动态实时分析系统及方法
CN113706570A (zh) 一种斑马鱼荧光图像的分割方法及装置
CN111611926A (zh) 一种地标建筑物检测与识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant