CN106611160B - 一种基于卷积神经网络的图像头发识别方法及其装置 - Google Patents
一种基于卷积神经网络的图像头发识别方法及其装置 Download PDFInfo
- Publication number
- CN106611160B CN106611160B CN201611159197.9A CN201611159197A CN106611160B CN 106611160 B CN106611160 B CN 106611160B CN 201611159197 A CN201611159197 A CN 201611159197A CN 106611160 B CN106611160 B CN 106611160B
- Authority
- CN
- China
- Prior art keywords
- hair
- atlas
- training
- network
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 180
- 238000012360 testing method Methods 0.000 claims abstract description 114
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 230000000873 masking effect Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 14
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000037308 hair color Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种基于卷积神经网络的图像头发识别方法及其装置，其中，该方法包括：收集图集；对图集中的每一张图片进行标记；对图集中的每一张图片进行预处理；检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；基于全卷积网络构造头发全卷积网络；对头发全卷积网络进行训练；将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。可以解决现有技术中难以处理背景颜色与头发颜色相似的情况，以及无法在图像人脸偏转角度很大或人背面的情况下无法识别头发的问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的图像头发识别方法及其装置。
背景技术
手机自拍已经成为现代人们生活中非常流行的现象。各种美图工具也孕育而生。很多软件都可以识别人脸的特征，对人脸进行一些有趣的处理。但是人们手机自拍时的背景往往很复杂，当软件想对人像做处理时，比如生成人物的素描图或者将人物动漫化，往往需要将背景分离出去。在分离的过程中，头发分割往往非常困难。在证件照背景替换软件中，头发也是一个非常难处理的问题，往往需要人工的参与。本发明提供一种自动头发分割，从而可以解决这个难题。
2008年，发表在ICIP的论文Frequential and color analysis for hair masksegmentation中，为了自动生成头发区域的遮蔽图，使用了头发区域的三个特征：1)头发分布在头部区域附近；2)头发由于其本身的特征，具有一种特殊的频率分布。3)在2)分析的频率遮蔽图基础上，构建头发颜色的模型，从而进一步优化头发区域遮蔽图。最后使用抠图算法生成头发区域的遮蔽图。虽然这种方法在大部分情况下有效，但是在背景与头发颜色相似的情况下，还是无法达到理想的结果。
2011年，发表在IEEE Automatic Face Gesture Recognition and Workshop的论文A novel coarse-to-fine hair segmentation method，提出了一种简单的方法进行头发分割。这篇论文的思想很简单，通过先使用Active Segmentation with Fixation(ASF)进行粗略的分割，然后使用Graph Cuts(GC)进行更细致的分割。但是该研究结果也无法分辨与头发颜色相似的背景。从而导致分割不准确。
在2016年发表在SIGGRAPH的论文，Autohair：Fully Automatic Hair Modelingfrom A Single Image中，通过先对头发分类，再在每个类中对头发进行分割。这种方法不仅可以分割头发区域，还可以预测头发的方向。但是这种方法不能解决侧脸的情况，因为在侧脸的时候无法检测到人脸的特征。对于人脸背向的情况，也是如此。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于卷积神经网络的图像头发识别方法及其装置，可以解决现有技术中难以处理背景颜色与头发颜色相似的情况，以及无法在图像人脸偏转角度很大或人背面的情况下无法识别头发的问题。
为了解决上述问题，本发明提出了一种基于卷积神经网络的图像头发识别方法，所述方法包括：
收集图集，该图集包括训练图集和测试图集；
对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集；
对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；
检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；
基于全卷积网络构造头发全卷积网络HFCN；
将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；
将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；
将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。
优选地，所述对所述图集中的每一张图片进行预处理的步骤，包括：
对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；
对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
优选地，所述基于全卷积网络构造头发全卷积网络HFCN的步骤，包括：
确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；
根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。
优选地，所述将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练的步骤，包括：
根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；
根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。
优选地，所述根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络的步骤，包括：
根据损失函数之和ε(θ)＝∑pe(XΘ(p)，l(p))获得误差值，其中，p是图像中像素的索引，Xθ(p)是在像素p位置、参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；
根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。
相应地，本发明还提供一种基于卷积神经网络的图像头发识别装置，所述装置包括：
收集模块，用于收集图集，该图集包括训练图集和测试图集；
标记模块，用于对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集；
预处理模块，用于对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；
人像头部检测模块，用于检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；
构造模块，用于基于全卷积网络构造头发全卷积网络HFCN；
训练模块，用于将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；
测试模块，用于将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；
输出模块，用于将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。
优选地，所述预处理模块包括：
YCrCb处理单元，用于对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；
遮蔽图生成单元，用于对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
优选地，所述构造模块包括：
参数收集单元，用于确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；
构造单元，用于根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。
优选地，所述训练模块包括：
参数确定单元，用于根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；
网络训练单元，用于根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。
优选地，所述网络训练单元还用于根据损失函数之和ε(θ)＝∑pe(XΘ(p)，l(p))获得误差值，其中，p是图像中像素的索引，Xθ(p)是在像素p位置、参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。
在本发明实施例中，通过全新的卷积神经网络模型(头发全卷积网络模型)，并结合图片中图像中头发位置信息、头发的频率信息及头发的颜色信息，便可以准确地识别图像的头发区域；同时可以实现自动识别，无需人工参与；可以解决现有技术中在背景颜色与头发颜色相似的情况下无法准确的识别头发区域、及无法识别人脸偏转角度大和背面的问题；具有较高的识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的基于卷积神经网络的图像头发识别方法的流程示意图；
图2是本发明实施例中对图集中的每一张图片进行预处理的过程示意图；
图3是本发明实施例中构造头发全卷积网络的过程示意图；
图4是本发明实施例的基于卷积神经网络的图像头发识别装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于卷积神经网络的图像头发识别方法的流程示意图，如图1所示，该方法包括：
S1，收集图集，该图集包括训练图集和测试图集；
S2，对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集；
S3，对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；
S4，检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；
S5，基于全卷积网络构造头发全卷积网络HFCN；
S6，将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；
S7，将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；
S8，将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。
在S1中，可以在网络上收集图集。在图集中，包括有人像的图片及没有人像的图片。在包括人像的图集中，包括人的正脸照、各种角度的侧脸照及人的背面照。在人像照片中，包括有头发的人像和没有头发的人像照片。在有头发的人像图片中，包含各种颜色头发的图片。收集完这些照片后，再对这些照片进行旋转和缩放，形成一个数目更大，角度、尺度各异的图片集。最后将图片集一分为二，获得训练集和测试集。具体实施中，例如：训练集有63000张，测试集有7000张，具体张数分配可根据实际情况而定。
在S2中，对两份图集中的每一张图片进行标记，先使用图割算法，通过交互的方式生成头发区域的大致位置，生成图片的tripmap，最后使用全局抠图算法进行更细致的抠图，并生成训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集。
进一步地，如图2所示，S3包括：
S31，对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；
S32，对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
首先将图片从RGB颜色空间转变为YCrCb颜色空间，获得YCrCb图；
其次，先通过公式获得频率分布图；
其中，f0是中心频率，σ是带宽，fθ角度为θ的频率值。
再通过公式训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
其中，map(i，j)表示图片在(i，j)位置的频率分布函数的值。μ是指频率的平均值，σ是指频率分布的标准差。
在S4中，4先找出每张图片的头部区域，使用局部R-CNN模型和全局R-CNN模型训练出来的网络，可以为每张图片都会生成一个头部位置信息。但是考虑到头部区域可能无法覆盖全部的头发，需要将头部的区域适度扩大。以此区域对图片进行裁剪，并将最终的图片大小进行归一化，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息。
进一步地，如图3所示，S5包括：
S51，确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；
S52，根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。
进一步地，S6包括：
根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；
根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。
其中，根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络的步骤，包括：
根据损失函数之和ε(θ)＝∑pe(XΘ(p)，l(p))获得误差值，其中，p是图像中像素的索引，Xθ(p)是在像素p位置、参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；
根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。
在S7中，评估的标准为交集与并集比值(Interaction-over-Untion，IoU)，计算公式为：
相应地，本发明实施例还提供一种基于卷积神经网络的图像头发识别装置，如图4所示，该装置包括：
收集模块1，用于收集图集，该图集包括训练图集和测试图集；
标记模块2，用于对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集；
预处理模块3，用于对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；
人像头部检测模块4，用于检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；
构造模块5，用于基于全卷积网络构造头发全卷积网络HFCN；
训练模块6，用于将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；
测试模块7，用于将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；
输出模块8，用于将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。
其中，可以通过收集模块1在网络上收集图集。在图集中，包括有人像的图片及没有人像的图片。在包括人像的图集中，包括人的正脸照、各种角度的侧脸照及人的背面照。在人像照片中，包括有头发的人像和没有头发的人像照片。在有头发的人像图片中，包含各种颜色头发的图片。收集完这些照片后，再对这些照片进行旋转和缩放，形成一个数目更大，角度、尺度各异的图片集。最后将图片集一分为二，获得训练集和测试集。具体实施中，例如：训练集有63000张，测试集有7000张，具体张数分配可根据实际情况而定。
标记模块2对两份图集中的每一张图片进行标记，先使用图割算法，通过交互的方式生成头发区域的大致位置，生成图片的tripmap，最后使用全局抠图算法进行更细致的抠图，并生成训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集。
进一步地，预处理模块3包括：
YCrCb处理单元，用于对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；
遮蔽图生成单元，用于对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
首先将图片从RGB颜色空间转变为YCrCb颜色空间，获得YCrCb图；
其次，先通过公式获得频率分布图；
其中，f0是中心频率，σ是带宽，fθ角度为θ的频率值。
再通过公式训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
其中，map(i，j)表示图片在(i，j)位置的频率分布函数的值。μ是指频率的平均值，σ是指频率分布的标准差。
进一步地，人像头部检测模块4先找出每张图片的头部区域，使用局部R-CNN模型和全局R-CNN模型训练出来的网络，可以为每张图片都会生成一个头部位置信息。但是考虑到头部区域可能无法覆盖全部的头发，需要将头部的区域适度扩大。以此区域对图片进行裁剪，并将最终的图片大小进行归一化，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息。
进一步地，构造模块5包括：
参数收集单元，用于确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；
构造单元，用于根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。
训练模块6包括：
参数确定单元，用于根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；
网络训练单元，用于根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。
其中，根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络的步骤，包括：
网络训练单元还用于根据损失函数之和ε(θ)＝∑pe(XΘ(p)，l(p))获得误差值，其中，p是图像中像素的索引，Xθ(p)是在像素p位置、参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。
具体地，本发明实施例的装置相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。
在本发明实施例中，通过全新的卷积神经网络模型(头发全卷积网络模型)，并结合图片中图像中头发位置信息、头发的频率信息及头发的颜色信息，便可以准确地识别图像的头发区域；同时可以实现自动识别，无需人工参与；可以解决现有技术中在背景颜色与头发颜色相似的情况下无法准确的识别头发区域、及无法识别人脸偏转角度大和背面的问题；具有较高的识别精度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的基于卷积神经网络的图像头发识别方法及其装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于卷积神经网络的图像头发识别方法，其特征在于，所述方法包括：
收集图集，该图集包括训练图集和测试图集；
对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集；
对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；
检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；
基于全卷积网络构造头发全卷积网络HFCN；
将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；
将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；
将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。
2.如权利要求1所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述对所述图集中的每一张图片进行预处理的步骤，包括：
对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；
对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
3.如权利要求1所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述基于全卷积网络构造头发全卷积网络HFCN的步骤，包括：
确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；
根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。
4.如权利要求1所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练的步骤，包括：
根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；
根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。
5.如权利要求4所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络的步骤，包括：
根据损失函数之和ε(θ)＝∑pe(Xθ(p)，l(p))获得误差值，其中，p是图像中像素的索引，Xθ(p)是在像素p位置、参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；
根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。
6.一种基于卷积神经网络的图像头发识别装置，其特征在于，所述装置包括：
收集模块，用于收集图集，该图集包括训练图集和测试图集；
标记模块，用于对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮蔽训练图集和测试图集对应的头发区域遮蔽测试图集；
预处理模块，用于对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；
人像头部检测模块，用于检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；
构造模块，用于基于全卷积网络构造头发全卷积网络HFCN；
训练模块，用于将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；
测试模块，用于将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；
输出模块，用于将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮蔽图。
7.如权利要求6所述的基于卷积神经网络的图像头发识别装置，其特征在于，所述预处理模块包括：
YCrCb处理单元，用于对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；
遮蔽图生成单元，用于对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。
8.如权利要求6所述的基于卷积神经网络的图像头发识别装置，其特征在于，所述构造模块包括：
参数收集单元，用于确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；
构造单元，用于根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。
9.如权利要求6所述的基于卷积神经网络的图像头发识别装置，其特征在于，所述训练模块包括：
参数确定单元，用于根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；
网络训练单元，用于根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。
10.如权利要求9所述的基于卷积神经网络的图像头发识别装置，其特征在于，所述网络训练单元还用于根据损失函数之和ε(θ)＝∑pe(Xθ(p)，l(p))获得误差值，其中，p是图像中像素的索引，Xθ(p)是在像素p位置、参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611159197.9A CN106611160B (zh) | 2016-12-15 | 2016-12-15 | 一种基于卷积神经网络的图像头发识别方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611159197.9A CN106611160B (zh) | 2016-12-15 | 2016-12-15 | 一种基于卷积神经网络的图像头发识别方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106611160A CN106611160A (zh) | 2017-05-03 |
| CN106611160B true CN106611160B (zh) | 2019-12-17 |
Family
ID=58636631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611159197.9A Active CN106611160B (zh) | 2016-12-15 | 2016-12-15 | 一种基于卷积神经网络的图像头发识别方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106611160B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280397B (zh) * | 2017-12-25 | 2020-04-07 | 西安电子科技大学 | 基于深度卷积神经网络的人体图像头发检测方法 |
| CN108470320B (zh) * | 2018-02-24 | 2022-05-20 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
| CN108629781B (zh) * | 2018-04-24 | 2022-04-22 | 成都品果科技有限公司 | 一种头发绘制方法 |
| CN109359527B (zh) * | 2018-09-11 | 2020-09-04 | 杭州格像科技有限公司 | 基于神经网络的头发区域提取方法及系统 |
| CN109544627B (zh) * | 2018-11-22 | 2023-07-25 | 深圳市吉斯迪科技有限公司 | 一种智能毛发分析装置与分析方法 |
| CN110033448B (zh) * | 2019-04-15 | 2021-05-18 | 中国医学科学院皮肤病医院 | 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法 |
| CN110021019B (zh) * | 2019-04-15 | 2022-03-22 | 中国医学科学院皮肤病医院 | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 |
| CN110096202B (zh) * | 2019-04-23 | 2020-11-20 | 华中师范大学 | 一种基于深度强化学习的轻量级图像自动裁剪系统及方法 |
| CN110427828B (zh) * | 2019-07-05 | 2024-02-09 | 中国平安人寿保险股份有限公司 | 人脸活体检测方法、装置及计算机可读存储介质 |
| CN112084965B (zh) * | 2020-09-11 | 2024-07-02 | 义乌市悦美科技有限公司 | 一种头皮头发检测装置及系统 |
| CN114187309B (zh) * | 2022-01-11 | 2024-10-15 | 盛视科技股份有限公司 | 一种基于卷积神经网络的头发分割方法及系统 |
| CN114049250B (zh) * | 2022-01-13 | 2022-04-12 | 广州卓腾科技有限公司 | 一种证件照人脸姿态矫正方法、装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103690A (zh) * | 2011-03-09 | 2011-06-22 | 南京邮电大学 | 一种自动的头发区域分割方法 |
| CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
| CN105956150A (zh) * | 2016-05-12 | 2016-09-21 | 张家港索奥通信科技有限公司 | 一种生成用户发型及妆容搭配建议的方法及装置 |
| CN106022221A (zh) * | 2016-05-09 | 2016-10-12 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9400925B2 (en) * | 2013-11-15 | 2016-07-26 | Facebook, Inc. | Pose-aligned networks for deep attribute modeling |
-
2016
- 2016-12-15 CN CN201611159197.9A patent/CN106611160B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103690A (zh) * | 2011-03-09 | 2011-06-22 | 南京邮电大学 | 一种自动的头发区域分割方法 |
| CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
| CN106022221A (zh) * | 2016-05-09 | 2016-10-12 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理系统 |
| CN105956150A (zh) * | 2016-05-12 | 2016-09-21 | 张家港索奥通信科技有限公司 | 一种生成用户发型及妆容搭配建议的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106611160A (zh) | 2017-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106611160B (zh) | 一种基于卷积神经网络的图像头发识别方法及其装置 | |
| CN106650737B (zh) | 图像自动裁剪方法 | |
| KR101854554B1 (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| CN105426861B (zh) | 车道线确定方法及装置 | |
| CN110298227B (zh) | 一种基于深度学习的无人机航拍图像中的车辆检测方法 | |
| US8929595B2 (en) | Dictionary creation using image similarity | |
| US11790499B2 (en) | Certificate image extraction method and terminal device | |
| US20150170005A1 (en) | Semantic object selection | |
| EP2613294A1 (en) | System and method for synthesizing portrait sketch from photo | |
| US20150170006A1 (en) | Semantic object proposal generation and validation | |
| CN109360179B (zh) | 一种图像融合方法、装置及可读存储介质 | |
| CN108446707B (zh) | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| US20050117802A1 (en) | Image processing method, apparatus, and program | |
| CN105184308B (zh) | 一种基于全局优化决策的遥感图像建筑物检测分类方法 | |
| CN110909724B (zh) | 一种多目标图像的缩略图生成方法 | |
| TW202011267A (zh) | 用於對車輛損傷影像進行損傷分割的方法及裝置 | |
| CN107066963B (zh) | 一种自适应人群计数方法 | |
| CN104915943B (zh) | 用于在视差图中确定主要视差值的方法和装置 | |
| CN107944437B (zh) | 一种基于神经网络和积分图像的人脸定位方法 | |
| WO2018090355A1 (zh) | 图像自动裁剪方法 | |
| JP2019139618A5 (zh) | ||
| CN107133964A (zh) | 一种基于Kinect的抠像方法 | |
| Julliand et al. | Automated image splicing detection from noise estimation in raw images | |
| CN109829929A (zh) | 一种基于深度边缘检测的层次场景语义分割模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |