CN110060257A - 一种基于不同发型的rgbd头发分割方法 - Google Patents
一种基于不同发型的rgbd头发分割方法 Download PDFInfo
- Publication number
- CN110060257A CN110060257A CN201910131914.4A CN201910131914A CN110060257A CN 110060257 A CN110060257 A CN 110060257A CN 201910131914 A CN201910131914 A CN 201910131914A CN 110060257 A CN110060257 A CN 110060257A
- Authority
- CN
- China
- Prior art keywords
- hair
- rgbd
- segmentation
- method based
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于不同发型的RGBD头发分割方法,包括步骤S1:头发噪声学习;步骤S2:头发数据采集;步骤S3:深度学习训练;步骤S4:denseCRF分布优化;步骤S5:模型查找替换。本发明提高了头发分割的速度和精度,让用户可以在手机端进行头发分割,查找,处理一系列操作。本发明使用RGBD的头发数据,对头发噪声进行分模块学习,使得即使在高光还是光线不足的条件下,也可以进行非常精细的分割。对于发型替换,还是要求更高的头发渲染都有非常巨大的促进作用。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种基于不同发型的RGBD头发分割方法。
背景技术
目前传统的语义分割技术已经十分成型,但是头发部分一直是分割技术的难点。主要是由于头发的形状千变万化,没有一个固定的形态,没有固定的结构,这导致不管在深度学习领域还是在传统的计算机视觉领域,头发分割都是一个十分棘手的问题。目前的基于RGB的头发分割技术,主要是考虑到头发颜色的统一性,加入机器学习方法,进行分割。但是分割速度缓慢,分割精度很低,特别是在深夜,逆光时候,对头发的分割非常差劲。目前也有加入深度信息 的分割技术,但是由于头发的特殊材质问题,在头部的噪声非常大,反向利用噪声是一种可取的手段。但是如果只是简单的加入噪声也在很多情况下出现很不稳定的时候。
因此,本领域的技术人员致力于开发一种基于不同发型的RGBD头发分割方法,主要是对于头发不同部分的深度噪声信息进行了深入的分析,对头发部分进行分区分部处理。本发明主要把头发分为头顶,两侧,以及脑后三个部分,并添加面部掩摸,头发流向以及眼睛位置的标注信息,利用神经网络同步训练以上标注信息,大大提升了训练的准确度。同时提取不同发型的特征,作为一个先验信息加入神经网络中,进一步有效提升头发分割的准确度。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是克服现有技术存在的技术缺陷,提供一种针对RGBD进行头发语义分割的新方法,在目前,后置RGBD相机成为发展的主流,而3D换发型也是一个非常有趣的项目,这种新型分割方法对于手机市场有非常高价值的影响。
为实现上述目的,本发明提供了一种基于不同发型的RGBD头发分割方法,包括如下步骤:
步骤S1:头发噪声学习,对头发分角度的RGBD图像进行分析,将所述头发进行分区,得到所述头发在所述分区的噪声直方分布,并获取所述图像的方差图,最后对所述分区的denseCRF参数进行学习;
步骤S2:头发数据采集,对头部进行360度环绕式采集;对每幅图像的头发所述分区和面部的进行绘制,确定两耳的二维坐标点;对所述头发的流向信息进行标注;
步骤S3:深度学习训练,包括发型学习步骤和分割学习步骤;
所述发型学习步骤,通过image-to-image网络,对所述图像进行训练,获得用特定的向量表示的发型信息;
所述分割学习步骤,通过输入头发的RGBD图像以及所述图像的所述发型信息,获得头发不同区域的分割结果信息;
步骤S4:denseCRF分步优化,通过输入所述头发分割结果信息,作为denseCRF的初始值,加入所述图像的方差图,经过所述denseCRF的优化,得到优化的头发分割结果信息;
步骤S5:模型查找替换,用户输入图像与所述头发模型库中的msak进行对比,查找输出相似的头发模型,并通过手机渲染,在手机端显示用户人体头部的三维模型。
进一步地,所述分区为四个,分别为顶部、左侧、右侧和后部。
进一步地,所述环绕式采集通过每6度采集一张所述头部的RGBD图像的方式,采集样本数量大于100人。
进一步地,所述头发的流向分为左斜、右斜、竖直和横向四个方向。
进一步地,所述向量为64*64向量。
进一步地,所述分割学习步骤还包括深度处理模块,通过对深度信息进行平滑加工,主动识别噪声,用于增大头发输出概率。
进一步地,所述分割学习步骤还包括梯度处理模块,用于获取头发梯度信息。
进一步地,所述分割学习步骤还包括Endocer-Decoder网络模块,对所述头发的彩色图通过encoder网络获取所述头发编码,并通过decoder网络获取最终分割的参数信息。
进一步地,所述分割学习步骤还包括并行处理模块,包括头发分割,流向分割,面部分割,耳朵位置确定子模块,同步获取信息。
进一步地,所述denseCRF的公式如下:
P为对应的位置信息,I为对应的像素值,v为方差信息。
发明专利提高了头发分割的速度和精度,让用户可以在手机端进行头发分割,查找,处理一系列操作。本发明创新性地使用RGBD的头发数据,对头发噪声进行分模块学习,使得即使在高光还是光线不足的条件下,也可以进行非常精细的分割。对于发型替换,还是要求更高的头发渲染都有非常巨大的促进作用。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的方法流程示意图;
图2是本发明的一个较佳实施例的对头发分角度的RGBD照片进行分析示意图;
图3是本发明的一个较佳实施例的头发图像数据采集示意图;
图4是本发明的一个较佳实施例的分割学习阶段网络示意图;
图5是本发明的一个较佳实施例的模型查找替换示意图;
图6是本发明的一个较佳实施例的效果对比示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,本发明的保护范围并非仅限于文中提到的实施例。
在附图中,结构相同的部件以相同数字标号表示,各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的,本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰,附图中有些地方适当夸大了部件的厚度。
针对现有技术中存在的头发难分割的情况,本发明创新地使用了RGBD的数据并对头发进行分区处理,使得针对不同区域的头发处理不同,并且引入不同发型不同参数的整体概念,使得头发分割更具具有高效和鲁棒性。
如图1所示,主要技术分为以下5个步骤:
步骤S1:头发噪声分析学习阶段。
经过实验发现,ToF相机在头发部分存在非常大的噪声。噪声导致深度信息的不准确。基于以上的先验,本发明需要对这不准确的程度进行建模,得到不准确分布的信息。基于对于ToF相机本质成像原理的分析,本发明发现头发部分深度噪声主要是由于头发的特殊材质和多孔结构造成的。对于这些特殊的性质,如图2所示,本发明对头发部分角度的RGBD照片进行分析,最终得到头发在顶部,两侧以及后部的噪声直方图分布非常不同,最终本发明确定头发的四个分区。并且获取整张图像的方差图,并对四个分割区域的denseCRF参数进行学习。
步骤S2:头发数据采集阶段。
本发明使用目前最先进的ToF手机对人体头部进行360度环绕式的不同角度采集。如图3所示,最终本发明平均每6度采集一张人体头部的RGBD照片,每个人得到60张照片。本发明一共采样100个人,40个男性,60个女性,每个人的发型都不同。得到一个6000张的庞大数据库。然后本发明请专业的标定人员对每张照片的头发的顶部,两侧,后部,面部的mask进行绘制,并确定两只耳朵的二维坐标点,以增加深度学习的正确性。同时,考虑到不同的发型的流向有很大的不同,所以本发明对头发的流向信息进行单独标注,对头发的流向分为左斜,右斜,竖直,横向四个方向。
步骤S3:深度学习训练阶段。
深度学习阶段主要分为两个部分,1,发型学习阶段。2,分割学习阶段。
1)发型学习阶段。
针对不同的发型,本发明希望得到一个特定的64*64的变量,来表达这个发型的某些性质。本发明使用目前比较流行的image-to-image网络,对这些照片进行训练,最终获取发型信息。
2)分割学习阶段。
如图4所示,本发明设计了自己的ToF-Hair network。输入为头发的rgbD照片以及这个照片的发型向量信息,输出结果为头发不同区域的分割结果信息。本发明的网络主要包括:1,深度处理模块。主要是对深度信息进行平滑加工,并且主动识别噪声,增大头发输出概率.2,梯度处理模块。由于头发部分的梯度具有连续性,于其他部分很不同。所以本发明对这一部分进行单独处理,获取头发梯度信息。3,主干的Endocer-Decoder网络模块。对头发的彩色图通过encoder网络获取头发编码,然后进过decoder网络获取最终分割的参数信息。4,并行处理:头发分割,流向分割,面部分割,耳朵位置确定模块。同步获取这些信息。
步骤S4:denseCRF分步优化阶段。
最终对本发明有用的信息就是头发分割部分。本发明基于深度学习得到的头发分割部分作为denseCRF的初始值,加入这张图像的方差图,经过denseCRF的优化,最终得到完成的头发分割结果。
denseCRF公式如下:
其中,E(x) 为本发明要优化的总体能量公式。
其中,k(fi,fj)就是不同像素之间的关系。以下为本发明修改densecrf的主要公式。
P为对应的位置信息,I为对应的像素值,v为本发明求得的方差信息。
步骤S5:模型查找替换阶段。
如图5所示,本发明有了精确地头发mask图像之后,在本发明已有的头发模型库中的mask进行逐一查找工作,最终找到属于本发明最相似的头发模型,进过手机端的渲染技术,完成从一张照片到整个人体头部三维模型地手机端显示。
如图6所示,本发明的结果与其他结果的效果对比图。本发明专利大大提高了头发分割的速度和精度,让本发明可以在手机端进行头发分割,查找,处理一系列操作。本发明创新性地使用RGBD的头发数据,对头发噪声进行分模块学习,使得即使在高光还是光线不足的条件下,也可以进行非常精细的分割。对于发型替换,还是要求更高的头发渲染都有非常巨大的促进作用。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于不同发型的RGBD头发分割方法,其特征在于,包括如下步骤:
步骤S1:头发噪声学习,对头发分角度的RGBD图像进行分析,将所述头发进行分区,得到所述头发在所述分区的噪声直方分布,并获取所述图像的方差图,最后对所述分区的denseCRF参数进行学习;
步骤S2:头发数据采集,对头部进行360度环绕式采集;对每幅图像的头发所述分区和面部的进行绘制,确定两耳的二维坐标点;对所述头发的流向信息进行标注;
步骤S3:深度学习训练,包括发型学习步骤和分割学习步骤;
所述发型学习步骤,通过image-to-image网络,对所述图像进行训练,获得用特定的向量表示的发型信息;
所述分割学习步骤,通过输入头发的RGBD图像以及所述图像的所述发型信息,获得头发不同区域的分割结果信息;
步骤S4:denseCRF分步优化,通过输入所述头发分割结果信息,作为denseCRF的初始值,加入所述图像的方差图,经过所述denseCRF的优化,得到优化的头发分割结果信息;
步骤S5:模型查找替换,用户输入图像与所述头发模型库中的msak进行对比,查找输出相似的头发模型,并通过手机渲染,在手机端显示用户人体头部的三维模型。
2.如权利要求1所述的基于不同发型的RGBD头发分割方法,其特征在于,所述分区为四个,分别为顶部、左侧、右侧和后部。
3.如权利要求2所述的基于不同发型的RGBD头发分割方法,其特征在于,所述环绕式采集通过每6度采集一张所述头部的RGBD图像的方式,采集样本数量大于100人。
4.如权利要求3所述的基于不同发型的RGBD头发分割方法,其特征在于,所述头发的流向分为左斜、右斜、竖直和横向四个方向。
5.如权利要求4所述的基于不同发型的RGBD头发分割方法,其特征在于,所述向量为64*64向量。
6.如权利要求5所述的基于不同发型的RGBD头发分割方法,其特征在于,所述分割学习步骤还包括深度处理模块,通过对深度信息进行平滑加工,主动识别噪声,用于增大头发输出概率。
7.如权利要求5所述的基于不同发型的RGBD头发分割方法,其特征在于,所述分割学习步骤还包括梯度处理模块,用于获取头发梯度信息。
8.如权利要求5所述的基于不同发型的RGBD头发分割方法,其特征在于,所述分割学习步骤还包括Endocer-Decoder网络模块,对所述头发的彩色图通过encoder网络获取所述头发编码,并通过decoder网络获取最终分割的参数信息。
9.如权利要求5所述的基于不同发型的RGBD头发分割方法,其特征在于,所述分割学习步骤还包括并行处理模块,包括头发分割,流向分割,面部分割,耳朵位置确定子模块,同步获取信息。
10.如权利要求1所述的基于不同发型的RGBD头发分割方法,其特征在于,所述denseCRF的公式如下:
P为对应的位置信息,I为对应的像素值,v为方差信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910131914.4A CN110060257B (zh) | 2019-02-22 | 2019-02-22 | 一种基于不同发型的rgbd头发分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910131914.4A CN110060257B (zh) | 2019-02-22 | 2019-02-22 | 一种基于不同发型的rgbd头发分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110060257A true CN110060257A (zh) | 2019-07-26 |
CN110060257B CN110060257B (zh) | 2022-11-25 |
Family
ID=67316680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910131914.4A Active CN110060257B (zh) | 2019-02-22 | 2019-02-22 | 一种基于不同发型的rgbd头发分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110060257B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及系统 |
CN109035253A (zh) * | 2018-07-04 | 2018-12-18 | 长沙全度影像科技有限公司 | 一种语义分割信息指导的深度学习自动图像抠图方法 |
CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
-
2019
- 2019-02-22 CN CN201910131914.4A patent/CN110060257B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及系统 |
CN109035253A (zh) * | 2018-07-04 | 2018-12-18 | 长沙全度影像科技有限公司 | 一种语义分割信息指导的深度学习自动图像抠图方法 |
CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110060257B (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3338217B1 (en) | Feature detection and masking in images based on color distributions | |
CN107123083B (zh) | 人脸编辑方法 | |
Zhou et al. | Salient region detection via integrating diffusion-based compactness and local contrast | |
Mishra et al. | Active visual segmentation | |
CN110147721A (zh) | 一种三维人脸识别方法、模型训练方法和装置 | |
CN109145922A (zh) | 一种自动抠图系统 | |
CN110619301A (zh) | 一种基于双模态信号的情绪自动识别方法 | |
CN110472616A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
CN111062260B (zh) | 一种面部整容推荐方案自动生成方法 | |
CN109684959A (zh) | 基于肤色检测和深度学习的视频手势的识别方法及装置 | |
CN109583364A (zh) | 图像识别方法及设备 | |
CN111829661A (zh) | 一种基于人脸解析的额温测量方法及系统 | |
Savkare et al. | Automatic blood cell segmentation using K-Mean clustering from microscopic thin blood images | |
CN112819767A (zh) | 图像处理方法、装置、设备、存储介质以及程序产品 | |
CN110648312A (zh) | 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法 | |
Abbasi-Sureshjani et al. | Boosted exudate segmentation in retinal images using residual nets | |
CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN110399833A (zh) | 身份识别方法、建模方法及设备 | |
JP7404535B2 (ja) | コンピュータビジョンに基づく導管特徴取得方法、並びに知能顕微鏡、導管組織特徴取得装置、コンピュータプログラム、及びコンピュータ機器 | |
Kim et al. | Facial landmark extraction scheme based on semantic segmentation | |
CN110060257A (zh) | 一种基于不同发型的rgbd头发分割方法 | |
Zhang et al. | An Improved Computational Approach for Salient Region Detection. | |
CN104050455B (zh) | 一种肤色检测方法及系统 | |
CN110363762A (zh) | 细胞检测方法、装置、智能显微镜系统和可读存储介质 | |
US11830236B2 (en) | Method and device for generating avatar, electronic equipment, medium and product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |