CN110060257B - 一种基于不同发型的rgbd头发分割方法 - Google Patents

一种基于不同发型的rgbd头发分割方法 Download PDF

Info

Publication number
CN110060257B
CN110060257B CN201910131914.4A CN201910131914A CN110060257B CN 110060257 B CN110060257 B CN 110060257B CN 201910131914 A CN201910131914 A CN 201910131914A CN 110060257 B CN110060257 B CN 110060257B
Authority
CN
China
Prior art keywords
hair
segmentation
rgbd
learning
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910131914.4A
Other languages
English (en)
Other versions
CN110060257A (zh
Inventor
马原曦
王岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Plex VR Digital Technology Shanghai Co Ltd
Original Assignee
Plex VR Digital Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Plex VR Digital Technology Shanghai Co Ltd filed Critical Plex VR Digital Technology Shanghai Co Ltd
Priority to CN201910131914.4A priority Critical patent/CN110060257B/zh
Publication of CN110060257A publication Critical patent/CN110060257A/zh
Application granted granted Critical
Publication of CN110060257B publication Critical patent/CN110060257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不同发型的RGBD头发分割方法，包括步骤S1：头发噪声学习；步骤S2：头发数据采集；步骤S3：深度学习训练；步骤S4：denseCRF分布优化；步骤S5：模型查找替换。本发明提高了头发分割的速度和精度，让用户可以在手机端进行头发分割，查找，处理一系列操作。本发明使用RGBD的头发数据，对头发噪声进行分模块学习，使得即使在高光还是光线不足的条件下，也可以进行非常精细的分割。对于发型替换，还是要求更高的头发渲染都有非常巨大的促进作用。

Description

一种基于不同发型的RGBD头发分割方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于不同发型的RGBD头发分割方法。
背景技术
目前传统的语义分割技术已经十分成型，但是头发部分一直是分割技术的难点。主要是由于头发的形状千变万化，没有一个固定的形态，没有固定的结构，这导致不管在深度学习领域还是在传统的计算机视觉领域，头发分割都是一个十分棘手的问题。目前的基于RGB的头发分割技术，主要是考虑到头发颜色的统一性，加入机器学习方法，进行分割。但是分割速度缓慢，分割精度很低，特别是在深夜，逆光时候，对头发的分割非常差劲。目前也有加入深度信息 的分割技术，但是由于头发的特殊材质问题，在头部的噪声非常大，反向利用噪声是一种可取的手段。但是如果只是简单的加入噪声也在很多情况下出现很不稳定的时候。
因此，本领域的技术人员致力于开发一种基于不同发型的RGBD头发分割方法，主要是对于头发不同部分的深度噪声信息进行了深入的分析，对头发部分进行分区分部处理。本发明主要把头发分为头顶，两侧，以及脑后三个部分，并添加面部掩摸，头发流向以及眼睛位置的标注信息，利用神经网络同步训练以上标注信息，大大提升了训练的准确度。同时提取不同发型的特征，作为一个先验信息加入神经网络中，进一步有效提升头发分割的准确度。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术存在的技术缺陷，提供一种针对RGBD进行头发语义分割的新方法，在目前，后置RGBD相机成为发展的主流，而3D换发型也是一个非常有趣的项目，这种新型分割方法对于手机市场有非常高价值的影响。
为实现上述目的，本发明提供了一种基于不同发型的RGBD头发分割方法，包括如下步骤：
步骤S1：头发噪声学习，对头发分角度的RGBD图像进行分析，将所述头发进行分区，得到所述头发在所述分区的噪声直方分布，并获取所述图像的方差图，最后对所述分区的denseCRF参数进行学习；
步骤S2：头发数据采集，对头部进行360度环绕式采集；对每幅图像的头发所述分区和面部的进行绘制，确定两耳的二维坐标点；对所述头发的流向信息进行标注；
步骤S3：深度学习训练，包括发型学习步骤和分割学习步骤；
所述发型学习步骤，通过image-to-image网络，对所述图像进行训练，获得用特定的向量表示的发型信息；
所述分割学习步骤，通过输入头发的RGBD图像以及所述图像的所述发型信息，获得头发不同区域的分割结果信息；
步骤S4：denseCRF分步优化，通过输入所述头发分割结果信息，作为denseCRF的初始值，加入所述图像的方差图，经过所述denseCRF的优化，得到优化的头发分割结果信息；
步骤S5：模型查找替换，用户输入图像与所述头发模型库中的msak进行对比，查找输出相似的头发模型，并通过手机渲染，在手机端显示用户人体头部的三维模型。
进一步地，所述分区为四个，分别为顶部、左侧、右侧和后部。
进一步地，所述环绕式采集通过每6度采集一张所述头部的RGBD图像的方式，采集样本数量大于100人。
进一步地，所述头发的流向分为左斜、右斜、竖直和横向四个方向。
进一步地，所述向量为64*64向量。
进一步地，所述分割学习步骤还包括深度处理模块，通过对深度信息进行平滑加工，主动识别噪声，用于增大头发输出概率。
进一步地，所述分割学习步骤还包括梯度处理模块，用于获取头发梯度信息。
进一步地，所述分割学习步骤还包括Endocer-Decoder网络模块，对所述头发的彩色图通过encoder网络获取所述头发编码，并通过decoder网络获取最终分割的参数信息。
进一步地，所述分割学习步骤还包括并行处理模块，包括头发分割，流向分割，面部分割，耳朵位置确定子模块，同步获取信息。
进一步地，所述denseCRF的公式如下：
Figure 100002_DEST_PATH_IMAGE002
P为对应的位置信息，I为对应的像素值，v为方差信息。
发明专利提高了头发分割的速度和精度，让用户可以在手机端进行头发分割，查找，处理一系列操作。本发明创新性地使用RGBD的头发数据，对头发噪声进行分模块学习，使得即使在高光还是光线不足的条件下，也可以进行非常精细的分割。对于发型替换，还是要求更高的头发渲染都有非常巨大的促进作用。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的方法流程示意图；
图2是本发明的一个较佳实施例的对头发分角度的RGBD照片进行分析示意图；
图3是本发明的一个较佳实施例的头发图像数据采集示意图；
图4是本发明的一个较佳实施例的分割学习阶段网络示意图；
图5是本发明的一个较佳实施例的模型查找替换示意图；
图6是本发明的一个较佳实施例的效果对比示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
针对现有技术中存在的头发难分割的情况，本发明创新地使用了RGBD的数据并对头发进行分区处理，使得针对不同区域的头发处理不同，并且引入不同发型不同参数的整体概念，使得头发分割更具具有高效和鲁棒性。
如图1所示，主要技术分为以下5个步骤：
步骤S1：头发噪声分析学习阶段。
经过实验发现，ToF相机在头发部分存在非常大的噪声。噪声导致深度信息的不准确。基于以上的先验，本发明需要对这不准确的程度进行建模，得到不准确分布的信息。基于对于ToF相机本质成像原理的分析，本发明发现头发部分深度噪声主要是由于头发的特殊材质和多孔结构造成的。对于这些特殊的性质，如图2所示，本发明对头发部分角度的RGBD照片进行分析，最终得到头发在顶部，两侧以及后部的噪声直方图分布非常不同，最终本发明确定头发的四个分区。并且获取整张图像的方差图，并对四个分割区域的denseCRF参数进行学习。
步骤S2：头发数据采集阶段。
本发明使用目前最先进的ToF手机对人体头部进行360度环绕式的不同角度采集。如图3所示，最终本发明平均每6度采集一张人体头部的RGBD照片，每个人得到60张照片。本发明一共采样100个人，40个男性，60个女性，每个人的发型都不同。得到一个6000张的庞大数据库。然后本发明请专业的标定人员对每张照片的头发的顶部，两侧，后部，面部的mask进行绘制，并确定两只耳朵的二维坐标点，以增加深度学习的正确性。同时，考虑到不同的发型的流向有很大的不同，所以本发明对头发的流向信息进行单独标注，对头发的流向分为左斜，右斜，竖直，横向四个方向。
步骤S3：深度学习训练阶段。
深度学习阶段主要分为两个部分，1，发型学习阶段。2，分割学习阶段。
1）发型学习阶段。
针对不同的发型，本发明希望得到一个特定的64*64的变量，来表达这个发型的某些性质。本发明使用目前比较流行的image-to-image网络，对这些照片进行训练，最终获取发型信息。
2）分割学习阶段。
如图4所示，本发明设计了自己的ToF-Hair network。输入为头发的rgbD照片以及这个照片的发型向量信息，输出结果为头发不同区域的分割结果信息。本发明的网络主要包括：1，深度处理模块。主要是对深度信息进行平滑加工，并且主动识别噪声，增大头发输出概率.2，梯度处理模块。由于头发部分的梯度具有连续性，于其他部分很不同。所以本发明对这一部分进行单独处理，获取头发梯度信息。3，主干的Endocer-Decoder网络模块。对头发的彩色图通过encoder网络获取头发编码，然后进过decoder网络获取最终分割的参数信息。4，并行处理：头发分割，流向分割，面部分割，耳朵位置确定模块。同步获取这些信息。
步骤S4：denseCRF分步优化阶段。
最终对本发明有用的信息就是头发分割部分。本发明基于深度学习得到的头发分割部分作为denseCRF的初始值，加入这张图像的方差图，经过denseCRF的优化，最终得到完成的头发分割结果。
denseCRF公式如下：
Figure DEST_PATH_IMAGE004
其中，E(x) 为本发明要优化的总体能量公式。
Figure DEST_PATH_IMAGE006
其中，k(fi,fj)就是不同像素之间的关系。以下为本发明修改densecrf的主要公式。
Figure 968960DEST_PATH_IMAGE002
P为对应的位置信息，I为对应的像素值，v为本发明求得的方差信息。
步骤S5：模型查找替换阶段。
如图5所示，本发明有了精确地头发mask图像之后，在本发明已有的头发模型库中的mask进行逐一查找工作，最终找到属于本发明最相似的头发模型，进过手机端的渲染技术，完成从一张照片到整个人体头部三维模型地手机端显示。
如图6所示，本发明的结果与其他结果的效果对比图。本发明专利大大提高了头发分割的速度和精度，让本发明可以在手机端进行头发分割，查找，处理一系列操作。本发明创新性地使用RGBD的头发数据，对头发噪声进行分模块学习，使得即使在高光还是光线不足的条件下，也可以进行非常精细的分割。对于发型替换，还是要求更高的头发渲染都有非常巨大的促进作用。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于不同发型的RGBD头发分割方法，其特征在于，包括如下步骤：
步骤S1：头发噪声学习，对头发分角度的RGBD图像进行分析，将所述头发进行分区，得到所述头发在所述分区的噪声直方分布，并获取所述图像的方差图，最后对所述分区的denseCRF参数进行学习；
步骤S2：头发数据采集，对头部进行360度环绕式采集；对每幅图像的头发所述分区和面部的进行绘制，确定两耳的二维坐标点；对所述头发的流向信息进行标注；
步骤S3：深度学习训练，包括发型学习步骤和分割学习步骤；
所述发型学习步骤，通过image-to-image网络，对所述图像进行训练，获得用特定的向量表示的发型信息；
所述分割学习步骤，通过输入头发的RGBD图像以及所述图像的所述发型信息，获得头发不同区域的分割结果信息；
步骤S4：denseCRF分步优化，通过输入所述头发分割结果信息，作为denseCRF的初始值，加入所述图像的方差图，经过所述denseCRF的优化，得到优化的头发分割结果信息；
步骤S5：模型查找替换，用户输入图像与所述头发模型库中的msak进行对比，查找输出相似的头发模型，并通过手机渲染，在手机端显示用户人体头部的三维模型。
2.如权利要求1所述的基于不同发型的RGBD头发分割方法，其特征在于，所述分区为四个，分别为顶部、左侧、右侧和后部。
3.如权利要求2所述的基于不同发型的RGBD头发分割方法，其特征在于，所述环绕式采集通过每6度采集一张所述头部的RGBD图像的方式，采集样本数量大于100人。
4.如权利要求3所述的基于不同发型的RGBD头发分割方法，其特征在于，所述头发的流向分为左斜、右斜、竖直和横向四个方向。
5.如权利要求4所述的基于不同发型的RGBD头发分割方法，其特征在于，所述向量为64*64向量。
6.如权利要求5所述的基于不同发型的RGBD头发分割方法，其特征在于，所述分割学习步骤还包括深度处理模块，通过对深度信息进行平滑加工，主动识别噪声，用于增大头发输出概率。
7.如权利要求5所述的基于不同发型的RGBD头发分割方法，其特征在于，所述分割学习步骤还包括梯度处理模块，用于获取头发梯度信息。
8.如权利要求5所述的基于不同发型的RGBD头发分割方法，其特征在于，所述分割学习步骤还包括Endocer-Decoder网络模块，对所述头发的彩色图通过encoder网络获取头发编码，并通过decoder网络获取最终分割的参数信息。
9.如权利要求5所述的基于不同发型的RGBD头发分割方法，其特征在于，所述分割学习步骤还包括并行处理模块，包括头发分割，流向分割，面部分割，耳朵位置确定子模块，同步获取信息。
10.如权利要求1所述的基于不同发型的RGBD头发分割方法，其特征在于，所述denseCRF的公式如下：
Figure DEST_PATH_IMAGE002
P为对应的位置信息，I为对应的像素值，v为方差信息。
CN201910131914.4A 2019-02-22 2019-02-22 一种基于不同发型的rgbd头发分割方法 Active CN110060257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910131914.4A CN110060257B (zh) 2019-02-22 2019-02-22 一种基于不同发型的rgbd头发分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910131914.4A CN110060257B (zh) 2019-02-22 2019-02-22 一种基于不同发型的rgbd头发分割方法

Publications (2)

Publication Number Publication Date
CN110060257A CN110060257A (zh) 2019-07-26
CN110060257B true CN110060257B (zh) 2022-11-25

Family

ID=67316680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910131914.4A Active CN110060257B (zh) 2019-02-22 2019-02-22 一种基于不同发型的rgbd头发分割方法

Country Status (1)

Country Link
CN (1) CN110060257B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN109035253A (zh) * 2018-07-04 2018-12-18 长沙全度影像科技有限公司 一种语义分割信息指导的深度学习自动图像抠图方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN109035253A (zh) * 2018-07-04 2018-12-18 长沙全度影像科技有限公司 一种语义分割信息指导的深度学习自动图像抠图方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Also Published As

Publication number Publication date
CN110060257A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
US10665013B2 (en) Method for single-image-based fully automatic three-dimensional hair modeling
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
US20200401842A1 (en) Human Hairstyle Generation Method Based on Multi-Feature Retrieval and Deformation
US8908904B2 (en) Method and system for make-up simulation on portable devices having digital cameras
KR20180108709A (ko) 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN105493078B (zh) 彩色草图图像搜索
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN102034247B (zh) 一种基于背景建模对双目视觉图像的运动捕捉方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
WO2023056835A1 (zh) 视频封面生成方法、装置、电子设备及可读介质
CN111311751A (zh) 一种基于深度神经网络的三维衣服模型的重建方法
CN107808372B (zh) 图像穿越处理方法、装置、计算设备及计算机存储介质
CN114120389A (zh) 网络训练及视频帧处理的方法、装置、设备及存储介质
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN113724302B (zh) 一种个性化眼镜定制方法及定制系统
CN110060257B (zh) 一种基于不同发型的rgbd头发分割方法
CN111080748B (zh) 基于互联网的图片自动合成系统
CN110335332B (zh) 一种人脸卡通画自动绘制方法
CN109359543B (zh) 一种基于骨骼化的人像检索方法及装置
CN108171719B (zh) 基于自适应跟踪框分割的视频穿越处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant