CN113658326A - 三维毛发的重建方法及装置 - Google Patents
三维毛发的重建方法及装置 Download PDFInfo
- Publication number
- CN113658326A CN113658326A CN202110898304.4A CN202110898304A CN113658326A CN 113658326 A CN113658326 A CN 113658326A CN 202110898304 A CN202110898304 A CN 202110898304A CN 113658326 A CN113658326 A CN 113658326A
- Authority
- CN
- China
- Prior art keywords
- image
- hair
- dimensional
- convolution
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004209 hair Anatomy 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000004891 communication Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 9
- 230000009471 action Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种三维毛发的重建方法及装置，该方法包括：一种三维毛发的重建方法，包括：从第一目标图像中提取第一图像；其中，第一图像包括第一目标图像中第一对象的毛发区域的位置信息；基于第一图像，从第一目标图像中提取毛发像素的位置信息，计算得到第二图像；基于第一目标图像确定第三图像；其中，第三图像包括第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；对第一图像、第二图像以及第三图像进行编码，得到特征向量；其中，特征向量用于表征毛发的特征信息；基于三维卷积对特征向量进行解码，得到重建的三维毛发。通过本申请，解决了现有技术中基于建模的方式对三维毛发进行重建，其三维毛发重建难度较大的问题。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种三维毛发的重建方法及装置。
背景技术
目前，真实毛发重建是数字化虚拟人物中最困难任务之一，相对于易于参数化的脸部来说，毛发的形状变化范围以及其体积、纹理结构和发丝的可变形程度较为复杂，使得现有的三维毛发建模技术所重建的还原度较低，导致毛发重建效果不佳。
发明内容
本申请实施例的目的在于提供一种三维毛发的重建方法及装置，以实现无需建模的前提下对毛发进行三维重建。具体技术方案如下：
在本申请实施例的第一方面，首先提供了一种三维毛发的重建方法，包括：从第一目标图像中提取第一图像；其中，所述第一图像包括所述第一目标图像中第一对象的毛发区域的位置信息；基于所述第一图像，从所述第一目标图像中提取毛发像素的位置信息，计算得到第二图像；其中，所述第二图像包括毛发的毛发像素组的二维方向角信息；基于所述第一目标图像确定第三图像；其中，所述第三图像包括所述第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；对所述第一图像、所述第二图像以及所述第三图像进行编码，得到特征向量；其中，所述特征向量用于表征所述毛发的特征信息；基于三维卷积对所述特征向量进行解码，得到重建的三维毛发。
在本申请实施例的第二方面，还提供了一种三维毛发的重建装置，包括：提取模块，用于从第一目标图像中提取第一图像；其中，所述第一图像包括所述第一目标图像中第一对象的毛发区域的位置信息；处理模块，用于基于所述第一图像，从所述第一目标图像中提取毛发像素的位置信息，计算得到第二图像；其中，所述第二图像包括毛发的毛发像素组的二维方向角信息；确定模块，用于基于所述第一目标图像确定第三图像；其中，所述第三图像包括所述第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；编码模块，用于对所述第一图像、所述第二图像以及所述第三图像进行编码，得到特征向量；其中，所述特征向量用于表征所述毛发的特征信息；解码模块，用于基于三维卷积对所述特征向量进行解码，得到重建的三维毛发。
在本申请实施例的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的三维毛发的重建方法。
在本申请实施例的第四方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的三维毛发的重建方法。
在本申请实施例中，由于第二图像包括毛发的二维方向角信息，以及第三图像中包括毛发所在部位与身体躯干部位之间的三维位置信息，因此对第一图像、第二图像以及第三图像进行编码可以得到表征毛发的特征信息特征向量，再对该特征向量进行三维卷积进行解码，从而可以得到重建的三维毛发，该重建过程可以在无需建模的前提下对毛发进行三维重建，提升了三维毛发的重建效率，解决了现有技术中基于建模的方式对三维毛发进行重建，其三维毛发重建难度较大的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例中三维毛发的重建方法的流程图之一；
图2为本申请实施例中三维毛发的重建方法的流程图之二；
图3为本申请实施例中三维毛发的重建方法的流程图之三；
图4为本申请实施例中三维毛发的重建方法的流程图之四；
图5为本申请实施例中三维毛发的重建方法的流程图之五；
图6为本申请实施例基于CNN进行三维毛发重建的结构示意图；
图7为本申请实施例基于深度学习的三维头发重建的方法的流程图；
图8为本申请实施例中基于深度学习的三维头发重建的效果示意图；
图9为本申请实施例中三维毛发的重建装置的结构示意图；
图10为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提供了一种三维毛发的重建方法，如图1所示，该方法的步骤包括：
步骤102，从第一目标图像中提取第一图像，其中，第一图像包括第一目标图像中第一对象的毛发区域的位置信息；
在本申请的示例中，该第一对象为具有毛发的生物或物体，例如第一对象可以是具有头发的人，也可以是头部具有毛发的动物。此外，该第一对象也可以是具有头发的人物模型，或头部具有毛发的动物模型等。
在一个示例中，以第一对象为具有头发的目标A(人)为例，该第一目标图像可以是人的一张上半身的照片，通过分割网络从该包括目标A的图片中提取出该目标A的头发区域的图像，该提取出的图像为毛发的二值掩码图像(hairmask)。其中，在具体实施过程中该分割网络可以是全卷积网络(Fully Convolutional Network，FCN)，或者是其他分割网络，如SegNet。
步骤104，基于第一图像，从第一目标图像中提取毛发像素的位置信息，计算得到第二图像；其中，第二图像包括毛发的毛发像素组的二维方向角信息；
需要说明的是，一根毛发上包括多个毛发像素，一根毛发上的毛发像素可以组成一个毛发像素组，即本申请中的毛发像素组可以包括多根毛发的毛发像素组，该多根毛发是指需要重建的毛发，如果需要重建整个头部的毛发则该多根代表整个头部的所有头发，如果只需要重建头部的部分头发，如头顶区域的毛发，则该多根是指头顶区域的毛发。该方向角信息是在第二图像中以参数形式的存在，即可以通过预设参考坐标系计算出毛发像素组中各个毛发像素在该预设坐标系中的坐标，进而可以确定该由毛发像素组在该预设坐标系中的方向角信息，进而可以确定该毛发像素组所对应的毛发的方向角信息。在具体示例中该方向角信息可以包括[0,π)的离散角度信息。
步骤106，基于第一目标图像确定第三图像，其中，第三图像包括第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；
在本申请实施例中可以通过3D可变形模型(3D morphable head model)对第一目标图像进行拟合得到，具体通过对形状、纹理等系数的估计，从而可以将第一目标图像中的二维信息拟合到三维模型上，从而可以确定毛发所在部位与身体躯干部位之间的三维位置信息。可见，该第三图像作为编码的一部分，引入了毛发所在区域和身体躯干部分之间的相对三维位置信息，该三维位置信息对于后续毛发的位置信息的提取有较好的作用。
在本申请中重建的三维毛发可以描述为由N个发根(strand)组成，每个strand可以表示为M个3d点的集合，每个strand的点集合表征头发根部到底部的生长路径，这种方式可以某种程度上简化头发在长度、卷度以及形状上的高变化性，strand可用如下方式表示：
∫＝{si}M i＝0
其中M＝100,si表示一系列3d点的集合，分别表示该点处发束的x,y,z的坐标信息。此外，三维毛发模型可以以发束表示为如下形式：H＝∫i＝0 N,其中，N＝1000表示为strand的个数。
步骤108，对第一图像、第二图像以及第三图像进行编码，得到特征向量；其中，特征向量用于表征毛发的特征信息；
步骤110，基于三维卷积对特征向量进行解码，得到重建的三维毛发。
可见，将表征毛发的特征信息基于三维卷积进行解码，从而可以得到重建的三维毛发，也就是说，可以基于包括第一对象的第一目标图像，对第一对象的毛发进行三维重建，无需对第一对象进行建模后再基于建模后的第一对象进行毛发重建。
因此，通过本申请中的步骤102至步骤110，由于第二图像包括毛发的二维方向角信息，以及第三图像中包括毛发所在部位与身体躯干部位之间的三维位置信息，因此对第一图像、第二图像以及第三图像进行编码可以得到表征毛发的特征信息特征向量，再对该特征向量进行三维卷积进行解码，从而可以得到重建的三维毛发，该重建过程可以在无需建模的前提下对毛发进行三维重建，提升了三维毛发的重建效率，解决了现有技术中基于建模的方式对三维毛发进行重建，其三维毛发重建难度较大的问题。
在本申请实施例的可选实施方式中，对于上述步骤104中涉及到的基于第一图像，从第一目标图像中提取毛发像素的位置信息，计算得到第二图像的方式，如图2所示，进一步可以包括：
步骤11，对第一目标图像进行卷积，得到毛发区域中毛发的毛发像素组的二维方向角信息；
在本申请的一个示例中，可以通过Gabor滤波器{Kθ},θ-[0,π)，对第一目标图像进行卷积，以计算出毛发(hair mask)区域中毛发像素组的方向图(orientation map)，该方向图用于表示毛发像素组的二维方向角信息，具体可以通过以下公式计算：
其中，O’p表示orientation map，argmax表示最大值参数输出，
表示卷积，K是卷积核，θ是卷积核的角度，p是第一目标图像中毛发像素点的方向角信息。
其中，毛发像素组中的每根毛发像素点的方向角信息的相关置信度可以用如下公式表示：
其中，
表示卷积,max表示最大值函数。
步骤12，基于毛发的毛发像素组的二维方向角信息确定第二图像。
基于上述步骤11和步骤12，基于卷积操作，可以得到包括毛发区域中毛发的毛发像素组的二维方向角信息的第二图像，基于该第二图像在后续三维毛发重建过程中可以确定毛发的生长路径，无需通过三维建模确定毛发的生长路径，提升了三维毛发重建的效率。
在本申请实施例的可选实施方式中，对于上述步骤106中涉及到的对第一图像、第二图像以及第三图像进行编码，得到特征向量的方式，如图3所示，进一步可以包括：
步骤21，将第一图像、第二图像以及第三图像拼接成第二目标图；
在本申请实施例中，可以根据不同的需求可以将第二目标图拼接成不同的尺寸，如：第二目标图可以是256*256的图像，也可以是128*128的图像，或者是其他尺寸。在
步骤22，基于第一卷积从第二目标图中提取第一信息，并基于第一信息得到第一特征图；其中，第一信息为第二目标图中灰度变化大于预设阈值的毛发区域所承载的信息；
在本申请实施例中，该第一信息为第二目标图中灰度变化大于预设阈值的毛发区域所承载的信息，例如图像中的纹理信息、颜色信息等，这些信息所在区域的灰度变化较大。此外，该第一信息也可以称之为高频信息。需要说明的是，该预设阈值可以根据需求进行相应的设置。
此外，该第一卷积为普通卷积，在具体示例中可以是，该第一卷积的卷积核可以为3*3，5*5,7*7等，步幅可以是2，3等，具体的卷积核和步幅可以根据实际需求进行设置。基于该第一卷积在可以减轻计算压力的同时还可以提升初始输入的通道数。
步骤23，基于第二卷积对第一特征图进行特征提取，得到包括特征向量的第二特征图；其中，第二卷积包括二维的深度可分离卷积；第一特征图的尺寸大于第二特征图的尺寸。
在本申请实施例中，该深度可分离卷积的数量可以根据实际需求确定，例如2,3,4个等。此外，第一特征图经过深度可分离卷积之后可以得到更小尺寸的第二特征图，实现了降低分辨率的过程。
在本申请的一个示例中，对于上述步骤21至步骤23，可以基于卷积神经网络(Convolutional Neural Networks,CNN)来实现，其中，该CNN包括编码部分(encoder)和解码部分(decoder)，上述步骤21至步骤23可以基于CNN的编码部分来实现，具体CNN将第一图像、第二图像以及第三图像拼接成尺寸为256*256的第二目标图，进而可以对该第二目标图经过卷积核为3*3，步幅为2的普通卷积操作，得到128*128*32的第一特征图；然后经过4个深度可分离卷积进行特征提取，获得特征尺寸为8*8的第二特征图。由于在编码部分采用了计算复杂度以及参数量更少的深度可分离卷积，可以提升重建的速度。
在本申请实施例中的第二卷积还包括目标单位卷积的情况下，上述步骤23中涉及到的基于第二卷积对第一特征图进行特征提取，得到包括特征向量的第二特征图的方式，如图4所示，进一步可以包括：
步骤31，基于二维的深度可分离卷积对第一特征图进行通道拆分；
步骤32，基于目标单位卷积对拆分后的每一个通道进行逐点卷积；
步骤33，对逐点卷积结果进行池化，并将池化结果中的最大值确定为第二特征图中特征向量的特征值。
在本申请的一个示例中以目标单位卷积为1*1单位卷积核为例，由于深度可分离卷积是一个卷积核负责一个通道，一个通道只被一个卷积核卷积，即将输入的第一特征图进行通道上的拆分，单个通道进行单个卷积核的操作，这个过程会保持输入特征通道的不变，然后在1*1卷积核的作用下进行通道的整合，用于提升通道数以及通道间的信息交流，最后对逐点卷积结果进行池化以进行特征聚合操作，并取池化窗口内值最大的作为特征向量的特征值。
需要说明的是，上述示例中的目标单位卷积仅仅是举例说明，可以根据实际需求进行相应的设置。
在本申请实施例的一个可选实施方式中，对于上述步骤110中涉及到的基于三维卷积对特征向量进行解码，得到重建的三维毛发的方式，如图5所示，进一步可以包括：
步骤41，基于深度可分离卷积对第二特征图进行反卷积操作，得到第三特征图；其中，第三特征图的尺寸大于第二特征图的尺寸；
步骤42，对第三特征图进行三维卷积，得到可渲染的三维毛发数据；
步骤43，对三维毛发数据进行渲染得到三维毛发。
对于上述步骤41至步骤43，可以由CNN的解码部分来实现，即在解码部分先采用深度可分离卷积对第二特征图进行反卷积操作，以提升特征图的尺寸。可见，在本申请实施例中采用具有参数化信息的反卷积进行特征重建的上采样，其上采样效率相比于其他方式，如双线性插值的方式更高。进一步地，在解码部分以三维卷积为基础的跳跃卷积，即可以对第三特征图进行三维卷积，即实现了由二维第二特征图与三维特征信息的融合，得到可渲染的三维毛发数据。
下面结合本申请的具体实施方式对本申请进行举例说明，该具体实施方式以CNN为例，结合图6，该具体实施方式提供了一种基于深度学习的三维头发重建的方法，如图7所示，该方法的步骤包括：
步骤701，采用分割网络提取输入图像I的hair mask(被分割出来的头发区域二值掩码)；
步骤702，通过Gabor滤波器计算出hair mask区域中的orientation map(方向图),该oriention map用于表征头发部分的二维方向角信息。
步骤703，通过3DMM对输入图像I的形状、纹理等系数估计，从而将2d人脸拟合到3d模型上得到bust depth，以确定头部和身体的相对位置信息。
其中，如果是对人的毛发进行重建，该bust depth在具体示例中，可以是半身的深度图，因此，bust depth也在一定程度上在模型的输入部分引入3d位置信息，对于strand(发根)位置信息的提取有较好的作用。
此外，三维毛发可以由N个strand组成，每个strand可以表示为M个3d点的集合，每个strand的点集合表征头发根部到底部的生长路径，这种方式可以某种程度上简化头发在长度、卷度以及形状上的高变化性。
步骤704，将hair mask、oriention map和bust depth作为CNN的输入，输出均匀分布在头皮表面的发束特征。
其中，在本申请实施例中以深度可分离卷积为基本单元构建CNN的encoder和decoder部分。其中，encoder提取输入图的高频信息特征并编码为特征向量形式，此特征向量隐式的表征了发束的特征信息，该部分以2d深度可分离卷积、1*1的单位卷积以及maxpooling(最大值化池)为主，在decoder重建部分，为了更好的重建发束的细节信息，不再采用双线性插值的方式进行上采样，而是采用具有参数化信息的反卷积进行特征重建的上采样。
在decoder部分，引入三维卷积，为了更好的保持输入图像的个性化头发信息以及更好融合encoder部分的特征信息，引入以三维卷积操作为基础的跳跃连接，以此作为二维和三维特征信息融合的中间模块，该中间模块首先使用深度可分离卷积改变特征通道数，然后对特征进行Reshape和Transpose,其中，Reshape是调整特征图形状的操作，如将(h,w,c)调整为(h/2,w/2,c)，Transpose是调整特征维度的操作，如将(h,w,c)调整为(1,c,h,w)，目的是为了和3d特征进行融合，最终CNN输出为每个strand中每个点的三维位置信息以及曲率信息，得到重建的三维毛发。如图8所示，左边为输入图I(包括人的图像)，将图I输入CNN之后，得到右边重建的三维毛发，可见，重建的三维毛发能保持原图的个性化头发风格，其还原度高。需要说明的是，图8仅仅是示意图，在实际重建过程中其毛发的颜色也是可以高度还原的。
需要说明的是，在本申请实施例中以CNN来实现对三维毛发的重建，在重建之前需要对CNN进行训练，在训练完成后即可实现上述本申请实施例中的三维毛发的重建过程，训练的具体过程即是对编码部分和解码部分中的初始的权值进行更新，直到CNN各部分的误差等于或小于预期的期望范围内，则训练完成。对于编码部分的权值更新过程可以是：将误差矩阵当作卷积核，卷积输入的特征图，并得到了权值的偏差矩阵，然后与原先的卷积核的权值相加，并得到了更新后的卷积核。对于解码部分的权值更新过程可以是：求出权值的偏导数值，即学习速率乘以激励函数的倒数乘以输入值，然后将原先的权值加上偏导值，得到新的权值矩阵。需要说明的是，整个训练过程需要以大量的毛发数据作为训练样本，因此，在训练之前需要先收集大量的毛发数据。
通过本具体实施方式中基于深度学习方法进行三维头发重建的方式，相比于通过建模的方式重建三维毛发，降低了计算的难度，提升了三维毛发的重建效率。而且将2dorientation map和bust depth model作为CNN模型输入，也能保持原图的个性化头发风格，其还原度高。
对应于上述本申请中的三维毛发的重建方法，本申请还提供了一种三维毛发的重建装置，如图9所示，该装置包括：
提取模块902，用于从第一目标图像中提取第一图像；其中，第一图像包括第一目标图像中第一对象的毛发区域的位置信息；
处理模块904，用于基于第一图像，从第一目标图像中提取毛发像素的位置信息，计算得到第二图像；其中，第二图像包括毛发的毛发像素组的二维方向角信息；
确定模块906，用于基于第一目标图像确定第三图像；其中，第三图像包括第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；
编码模块908，用于对第一图像、第二图像以及第三图像进行编码，得到特征向量；其中，特征向量用于表征毛发的特征信息；
解码模块910，用于基于三维卷积对特征向量进行解码，得到重建的三维毛发。
通过本申请的装置，由于第二图像包括毛发的二维方向角信息，以及第三图像中包括毛发所在部位与身体躯干部位之间的三维位置信息，因此对第一图像、第二图像以及第三图像进行编码可以得到表征毛发的特征信息特征向量，再对该特征向量进行三维卷积进行解码，从而可以得到重建的三维毛发，该重建过程可以在无需建模的前提下对毛发进行三维重建，提升了三维毛发的重建效率，解决了现有技术中基于建模的方式对三维毛发进行重建，其三维毛发重建难度较大的问题。
可选地，本申请实施例中的编码模块808进一步可以包括：拼接单元，用于将第一图像、第二图像以及第三图像拼接成第二目标图；第一卷积单元，用于基于第一卷积从第二目标图中提取第一信息，并基于第一信息得到第一特征图；其中，第一信息为第二目标图中灰度变化大于预设阈值的毛发区域所承载的信息；第二卷积单元，用于基于第二卷积对第一特征图进行特征提取，得到包括特征向量的第二特征图；其中，第二卷积包括二维的深度可分离卷积；第一特征图的尺寸大于第二特征图的尺寸。
可选地，本申请实施例中的解码模块910进一步可以包括：第三卷积单元，用于基于深度可分离卷积对第二特征图进行反卷积，得到第三特征图；其中，第三特征图的尺寸大于第二特征图的尺寸；第四卷积单元，用于对第三特征图进行三维卷积，得到可渲染的三维毛发数据；渲染单元，用于对三维毛发数据进行渲染得到三维毛发。
可选地，本申请实施例中的第二卷积还可以包括：目标单位卷积；基于此，本申请实施例中的第二卷积单元进一步可以包括：拆分子单元，用于基于二维的深度可分离卷积对第一特征图进行通道拆分；卷积子单元，用于基于目标单位卷积对拆分后的每一个通道进行逐点卷积；处理子单元，用于对逐点卷积结果进行池化，并将池化结果中的最大值确定为特征向量的特征值。
可选地，本申请实施例中的处理模块904进一步可以包括：第五卷积单元，用于对第一目标图像进行卷积，得到毛发区域中毛发的毛发像素组的二维方向角信息；确定单元，用于基于毛发的毛发像素组的二维方向角信息确定第二图像。
本申请实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信；
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现上述图1中的三维毛发的重建方法，在此不再赘述。此外，该处理器1001基于程序实现上述图1中的三维毛发的重建方法所起到的作用也是相当的。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的三维毛发的重建方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的三维毛发的重建方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (10)
1.一种三维毛发的重建方法，其特征在于，包括：
从第一目标图像中提取第一图像；其中，所述第一图像包括所述第一目标图像中第一对象的毛发区域的位置信息；
基于所述第一图像，从所述第一目标图像中提取毛发像素的位置信息，计算得到第二图像；其中，所述第二图像包括毛发的毛发像素组的二维方向角信息；
基于所述第一目标图像确定第三图像；其中，所述第三图像包括所述第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；
对所述第一图像、所述第二图像以及所述第三图像进行编码，得到特征向量；其中，所述特征向量用于表征所述毛发的特征信息；
基于三维卷积对所述特征向量进行解码，得到重建的三维毛发。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像、所述第二图像以及所述第三图像进行编码，得到特征向量包括：
将所述第一图像、所述第二图像以及所述第三图像拼接成第二目标图；
基于第一卷积从所述第二目标图中提取第一信息，并基于所述第一信息得到第一特征图；其中，所述第一信息为所述第二目标图中灰度变化大于预设阈值的毛发区域所承载的信息；
基于第二卷积对所述第一特征图进行特征提取，得到包括所述特征向量的第二特征图；其中，所述第二卷积包括二维的深度可分离卷积；所述第一特征图的尺寸大于所述第二特征图的尺寸。
3.根据权利要求2所述的方法，其特征在于，所述基于三维卷积对所述特征向量进行解码，得到重建的三维毛发包括：
基于深度可分离卷积对所述第二特征图进行反卷积，得到第三特征图；其中，所述第三特征图的尺寸大于所述第二特征图的尺寸；
对所述第三特征图进行三维卷积，得到可渲染的三维毛发数据；
对所述三维毛发数据进行渲染得到所述三维毛发。
4.根据权利要求2所述的方法，其特征在于，所述第二卷积还包括：目标单位卷积，基于第二卷积对所述第一特征图进行特征提取，得到包括所述特征向量的第二特征图包括：
基于所述二维的深度可分离卷积对所述第一特征图进行通道拆分；
基于目标单位卷积对拆分后的每一个通道进行逐点卷积；
对逐点卷积结果进行池化，并将池化结果中的最大值确定为所述特征向量的特征值。
5.根据权利要求1所述的方法，其特征在于，基于所述第一图像，从所述第一目标图像中提取毛发像素的位置信息，计算得到第二图像包括：
对所述第一目标图像进行卷积，得到所述毛发区域中毛发的毛发像素组的二维方向角信息；
基于所述毛发的毛发像素组的二维方向角信息确定所述第二图像。
6.一种三维毛发的重建装置，其特征在于，包括：
提取模块，用于从第一目标图像中提取第一图像；其中，所述第一图像包括所述第一目标图像中第一对象的毛发区域的位置信息；
处理模块，用于基于所述第一图像，从所述第一目标图像中提取毛发像素的位置信息，计算得到第二图像；其中，所述第二图像包括毛发的毛发像素组的二维方向角信息；
确定模块，用于基于所述第一目标图像确定第三图像；其中，所述第三图像包括所述第一对象的毛发所在部位与身体躯干部位之间的三维位置信息；
编码模块，用于对所述第一图像、所述第二图像以及所述第三图像进行编码，得到特征向量；其中，所述特征向量用于表征所述毛发的特征信息；
解码模块，用于基于三维卷积对所述特征向量进行解码，得到重建的三维毛发。
7.根据权利要求6所述的装置，其特征在于，所述编码模块包括：
拼接单元，用于将所述第一图像、所述第二图像以及所述第三图像拼接成第二目标图；
第一卷积单元，用于基于第一卷积从所述第二目标图中提取第一信息，并基于所述第一信息得到第一特征图；其中，所述第一信息为所述第二目标图中灰度变化大于预设阈值的毛发区域所承载的信息；
第二卷积单元，用于基于第二卷积对所述第一特征图进行特征提取，得到包括所述特征向量的第二特征图；其中，所述第二卷积包括二维的深度可分离卷积；所述第一特征图的尺寸大于所述第二特征图的尺寸。
8.根据权利要求7所述的装置，其特征在于，所述解码模块包括：
第三卷积单元，用于基于深度可分离卷积对所述第二特征图进行反卷积，得到第三特征图；其中，所述第三特征图的尺寸大于所述第二特征图的尺寸；
第四卷积单元，用于对所述第三特征图进行三维卷积，得到可渲染的三维毛发数据；
渲染单元，用于对所述三维毛发数据进行渲染得到所述三维毛发。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898304.4A CN113658326A (zh) | 2021-08-05 | 2021-08-05 | 三维毛发的重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898304.4A CN113658326A (zh) | 2021-08-05 | 2021-08-05 | 三维毛发的重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113658326A true CN113658326A (zh) | 2021-11-16 |
Family
ID=78478499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110898304.4A Pending CN113658326A (zh) | 2021-08-05 | 2021-08-05 | 三维毛发的重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658326A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463217A (zh) * | 2022-02-08 | 2022-05-10 | 口碑(上海)信息技术有限公司 | 一种图像处理方法以及装置 |
| WO2023142781A1 (zh) * | 2022-01-28 | 2023-08-03 | 中国科学院深圳先进技术研究院 | 图像三维重建方法、装置、电子设备及存储介质 |
| US20230274502A1 (en) * | 2022-02-28 | 2023-08-31 | Verizon Patent And Licensing Inc. | Methods and systems for 3d modeling of a human subject having hair based on 2d imagery |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
| CN111161405A (zh) * | 2019-12-24 | 2020-05-15 | 东南大学 | 一种动物毛发三维重建方法 |
| CN111583384A (zh) * | 2020-04-13 | 2020-08-25 | 华南理工大学 | 一种基于自适应八叉树头发卷积神经网络的头发重建方法 |
| CN112419487A (zh) * | 2020-12-02 | 2021-02-26 | 网易（杭州）网络有限公司 | 毛发三维重建方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-05 CN CN202110898304.4A patent/CN113658326A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
| CN111161405A (zh) * | 2019-12-24 | 2020-05-15 | 东南大学 | 一种动物毛发三维重建方法 |
| CN111583384A (zh) * | 2020-04-13 | 2020-08-25 | 华南理工大学 | 一种基于自适应八叉树头发卷积神经网络的头发重建方法 |
| CN112419487A (zh) * | 2020-12-02 | 2021-02-26 | 网易（杭州）网络有限公司 | 毛发三维重建方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZEHAO YE: "HAO-CNN: Filament-aware hair reconstruction based on volumetric vector fields", 《COMPUTER ANIMATION VIRTUAL》, pages 3 - 8 * |
| 钟跃崎: "《人工智能技术原理与应用》", 东华大学出版社, pages: 201 - 204 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023142781A1 (zh) * | 2022-01-28 | 2023-08-03 | 中国科学院深圳先进技术研究院 | 图像三维重建方法、装置、电子设备及存储介质 |
| CN114463217A (zh) * | 2022-02-08 | 2022-05-10 | 口碑(上海)信息技术有限公司 | 一种图像处理方法以及装置 |
| US20230274502A1 (en) * | 2022-02-28 | 2023-08-31 | Verizon Patent And Licensing Inc. | Methods and systems for 3d modeling of a human subject having hair based on 2d imagery |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN110136243B (zh) | 一种三维人脸重建方法及其系统、装置、存储介质 | |
| CN113658326A (zh) | 三维毛发的重建方法及装置 | |
| US20210279956A1 (en) | Semantic deep face models | |
| CN111127304B (zh) | 跨域图像转换 | |
| WO2020119527A1 (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| WO2021184933A1 (zh) | 一种人体三维模型重建方法 | |
| CN110246084B (zh) | 一种超分辨率图像重构方法及其系统、装置、存储介质 | |
| WO2019201042A1 (zh) | 图像对象识别方法和装置、存储介质及电子装置 | |
| CN113822437B (zh) | 深度分层的变分自动编码器 | |
| US10515456B2 (en) | Synthesizing hair features in image content based on orientation data from user guidance | |
| CN111814566A (zh) | 图像编辑方法、装置、电子设备及存储介质 | |
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111161405B (zh) | 一种动物毛发三维重建方法 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| JP2024004444A (ja) | ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置 | |
| CN110619334B (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| CN112258269A (zh) | 基于2d图像的虚拟试衣方法及装置 | |
| CN109948454B (zh) | 表情数据库的增强方法、训练方法、计算设备及存储介质 | |
| CN116030259B (zh) | 一种腹部ct图像多器官分割方法、装置及终端设备 | |
| CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
| CN114913303A (zh) | 虚拟形象生成方法及相关装置、电子设备、存储介质 | |
| CN114202615A (zh) | 人脸表情的重建方法、装置、设备和存储介质 | |
| CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
| CN115526223A (zh) | 潜在空间中的基于得分的生成建模 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |