CN111161405A - 一种动物毛发三维重建方法 - Google Patents

一种动物毛发三维重建方法 Download PDF

Info

Publication number
CN111161405A
CN111161405A CN201911349178.6A CN201911349178A CN111161405A CN 111161405 A CN111161405 A CN 111161405A CN 201911349178 A CN201911349178 A CN 201911349178A CN 111161405 A CN111161405 A CN 111161405A
Authority
CN
China
Prior art keywords
animal hair
hair
dimensional
result
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911349178.6A
Other languages
English (en)
Other versions
CN111161405B (zh
Inventor
王雁刚
任乔牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201911349178.6A priority Critical patent/CN111161405B/zh
Publication of CN111161405A publication Critical patent/CN111161405A/zh
Application granted granted Critical
Publication of CN111161405B publication Critical patent/CN111161405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种动物毛发三维重建方法，包括：输入包含完整动物毛发的单张彩色图像；使用Mask R‑CNN得到动物毛发区域的分割结果；输入前述的单张彩色图像和分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；输入抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；训练变分自编码器，其中编码器能够得到隐空间编码z；输入前述得到的二维方向场，通过神经网络学习人类毛发二维方向场到隐空间变量z的映射，输出动物毛发二维方向场对应的动物毛发三维重建结果。本发明仅需要单张彩色图像就能够直接重建动物毛发的三维模型，效率高，且包含毛发的几何信息，能够产生逼真的仿真效果。

Description

一种动物毛发三维重建方法
技术领域
本发明属于计算机图像处理技术领域，涉及计算机视觉、计算机图形学、深度学习、迁移学习技术，具体涉及一种根据单张图像信息进行动物毛发三维重建的方法。
背景技术
动物毛发重建是将动物数字化的重要步骤之一，对动物数字化有利于对其进行研究与分析，并促进多学科的交叉发展，同时在影视制作与游戏制作中，也大量需要高精度的动物三维模型。同时，动物毛发是动物组成中必不可少的一部分，对动物毛发进行三维重建，具有重要的意义。
到目前为止，动物毛发三维重建的研究成果并不多，概括起来可以分为两类：1)由艺术家使用专业软件进行手工设计；2)根据几何或者物理属性构建动物毛发三维模型。上述方法在重建动物毛发时，需要对单个毛发模型进行手工设计，或者根据几何表达式构建模型，整个过程耗时较多，并且需要专业人士参与。此外，有一类方法通过渲染手段产生逼真的毛发效果，但是没有对动物毛发的几何结构进行建模，仅从视觉上实现毛发效果。渲染过程需耗费大量人力，且难以复用。
发明内容
为解决上述问题，本发明提供了一种基于单张彩色图像的动物毛发三维重建方法，能够根据单张彩色图像，重建出动物毛发的三维形态。
为了达到上述目的，本发明提供如下技术方案：
一种动物毛发三维重建方法，包括如下步骤：
步骤1，输入包含完整动物毛发的单张彩色图像；
步骤2，使用MaskR-CNN得到动物毛发区域的分割结果，所述分割结果为分割置信图；
步骤3，输入步骤1的单张彩色图像和步骤2的分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；
步骤4，输入步骤3的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；
步骤5，训练变分自编码器，其中编码器能够得到隐空间编码z，解码器能够根据隐空间编码z解码得到毛发三维重建结果；
步骤6，输入步骤3中得到的二维方向场，通过神经网络学习人类毛发二维方向场到步骤5中隐空间变量z的映射，输出二维方向场对应的动物毛发三维重建结果。
进一步的，所述步骤3中Deep Image Matting方法包含两个阶段，第一个阶段包含编码器和解码器，编码器含14个卷积层和5个池化层，输入经过编码器得到尺寸为512*1*1的低分辨率特征图，解码器含6个卷积层和5个上采样层，解码后得到原图尺寸的alpha值预测；第二个阶段包含4个卷积层，使用第一阶段的输出作为该阶段的输入，得到动物毛发区域的抠图结果。
进一步的，所述步骤4具体包括如下过程：
对于每个像素点位置(x,y)，求得使F(x,y,θ)值最大时的θ，每个位置都有对应的θ，即二维方向；通过对整个区域求θ，得到整个区域的二维方向场；
其中，F(x,y,θ)＝(Kθ*I)(x,y)表示Kθ在(x,y)处的响应，Kθ是θ的函数，具体形式为：
Figure BDA0002334241690000021
Figure BDA0002334241690000022
进一步的，所述步骤5中采用虚拟头发数据集USC_HairSalon进行训练，该数据集包含若干个人的头发模型，每个头发模型包含若干根发丝，每根发丝均由三维点表示。
与现有技术相比，本发明具有如下优点和有益效果：
1.仅需要单张彩色图像作为输入就能够直接重建动物毛发的三维模型，与传统手工设计模型或构建几何模型重建毛发相比，更加简便、易操作，具有较好的应用前景。
2.输出毛发的发丝包含毛发的几何信息，更好地保留毛发的几何结构，能够在动态情况下产生逼真的仿真效果，为后续动态重建等奠定坚实基础。
3.采用端到端的神经网络训练，能够减少求解时间，提高效率。
附图说明
图1为本发明实施例的动物毛发三维重建方法流程图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供的动物毛发三维重建方法，其流程如图1所示，包括如下步骤：
步骤S110，从单目彩色相机获取单帧动物图像并进行预处理。
使用单目彩色相机获取动物的图像，作为下一模块的输入。对于获取的图像，需要该图像内包含完整的动物毛发，如马的鬃毛等，并且该区域占图像一定比例，该比例可以根据需要调整，例如大于50％。本步骤可以通过自动化或人工方式进行照片筛选和裁剪来达到以上要求。
步骤S120，使用Mask R-CNN得到动物毛发区域的分割结果。
该步骤中使用的深度学习网络是MaskR-CNN(也可根据需要采用其他深度学习网络)，该网络的主干网络选择ResNet-50，在ImageNet上进行预训练，对步骤S110获取的图像进行后续分割操作后得到分割结果。此处的分割结果不是传统的分割，即分割出毛发与非毛发区域；而是分割的置信图，对于确定的毛发区域与非毛发区域，分别记为0和1，对于不确定区域，记为0.5，输出上述该结果，即分割置信图。
步骤S130，输入步骤S110的单张彩色图像和步骤S120的分割结果，使用DeepImage Matting方法得到动物毛发区域的抠图结果。
该步骤中Deep Image Matting(深度图像抠图)方法以步骤S110的单张彩色图像和步骤S120的分割结果作为输入，该部分包含两个阶段。第一个阶段包含编码器和解码器，编码器含14个卷积层和5个池化层，输入经过编码器得到尺寸为512*1*1的低分辨率特征图，解码器含6个卷积层和5个上采样层，解码后得到原图尺寸的alpha值预测。第二个阶段包含4个卷积层，使用上一阶段的输出作为该阶段的输入，得到动物毛发区域的抠图结果。
步骤S140，输入步骤S130的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场。
对于每个像素点位置(x,y)，求得使F(x,y,θ)值最大时的θ，每个位置都有对应的θ，即二维方向。通过对整个区域求θ，得到整个区域的二维方向场。
其中，F(x,y,θ)＝(Kθ*I)(x,y)表示Kθ在(x,y)处的响应，Kθ是θ的函数，具体形式为：
Figure BDA0002334241690000031
Figure BDA0002334241690000032
其中，σx＝1.8，σy＝2.4，λ＝4，此处的σx、σy、λ均可自行设置，通常为经验值。
步骤S150，训练变分自编码器，编码器用于得到隐空间编码z，而编码器中的解码器能够根据隐空间编码z解码得到毛发三维重建结果。
该步骤使用虚拟头发数据集进行训练，虚拟头发数据集为USC_HairSalon，该数据集包含334个人的头发模型，每个头发模型包含10,000根发丝，每根发丝均由三维点表示。该步骤基于一个假设：动物毛发与人类头发仅在长度、曲直程度上不同，基于上述假设，本方法使用迁移学习范式，在人类毛发数据集USC_HairSalon上训练自编码器进行知识迁移，该自编码器得到的隐空间编码z包含毛发的语义信息。在实际使用中，主要利用隐空间编码到最终输出结果的解码器，该解码器能够根据隐空间编码z得到三维重建结果。
步骤S160，输入步骤S140中得到的二维方向场，通过神经网络学习方向场到步骤5中隐空间变量z的映射，输出步骤S140中二维方向场对应的动物毛发重建结果。
该步骤使用卷积神经网络学习人类毛发对应的方向场到步骤S150中自编码器隐空间编码z的映射，该卷积神经网络使用ResNet-50，其在ImageNet上进行预训练。为了取得更好的结果，在ResNet-50后使用迭代误差反馈得到最终映射。在实际推理阶段，基于“动物毛发与人类头发仅在长度、曲直程度上不同”这一假设，将步骤S140中得到的动物毛发二维方向场图通过卷积神经网络后，使用迭代误差反馈得到中间编码z，使用变分自编码器中的解码器解码z，得到最终的动物毛发三维重建结果。
三维重建出的是由有序三维点表示的动物毛发模型，该表示方式相对于其他表示方式，更好地保留毛发的几何结构，能够在动态情况下产生逼真的仿真效果，为后续研究奠定基础。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种动物毛发三维重建方法，其特征在于，包括如下步骤：
步骤1，输入包含完整动物毛发的单张彩色图像；
步骤2，使用MaskR-CNN得到动物毛发区域的分割结果，所述分割结果为分割置信图；
步骤3，输入步骤1的单张彩色图像和步骤2的分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；
步骤4，输入步骤3的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；
步骤5，训练变分自编码器，其中编码器能够得到隐空间编码z，解码器能够根据隐空间编码z解码得到毛发三维重建结果；
步骤6，输入步骤3中得到的二维方向场，通过神经网络学习人类毛发二维方向场到步骤5中隐空间变量z的映射，输出二维方向场对应的动物毛发三维重建结果。
2.根据权利要求1所述的动物毛发三维重建方法，其特征在于：所述步骤3中DeepImage Matting方法包含两个阶段，第一个阶段包含编码器和解码器，编码器含14个卷积层和5个池化层，输入经过编码器得到尺寸为512*1*1的低分辨率特征图，解码器含6个卷积层和5个上采样层，解码后得到原图尺寸的alpha值预测；第二个阶段包含4个卷积层，使用第一阶段的输出作为该阶段的输入，得到动物毛发区域的抠图结果。
3.根据权利要求1所述的动物毛发三维重建方法，其特征在于，所述步骤4具体包括如下过程：
对于每个像素点位置(x,y)，求得使F(x,y,θ)值最大时的θ，每个位置都有对应的θ，即二维方向；通过对整个区域求θ，得到整个区域的二维方向场；
其中，F(x,y,θ)＝(Kθ*I)(x,y)表示Kθ在(x,y)处的响应，Kθ是θ的函数，具体形式为：
Figure FDA0002334241680000011
Figure FDA0002334241680000012
4.根据权利要求1所述的动物毛发三维重建方法，其特征在于：所述步骤5中采用虚拟头发数据集USC_HairSalon进行训练，该数据集包含若干个人的头发模型，每个头发模型包含若干根发丝，每根发丝均由三维点表示。
CN201911349178.6A 2019-12-24 2019-12-24 一种动物毛发三维重建方法 Active CN111161405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349178.6A CN111161405B (zh) 2019-12-24 2019-12-24 一种动物毛发三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349178.6A CN111161405B (zh) 2019-12-24 2019-12-24 一种动物毛发三维重建方法

Publications (2)

Publication Number Publication Date
CN111161405A true CN111161405A (zh) 2020-05-15
CN111161405B CN111161405B (zh) 2023-08-01

Family

ID=70557876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349178.6A Active CN111161405B (zh) 2019-12-24 2019-12-24 一种动物毛发三维重建方法

Country Status (1)

Country Link
CN (1) CN111161405B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129347A (zh) * 2021-04-26 2021-07-16 南京大学 一种自监督单视图三维发丝模型重建方法及系统
CN113592970A (zh) * 2021-07-28 2021-11-02 网易（杭州）网络有限公司 毛发造型的生成方法及装置、电子设备、存储介质
CN113658326A (zh) * 2021-08-05 2021-11-16 北京奇艺世纪科技有限公司 三维毛发的重建方法及装置
CN115409922A (zh) * 2022-08-30 2022-11-29 北京百度网讯科技有限公司 三维发型生成方法、装置、电子设备和存储介质
CN115482353A (zh) * 2022-09-01 2022-12-16 北京百度网讯科技有限公司 重建网络的训练方法、重建方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1847968A1 (en) * 2004-12-08 2007-10-24 Sony Corporation Generating a three dimensional model of a face from a single two-dimensional image: adaption of a generic hair model
CN102800129A (zh) * 2012-06-20 2012-11-28 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1847968A1 (en) * 2004-12-08 2007-10-24 Sony Corporation Generating a three dimensional model of a face from a single two-dimensional image: adaption of a generic hair model
CN102800129A (zh) * 2012-06-20 2012-11-28 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129347A (zh) * 2021-04-26 2021-07-16 南京大学 一种自监督单视图三维发丝模型重建方法及系统
CN113129347B (zh) * 2021-04-26 2023-12-12 南京大学 一种自监督单视图三维发丝模型重建方法及系统
CN113592970A (zh) * 2021-07-28 2021-11-02 网易（杭州）网络有限公司 毛发造型的生成方法及装置、电子设备、存储介质
CN113592970B (zh) * 2021-07-28 2024-04-12 网易（杭州）网络有限公司 毛发造型的生成方法及装置、电子设备、存储介质
CN113658326A (zh) * 2021-08-05 2021-11-16 北京奇艺世纪科技有限公司 三维毛发的重建方法及装置
CN115409922A (zh) * 2022-08-30 2022-11-29 北京百度网讯科技有限公司 三维发型生成方法、装置、电子设备和存储介质
CN115409922B (zh) * 2022-08-30 2023-08-29 北京百度网讯科技有限公司 三维发型生成方法、装置、电子设备和存储介质
CN115482353A (zh) * 2022-09-01 2022-12-16 北京百度网讯科技有限公司 重建网络的训练方法、重建方法、装置、设备和介质

Also Published As

Publication number Publication date
CN111161405B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Zhuang et al. Dreameditor: Text-driven 3d scene editing with neural fields
CN111161405A (zh) 一种动物毛发三维重建方法
Simo-Serra et al. Mastering sketching: adversarial augmentation for structured prediction
US20220121932A1 (en) Supervised learning techniques for encoder training
Zhang et al. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial networks
Wang et al. Neural pose transfer by spatially adaptive instance normalization
CN111368662A (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
Xu et al. Grm: Large gaussian reconstruction model for efficient 3d reconstruction and generation
CN111062290B (zh) 基于生成对抗网络中国书法风格转换模型构建方法及装置
DE102021206286A1 (de) Tiefer hierarchischer variational autocodierer
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Qu et al. Perceptual-DualGAN: perceptual losses for image to image translation with generative adversarial nets
Yang et al. Multiscale mesh deformation component analysis with attention-based autoencoders
CN112232485A (zh) 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN111524226A (zh) 讽刺肖像画的关键点检测与三维重建方法
CN110717978B (zh) 基于单张图像的三维头部重建方法
Li et al. Deep learning methods of cross-modal tasks for conceptual design of product shapes: A review
Wang et al. Towards harmonized regional style transfer and manipulation for facial images
Xia et al. Vecfontsdf: Learning to reconstruct and synthesize high-quality vector fonts via signed distance functions
DE102021124537A1 (de) Energiebasierte variational autoencoder
Zhou et al. Conditional generative adversarial networks for domain transfer: a survey
Galatolo et al. TeTIm-Eval: a novel curated evaluation data set for comparing text-to-image models
CN105069767A (zh) 基于表征学习与邻域约束嵌入的图像超分辨重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant