CN115018992A - 发型模型的生成方法、装置、电子设备及存储介质 - Google Patents

发型模型的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115018992A
CN115018992A CN202210760912.3A CN202210760912A CN115018992A CN 115018992 A CN115018992 A CN 115018992A CN 202210760912 A CN202210760912 A CN 202210760912A CN 115018992 A CN115018992 A CN 115018992A
Authority
CN
China
Prior art keywords
model
hairstyle
vertex
mesh
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210760912.3A
Other languages
English (en)
Other versions
CN115018992B (zh
Inventor
彭昊天
陈睿智
赵晨
孙昊
刘经拓
丁二锐
吴甜
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210760912.3A priority Critical patent/CN115018992B/zh
Publication of CN115018992A publication Critical patent/CN115018992A/zh
Application granted granted Critical
Publication of CN115018992B publication Critical patent/CN115018992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种发型模型的生成方法、装置、电子设备及存储介质,涉及人工智能技术领域,具体为增强现实AR、虚拟现实VR、计算机视觉、增强现实、深度学习等技术领域,可应用于虚拟形象、元宇宙等场景。该方法包括:根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;根据所述初始发丝模型中的发丝顶点,生成发型网格模型;对所述发型网格模型中的表面进行优化,得到目标对象的发型模型。通过上述技术方案能够提高发型渲染效率。

Description

发型模型的生成方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机领域,尤其涉及人工智能技术领域,具体为增强现实AR、虚拟现实VR、计算机视觉、深度学习等技术领域,可应用虚拟形象、元宇宙等场景。具体涉及一种发型模型的生成方法、装置、电子设备及存储介质。
背景技术
三维虚拟形象在社交、直播、游戏等用户场景具有广泛应用价值。为用户定制个性化的虚拟形象往往成本较高,通过图像生成式的虚拟形象生成可以有效在满足用户的个性化需求,同时能够降低三维形象构建成本。
在虚拟形象重建中,头发重建对于虚拟人的整体形象至关重要。然而,发丝重建非常困难。
发明内容
本公开提供了一种发型模型的生成方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种发型模型的生成方法,该方法包括:
根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
对所述发型网格模型中的表面进行优化,得到目标对象的发型模型。
根据本公开的一方面,提供了一种发型模型的生成装置,该装置包括:
发丝模型模块,用于根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
网格模型模块,用于根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
表面优化模块,用于对所述发型网格模型中的表面进行优化,得到目标对象的发型模型。
根据本公开的另一方面,提供了一种电子设备,该电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开任意实施例所述发型模型的生成方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行本公开任意实施例所述的发型模型的生成方法。
根据本公开的技术,能够提高发型渲染效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1a是根据本公开实施例提供的一种发型模型的生成方法的流程图;
图1b是根据本公开实施例提供的一种头部图像的示意图;
图1c是根据本公开实施例提供的一种初始发丝模型的示意图;
图1d是根据本公开实施例提供的一种发型网格模型的示意图;
图2a是根据本公开实施例提供的另一种发型模型的生成方法的流程图;
图2b是根据本公开实施例提供的单面发型模型的示意图;
图3a是根据本公开实施例提供的又一种发型模型的生成方法的流程图;
图3b是根据本公开实施例提供的一种带纹理信息的发型模型的示意图;
图3c是根据本公开实施例提供的一种对单面发型模型进行球形参数化的示意图;
图3d是根据本公开实施例提供的一种纹理融合的示意图;
图3e是根据本公开实施例提供的一种发型纹理提取的示意图;
图4a是根据本公开实施例提供的一种发型模型的生成装置的结构示意图;
图4b是根据本公开实施例提供的一种发型模型的生成链路的示意图;
图5是用来实现本公开实施例的发型模型的生成方法的电子设备的框图。
具体实施方式
图1a是根据本公开实施例提供的一种发型模型的生成方法的流程图。该方法适用于基于目标对象的单张图像为目标对象个性化构建三维发型模型的情况。该方法可以由发型模型的生成装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成于电子设备中。如图1a所示,本实施例的发型模型的生成方法可以包括:
S101,根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
S102,根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
S103,对所述发型网格模型中的外表面进行优化。
在本公开实施例中,目标对象为待生成发型模型的对象。目标对象的脸部图像可包括目标对象的脸部区域和头部区域,可通过对目标对象的单张脸部图像进行头部区域分割,得到目标对象的单张头部图像,头部图像可称为头发图像,参考图1b。并且,基于发丝生成算法,可根据目标对象的单张头部图像生成初始发丝模型,参考图1c。其中,初始发丝模型由发丝顶点和发丝线组成,初始发丝模型的模型数据包括发丝顶点的三维坐标和不同发丝顶点之间的连接关系,即发丝线的顶点索引关系。初始发丝模型中的发丝顶点数量庞多,属于稠密发丝模型,初始发丝模型用于表征发型内部每根线条的结构。需要说明的是,本公开实施例对发丝生成算法不做具体限定。具体的,可对目标对象的头部图像进行发丝走向分析,并根据发丝走向图生成初始发丝模型;还可根据目标对象的头部图像确定头部图像中的关键发丝,将关键发丝与候选发丝模型中的候选发丝进行匹配,并根据匹配结果得到三维的初始发丝模型。
在本公开实施例中,发型网格(mesh)模型由网格顶点和网格面组成,发型网格模型的模型数据包括网格顶点的顶点坐标,网格面的面片关系。发型网格模型可为发型水密模型(water tight),即发型网格模型中的任何一条边都有且只有两个面引用。具体的,可根据初始发丝模型中的发丝顶点进行面片模型重建得到发型网格模型,参考图1d。由于初始发丝模型中的发丝具有连贯性,使根据发丝顶点生成的发型网格模型中每个网格顶点都与头皮连接,即发型网格模型中不存在游离的网格顶点,使各个角度观察发型不会暴露头皮。并且,通过根据发丝顶点生成发型网格模型,有效地将初始发丝模型中稠密的发丝顶点转换成只带表面的面片数据,去除冗余的发丝顶点,从而降低模型渲染计算量,提高模型渲染效率。
本公开实施例还对发型网格模型中的表面进行优化。具体的,可对发型网格模型中的表面进行平滑、插值等处理,从而提高发型模型的质量。参考图1d,发型网格模型包括外表面和内表面,外表面朝向外部环境,内表面朝向头部中心;可对发型网格模型中的外表面和内表面均进行优化;为了进一步降低渲染计算量,可只对发型网格模型中的外表面进行优化,而舍弃内表面。
本公开实施例的技术方案,通过根据初始发丝模型中稠密的发丝顶点生成只带表面的发型网格模型,能够去除非表面部分的发丝顶点,从而提高模型生成效率,降低对发型模型生成终端的性能要求,进而可通过用户终端个性化地生成目标对象的发型模型;并且,通过初始发丝模型中发丝的连贯性还能够避免发型网格模型中存在游离的网格顶点;以及,通过对发型网格模型中的表面进行优化,还能够提高目标对象的发型模型质量。
在一种可选实施方式中,根据所述初始发丝模型中的发丝顶点,生成发型网格模型包括:基于融球算法,确定所述初始发丝模型中的发丝顶点到三维体素空间中体素坐标的有向距离,得到体素坐标的有向距离场;基于移动立方体算法,根据所述体素坐标的有向距离场提取所述发型网格模型。
其中,融球(metaball)又叫元球或变形球,它被定义为三维空间的可变密度场,从中心向外辐射势能,凡是处于它密度场之内的融球都会和它相互吸引。融球具有相互靠近到一定距离产生变形,再进一步靠近融合成光滑表面的特性。融球曲面是一个特殊的三维隐函数曲面,采用具有等势场的点定义曲面,因此融球曲面为一张等势面。
具体的,按照空间坐标将空间划分成若干相同大小的立方体(cube),得到n×n×n大小的三维体素空间中,以及三维体素空间中的体素坐标,n为正整数。通过融球算法,将初始发丝模型中发丝顶点作为输入,计算发丝顶点到体素坐标的有向距离,得到体素坐标的有向距离场(Signed Distance Field,SDF)。通过体素坐标的有向距离场可得到体素坐标到待生成模型表面的距离;如果任一体素坐标到模型表面的距离大于预设的球半径,则该体素坐标位于模型表面之外;如果到模型表面的距离小于球半径,则该体素坐标位于模型表面之内。球的半径可为经验值,例如可为0.012。
并且,基于移动立方体(Marching Cube)算法,根据体素空间的有向距离场提取初始发丝模型表面的等值面,并基于等值面位置构建三角面片,得到发型网格模型。通过基于融球算法,有效地将稠密的发丝顶点数据转换成只带发丝表面的面片数据,能够降低模型渲染成本;并且,基于有向距离场和移动立方体可以构建光滑、无残缺、无内部杂物的发型网格模型,提高模型质量。
图2a是根据本公开实施例提供的另一种发型模型的生成方法的流程图。本实施例是在上述实施例的基础上对发型网格模型进行优化。参见图2a,本实施例的发型模型的生成方法可以包括:
S201,根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
S202,根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
S203,确定所述发型网格模型中属于外表面的网格顶点,作为外部顶点;
S204,基于泊松重建算法,根据所述外部顶点和所述外部顶点的顶点法线,构建目标对象的单面发型模型;
S205,将所述单面发型模型中属于非发型部分的外部顶点剔除。
其中,发型网格模型为三角面片模型,包括发型外表面和发型内表面,即发型网格模型中的网格顶点属于外表面或者属于内表面。可根据发型网格模型中网格顶点的顶点坐标和顶点法线,确定网格顶点属于外表面还是内表面,将属于外表面的网格顶点作为外部顶点,只选取外部顶点进一步构建目标对象的单面发型模型,而舍弃发型网格模型中的内表面。可选的,确定网格顶点所属网格的网格法线,并将所述网格法线作为网格顶点的顶点法线。其中,网格法线可采用网格中三个网格顶点的顶点坐标确定。通过将对应的网格法线作为网格顶点的法线方向,可同步判断单个网格中的各网格顶点是否属于外表面,从而提高网格顶点的处理效率。
具体的,将外部顶点和外部顶点的顶点法线作为泊松表面重建算法的输入,采取隐性拟合的方式,通过求解泊松方程得到用于描述发型表面信息的三维隐函数,对三维隐函数进行等值面提取,得到仅有外表面的单面发型模型。通过泊松重建算法所构建的单面发型模型,具有水密性的封闭特征,具有良好的几何表面特性和细节特性。在泊松重建过程中,通过仅使用发型网格模型中外表面的网格顶点,而舍弃内表面,不仅进一步降低泊松重建的计算量,提高渲染效率,并且单面发型模型的拓扑结构简单,还为后续构建带纹理的发型模型奠定基础。
并且,本公开实施例还可确定单面发型模型中属于非发型部分的外部顶点,并将属于非发型部分的外部顶点从单面发型模型中剔除,参考图2b。泊松曲面重建会引入非发型部分,通过对非发型部分的剔除操作,可保持单面发型模型的原有发型结构。
在一种可选实施方式中,确定所述发型网格模型中属于外表面的网格顶点,包括:确定目标对象的头部中心点到所述发型网格模型中的网格顶点之间的向量;确定所述向量与所述网格顶点的顶点法线之间的夹角;根据所述夹角,确定所述网格顶点是否属于外表面。
示例性的,可对各网格顶点的顶点坐标求均值,得到目标对象的头部中心点。针对任一网格顶点,可根据该网格顶点所属三角面片中三个网格顶点坐标确定三角面片的法线,且将三角面片的法线作为网格顶点的法线。
具体的,针对发型网格模型中的每一网格顶点,以头部中心点为向量起点,以该网格顶点为向量终点,得到头部中心点与该网格顶点之间的向量;并确定该向量与该网格顶点的顶点法线之间的夹角;若夹角大于90度,则该网格顶点属于外表面;否则,该网格顶点属于内表面。通过上述处理能够准确地选择属于外表面的网格顶点,进而提高后续泊松重建的准确性。
在一种可选实施方式中,将所述单面发型模型中属于非发型部分的外部顶点剔除,包括:为所述单面发型模型中的外部顶点确定最小距离值;所述最小距离值为单面发型模型中外部顶点到所述发型网格模型中各网格顶点的最小距离值;若所述最小距离值大于预设的距离阈值,则确定所述外部顶点属于非发型部分,并将所述外部顶点剔除。
在本公开实施例中,通过将发型网格模型中的发型结构作为基准,确定单面发型模型中的非发型部分。具体的,针对单面发型模型中的每一外部顶点,可确定该外部顶点到发型网格模型中各网格顶点的最小距离值;若最小距离值大于预设的距离阈值,则确定该外部顶点属于非发型部分,并将该外部顶点剔除;否则确定该外部顶点属于发型部分,并保留该外部顶点。其中,距离阈值可以为经验值,例如可为0.02。通过以发型网格模型中的发型结构作为基准,确定并剔除单面发型模型中的非发型部分,使目标对象的单面发型模型能够保持发型网格模型中的发型结构。
在本公开实施例中,通过根据发型网格模型中的外表面进行泊松重建,得到单面的单面发型模型,并剔除单面发型模型中的非发型部分,不仅提高单面发型模型的模型质量,还舍弃内表面降低模型渲染计算量,简化单面发型模型的拓扑结构,为后续构建带纹理的发型模型奠定基础。
图3a是根据本公开实施例提供的又一种发型模型的生成方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3a,本实施例的发型模型的生成方法可以包括:
S301,根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
S302,根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
S303,对所述发型网格模型中的表面进行优化,得到目标对象的发型模型;
S304,根据所述目标对象的头部图像,对所述目标对象的发型模型进行纹理融合,得到带纹理信息的发型模型。
在本公开实施例中,可对发型网格模型中的外表面进行优化得到目标对象的单面发型模型,并基于目标对象的单面发型模型进行纹理融合。单面发型模型的拓扑结构简单,可确定单面发型模型中的网格顶点的纹理坐标;并根据网格顶点的纹理坐标,为单面发型模型中的网格顶点添加纹理信息,得到带纹理信息的发型模型。由于单面发型模型的拓扑结构简单,能够确定单面发型模型中网格顶点的纹理坐标,并根据网格顶点的纹理坐标构建带纹理信息的发型模型,也就说实现了带纹理信息的发型模型,参考图3b。通过构建带纹理信息的发型模型,能够提高发型模型的质量与美观度。
在一种可选实施方式中,所述根据所述目标对象的头部图像,对所述目标对象的发型模型进行纹理融合,得到带纹理信息的发型模型,包括:确定所述目标对象的发型模型中网格顶点的纹理坐标,得到带纹理坐标的发型模型;根据所述目标对象的头部图像,确定头部图像所属图像采集器的采集位姿;根据所述采集位姿,确定头部图像中像素坐标与带纹理坐标的发型模型中纹理坐标之间的映射关系;基于所述映射关系,从所述目标对象的头部图像中提取发型纹理信息,并将所述发型纹理信息融合到所述带纹理坐标的发型模型,得到带纹理信息的发型模型。
在本公开实施例中,参考图3c,通过三维模型参数化(parameterization)对单面发型模型进行纹理展开,得到单面发型模型中网格顶点的纹理坐标。通过纹理展开寻找网格顶点在二维纹理图像中唯一性的纹理坐标。
具体的,可通过如下公式,得到单面发型模型中网格顶点的纹理坐标:
U=arctan[(Vertex.x/Vertex.z)+π]/2π
V=arccos[dot(Vertex,axisY)]/π
其中,U和V为网格顶点的纹理坐标,dot()为点乘算符,axisY为Y轴,Vertex.x、Vertex.z、Vertex依次为网格顶点的x轴坐标、z轴坐标、网格顶点的归一化向量。其中,网格顶点的归一化向量可通过对网格顶点和头部中心点之间的向量进行归一化得到。
在本公开实施例中,还可对目标对象的头部图像进行位姿估计,得到头部图像所属图像采集器的采集位姿。示例性的,可以采用预先训练的位姿估计模型,确定图像采集器的采集位姿。并且,根据图像采集器的内参和采集位姿,确定头部图像中像素坐标与带纹理坐标的发型模型中纹理坐标之间的映射关系。示例性的,预先将图像采集器采集的候选图像渲染到屏幕模型中得到候选图像中二维像素坐标到模型中纹理坐标之间的候选映射关系,并记录候选映射关系、图像采集器的内参和候选图像的采集位姿。在纹理融合过程中,可根据图像采集器的内参和采集位姿选择映射关系,基于选择的映射关系从目标对象的头部图像提取发型纹理信息,并基于纹理模板对提取的发型纹理信息进行融合,得到带纹理信息的发型模型,能够解决发型的背面、侧面不可提取纹理信息的问题。需要说明的是,本公开实施例对位姿估计模型的网络结构、训练方式等不做具体限定。
具体的,参考图3d,从目标对象的头部图像中提取纹理,得到提取的纹理信息;基于预设的融合掩码对提取的纹理信息进行处理,得到第一纹理信息;为带纹理坐标的发型模型生成模型纹理掩码,基于预设的纹理模板和模型纹理掩码,得到第二纹理信息;对第一纹理信息和第二纹理信息进行融合,得到带纹理信息的发型模型。
在一种可选实施方式中,所述方法还包括:根据所述目标对象的头部图像,确定目标对象的头部位姿;根据所述目标对象的头部位姿,对所述带纹理坐标的发型模型进行位姿转换。
具体的,还可以对目标对象的头部图像进行位姿估计,得到目标对象的头部位姿。示例性地,可以利用PTA(Photo-to-Avatar,虚拟形象生成)技术提取目标对象的头部位姿。参考图3e,根据目标对象的头部图像确定目标对象的头部位姿;根据目标对象的头部位姿,对带纹理坐标的发型模型进行位姿转换,使带纹理坐标的发型模型的位姿与头部图像的位姿保持一致,从而使发型模型与头部图像重叠,进一步提高发型模型与头部图像之间的相似度。在位姿转换后,可对头部图像进行发型纹理提取,用于对经位姿转换后的发型模型进行纹理融合。
本公开实施例提供的技术方案,通过对单面发型模型进行球形参数化展开得到带纹理坐标的发型模型;根据目标对象的头部图像确定纹理映射关系;并且,基于纹理映射关系构建带纹理信息的发型模型,能够提高发型模型与头部图像的相似度。
图4a是根据本公开实施例提供的一种发型模型的生成装置的结构示意图。本实施例适用于基于目标对象的单张图像为目标对象个性化构建三维发型模型的情况。该装置可以采用软件和/或硬件的方式实现,并可集成于承载用户终端设备中。如图4a所示,本实施例的发型模型的生成装置400可以包括:
发丝模型模块410,用于根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
网格模型模块420,用于根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
表面优化模块430,用于对所述发型网格模型中的表面进行优化,得到目标对象的发型模型。
在一种可选实施方式中,所述网格模型模块420包括:
有向距离场单元,用于基于融球算法,确定所述初始发丝模型中的发丝顶点到三维体素空间中体素坐标的有向距离,得到体素坐标的有向距离场;
模型提取单元,用于基于移动立方体算法,根据所述体素坐标的有向距离场提取所述发型网格模型。
在一种可选实施方式中,所述表面优化模块430包括:
外部顶点单元,用于确定所述发型网格模型中属于外表面的网格顶点,作为外部顶点;
表面优化单元,用于基于泊松重建算法,根据所述外部顶点和所述外部顶点的顶点法线,构建目标对象的单面发型模型;
顶点剔除单元,用于将所述单面发型模型中属于非发型部分的外部顶点剔除。
在一种可选实施方式中,所述外部顶点单元具体用于:
确定目标对象的头部中心点到所述发型网格模型中的网格顶点之间的向量;
确定所述向量与所述网格顶点的顶点法线之间的夹角;
根据所述夹角,确定所述网格顶点是否属于外表面。
在一种可选实施方式中,所述表面优化模块430还包括:
法线确定单元,用于确定网格顶点所属网格的网格法线,并将所述网格法线作为网格顶点的顶点法线。
在一种可选实施方式中,所述顶点剔除单元具体用于:
为所述单面发型模型中的外部顶点确定最小距离值;所述最小距离值为所述外部顶点到所述发型网格模型中各网格顶点的最小距离值;
若所述最小距离值大于预设的距离阈值,则确定所述外部顶点属于非发型部分,并将所述外部顶点剔除。
在一种可选实施方式中,上述发型模型的生成装置400还包括:
纹理融合模块,用于根据所述目标对象的头部图像,对所述目标对象的发型模型进行纹理融合,得到带纹理信息的发型模型。
在一种可选实施方式中,所述纹理融合模块包括:
纹理坐标单元,用于确定所述目标对象的发型模型中网格顶点的纹理坐标,得到带纹理坐标的发型模型;
采集位姿单元,用于根据所述目标对象的头部图像,确定头部图像所属图像采集器的采集位姿;
映射关系单元,用于根据所述采集位姿,确定目标对象的头部图像中像素坐标与带纹理坐标的发型模型中纹理坐标之间的映射关系;
纹理融合单元,用于基于所述映射关系,从所述目标对象的头部图像中提取发型纹理信息,并将所述发型纹理信息融合到所述带纹理坐标的发型模型,得到带纹理信息的发型模型。
在一种可选实施方式中,上述发型模型的生成装置400还包括位姿转换模块,包括:
头部位姿单元,用于根据所述目标对象的头部图像,确定目标对象的头部位姿;
位姿转换单元,用于根据所述目标对象的头部位姿,对所述带纹理坐标的发型模型进行位姿转换。
参考图4b,带纹理发型模型的生成过程如下:利用目标对象的单张头部图像构建初始发丝模型;基于融球算法,根据初始发丝模型中的发丝顶点确定体素坐标的有向距离场;基于移动立方体算法,根据体素坐标的有向距离场提取发型网格模型;基于泊松重建算法,对发型网格模型中的外表面进行优化,得到单面发型模型;通过对单面发型模型进行球形参数化得到带纹理坐标的单面发型模型;通过纹理融合得到带纹理信息的发型模型。
本公开实施例的技术方案,根据目标对象的单张头部图像生成稠密的初始发丝模型,并通过融球算法与移动立方体算法配合得到发型网格模型,减少发丝顶点数量;通过对发型网格模型中的外表面进行泊松重建,得到单面发型模型,能够降低渲染工作量、提高单面发型模型的流畅度;并且,通过对单面发型模型进行球形参数化还能够得到单面发型模型中网格顶点的纹理坐标,并根据纹理坐标从头部图像中为网格顶点添加纹理信息,得到带纹理信息的发型模型,即实现了一种兼顾渲染效率和模型质量的发型模型,从而可通过用户终端为目标对象个性化生成发型模型。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5是用来实现本公开实施例的发型模型的生成方法的电子设备的框图。图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,电子设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如发型模型的生成方法。例如,在一些实施例中,发型模型的生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的发型模型的生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行发型模型的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing),指的是通过网络接入弹性可扩展的共享物理或虚拟资源池,资源可以包括服务器、操作系统、网络、软件、应用和存储设备等,并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术,可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (20)

1.一种发型模型的生成方法,包括:
根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
对所述发型网格模型中的表面进行优化,得到目标对象的发型模型。
2.根据权利要求1所述的方法,其中,所述根据所述初始发丝模型中的发丝顶点,生成发型网格模型,包括:
基于融球算法,确定所述初始发丝模型中的发丝顶点到三维体素空间中体素坐标的有向距离,得到体素坐标的有向距离场;
基于移动立方体算法,根据所述体素坐标的有向距离场提取所述发型网格模型。
3.根据权利要求1所述的方法,其中,所述对所述发型网格模型中的表面进行优化,得到目标对象的发型模型,包括:
确定所述发型网格模型中属于外表面的网格顶点,作为外部顶点;
基于泊松重建算法,根据所述外部顶点和所述外部顶点的顶点法线,构建目标对象的单面发型模型;
将所述单面发型模型中属于非发型部分的外部顶点剔除。
4.根据权利要求3所述的方法,其中,所述确定所述发型网格模型中属于外表面的网格顶点,包括:
确定目标对象的头部中心点到所述发型网格模型中的网格顶点之间的向量;
确定所述向量与所述网格顶点的顶点法线之间的夹角;
根据所述夹角,确定所述网格顶点是否属于外表面。
5.根据权利要求3所述的方法,还包括:
确定网格顶点所属网格的网格法线,并将所述网格法线作为网格顶点的顶点法线。
6.根据权利要求3所述的方法,其中,所述将所述单面发型模型中属于非发型部分的外部顶点剔除,包括:
为所述单面发型模型中的外部顶点确定最小距离值;所述最小距离值为所述外部顶点到所述发型网格模型中各网格顶点的最小距离值;
若所述最小距离值大于预设的距离阈值,则确定所述外部顶点属于非发型部分,并将所述外部顶点剔除。
7.根据权利要求1-6中任一项所述的方法,还包括:
根据所述目标对象的头部图像,对所述目标对象的发型模型进行纹理融合,得到带纹理信息的发型模型。
8.根据权利要求7所述的方法,其中,所述根据所述目标对象的头部图像,对所述目标对象的发型模型进行纹理融合,得到带纹理信息的发型模型,包括:
确定所述目标对象的发型模型中网格顶点的纹理坐标,得到带纹理坐标的发型模型;
根据所述目标对象的头部图像,确定头部图像所属图像采集器的采集位姿;
根据所述采集位姿,确定目标对象的头部图像中像素坐标与带纹理坐标的发型模型中纹理坐标之间的映射关系;
基于所述映射关系,从所述目标对象的头部图像中提取发型纹理信息,并将所述发型纹理信息融合到所述带纹理坐标的发型模型,得到带纹理信息的发型模型。
9.根据权利要求8所述的方法,所述方法还包括:
根据所述目标对象的头部图像,确定目标对象的头部位姿;
根据所述目标对象的头部位姿,对所述带纹理坐标的发型模型进行位姿转换。
10.一种发型模型的生成装置,包括:
发丝模型模块,用于根据目标对象的头部图像进行发丝模型建模,得到初始发丝模型;
网格模型模块,用于根据所述初始发丝模型中的发丝顶点,生成发型网格模型;
表面优化模块,用于对所述发型网格模型中的表面进行优化,得到目标对象的发型模型。
11.根据权利要求10所述的装置,其中,所述网格模型模块包括:
有向距离场单元,用于基于融球算法,确定所述初始发丝模型中的发丝顶点到三维体素空间中体素坐标的有向距离,得到体素坐标的有向距离场;
模型提取单元,用于基于移动立方体算法,根据所述体素坐标的有向距离场提取所述发型网格模型。
12.根据权利要求10所述的装置,其中,所述表面优化模块包括:
外部顶点单元,用于确定所述发型网格模型中属于外表面的网格顶点,作为外部顶点;
表面优化单元,用于基于泊松重建算法,根据所述外部顶点和所述外部顶点的顶点法线,构建目标对象的单面发型模型;
顶点剔除单元,用于将所述单面发型模型中属于非发型部分的外部顶点剔除。
13.根据权利要求12所述的装置,其中,所述外部顶点单元具体用于:
确定目标对象的头部中心点到所述发型网格模型中的网格顶点之间的向量;
确定所述向量与所述网格顶点的顶点法线之间的夹角;
根据所述夹角,确定所述网格顶点是否属于外表面。
14.根据权利要求12所述的装置,所述表面优化模块还包括:
法线确定单元,用于确定网格顶点所属网格的网格法线,并将所述网格法线作为网格顶点的顶点法线。
15.根据权利要求12所述的装置,其中,所述顶点剔除单元具体用于:
为所述单面发型模型中的外部顶点确定最小距离值;所述最小距离值为所述外部顶点到所述发型网格模型中各网格顶点的最小距离值;
若所述最小距离值大于预设的距离阈值,则确定所述外部顶点属于非发型部分,并将所述外部顶点剔除。
16.根据权利要求10-15中任一项所述的装置,还包括:
纹理融合模块,用于根据所述目标对象的头部图像,对所述目标对象的发型模型进行纹理融合,得到带纹理信息的发型模型。
17.根据权利要求16所述的装置,其中,所述纹理融合模块包括:
纹理坐标单元,用于确定所述目标对象的发型模型中网格顶点的纹理坐标,得到带纹理坐标的发型模型;
采集位姿单元,用于根据所述目标对象的头部图像,确定头部图像所属图像采集器的采集位姿;
映射关系单元,用于根据所述采集位姿,确定目标对象的头部图像中像素坐标与带纹理坐标的发型模型中纹理坐标之间的映射关系;
纹理融合单元,用于基于所述映射关系,从所述目标对象的头部图像中提取发型纹理信息,并将所述发型纹理信息融合到所述带纹理坐标的发型模型,得到带纹理信息的发型模型。
18.根据权利要求17所述的装置,所述装置还包括位姿转换模块,包括:
头部位姿单元,用于根据所述目标对象的头部图像,确定目标对象的头部位姿;
位姿转换单元,用于根据所述目标对象的头部位姿,对所述带纹理坐标的发型模型进行位姿转换。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的发型模型的生成方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的发型模型的生成方法。
CN202210760912.3A 2022-06-29 2022-06-29 发型模型的生成方法、装置、电子设备及存储介质 Active CN115018992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210760912.3A CN115018992B (zh) 2022-06-29 2022-06-29 发型模型的生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210760912.3A CN115018992B (zh) 2022-06-29 2022-06-29 发型模型的生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115018992A true CN115018992A (zh) 2022-09-06
CN115018992B CN115018992B (zh) 2023-03-17

Family

ID=83078713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210760912.3A Active CN115018992B (zh) 2022-06-29 2022-06-29 发型模型的生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115018992B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168131A (zh) * 2022-12-09 2023-05-26 北京百度网讯科技有限公司 布料的渲染处理方法、装置、电子设备及存储介质
CN116187051A (zh) * 2023-02-17 2023-05-30 上海百琪迈科技(集团)有限公司 一种服装模型与人体模型的绑定方法、系统及设备
CN116894916A (zh) * 2023-06-19 2023-10-17 北京百度网讯科技有限公司 虚拟形象的发丝模型生成方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085314A1 (en) * 2002-11-05 2004-05-06 Yu-Ru Lin Method for rendering outlines of 3D objects
WO2006056612A1 (en) * 2004-11-27 2006-06-01 Bracco Imaging S.P.A. Systems and methods for generating and measuring surface lines on mesh surfaces and volume objects and mesh cutting techniques ('curved measurement')
CN111462306A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于体向量场稀疏局部化分解的三维头发参数化模型方法
CN113269888A (zh) * 2021-05-25 2021-08-17 山东大学 一种发型三维建模方法、人物三维建模方法及系统
CN113744286A (zh) * 2021-09-14 2021-12-03 Oppo广东移动通信有限公司 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN113850904A (zh) * 2021-09-27 2021-12-28 北京百度网讯科技有限公司 发丝模型的确定方法、装置、电子设备及可读存储介质
CN114187633A (zh) * 2021-12-07 2022-03-15 北京百度网讯科技有限公司 图像处理方法及装置、图像生成模型的训练方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085314A1 (en) * 2002-11-05 2004-05-06 Yu-Ru Lin Method for rendering outlines of 3D objects
WO2006056612A1 (en) * 2004-11-27 2006-06-01 Bracco Imaging S.P.A. Systems and methods for generating and measuring surface lines on mesh surfaces and volume objects and mesh cutting techniques ('curved measurement')
US20060284871A1 (en) * 2004-11-27 2006-12-21 Bracco Imaging, S.P.A. Systems and methods for generating and measuring surface lines on mesh surfaces and volume objects and for mesh cutting techniques ("curved measurement")
CN111462306A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于体向量场稀疏局部化分解的三维头发参数化模型方法
CN113269888A (zh) * 2021-05-25 2021-08-17 山东大学 一种发型三维建模方法、人物三维建模方法及系统
CN113744286A (zh) * 2021-09-14 2021-12-03 Oppo广东移动通信有限公司 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN113850904A (zh) * 2021-09-27 2021-12-28 北京百度网讯科技有限公司 发丝模型的确定方法、装置、电子设备及可读存储介质
CN114187633A (zh) * 2021-12-07 2022-03-15 北京百度网讯科技有限公司 图像处理方法及装置、图像生成模型的训练方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168131A (zh) * 2022-12-09 2023-05-26 北京百度网讯科技有限公司 布料的渲染处理方法、装置、电子设备及存储介质
CN116168131B (zh) * 2022-12-09 2023-11-21 北京百度网讯科技有限公司 布料的渲染处理方法、装置、电子设备及存储介质
CN116187051A (zh) * 2023-02-17 2023-05-30 上海百琪迈科技(集团)有限公司 一种服装模型与人体模型的绑定方法、系统及设备
CN116187051B (zh) * 2023-02-17 2024-03-29 上海百琪迈科技(集团)有限公司 一种服装模型与人体模型的绑定方法、系统及设备
CN116894916A (zh) * 2023-06-19 2023-10-17 北京百度网讯科技有限公司 虚拟形象的发丝模型生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115018992B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
CN115018992B (zh) 发型模型的生成方法、装置、电子设备及存储介质
Chen et al. Visibility-aware point-based multi-view stereo network
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
US20130127848A1 (en) System and Method for Generating 3D Surface Patches from Unconstrained 3D Curves
CN114842123B (zh) 三维人脸重建模型训练和三维人脸形象生成方法及装置
CN115409933B (zh) 多风格纹理贴图生成方法及其装置
CN114792359B (zh) 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
WO2013123636A1 (en) Method and apparatus for mesh simplification
CN113409430B (zh) 可驱动三维人物生成方法、装置、电子设备及存储介质
CN115330940B (zh) 一种三维重建方法、装置、设备和介质
CN115375823B (zh) 三维虚拟服饰生成方法、装置、设备及存储介质
CN114723888B (zh) 三维发丝模型生成方法、装置、设备、存储介质及产品
CN109979013A (zh) 三维人脸贴图方法及终端设备
CN115170510B (zh) 一种病灶检测方法、装置、电子设备及可读存储介质
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
Yu et al. Saliency computation and simplification of point cloud data
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN116912817A (zh) 三维场景模型拆分方法、装置、电子设备和存储介质
He et al. Manhattan‐world urban building reconstruction by fitting cubes
CN115953553B (zh) 虚拟形象生成方法、装置、电子设备以及存储介质
CN116206035B (zh) 人脸重建方法、装置、电子设备以及存储介质
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113538644B (zh) 人物动态视频生成方法、装置、电子设备以及存储介质
EP4310779A1 (en) Segmenting a building scene
CN115619910A (zh) 通过绑定动画控制节点实现木偶动画操控的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant