CN110782507A - 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备 - Google Patents

一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备 Download PDF

Info

Publication number
CN110782507A
CN110782507A CN201910967366.9A CN201910967366A CN110782507A CN 110782507 A CN110782507 A CN 110782507A CN 201910967366 A CN201910967366 A CN 201910967366A CN 110782507 A CN110782507 A CN 110782507A
Authority
CN
China
Prior art keywords
face
texture
grid
view image
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910967366.9A
Other languages
English (en)
Inventor
吴渊
谢理洋
张晓璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Workshop (beijing) Enterprise Management Ltd By Share Ltd
Original Assignee
Innovation Workshop (beijing) Enterprise Management Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Workshop (beijing) Enterprise Management Ltd By Share Ltd filed Critical Innovation Workshop (beijing) Enterprise Management Ltd By Share Ltd
Priority to CN201910967366.9A priority Critical patent/CN110782507A/zh
Publication of CN110782507A publication Critical patent/CN110782507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/016—Exploded view

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备，本方法通过获取一目标对象的人脸网格模型及多个视角采集到的目标对象的多张人脸图像，并基于正视图像中的多个关键点建立分割线，将人脸依次划分为左脸区、正脸区及右脸区，并基于纹理网格图，将多张人脸图像的像素值填充至对应区域，获得人脸的纹理贴图，通过设立分割线，以将人脸依次划分为左脸区、正脸区及右脸区，使得具有复杂纹理的人脸特征(例如眼睛、鼻子及嘴巴等)完全位于同一区域内，此分割方法具有自适应性，区域的分割符合不同人脸纹理特征，避免了在纹理复杂区域进行分割，提高了纹理贴图的成像质量。

Description

一种基于人脸网格模型的纹理贴图生成方法、系统及电子 设备
【技术领域】
本发明涉及图像处理领域，特别涉及一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备。
【背景技术】
人脸重建技术包括形状重建和纹理重建，人眼对纹理贴图中即使是非常小的瑕疵也非常敏感，因此贴图的好坏直接影响着最终的重建效果。现有的纹理贴图生成技术，尤其是在多张视图的纹理拼接融合形成的纹理贴图具有显著拼接痕迹，形成的纹理贴图质量较低。
【发明内容】
为了克服目前现有的基于人脸网格模型的纹理贴图生成方法形成的纹理贴图质量较低的问题，本发明提供基于人脸网格模型的纹理贴图生成方法、系统及电子设备。
本发明为解决上述技术问题，提供一技术方案如下：一种基于人脸网格模型的纹理贴图生成方法，包括如下步骤: 步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；步骤S2：获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区；步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值；及步骤S4：基于预设规则，将每一网格对应的像素值填充至所述纹理网格图，获得人脸的纹理贴图。
优选地，上述步骤S2与步骤S3之间还包括：步骤S100：在所述左脸区与正脸区、正脸区与右脸区之间设置过渡区，所述过渡区位于分割线的相对两侧。
优选地，上述步骤S2具体包括如下步骤：步骤S21：获取所述正视图像中人脸的眉角、嘴角、额角、太阳穴及眼角的对称关键点，并计算眉角、眼角及太阳穴关键点坐标的均值，获得中间点；步骤S22：依次连接额角、中间点及嘴角的关键点以获得所述两条分割线；及步骤S23：所述两条分割线靠近嘴角一侧相对嘴角远离预设距离，将所述人脸依次划分为左脸区、正脸区及右脸区。
优选地，上述步骤S100中，所述分割线将所述过渡区划分为对称的两部分；所述过渡区每一部分的宽度小于或等于所述分割线与所述嘴角的距离。
优选地，上述步骤S3具体包括如下步骤：步骤S31：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及步骤S32：基于所述视角参数，将所述人脸网格模型中每一网格投影至对应的正视图像、左视图像或右视图像上，获取每一网格对应的像素值。
优选地，上述步骤S1具体包括如下步骤：步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。
优选地，上述步骤S4具体包括如下步骤：步骤S41：判断所述人脸网格模型中每一网格相对于所述正视图像是否可见，若是，则进入步骤S42，若否，则进入步骤S43；步骤S42：判断所述网格是否位于过渡区，若是，则进入步骤S44，若否，则进入步骤S45；步骤S43：基于人脸朝向及拍摄方向之间的角度，将左视图像及右视图像对应的每一网格的像素值填充至纹理网格图对应的位置；步骤S44：在左视图像与正视图像获取对应网格的像素值、右视图像与正视图像获取对应网格的像素值，进行加权平均处理后分别填充至纹理网格图上对应的位置；及步骤S45：在正视图像获取对应网格的像素值并填充至纹理网格图对应的位置。
优选地，上述步骤S44具体包括以下步骤：步骤S441：计算所述网格与所述过渡区远离正脸区一侧边界的距离与过渡区宽度的比值，获取权重；及步骤S442：基于所述权重，将所述过渡区内的网格像素进行加权平均处理。
本发明还提供一种基于人脸网格模型的纹理贴图生成系统，包括：模型及图像获取单元，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像，并获取各个人脸图像对应的视角参数；人脸分割单元，用于获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立两条分割线，将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区；投影单元，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应纹理贴图的二维坐标，获得纹理网格图；将所述人脸网格模型中每一网格投影至对应的正视图像、左视图像或右视图像上，获取每一网格对应的像素值；及纹理填充单元，用于基于预设规则，将每一网格对应的像素值填充所述纹理网格图，获得人脸的纹理贴图。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的基于人脸网格模型的纹理贴图生成方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的基于人脸网格模型的纹理贴图生成方法。
与现有技术相比，本发明提供的一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备，具有以下优点：
1、通过获取一目标对象的人脸网格模型及多个视角采集到的所述目标对象的多张人脸图像，并基于正视图像中的多个关键点建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区，并基于纹理网格图，将多张人脸图像的像素值依次填充至对应区域，获得人脸的纹理贴图，通过设立所述分割线，以将人脸依次划分为左脸区、正脸区及右脸区，使得具有复杂纹理的人脸特征(例如眼睛、鼻子及嘴巴等)完全位于同一区域内，此分割方法具有自适应性，区域的分割符合不同人脸纹理特征，避免了在纹理复杂区域进行分割，提高了纹理贴图的成像质量。
2、通过在所述左脸区与正脸区、正脸区与右脸区之间设置过渡区，所述过渡区位于分割线的相对两侧，并将位于过渡区内的网格纹理进行加权平均处理，使用加权平均的纹理融合方式实现了纹理无缝拼接，可进一步让纹理贴图成像更自然，提高成像质量。
3、通过获取所述正视图像中人脸的眉角、嘴角、额角、太阳穴及眼角的对称关键点，并计算眉角、眼角及太阳穴关键点坐标的均值，获得中间点，依次连接额角、中间点及嘴角的关键点以获得所述两条分割线，使得本发明提供的基于人脸网格模型的纹理贴图生成方法可适应多种不同的人脸纹理特征，具有自适应性。
4、所述过渡区每一部分的宽度小于或等于所述分割线与所述嘴角的距离，使得嘴角纹理位于过渡区之外，进一步保证了嘴角纹理的完整性，提高成像质量。
5、通过柱状投影方式获取每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，计算更简单，提高计算效率。
【附图说明】
图1为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法的流程图。
图2为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法一种变形实施例的流程图。
图3为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法中步骤S1的细节流程图。
图4为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法中步骤S11获取的人脸网格模型的示意图。
图5为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法中步骤S12获取的人脸的左视图像、正视图像及右视图像的示意图。
图6为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法的步骤S2的细节流程图。
图7为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法中生成分割线及过渡区的示意图。
图8为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法的步骤S3的细节流程图。
图9为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法中步骤S4的细节流程图。
图10为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法的步骤S43及步骤S45后的获取的人脸的纹理贴图的示意图。
图11为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法的步骤S44的细节流程图。
图12为本发明第一实施例提供的一种基于人脸网格模型的纹理贴图生成方法的步骤S442后的获取的每一区域的纹理示意图。
图13为本发明第二实施例提供的一种基于人脸网格模型的纹理贴图生成系统的模块图。
图14为本发明第三实施例提供的一种电子设备的模块图。
附图标记说明：
1、模型及图像获取单元；2、人脸分割单元；3、投影单元；4、贴图获取单元；
10、存储器；20、处理器；
100、左视图像；200、正视图像；300、右视图像；400、纹理贴图；
201、左脸区；202、正脸区；203、右脸区；
a、眉角；b、嘴角；c、额角；d、眼角；e、太阳穴；f、中间点；p、分割线；
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种基于人脸网格模型的纹理贴图生成方法，包括以下步骤：
步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数。
可以理解，所述人脸网格模型可基于三维人脸重建算法获得，所述三维人脸重建算法包括但不限于多视图立体视觉的重建方法、单目视频重建及基于结构光重建的任一种。
可以理解，所述目标对象的多张人脸图像通过多个视角进行采集，其中包括至少一张人脸的正视图像。上述图像的获取可以通过相机拍摄或视频截取获得，例如，在本实施例中，可通过相机拍摄不同角度的人脸图像，人脸朝向与相机的光轴夹角α范围在-5°<α<5°定义为所述正视图像。
步骤S2：获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区。
可以理解，通过所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区，使得位于所述正脸区内的具有复杂纹理的人脸特征(例如眼睛、鼻子及嘴巴)完全位于所述正脸区内，防止对上述特征进行切割。
步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值。
可以理解，在步骤S3中，通过获取人脸网格模型中每一顶点对应正视图像的纹理贴图的二维坐标，以确定人脸网格模型中每一顶点位于正视图像的纹理贴图的位置，使得所述人脸网格模型可基于该二维坐标根据正视图像的投影角度将网格进行投影，获得所述纹理网格图。
步骤S4：基于预设规则，将每一网格对应的像素值填充所述纹理网格图，获得人脸的纹理贴图。
请参阅图2，上述步骤S2与步骤S3之间还包括：
步骤S100：在所述左脸区与正脸区、正脸区与右脸区之间设置过渡区，所述过渡区位于分割线的相对两侧。
具体地，在步骤S100中，所述分割线将所述过渡区划分为对称的两部分。
请参阅图3，步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数。步骤S1具体包括步骤S11～S12：
步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及
步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。
可以理解，在步骤S11中，所述人脸网格模型通过三维人脸模型重建算法获得，所述人脸网格模型中由多个三角形面片组合形成(如图4中所示)，每一三角形面片包括三个顶点，每一顶点具有唯一的三维坐标。
可以理解，在步骤S12中，可基于不同角度的相机对人脸进行拍摄以获取所述人脸的正视图像、左视图像及右视图像，在本实施例中，人脸朝向与相机的光轴夹角α范围在 -45°<α<-30°定义为所述左视图像，α范围在30°<α<45°定义为所述右视图像。例如，如图5中所示，通过不同角度的相机拍摄以获取所述人脸的左视图像100、正视图像200及右视图像300。
可以理解，在步骤S12中，所述视角参数为相机本身固有的已知参数，可基于相机拍摄获取对应图像的相机参数。
可以理解，步骤S11～S12仅为该实施例的一种实施方式，其实施方式并不限定于步骤S11～S12。
请参阅图6，步骤S2：获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区。步骤S2具体包括步骤S21～S22：
步骤S21：获取所述正视图像中人脸的眉角、嘴角、额角、太阳穴及眼角的对称关键点，并计算眉角、眼角及太阳穴关键点坐标的均值，获得中间点；
步骤S22：依次连接额角、中间点及嘴角的关键点以获得两条分割线；及
步骤S23：所述两条分割线靠近嘴角一侧相对嘴角远离预设距离，将所述人脸依次划分为左脸区、正脸区及右脸区。
可以理解，在步骤S21中，通过对正视图像中的人脸进行关键点检测，如图7中所示以获取眉角a、嘴角b及额角c的对称关键点，通过继续识别关键点，进一步获得眼角d及太阳穴e的对称关键点，并基于眼角d、太阳穴e及眉角a求均值，获得一中间点f(如图7中所示)，并依次连接额角c、中间点f 及嘴角b的关键点以获得所述两条分割线p，所述两条分割线 p将人脸依次划分为左脸区201、正脸区202及右脸区203。
可以理解，在步骤S23中，所述两条分割线靠近嘴角一侧相对嘴角远离预设距离，使得所述该预设距离大于所述过渡区靠近嘴角一侧的宽度。具体地，如图7所示，所述过渡区T1分为对称的T2及T3两部分，所述预设距离大于或等于所述T3的宽度，以使所述嘴角位于所述过渡区外，以保证嘴角的完整性。
可以理解，步骤S21～S22仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S22。
请参阅图8，步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值。步骤S3具体包括步骤S31～S32：
步骤S31：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及
步骤S32：基于所述视角参数，将所述人脸网格模型中每一网格投影至对应的正视图像、左视图像或右视图像上，获取每一网格对应的像素值。
可以理解，在步骤S31中，由于人脸网格模型为类柱状结构，故可基于柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以将人脸网格模型基于正视投影方向展开为对应的纹理网格图。
可以理解，在步骤S32中，所述视角参数为相机参数，所述相机参数包括内参和外参，内参包括缩放因子及焦距，外参包括旋转矩阵及平移矩阵，这些参数组成了相机的投影矩阵。所述视角参数将人脸网格模型与所述多张人脸图像上的点进行匹配，以使人脸网格模型中的顶点投影至每一人脸图像上，故可基于匹配的顶点确认每一网格对应的像素值。
可以理解，步骤S31～S32仅为该实施例的一种实施方式，其实施方式并不限定于步骤S31～S32。
请参阅图9，步骤S4：基于预设规则，将每一网格对应的像素值填充所述纹理网格图，获得人脸的纹理贴图。步骤 S4具体包括步骤S41～S45：
步骤S41：判断所述人脸网格模型中每一网格相对于所述正视图像是否可见，若是，则进入步骤S42，若否，则进入步骤S43；
步骤S42：判断所述网格是否位于过渡区，若是，则进入步骤S44，若否，则进入步骤S45；
步骤S43：基于人脸朝向及拍摄方向之间的角度，将左视图像及右视图像对应的每一网格的像素值填充至纹理网格图对应的位置；
步骤S44：在左视图像与正视图像获取对应网格的像素值、右视图像与正视图像获取对应网格的像素值，进行加权平均处理后分别填充至纹理网格图上对应的位置；及
步骤S45：在正视图像获取对应网格的像素值并填充至纹理网格图对应的位置。
可以理解，在步骤S41中，通过判断每一网格相对于人脸朝向方向的夹角β是否位于α(-5°<α<5°)范围内，以确认左脸区及右脸区的像素值进行填充。
在步骤S43中，当所述夹角β位于-45°<β<-30°范围内时，判定该网格位于人脸的左视图像，将左视图像中对应的网格内的像素值填充至纹理网格图对应的位置。当所述夹角β位于30°<β<45°范围内时，判定该网格位于人脸的右视图像，将右视图像中对应的网格内的像素值填充至纹理网格图对应的位置，完成对纹理网格图中左脸及右脸的纹理填充。
通过步骤S45，可将正视图像对应的网格内像素值填充至纹理网格图内，并结合步骤S43，可获得所述人脸的纹理贴图。例如，如图10中所示，可基于经过步骤S43及步骤S45之后获得人脸的纹理贴图400。
可以理解，步骤S41～S45仅为该实施例的一种实施方式，其实施方式并不限定于步骤S41～S45。
请参阅图11，上述步骤S44具体包括以下步骤：
步骤S441：计算所述网格与所述过渡区远离正脸区一侧边界的距离与过渡区宽度的比值，获取权重；及
步骤S442：基于所述权重，将所述过渡区内的网格像素进行加权平均处理。
可以理解，在步骤S441中，所述网格位于过渡区中，也即所述网格同时位于左脸区与正脸区或右脸区与正脸区，故需要对分割线两侧的纹理进行加权平均处理，以使得分割线两侧的纹理成像更加自然。
具体地，以右脸区为例，可基于如下公式计算过渡区内的网格像素值：
T′＝ωT″r+(1-ω)T″m
Figure BDA0002230143870000111
其中，T′为过渡区内的网格像素值，T″r为右视图像中网格的像素值，T″m为正视图像中网格的像素值，ω为权重，l-l0为所述网格与过渡区远离正脸区一侧边界的距离，l1-l0为过渡区宽度。左脸区的计算方式与上述右脸区的相同，在此不再赘述。
由上式可知，通过计算过渡区内网格在不同区域的比重获取权重，并根据权重计算过渡区内网格的像素值，以对网格的纹理进行加权平均处理，在过渡区内形成平滑、自然的纹理。例如，如图12所示，每一过渡区的纹理具有“渐入渐出”的过渡效果，使用加权平均的纹理融合方式实现了纹理无缝拼接，可进一步让纹理贴图成像更自然，提高成像质量。
可以理解，步骤S441～S442仅为该实施例的一种实施方式，其实施方式并不限定于步骤S441～S442。
请参阅图13，本发明第二实施例还提供一种基于人脸网格模型的纹理贴图生成系统。该基于人脸网格模型的纹理贴图生成系统可以包括：
模型及图像获取单元1，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
人脸分割单元2，用于获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区；
投影单元3，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值；及
纹理填充单元4，用于基于预设规则，将每一网格对应的像素值填充所述纹理网格图，获得人脸的纹理贴图。
可以理解，本发明第二实施例提供的一种基于人脸网格模型的纹理贴图生成系统特别适用于基于三维人脸网格模型的纹理贴图计算系统，该系统可基于输入的人脸网格模型及多个视角采集到的所述目标对象的多张人脸图像，获取人脸网格模型对应的纹理贴图，该纹理贴图对不同视角的分割方法具有自适应性，区域的分割符合不同人脸纹理特征，避免了在纹理复杂区域(如眼睛、鼻子或嘴巴)进行分割，提高了纹理贴图的成像质量。同时，使用加权平均的纹理融合方式实现了纹理无缝拼接，让过渡区内的成像更自然。
请参阅图14，本发明第三实施例提供一种用于实施上述基于人脸网格模型的纹理贴图生成方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项基于人脸网格模型的纹理贴图生成方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项基于人脸网格模型的纹理贴图生成方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
具体地，所述电子设备特别适用于基于三维人脸网格模型的纹理贴图计算系统，该系统可基于输入的人脸网格模型及多个视角采集到的所述目标对象的多张人脸图像，获取人脸网格模型对应的纹理贴图，该纹理贴图对不同视角的分割方法具有自适应性，区域的分割符合不同人脸纹理特征，避免了在纹理复杂区域(如眼睛、鼻子或嘴巴)进行分割，提高了纹理贴图的成像质量。同时，使用加权平均的纹理融合方式实现了纹理无缝拼接，让过渡区内的成像更自然。
与现有技术相比，本发明提供的一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备，具有以下优点：
1、通过获取一目标对象的人脸网格模型及多个视角采集到的所述目标对象的多张人脸图像，并基于正视图像中的多个关键点建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区，并基于纹理网格图，将多张人脸图像的像素值依次填充至对应区域，获得人脸的纹理贴图，通过设立所述分割线，以将人脸依次划分为左脸区、正脸区及右脸区，使得具有复杂纹理的人脸特征(例如眼睛、鼻子及嘴巴等)完全位于同一区域内，此分割方法具有自适应性，区域的分割符合不同人脸纹理特征，避免了在纹理复杂区域进行分割，提高了纹理贴图的成像质量。
2、通过在所述左脸区与正脸区、正脸区与右脸区之间设置过渡区，所述过渡区位于分割线的相对两侧，并将位于过渡区内的网格纹理进行加权平均处理，使用加权平均的纹理融合方式实现了纹理无缝拼接，可进一步让纹理贴图成像更自然，提高成像质量。
3、通过获取所述正视图像中人脸的眉角、嘴角、额角、太阳穴及眼角的对称关键点，并计算眉角、眼角及太阳穴关键点坐标的均值，获得中间点，依次连接额角、中间点及嘴角的关键点以获得所述两条分割线，使得本发明提供的基于人脸网格模型的纹理贴图生成方法可适应多种不同的人脸纹理特征，具有自适应性。
4、所述过渡区每一部分的宽度小于或等于所述分割线与所述嘴角的距离，使得嘴角纹理位于过渡区之外，进一步保证了嘴角纹理的完整性，提高成像质量。
5、通过柱状投影方式获取每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，计算更简单，提高计算效率。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和 /或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括模型及图像获取单元、人脸分割单元、投影单元以及纹理填充单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，贴图获取单元还可以被描述为“基于预设规则，将每一网格对应的像素值填充所述纹理网格图，获得人脸的纹理贴图的单元”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区；基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值；及基于预设规则，将每一网格对应的像素值填充至所述纹理网格图，获得人脸的纹理贴图。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种基于人脸网格模型的纹理贴图生成方法，其特征在于：包括如下步骤:
步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
步骤S2：获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区；
步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值；及
步骤S4：基于预设规则，将每一网格对应的像素值填充至所述纹理网格图，获得人脸的纹理贴图。
2.如权利要求1中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S2与步骤S3之间还包括：
步骤S100：在所述左脸区与正脸区、正脸区与右脸区之间设置过渡区，所述过渡区位于分割线的相对两侧。
3.如权利要求2中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S2具体包括如下步骤：
步骤S21：获取所述正视图像中人脸的眉角、嘴角、额角、太阳穴及眼角的对称关键点，并计算眉角、眼角及太阳穴关键点坐标的均值，获得中间点；
步骤S22：依次连接额角、中间点及嘴角的关键点以获得两条分割线；及
步骤S23：所述两条分割线靠近嘴角一侧相对嘴角远离预设距离，将所述人脸依次划分为左脸区、正脸区及右脸区。
4.如权利要求3中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S100中，所述分割线将所述过渡区划分为对称的两部分；
所述过渡区每一部分的宽度小于或等于所述分割线与所述嘴角的距离。
5.如权利要求1中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S3具体包括如下步骤：
步骤S31：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及
步骤S32：基于所述视角参数，将所述人脸网格模型中每一网格投影至对应的正视图像、左视图像或右视图像上，获取每一网格对应的像素值。
6.如权利要求1中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S1具体包括如下步骤：
步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及
步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。
7.如权利要求6中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S4具体包括如下步骤：
步骤S41：判断所述人脸网格模型中每一网格相对于所述正视图像是否可见，若是，则进入步骤S42，若否，则进入步骤S43；
步骤S42：判断所述网格是否位于过渡区，若是，则进入步骤S44，若否，则进入步骤S45；
步骤S43：基于人脸朝向及拍摄方向之间的角度，将左视图像及右视图像对应的每一网格的像素值填充至纹理网格图对应的位置；
步骤S44：在左视图像与正视图像获取对应网格的像素值、右视图像与正视图像获取对应网格的像素值，进行加权平均处理后分别填充至纹理网格图上对应的位置；及
步骤S45：在正视图像获取对应网格的像素值并填充至纹理网格图对应的位置。
8.如权利要求7中所述基于人脸网格模型的纹理贴图生成方法，其特征在于：上述步骤S44具体包括以下步骤：
步骤S441：计算所述网格与所述过渡区远离正脸区一侧边界的距离与过渡区宽度的比值，获取权重；及
步骤S442：基于所述权重，将所述过渡区内的网格像素进行加权平均处理。
9.一种基于人脸网格模型的纹理贴图生成系统，其特征在于，包括：
模型及图像获取单元，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
人脸分割单元，用于获取所述正视图像中的多个关键点，并基于人脸中的多个关键点，建立分割线，所述分割线将所述正视图像中的人脸依次划分为左脸区、正脸区及右脸区；
投影单元，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，获取每一顶点对应于纹理贴图的二维坐标，获得纹理网格图，再将所述人脸网格模型中每一网格投影至对应的人脸图像上，获取每一网格对应的像素值；及
纹理填充单元，用于基于预设规则，将每一网格对应的像素值填充所述纹理网格图，获得人脸的纹理贴图。
10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述基于人脸网格模型的纹理贴图生成方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述基于人脸网格模型的纹理贴图生成方法。
CN201910967366.9A 2019-10-11 2019-10-11 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备 Pending CN110782507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910967366.9A CN110782507A (zh) 2019-10-11 2019-10-11 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967366.9A CN110782507A (zh) 2019-10-11 2019-10-11 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN110782507A true CN110782507A (zh) 2020-02-11

Family

ID=69385168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910967366.9A Pending CN110782507A (zh) 2019-10-11 2019-10-11 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110782507A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739167A (zh) * 2020-06-16 2020-10-02 北京百度网讯科技有限公司 3d人头重建方法、装置、设备和介质
CN111862342A (zh) * 2020-07-16 2020-10-30 北京字节跳动网络技术有限公司 增强现实的纹理处理方法、装置、电子设备及存储介质
WO2021170127A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 一种半身像的三维重建方法及装置
CN113850888A (zh) * 2020-06-28 2021-12-28 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN114140863A (zh) * 2022-01-29 2022-03-04 深圳市中讯网联科技有限公司 基于人脸识别的签到方法、装置、存储介质及电子设备
CN115965735A (zh) * 2022-12-22 2023-04-14 百度时代网络技术（北京）有限公司 纹理贴图的生成方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021170127A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 一种半身像的三维重建方法及装置
CN111739167A (zh) * 2020-06-16 2020-10-02 北京百度网讯科技有限公司 3d人头重建方法、装置、设备和介质
CN111739167B (zh) * 2020-06-16 2023-10-03 北京百度网讯科技有限公司 3d人头重建方法、装置、设备和介质
CN113850888A (zh) * 2020-06-28 2021-12-28 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN111862342A (zh) * 2020-07-16 2020-10-30 北京字节跳动网络技术有限公司 增强现实的纹理处理方法、装置、电子设备及存储介质
CN114140863A (zh) * 2022-01-29 2022-03-04 深圳市中讯网联科技有限公司 基于人脸识别的签到方法、装置、存储介质及电子设备
CN115965735A (zh) * 2022-12-22 2023-04-14 百度时代网络技术（北京）有限公司 纹理贴图的生成方法和装置
CN115965735B (zh) * 2022-12-22 2023-12-05 百度时代网络技术（北京）有限公司 纹理贴图的生成方法和装置

Similar Documents

Publication Publication Date Title
US11410320B2 (en) Image processing method, apparatus, and storage medium
CN110782507A (zh) 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
US10609282B2 (en) Wide-area image acquiring method and apparatus
JP6595726B2 (ja) 両眼視野／単眼視野間の移行
US9918011B2 (en) Omnistereo imaging
JP6563609B2 (ja) 中間ビューからの効率的なキャンバスビューの生成
CN108876926B (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
US10373362B2 (en) Systems and methods for adaptive stitching of digital images
EP3534336B1 (en) Panoramic image generating method and apparatus
US7570280B2 (en) Image providing method and device
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
US20120320152A1 (en) Stereoscopic image generation apparatus and method
JP2008090617A (ja) 立体画像生成装置、方法およびプログラム
US20150187132A1 (en) System and method for three-dimensional visualization of geographical data
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
CN110738723A (zh) 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
US9165393B1 (en) Measuring stereoscopic quality in a three-dimensional computer-generated scene
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
CN111179210B (zh) 一种人脸的纹理贴图生成方法、系统及电子设备
JP6076083B2 (ja) 立体画像補正装置及びそのプログラム
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
CN109272453B (zh) 基于3d摄像机的建模装置及定位方法
KR100893381B1 (ko) 실시간 입체영상 생성방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination