CN111179210A - 一种人脸的纹理贴图生成方法、系统及电子设备 - Google Patents

一种人脸的纹理贴图生成方法、系统及电子设备 Download PDF

Info

Publication number
CN111179210A
CN111179210A CN201911372885.7A CN201911372885A CN111179210A CN 111179210 A CN111179210 A CN 111179210A CN 201911372885 A CN201911372885 A CN 201911372885A CN 111179210 A CN111179210 A CN 111179210A
Authority
CN
China
Prior art keywords
eye
view
face
view image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911372885.7A
Other languages
English (en)
Other versions
CN111179210B (zh
Inventor
朱向军
王洁
应亚萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhijiang College of ZJUT
Original Assignee
Zhijiang College of ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhijiang College of ZJUT filed Critical Zhijiang College of ZJUT
Priority to CN201911372885.7A priority Critical patent/CN111179210B/zh
Publication of CN111179210A publication Critical patent/CN111179210A/zh
Application granted granted Critical
Publication of CN111179210B publication Critical patent/CN111179210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸的纹理贴图生成方法、系统及电子设备，本方法通过获取目标对象的人脸网格模型和多张不同视角的人脸图像，并将眼睛特征剔除出人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图，基于人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，基于眼睛图像、缺眼正视图及缺眼侧视图的像素，获得人脸的纹理贴图。通过剔除眼睛特征，将眼睛图像与其他的人脸图像独立进行纹理贴图的构建后重新融合，以获得最终的纹理贴图，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。

Description

一种人脸的纹理贴图生成方法、系统及电子设备
【技术领域】
本发明涉及图像处理领域，特别涉及一种人脸的纹理贴图生成方法、系统及电子设备。
【背景技术】
人脸贴图生成方法通常包括对人脸的形状以及对人脸形状上的纹理进行构建，但是现有的人脸的纹理贴图生成方法在构建时，由于在不同角度方向都可以看见部分眼睛特征，导致在融合各个角度的纹理贴图时，对眼睛特征的构建容易造成较大误差，导致对眼睛部分纹理构建的质量较低
【发明内容】
为了克服目前现有的人脸的纹理贴图生成方法中对眼睛特征部分形成的纹理贴图质量较低的问题，本发明提供人脸的纹理贴图生成方法、系统及电子设备。
本发明为解决上述技术问题，提供一技术方案如下：一种人脸的纹理贴图生成方法，包括如下步骤:步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图；步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。
优选地，上述步骤S2主要包括以下步骤：步骤S21：获取所述人脸的正视图像及侧视图像中每一特征点对应的二维坐标；步骤S22：基于步骤S21中的二维坐标，将人脸的正视图像及侧视图像中眼睛特征对应的区域进行裁剪，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图。
优选地，上述步骤S1主要包括以下步骤：步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。
优选地，步骤S11中获取目标对象的人脸网格模型包括但不限于多视图立体视觉的重建方法、单目视频重建及基于结构光重建的一种或多种。
优选地，步骤S4中具体包括：步骤S41：基于缺眼正视图及缺眼侧视图及对应特征点的二维坐标，对所述纹理网格图进行像素填充；步骤S42：判断网格是否位于正视图像上，若是则进入步骤S43，若否则进入步骤S44；步骤S43：将所述眼睛图像对应的像素填充所述网格；步骤S44：根据该网格临近像素值进行填充。
本发明还提供一种人脸的纹理贴图生成系统，包括：模型及图像获取单元，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；特征分割单元，用于识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图；投影单元，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及填充单元，用于基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的人脸的纹理贴图生成方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的人脸的纹理贴图生成方法。
与现有技术相比，本发明提供的一种人脸的纹理贴图生成方法、系统及电子设备，具有以下优点：
1、通过剔除所述眼睛特征，将眼睛图像与其他的人脸图像独立进行纹理贴图的构建后重新融合，以获得最终的纹理贴图，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。
2、通过柱状投影方式获取每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，计算更简单，提高计算效率。
3、通过判断所述网格是否位于正视图像上，可将正视图像对应的眼睛特征进行准确的构建，避免出现较大误差，提高纹理贴图对眼睛部分的准确构建。同时，侧视图像中眼睛区域较小，在侧视的纹理中对该区域的眼睛特征构建容易造成较大误差，通过网格临近像素值进行填充，避免对正视图像中的眼睛特征造成影响，将纹理贴图成像造成的误差降低。
【附图说明】
图1为本发明第一实施例提供的一种人脸的纹理贴图生成方法的流程图。
图2为本发明第一实施例提供的一种人脸的纹理贴图生成方法中步骤S1的细节流程图。
图3为本发明第一实施例提供的一种人脸的纹理贴图生成方法的步骤S2的细节流程图。
图4为本发明第一实施例提供的一种人脸的纹理贴图生成方法的步骤S4的细节流程图。
图5为本发明第二实施例提供的一种人脸的纹理贴图生成系统的模块图。
图6为本发明第三实施例提供的一种电子设备的模块图。
附图标记说明：
1、模型及图像获取单元；2、特征分割单元；3、投影单元；4、获取单元；
10、存储器；20、处理器；
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种人脸的纹理贴图生成方法，包括以下步骤：
步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数。
可以理解，所述人脸网格模型可基于三维人脸重建算法获得，所述三维人脸重建算法包括但不限于多视图立体视觉的重建方法、单目视频重建及基于结构光重建的任一种。
可以理解，所述目标对象的多张人脸图像通过多个视角进行采集，其中包括至少一张人脸的正视图像。上述图像的获取可以通过相机拍摄或视频截取获得，例如，在本实施例中，可通过相机拍摄不同角度的人脸图像，人脸朝向与相机的光轴夹角α范围在-10°＜α＜10°定义为所述正视图像。
步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图。
可以理解，通过剔除所述眼睛特征，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。
步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图。
可以理解，在步骤S3中，由于人脸外形与柱状结构相近，故采用柱状投影方式进行投影，根据柱状投影方式确定每一网格对应的二维坐标，使得投影获得的纹理网格图符合人脸的形状特征。
步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。
请参阅图2，步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数。步骤S1具体包括步骤S11～S12：
步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及
步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。
可以理解，在步骤S11中，所述人脸网格模型通过三维人脸模型重建算法获得，所述人脸网格模型中由多个三角形面片组合形成，每一三角形面片包括三个顶点，每一顶点具有唯一的三维坐标。
可以理解，在步骤S12中，可基于不同角度的相机对人脸进行拍摄以获取所述人脸的正视图像、左视图像及右视图像，在本实施例中，人脸朝向与相机的光轴夹角α范围在-50°＜α＜-40°定义为所述左视图像，α范围在40°＜α＜50°定义为所述右视图像。
可以理解，在步骤S12中，所述视角参数为相机本身固有的已知参数，可基于相机拍摄获取对应图像的相机参数。
可以理解，步骤S11～S12仅为该实施例的一种实施方式，其实施方式并不限定于步骤S11～S12。
请参阅图3，步骤S2：步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图。步骤S2具体包括步骤S21～S22：
步骤S21：获取所述人脸的正视图像及侧视图像中每一特征点对应的二维坐标；及
步骤S22：基于步骤S21中的二维坐标，将人脸的正视图像及侧视图像中眼睛特征对应的区域进行裁剪，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图。
可以理解，在步骤S22中，根据二维坐标对眼睛特征进行分割，以获得更加准确的眼睛图像，同时可方便后续步骤根据该二维坐标对纹理贴图进行处理。
可以理解，步骤S21～S22仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S22。
请参阅图4，步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。步骤S4具体包括步骤S41～S44：
步骤S41：基于缺眼正视图及缺眼侧视图及对应特征点的二维坐标，对所述纹理网格图进行像素填充；
步骤S42：判断网格是否位于正视图像上，若是则进入步骤S43，若否则进入步骤S44；
步骤S43：将所述眼睛图像对应的像素填充所述网格；及
步骤S44：根据该网格临近像素值进行填充。
可以理解，在步骤S41中，通过所述眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图中每一特征点对应的像素值，根据对应的二维坐标填充至对应的网格中，以实现纹理的构建。
可以理解，在步骤S42中，通过判断所述网格是否位于正视图像上，可将正视图像对应的眼睛特征进行准确的构建，避免出现较大误差，提高纹理贴图对眼睛部分的准确构建。
可以理解，在步骤S44中，通常侧视图像中眼睛区域较小，在侧视的纹理中对该区域的眼睛特征构建容易造成较大误差，故通过网格临近像素值进行填充，避免对正视图像中的眼睛特征造成影响，将纹理贴图成像造成的误差降低。
可以理解，步骤S41～S44仅为该实施例的一种实施方式，其实施方式并不限定于步骤S41～S44。
请参阅图5，本发明第二实施例还提供一种人脸的纹理贴图生成系统。该人脸的纹理贴图生成系统可以包括：
模型及图像获取单元1，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
特征分割单元2，用于识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图；
投影单元3，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及
填充单元4，用于基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。
可以理解，本发明第二实施例还提供一种人脸的纹理贴图生成系统中包括的上述多个单元的实施方式与上述第一实施例中相同，在此不再赘述。
请参阅图6，本发明第三实施例提供一种用于实施上述人脸的纹理贴图生成方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项人脸的纹理贴图生成方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项人脸的纹理贴图生成方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
与现有技术相比，本发明提供的一种人脸的纹理贴图生成方法、系统及电子设备，具有以下优点：
1、通过剔除所述眼睛特征，将眼睛图像与其他的人脸图像独立进行纹理贴图的构建后重新融合，以获得最终的纹理贴图，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。
2、通过柱状投影方式获取每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，计算更简单，提高计算效率。
3、通过判断所述网格是否位于正视图像上，可将正视图像对应的眼睛特征进行准确的构建，避免出现较大误差，提高纹理贴图对眼睛部分的准确构建。同时，侧视图像中眼睛区域较小，在侧视的纹理中对该区域的眼睛特征构建容易造成较大误差，通过网格临近像素值进行填充，避免对正视图像中的眼睛特征造成影响，将纹理贴图成像造成的误差降低。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括模型及图像获取单元、特征分割单元、投影单元以及填充单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，填充单元还可以被描述为“基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置执行上述步骤S1-步骤S4的方法。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (7)

1.一种人脸的纹理贴图生成方法，其特征在于：包括如下步骤:
步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图；
步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及
步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。
2.如权利要求1中所述人脸的纹理贴图生成方法，其特征在于：上述步骤S2主要包括以下步骤：
步骤S21：获取所述人脸的正视图像及侧视图像中每一特征点对应的二维坐标；及
步骤S22：基于步骤S21中的二维坐标，将人脸的正视图像及侧视图像中眼睛特征对应的区域进行裁剪，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图。
3.如权利要求1中所述人脸的纹理贴图生成方法，其特征在于：上述步骤S1主要包括以下步骤：
步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及
步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。
4.如权利要求3中所述人脸的纹理贴图生成方法，其特征在于：步骤S11中获取目标对象的人脸网格模型包括但不限于多视图立体视觉的重建方法、单目视频重建及基于结构光重建的一种或多种。
5.如权利要求2中所述人脸的纹理贴图生成方法，其特征在于：步骤S4中具体包括：
步骤S41：基于缺眼正视图及缺眼侧视图及对应特征点的二维坐标，对所述纹理网格图进行像素填充；
步骤S42：判断网格是否位于正视图像上，若是则进入步骤S43，若否则进入步骤S44；
步骤S43：将所述眼睛图像对应的像素填充所述网格；及
步骤S44：根据该网格临近像素值进行填充。
6.一种人脸的纹理贴图生成系统，其特征在于，包括：
模型及图像获取单元，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
特征分割单元，用于识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图；
投影单元，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及
填充单元，用于基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。
7.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述人脸的纹理贴图生成方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述人脸的纹理贴图生成方法。
CN201911372885.7A 2019-12-27 2019-12-27 一种人脸的纹理贴图生成方法、系统及电子设备 Active CN111179210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911372885.7A CN111179210B (zh) 2019-12-27 2019-12-27 一种人脸的纹理贴图生成方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911372885.7A CN111179210B (zh) 2019-12-27 2019-12-27 一种人脸的纹理贴图生成方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN111179210A true CN111179210A (zh) 2020-05-19
CN111179210B CN111179210B (zh) 2023-10-20

Family

ID=70650366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911372885.7A Active CN111179210B (zh) 2019-12-27 2019-12-27 一种人脸的纹理贴图生成方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN111179210B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782854A (zh) * 2020-07-07 2020-10-16 科珑诗菁生物科技(上海)有限公司 多视角投影美妆方法、及多视角投影美妆穿戴设备
CN114519761A (zh) * 2022-02-18 2022-05-20 佛山虎牙虎信科技有限公司 一种人脸纹理图的生成方法、装置、存储介质及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013144A1 (en) * 2000-08-10 2002-02-14 Ncubic Corp. 3d facial modeling system and modeling method
FR2828572A1 (fr) * 2001-08-13 2003-02-14 Olivier Cordoleani Procede de creation d'un personnage tridimensionnel
DE10334236A1 (de) * 2003-07-28 2005-03-03 Robert Bosch Gmbh System und Verfahren für die Erkennung von Objekten
CN101339669A (zh) * 2008-07-29 2009-01-07 上海师范大学 基于正侧面影像的三维人脸建模方法
CN102222363A (zh) * 2011-07-19 2011-10-19 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN106780713A (zh) * 2016-11-11 2017-05-31 吴怀宇 一种基于单幅照片的三维人脸建模方法及系统
CN107146199A (zh) * 2017-05-02 2017-09-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN107945267A (zh) * 2017-12-13 2018-04-20 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN108446642A (zh) * 2018-03-23 2018-08-24 四川意高汇智科技有限公司 一种快速人脸识别系统
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013144A1 (en) * 2000-08-10 2002-02-14 Ncubic Corp. 3d facial modeling system and modeling method
FR2828572A1 (fr) * 2001-08-13 2003-02-14 Olivier Cordoleani Procede de creation d'un personnage tridimensionnel
DE10334236A1 (de) * 2003-07-28 2005-03-03 Robert Bosch Gmbh System und Verfahren für die Erkennung von Objekten
CN101339669A (zh) * 2008-07-29 2009-01-07 上海师范大学 基于正侧面影像的三维人脸建模方法
CN102222363A (zh) * 2011-07-19 2011-10-19 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN106780713A (zh) * 2016-11-11 2017-05-31 吴怀宇 一种基于单幅照片的三维人脸建模方法及系统
CN107146199A (zh) * 2017-05-02 2017-09-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN107945267A (zh) * 2017-12-13 2018-04-20 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN108446642A (zh) * 2018-03-23 2018-08-24 四川意高汇智科技有限公司 一种快速人脸识别系统
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TARO GOTO: "Reshaping 3D facial scans for facial appearance modeling and 3D facial expression analysis", vol. 30, no. 10, pages 750 - 761 *
华斌;于艳艳;: "三维特定人脸生成的有效实现方法", no. 04, pages 198 - 201 *
涂亮: "基于网格模型的人脸表情合成算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 09, pages 138 - 749 *
金彪;姚志强;: "基于单幅人脸正视图的个性化人脸三维重建", no. 01, pages 36 - 41 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782854A (zh) * 2020-07-07 2020-10-16 科珑诗菁生物科技(上海)有限公司 多视角投影美妆方法、及多视角投影美妆穿戴设备
CN114519761A (zh) * 2022-02-18 2022-05-20 佛山虎牙虎信科技有限公司 一种人脸纹理图的生成方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN111179210B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US11410320B2 (en) Image processing method, apparatus, and storage medium
CN106780590B (zh) 一种深度图的获取方法及系统
US8849010B2 (en) Method and system for rectifying images
EP1303839B1 (en) System and method for median fusion of depth maps
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
CN110782507A (zh) 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
CN111325693B (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
CN109685879B (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
CN110738723A (zh) 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
KR102199458B1 (ko) 3차원 컬러 메쉬 복원 방법 및 장치
CN115035235A (zh) 三维重建方法及装置
CN111179210B (zh) 一种人脸的纹理贴图生成方法、系统及电子设备
CN113674354B (zh) 一种三维重建方法及系统
KR101593316B1 (ko) 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
CN114782636A (zh) 三维重建方法、装置及系统
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN111161407A (zh) 一种水下三维重建系统和方法
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
US20150145861A1 (en) Method and arrangement for model generation
CN113989434A (zh) 一种人体三维重建方法及设备
Kao Stereoscopic image generation with depth image based rendering
WO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant