CN111862287A - 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备 - Google Patents

眼部纹理图像生成方法、纹理贴图方法、装置和电子设备 Download PDF

Info

Publication number
CN111862287A
CN111862287A CN202010699832.2A CN202010699832A CN111862287A CN 111862287 A CN111862287 A CN 111862287A CN 202010699832 A CN202010699832 A CN 202010699832A CN 111862287 A CN111862287 A CN 111862287A
Authority
CN
China
Prior art keywords
eye
texture
image
pupil
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010699832.2A
Other languages
English (en)
Other versions
CN111862287B (zh
Inventor
章菲倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010699832.2A priority Critical patent/CN111862287B/zh
Publication of CN111862287A publication Critical patent/CN111862287A/zh
Application granted granted Critical
Publication of CN111862287B publication Critical patent/CN111862287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例公开了一种眼部纹理图像生成方法、纹理贴图方法、装置和电子设备，眼部纹理图像生成方法包括：从包含人眼的素材图像中提取眼部关键点和瞳孔关键点；获取眼部关键点和瞳孔关键点在素材图像中的源位置；根据眼部关键点和瞳孔关键点的源位置确定眼部关键点和瞳孔关键点的在预设纹理图像中的目标位置；根据源位置和目标位置对素材图像进行变形处理以生成素材图像中人眼的眼部纹理图像。由于确定眼部关键点和瞳孔关键点在纹理图像中的目标位置，根据目标位置对素材图像变形处理得到的眼部纹理图像的瞳孔部分纹理不会被挤压或者拉伸，既无需收集大量眼部数据，又可以获得瞳孔在不同角度时无扭曲的眼部纹理图像，提高了眼部纹理的贴图效果。

Description

眼部纹理图像生成方法、纹理贴图方法、装置和电子设备
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种眼部纹理图像生成方法、纹理贴图方法、装置和电子设备。
背景技术
随着图像处理技术的发展，对视频中的人脸进行编辑、虚拟人重建等成为热点应用，而人脸纹理是人脸编辑、虚拟人重建等应用中的重点，尤其是眼部纹理更是必不可少的部分。
眼部纹理是眼部纹理图像在三维人脸上的贴图效果，目前，主要采用线性插值方法和数据驱动方法来生成眼部纹理图像，线性插值方法是对给定的纹理图片素材进行线性插值后生成纹理图像，当三维人脸模型的眼部在睁眼或者闭眼甚至眼部的角度不同时，生成的纹理图像贴图后，眼部纹理的瞳孔部分会被拉伸或者挤压，难以生成瞳孔在不同角度无扭曲的眼部纹理；而采用数据驱动方法，需要收集大量各种样式不同的眼部数据作为储备，基于大量眼部数据生成合适的眼部纹理。
综上所述，现有技术中眼部纹理图像贴图后存在瞳孔部分的纹理变形或者需要收集大量眼部数据来生成眼部纹理图像的问题。
发明内容
本发明实施例提供一种眼部纹理图像生成方法、纹理贴图方法、装置和电子设备、存储介质，以解决现有眼部纹理图像贴图后存在瞳孔部分的纹理变形，或者需要收集大量眼部数据来生成眼部纹理图像的问题。
第一方面，本发明实施例提供了一种眼部纹理图像生成方法，包括：
从包含人眼的素材图像中提取眼部关键点和瞳孔关键点；
获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置；
根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，所述目标位置为所述眼部关键点和所述瞳孔关键点在预设纹理图像中的位置；
根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
第二方面，本发明实施例提供了一种纹理贴图方法，包括：
获取待纹理贴图的三维人脸模型；
获取包含人眼的素材图像；
基于所述素材图像生成眼部纹理图像；
采用所述眼部纹理图像对所述三维人脸模型进行贴图处理，得到贴图后的三维人脸模型；
其中，所述眼部纹理图像根据本发明任一实施例所述的眼部纹理图像生成方法所生成。
第三方面，本发明实施例提供了一种眼部纹理图像生成装置，包括：
关键点提取模块，用于从包含人眼的素材图像中提取眼部关键点和瞳孔关键点；
源位置获取模块，用于获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置；
目标位置计算模块，用于根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，所述目标位置为所述眼部关键点和所述瞳孔关键点在预设纹理图像中的位置；
眼部纹理图像生成模块，用于根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
第四方面，本发明实施例提供了一种纹理贴图装置，包括：
三维人脸模型获取模块，用于获取待纹理贴图的三维人脸模型；
素材图像获取模块，用于获取包含人眼的素材图像；
眼部纹理图像生成模块，用于基于所述素材图像生成眼部纹理图像；
贴图模块，用于采用所述眼部纹理图像对所述三维人脸模型进行贴图处理，得到贴图后的三维人脸模型；
其中，所述眼部纹理图像根据本发明任一实施例所述的眼部纹理图像生成方法所生成。
第五方面，本发明实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的眼部纹理图像生成方法和/或纹理贴图方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的眼部纹理图像生成方法和/或纹理贴图方法。
本发明实施例从包含人眼的素材图像中提取眼部关键点和瞳孔关键点后，获取眼部关键点和瞳孔关键点在素材图像中的源位置，并根据源位置确定眼部关键点和瞳孔关键点在预设纹理图像中的目标位置，根据源位置和目标位置对素材图像进行变形处理以生成素材图像中人眼的眼部纹理图像。本发明实施例通过确定眼部关键点和瞳孔关键点的源位置和目标位置来对素材图像进行变形处理获得眼部纹理图像，由于确定了眼部关键点和瞳孔关键点在纹理图像中的目标位置，素材图像变形处理得到的眼部纹理图像贴图后的瞳孔部分纹理不会被挤压或者拉伸，既无需收集大量眼部数据来驱动生成眼部纹理图像，又可以获得瞳孔在不同角度时无扭曲的眼部纹理图像，从而提高了眼部纹理的贴图效果。
附图说明
图1是本发明实施例一提供的一种眼部纹理图像生成方法的步骤流程图；
图2A是本发明实施例二提供的一种眼部纹理图像生成方法的步骤流程图；
图2B是本发明实施例中眼部关键点和瞳孔关键点的示意图；
图3是本发明实施例三提供的一种纹理贴图方法的步骤流程图；
图4是本发明实施例四提供的一种眼部纹理图像生成装置的结构框图；
图5是本发明实施例五提供的一种纹理贴图装置的结构框图；
图6是本发明实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
实施例一
图1为本发明实施例一提供的一种眼部纹理图像生成方法的步骤流程图，本发明实施例可适用于生成眼部纹理图像的情况，该方法可以由本发明实施例的眼部纹理图像生成装置来执行，该眼部纹理图像生成装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的眼部纹理图像生成方法可以包括如下步骤：
S101、从包含人眼的素材图像中提取眼部关键点和瞳孔关键点。
在本发明实施例中，纹理图像可以是指在对三维人脸模型进行渲染时，用于对三维人脸模型进行贴图的图像，具体到本发明实施例中，纹理图像可以是用于对三维人脸模型中的眼睛区域进行贴图的眼部纹理图像。
在本发明的一个示例中，需要对预先建立好的三维人脸模型贴图时，用户可以选择一张包含人眼的素材图像来生成眼部纹理图像，通过该眼部纹理图像对三维人脸模型进行眼部贴图，使得三维人脸模型具有与素材图像中的人眼相同的眼部纹理，当然，也可以采用素材图像来生成完整的人脸纹理图像，通过该人脸纹理图像对三维人脸模型进行贴图后，使得三维人脸模型具有与素材图像中的人脸纹理，且人脸纹理中的眼部纹理与素材图像中人眼的眼部纹理相同。
其中，眼部关键点可以是指人眼的轮廓上的关键点，瞳孔关键点可以是人眼中瞳孔的轮廓上的关键点，眼部关键点和瞳孔关键点的数量可以任意设置，本发明实施例对此不加以限制。
本发明实施例可以通过人脸关键点检测算法对素材图像执行人脸关键点检测，从而获得眼部关键点和瞳孔关键点，其中，人脸关键点检测算法可以为预先训练的人脸关键点检测模型，或者是只检测眼部关键点和瞳孔关键点的检测模型，本发明实施例对提取眼部关键点和瞳孔关键点的方法不加以限制。
S102、获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置。
在本发明实施例中，关键点在素材图像中的源位置可以是指像素点的像素位置，即关键点所在的像素点在素材图像中的位置，示例性地，对于一张素材图像，在素材图像的宽度(列)和高度方向(行)上像素点的数量确定时，可以以素材图像的左下角作为原点定位像素点的位置，例如关键点所在的像素点A，该关键点的源位置可以为(80，300)，即关键点在素材图像中第300行和第80列交叉的像素点上，当然，本领域技术人员还可以设置左上角或者其他点作为原点来计算关键点的源位置。
S103、根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，所述目标位置为所述眼部关键点和所述瞳孔关键点在预设纹理图像中的位置。
在采用预设纹理图像对三维人脸模型进行纹理贴图的过程中，需要确定眼部关键点和瞳孔关键点在预设纹理图像中的纹理坐标，在本发明的一个示例中，可以采用预设的人脸纹理图像对三维人脸模型进行人脸贴图获得脸部纹理，而脸部纹理中的眼部纹理需要从素材图像中获得，因此，预设纹理图像可以为整个人脸的人脸纹理图像，三维人脸模型上的每个点映射到该人脸纹理图像上的像素点，即三维人脸模型上的每个点都关联有纹理坐标，则可以获得三维人脸模型上标注的眼部关键点在预设人脸纹理图像中的纹理坐标，从而根据纹理坐标来确定眼部关键点在人脸纹理图像中的目标位置。
对于瞳孔关键点，由于三维人脸模型和素材图像中眼睛的闭合程度或者瞳孔位置不同，可以先通过眼部关键点的源位置和目标位置计算眼睛中心点的位移、眼睛缩放比例，根据中心点位移、眼睛缩放比例以及瞳孔关键点的源位置来计算瞳孔关键点在纹理图像中的目标位置。当然，在实际应用中，本领域技术人员还可以直接指定眼部关键点和瞳孔关键点的目标位置，本发明实施例对确定眼部关键点和瞳孔关键点的目标位置的方式不加以限制。
S104、根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
本发明实施例的目的在于使得素材图像变为适用于进行纹理贴图的纹理图像，具体地，在确定眼部关键点和瞳孔关键点的源位置和目标位置后，可以对素材图像进行变形处理，示例性地，可以采用图像变形算法将眼部关键点和瞳孔关键点从源位置调整到目标位置，素材图像上的其他像素点平滑过渡，图像变形处理后的素材图像即为纹理图像，该纹理图像中的眼部区域的图像为眼部纹理图像，可以将整张图像变形处理后的素材图像作为纹理图像应用于三维人脸模型的人脸贴图，使得人脸贴图后的三维人脸模型的眼部纹理与素材图像的眼部纹理相同，当然，也可以从图像变形处理后的素材图像中截取出眼部区域得到眼部纹理图像，将该眼部纹理图像贴图到三维人脸模型的眼部区域，同样使得三维人脸模型的眼部纹理与素材图像的眼部纹理相同。
本发明实施例通过确定眼部关键点和瞳孔关键点的源位置和目标位置来对素材图像进行变形处理获得眼部纹理图像，由于确定了眼部关键点和瞳孔关键点在纹理图像中的目标位置，素材图像变形处理得到的眼部纹理图像贴图后的瞳孔部分纹理不会被挤压或者拉伸，既无需收集大量眼部数据来驱动生成眼部纹理图像，又可以获得瞳孔在不同角度时无扭曲的眼部纹理图像，从而提高眼部纹理的贴图效果。
实施例二
图2A为本发明实施例二提供的一种眼部纹理图像生成方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实施例的眼部纹理图像生成方法可以包括如下步骤：
S201、从包含人眼的素材图像中提取眼部关键点和瞳孔关键点。
本发明实施例可以通过人脸关键点检测算法对素材图像执行人脸关键点检测，从而获得眼部关键点和瞳孔关键点，眼部关键点可以是指人眼的轮廓上的关键点，瞳孔关键点可以是人眼中瞳孔的轮廓上的关键点，如图2B所示，眼部关键点在外围轮廓的关键点0-关键点21，瞳孔关键点为外围轮廓内部的关键点0-关键点18，当然还可以设置其他数量的眼部关键点和瞳孔关键点，本发明实施例对眼部关键点和瞳孔关键点的数量不加以限制，对提取眼部关键点和瞳孔关键点的算法亦不加以限制。
S202、确定所述眼部关键点和所述瞳孔关键点在所述素材图像中的像素点。
在素材图像中，人眼由多个像素点组成，在检测到眼部关键点和瞳孔关键点后，可以在素材图像上确定眼部关键点和瞳孔关键点所在的像素点。
S203、计算所述像素点在所述素材图像中的位置作为所述眼部关键点和所述瞳孔关键点的源位置。
源位置可以是指像素点在素材图像中的位置，该位置可以采用像素点在素材图像中的行和列来表示，示例性地，素材图像的宽度(列)和高度方向(行)上像素点的数量是确定的，可以以素材图像的左下角或者左上角作为宽度(列)和高度方向(行)的原点，从而可以确定眼部关键点和瞳孔关键点所对应的像素点的行和列，计算像素点所在的行和列即为眼部关键点和瞳孔关键点在素材图像中的源位置。
S204、确定模板网格，所述模板网格上标注有眼部关键点，以及所述眼部关键点在预设纹理图像中的纹理坐标。
在本发明实施例中，可以预先设置模板网格，该模板网格包括多个顶点，并且预先设置纹理图像，示例性地，模板网格为人脸模板网格，该人脸模板网格用于生成三维人脸模型，纹理图像为用于对模板网格进行纹理贴图的人脸纹理图像，模板网格上的各个顶点具有纹理图像中的纹理坐标，在模板网格上标注出眼部关键点，则可以确定眼部关键点在纹理图像中的纹理坐标。
S205、在所述预设纹理图像中确定出所述纹理坐标对应的像素点的像素位置作为所述眼部关键点的目标位置。
在本发明的可选实施例中，可以确定纹理图像的宽度和高度，计算宽度与纹理坐标的乘积、高度与纹理坐标的乘积得到像素点的像素位置作为眼部关键点的目标位置。
具体地，用于对模板网格进行纹理贴图的纹理图像，其宽度和高度可以用像素点数量来表示，即宽度方向有多少列像素点，高度方向有多少行像素点，纹理坐标为0-1之间的数值，则眼部关键点的目标位置
Figure BDA0002592613730000091
为：
Figure BDA0002592613730000092
其中i是眼部关键点的序号，(ui,vi)是眼部关键点i的纹理坐标，纹理坐标为值0到1之间的数值，w为纹理图像的宽度方向的像素点个数，h为纹理图像的高度方向的像素点个数
示例性地，纹理图像的宽度和高度为(500，600)，即纹理图像在宽度方向有500列像素点，高度方向有600行像素点，如果眼部关键点的纹理坐标为(0.5，0.4)，则该眼部关键点在纹理图像中的像素点的位置为0.5×500＝250，0.4×600＝240，即眼部关键点的目标位置为(250，240)。
S206、采用所述眼部关键点的源位置和目标位置计算眼部位移和眼部缩放比例。
在本发明实施例中，针对每个眼睛，可以计算眼睛中每个眼部关键点的目标位置和源位置的差值，以及计算差值的均值作为眼部位移，然后从眼部关键点中确定出位于眼角的两个眼角关键点，采用两个眼角关键点的源位置和目标位置计算眼部缩放比例。
在人脸中，可以分别计算每个眼睛的眼部位移和眼部缩放比例，如图2B中以左眼为示例，眼部位移的计算公式如下：
Figure BDA0002592613730000101
上述公式中，αl为左眼眼部位移，
Figure BDA0002592613730000102
为眼部关键点的目标位置，
Figure BDA0002592613730000103
为眼部关键点的源位置，i是眼部关键点的序号。
在计算眼部缩放比例时，可以计算两个眼角关键点的源位置的第一差值，以及计算两个眼角关键点的目标位置的第二差值，计算第二差值与第一差值的比值作为眼部缩放比例，具体计算公式如下：
Figure BDA0002592613730000104
上述公式中，βl为左眼眼部缩放比例，
Figure BDA0002592613730000111
为眼角关键点10和眼角关键点11的目标位置的差值，
Figure BDA0002592613730000112
为眼角关键点10和眼角关键点11的源位置的差值。当然，在实际应用中，计算眼部缩放比例时，还可以参考其他任意两个眼部关键点而不仅仅限于眼角关键点，本发明实施例对此不加以限制。
S207、采用所述眼部位移、所述眼部缩放比例以及所述瞳孔关键点的源位置计算所述瞳孔关键点的目标位置。
在本发明实施例中，在计算瞳孔关键点的目标位置时，针对每个瞳孔，计算瞳孔关键点的源位置的均值作为瞳孔中心点位置，计算瞳孔关键点的源位置与瞳孔中心点位置的第三差值，计算第三差值与眼部缩放比例的乘积，最后计算乘积、瞳孔中心点位置和眼部位移的和值作为瞳孔关键点的目标位置。
其中，以左眼为示例，瞳孔中心点位置的计算公式如下：
Figure BDA0002592613730000113
上述公式中，cl为左眼瞳孔中心点位置，
Figure BDA0002592613730000114
为左眼瞳孔关键点位置，如图2B所示，左眼瞳孔关键点一共有19个关键点。
左眼瞳孔关键点的目标位置计算公式如下：
Figure BDA0002592613730000115
Figure BDA0002592613730000117
左眼瞳孔关键点目标位置，cl为左眼瞳孔中心点位置，
Figure BDA0002592613730000116
为左眼瞳孔关键点位置，βl为左眼眼部缩放比例，αl为左眼眼部位移。
在上述S206-S207中以左眼作为示例详细说明了眼部位移、眼部缩放比例、瞳孔中心点位置和瞳孔关键点目标位置，在实际应用中右眼的计算方式与左眼相同，在此不再详述。
本发明实施例先计算眼部瞳孔关键点的目标位置，然后通过瞳孔关键点的目标位置计算眼部位移、眼部缩放比例来计算瞳孔关键点的目标位置，使得瞳孔关键点能够在素材图像变形处理时同步位移和缩放，从而得到瞳孔在不同角度时无扭曲的眼部纹理。
S208、根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
具体地，可以采用预设变形算法将素材图像上眼部关键点和瞳孔关键点从源位置变形至目标位置后得到变形后的素材图像，变形后的素材图像中眼部区域的图像即为人眼的眼部纹理图像。其中，变形算法可以是image warping(图像变形)，变形算法可以将眼部关键点和瞳孔关键点从源位置调整到目标位置，素材图像上的其他像素点平滑过渡，当然，本领域技术人员还可以采用其他变形算法来对素材图像进行变形处理。
在本发明的一个示例中，可以将整个素材图像变形处理后的图像中的眼部区域截取出来作为眼部纹理图像，该眼部纹理图像贴图到三维人脸模型后，三维人脸模型的人眼与素材图像中的人眼具有相同的眼部纹理。
本发明实施例从素材图像提取眼部关键点和瞳孔关键点后，确定眼部关键点和瞳孔关键点在素材图像中的像素点的像素位置作为源位置，根据模板网格确定眼部关键点在纹理图像中的目标位置，并根据眼部关键点的源位置和目标位置计算眼部位移和眼部缩放比例，进而可以采用眼部位移、眼部缩放比例以及瞳孔关键点的源位置计算瞳孔关键点的目标位置，最后根据源位置和目标位置对素材图像进行变形处理以生成素材图像中人眼的眼部纹理图像，由于确定了眼部关键点和瞳孔关键点在纹理图像中的位置，素材图像变形处理得到的眼部纹理图像贴图后的瞳孔部分纹理不会被挤压或者拉伸，既无需收集大量眼部数据来驱动生成眼部纹理图像，又获得瞳孔在不同角度下无扭曲的眼部纹理图像，从而提高眼部纹理的贴图效果。
进一步地，通过瞳孔关键点的目标位置计算眼部位移、眼部缩放比例来计算瞳孔关键点的目标位置，使得瞳孔关键点能够在素材图像变形处理时同步位移和缩放，避免素材图像中的人眼和三维人脸模型的眼部位置、大小不同造成瞳孔的纹理被挤压或者拉伸的问题，采用眼部纹理图像贴图后，能够获得良好的眼部纹理。
实施例三
图3为本发明实施例三提供的一种纹理贴图方法的步骤流程图，本发明实施例可适用于对眼部进行纹理贴图的情况，该方法可以由本发明实施例的纹理贴图装置来执行，该纹理贴图装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图3所示，本发明实施例的纹理贴图方法可以包括如下步骤：
S301、获取待纹理贴图的三维人脸模型。
在本发明实施例中，三维人脸模型可以是三维人脸模板网格所生成的模型，在获取三维人脸模型后，可以预先确定三维人脸模型上各个点在纹理图像中的纹理坐标。
在本发明可选实施例中，三维人脸模型可以是对待眼部编辑的图像进行三维重建后的人脸模型，该待眼部编辑的图像可以是相机拍摄的一种图像，网络上下载的图像，在一个示例中，待眼部编辑的图像可以是视频数据中的图像，例如，在对视频数据中的人眼的眼部纹理进行编辑时，可以获取待处理视频数据，从每帧视频数据中提取包含人脸图像的图像作为待眼部编辑的图像，然后对该图像进行三维重建获得三维人脸模型，当然，三维人脸模型还可以是用户指定的虚拟人的三维人脸模型，例如虚拟机器人的三维人脸模型，本发明实施例对获取三维人脸模型不加以限制。
S302、获取包含人眼的素材图像。
在一个示例中，用户需要将图像A中人眼、或者视频数据中的人眼、或者任意三维人脸模型的人眼的眼部纹理设置为图像B中人眼的眼部纹理时，图像B即为包含人眼的素材图像。
S303、基于所述素材图像生成眼部纹理图像。
在本发明实施例中对素材图像进行图像处理，使得素材图像变为适用于对三维人脸模型进行纹理贴图的纹理图像，具体可参考实施例一或者实施例二中的眼部纹理图像生成方法，在此不再详述。
S304、采用所述眼部纹理图像对所述三维人脸模型进行贴图处理，得到贴图后的三维人脸模型。
三维人脸模型上的每个点均具有纹理坐标，通过该纹理坐标可以确定该点在纹理图像中的像素点，可以通过该像素点对该点进行渲染获得贴图后三维人脸模型，具体到本发明实施例中，对于眼部纹理图像，可以确定三维人脸模型上眼部区域的各个点纹理坐标，例如眼部网格点的纹理坐标，通过该纹理坐标确定眼部网格点在眼部纹理图像中的像素点，通过该像素点来对眼部网格点渲染，使得三维人脸模型中人眼的眼部纹理与素材图像中人眼的眼部纹理相同，或者采用基于所述素材图像生成的纹理图像，该纹理图像的眼部区域为眼部纹理图像，采用整个纹理图像对三维人脸模型进行贴图，从而实现换脸操作，使得换脸后的三维人脸模型中人眼的眼部纹理与素材图像中人眼的眼部纹理相同。
本发明实施例的纹理贴图方法，在获取待纹理贴图的三维人脸模型和素材图像后，采用本发明实施例的眼部纹理图像生成方法将素材图像转换为眼部纹理图像，采用该眼部纹理图像对三维人脸模型进行贴图处理。由于眼部纹理图像生成方法确定了眼部关键点和瞳孔关键点在纹理图像中的目标位置，素材图像变形处理得到的眼部纹理图像贴图后的瞳孔部分纹理不会被挤压或者拉伸，既无需收集大量眼部数据来驱动生成眼部纹理图像，又可以获得瞳孔在不同角度时无扭曲的眼部纹理图像，从而提高眼部纹理的贴图效果。
实施例四
图4是本发明实施例四提供的一种眼部纹理图像生成装置的结构框图，如图4所示，本发明实施例的眼部纹理图像生成装置具体可以包括如下模块：
关键点提取模块401，用于从包含人眼的素材图像中提取眼部关键点和瞳孔关键点；
源位置获取模块402，用于获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置；
目标位置计算模块403，用于根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，所述目标位置为所述眼部关键点和所述瞳孔关键点在预设纹理图像中的位置；
眼部纹理图像生成模块404，用于根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
本发明实施例所提供的眼部纹理图像生成装置可执行本发明实施例一、实施例二所提供的眼部纹理图像生成方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种纹理贴图装置的结构框图，如图5所示，本发明实施例的纹理贴图装置具体可以包括如下模块：
三维人脸模型获取模块501，用于获取待纹理贴图的三维人脸模型；
素材图像获取模块502，用于获取包含人眼的素材图像；
眼部纹理图像生成模块503，用于基于所述素材图像生成眼部纹理图像；
贴图模块504，用于采用所述眼部纹理图像对所述三维人脸模型进行贴图处理，得到贴图后的三维人脸模型；
其中，所述眼部纹理图像根据实施例一或实施例二所提供的眼部纹理图像生成方法所生成。
本发明实施例所提供的纹理贴图装置可执行本发明实施例三所提供的纹理贴图方法，具备执行方法相应的功能模块和有益效果。
实施例六
参照图6，示出了本发明一个示例中的一种电子设备的结构示意图。如图6所示，该电子设备具体可以包括：处理器601、存储装置602、具有触摸功能的显示屏603、输入装置604、输出装置605以及通信装置606。该电子设备中处理器601的数量可以是一个或者多个，图6中以一个处理器601为例。该电子设备的处理器601、存储装置602、显示屏603、输入装置604、输出装置605以及通信装置606可以通过总线或者其他方式连接，图6中以通过总线连接为例。所述电子设备用于执行如本发明任一实施例提供的眼部纹理图像生成方法和/或纹理贴图方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的眼部纹理图像生成方法和/或纹理贴图方法。
需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种眼部纹理图像生成方法，其特征在于，包括：
从包含人眼的素材图像中提取眼部关键点和瞳孔关键点；
获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置；
根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，所述目标位置为所述眼部关键点和所述瞳孔关键点在预设纹理图像中的位置；
根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置，包括：
确定所述眼部关键点和所述瞳孔关键点在所述素材图像中的像素点；
计算所述像素点在所述素材图像中的位置作为所述眼部关键点和所述瞳孔关键点的源位置。
3.根据权利要求1所述的方法，其特征在于，所述根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，包括：
确定模板网格，所述模板网格上标注有眼部关键点，以及所述眼部关键点在预设纹理图像中的纹理坐标；
在所述预设纹理图像中确定出所述纹理坐标对应的像素点的像素位置作为所述眼部关键点的目标位置；
采用所述眼部关键点的源位置和目标位置计算眼部位移和眼部缩放比例；
采用所述眼部位移、所述眼部缩放比例以及所述瞳孔关键点的源位置计算所述瞳孔关键点的目标位置。
4.根据权利要求3所述的方法，其特征在于，所述在所述预设纹理图像中确定出所述纹理坐标对应的像素点的像素位置作为所述眼部关键点的目标位置，包括：
确定所述预设纹理图像的长度和宽度；
计算所述长度与所述纹理坐标的乘积、所述宽度与所述纹理坐标的乘积得到像素点的像素位置作为所述眼部关键点的目标位置。
5.根据权利要求3所述的方法，其特征在于，所述采用所述眼部关键点的源位置和目标位置计算眼部位移和眼部缩放比例，包括：
针对每个眼睛，计算所述眼睛中每个眼部关键点的目标位置和源位置的差值；
计算所述差值的均值作为眼部位移；
从所述眼部关键点中确定出位于眼角的两个眼角关键点；
采用两个眼角关键点的源位置和目标位置计算眼部缩放比例。
6.根据权利要求5所述的方法，其特征在于，所述采用两个眼角关键点的源位置和目标位置计算眼部缩放比例，包括：
计算两个眼角关键点的源位置的第一差值，以及计算两个眼角关键点的目标位置的第二差值；
计算所述第二差值与所述第一差值的比值作为眼部缩放比例。
7.根据权利要求3所述的方法，其特征在于，所述采用所述眼部位移、所述眼部缩放比例以及所述瞳孔关键点的源位置计算所述瞳孔关键点的目标位置，包括：
针对每个瞳孔，计算所述瞳孔关键点的源位置的均值作为瞳孔中心点位置；
计算所述瞳孔关键点的源位置与所述瞳孔中心点位置的第三差值；
计算所述第三差值与所述眼部缩放比例的乘积；
计算所述乘积、所述瞳孔中心点位置和所述眼部位移的和值作为所述瞳孔关键点的目标位置。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像，包括：
采用预设变形算法将所述素材图像上眼部关键点和瞳孔关键点从所述源位置变形至目标位置后得到变形后的素材图像；
从所述变形后的素材图像中截取眼部区域得到所述人眼的眼部纹理图像。
9.一种纹理贴图方法，其特征在于，包括：
获取待纹理贴图的三维人脸模型；
获取包含人眼的素材图像；
基于所述素材图像生成眼部纹理图像；
采用所述眼部纹理图像对所述三维人脸模型进行贴图处理，得到贴图后的三维人脸模型；
其中，所述眼部纹理图像根据权利要求1-8任一项所述的眼部纹理图像生成方法所生成。
10.根据权利要求9所述的方法，其特征在于，所述获取待纹理贴图的三维人脸模型，包括：
获取待眼部编辑的图像；
对所述待眼部编辑的图像进行三维人脸重建获得三维人脸模型；或
接收用户指定的虚拟人的三维人脸模型。
11.根据权利要求10所述的方法，其特征在于，所述获取待眼部编辑的图像，包括：
获取待处理视频数据；
从每帧视频数据中提取包含人脸图像的图像作为所述待眼部编辑的图像。
12.一种眼部纹理图像生成装置，其特征在于，包括：
关键点提取模块，用于从包含人眼的素材图像中提取眼部关键点和瞳孔关键点；
源位置获取模块，用于获取所述眼部关键点和所述瞳孔关键点在所述素材图像中的源位置；
目标位置计算模块，用于根据所述眼部关键点和所述瞳孔关键点的源位置确定所述眼部关键点和所述瞳孔关键点的目标位置，所述目标位置为所述眼部关键点和所述瞳孔关键点在预设纹理图像中的位置；
眼部纹理图像生成模块，用于根据所述源位置和所述目标位置对所述素材图像进行变形处理以生成所述素材图像中所述人眼的眼部纹理图像。
13.一种纹理贴图装置，其特征在于，包括：
三维人脸模型获取模块，用于获取待纹理贴图的三维人脸模型；
素材图像获取模块，用于获取包含人眼的素材图像；
眼部纹理图像生成模块，用于基于所述素材图像生成眼部纹理图像；
贴图模块，用于采用所述眼部纹理图像对所述三维人脸模型进行贴图处理，得到贴图后的三维人脸模型；
其中，所述眼部纹理图像根据权利要求1-8任一项所述的眼部纹理图像生成方法所生成。
14.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的眼部纹理图像生成方法和/或权利要求9-11任一项所述的纹理贴图方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的眼部纹理生成方法和/或权利要求9-11任一项所述的纹理贴图方法。
CN202010699832.2A 2020-07-20 2020-07-20 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备 Active CN111862287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699832.2A CN111862287B (zh) 2020-07-20 2020-07-20 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699832.2A CN111862287B (zh) 2020-07-20 2020-07-20 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111862287A true CN111862287A (zh) 2020-10-30
CN111862287B CN111862287B (zh) 2024-08-09

Family

ID=73001620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699832.2A Active CN111862287B (zh) 2020-07-20 2020-07-20 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111862287B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052064A (zh) * 2021-03-23 2021-06-29 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032452A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
CN103632136A (zh) * 2013-11-11 2014-03-12 北京天诚盛业科技有限公司 人眼定位方法和装置
CN104966280A (zh) * 2014-09-04 2015-10-07 腾讯科技（深圳）有限公司 照片处理方法及装置
CN105205779A (zh) * 2015-09-15 2015-12-30 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端
CN106570822A (zh) * 2016-10-25 2017-04-19 宇龙计算机通信科技(深圳)有限公司 一种人脸贴图方法及装置
JP2018136666A (ja) * 2017-02-21 2018-08-30 株式会社サムスン日本研究所 視線変換装置及び視線変換方法
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN109658331A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 图像处理方法、装置、系统及计算机存储介质
CN109886107A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 眼部图像处理方法、设备、图像处理设备、介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032452A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
CN103632136A (zh) * 2013-11-11 2014-03-12 北京天诚盛业科技有限公司 人眼定位方法和装置
CN104966280A (zh) * 2014-09-04 2015-10-07 腾讯科技（深圳）有限公司 照片处理方法及装置
CN105205779A (zh) * 2015-09-15 2015-12-30 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端
CN106570822A (zh) * 2016-10-25 2017-04-19 宇龙计算机通信科技(深圳)有限公司 一种人脸贴图方法及装置
JP2018136666A (ja) * 2017-02-21 2018-08-30 株式会社サムスン日本研究所 視線変換装置及び視線変換方法
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN109658331A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 图像处理方法、装置、系统及计算机存储介质
CN109886107A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 眼部图像处理方法、设备、图像处理设备、介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052064A (zh) * 2021-03-23 2021-06-29 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Also Published As

Publication number Publication date
CN111862287B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
Guo et al. Image retargeting using mesh parametrization
JP7109585B2 (ja) 画像処理方法及び装置、画像デバイス並びに記憶媒体
CN110807836B (zh) 三维人脸模型的生成方法、装置、设备及介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
JP7526412B2 (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN107292948B (zh) 一种人体建模方法、装置及电子设备
CN114373056B (zh) 一种三维重建方法、装置、终端设备及存储介质
US10169891B2 (en) Producing three-dimensional representation based on images of a person
CN103902730B (zh) 一种缩略图生成方法和系统
CN108876704B (zh) 人脸图像变形的方法、装置及计算机存储介质
CN109165571B (zh) 用于插入图像的方法和装置
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
US20220375163A1 (en) Computationally-Efficient Generation of Simulations of Cloth-Like Materials Using Bilinear Element Models
CN111862287B (zh) 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
WO2012167475A1 (zh) 生成形体动画的方法及装置
CN112102169A (zh) 一种红外图像拼接方法、装置和存储介质
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
CN110706351B (zh) 一种三角网格模型生成方法及装置
JPH0498367A (ja) ３次元形状作成方式
Kang et al. A highly accurate dense approach for homography estimation using modified differential evolution
JPH11175765A (ja) ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体
CN111652023A (zh) 嘴型的调整、直播方法、装置、电子设备和存储介质
CN118014910A (zh) 图像处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant