CN111767876A - 一种有遮挡人脸图像的生成方法及装置 - Google Patents

一种有遮挡人脸图像的生成方法及装置 Download PDF

Info

Publication number
CN111767876A
CN111767876A CN202010633993.1A CN202010633993A CN111767876A CN 111767876 A CN111767876 A CN 111767876A CN 202010633993 A CN202010633993 A CN 202010633993A CN 111767876 A CN111767876 A CN 111767876A
Authority
CN
China
Prior art keywords
preset number
face
key points
image
shielding object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010633993.1A
Other languages
English (en)
Inventor
呼延康
周峰
杜康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202010633993.1A priority Critical patent/CN111767876A/zh
Publication of CN111767876A publication Critical patent/CN111767876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种有遮挡人脸图像的生成方法，包括：确定待遮挡人脸图像中第一预设数量的目标人脸关键点；依据第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，分别针对第一数量的目标人脸关键点和第一预设数量的遮挡物关键点对待遮挡人脸图像和遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形，将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。上述的方法中，通过将遮挡物关键点的三角形中投影到对应的人脸关键点图形中，得到存在遮挡物的人脸图像，避免了遮挡物刚性几何变换难以自然的贴合在人脸图像上的问题。

Description

一种有遮挡人脸图像的生成方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种有遮挡人脸图像的生成方法及装置。
背景技术
对于有遮挡人脸数据的生成，目前比较普遍的做法是采用根据人脸上的关键点的位置，对遮挡物(如口罩图，眼镜图等)进行适当比例的平移旋转和缩放，将遮挡物覆盖到无遮挡的人脸图像上，模拟出有遮挡的人脸图像。
但是，真实的人脸图像存在各种不同的姿态和角度，仅仅通过对遮挡物进行平移旋转缩放等刚性几何变换可能会出现遮挡物与人脸图像的贴合角度不匹配的情况，导致遮挡物难与人脸图像贴合。
发明内容
有鉴于此，本发明提供了一种有遮挡人脸图像的生成方法及装置用以解决真实的人脸图像存在各种不同的姿态和角度，仅仅通过对遮挡物进行平移旋转缩放等刚性几何变可能会出现遮挡物与人脸图像的贴合角度比匹配的情况，导致遮挡物难以自然的贴合在人脸图像上的问题，具体方案如下：
一种有遮挡人脸图像的生成方法，包括：
确定待遮挡人脸图像中第一预设数量的目标人脸关键点；
依据所述第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，其中，所述目标人脸关键点与所述遮挡物关键点存在对应关系；
分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形；
将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。
上述的方法，可选的，确定待遮挡人脸图像中第一预设数量的目标人脸关键点，包括：
获取所述待遮挡人脸图像中第三预设数量的人脸关键点，其中，所述第三预设数量大于等于所述第一预设数量；
获取所述遮挡物图像中的遮挡物类型以及与所述遮挡物类型对应的第一预设数量；
依据所述遮挡物类型，在所述第三预设数量的关键点中选取备选人脸关键点；
在所述备选人脸关键点中选取所述第一预设数量的目标人脸关键点。
上述的方法，可选的，分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形，包括：
依据所述第一数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，得到第二预设数量的人脸关键点三角形；
获取所述第二预设数量人脸关键点三角形各个边的连接关系；
依据所述连接关系和所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，得到所述第二预设数量的遮挡物关键点三角形。
上述的方法，可选的，将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像，包括：
针对每一个遮挡物关键点三角形，计算其中的每个点在对应的目标人脸关键点三角形中投影点；
获取每个点的像素值，将所述像素值添加到对应的投影点，得到存在遮挡物的人脸图像。
上述的方法，可选的，还包括：
预先对各个人脸图像进行筛选，得到待遮挡人脸图像。
一种有遮挡人脸图像的生成装置，包括：
第一确定模块，用于确定待遮挡人脸图像中第一预设数量的目标人脸关键点；
第二确定模块，用于依据所述第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，其中，所述目标人脸关键点与所述遮挡物关键点存在对应关系；
剖分模块，用于分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形；
投影模块，用于将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。
上述的装置，可选的，所述第一确定模块包括：
关键点获取单元，获取所述待遮挡人脸图像中第三预设数量的人脸关键点，其中，所述第三预设数量大于等于所述第一预设数量；
类型和数量获取单元，用于获取所述遮挡物图像中的遮挡物类型以及与所述遮挡物类型对应的第一预设数量；
第一选取单元，用于依据所述遮挡物类型，在所述第三预设数量的关键点中选取备选人脸关键点；
第二选取单元，用于在所述备选人脸关键点中选取所述第一预设数量的目标人脸关键点。
上述的装置，可选的，所述剖分模块包括：
第一剖分单元，用于依据所述第一数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，得到第二预设数量的人脸关键点三角形；
连接关系获取单元，用于获取所述第二预设数量人脸关键点三角形各个边的连接关系；
第二剖分单元，用于依据所述连接关系和所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，得到所述第二预设数量的遮挡物关键点三角形。
上述的装置，可选的，所述投影模块包括：
计算单元，用于针对每一个遮挡物关键点三角形，计算其中的每个点在对应的目标人脸关键点三角形中投影点；
投影单元，用于获取每个点的像素值，将所述像素值添加到对应的投影点，得到存在遮挡物的人脸图像。
上述的装置，可选的，还包括：
筛选模块，用于预先对各个人脸图像进行筛选，得到待遮挡人脸图像。
与现有技术相比，本发明包括以下优点：
本发明公开了一种有遮挡人脸图像的生成方法，包括：确定待遮挡人脸图像中第一预设数量的目标人脸关键点；依据第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，分别针对第一数量的目标人脸关键点和第一预设数量的遮挡物关键点对待遮挡人脸图像和遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形，将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。上述的方法中，通过将遮挡物关键点的三角形中投影到对应的人脸关键点图形中，得到存在遮挡物的人脸图像，避免了遮挡物刚性几何变换难以自然的贴合在人脸图像上的问题。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种有遮挡人脸图像的生成方法流程图；
图2为本申请实施例公开的人脸关键点示意图；
图3为本申请实施例公开的口罩中遮挡物关键点选取的示意图；
图4为本申请实施例公开的人脸关键点三角形剖分示意图；
图5为本申请实施例公开的人脸关键点三角形和口罩关键点三角形的对应关系示意图；
图6为本申请实施例公开的戴口罩的人脸图像示意图；
图7为本申请实施例公开的一种有遮挡人脸图像的生成装置结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本发明公开了一种有遮挡人脸图像的生成方法及装置，应用在有遮挡的人脸图像的生成过程中，由于目前的有遮挡的人脸图像均是通过对遮挡物(如口罩图，眼镜图等)进行适当比例的平移旋转和缩放，将遮挡物覆盖到无遮挡的人脸图像上，模拟出有遮挡的人脸图像，导致遮挡与人脸图像不贴合，因此，本发明提供了一种有遮挡人脸图像的生成方法，所述生成方法的执行流程如图1所示，包括步骤:
S101、确定待遮挡人脸图像中第一预设数量的目标人脸关键点；
本发明实施例中，人脸图像存在各种不同的姿态和角度，优选的，可以预先对人脸图像进行筛选，将人脸图像中旋转角度大于预设的旋转角阈值的人脸图像进行剔除，得到待遮挡人脸图像，可以进一步的保证遮挡物在人脸图像更贴合，其中，所述预设的旋转角阈值可以依据经验或者具体情况进行设定，本发明实施例中，对所述预设的旋转角阈值的具体取值不进行限定。
所述第一数量的目标人脸关键点的是在第三预设数量的人脸关键点中选取得到，期中，所述地三预设数量大于等于所述第一预设数量，选取的过程如下：在得到所述待遮挡人脸图像以后，用人脸关键点检测器检测人脸关键点，每种关键点检测器的检测的人脸关键点可以是68点，72点，108点、118点以及其它点数都可以。本发明实施例中，以所述第三预设数量为118为例进行说明基于关键点检测器可以获得118个人脸关键点。
P＝[p0,p1,p2,…,p117],这里pi＝[xi,yi],i＝0,1,2,…,117。
人脸关键点示意图如图2所示。
期中，所述第一预设数量的选取可以依据实际情况或者遮挡物的类型有关，预先设定遮挡物类型与所述第一预设数量的对关系，具体的设定原则可以依据经验或者具体情况进行设定，本发明实施例中对具体的设定原则不进行限定，例如，所述遮挡物可以为口罩或者眼镜等类型，以所述遮挡物为口罩为例进行说明，假设与口罩对应的第一预设数量为27，依据口罩的佩戴习惯，备选关键区域为人脸图像中眼睛下方的区域，将所述第三预设数量人脸关键中处于述备选关键区域中的人脸关键点备选人脸关键点，在所述备选人脸关键点中选取第一预设数量的目标人脸关键点，其中，具体的选取原则可以依据经验或者具体情况进行确定，保证所述第一预设数量的目标人脸关键点符合口罩的佩戴习惯，对具体的选取原则不进行限定。
S102、依据所述第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，其中，所述目标人脸关键点与所述遮挡物关键点存在对应关系；
本发明实施例中，将所述待遮挡人脸图像和遮挡物图像置于同一坐标系中，针对所述待遮挡人脸图像中的每一个目标人脸关键点，计算该目标人脸关键点与所述遮挡物图像边缘的各个点的距离，将各个距离中最短距离对应的点作为与当前目标人脸关键点对应的遮挡物关键点，建立了目标人脸关键点与遮挡物关键点的对应关系。
以所述遮挡物为口罩为例，依据所述第一预设数量的目标人脸关键点在口罩中确定27个遮挡物关键点，口罩中遮挡物关键点确定后的示意图如图3所示。
S103、分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形；
本发明实施例中，分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，可以先针对所述第一预设数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，依据剖分结果，针对所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，也可以先针对所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，依据剖分结果，针对所述第一预设数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，其中，三角形剖分的原则主要是保证没有边相交就可以，剖分过程中，可以直接剖分为三角形，也可以剖分为其它多边形后继续剖分为三角形。
其中，以优先对所述第一预设数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分为例进行说明，依据所述第一预设数量的目标人脸关键点待遮挡人脸图像进行三角形剖分，得到第二预设数量的人脸关键点三角形，以所述第一预设数量为27为例，如图4所示，将所述第一预设数量的人脸关键点划分为28个人脸关键点三角形，获取28个人脸关键点三角形边的连接关系，因此，依据所述连接关系和所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，得到28个口罩关键点三角形。
S104、将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像
本发明实施例中，基于S103得到的28个口罩关键点三角形，将28个口罩三角形区域依次映射到所述待遮挡人脸图像上，以其中一个三角形为例，如图5所示，设人脸关键点三角形的三个顶点按照逆时针顺序分别为
Figure BDA0002567125830000081
Figure BDA0002567125830000082
如5(1)所示，口罩图上对应的口罩关键点三角形区域的三个顶点按照逆时针顺序分别为
Figure BDA0002567125830000083
如5(2)所示，口罩关键点三角形区域内一点
Figure BDA0002567125830000084
在人脸上的对应投影点
Figure BDA0002567125830000085
在可以按照公式(1)进行计算：
Figure BDA0002567125830000086
其中，
Figure BDA0002567125830000087
Figure BDA0002567125830000088
Figure BDA0002567125830000089
且k1+k2+k3＝1
其中，
Figure BDA00025671258300000810
的面积：
Figure BDA00025671258300000811
的计算过程如下：已知三角形三个顶点坐标按照逆时针方向为A＝[xa,ya],B＝[xb,yb],C＝[xc,yc]
三角形面积可由以下行列式计算：
Figure BDA00025671258300000812
计算得到
Figure BDA0002567125830000091
在口罩图上的映射点
Figure BDA0002567125830000092
之后，获取
Figure BDA0002567125830000093
点对应像素的RGB，就可以将点
Figure BDA0002567125830000094
对应像素的RGB值赋值给
Figure BDA0002567125830000095
对应的位置，依此遍历每一个口罩关键点三角形中的每一个点，就可以将口罩图贴到人脸上，形成戴口罩遮挡的人脸图像，如图6所示。
本发明公开了一种有遮挡人脸图像的生成方法，包括：确定待遮挡人脸图像中第一预设数量的目标人脸关键点；依据第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，分别针对第一数量的目标人脸关键点和第一预设数量的遮挡物关键点对待遮挡人脸图像和遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形，将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。上述的方法中，通过将遮挡物关键点的三角形中投影到对应的人脸关键点图形中，得到存在遮挡物的人脸图像，避免了遮挡物刚性几何变换难以自然的贴合在人脸图像上的问题。
基于上述的一种有遮挡人脸图像的生成方法，本发明实施例中，还提供了一种有遮挡人脸图像的生成装置，所述生成装置的结构框图如图7所示，包括：第一确定模块201、第二确定模块202、剖分模块203和投影模块204。
其中，
所述第一确定模块201，用于确定待遮挡人脸图像中第一预设数量的目标人脸关键点；
所述第二确定模块202，用于依据所述第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，其中，所述目标人脸关键点与所述遮挡物关键点存在对应关系；
所述剖分模块203，用于分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形；
所述投影模块204，用于将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。
本发明公开了一种有遮挡人脸图像的生成装置，包括：确定待遮挡人脸图像中第一预设数量的目标人脸关键点；依据第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，分别针对第一数量的目标人脸关键点和第一预设数量的遮挡物关键点对待遮挡人脸图像和遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形，将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。上述的装置中，通过将遮挡物关键点的三角形中投影到对应的人脸关键点图形中，得到存在遮挡物的人脸图像，避免了遮挡物刚性几何变换难以自然的贴合在人脸图像上的问题。
本发明实施例中，所述第一确定模块201包括：
关键点获取单元205、类型和数量获取单206、第一选取单元207和第二选取单元208。
其中，
所述关键点获取单元205，获取所述待遮挡人脸图像中第三预设数量的人脸关键点，其中，所述第三预设数量大于等于所述第一预设数量；
所述类型和数量获取单元206，用于获取所述遮挡物图像中的遮挡物类型以及与所述遮挡物类型对应的第一预设数量；
所述第一选取单元207，用于依据所述遮挡物类型，在所述第三预设数量的关键点中选取备选人脸关键点；
所述第二选取单元208，用于在所述备选人脸关键点中选取所述第一预设数量的目标人脸关键点。
本发明实施例中，所述剖分模块203包括：
第一剖分单元209、连接关系获取单元210和第二剖分单元211。
其中，
所述第一剖分单元209，用于依据所述第一数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，得到第二预设数量的人脸关键点三角形；
所述连接关系获取单元210，用于获取所述第二预设数量人脸关键点三角形各个边的连接关系；
所述第二剖分单元211，用于依据所述连接关系和所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，得到所述第二预设数量的遮挡物关键点三角形。
本发明实施例中，所述投影模块204包括：
计算单元212和投影单元213。
其中，
所述计算单元212，用于针对每一个遮挡物关键点三角形，计算其中的每个点在对应的目标人脸关键点三角形中投影点；
所述投影单元213，用于获取每个点的像素值，将所述像素值添加到对应的投影点，得到存在遮挡物的人脸图像。
本发明实施例中，所述生成装置还包括：筛选模块214。
其中，
所述筛选模块214，用于预先对各个人脸图像进行筛选，得到待遮挡人脸图像。
需要说明的是，各个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种有遮挡人脸图像的生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种有遮挡人脸图像的生成方法，其特征在于，包括：
确定待遮挡人脸图像中第一预设数量的目标人脸关键点；
依据所述第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，其中，所述目标人脸关键点与所述遮挡物关键点存在对应关系；
分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形；
将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。
2.根据权利要求1所述的方法，其特征在于，确定待遮挡人脸图像中第一预设数量的目标人脸关键点，包括：
获取所述待遮挡人脸图像中第三预设数量的人脸关键点，其中，所述第三预设数量大于等于所述第一预设数量；
获取所述遮挡物图像中的遮挡物类型以及与所述遮挡物类型对应的第一预设数量；
依据所述遮挡物类型，在所述第三预设数量的关键点中选取备选人脸关键点；
在所述备选人脸关键点中选取所述第一预设数量的目标人脸关键点。
3.根据权利要求1所述的方法，其特征在于，分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形，包括：
依据所述第一数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，得到第二预设数量的人脸关键点三角形；
获取所述第二预设数量人脸关键点三角形各个边的连接关系；
依据所述连接关系和所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，得到所述第二预设数量的遮挡物关键点三角形。
4.根据权利要求1所述的方法，其特征在于，将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像，包括：
针对每一个遮挡物关键点三角形，计算其中的每个点在对应的目标人脸关键点三角形中投影点；
获取每个点的像素值，将所述像素值添加到对应的投影点，得到存在遮挡物的人脸图像。
5.根据权利要求1所述的方法，其特征在于，还包括：
预先对各个人脸图像进行筛选，得到待遮挡人脸图像。
6.一种有遮挡人脸图像的生成装置，其特征在于，包括：
第一确定模块，用于确定待遮挡人脸图像中第一预设数量的目标人脸关键点；
第二确定模块，用于依据所述第一预设数量的目标人脸关键点，确定遮挡物图像中第一预设数量的遮挡物关键点，其中，所述目标人脸关键点与所述遮挡物关键点存在对应关系；
剖分模块，用于分别针对所述第一数量的目标人脸关键点和所述第一预设数量的遮挡物关键点对所述待遮挡人脸图像和所述遮挡物图像进行三角形剖分，得到第二预设数量的人脸关键点三角形和第二预设的数量的遮挡物关键点三角形；
投影模块，用于将每一个遮挡关键点三角形投影到对应的人脸关键点三角形中，得到存在遮挡物的人脸图像。
7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：
关键点获取单元，获取所述待遮挡人脸图像中第三预设数量的人脸关键点，其中，所述第三预设数量大于等于所述第一预设数量；
类型和数量获取单元，用于获取所述遮挡物图像中的遮挡物类型以及与所述遮挡物类型对应的第一预设数量；
第一选取单元，用于依据所述遮挡物类型，在所述第三预设数量的关键点中选取备选人脸关键点；
第二选取单元，用于在所述备选人脸关键点中选取所述第一预设数量的目标人脸关键点。
8.根据权利要求6所述的装置，其特征在于，所述剖分模块包括：
第一剖分单元，用于依据所述第一数量的目标人脸关键点对所述待遮挡人脸图像进行三角形剖分，得到第二预设数量的人脸关键点三角形；
连接关系获取单元，用于获取所述第二预设数量人脸关键点三角形各个边的连接关系；
第二剖分单元，用于依据所述连接关系和所述第一预设数量的遮挡物关键点对所述遮挡物图像进行三角形剖分，得到所述第二预设数量的遮挡物关键点三角形。
9.根据权利要求6所述的装置，其特征在于，所述投影模块包括：
计算单元，用于针对每一个遮挡物关键点三角形，计算其中的每个点在对应的目标人脸关键点三角形中投影点；
投影单元，用于获取每个点的像素值，将所述像素值添加到对应的投影点，得到存在遮挡物的人脸图像。
10.根据权利要求6所述的装置，其特征在于，还包括：
筛选模块，用于预先对各个人脸图像进行筛选，得到待遮挡人脸图像。
CN202010633993.1A 2020-07-02 2020-07-02 一种有遮挡人脸图像的生成方法及装置 Pending CN111767876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010633993.1A CN111767876A (zh) 2020-07-02 2020-07-02 一种有遮挡人脸图像的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010633993.1A CN111767876A (zh) 2020-07-02 2020-07-02 一种有遮挡人脸图像的生成方法及装置

Publications (1)

Publication Number Publication Date
CN111767876A true CN111767876A (zh) 2020-10-13

Family

ID=72724288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010633993.1A Pending CN111767876A (zh) 2020-07-02 2020-07-02 一种有遮挡人脸图像的生成方法及装置

Country Status (1)

Country Link
CN (1) CN111767876A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487923A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种人脸头部姿态训练数据的获取方法及系统
CN113537054A (zh) * 2021-07-15 2021-10-22 重庆紫光华山智安科技有限公司 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1063614A2 (en) * 1999-06-22 2000-12-27 The One Infinite Inc. Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium
CN106709931A (zh) * 2015-07-30 2017-05-24 中国艺术科技研究所 一种脸谱映射至人脸的方法、脸谱映射装置
CN109410119A (zh) * 2017-08-18 2019-03-01 北京凤凰都市互动科技有限公司 面具图像变形方法及其系统
CN110533777A (zh) * 2019-08-01 2019-12-03 北京达佳互联信息技术有限公司 三维人脸图像修正方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1063614A2 (en) * 1999-06-22 2000-12-27 The One Infinite Inc. Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium
CN106709931A (zh) * 2015-07-30 2017-05-24 中国艺术科技研究所 一种脸谱映射至人脸的方法、脸谱映射装置
CN109410119A (zh) * 2017-08-18 2019-03-01 北京凤凰都市互动科技有限公司 面具图像变形方法及其系统
CN110533777A (zh) * 2019-08-01 2019-12-03 北京达佳互联信息技术有限公司 三维人脸图像修正方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487923A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种人脸头部姿态训练数据的获取方法及系统
CN113537054A (zh) * 2021-07-15 2021-10-22 重庆紫光华山智安科技有限公司 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10489956B2 (en) Robust attribute transfer for character animation
KR101923845B1 (ko) 이미지 처리 방법 및 장치
Wei et al. Fisheye video correction
CN105453131B (zh) 图像的自动调整
CN111667403B (zh) 一种有遮挡的人脸图像的生成方法及装置
US9881417B2 (en) Multi-view drawing apparatus of three-dimensional objects, and method
CN107240120B (zh) 视频中运动目标的跟踪方法及装置
US10169891B2 (en) Producing three-dimensional representation based on images of a person
CN111767876A (zh) 一种有遮挡人脸图像的生成方法及装置
WO2022237026A1 (zh) 平面信息检测方法及系统
CN107949851B (zh) 在场景内的物体的端点的快速和鲁棒识别
US20200117952A1 (en) Target object position prediction and motion tracking
CN113393577B (zh) 一种倾斜摄影地形重建方法
JP2001067463A (ja) 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
CN113706373A (zh) 模型重建方法及相关装置、电子设备和存储介质
CN110766744B (zh) 一种基于3d深度摄像头的mr体积测量方法及装置
CN113706431B (zh) 模型优化方法及相关装置、电子设备和存储介质
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN108876704A (zh) 人脸图像变形的方法、装置及计算机存储介质
CN111402429A (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
WO2021093276A1 (zh) 人群计数系统中基于可变形高斯核的训练数据生成方法
Leubner et al. Computer-vision-based human-computer interaction with a back projection wall using arm gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination