CN112967329A - 图像数据优化方法、装置、电子设备及存储介质 - Google Patents
图像数据优化方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112967329A CN112967329A CN202110309128.6A CN202110309128A CN112967329A CN 112967329 A CN112967329 A CN 112967329A CN 202110309128 A CN202110309128 A CN 202110309128A CN 112967329 A CN112967329 A CN 112967329A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- key point
- dimensional key
- point set
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000005070 sampling Methods 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 235000005809 Carpobrotus aequilaterus Nutrition 0.000 description 1
- 235000004550 Disphyma australe Nutrition 0.000 description 1
- 241000200554 Disphyma crassifolium Species 0.000 description 1
- 241000197727 Euscorpius alpha Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供的图像数据优化方法、装置、电子设备及存储介质，包括：获得待处理的人脸图像，感兴趣部位的轮廓与三维关键点集中各个三维关键点连接成的边界线不匹配；根据人脸图像中感兴趣部位对应的二维关键点集，对感兴趣部位对应的三维关键点集中的三维关键点进行位置校正，获得感兴趣部位对应的目标三维关键点集；根据目标三维关键点集生成的目标人脸图像中，感兴趣部位的同一位置对应的三维关键点的投影位置与二维关键点之间的位置差距在预设范围内。本申请能够实现三维关键点与二维关键点对齐，提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。
Description
技术领域
本发明涉及人脸重建技术领域，具体而言，涉及一种图像数据优化方法、装置、电子设备及存储介质。
背景技术
基于图片数据进行三维(three3D)人脸重建已得到广泛应用,例如人脸表情驱动，AI三维动效等，以上应用的场景都基于三维人脸重建技术，对于这一类三维动效的需求，都需要建立在人脸的准确定位的基础上。
然而，目前的三维人脸重建技术存在无法做到人脸重建的完全精准的缺陷，例如，重建出的人脸在眼睛上重建出来的关键点与眼睛轮廓贴合度不能达到二维关键点的贴合程度，无法满足应用场景对于人脸准确定位的需求。
发明内容
有鉴于此，本发明提供了一种图像数据优化方法、装置、电子设备及存储介质，用以实现三维关键点与二维关键点对齐，提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。
本发明的实施例可以这样实现：
第一方面，本发明提供一种图像数据优化方法，所述方法包括：获取待处理的人脸图像；其中，所述人脸图像中存在与业务需求匹配的感兴趣部位；所述感兴趣部位对应有三维关键点集和二维关键点集；所述感兴趣部位的轮廓与所述三维关键点集中各个三维关键点连接成的边界线不匹配；根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集；根据所述目标三维关键点集，生成目标人脸图像；所述感兴趣部位的同一位置对应的所述三维关键点的投影位置与所述二维关键点之间的位置差距在预设范围内。
可选地，根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得目标三维关键点集，包括：确定所述感兴趣部位的多个三维采样点以及每个所述三维采样点对应位置上的二维采样点；所述三维采样点包含于所述三维关键点集中；所述二维采样点包含于所述二维关键点集中；根据所述三维采样点和所述二维采样点构建校正矩阵；根据所述校正矩阵，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述目标三维关键点集。
可选地，在根据所述校正矩阵，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述目标三维关键点集之后,还包括：依据人脸重建技术，确定所述人脸图像中的人脸姿态角度；根据所述人脸姿态角度对所述目标三维关键点集中的目标三维关键点进行角度校正。
可选地，在根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集之后，还包括：确定与所述感兴趣部位对应的联动区域；所述联动区域表征与所述感兴趣部位连接的区域，所述联动区域内的关键点的位置状态受所述感兴趣部位对应的关键点的位置状态影响；根据所述联动区域对应的二维关键点集和三维关键点集对所述联动区域内的三维关键点进行位置校正，获得所述联动区域对应的目标三维关键点集。
可选地，根据所述目标三维关键点集，生成目标人脸图像，包括：根据所述感兴趣部位和所述联动区域各自对应的目标三维关键点集，生成所述目标人脸图像。
可选地，确定所述感兴趣部位的多个三维采样点以及每个所述三维采样点对应位置上的二维特征点,包括：将所述感兴趣部位在水平方向上的距离最大的两个轮廓顶点确定为所述三维采样点；将所述两个轮廓顶点的连线的中垂线与所述感兴趣部位在竖直方向上的轮廓边界的交点确定为所述三维采样点。
可选地，还包括：对所述目标人脸图像进行处理，生成与所述业务需求匹配的三维形象图。
第二方面，本发明提供一种图像数据优化装置，包括：获取模块，用于获取待处理的人脸图像；其中，所述人脸图像中存在与业务需求匹配的感兴趣部位；所述感兴趣部位对应有三维关键点集和二维关键点集；所述感兴趣部位的轮廓与所述三维关键点集中各个三维关键点连接成的边界线不匹配；处理模块，用于根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集；生成模块，用于根据所述目标三维关键点集，生成目标人脸图像；所述感兴趣部位的同一位置对应的所述三维关键点的投影位置与所述二维关键点之间的位置差距在预设范围内。
第三方面，本发明提供一种电子设备，包括存储器和存储器，所述存储器存储有能够被所述存储器执行的计算机程序，所述存储器可执行所述计算机程序以实现第一方面所述的图像数据优化方法。
第四方面，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被存储器执行时实现第一方面所述的图像数据优化方法。
本发明提供的一种图像数据优化方法、装置、电子设备及存储介质，该方法在获得待处理的人脸图像后，根据人脸图像中感兴趣部位对应的二维关键点集，对感兴趣部位对应的三维关键点集中的三维关键点进行位置校正，获得感兴趣部位对应的目标三维关键点集；其中，感兴趣部位对应有三维关键点集和二维关键点集；感兴趣部位的轮廓与三维关键点集中各个三维关键点连接成的边界线不匹配；根据目标三维关键点集生成的目标人脸图像中，感兴趣部位的同一位置对应的三维关键点的投影位置与二维关键点之间的位置差距在预设范围内。由于现有的三维人脸重建技术获得的三维关键点与轮廓贴合程度不高，关键点定位不准确，因此，本申请利用定位准确的二维关键点对三维关键点进行位置校正，实现三维关键点与二维关键点对齐，从而提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种场景实例图；
图2为二维关键点与三维关键点的语义不同的差异示意图；
图3为本发明实施例提供的一种图像数据优化方法的示意性流程图；
图4为本发明实施例提供的另一种场景示意图；
图5为本发明实施例提供的步骤S32的一种实现方式的示意性流程图；
图6为本申请实施例提供的一种步骤S321的一种实现方式的示意性流程图；
图7为本发明实施例提供的一种获取采样点的示意图；
图8为本发明实施例提供的另一种图像数据优化方法的示意性流程图之一；
图9为一种嘴部联动区域的示意图；
图10为本发明实施例提供的另一种图像数据优化方法的示意性流程图之二；
图11提供了一种二维关键点的脸部示意图；
图12为本发明实施例提供的一种图像数据优化装置的功能模块图；
图13为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目前，基于图片数据进行三维(three3D)人脸重建已得到广泛应用,例如，在一些应用场景中，存在三维动效的需求，例如为人脸添加兔子耳朵，猪面具，戴帽子等特效，还有一些应用可以满足用户的捏脸的需求，即用户自拍了一张照片后，可以生成一个跟用户形象相似的三维卡通形象，除此之外，还有应用于人脸表情驱动等。以上应用的场景都基于三维人脸重建技术，对于这一类三维动效的需求，都需要建立在人脸精准定位的基础上，人脸的定位不仅包括一些关键点的定位，同时也包括人脸此时的状态信息，例如人头的旋转角度信息。
然而，目前已经存在大量的三维人脸重建方法，可以大体分两类，基于参数化模型的方法以及非参数化模型的方法。参数化模型的方法即可以用参数表达一个人脸模型，非参数化的方法即不能用参数表达模型的方法。由于二维人脸图像到三维人脸的过程其实是个从损失信息的低维度到高维度的过程，这个过程无法获得最优解，只能近似最优解，通常最优解的解法是让三维关键点投影到图像上的结果(投影二维关键点)与真实的二维关键点最接近，但即使如此，依然无法做到人脸细节达到二维关键点的程度，因此不论是参数化模型还是非参数化模型的方法，都存在无法做到人脸重建的完全精准的缺陷，例如，参见图1，图1为一种场景实例图，图1以眼睛为例，可以看出，利用二维重建技术，重建出的二维关键点与眼睛轮廓贴合度高，二维关键点连接成的边界线与眼睛轮廓边界基本吻合，但是通过三维重建技术得到的三维关键点不能达到二维关键点的贴合程度，无法满足应用场景对于人脸准确定位的需求。
另一方面，由于二维关键点与三维关键点的语义不同的差异，同样的二维投影结果可对应多种三维人脸，例如，参见图2，图2为二维关键点与三维关键点的语义不同的差异示意图，图2(a)为二维关键点的显示，图2(b)为三维关键点的显示。由于二维因为存在人头姿态这个变量，在图2(a)中重建的脸部轮廓的关键点实际上并不是人脸真正的轮廓，同理，结合图2(a)和图2(b)可以看出，以眼睛为例，在眼部同一位置二维关键点与三维关键点也不同，因此，现有技术也无法利用二维关键点去优化人脸重建过程达到细节最优。
为了解决上述技术问题，本发明提出了一种对三维人脸关键点细节优化的技术方案，相当于对三维人脸重建的细节进行优化，从而实现重建的三维关键点与脸部真实区域匹配。下面请参见图3，图3为本发明实施例提供的一种图像数据优化方法的示意性流程图，该方法包括：
S31、获取待处理的人脸图像。
可以理解的是，可以通过电子设备获得一张人脸图像，该电子设备可以但不限于是：
其中，人脸图像中可以存在与业务需求匹配的感兴趣部位，感兴趣部位可以根据业务需求自定义，例如，在一些应用中，需要为眼睛添加各种特效，获得模拟眼睛的各个动效，可以将感兴趣部位定义为眼睛；在另一些应用中，用户存在对嘴巴进行各种动效需求，则感兴趣部位可以定义为嘴巴，此处不做限定。
可以理解的是，上述的感兴趣部位对应有三维关键点集和二维关键点集，可以通过现有的任意一种二维人脸重建技术获得上述二维关键点集以及任意一种三维关键点技术获得上述三维关键点集。其中，关键点可以用来反映感兴趣部位的轮廓，三维关键点集和二维关键点集中均维护有关键点的位置坐标，例如，三维关键点集中包含的坐标(X,Y,Z),其中，Z表示关键点的深度信息，二维关键点集中包含坐标(X,Y)。
还可以理解的是，由于二维人脸重建技术的准确度高，因此，可以认为感兴趣部位的轮廓与二维关键点集中各个二维关键点连接成的边界线匹配；但由于三维人脸重建技术较二维人脸关键点复杂，在数据和算法上都存在无法做到人脸重建的完全精准，只能做到整体最优，故重建出的人脸在眼睛嘴巴关键点贴合度不能达到二维关键点的贴合程度，因此，在本申请实施例中，上述轮廓与三维关键点集中各个三维关键点连接成的边界线不匹配，也可以理解为，感兴趣部位同一轮廓位置对应的三维关键点投影到图像上的结果(二维关键点)与真实的二维关键点之间的差距在预设范围外。
S32、根据二维关键点集，对三维关键点集中的三维关键点进行位置校正，获得感兴趣部位对应的目标三维关键点集。
可以理解的是，由于二维关键点与感兴趣部位的轮廓贴合程度高，准确度高，因此，根据二维关键点集对三维关键点集进行位置校正，实现三维关键点与二维关键点对齐，从而提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。
S37、根据目标三维关键点集，生成目标人脸图像。
可以理解的是，生成的目标人脸图像中感兴趣部位的同一位置对应的三维关键点的投影位置与二维关键点之间的位置差距在预设范围内，这里的投影位置指得是将三维关键点投影到二维关键点所在平面上的位置，例如，对于眼部轮廓的左眼角位置对应的三维关键点坐标为(X’,Y’,Z),二维关键点坐标为(X,Y)，那么将(X’,Y’,Z)投影到二维平面上所得的投影位置为(X’,Y’)，进而计算(X’,Y’)与(X,Y)之间的位置差距，最终实现三维关键点与二维关键点对齐，生成的目标人脸图像可以提供给用户进行业务需求匹配的各种操作，准确度高。
例如，以感兴趣部位为眼睛和嘴巴为例，参见图4，图4为本发明实施例提供的另一种场景示意图，其中图4(a)展示了待处理的人脸图像，可以看出，在图像中，人脸中的左眼处于闭合状态，左嘴角处于上扬状态，但根据现有的三维人脸重建技术重建出来的三维关键点如图4(b)所示，三维关键点并没有与闭眼后的眼部轮廓以及上扬的嘴部轮廓相贴合，通过上述流程，可以实现如图4(c)的效果。
本发明提供的一种图像数据优化方法，包括获取待处理的人脸图像；根据人脸图像中感兴趣部位对应的二维关键点集，对感兴趣部位对应的三维关键点集中的三维关键点进行位置校正，获得感兴趣部位对应的目标三维关键点集；根据目标三维关键点集生成的目标人脸图像中，所述感兴趣部位的同一位置对应的所述三维关键点的投影位置与二维关键点之间的位置差距在预设范围内。由于现有的三维人脸重建技术关键点与脸部轮廓贴合程度不高，关键点定位不准确，因此，本申请利用定位准确的二维关键点对三维关键点进行位置校正，实现三维关键点与二维关键点对齐，从而提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。
在一些可能的实施例中，为了实现三维关键点与二维关键点对齐，下面给出一种对三维关键点进行校正的实现方式，参见图5，图5为本发明实施例提供的步骤S32的一种实现方式的示意性流程图，步骤S32可以包括：
S321、确定感兴趣部位的多个三维采样点以及每个三维采样点对应位置上的二维采样点。
可以理解的是，上述的三维采样点包含于三维关键点集中，同理，二维采样点也包含于二维关键点集中。采样点的个数远远小于关键点集中的关键点的个数。
S322、根据三维采样点和二维采样点构建校正矩阵。
例如，以感兴趣部位为眼睛为例，选取眼部的左眼角点、右眼角点、眼睛轮廓曲线垂直方向上的绝对顶点各自对应的三维关键点，共四个点A_3D,B_3D,C_3D,D_3D组成4*3的矩阵A3DB3DC3DD3D，作为三维采样点，同理，找到左眼角点、右眼角点、眼睛轮廓曲线垂直方向上的绝对顶点各自对应的二维关键点，共四个点A_2D,B_2D,C_2D,D_2D组成4*2的矩阵A2DB2DC2DD2D，基于A3DB3DC3DD3D计算与A2DB2DC2DD2D的最小二乘关系，解算校正矩阵Aaffine，其中，校正矩阵Aaffine与A3DB3DC3DD3D和A2DB2DC2DD2D之间满足的关系式可以形如：A3DB3DC3DD3D*Aaffine＝A2DB2DC2DD2D。
需要说明的是，对于脸部其他感兴趣部位，例如嘴巴，也可以通过上述处理方式来获得采样点以及校正矩阵，此处不再赘述。但需要注意的是，由于嘴巴由内嘴唇和外嘴唇组成，且外嘴唇与鼻子和下巴有连接的点，所以需要分内外嘴唇，内外嘴唇均选择4个点，最左最右最上最下四个顶点，并找到2D关键点对应的点。并按眼睛处理的方法做来获得采样点以及校正矩阵。
S323、根据校正矩阵，对三维关键点集中的三维关键点进行位置校正，获得目标三维关键点集。
可以理解的是，基于采样点计算出的校正矩阵Aaffine再作用于感兴趣区域的三维关键点集，即可获得优化后的目标三维关键点集，假设三维关键点集为X3D,目标三维关键点集为Y3D，则三维关键点集、目标三维关键点集和校正矩阵之间的关系式可以为：X3D*Aaffine＝Y3D。
在一些可能的实施例中，为了能够获得有效的采样点从而能够实现上述技术效果，下面给出一种选择采样点的实现方式，请参见图6，图6为本申请实施例提供的一种步骤S321的一种实现方式的示意性流程图，步骤S321可以包括以下子流程：
S321-1、将感兴趣部位在水平方向上的距离最大的两个轮廓顶点确定为三维采样点。
S321-2、将两个轮廓顶点的连线的中垂线与感兴趣部位在竖直方向上的轮廓边界的交点确定为三维采样点。
可以理解的是，上述选取方式的目的在于保证用于计算的点是真正的顶点。
为了方便理解，请参见图7，图7为本发明实施例提供的一种获取采样点的示意图。继续以眼部为例，取水平方向上的距离最大的两个轮廓顶点确定为三维采样点，即眼部左眼角点A_3D和右眼角点C_3D，然后是依据AC点连线的中垂线与上下边缘的交点，作为B_3D与D_3D，其中上下边缘可以理解为距离AC最远的两个关键点的连线。同理，按照同样的方式可以获得对应的二维采样点，此处不再赘述。
需要说明的是，上述选取的采样点的个数可以根据实际的需求自行定义，此处不做限定。
在一些可能的实施例中，由于二维关键点与三维关键点在角度稍大时语义不同，例如，在人脸存在姿态信息的情况下，二维关键点定位的脸部轮廓与三维关键点定位的脸部轮廓不同，所以需要依据人脸姿态信息对三维关键点集进行角度二次后处理，以确保结果的准确性。下面在图1的基础上，给出一种可能的实现，参见图8，图8为本发明实施例提供的另一种图像数据优化方法之一，该方法还包括：
S33、依据人脸重建技术，确定人脸图像中的人脸姿态角度。
S34、根据人脸姿态角度对目标三维关键点集中的目标三维关键点进行角度校正。
可以理解的是，通过人脸重建技术可以获得的人脸姿态角度(相当于人头旋转角度)alpha/180.0，将人脸姿态角度范围控制在0到1之间，然后利用人脸姿态角度对目标三维关键点集进行角度二次优化，优化方式形如：
Z3D＝X3D*(1.0-alpha/180.0)+Y3D*alpha/180.0)。
其中，Z3D度为角度优化后的目标三维关键点集，X3D为优化前的三维关键点集,Y3D为目标三维关键点集，alpha为人脸姿态角度。可以看出，如果是45度角时，即alpha等于0.5时，那输出的角度优化后的目标三维关键点集是XY使用了处理前后的点的平均点。
在一些可能的实施例中，对于脸部的一些感兴趣部位，其对应的三维关键点的会影响其他区域的关键点的位置，也就是说，这些关键点存在对应的联动关键点，例如，参见图9，图9为一种嘴部联动区域的示意图，从图中可以看出，在上嘴唇和鼻子之间的区域可以理解为嘴部的联动区域，也就是说，在嘴部出现姿态变化的时候，会带动联动区域的部位跟着变化，联动区域内的关键点的位置会受到上嘴唇的关键点的位置影响，同理，在下嘴唇和下巴之间的区域也可以理解为嘴部的联动区域，为了对这些区域的关键点实现位置校正，下面在图8的基础上，给出一种可能的实现方式，参见图10，图10为本发明实施例提供的另一种图像数据优化方法的示意性流程图之二。
S35、确定与感兴趣部位对应的联动区域。
可以理解的是，上述联动区域表征与所述感兴趣部位连接的区域，区域内的关键点位置受感兴趣部位的关键点位置的影响。
S36、根据联动区域对应的二维关键点集和三维关键点集对联动区域内的三维关键点进行位置校正，获得联动区域对应的目标三维关键点集。
则步骤S37的一种可能的实现方式为：S37a、根据感兴趣部位和联动区域各自对应的目标三维关键点集，生成目标人脸图像。
为了方面理解，请参见图11，图11提供了一种二维关键点的脸部示意图，图中包含了106个关键点以嘴部为例，鼻子与嘴巴上嘴唇的联动点中，选择的二维关键点可以为图11中的点82，点47，点48，点49，点50，点51，点83，点84，点86，点88，点90，与此对应的大概位置，从联动区域对应的三维关键点集中选择三维采样点，类似于上述眼睛处理方式计算校正矩阵Affine，然后对联动区域内的关键点进行校正。同理，下巴与嘴巴的下嘴唇的联动点中，选择的二维关键点可以为图11中的点13，点14，点15，点16，点17，点18，点19，点84，点95，点93，点91，点90点，然后该区域对应的三维关键点集中选择对应位置的三维采样点计算校正矩阵Affine，并作用于下巴与嘴巴的下嘴唇之间的联动区域的三维关键点，以此达到校正的目的。
需要说明的是，上述选择联动区域的点的方式仅仅作为示例，用户可以根据自己的需求定义联动区域的大小，并根据确定的联动区域再执行上述操作，以此实现对联动区域的三维关键点的校正，达到准确定位的目的。
在一些可能的实施例中，还可以对目标人脸图像进行处理，生成与业务需求匹配的三维形象图。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种图像数据优化装置的实现方式，请参阅图12，图12为本发明实施例提供的一种图像数据优化装置的功能模块图。需要说明的是，本实施例所提供的图像数据优化装置20，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该图像数据优化装置20包括：
获取模块21，用于获取待处理的人脸图像；
其中，人脸图像中存在与业务需求匹配的感兴趣部位；感兴趣部位对应有三维关键点集和二维关键点集；感兴趣部位的轮廓与三维关键点集中各个三维关键点连接成的边界线不匹配；
处理模块22，用于根据二维关键点集，对三维关键点集中的三维关键点进行位置校正，获得感兴趣部位对应的目标三维关键点集；
生成模块23，用于根据目标三维关键点集，生成目标人脸图像；感兴趣部位的同一位置对应的三维关键点的投影位置与二维关键点之间的位置差距在预设范围内。
可选地，处理模块22，具体用于：确定感兴趣部位的多个三维采样点以及每个三维采样点对应位置上的二维采样点；三维采样点包含于三维关键点集中；二维采样点包含于二维关键点集中；根据三维采样点和二维采样点构建校正矩阵；根据校正矩阵，对三维关键点集中的三维关键点进行位置校正，获得目标三维关键点集。
可选地，处理模块22，具体用于：将感兴趣部位在水平方向上的距离最大的两个轮廓顶点确定为三维采样点；将两个轮廓顶点的连线的中垂线与感兴趣部位在竖直方向上的轮廓边界的交点确定为三维采样点。
可选地，图像数据优化装置20还包括：确定模块，用于依据人脸重建技术，确定人脸图像中的人脸姿态角度；处理模块22，还用于根据人脸姿态角度对目标三维关键点集中的目标三维关键点进行角度校正。
可选地，确定模块，还用于确定与感兴趣部位对应的联动区域；联动区域表征与感兴趣部位连接的区域，联动区域内的关键点位置受感兴趣部位的关键点位置的影响；处理模块22，还用于根据联动区域对应的二维关键点集和三维关键点集对联动区域内的三维关键点进行位置校正，获得联动区域对应的目标三维关键点集。
可选地，生成模块23，具体用于根据感兴趣部位和联动区域各自对应的目标三维关键点集，生成目标人脸图像。
可选地，处理模块22，还用于对目标人脸图像进行处理，生成与业务需求匹配的三维形象图。
本发明实施例还提供一种电子设备，如图13，图13为本发明实施例提供的电子设备的结构框图。该电子设备30包括通信接口31、处理器32和存储器33。该处理器32、存储器33和通信接口31相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器33可用于存储软件程序及模块，如本发明实施例所提供的图像数据优化方法对应的程序指令/模块，处理器32通过执行存储在存储器33内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口31可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备30可以具有多个通信接口31。
其中，存储器33可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。
处理器32可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
可选地，上述图像数据优化装置20可以以软件或固件的形式存储于图7所示的存储器33中或固化于该电子设备30的操作系统(OperatingSystem，OS)中，并可由图7中的处理器32执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器33中。
需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可以图13示出的电子设备30中的处理器32执行时实现如前述实施方式中任一项描述的电子设备图像数据优化方法。该存储介质可以但不限于包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像数据优化方法，其特征在于，所述方法包括：
获取待处理的人脸图像；
其中，所述人脸图像中存在与业务需求匹配的感兴趣部位；所述感兴趣部位对应有三维关键点集和二维关键点集；所述感兴趣部位的轮廓与所述三维关键点集中各个三维关键点连接成的边界线不匹配；
根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集；
根据所述目标三维关键点集，生成目标人脸图像；所述感兴趣部位的同一位置对应的所述三维关键点的投影位置与所述二维关键点之间的位置差距在预设范围内。
2.根据权利要求1所述的图像数据优化方法，其特征在于,根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得目标三维关键点集，包括：
确定所述感兴趣部位的多个三维采样点以及每个所述三维采样点对应位置上的二维采样点；所述三维采样点包含于所述三维关键点集中；所述二维采样点包含于所述二维关键点集中；
根据所述三维采样点和所述二维采样点构建校正矩阵；
根据所述校正矩阵，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述目标三维关键点集。
3.根据权利要求2所述的图像数据优化方法，其特征在于，在根据所述校正矩阵，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述目标三维关键点集之后,还包括：
依据人脸重建技术，确定所述人脸图像中的人脸姿态角度；
根据所述人脸姿态角度对所述目标三维关键点集中的目标三维关键点进行角度校正。
4.根据权利要求1或3所述的图像数据优化方法，其特征在于，在根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集之后，还包括：
确定与所述感兴趣部位对应的联动区域；所述联动区域表征与所述感兴趣部位连接的区域，所述联动区域内的关键点的位置状态受所述感兴趣部位对应的关键点的位置状态影响；
根据所述联动区域对应的二维关键点集和三维关键点集对所述联动区域内的三维关键点进行位置校正，获得所述联动区域对应的目标三维关键点集。
5.根据权利要求4所述的图像数据优化方法，其特征在于，根据所述目标三维关键点集，生成目标人脸图像，包括：
根据所述感兴趣部位和所述联动区域各自对应的目标三维关键点集，生成所述目标人脸图像。
6.根据权利要求2所述的图像数据优化方法，其特征在于，确定所述感兴趣部位的多个三维采样点以及每个所述三维采样点对应位置上的二维特征点,包括：
将所述感兴趣部位在水平方向上的距离最大的两个轮廓顶点确定为所述三维采样点；
将所述两个轮廓顶点的连线的中垂线与所述感兴趣部位在竖直方向上的轮廓边界的交点确定为所述三维采样点。
7.根据权利要求1所述的图像数据优化方法，其特征在于，还包括：
对所述目标人脸图像进行处理，生成与所述业务需求匹配的三维形象图。
8.一种图像数据优化装置，其特征在于，包括：
获取模块，用于获取待处理的人脸图像；
其中，所述人脸图像中存在与业务需求匹配的感兴趣部位；所述感兴趣部位对应有三维关键点集和二维关键点集；所述感兴趣部位的轮廓与所述三维关键点集中各个三维关键点连接成的边界线不匹配；
处理模块，用于根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集；
生成模块，用于根据所述目标三维关键点集，生成目标人脸图像；所述感兴趣部位的同一位置对应的所述三维关键点的投影位置与所述二维关键点之间的位置差距在预设范围内。
9.一种电子设备，其特征在于，包括存储器和存储器，所述存储器存储有能够被所述存储器执行的计算机程序，所述存储器可执行所述计算机程序以实现权利要求1-7任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被存储器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110309128.6A CN112967329B (zh) | 2021-03-23 | 2021-03-23 | 图像数据优化方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110309128.6A CN112967329B (zh) | 2021-03-23 | 2021-03-23 | 图像数据优化方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967329A true CN112967329A (zh) | 2021-06-15 |
| CN112967329B CN112967329B (zh) | 2024-10-01 |
Family
ID=76278092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110309128.6A Active CN112967329B (zh) | 2021-03-23 | 2021-03-23 | 图像数据优化方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967329B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494311A (zh) * | 2021-09-26 | 2022-05-13 | 西安大医集团股份有限公司 | 点云区域轮廓提取方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN108961149A (zh) * | 2017-05-27 | 2018-12-07 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN109087261A (zh) * | 2018-08-03 | 2018-12-25 | 上海依图网络科技有限公司 | 基于非受限采集场景的人脸矫正方法 |
| CN110533777A (zh) * | 2019-08-01 | 2019-12-03 | 北京达佳互联信息技术有限公司 | 三维人脸图像修正方法、装置、电子设备和存储介质 |
| EP3621036A1 (en) * | 2018-09-07 | 2020-03-11 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating three-dimensional data, device, and storage medium |
| CN111768485A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 三维图像的关键点标注方法、装置、电子设备及存储介质 |
| CN112085730A (zh) * | 2020-09-18 | 2020-12-15 | 上海联影医疗科技股份有限公司 | 感兴趣区域成分分析方法、装置、电子设备和介质 |
-
2021
- 2021-03-23 CN CN202110309128.6A patent/CN112967329B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN108961149A (zh) * | 2017-05-27 | 2018-12-07 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN109087261A (zh) * | 2018-08-03 | 2018-12-25 | 上海依图网络科技有限公司 | 基于非受限采集场景的人脸矫正方法 |
| EP3621036A1 (en) * | 2018-09-07 | 2020-03-11 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating three-dimensional data, device, and storage medium |
| CN110533777A (zh) * | 2019-08-01 | 2019-12-03 | 北京达佳互联信息技术有限公司 | 三维人脸图像修正方法、装置、电子设备和存储介质 |
| CN111768485A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 三维图像的关键点标注方法、装置、电子设备及存储介质 |
| CN112085730A (zh) * | 2020-09-18 | 2020-12-15 | 上海联影医疗科技股份有限公司 | 感兴趣区域成分分析方法、装置、电子设备和介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494311A (zh) * | 2021-09-26 | 2022-05-13 | 西安大医集团股份有限公司 | 点云区域轮廓提取方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967329B (zh) | 2024-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3614340B1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
| CN109859296B (zh) | Smpl参数预测模型的训练方法、服务器及存储介质 | |
| US11380050B2 (en) | Face image generation method and apparatus, device, and storage medium | |
| WO2021174939A1 (zh) | 人脸图像的获取方法与系统 | |
| US11568601B2 (en) | Real-time hand modeling and tracking using convolution models | |
| US9269194B2 (en) | Method and arrangement for 3-dimensional image model adaptation | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| WO2017186016A1 (zh) | 图像形变处理的方法和装置、计算机存储介质 | |
| US8933928B2 (en) | Multiview face content creation | |
| CN109978984A (zh) | 人脸三维重建方法及终端设备 | |
| CN111768477A (zh) | 三维人脸表情基建立方法及装置、存储介质及电子设备 | |
| WO2023284713A1 (zh) | 一种三维动态跟踪方法、装置、电子设备和存储介质 | |
| CN111460937B (zh) | 脸部特征点的定位方法、装置、终端设备及存储介质 | |
| KR20120093063A (ko) | 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 | |
| US11403781B2 (en) | Methods and systems for intra-capture camera calibration | |
| EP3633606B1 (en) | Information processing device, information processing method, and program | |
| CN109979013B (zh) | 三维人脸贴图方法及终端设备 | |
| CN112766027A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112967329B (zh) | 图像数据优化方法、装置、电子设备及存储介质 | |
| Anasosalu et al. | Compact and accurate 3-D face modeling using an RGB-D camera: let's open the door to 3-D video conference | |
| CN116912417A (zh) | 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质 | |
| Thomas et al. | Parametric surface representation with bump image for dense 3d modeling using an rbg-d camera | |
| CN116433852B (zh) | 数据处理方法、装置、设备及存储介质 | |
| US11202053B2 (en) | Stereo-aware panorama conversion for immersive media | |
| Graber | Realtime 3D reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |