CN112163509B - 图像处理方法、装置、网络设备及存储介质 - Google Patents

图像处理方法、装置、网络设备及存储介质 Download PDF

Info

Publication number
CN112163509B
CN112163509B CN202011023850.5A CN202011023850A CN112163509B CN 112163509 B CN112163509 B CN 112163509B CN 202011023850 A CN202011023850 A CN 202011023850A CN 112163509 B CN112163509 B CN 112163509B
Authority
CN
China
Prior art keywords
face
model
vertex
target
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011023850.5A
Other languages
English (en)
Other versions
CN112163509A (zh
Inventor
张学成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011023850.5A priority Critical patent/CN112163509B/zh
Publication of CN112163509A publication Critical patent/CN112163509A/zh
Application granted granted Critical
Publication of CN112163509B publication Critical patent/CN112163509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施方式涉及通信技术领域，公开了一种图像处理方法，包括：获取目标2D人脸图像的2D人脸关键点；构建3D人脸模型和3D人脸模型在2D平面的投影模型；根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，目标3D人脸模型为与目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型；根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。本发明实施方式还公开了一种图像处理装置、网络设备及存储介质。本发明实施方式提供的图像处理方法、装置、网络设备及存储介质，可以降低获取3D人脸关键点的技术难度，有效地应用在对深度信息精度要求不高的应用场景中。

Description

图像处理方法、装置、网络设备及存储介质
技术领域
本发明涉及通信技术领域，特别涉及一种图像处理方法、装置、网络设备及存储介质。
背景技术
3D人脸关键点，即包含深度信息的人脸关键点，可应用在智能手机上的一些AR需求场景中，例如3D人脸贴纸、面部光照等。3D人脸关键点是通过人脸三维形状的重建来获得的，目前，进行人脸三维形状的重建的方案主要从硬件和软件两个方向解决：硬件方面主要基于带深度检测的摄像头或传感器来实现，例如双摄、红外结构光、飞行时间(TOF)等；软件方面主要是指使用算法来实现，主要是基于CNN的端到端(end-to-end)方法，例如基于3DMM(3D Morphable Model)、基于RPN(Position Regression Network)的端到端学习等。
然而，发明人发现现有技术至少存在以下问题：一方面，虽然现有的硬件方法或软件方法都能达到比较高的深度信息精度，但是在达到高精度的同时，硬件方法较为依赖硬件设备，软件方法则需要专业的3D设备采集训练样本，训练样本的获取难度和成本较高，导致现有的硬件方法或软件方法实现的难度较大；另一方面，在一些应用场景中，例如AR(增强现实)应用场景中，其对深度信息精度的要求不高，现有的硬件方法或软件方法会造成资源的浪费，无法有效地应用在对深度信息精度要求不高的应用场景中。
发明内容
本发明实施方式的目的在于提供一种图像处理方法、装置、网络设备及存储介质，可以降低获取3D人脸关键点的技术难度，有效地应用在对深度信息精度要求不高的应用场景中。
为解决上述技术问题，本发明的实施方式提供了一种图像处理方法，包括：获取目标2D人脸图像的2D人脸关键点；构建3D人脸模型和3D人脸模型在2D平面的投影模型；根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，目标3D人脸模型为与目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型；根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
本发明的实施方式还提供了一种图像处理装置，包括：第一获取模块，用于获取目标2D人脸图像的2D人脸关键点；构建模块，用于构建3D人脸模型和3D人脸模型在2D平面的投影模型；确定模块，用于根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，目标3D人脸模型为与目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型；第二获取模块，用于根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
本发明的实施方式还提供了一种网络设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理方法。
本发明实施方式相对于现有技术而言，根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息、确定目标2D人脸图像对应的目标3D人脸模型，再根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点，可以将2D人脸图像的3D人脸关键点的获取问题转化为3D模型到2D投影最优化的问题，由于不需要进行面部特征提取等复杂操作，并且对光照变化等环境因素不敏感，因此不需要依赖专业的硬件设备，也不存在训练样本获取难度大的问题，且深度信息精度能够满足应用场景的需要，从而可以降低获取3D人脸关键点的技术难度，有效地应用在深度信息精度要求不高的应用场景中。
另外，根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，包括：将2D人脸关键点作为第一顶点、将3D人脸模型的顶点作为第二顶点；根据人脸的相同部位构建第一顶点与第二顶点的映射关系；根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息确定目标3D人脸模型，其中，对应的第二顶点为与第一顶点具有映射关系的第二顶点。
另外，根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点，包括：根据目标3D人脸模型和映射关系获取第一顶点的深度信息，根据第一顶点的深度信息和位置信息得到目标2D人脸图像的3D人脸关键点。
另外，根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息确定目标3D人脸模型，包括：根据3D人脸模型和投影模型定义目标函数；根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型。
另外，第一顶点包括第一非人脸轮廓顶点，第二顶点包括第二非人脸轮廓顶点；根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型，包括：根据第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型。由于2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点可以有效确定相机的姿态(R,t)，亦可以确定3D人脸模型和投影模型的其它参数，因此可以有效地实现目标3D人脸模型的求解；并且，由于非人脸轮廓顶点仅为部分的顶点，因此，采用2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点来求解参数可以减少运算量，提高获取3D人脸关键点的效率。
另外，第一顶点包括第一人脸轮廓顶点和第一非人脸轮廓顶点，第二顶点包括第二人脸轮廓顶点和第二非人脸轮廓顶点；根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型，包括：根据第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息最小化目标函数，得到3D人脸模型和投影模型中参数的初步解；根据初步解更新3D人脸模型和投影模型，得到初步3D人脸模型和初步投影模型；根据第一人脸轮廓顶点的位置信息和对应的第二人脸轮廓顶点在初步投影模型的投影位置信息最小化目标函数，得到初步3D人脸模型中参数的优化解；根据优化解更新初步3D人脸模型，得到目标3D人脸模型。通过在使用2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点最小化目标函数的基础上，根据2D人脸关键点与3D人脸模型的顶点中的人脸轮廓顶点最小化目标函数，可以进一步对3D人脸模型以及投影模型中的参数进行优化，得到更加精确的目标3D人脸模型，有效地提高获取的3D人脸关键点的精度。
另外，构建3D人脸模型，具体为：根据SFM(Surrey Face Model)模型构建3D人脸模型。由于SFM模型为业界公开的模型，易于获取，因此根据SFM模型构建3D人脸模型有利于本发明实施方式提供的图像处理方法的具体实现。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是本发明第一实施方式提供的图像处理方法的流程示意图；
图2是本发明第二实施方式提供的图像处理方法的流程示意图；
图3是本发明第三实施方式提供的图像处理方法的流程示意图；
图4是本发明第四实施方式提供的图像处理装置的模块结构示意图；
图5是本发明第五实施方式提供的网络设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种图像处理方法，通过获取目标2D人脸图像的2D人脸关键点，构建3D人脸模型和3D人脸模型在2D平面的投影模型，根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。通过将2D人脸图像的3D人脸关键点的获取问题转化为3D模型到2D投影最优化问题，不需依赖专业的硬件设备，也不存在训练样本获取难度大的问题，且深度信息精度能够满足应用场景的需求，从而可以降低获取3D人脸关键点的技术难度，有效地应用在深度信息精度要求不高的应用场景中。
应当说明的是，本发明实施方式提供的图像处理方法的执行主体可以为服务端，其中，服务端可以由单独的服务器或由多个服务器组成的集群来实现，以下以服务端为例进行说明。
本发明实施方式提供的图像处理方法的具体流程如图1所示，具体包括以下步骤：
S101：获取目标2D人脸图像的2D人脸关键点。
其中，目标2D人脸图像是指需要进行人脸三维形状重建的2D人脸图像。
可选地，服务端可以采用人脸关键点检测模型对目标2D人脸图像进行检测，从而获取目标2D人脸图像的2D人脸关键点。其中，人脸关键点检测模型可以根据实际需要进行选用，例如采用可以检测68个、106个或196个人脸关键点的人脸关键点检测模型，此处不做具体限制。
S102：构建3D人脸模型和3D人脸模型在2D平面的投影模型。
可选地，构建3D人脸模型可以采用开源的模型来实现，以使本发明实施方式提供的图像处理方法更易于实现，例如BFM(Basel Face Mode)模型。
在一个具体的例子中，构建3D人脸模型，具体可以为：根据SFM(Surrey FaceModel)模型构建3D人脸模型。
具体地，根据SFM模型构建3D人脸模型的过程可以为：1、获取SFM模型的人脸模型数据集，对人脸模型数据集中的人脸形状进行主成分(Principal Component Analysis，PCA)提取，得到一组形状基向量集合{S1,S2,…，Sn}，并统计出人脸模型数据集的平均人脸形状其中，形状基向量是一组线性无关的3D人脸形状向量集合，任意一个人脸形状都可以通过该组基向量线性加权表示，一个基向量由多个(如512个)3D面部顶点(x,y,z)构成，平均人脸形状/>可以是对人脸模型数据集中的多个人脸形状求均值得到；2、使用上述得到的形状基向量集合{S1,S2,…，Sn}和平均人脸形状/>建立3D人脸模型S，且有其中，ai为待求解的基向量的系数，i∈[1,10]表示人脸形状基向量集合由10组线性无关的基向量构成，应当理解的是，i也可以为其它范围的取值，此处不做具体限制。
应当理解的是，SFM模型是对不同人脸形状进行3D建模，在本实施方式中，SFM模型主要被用于获取形状基向量和平均人脸形状的生成，以建立3D人脸模型。由于SFM模型为业界公开的模型，易于获取，有利于本发明实施方式提供的图像处理方法的具体实现。
进一步地，在以SFM模型构建3D人脸模型的例子的基础上，构建3D人脸模型在2D平面的投影模型的过程可以为：基于相机成像原理，建立3D人脸模型在2D平面的投影模型，即有：L(x,y)p＝s*P*R*S+t，其中，s为3D人脸模型投影到目标2D人脸图像的缩放倍数，P为3D人脸模型的透视投影矩阵，其参数fov(视场角)为待求解参数，R代表相机的旋转矩阵，t代表相机在世界空间中的坐标位置，(R,t)代表当前相机的姿态，为待求解参数；为了减少求解的未知参数个数，可选地，R使用四元数表示。应当说明的是，上述在基于相机成像原理建立投影模型时，是在假设无镜头畸变的情况下建立的，由于一般的相机都无镜头畸变，只有广角镜头才会有镜头畸变，因此，在假设无镜头畸变的情况建立上述的投影模型，既符合一般相机的成像原理，也能起到简化投影模型建立的作用。
S103：根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，其中，目标3D人脸模型为与目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型。
具体地，服务端可将3D人脸模型通过投影模型投影在目标2D人脸图像的2D平面上，得到投影的人脸形状；根据2D人脸关键点在该2D平面的位置信息与投影的人脸形状的投影位置信息，评估投影的人脸形状与目标2D人脸图像的重合程度，将重合程度最高的投影模型对应的3D人脸模型确定为目标3D人脸模型。可选地，在评估投影的人脸形状与目标2D人脸图像的重合程度时，可根据2D人脸关键点的位置信息与投影的人脸形状的投影位置信息、采用最小二乘法等算法进行评估。
S104：根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
在确定目标3D人脸模型后，由于目标3D人脸模型中的顶点包含有深度信息，因此，可以根据目标3D人脸模型中顶点的深度信息和2D人脸图像的2D人脸关键点的位置信息、得到目标2D人脸图像的3D人脸关键点。
与现有技术相比，本发明实施方式提供的图像处理方法，根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息、确定目标2D人脸图像对应的目标3D人脸模型，再根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点，可以将2D人脸图像的3D人脸关键点的获取问题转化为3D模型到2D投影最优化的问题，由于不需要进行面部特征提取等复杂操作，并且对光照变化等环境因素不敏感，因此不需要依赖专业的硬件设备，也不存在训练样本获取难度大的问题，且深度信息精度能够满足应用场景的需要，从而可以降低获取3D人脸关键点的技术难度，有效地应用在深度信息精度要求不高的应用场景中。
本发明的第二实施方式涉及一种图像处理方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：本发明实施方式通过3D人脸模型和投影模型定义目标函数，并通过2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点最小化目标函数，根据目标函数最小化的结果得到目标3D人脸模型，再根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
本发明实施方式提供的图像处理方法的具体流程如图2所示，具体包括以下步骤：
S201：获取目标2D人脸图像的2D人脸关键点。
S202：构建3D人脸模型和3D人脸模型在2D平面的投影模型。
其中，S201-S202与第一实施方式中的S101-S102相同，请参见第一实施方式中的相关描述，这里不再赘述。
S203：将2D人脸关键点作为第一顶点、将3D人脸模型的顶点作为第二顶点，其中，第一顶点包括第一非人脸轮廓顶点，第二顶点包括第二非人脸轮廓顶点。
其中，非人脸轮廓顶点是指人脸轮廓上位于人脸边缘线以外部分的顶点，例如嘴巴、眼睛、鼻子等部分的顶点。相应地，人脸轮廓顶点是指人脸轮廓上位于人脸边缘线部分的顶点，例如下巴部分的顶点。
S204：根据人脸的相同部位构建第一顶点与第二顶点的映射关系。
可选地，第一顶点与第二顶点均包括索引，服务端可根据人脸的相同部位以及索引建立第一顶点与第二顶点的映射关系。
例如，若第一顶点中，嘴巴在2D人脸关键点的索引为16(第一顶点)，在3D人脸模型中的索引为80(第二顶点)，则可以得到索引为16的第一顶点与索引为80的第二顶点的映射关系，例如记为M1(i,j)，其中，i为第二顶点的索引，j为第一顶点的索引。
应当理解的是，以SFM构建的3D人脸模型为例，其包括512个第二顶点，而2D人脸关键点通常为68、106、196个顶点，第一顶点与第二顶点的数量不相等，在构建第一顶点与第二顶点的映射关系时，是以第一顶点为基准，根据与第一顶点对应的第二顶点建立映射关系，也即部分第二顶点将不会存在映射关系的第一顶点。
S205：根据3D人脸模型和投影模型定义目标函数。
可选地，若3D人脸模型的第二顶点在投影模型的平面投影值为(投影位置信息)，而2D人脸关键点(第一顶点)的观测值(位置信息)为/>则可以定义目标函数为/>其中，Res(i,j)表示/>与/>的残差。
S206：根据第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型。
具体地，将第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息代入至目标函数中，根据目标函数最小化的结果求解3D人脸模型以及投影模型的未知参数，再根据求解得到的参数确定目标3D人脸模型以及投影模型。
可选地，在最小化目标函数时，可以添加以下约束条件：t(z)≤0,fov≥10，其中，z表示深度信息，具体可以为Z坐标中的值，fov也可以是大于0即可，优选地，fov的取值范围为[30,60]。
在最小化目标函数时，可以基于目标函数E最小化的准则，使用非线性优化库对3D人脸模型和投影模型中的未知参数ai、(R,t)和fov进行求解，其中，非线性优化库可以使用ceres非线性优化库，也可以采用其它的非线性优化库。可以理解的是，采用非线性优化库最小化目标函数来求解未知参数，可以将非线性优化库作为工具箱进行使用，从而快速求解未知参数，提高求解的效率。当然，也可以采用其它的方法优化目标函数和求解未知参数，例如最小二乘法等方法，这里不做具体限制。
可选地，在实现对未知参数ai、(R,t)和fov进行求解后，可以将参数ai、(R,t)和fov代入3D人脸模型和投影模型中，然后重复执行S206，经过多次迭代后得到最终的3D人脸模型作为目标3D人脸模型。
S207：根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
在得到目标3D人脸模型后，可根据第一顶点与第二顶点的映射关系得到目标2D人脸图像的深度信息，进而得到目标2D人脸图像的3D人脸关键点。具体地，可以根据第一顶点与第二顶点的索引关系得到目标2D人脸图像的深度信息，即：将确定的3D人脸模型的第二顶点i的z值作为目标2D人脸图像的深度信息。
与现有技术相比，本发明实施方式提供的图像处理方法，通过3D人脸模型和投影模型定义目标函数，并通过2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点最小化目标函数，可以根据目标函数最小化的结果得到目标3D人脸模型。由于2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点可以有效确定相机的姿态(R,t)，亦可以确定3D人脸模型和投影模型的其它参数，因此可以有效地实现目标3D人脸模型的求解；并且，由于非人脸轮廓顶点仅为部分的顶点，因此，采用2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点来求解参数可以减少运算量，提高获取3D人脸关键点的效率。
本发明的第三实施方式涉及一种图像处理方法。第三实施方式与第二实施方式大致相同，主要区别之处在于：在采用第一顶点和第二顶点中的非人脸轮廓顶点最小化目标函数外，还进一步采用第一顶点和第二顶点中的人脸轮廓顶点最小化目标函数，从而得到更加精确的目标3D人脸模型以及3D人脸关键点。
本发明实施方式提供的图像处理方法的具体流程如图3所示，具体包括以下步骤：
S301：获取目标2D人脸图像的2D人脸关键点。
S302：构建3D人脸模型和3D人脸模型在2D平面的投影模型。
S303：将2D人脸关键点作为第一顶点、将3D人脸模型的顶点作为第二顶点，其中，第一顶点包括第一人脸轮廓顶点和第一非人脸轮廓顶点，第二顶点包括第二人脸轮廓顶点和第二非人脸轮廓顶点。
S304：根据人脸的相同部位构建第一顶点与第二顶点的映射关系。
S305：根据3D人脸模型和投影模型定义目标函数。
S306：根据第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息最小化目标函数，得到3D人脸模型和投影模型中参数的初步解。
S307：根据初步解更新3D人脸模型和投影模型，得到初步3D人脸模型和初步投影模型。
S308：根据第一人脸轮廓顶点的位置信息和对应的第二人脸轮廓顶点在初步投影模型的投影位置信息最小化目标函数，得到初步3D人脸模型中参数的优化解。
S309：根据优化解更新初步3D人脸模型，得到目标3D人脸模型。
S310：根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
其中，S301-S305、S310分别与第二实施方式中的S201-S205、S207相同或类似，具体可参见第二实施方式中的相关描述，这里不再赘述。
对于S306-S309，具体地，将第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息代入至目标函数中，根据目标函数最小化的结果求解3D人脸模型和投影模型中的未知参数，将求解得到的参数作为3D人脸模型和投影模型的初步解；然后，将初步解代入至3D人脸模型和投影模型中，得到初步3D人脸模型和初步投影模型；接着，将第一人脸轮廓顶点的位置信息和对应的第二人脸轮廓顶点在初步投影模型的投影位置信息代入至目标函数中，根据目标函数最小化的结果得到3D人脸模型和投影模型的优化解；再将优化解更新3D人脸模型和投影模型，得到目标3D人脸模型和优化的投影模型。
可选地，可以重复执行S308-S309，以进行多次迭代，根据多次迭代的结果得到更加精确的目标3D人脸模型；也可以重复执行S306-S309进行多次迭代，根据多次迭代的结果得到更加精确的目标3D人脸模型，具体可以根据实际需要进行设置，这里不做具体限定。
与现有技术相比，本发明实施方式提供的图像处理方法，除了使用2D人脸关键点与3D人脸模型的顶点中的非人脸轮廓顶点最小化目标函数外，还根据2D人脸关键点与3D人脸模型的顶点中的人脸轮廓顶点最小化目标函数，可以进一步对3D人脸模型以及投影模型中的参数进行优化，得到更加精确的目标3D人脸模型，有效地提高获取的3D人脸关键点的精度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第四实施方式涉及一种图像处理装置400，如图4所示，包含：第一获取模块401、构建模块402、确定模块403和第二获取模块404，各模块功能详细说明如下：
第一获取模块401，用于获取目标2D人脸图像的2D人脸关键点；
构建模块402，用于构建3D人脸模型和3D人脸模型在2D平面的投影模型；
确定模块403，用于根据2D人脸关键点的位置信息与3D人脸模型在投影模型的投影位置信息确定目标3D人脸模型，目标3D人脸模型为与目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型；
第二获取模块404，用于根据目标3D人脸模型获取目标2D人脸图像的3D人脸关键点。
进一步地，确定模块403还用于：
将2D人脸关键点作为第一顶点、将3D人脸模型的顶点作为第二顶点；
根据人脸的相同部位构建第一顶点与第二顶点的映射关系；
根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息确定目标3D人脸模型，其中，对应的第二顶点为与第一顶点具有映射关系的第二顶点。
进一步地，第二获取模块404还用于：
根据目标3D人脸模型和映射关系获取第一顶点的深度信息，根据第一顶点的深度信息和位置信息得到目标2D人脸图像的3D人脸关键点。
进一步地，确定模块403还用于：
根据3D人脸模型和投影模型定义目标函数；
根据第一顶点的位置信息和对应的第二顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型。
进一步地，第一顶点包括第一非人脸轮廓顶点，第二顶点包括第二非人脸轮廓顶点，确定模块403还用于：
根据第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息最小化目标函数，根据目标函数最小化的结果确定目标3D人脸模型。
进一步地，第一顶点包括第一人脸轮廓顶点和第一非人脸轮廓顶点，第二顶点包括第二人脸轮廓顶点和第二非人脸轮廓顶点，确定模块403还用于：
根据第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在投影模型的投影位置信息最小化目标函数，得到3D人脸模型和投影模型中参数的初步解；
根据初步解更新3D人脸模型和投影模型，得到初步3D人脸模型和初步投影模型；
根据第一人脸轮廓顶点的位置信息和对应的第二人脸轮廓顶点在初步投影模型的投影位置信息最小化目标函数，得到初步3D人脸模型中参数的优化解；
根据优化解更新初步3D人脸模型，得到目标3D人脸模型。
进一步地，构建模块402还用于：根据SFM模型构建3D人脸模型。
不难发现，本实施方式为与第一、第二、第三实施方式相对应的装置实施例，本实施方式可与第一、第二、第三实施方式互相配合实施。第一、第二、第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一、第二、第三实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第五实施方式涉及一种网络设备，如图5所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述的图像处理方法。
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
获取目标2D人脸图像的2D人脸关键点；
构建3D人脸模型和所述3D人脸模型在2D平面的投影模型；
根据所述2D人脸关键点的位置信息与所述3D人脸模型在所述投影模型的投影位置信息确定目标3D人脸模型，所述目标3D人脸模型为与所述目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型，具体包括：将2D人脸关键点作为第一顶点，将3D人脸模型的顶点作为第二顶点；根据人脸的相同部位构建所述第一顶点与所述第二顶点的映射关系；根据所述第一顶点的位置信息和对应的第二顶点在所述投影模型的投影位置信息确定目标3D人脸模型，其中，所述对应的第二顶点为与所述第一顶点具有映射关系的第二顶点；根据所述3D人脸模型和所述投影模型定义目标函数；根据所述第一顶点的位置信息和所述对应的第二顶点在所述投影模型的投影位置信息最小化所述目标函数，根据所述目标函数最小化的结果确定目标3D人脸模型；
根据所述目标3D人脸模型获取所述目标2D人脸图像的3D人脸关键点。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述目标3D人脸模型获取所述目标2D人脸图像的3D人脸关键点，包括：
根据所述目标3D人脸模型和所述映射关系获取所述第一顶点的深度信息，根据所述第一顶点的深度信息和位置信息得到所述目标2D人脸图像的3D人脸关键点。
3.根据权利要求1所述的图像处理方法，其特征在于，所述第一顶点包括第一非人脸轮廓顶点，所述第二顶点包括第二非人脸轮廓顶点；
所述根据所述第一顶点的位置信息和所述对应的第二顶点在所述投影模型的投影位置信息最小化所述目标函数，根据所述目标函数最小化的结果确定目标3D人脸模型，包括：
根据所述第一非人脸轮廓顶点的位置信息和对应的第二非人脸轮廓顶点在所述投影模型的投影位置信息最小化所述目标函数，根据所述目标函数最小化的结果确定目标3D人脸模型。
4.根据权利要求1所述的图像处理方法，其特征在于，所述第一顶点包括第一人脸轮廓顶点和第一非人脸轮廓顶点，所述第二顶点包括第二人脸轮廓顶点和第二非人脸轮廓顶点；
所述根据所述第一顶点的位置信息和所述对应的第二顶点在所述投影模型的投影位置信息最小化所述目标函数，根据所述目标函数最小化的结果确定目标3D人脸模型，包括：
根据所述第一非人脸轮廓顶点的位置信息和对应的所述第二非人脸轮廓顶点在所述投影模型的投影位置信息最小化所述目标函数，得到所述3D人脸模型和所述投影模型中参数的初步解；
根据所述初步解更新所述3D人脸模型和所述投影模型，得到初步3D人脸模型和初步投影模型；
根据所述第一人脸轮廓顶点的位置信息和对应的所述第二人脸轮廓顶点在所述初步投影模型的投影位置信息最小化所述目标函数，得到所述初步3D人脸模型中参数的优化解；
根据所述优化解更新所述初步3D人脸模型，得到目标3D人脸模型。
5.根据权利要求1所述的图像处理方法，其特征在于，所述构建3D人脸模型，具体为：
根据SFM模型构建3D人脸模型。
6.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取目标2D人脸图像的2D人脸关键点；
构建模块，用于构建3D人脸模型和所述3D人脸模型在2D平面的投影模型；
确定模块，用于根据所述2D人脸关键点的位置信息与所述3D人脸模型在所述投影模型的投影位置信息确定目标3D人脸模型，所述目标3D人脸模型为与所述目标2D人脸图像重合程度最高的投影模型对应的3D人脸模型，具体包括：将2D人脸关键点作为第一顶点，将3D人脸模型的顶点作为第二顶点；根据人脸的相同部位构建所述第一顶点与所述第二顶点的映射关系；根据所述第一顶点的位置信息和对应的第二顶点在所述投影模型的投影位置信息确定目标3D人脸模型，其中，所述对应的第二顶点为与所述第一顶点具有映射关系的第二顶点；根据所述3D人脸模型和所述投影模型定义目标函数；根据所述第一顶点的位置信息和所述对应的第二顶点在所述投影模型的投影位置信息最小化所述目标函数，根据所述目标函数最小化的结果确定目标3D人脸模型；
第二获取模块，用于根据所述目标3D人脸模型获取所述目标2D人脸图像的3D人脸关键点。
7.一种网络设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的图像处理方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。
CN202011023850.5A 2020-09-25 2020-09-25 图像处理方法、装置、网络设备及存储介质 Active CN112163509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011023850.5A CN112163509B (zh) 2020-09-25 2020-09-25 图像处理方法、装置、网络设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011023850.5A CN112163509B (zh) 2020-09-25 2020-09-25 图像处理方法、装置、网络设备及存储介质

Publications (2)

Publication Number Publication Date
CN112163509A CN112163509A (zh) 2021-01-01
CN112163509B true CN112163509B (zh) 2024-05-07

Family

ID=73863908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011023850.5A Active CN112163509B (zh) 2020-09-25 2020-09-25 图像处理方法、装置、网络设备及存储介质

Country Status (1)

Country Link
CN (1) CN112163509B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与系统
CN111563959A (zh) * 2020-05-06 2020-08-21 厦门美图之家科技有限公司 人脸三维可形变模型的更新方法、装置、设备及介质
CN111652974A (zh) * 2020-06-15 2020-09-11 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与系统
CN111563959A (zh) * 2020-05-06 2020-08-21 厦门美图之家科技有限公司 人脸三维可形变模型的更新方法、装置、设备及介质
CN111652974A (zh) * 2020-06-15 2020-09-11 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于2维正面人脸图像的3维人脸重构设计与实现;高昊烨;汤艺璇;陈江源;叶超;肖南峰;;重庆理工大学学报(自然科学)(第04期);正文第2-4节 *
基于2维正面人脸图像的3维人脸重构设计与实现;高昊烨;汤艺璇;陈江源;叶超;肖南峰;《重庆理工大学学报(自然科学)》;第32卷(第04期);正文第2-4节 *

Also Published As

Publication number Publication date
CN112163509A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US11288492B2 (en) Method and device for acquiring 3D information of object
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
WO2019157924A1 (zh) 三维物体的实时检测方法及系统
CN109697728B (zh) 数据处理方法、装置、系统和存储介质
JP2013050947A (ja) 物体姿勢推定方法、物体姿勢推定装置、物体推定姿勢精緻化方法、およびコンピューター可読媒体
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
WO2018080533A1 (en) Real-time generation of synthetic data from structured light sensors for 3d object pose estimation
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN111415305A (zh) 恢复三维场景的方法、计算机可读存储介质及无人机
CN112508778B (zh) 一种3d人脸道具贴图方法、终端及存储介质
CN114020953A (zh) 外观设计产品的多图检索方法及装置
CN115349140A (zh) 基于多种特征类型的有效定位
CN117216591A (zh) 三维模型匹配、多模态特征映射模型的训练方法及装置
CN112163509B (zh) 图像处理方法、装置、网络设备及存储介质
WO2020098566A1 (zh) 三维建模的方法、设备及计算机可读存储介质
CN112116640B (zh) 一种基于OpenCL的双目立体匹配方法
CN115205487A (zh) 单目相机人脸重建方法及装置
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN113592958A (zh) 一种基于单目视觉的auv对接坞站光学引导方法
CN113160405A (zh) 点云地图的生成方法、装置、计算机设备及存储介质
CN117876609B (zh) 一种多特征三维人脸重建方法、系统、设备及存储介质
CN113822174B (zh) 视线估计的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant