CN111738914B - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、计算机设备及存储介质，属于人工智能技术领域。该方法包括：获取人脸图像，对人脸图像中包括的目标人脸进行区域划分，得到N个区域；获取各个区域的像素约束项、平滑约束项和交界约束项；其中，第p个区域的像素约束项是根据第p个区域的颜色数据得到的，第p个区域的平滑约束项用于对第p个区域进行图像平滑处理，第p个区域的交界约束项是根据与第p个区域存在交界的其他区域得到的；根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值；根据各个区域的纹理拟合值，生成目标人脸的纹理图和法线图。本申请能够得到高质量的纹理图和法线图，为后续任务的执行提供了保障。

Description

图像处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

虚拟人是下一代人机交互的入口。其中，虚拟人是生命的延伸形态，通过人工智能技术模拟生命的主要特征，能够与人类进行多模态交互，通常具备视觉、听觉和语音等感知能力，以及推理、联想和记忆等认知能力。

时下虚拟人已经被应用到多种场景下，比如目前支持将用户自行拍摄的人脸图像贴合到虚拟人上，实现构建与用户人脸一致的虚拟人。

然而，日常生活中用户通常是利用消费级别的相机(比如移动终端的前置摄像头)进行拍摄，这样得到的人脸图像一般质量较差，这在后续任务中比如人脸渲染时会严重影响渲染效果，无法渲染出具有逼真人脸的虚拟人。

发明内容

本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够获取高质量的纹理图和法线图，这在后续任务中比如人脸渲染时会极大提升渲染效果，能够渲染出具有超逼真人脸的虚拟人。所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

获取人脸图像，对所述人脸图像中包括的目标人脸进行区域划分，得到N个区域，N为正整数；

获取各个区域的像素约束项、平滑约束项和交界约束项；

其中，第p个区域的像素约束项是根据所述第p个区域的颜色数据得到的，所述第p个区域的平滑约束项用于对所述第p个区域进行图像平滑处理，所述第p个区域的交界约束项是根据与所述第p个区域存在交界的其他区域得到的，p为正整数且小于N；

根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值；

根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图。

另一方面，提供了一种图像处理装置，所述装置包括：

第一获取模块，被配置为获取人脸图像，对所述人脸图像中包括的目标人脸进行区域划分，得到N个区域，N为正整数；

第二获取模块，被配置为获取各个区域的像素约束项、平滑约束项和交界约束项；

其中，第p个区域的像素约束项是根据所述第p个区域的颜色数据得到的，所述第p个区域的平滑约束项用于对所述第p个区域进行图像平滑处理，所述第p个区域的交界约束项是根据与所述第p个区域存在交界的其他区域得到的，p为正整数且小于N；

确定模块，被配置为根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值；

处理模块，被配置为根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图。

在一种可能的实现方式中，所述第二获取模块包括：第一获取单元；

所述第一获取单元，包括：

第一获取子单元，被配置为获取所述第p个区域的第一颜色数据；

第二获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第三获取子单元，被配置为获取所述第p个区域的第一纹理基；根据所述第p个区域中每个像素点对应的权重、所述第一颜色数据、所述第一纹理基、所述第p个区域的纹理拟合参数，生成所述第p个区域的像素约束项。

在一种可能的实现方式中，所述第一获取子单元，被配置为：

确定所述第p个区域中灰度值大于第一阈值的第一类像素点，以及灰度值小于第二阈值的第二类像素点，所述第二阈值小于所述第一阈值；

根据所述第p个区域中第三类像素点，获取所述第p个区域的颜色均值；

将所述第p个区域的第二颜色数据与所述颜色均值进行作差处理，得到所述第p个区域的第一颜色数据；

其中，所述第三类像素点为所述第p个区域中除了所述第一类像素点和所述第二类像素点之外的其他像素点。

在一种可能的实现方式中，所述第二获取模块包括：第二获取单元；

所述第二获取单元，包括：

第四获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第五获取子单元，被配置为获取所述第p个区域的第三颜色数据，所述第三颜色数据是根据所述第p个区域在当前一轮迭代过程更新的纹理拟合值确定的；获取所述第p个区域的第一纹理基；根据所述第p个区域中每个像素点对应的权重、所述第一纹理基、所述第p个区域的纹理拟合参数和图像平滑函数，生成所述第p个区域的平滑约束项；

其中，所述图像平滑函数与所述第三颜色数据相关。

在一种可能的实现方式中，所述第二获取模块包括：第三获取单元；

所述第三获取单元，包括：

第六获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第七获取子单元，被配置为：

获取所述第p个区域的第一纹理基；

获取M个区域的第一纹理基，所述M个区域与所述第p个区域交界，M为正整数且M小于N；

根据所述第p个区域中每个像素点对应的权重、所述第p个区域和所述M个区域的第一纹理基、所述第p个区域和所述M个区域的纹理拟合参数，生成所述第p个区域的交界约束项。

在一种可能的实现方式中，所述第一纹理基包括：第一纹理均值和第一纹理主成分参数；

其中，所述第一纹理主成分参数是根据所述第p个区域的第一纹理主成分系数和第一纹理主成分方差得到的。

在一种可能的实现方式中，所述处理模块，包括：第一处理单元；

所述第一处理单元，包括：

第一处理子单元，被配置为获取所述第p个区域的第二纹理基；根据所述第p个区域的纹理拟合值和所述第二纹理基，生成第p个纹理恢复区域；

第二处理子单元，被配置为对生成的N个纹理恢复区域进行图像融合处理，得到所述目标人脸的纹理图；

其中，所述第二纹理基包括：第二纹理均值和第二纹理主成分参数；所述第二纹理主成分参数是根据所述第p个区域的第二纹理主成分系数和第二纹理主成分方差得到的。

在一种可能的实现方式中，所述第二处理子单元，被配置为：

获取所述第p个纹理恢复区域的梯度场；

获取所述梯度场的散度；

确定背景图中与所述第p个纹理恢复区域适配的背景区域的边界；

基于边界条件求解泊松方程，得到所述纹理图中位于所述背景区域内的像素点的颜色值；其中，所述泊松方程的等式右边为所述梯度场的散度；

所述边界条件用于限制所述第p个纹理恢复区域和所述背景图在所述边界上保持像素点的颜色值一致。

在一种可能的实现方式中，所述处理模块，包括：第二处理单元；

所述第二处理单元，包括：

获取所述第p个区域的法线基；

根据所述第p个区域的纹理拟合值和所述法线基，生成第p个法线恢复区域；将生成的N个法线恢复区域组合成所述目标人脸的法线图；

其中，所述法线基包括法线均值和法线主成分参数，所述法线主成分参数是根据所述第p个区域的法线主成分系数和法线主成分方差得到的。

在一种可能的实现方式中，所述第二获取子单元或所述第四获取子单元或所述第六获取子单元，被配置为：根据所述第p个区域中每个像素点的灰度值，获取所述第p个区域中每个像素点对应的初始权重；对目标区域中每个像素点对应的初始权重进行数值减小处理，得到所述目标区域中每个像素点更新后的权重；其中，所述目标区域是在所述N个区域中根据颜色数据筛选出来的部分区域。

另一方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现上述的图像处理方法。

另一方面，提供了一种存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述的图像处理方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述的图像处理方法。

本申请实施例提供的技术方案带来的有益效果是：

在获取到人脸图像后，本申请实施例首先对该人脸图像中包括的目标人脸进行多个区域划分，并在后续过程中以划分出来的各个区域为单位进行图像处理，确保了图像处理效果；之后，本申请实施例会获取划分出来的各个区域的像素约束项、平滑约束项和交界约束项；其中，对于每个区域，该区域的像素约束项是根据该区域的颜色数据得到的，该区域的平滑约束项用于对该区域进行图像平滑处理，该区域的交界约束项是根据与该区域存在交界的其他区域得到的；接下来，本申请实施例会根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值。

而由于在获取各个区域的纹理拟合值时，本申请实施例综合考虑了各个区域的多方面属性因素，因此能够得到较为合理且精确的纹理拟合值，进而根据该种纹理拟合值能够得到目标人脸的高质量的纹理图和法线图。这为后续任务的执行提供了极大的保障，比如人脸渲染时会极大提升渲染效果，能够渲染出具有超逼真人脸的虚拟人，因此该种图像处理方案的效果较佳。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法涉及的实施环境的示意图；

图2是本申请实施例提供的一种人脸uv展开图；

图3是本申请实施例提供的一种纹理图；

图4是本申请实施例提供的一种法线图；

图5是本申请实施例提供的一种图像处理方法的流程图；

图6是本申请实施例提供的一种人脸分区的示意图；

图7是本申请实施例提供的一种图像处理方法的流程图；

图8是本申请实施例提供的一种灰度值与权重的变化关系曲线；

图9是本申请实施例提供的一种泊松融合的示意图；

图10是本申请实施例提供的一种图像处理装置的结构示意图；

图11是本申请实施例提供的一种计算机设备的结构示意图；

图12是本申请实施例提供的另一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。其中，至少一个是指一个或一个以上，例如，至少一个人脸可以是一个人脸、两个人脸、三个人脸等任意大于等于一的整数个人脸。而多个是指两个或者两个以上，例如，多个人脸可以是两个人脸、三个人脸等任意大于等于二的整数个人脸。

本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质。其中，该图像处理方法涉及AI技术。

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

图1是本申请实施例提供的一种图像处理方法涉及的实施环境的示意图。

如图1所示，本申请实施例提供的图像处理方法的执行主体为计算设备101。在一种可能的实现方式中，该计算设备101既可以为终端，也可以为服务器。

示例性地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

基于上述的实施环境，本申请实施例提供的图像处理方案包括：利用高精度的纹理与法线基来拟合低质量的uv展开图。示例性地，利用消费级别的相机在日常生活中拍摄的人脸图像，往往存在光照不均匀、人脸的各个区域颜色不均匀、分辨率低等问题。本申请实施例使用高精度的纹理与法线基，通过分块拟合、逐像素点加权以及区域融合等方法，来拟合低质量的uv展开图，最终输出具有高分辨率、高质量以及光照均匀的纹理图和法线图。

详细来说，本申请实施例不但考虑到了人脸不同区域之间的关系，而且综合考虑了像素点误差、区域间误差、像素点光照影响等对最终拟合结果有较大影响的量。另外，本申请实施例还提供了一种将人脸各个区域的纹理融合起来的方法，使得在拟合低质的量uv展开图时，最终能够输出具有高分辨率以及光照均匀的高质量的纹理图和法线图。换言之，输入低质量的uv展开图，即可通过本申请实施例提供的图像处理方法，恢复出具有高质量的纹理图和法线图。

图2至图4分别示出了目标人脸的uv展开图、纹理图和法线图。

其中，创建uv贴图的过程称为uv展开。u和v指的是二维空间的水平轴和垂直轴，因为X、Y和Z已经在三维空间中使用。uv展开即是将3D(three Dimensional，三维)模型(比如3D人脸)展开成平面。例如展开一个正方体uv，可以将它分成6个平面。纹理图是指拥有人脸面部特征的二维图像，该人脸特征包括但不限于人脸轮廓、五官形状、皮肤颜色等，本申请实施例对此不进行具体限定。而法线描述了与3D人脸中当前3D顶点所在切平面垂直的向量。示例性地，法线图一般采用RGB图存储，RGB通道值分别表示XYZ轴的坐标。

在一种可能的实现方式中，本申请实施提供的方案最终输出的纹理图和法线图可以用于二次开发，比如用于渲染具有逼真人脸的虚拟人、虚拟人驱动等任务。例如，最终输出的纹理图与法线图可以用于虚拟人以及周边衍生产品。比如，具有超逼真人脸的虚拟人可以用于游戏场景，例如允许用户将自己的人脸纹理贴合到游戏人物中。

图5是本申请实施例提供的一种图像处理方法的流程图。该方法的执行主体为图1中所示的计算机设备。参见图5，本申请实施例提供的方法流程包括：

501、计算机设备获取人脸图像，对人脸图像中包括的目标人脸进行区域划分，得到N个区域。

其中，N的取值为正整数。上述人脸图像可以为用户向计算机设备输入的低质量的uv展开图。示例性地，uv展开图既可以从多视角拍摄的人脸照片得到，也可以从人脸三维扫描结果中uv展开得到，本申请实施例对此不进行具体限定。而计算机设备可以通过人脸识别技术在输入的人脸图像中识别出人脸(本文中称为目标人脸)。

在一种可能的实现方式中，在对该人脸图像中包括的目标人脸进行区域划分时，可以采取图6所示的人脸区域分块方式。如图6所示，该种人脸区域分块方式将完整人脸一共分为10个区域，即N的取值为10，并将这个10个区域分别编号为1至10。

502、计算机设备获取各个区域的像素约束项、平滑约束项和交界约束项。

在本申请实施例中，划分的N个区域中的每个区域均对应一个像素约束项、平滑约束项和交界约束项。

其中，第p个区域的像素约束项是根据第p个区域的颜色数据得到的，第p个区域的平滑约束项用于对第p个区域进行图像平滑处理，第p个区域的交界约束项是根据与第p个区域存在交界的其他区域得到的，p为正整数且小于N。

503、计算机设备根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值。

在本申请实施例中，上述纹理拟合值也可称为纹理拟合系数。其中，划分的N个区域中的每个区域均对应一个纹理拟合值。在一种可能的实现方式中，通过如下方式获取每个区域的像素约束项、平滑约束项和交界约束项：

5031、对于任意一个区域，为该区域的像素约束项分配第一权重参数，为该区域的平滑约束项分配第二权重参数，为该区域的交界约束项分配第三参数，为该区域的纹理拟合参数分配第四权重参数。

其中，纹理拟合参数为变量，纹理拟合值为常量，纹理拟合参数的取值在本文中称之为纹理拟合值。示例性地，针对纹理拟合参数需要通过多次迭代过程来更新其取值。

5032、根据各个区域的像素约束项、平滑约束项、交界约束项和纹理拟合参数，以及各个区域对应的第一权重参数、第二权重参数、第三权重参数和第四权重参数，构建损失函数。

5033、对该损失函数执行迭代运算，直至该损失函数的误差值满足目标条件，得到各个区域的纹理拟合值。

504、计算机设备根据各个区域的纹理拟合值，生成目标人脸的纹理图和法线图。

在一种可能的实现方式中，上述目标条件可以为迭代次数大于固定次数，或，误差值达到最小，比如相邻两次迭代过程的误差值几乎相等认为迭代收敛；或，误差值小于一定阈值，本申请实施例对此不进行具体限定。

本申请实施例提供的方法，在获取到人脸图像后，首先对该人脸图像中包括的目标人脸进行多个区域划分，并在后续过程中以划分出来的各个区域为单位进行图像处理，确保了图像处理效果；之后，本申请实施例会获取划分出来的各个区域的像素约束项、平滑约束项和交界约束项；其中，对于每个区域，该区域的像素约束项是根据该区域的颜色数据得到的，该区域的平滑约束项用于对该区域进行图像平滑处理，该区域的交界约束项是根据与该区域存在交界的其他区域得到的；接下来，本申请实施例会根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值。

而由于在获取各个区域的纹理拟合值时，本申请实施例综合考虑了各个区域的多方面属性因素，因此能够得到较为合理且精确的纹理拟合值，进而根据该种纹理拟合值能够得到目标人脸的高质量的纹理图和法线图。这为后续任务的执行提供了极大的保障，比如人脸渲染时会极大提升渲染效果，能够渲染出具有超逼真人脸的虚拟人。

图7是本申请实施例提供的一种图像处理方法的流程图。该方法的执行主体为图1中所示的计算机设备，该图像处理方法包括数据预处理、构建损失函数和区域融合三个部分。参见图7，本申请实施例提供的方法流程包括：

701、计算机设备获取人脸图像，对该人脸图像中包括的目标人脸进行区域划分，得到N个区域。

本步骤的执行可以参考上述步骤501。

702、计算机设备分别对N个区域进行数据预处理。

作为一个示例，对N个区域中的每个区域进行数据预处理，包括但不限于如下两个步骤。

7021、获取N个区域中每个区域的颜色均值。

由于将目标人脸划分成为N个区域，而划分出来的各个区域的颜色均值可能不同，本申请实施例获取各个区域各自对应的颜色均值。即，每个区域各自获取颜色均值。另外，在实际操作时，由于高光区域会导致颜色值异常偏大，而阴影区域又会导致颜色值异常偏小，因此在获取各个区域的颜色均值时，本申请实施例不统计灰度值过大以及灰度值过小的像素点的颜色值。由此可以获取到各个区域相对合理的颜色。

以N个区域中的第p个区域为例，则第p个区域的颜色均值的获取过程，包括：确定第p个区域中灰度值大于第一阈值的第一类像素点，以及灰度值小于第二阈值的第二类像素点，其中，第二阈值小于第一阈值；根据第p个区域中第三类像素点，获取第p个区域的颜色均值；其中，第三类像素点为第p个区域中除了第一类像素点和第二类像素点之外的其他像素点。示例性地，在获取第p个区域的颜色均值时，可以R、G、B三个通道各自计算均值，本申请实施例对此不进行具体限定。其中，p为正整数且p小于N。

在本申请实施例中，在获取到每个区域各自对应的颜色均值后，可以执行如下步骤：将各个区域的原始颜色数据(在本文中也被称为第二颜色数据)减去各个区域对应的颜色均值。以第p个区域为例，即将第p个区域的第二颜色数据与第p个区域对应的颜色均值进行作差处理，得到第p个区域的第一颜色数据。

需要说明的是，每个区域的第一颜色数据用于后续的计算过程中，而非每个区域的原始颜色数据用于后续的计算过程中。

7022、对于N个区域中的每个区域，为该区域中的每个像素点分配权重。

针对低质量的uv展开图中各个区域的像素点的颜色不均匀的问题，本申请实施例提供了如图8所示的灰度值与权重的变化关系曲线，该曲线涉及的计算公式如下：

其中，x为像素点的灰度值，w为像素点的权重。

在另一个种可能的实现方式中，本申请实施例还考虑了一些特殊情况，比如对于嘴唇内部等颜色特别暗的区域(一般是由于阴影或是数据采集时没有采集到引起)，这些区域的像素点对应的权重根据上述公式计算出来通常数值很大。针对这种情况，在实际操作中，本申请实施例会将这些区域的像素点的权重单独调小，以避免出现诸如拟合之后的嘴唇区域出现异常的黑色区域。

即，对于第p个区域，本申请实施例还包括：根据第p个区域中每个像素点的灰度值，获取第p个区域中每个像素点对应的初始权重(根据上述公式计算得到的权重)；对目标区域中每个像素点对应的初始权重进行数值减小处理，得到目标区域中每个像素点更新后的权重(调小之后的权重)；其中，目标区域是在N个区域中根据颜色数据筛选出来的部分区域，通常为颜色较暗的区域，比如目标区域为唇部区域或眉毛区域。

703、计算机设备基于预处理后的N个区域，构建目标人脸的损失函数；对该损失函数执行迭代运算，直至该损失函数的误差值满足目标条件，得到N个区域的纹理拟合值。

在一种可能的实现方式中，构建损失函数包括但不限于如下步骤：

7031、获取N个区域中每个区域的像素约束项、平滑约束项和交界约束项。

针对第p个区域来说，第p个区域的像素约束项是根据第p个区域的颜色数据得到的，第p个区域的平滑约束项用于对第p个区域进行图像平滑处理，第p个区域的交界约束项是根据与第p个区域存在交界的其他区域得到的。

7031-1、生成第p个区域的像素约束项。

在一种可能的实现方式中，该步骤包括但不限于：

步骤a、获取第p个区域的第一颜色数据。

参考上述步骤7021，将第p个区域的原始颜色数据(在本文中也被称为第二颜色数据)减去第p个区域对应的颜色均值，即可得到第p个区域的第一颜色数据。

步骤b、获取第p个区域中每个像素点对应的权重。

参考上述步骤7022即可得到第p个区域中每个像素点对应的权重。

步骤c、获取第p个区域的第一纹理基。

本申请实施例提供了高精度的纹理与法线库，该纹理与法线库为上述划分的N个区域中的每个区域均保存了一份纹理与法线基。比如，为N个区域中的每个区域均保存了一个第一纹理基和一个第二纹理基。其中，第一纹理基以l_mu和l_pcev指代，第二纹理基以h_mu和h_pcev指代。

l_mu和l_pcev与输入的低质量的uv展开图(小尺寸)对应，第二纹理基与最终输出的高质量的纹理图(大尺寸)对应。

其中，l_mu指代均值、l_pc指代主成分系数、l_ev_f为主成分方差。

针对第p个区域，相应的l_mu、l_pc和l_ev_f可以在建库时通过对小尺寸的纹理图进行PCA(Principal Components Analysis，主成分分析)分解得到。其中，l_pc是协方差矩阵的特征向量矩阵，每一列都是一个特征向量，从大到小排列；l_ev_f是l_pc对应的特征值，从大到小排列。

一般的，通过对l_ev_f进行分析，取方差占比高于一定阈值的主成分数量。比如，取主成分方差占比高于0.9的主成分方差数量。示例性地，将l_ev_f开根号可以变成一个对角矩阵，得到主成分标准差构成的对角矩阵l_ev。

另外，本申请实施例不再细分pc与ev，将pc*ev统称为pcev。

另外，在得到l_mu和l_pcev之后，可以通过l_mu和l_pcev来获取h_pcev，而h_mu可以在建库时通过对大尺寸的纹理图求均值得到。

基于以上描述可知，第一纹理基包括：第一纹理均值和第一纹理主成分参数；其中，第一纹理主成分参数是根据第p个区域的第一纹理主成分系数和第一纹理主成分方差得到的。换言之，l_mu即为第一纹理均值，l_pcev即为第一纹理主成分系数。第二纹理基包括：第二纹理均值和第二纹理主成分参数；其中，第二纹理主成分参数是根据第p个区域的第二纹理主成分系数和第二纹理主成分方差得到的。换言之，h_mu即为第二纹理均值，h_pcev即为第二纹理主成分系数。

步骤d、获取第p个区域的纹理拟合参数；根据第p个区域中每个像素点对应的权重、第一颜色数据、第一纹理基、第p个区域的纹理拟合参数，生成第p个区域的像素约束项。

在本申请实施例中，生成第p个区域的像素约束项，通过如下公式表达。

其中，pixel_loss(p)指代第p个区域的像素约束项；ω(p)指代第p个区域中每个像素点对应的权重；uv(p)指代第p个区域的第一颜色数据，即当前输入的uv展开图在第p个区域的RGB信息；l_mu(p)和l_pcev(p)为第p个区域的第一纹理基，即l_mu(p)表示高精度的纹理与法线库在p区域的纹理均值，l_pcev(p)表示高精度的纹理与法线库在p区域的l_pc与l_ev的乘积；α(p)指代第p个区域的纹理拟合参数，α(p)需要通过多次迭代过程来更新其取值。表示2范数计算公式的平方，即/>

7031-2、生成第p个区域的平滑约束项。

在一种可能的实现方式中，该步骤包括但不限于：

步骤e、获取第p个区域的第三颜色数据。

其中，第三颜色数据是根据第p个区域在当前一轮迭代过程更新的纹理拟合值确定的；即，第三颜色数据表示利用当前次迭代更新的纹理拟合值拟合得到的p区域的RGB信息。需要说明的是，此处的纹理拟合值是针对p区域的。

步骤f、获取第p个区域中每个像素点对应的权重。

参考上述步骤7022即可得到第p个区域中每个像素点对应的权重。

步骤g、获取第p个区域的第一纹理基。

本步骤可以参考上述步骤c。

步骤h、获取第p个区域的纹理拟合参数；根据第p个区域中每个像素点对应的权重、第一纹理基、第p个区域的纹理拟合参数和图像平滑函数，生成第p个区域的平滑约束项；其中，该图像平滑函数与第三颜色数据相关。

在本申请实施例中，生成第p个区域的平滑约束项，通过如下公式表达。

其中，smooth_loss(p)指代第p个区域的平滑约束项；ω(p)指代第p个区域中每个像素点对应的权重；uv′(p)指代第p个区域的第三颜色数据，即表示利用当前次迭代更新的纹理拟合值拟合得到的p区域的RGB信息；l_mu(p)和l_pcev(p)为第p个区域的第一纹理基，即l_mu(p)表示高精度的纹理与法线库在p区域的纹理均值，l_pcev(p)表示高精度的纹理与法线库在p区域的l_pc与l_ev的乘积；α(p)指代第p个区域的纹理拟合参数，α(p)需要通过多次迭代过程来更新其取值。F表示的是图像平滑函数，该图像平滑函数可以是高斯滤波，也可以是均值滤波，本申请实施例对此不进行具体限定。

7031-3、生成第p个区域的交界约束项。

在一种可能的实现方式中，该步骤包括但不限于：

步骤i、获取第p个区域中每个像素点对应的权重。

参考上述步骤7022即可得到第p个区域中每个像素点对应的权重。

步骤j、获取第p个区域的第一纹理基。

本步骤可以参考上述步骤c。

步骤k、获取M个区域的第一纹理基。

本步骤可以参考上述步骤c。

其中，M个区域与第p个区域交界，M为正整数且M小于N。示例性地，如图6所示，区域1与区域2、区域3、区域4、区域5、区域8、区域9和区域10交界；区域2与区域1、区域4、区域6和区域9交界，以此类推。

步骤l、获取第p个区域和M个区域的纹理拟合参数；根据第p个区域中每个像素点对应的权重、第p个区域和M个区域的第一纹理基、第p个区域和M个区域的纹理拟合参数，生成第p个区域的交界约束项。

在本申请实施例中，生成第p个区域的平滑约束项，通过如下公式表达。

其中，overlap_loss(p)指代第p个区域的交界约束项；ω(p)指代第p个区域中每个像素点对应的权重；l_mu(p)和l_pcev(p)为第p个区域的第一纹理基，即l_mu(p)表示高精度的纹理与法线库在p区域的纹理均值；l_pcev(p)表示高精度的纹理与法线库在p区域的l_pc与l_ev的乘积；α(p)指代第p个区域的纹理拟合参数，α(p)需要通过多次迭代过程来更新其取值。

其中，po表示与当前区域p交界的区域集合。如图6所示，与区域1交界的区域集合为[2，3，4，5，8，9，10]，则p的取值为1时，po需要遍历[2，3，4，5，8，9，10]；p的取值为2时，po需要遍历合[1，4，6，9]，以此类推。

另外，在上述公式overlap_loss(p)的实际计算过程中，需要令l_mu(po)+l_pcev(po)*α(po)与l_mu(p)+l_pcev(p)*α(p)的维度一致，因此，此处在迭代po过程中，p的大小在变化，即迭代过程中公式中的p是当前p区域与po的交界位置。

7032、根据N个区域的像素约束项、平滑约束项和交界约束项，构建该损失函数。

本申请实施例在拟合低质量的uv展开图时，将划分出来的N个区域综合考虑，构建如下所示的损失函数。其中，p表示对所有脸部区域的遍历，假设N的取值为10，则p需要遍历10个脸部区域。

其中，all_part的取值等于N，λ0(p)指代p区域的像素约束项的权重参数(也称第一权重参数)，λ1(p)指代p区域的平滑约束项的权重参数(也称第二权重参数)，λ2(p)指代p区域的交界约束项的权重参数(也称第三权重参数)，λ3(p)指代p区域的纹理拟合参数的权重参数(也称第四权重参数)。

换言之，对于N个区域中的任意一个区域，本申请实施例会为该区域的像素约束项分配第一权重参数，平滑约束项分配第二权重参数，交界约束项分配第三参数，纹理拟合参数分配第四权重参数；之后，根据各个区域的像素约束项、平滑约束项、交界约束项和纹理拟合参数，以及各个区域对应的第一权重参数、第二权重参数、第三权重参数和第四权重参数来构建损失函数。

示例性地，本申请实施例采用牛顿法来求解上述损失函数的计算公式，在每次迭代运算过程中对该公式求针对α(p)的一阶、二阶导数，以N的取值为10为例，则在一次迭代运算过程中，会依次更新α(p1)、α(p2)直到α(p10)，即每个区域对应一个纹理拟合值(也称纹理拟合系数)。另外，在本方案中需要调优的权重参数为各个区域的λ0(p)、λ1(p)、λ2(p)和λ3(p)。以N的取值为10为例，则一共有40个需要调优的权重参数。

704、计算机设备根据各个区域的纹理拟合值，生成目标人脸的纹理图。

在一种可能的实现方式中，根据各个区域的纹理拟合值，生成目标人脸的纹理图，包括但不限于如下步骤：

7041、计算机设备获取第p个区域的第二纹理基；根据第p个区域的纹理拟合值和第二纹理基，生成第p个纹理恢复区域。

第p个区域可为上述N个区域中的任意一个区域。其中，第p个纹理恢复区域的RGB信息可以表示为h_mu(p)+h_pcev(p)*α(p)。

通过下述公式即可实现将低质量的uv展开图恢复成大尺寸的高精度画面。

tex_big＝∑_p(h_mu(p)+h_pcev(p)*α(p))

其中，tex_big指代恢复后得到的大尺寸画面的RGB信息。

另外，由于输入的uv展开图本身质量较低，因此通过上述公式得到的各个纹理恢复区域之间难免依然会存在不合理的颜色，为此，本申请实施例还会用泊松融合算法来融合各个纹理恢复区域。详见下述步骤7042。

7042、计算机设备对生成的N个纹理恢复区域进行图像融合处理，得到目标人脸的纹理图。

示例性地，本申请实施例在进行图像融合处理时采用泊松融合算法。

其中，在图像融合任务中，前景图放置在背景图上时，通常需要保证点：第一、前景图本身主要内容相比于背景图而言要尽量平滑；第二、边界处无缝，即前景图和背景图在边界位置上像素点的颜色值需要保持边界一致。

其中，平滑可以理解为前景图和背景图的梯度相同。边界一致可以理解成在边界上的像素值相同。因为需要平滑，所以div v取值需要同时参考前景图和背景图，比如可以直接等于前景图的散度。又因为需要保持边界一致，因此前景图边界上的像素点的颜色值还需等于背景图。图9示出了泊松融合的示意图。

在图9中，Ia指代各个区域通过h_mu(p)+h_pcev(p)*α(p)恢复的结果，Ia中圆圈部分表示当前纹理恢复区域(图中901)；Ib为当前融合的背景图，Ic为融合结果图。由图9可以看出，融合结果图Ic中(图中903)内部的信息与Ia中对应区域接近，而Ic中圆圈的边界部分则与Ib中圆圈(图中902)的边界部分接近。在泊松融合时基本可以认为遵循图9所示的规律，此时Ia中圆圈的内部信息为图像的梯度变化。

作为一个示例，对生成的N个纹理恢复区域进行图像融合处理，得到目标人脸的纹理图，包括但不限于如下步骤：

获取第p个纹理恢复区域的梯度场；获取梯度场的散度；确定背景图中与第p个纹理恢复区域适配的背景区域(图中902)的边界；基于边界条件求解泊松方程，得到最终输出的纹理图中位于该背景区域内的像素点的颜色数据；其中，泊松方程的等式右边为该梯度场的散度；而该边界条件用于限制第p个纹理恢复区域和该背景图在边界上保持像素点的颜色数据一致。

在数学上，上述内容可以用如下公式进行表示。

其中，ΔIc表示对Ic执行一次拉普拉斯算子操作，表示对Ia的梯度场的散度，/>表示区域Ω(图中902)的边界。/>即为边界条件。

需要说明的是，图3中示出的纹理图即为本方案拟合的纹理图。

上面步骤704介绍了纹理图的恢复方法，下面通过下述步骤705对目标人脸的法线图的恢复方法进行介绍。

705、计算机设备根据各个区域的纹理拟合值，生成目标人脸的法线图。

在一种可能的实现方式中，直接使用N个区域的纹理拟合值即可恢复目标人脸的法线图。其中，法线图的恢复的公式可参考上述步骤7041中的公式：

tex_big＝∑_p(h_mu(p)+h_pcev(p)*α(p))

针对该步骤，该公式中的h_mu与h_pcev分别表示法线均值与法线主成分参数。即，根据各个区域的纹理拟合值，生成目标人脸的纹理图和法线图，包括但不限于如下步骤：

7051、获取第p个区域的法线基。

7052、根据第p个区域的纹理拟合值和法线基，生成第p个法线恢复区域；将生成的N个法线恢复区域组合成所述目标人脸的法线图。

其中，法线基包括法线均值和法线主成分参数，该法线主成分参数是根据第p个区域的法线主成分系数和法线主成分方差得到的。即，该法线主成分参数是第p个区域的法线主成分系数和法线主成分标准差构成的对角矩阵的乘积。示例性地，法线基的获取方式可以参考上述步骤703中纹理基的获取方式。

需要说明的是，图4中示出的法线图即为本方案拟合的法线图。

本申请实施例提供的图像处理方法，计算机设备在获取到低质量的uv展开图后，会先对该uv展开图中包括的人脸进行多区域划分，之后依次通过数据预处理、构建损失函数和区域融合等步骤的处理，即可实现将具有低分辨率、光照不均匀、颜色不均匀的低质量uv展开图，恢复成具有高分辨率和光照均匀的高质量纹理图与法线图。而由于计算机设备输出的纹理图和法线图具有高质量，因此后续任务的执行提供了极大的保障，比如人脸渲染时会极大提升渲染效果，能够渲染出具有超逼真人脸的虚拟人，该种图像处理方式的效果较佳。

在另一个实施例中，在进行人脸区域划分时，除了采取上述步骤701所示的方式之外，在实际操作中还可以采用更加细致的划分方法，比如将人脸轮廓区域划分为上下两个部分，本申请实施例对此不进行具体限定。另外，在最小化损失函数的误差值时，除了采用牛顿法求解之外，还可以考虑采用其他优化算法，比如高斯牛顿，LM算法等。另外，在进行区域融合处理时，除了采用泊松融合算法之外，还可以考虑采用拉普拉斯金字塔融合等融合算法部分，本申请实施例对此不进行具体限定。

图10是本申请实施例提供的一种图像处理装置的结构示意图。参见图10，该装置包括：

第一获取模块1001，被配置为获取人脸图像，对所述人脸图像中包括的目标人脸进行区域划分，得到N个区域，N为正整数；

第二获取模块1002，被配置为获取各个区域的像素约束项、平滑约束项和交界约束项；

其中，第p个区域的像素约束项是根据所述第p个区域的颜色数据得到的，所述第p个区域的平滑约束项用于对所述第p个区域进行图像平滑处理，所述第p个区域的交界约束项是根据与所述第p个区域存在交界的其他区域得到的，p为正整数且小于N；

确定模块1003，被配置为根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值；

处理模块1004，被配置为根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图。

本申请实施例提供的装置，在获取到人脸图像后，首先对该人脸图像中包括的目标人脸进行多个区域划分，并在后续过程中以划分出来的各个区域为单位进行图像处理，确保了图像处理效果；之后，本申请实施例会获取划分出来的各个区域的像素约束项、平滑约束项和交界约束项；其中，对于每个区域，该区域的像素约束项是根据该区域的颜色数据得到的，该区域的平滑约束项用于对该区域进行图像平滑处理，该区域的交界约束项是根据与该区域存在交界的其他区域得到的；接下来，本申请实施例会根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值。

而由于在获取各个区域的纹理拟合值时，本申请实施例综合考虑了各个区域的多方面属性因素，因此能够得到较为合理且精确的纹理拟合值，进而根据该种纹理拟合值能够得到目标人脸的高质量的纹理图和法线图。这为后续任务的执行提供了极大的保障，比如人脸渲染时会极大提升渲染效果，能够渲染出具有超逼真人脸的虚拟人。

在一种可能的实现方式中，所述确定模块，被配置为：

对于任意一个区域，为所述区域的像素约束项分配第一权重参数，为所述区域的平滑约束项分配第二权重参数，为所述区域的交界约束项分配第三参数，为所述区域的纹理拟合参数分配第四权重参数；

根据各个区域的像素约束项、平滑约束项、交界约束项和纹理拟合参数，以及各个区域对应的第一权重参数、第二权重参数、第三权重参数和第四权重参数，构建损失函数；

对所述损失函数执行迭代运算，直至所述损失函数的误差值满足目标条件，得到各个区域的纹理拟合值。

在一种可能的实现方式中，所述第二获取模块包括：第一获取单元；

所述第一获取单元，包括：

第一获取子单元，被配置为获取所述第p个区域的第一颜色数据；

第二获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第三获取子单元，被配置为获取所述第p个区域的第一纹理基；获取所述第p个区域的纹理拟合参数；根据所述第p个区域中每个像素点对应的权重、所述第一颜色数据、所述第一纹理基、所述第p个区域的纹理拟合参数，生成所述第p个区域的像素约束项。

在一种可能的实现方式中，所述第一获取子单元，被配置为：

确定所述第p个区域中灰度值大于第一阈值的第一类像素点，以及灰度值小于第二阈值的第二类像素点，所述第二阈值小于所述第一阈值；

根据所述第p个区域中第三类像素点，获取所述第p个区域的颜色均值；

将所述第p个区域的第二颜色数据与所述颜色均值进行作差处理，得到所述第p个区域的第一颜色数据；

其中，所述第三类像素点为所述第p个区域中除了所述第一类像素点和所述第二类像素点之外的其他像素点。

在一种可能的实现方式中，所述第二获取模块包括：第二获取单元；

所述第二获取单元，包括：

第四获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第五获取子单元，被配置为获取所述第p个区域的第三颜色数据，所述第三颜色数据是根据所述第p个区域在当前一轮迭代过程更新的纹理拟合值确定的；获取所述第p个区域的第一纹理基；获取所述第p个区域的纹理拟合参数；根据所述第p个区域中每个像素点对应的权重、所述第一纹理基、所述第p个区域的纹理拟合参数和图像平滑函数，生成所述第p个区域的平滑约束项；

其中，所述图像平滑函数与所述第三颜色数据相关。

在一种可能的实现方式中，所述第二获取模块包括：第三获取单元；

所述第三获取单元，包括：

第六获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第七获取子单元，被配置为：

获取所述第p个区域的第一纹理基；

获取M个区域的第一纹理基，所述M个区域与所述第p个区域交界，M为正整数且M小于N；

获取所述第p个区域和所述M个区域的纹理拟合参数；

根据所述第p个区域中每个像素点对应的权重、所述第p个区域和所述M个区域的第一纹理基、所述第p个区域和所述M个区域的纹理拟合参数，生成所述第p个区域的交界约束项。

在一种可能的实现方式中，所述第一纹理基包括：第一纹理均值和第一纹理主成分参数；

其中，所述第一纹理主成分参数是根据所述第p个区域的第一纹理主成分系数和第一纹理主成分方差得到的。

在一种可能的实现方式中，所述处理模块，包括：第一处理单元；

所述第一处理单元，包括：

第一处理子单元，被配置为获取所述第p个区域的第二纹理基；根据所述第p个区域的纹理拟合值和所述第二纹理基，生成第p个纹理恢复区域；

第二处理子单元，被配置为对生成的N个纹理恢复区域进行图像融合处理，得到所述目标人脸的纹理图；

其中，所述第二纹理基包括：第二纹理均值和第二纹理主成分参数；所述第二纹理主成分参数是根据所述第p个区域的第二纹理主成分系数和第二纹理主成分方差得到的。

在一种可能的实现方式中，所述第二处理子单元，被配置为：

获取所述第p个纹理恢复区域的梯度场；

获取所述梯度场的散度；

确定背景图中与所述第p个纹理恢复区域适配的背景区域的边界；

基于边界条件求解泊松方程，得到所述纹理图中位于所述背景区域内的像素点的颜色值；其中，所述泊松方程的等式右边为所述梯度场的散度；

所述边界条件用于限制所述第p个纹理恢复区域和所述背景图在所述边界上保持像素点的颜色值一致。

在一种可能的实现方式中，所述处理模块，包括：第二处理单元；

所述第二处理单元，包括：

获取所述第p个区域的法线基；

根据所述第p个区域的纹理拟合值和所述法线基，生成第p个法线恢复区域；将生成的N个法线恢复区域组合成所述目标人脸的法线图；

其中，所述法线基包括法线均值和法线主成分参数，所述法线主成分参数是根据所述第p个区域的法线主成分系数和法线主成分方差得到的。

在一种可能的实现方式中，所述第二获取子单元或所述第四获取子单元或所述第六获取子单元，被配置为：根据所述第p个区域中每个像素点的灰度值，获取所述第p个区域中每个像素点对应的初始权重；对目标区域中每个像素点对应的初始权重进行数值减小处理，得到所述目标区域中每个像素点更新后的权重；其中，所述目标区域是在所述N个区域中根据颜色数据筛选出来的部分区域。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11示出了本申请一个示例性实施例提供的计算机设备1100的结构框图。该计算机设备1100可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，计算机设备1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1101所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中，计算机设备1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107和电源1109中的至少一种。

外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在计算机设备1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在计算机设备1100的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在计算机设备1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。

电源1109用于为计算机设备1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、光学传感器1115以及接近传感器1116。

加速度传感器1111可以检测以计算机设备1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1112可以检测计算机设备1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对计算机设备1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1113可以设置在计算机设备1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在计算机设备1100的侧边框时，可以检测用户对计算机设备1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。

接近传感器1116，也称距离传感器，通常设置在计算机设备1100的前面板。接近传感器1116用于采集用户与计算机设备1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与计算机设备1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与计算机设备1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对计算机设备1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图12是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1201和一个或一个以上的存储器1202，其中，所述存储器1202中存储有至少一条程序代码，所述至少一条程序代码由所述处理器1201加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由终端中的处理器执行以完成上述实施例中的图像处理方法。例如，所述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述的图像处理方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：

获取人脸图像，对所述人脸图像中包括的目标人脸进行区域划分，得到N个区域，N为正整数；

对于所述N个区域中的第p个区域，根据所述第p个区域中每个像素点对应的权重、所述第p个区域的第一颜色数据、第一纹理基和纹理拟合参数，生成所述第p个区域的像素约束项；p为正整数且小于N；

根据所述每个像素点对应的权重、所述第p个区域的第一纹理基、纹理拟合参数和图像平滑函数，生成所述第p个区域的平滑约束项；其中，所述第p个区域的平滑约束项用于对所述第p个区域进行图像平滑处理；

根据所述每个像素点对应的权重、所述第p个区域和M个区域的第一纹理基、所述第p个区域和所述M个区域的纹理拟合参数，生成所述第p个区域的交界约束项；所述M个区域与所述第p个区域交界，M为正整数且M小于N；

根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值；

根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图。

2.根据权利要求1所述的方法，其特征在于，所述根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值，包括：

对于任意一个区域，为所述区域的像素约束项分配第一权重参数，为所述区域的平滑约束项分配第二权重参数，为所述区域的交界约束项分配第三参数，为所述区域的纹理拟合参数分配第四权重参数；

根据各个区域的像素约束项、平滑约束项、交界约束项和纹理拟合参数，以及各个区域对应的第一权重参数、第二权重参数、第三权重参数和第四权重参数，构建损失函数；

对所述损失函数执行迭代运算，直至所述损失函数的误差值满足目标条件，得到各个区域的纹理拟合值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述第p个区域的第一颜色数据；

获取所述第p个区域中每个像素点对应的权重；

获取所述第p个区域的第一纹理基；

获取所述第p个区域的纹理拟合参数。

4.根据权利要求3所述的方法，其特征在于，所述获取所述第p个区域的第一颜色数据，包括：

确定所述第p个区域中灰度值大于第一阈值的第一类像素点，以及灰度值小于第二阈值的第二类像素点，所述第二阈值小于所述第一阈值；

根据所述第p个区域中第三类像素点，获取所述第p个区域的颜色均值；

将所述第p个区域的第二颜色数据与所述颜色均值进行作差处理，得到所述第p个区域的第一颜色数据；

其中，所述第三类像素点为所述第p个区域中除了所述第一类像素点和所述第二类像素点之外的其他像素点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述第p个区域的第三颜色数据，所述第三颜色数据是根据所述第p个区域在当前一轮迭代过程更新的纹理拟合值确定的；

获取所述第p个区域中每个像素点对应的权重；

获取所述第p个区域的第一纹理基；

获取所述第p个区域的纹理拟合参数；

其中，所述图像平滑函数与所述第三颜色数据相关。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述第p个区域中每个像素点对应的权重；

获取所述第p个区域和所述M个区域的第一纹理基；

获取所述第p个区域和所述M个区域的纹理拟合参数。

7.根据权利要求3、5或6中任一项权利要求所述的方法，其特征在于，所述第一纹理基包括：第一纹理均值和第一纹理主成分参数；

其中，所述第一纹理主成分参数是根据所述第p个区域的第一纹理主成分系数和第一纹理主成分方差得到的。

8.根据权利要求1所述的方法，其特征在于，所述根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图，包括：

获取所述第p个区域的第二纹理基；

根据所述第p个区域的纹理拟合值和所述第二纹理基，生成第p个纹理恢复区域；对生成的N个纹理恢复区域进行图像融合处理，得到所述目标人脸的纹理图；

其中，所述第二纹理基包括：第二纹理均值和第二纹理主成分参数；所述第二纹理主成分参数是根据所述第p个区域的第二纹理主成分系数和第二纹理主成分方差得到的。

9.根据权利要求8所述的方法，其特征在于，所述对生成的N个纹理恢复区域进行图像融合处理，得到所述目标人脸的纹理图，包括：

获取所述第p个纹理恢复区域的梯度场；

获取所述梯度场的散度；

确定背景图中与所述第p个纹理恢复区域适配的背景区域的边界；

基于边界条件求解泊松方程，得到所述纹理图中位于所述背景区域内的像素点的颜色值；其中，所述泊松方程的等式右边为所述梯度场的散度；

所述边界条件用于限制所述第p个纹理恢复区域和所述背景图在所述边界上保持像素点的颜色值一致。

10.根据权利要求1所述的方法，其特征在于，所述根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图，包括：

获取所述第p个区域的法线基；

根据所述第p个区域的纹理拟合值和所述法线基，生成第p个法线恢复区域；将生成的N个法线恢复区域组合成所述目标人脸的法线图；

其中，所述法线基包括法线均值和法线主成分参数，所述法线主成分参数是根据所述第p个区域的法线主成分系数和法线主成分方差得到的。

11.根据权利要求3、5或6中任一项权利要求所述的方法，其特征在于，所述获取所述第p个区域中每个像素点对应的权重，包括：

根据所述第p个区域中每个像素点的灰度值，获取所述第p个区域中每个像素点对应的初始权重；

对目标区域中每个像素点对应的初始权重进行数值减小处理，得到所述目标区域中每个像素点更新后的权重；其中，所述目标区域是在所述N个区域中根据颜色数据筛选出来的部分区域。

12.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，被配置为获取人脸图像，对所述人脸图像中包括的目标人脸进行区域划分，得到N个区域，N为正整数；

第二获取模块，被配置为对于所述N个区域中的第p个区域，根据所述第p个区域中每个像素点对应的权重、所述第p个区域的第一颜色数据、第一纹理基和纹理拟合参数，生成所述第p个区域的像素约束项；p为正整数且小于N；根据所述每个像素点对应的权重、所述第p个区域的第一纹理基、纹理拟合参数和图像平滑函数，生成所述第p个区域的平滑约束项；其中，所述第p个区域的平滑约束项用于对所述第p个区域进行图像平滑处理；根据所述每个像素点对应的权重、所述第p个区域和M个区域的第一纹理基、所述第p个区域和所述M个区域的纹理拟合参数，生成所述第p个区域的交界约束项；所述M个区域与所述第p个区域交界，M为正整数且M小于N；

确定模块，被配置为根据各个区域的像素约束项、平滑约束项和交界约束项，确定各个区域的纹理拟合值；

处理模块，被配置为根据各个区域的纹理拟合值，生成所述目标人脸的纹理图和法线图。

13.根据权利要求12所述的装置，其特征在于，所述确定模块，被配置为：

对于任意一个区域，为所述区域的像素约束项分配第一权重参数，为所述区域的平滑约束项分配第二权重参数，为所述区域的交界约束项分配第三参数，为所述区域的纹理拟合参数分配第四权重参数；

根据各个区域的像素约束项、平滑约束项、交界约束项和纹理拟合参数，以及各个区域对应的第一权重参数、第二权重参数、第三权重参数和第四权重参数，构建损失函数；

对所述损失函数执行迭代运算，直至所述损失函数的误差值满足目标条件，得到各个区域的纹理拟合值。

14.根据权利要求12所述的装置，其特征在于，所述第二获取模块包括：第一获取单元；

所述第一获取单元，包括：

第一获取子单元，被配置为获取所述第p个区域的第一颜色数据；

第二获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第三获取子单元，被配置为获取所述第p个区域的第一纹理基。

15.根据权利要求14所述的装置，其特征在于，所述第一获取子单元，被配置为：

确定所述第p个区域中灰度值大于第一阈值的第一类像素点，以及灰度值小于第二阈值的第二类像素点，所述第二阈值小于所述第一阈值；

根据所述第p个区域中第三类像素点，获取所述第p个区域的颜色均值；

将所述第p个区域的第二颜色数据与所述颜色均值进行作差处理，得到所述第p个区域的第一颜色数据；

其中，所述第三类像素点为所述第p个区域中除了所述第一类像素点和所述第二类像素点之外的其他像素点。

16.根据权利要求12所述的装置，其特征在于，所述第二获取模块包括：第二获取单元；

所述第二获取单元，包括：

第四获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第五获取子单元，被配置为获取所述第p个区域的第三颜色数据，所述第三颜色数据是根据所述第p个区域在当前一轮迭代过程更新的纹理拟合值确定的；获取所述第p个区域的第一纹理基；其中，所述图像平滑函数与所述第三颜色数据相关。

17.根据权利要求12所述的装置，其特征在于，所述第二获取模块包括：第三获取单元；

所述第三获取单元，包括：

第六获取子单元，被配置为获取所述第p个区域中每个像素点对应的权重；

第七获取子单元，被配置为获取所述第p个区域和所述M个区域的第一纹理基；获取所述第p个区域和所述M个区域的纹理拟合参数。

18.根据权利要求14、16或17中任一项权利要求所述的装置，其特征在于，所述第一纹理基包括：第一纹理均值和第一纹理主成分参数；

其中，所述第一纹理主成分参数是根据所述第p个区域的第一纹理主成分系数和第一纹理主成分方差得到的。

19.根据权利要求12所述的装置，其特征在于，所述处理模块，包括：第一处理单元；

所述第一处理单元，包括：

第一处理子单元，被配置为获取所述第p个区域的第二纹理基；根据所述第p个区域的纹理拟合值和所述第二纹理基，生成第p个纹理恢复区域；

第二处理子单元，被配置为对生成的N个纹理恢复区域进行图像融合处理，得到所述目标人脸的纹理图；

其中，所述第二纹理基包括：第二纹理均值和第二纹理主成分参数；所述第二纹理主成分参数是根据所述第p个区域的第二纹理主成分系数和第二纹理主成分方差得到的。

20.根据权利要求19所述的装置，其特征在于，所述第二处理子单元，被配置为：

获取所述第p个纹理恢复区域的梯度场；

获取所述梯度场的散度；

确定背景图中与所述第p个纹理恢复区域适配的背景区域的边界；

基于边界条件求解泊松方程，得到所述纹理图中位于所述背景区域内的像素点的颜色值；其中，所述泊松方程的等式右边为所述梯度场的散度；

所述边界条件用于限制所述第p个纹理恢复区域和所述背景图在所述边界上保持像素点的颜色值一致。

21.根据权利要求12所述的装置，其特征在于，所述处理模块，包括：第二处理单元；

所述第二处理单元，包括：

获取所述第p个区域的法线基；

根据所述第p个区域的纹理拟合值和所述法线基，生成第p个法线恢复区域；将生成的N个法线恢复区域组合成所述目标人脸的法线图；

其中，所述法线基包括法线均值和法线主成分参数，所述法线主成分参数是根据所述第p个区域的法线主成分系数和法线主成分方差得到的。

22.根据权利要求14、16或17中任一项权利要求所述的装置，其特征在于，被配置为：根据所述第p个区域中每个像素点的灰度值，获取所述第p个区域中每个像素点对应的初始权重；对目标区域中每个像素点对应的初始权重进行数值减小处理，得到所述目标区域中每个像素点更新后的权重；其中，所述目标区域是在所述N个区域中根据颜色数据筛选出来的部分区域。

23.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至11中任一项权利要求所述的图像处理方法。

24.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至11中任一项权利要求所述的图像处理方法。