CN111340943A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111340943A CN111340943A CN202010119941.2A CN202010119941A CN111340943A CN 111340943 A CN111340943 A CN 111340943A CN 202010119941 A CN202010119941 A CN 202010119941A CN 111340943 A CN111340943 A CN 111340943A
- Authority
- CN
- China
- Prior art keywords
- face image
- dimensional
- information
- image
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
公开了一种图像处理方法、装置、设备及存储介质，所述方法包括：根据待处理人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
Description
技术领域
本公开涉及计算机视觉技术，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
图像中的人脸转正是人脸识别中的重要问题，在很多领域有重要应用，比如对图像中的人脸转正后进行人脸识别、从侧脸信息恢复出正脸信息从而在游戏和VR等虚拟场景中帮助人脸建模等等。
现有的人脸转正方法需要多角度的人脸图像作为监督来对模型进行训练，而在实际应用中，训练数据难以获取，导致模型训练不充分，转正结果达不到实际应用的要求。
发明内容
本公开实施例提供了一种图像处理方案。
根据本公开的一方面，提供一种图像处理方法，所述方法包括：根据待处理人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
结合本公开提供的任一实施方式，所述根据待处理人脸图像，得到初始三维人脸模型，包括：根据所述待处理人脸图像，得到三维人脸的顶点的位置信息；从所述待处理人脸图像获取与所述顶点对应的纹理信息；根据所述顶点的位置信息和纹理信息，得到所述初始三维人脸模型。
结合本公开提供的任一实施方式，所述将所述旋转三维人脸模型投影到平面上，得到第一投影人脸图像，包括：将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点；获取每个投影点对应的最外层顶点的纹理信息；根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像。
结合本公开提供的任一实施方式，在得到所述第一投影人脸图像之后，根据所述旋转三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。
结合本公开提供的任一实施方式，所述对所述第一投影人脸图像中的像素点增加预定像素信息，获得目标人脸图像，包括：将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的目标像素点增加了像素信息的目标人脸图像。
结合本公开提供的任一实施方式，所述方法还包括：根据样本图像获取所述预先训练的神经网络的过程；其中，所述样本图像的获取包括：根据真实人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像；将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像，其中，所述第二投影人脸图像包含缺失像素信息的像素点；根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。
结合本公开提供的任一实施方式，所述将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像，包括：将所述回转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述回转三维人脸模型的顶点；获取每个投影点对应的最外层顶点的纹理信息；根据所述投影点的位置信息以及纹理信息，得到所述第二投影人脸图像。
结合本公开提供的任一实施方式，所述方法还包括：在得到所述第二投影人脸图像之后，根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。
结合本公开提供的任一实施方式，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述根据样本图像获取所述预先训练的神经网络包括：将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
结合本公开提供的任一实施方式，所述预先训练的神经网络包括生成模块、特征提取模块和至少一个鉴别模块，其中，所述至少一个鉴别模块与所述特征模块并联，所述根据样本图像获取所述预先训练的神经网络包括：将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；将所述生成人脸图像和真实人脸图像输入至所述特征提取模块，所述特征提取模块提取所述生成人脸图像和所述真实人脸图像的特征信息；根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，以及所述特征提取模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
根据本公开的一方面，提供一种图像处理装置，所述装置包括：初始模型获取单元，用于根据待处理人脸图像，得到初始三维人脸模型；旋转模型获取单元，用于将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；投影图像获取单元，用于将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；目标图像获取单元，用于对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
结合本公开提供的任一实施方式，所述初始模型获取单元具体用于：根据所述待处理人脸图像，得到三维人脸的顶点的位置信息；从所述待处理人脸图像获取与所述顶点对应的纹理信息；根据所述顶点的位置信息和纹理信息，得到所述初始三维人脸模型。
结合本公开提供的任一实施方式，所述投影图像获取单元具体用于：将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点；获取每个投影点对应的最外层顶点的纹理信息；根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像；根据所述旋转三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。
结合本公开提供的任一实施方式，所述目标图像获取单元具体用于：将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的像素点增加了像素信息的目标人脸图像。
结合本公开提供的任一实施方式，所述装置还包括样本图像获取单元，其中，所述样本图像用于获取所述预先训练的神经网络；所述样本图像获取单元用于：根据真实人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像；将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像；根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。
结合本公开提供的任一实施方式，所述样本图像获取单元在用于将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像时，具体用于：将所述回转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述回转三维人脸模型的顶点；获取每个投影点对应的最外层顶点的纹理信息；根据所述投影点的位置信息以及纹理信息，得到所述第二投影人脸图像；根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。
结合本公开提供的任一实施方式，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述装置还包括训练单元，用于：将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
结合本公开提供的任一实施方式，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述装置还包括训练单元，用于：将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；将所述生成人脸图像和真实人脸图像输入至所述特征提取模块，所述特征提取模块提取所述生成人脸图像和所述真实人脸图像的特征信息；根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，以及所述特征提取模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
根据本公开的一方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的图像处理方法。
根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的图像处理方法。
本公开实施例的图像处理方法、装置、设备及存储介质，通过对根据待处理人脸图像所得到的初始三维人脸模型进行旋转后，再进行投影得到第一投影人脸图像，并对于第一投影人脸图像中原本缺失像素信息的像素点增加预定像素信息，以获得目标人脸图像，从而能够实现任意角度的人脸图像的旋转，并提高了旋转后的人脸图像的质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本公开至少一个实施例示出的一种图像处理方法的流程图；
图2A是本公开至少一个实施例示出的一种获得初始三维人脸模型方法的流程图；
图2B是本公开至少一个实施例示出的一种获得初始三维人脸模型的过程示意图；
图3A是本公开至少一个实施例示出的一种获得第一投影人脸图像方法的流程图；
图3B是本公开至少一个实施例示出的一种获得第一投影人脸图像的过程示意图；
图4是本公开至少一个实施例示出的一种样本图像获取方法的流程图；
图5是本公开至少一个实施例示出的一种样本图像获取的过程示意图；
图6A和图6B是本公开至少一个实施例示出的神经网络的训练过程示意图；
图7是本公开至少一个实施例示出的一种图像处理装置的示意图；
图8是本公开至少一个实施例示出的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1是本公开至少一个实施例示出的一种图像处理方法的流程图。如图1所示，该方法包括步骤101～步骤104。
在步骤101中，根据待处理人脸图像，得到初始三维人脸模型。
其中，所述待处理人脸图像可以是正面人脸图像(正脸图像)，也可以是侧面人脸图像(侧脸图像)。其中，所述待处理人脸图像可以是彩色(RGB)图像，也可以是灰度图像。
根据所述待处理人脸图像所得到的三维人脸模型，包括多个三维点。所述三维点是组成三维人脸模型的三维空间中的点。所述三维人脸模型例如可以包括五万以上个三维点，每个三维点具有对应的纹理信息，例如RGB像素值。
在本公开实施例中，可以利用多种方法得到三维人脸模型，具体方法容后详述。为了将根据所述待处理人脸图像得到的三维人脸模型与其他三维人脸模型进行区分，将其称为初始三维人脸模型。
在步骤102中，将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型。
在一些实施例中，可以根据目标角度确定三维人脸在所述目标角度下的旋转矩阵，通过将所述第一三维人脸模型的矩阵与所述旋转矩相乘，得到旋转后的三维人脸的矩阵，也即得到旋转三维人脸模型。
在步骤103中，将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像。
以所述初始三维人脸模型为通过正面人脸图像得到的正面人脸模型为例，在将该模型旋转了目标角度后，得到的旋转三维人脸模型为侧面人脸模型，所述侧面人脸模型中的部分侧面顶点是无法从待处理人脸图像中获得像素信息的。因此，在将该旋转三维人脸模型投影后，所得到的第一投影人脸图像中的一些像素点是缺失了像素信息的。
在一个示例中，可以将所述第二三维人脸模型垂直投影到二维平面，以获得第一投影人脸图像。
在步骤104中，对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像。其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
对于所述第一投影人脸图像中缺失了像素信息的目标像素点，通过增加预定像素信息，可以补充所述第一投影人脸图像中关于人脸的缺失像素信息，使所述第一投影人脸图像更加清晰和完整。其中，所述预定像素信息是指与目标像素的真实像素信息相同或相近的像素信息，所述真实相素信息是所述第一投影人脸图像对应的真实人脸图像中的像素信息。
在本公开实施例中，通过对根据待处理人脸图像所得到的初始三维人脸模型进行旋转后，再进行投影得到第一投影人脸图像，并对于第一投影人脸图像中原本缺失像素信息的像素点增加预定像素信息，以获得目标人脸图像，从而能够实现任意角度的人脸图像的旋转，包括将正脸图像转为侧脸图像，也包括将侧脸图像转为正脸图像，并提高了旋转后的人脸图像的质量。
在本公开实施例中，所述待处理人脸图像可以是进行了人脸对齐的人脸图像，也即是已经定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。
图2A示出了获取初始三维人脸模型方法的流程图，也可以将该过程称为三维人脸拟合过程。如图2A所示，该方法包括步骤201～203。
在步骤201中，根据所述待处理人脸图像，得到三维人脸的顶点(vertices)的位置信息。
根据所述待处理人脸图像中各个像素点的像素信息，可以确定三维人脸的各个顶点的位置信息。例如，第i个顶点的位置可以表示为vi＝[xi,yi,zi]T，根据n个顶点的位置信息可以确定脸人脸的形状向量为V＝[v1,v2,…,vn]。
在一个示例中，可以引入向量P来表示三维人脸的相对姿态(relative pose)，其可以包括缩放系数、旋转系数和平移系数，例如可以表示为P＝[f,R,h2d]，其中，f表示缩放系数，R表示旋转系数，h2d表示平移系数。对于待处理人脸图像Ia，可以将Ia所对应的三维人脸的相对姿态表示为Pa。
在步骤202中，从所述待处理人脸图像获取与所述顶点对应的纹理信息。
由于三维人脸的顶点是根据所述待处理人脸图像中的各个像素得到的，因此所述顶点与所述待处理图像中像素的像素点存在着对应关系，因此所述顶点与像素点的纹理信息也存在着对应关系。对于每一个顶点vi＝[xi,yi,zi]T，在待处理人脸图像上，对应的纹理颜色可以表示为ti＝[ri,gi,bi]T。通过将三维人脸的顶点垂直投影到待处理图像上，即可以获得每个顶点的纹理信息，例如可以通过如下公式表示：
ti＝I(П(vi，P)) (1)
其中，П(vi，P)表示顶点vi的二维投影坐标。
通过以上方式，可以得到相应的纹理T＝[t1,t2,…,tn]，该过程如，可以通过如下公式表示该过程：
T＝GetTex(I,{V,P}) (2)
在步骤203中，根据所获得的顶点的位置信息和纹理信息，则可以得到三维人脸模型。根据待处理人脸图像获得初始三维人脸模型的过程如图2B所示，根据待处理人脸图像Ia，首先得到三维人脸{V,Pa}，通过获取各个顶点的纹理信息，得到三维人脸{V,Pa,Ta}。
图3A示出了获得第一投影人脸图像方法的流程图，可以将该过程称为投影(render)过程。如图3A所示，该方法包括步骤301～303。
在步骤301中，将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息。
将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息。由于旋转三维人脸模型相较于初始三维人脸模型旋转了目标角度，因此旋转三维人脸模型上的一些顶点在投影方向上是重叠的。对于一组在投影方向上重叠的顶点而言，该组顶点在投影到二维平面后，所对应的投影点是同一个，也即是说，该投影点对应着多个所述旋转三维人脸模型的顶点。因此，二维平面上的每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点。
三维人脸的形状投影到二维图像上的过程可以被描述为：
П(V,P)＝f*pr*R*V+h2d (3)
其中，f表示缩放系数，R表示旋转系数，h2d表示平移系数，pr为2*3的正交投影矩阵，并且第三列的元素为0。
在步骤302中，获取每个投影点对应的最外层顶点的纹理信息。
由公式(3)可知，由于正交矩阵第三列的元素为0，投影结果П(V,P)是与顶点的z坐标无关的。对于二维平面上的每一个位置(xi，yi)，在三维空间中的线(line){x＝xi，y＝yi}上可能存在多个旋转的顶点。对于所有的顶点vk∈{v|(xi,yi)＝П(vi,P)}，仅有具有最大z轴值的最外层顶点能够得到正确的纹理。其序号Kj为：
在步骤303中，根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像。
对于人脸的三维表示{V,P,T}，将其投影到二平面并得到第一投影人脸图像的过程如图3B所示，为获取纹理过程的逆过程，可以表示为：Rd＝Render({V,P,T})。
在一些实施例中，在得到第一投影人脸图像之后，还可以根据所述第二三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。也即，将所有顶点的纹理平均值，来替代边缘投影点的原有纹理信息。
在本公开实施例中，通过对投影人脸图像的边缘部分进行腐蚀操作，可以解决在三维人脸重建过程中边缘重建不精确的情况。
在一些实施例中，可以将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的目标像素点增加了预定像素信息的目标人脸图像。
在一个示例中，所述预先训练的神经网络可以是用于补全人脸图像的生成对抗网络，所述对抗生成网络可以包括生成模块和至少一个鉴别模块。所述生成对抗网络可以利用人脸样本集进行训练。通过将所述第一投影人脸图像输入至生成对抗网络的生成模块，输出补充了所述第一投影人脸图像中的缺失信息的目标人脸图像。
根据本公开至少一个实施例提出的图像处理方法，可以对任意角度的人脸图像进行旋转，生成各个角度的人脸图像。利用这些图像作为人脸识别数据集的补充来训练人脸识别模型，可以提升人脸识别的性能，以及对于不同角度的鲁棒性；并且该图像处理方法可以实现将侧面人脸图像转为正面人脸图像，通过将该方法应用于人脸识别系统中，可以对人脸图像在三维空间中进行对齐，有且于进一步提高人脸识别的性能。
本公开至至少一个实施例还提出了根据样本图像获取所述预先训练的神经网络的方法。所述样本图像可以通过图4所示的样本图像获取方法获得，如图4所示，该方法包括步骤401～404。
在步骤401中，根据真实人脸图像，得到初始三维人脸模型。
其中，所述真实人脸图像为对于真实人脸采集的任意角度的图像，可以是正面人脸图像，也可以是侧面人脸图像。获取初始三维人脸模型的具体过程参见对步骤101的描述以及图2A所示的步骤，在此不再赘述。
在步骤402中，将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像。
对初始三维人脸模型进行旋转，以及对旋转三维人脸模型进行投影的具体过程参见对步骤102和103的描述以及图3A所示的步骤，在此不再赘述。
在步骤403中，将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像。
对旋转三维人脸模型反向旋转所得到的回转三维人脸模型所对应的相对姿态与初始三维人脸模型相同。也即，在真实人脸图像为正面人脸图像的情况下，回转人脸模型同样是朝向正面的三维人脸；反之，在真实人脸图像为侧面人脸图像的情况下，回转人脸模型也是朝向侧面的三维人脸。
对旋转三维人脸模型进行旋转，以及对回转三维人脸模型进行投影的具体过程与步骤403相似。
由于旋转三维人脸模型反向旋转了目标角度后，所得到的回转三维人脸模型中的一部分顶点是没有纹理信息的，因此投影到二维平面上所得到的第二投影人脸图像中，有一些投影点的像素信息也是缺失的。
在一些实施例中，在得到第二投影人脸图像之后，还可以根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。也即，将所有顶点的纹理平均值，来替代边缘投影点的原有纹理信息。通过对投影人脸图像的边缘部分进行腐蚀操作，可以解决在三维人脸重建过程中边缘重建不精确的情况。
在步骤404中，根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。
所述真实人脸图像和所述第二投影人脸图像对应于相同的人脸角度，差别在于第二投影人脸图像中的一些投影点的纹理信息是缺失的，而真实人脸图像的像素值，正是第二投影人脸图像中各个像素的真实值。因此，可以第二投影人脸图像和真实人脸图像作为训练样本对，也即通过利用所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，即可获得图像样本。
在一些实施例中，可以将所述第二投影人脸图像从渲染域(rendered domain)转换到真实图像域(real image domain)后，再对转换后的人脸图像进行标注以得到图像样本。在一个示例中，可以利用预先训练的神经网络，例如，例如预先训练的对抗生成网络中的生成模块，将所述第二投影人脸图像从渲染域转换到真实图像域。
在本公开实施例中，通过将旋转后的第一三维人脸模型再转后初始角度，并再次进行投影得到第二投影人脸图像，通过将所述待处理人脸图像作为真实图像可以得到图像样本，丰富了图像样本集，并减小了获取图像样本的成本。
图5示出了获取图像样本过程的示意图。如图5所示，对于真实人脸图像501(Ia)，首先可以通过进行三维人脸拟合，得到三维人脸模型502的参数，该过程可以用公式(5)表示：
{V,Pa}＝Fitting(Ia) (5)
其中，a表示真实人脸图像中的人脸在二维平面中的当前视角，P＝[f,Ra,h2d]，其中，f表示缩放系数，Ra表示旋转系数，h2d表示平移系数。
接下来，从真实人脸图像501中，获取三维人脸模型502的纹理信息，得到三维人脸模型503。该过程可以用公式(6)表示：
Ta＝GetTex(Ia，{V,Pa}) (6)
对于已经具有纹理信息Ta的三维人脸模型503，一方面，将三维人脸模型503旋转目标角度，得到视角为b的三维人脸模型504A，并投影至二维平面，得到投影人脸图像504B(可以表示为Rdb)。对于投影人脸图像504B的边缘部分可以进行腐蚀操作，利用将三维人脸模型504A的所有顶点的纹理平均值，确定投影人脸图像504B中的边缘投影点的纹理信息；另一方面，将三维人脸模型503旋转目标角度，将三维人脸从姿态Pa转换为姿态Pb，例如通过将三维人脸模型503的矩阵乘以对应于目标角度的旋转矩阵，得到Pb＝{f,Rb,h2d}，从而获得姿态为Pb的三维人脸模型505。
接下来，从投影人脸图像504B中，获取三维人脸模型505的纹理信息，得到三维人脸模型506。该过程可以用公式(7)表示：
Tb＝GetTex(Rdb，{V,Pb}) (7)
由上可见，在视角b下，纹理信息是正确的顶点集合，是在视角a下，纹理信息是正确的顶点集合的子集。与相关技术中，依赖真实人脸图像Ib作为Ia的监督信息来恢复在视角b下的人脸不同，本公开实施例所提供的方法能够根据纹理信息Tb恢复纹理信息Ta。
通过将三维人脸模型506反向旋转目标角度，也即将三维人脸从姿态Pb转换为姿态Pa，得到三维人脸模型507，并投影至二维平面，得到视角a下的投影人脸图像Rda’。可以将投影人脸图像Rda’和真实人脸图像Ia作为训练样本对{Rda’，Ia}；也可以利用预先训练的对抗生成网络中的生成模块，将投影人脸图像Rda’转换至真实图像域，得到生成人脸图像509(可以表示为Fa’)，将投影人脸图像Fa’和真实人脸图像Ia作为训练样本对{Fa’，Ia}。
本公开至至少一个实施例还提出了一种神经网络的训练方法，其利用上述任一实施例提出的样本获取方法所得到的样本图像，对神经网络进行训练。
图6A、图6B为本公开至少一个实施例提出的神经网络的训练过程示意图，其中，该神经网络为生成对抗网络。
如图6A所示，生成对抗网络包括生成模块610(标注为G)和至少一个鉴别模块620(标注为D)，为了简便起见，图6A仅示出了一个鉴别模块，本领域技术人员应当理解，生成对抗网络可以包括多个串联连接的鉴别模块。生成模块610可认包括多个下采样模块611、多个残差模块612和多个上采样模块613，并且每个模块均采用谱归一化和批归一化。在一个示例中，生成模块610包括四个下采样模块611、九个残差模块612和四个上采样模块613。
在该训练方法中，将投影人脸图像611(表示为Rda’)输入至生成模块G，得到生成人脸图像612(表示为Fa’)，生成人脸图像Fa’为补充了所述投影人脸图像Rda’中的缺失信息的人脸图像。
接着，将生成人脸图像Fa’和真实人脸图像601(表示为Ia)输入至所述鉴别模块D，鉴别模块D提取生成人脸图像Fa’和真实人脸图像Ia的特征信息，并输出生成人脸图像Fa’是真实的概率。
根据鉴别模块D的输出信息、鉴别模块D所提取的生成人脸图像Fa’的特征信息与真实人脸图像Ia的特征信息之间的差异，确定网络损失值。也即，损失函数包括鉴别模块的对抗损失LGAN(G,D)和特征匹配损失LFM(G,D)。
对抗损失LGAN(G,D)如公式(8)所示：
其中，
表示真实人脸图像I的期望值，
表示投影人脸图像Rd的期望值，D(Ia)表示鉴别模块对真实人脸图像Ia输出的概率，D(Rda′)表示鉴别模块对真实人脸图像Rda’输出的概率。
特征匹配损失LFM(G,D)如公式(9)所示：
其中，ND表示鉴别模块的总层数，
表示鉴别模块的第i层对于输入人脸图像I输出的特征。
之后，基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
在迭代了设定次数，或者网络损失小于设定阈值时，完成对所述生成对抗网络的训练。
在本公开实施例中，由于能够根据非限定场景下的任意人脸图像对神经网络进行训练，有效地提高了神经网络的鲁棒性。
图6B为本公开至少一个实施例提出的另一种神经网络的训练过程示意图。
相较于图6A所示的训练方法，在该训练方法中，生成对抗网络还包括特征提取网络630(标注为VGG)，将生成人脸图像Fa’和真实人脸图像Ia输入至特征提取模块VGG，特征提取模块VGG提取生成人脸图像Fa’和真实人脸图像Ia的特征信息，并且网络损失还包括特征提取模块VGG所提取的生成人脸图像Fa’的特征信息与真实人脸图像Ia的特征信息之间的差异。也即，损失函数还包括特征提取模块的特征提取损失LVGG(G,D)。
特征提取损失LVGG(G,D)如公式(10)所示：
其中，NVGG表示特征提取模块的总层数，
表示特征提取模块的第i层对于输入人脸图像I输出的特征。
在本公开实施例中，通过增加特征提取模块，并根据生成人脸图像与真实人脸图像的特征信息之间的差异对网络参数进行调节，可以进一步提升训练效果，提高生成对抗网络生成人脸图像的准确度。
在测试过程中，通过设定目标视角c，生成相对姿态为Pc的投影人脸图像Rdc＝Render({V,Pc，Ta})，并将该投影人脸图像输入至训练好的生成模块G；还可以将两个不同视角下的投影人脸图像同时输入至训练好的生成模块G。
图7是本公开至少一个实施例示出的一种图像处理装置的示意图。所述装置包括初始模型获取单元701，用于根据待处理人脸图像，得到初始三维人脸模型；旋转模型获取单元702，用于将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；投影图像获取单元703，用于将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；目标图像获取单元704，用于对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
在一些实施例中，初始模型获取单元701具体用于：根据所述待处理人脸图像，得到三维人脸的顶点的位置信息；从所述待处理人脸图像获取与所述顶点对应的纹理信息；根据所述顶点的位置信息和纹理信息，得到所述初始三维人脸模型。
在一些实施例中，投影图像获取单元703具体用于：将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点；获取每个投影点对应的最外层顶点的纹理信息；根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像；根据所述旋转三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。
在一些实施例中，目标图像获取单元704具体用于：将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的像素点增加了像素信息的目标人脸图像。
在一些实施例中，所述装置还包括样本图像获取单元，其中，所述样本图像用于获取所述预先训练的神经网络；所述样本图像获取单元用于：根据真实人脸图像，得到初始三维人脸模型；将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像；将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像；根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。
在一些实施例中，所述样本图像获取单元在用于将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像时，具体用于：将所述回转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述回转三维人脸模型的顶点；获取每个投影点对应的最外层顶点的纹理信息；根据所述投影点的位置信息以及纹理信息，得到所述第二投影人脸图像；根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。
在一些实施例中，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述装置还包括训练单元，用于：将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
在一些实施例中，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述装置还包括训练单元，用于：将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；将所述生成人脸图像和真实人脸图像输入至所述特征提取模块，所述特征提取模块提取所述生成人脸图像和所述真实人脸图像的特征信息；根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，以及所述特征提取模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
图8为本公开至少一个实施例提供的电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实现方式所述的图像处理方法。
本公开至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实现方式所述的图像处理方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例描述的驾驶员注视区域的检测方法的步骤，和/或，实现本说明书任一实施例描述的驾驶员注视区域的神经网络的训练方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (20)
1.一种图像处理方法，其特征在于，所述方法包括：
根据待处理人脸图像，得到初始三维人脸模型；
将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；
将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；
对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
2.根据权利要求1所述的方法，其特征在于，所述根据待处理人脸图像，得到初始三维人脸模型，包括：
根据所述待处理人脸图像，得到三维人脸的顶点的位置信息；
从所述待处理人脸图像获取与所述顶点对应的纹理信息；
根据所述顶点的位置信息和纹理信息，得到所述初始三维人脸模型。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述旋转三维人脸模型投影到平面上，得到第一投影人脸图像，包括：
将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点；
获取每个投影点对应的最外层顶点的纹理信息；
根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在得到所述第一投影人脸图像之后，根据所述旋转三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述第一投影人脸图像中的像素点增加预定像素信息，获得目标人脸图像，包括：
将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的目标像素点增加了像素信息的目标人脸图像。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据样本图像获取所述预先训练的神经网络的过程；
其中，所述样本图像的获取包括：
根据真实人脸图像，得到初始三维人脸模型；
将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像；
将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像，其中，所述第二投影人脸图像包含缺失像素信息的像素点；
根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。
7.根据权利要求6所述的方法，其特征在于，所述将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像，包括：
将所述回转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述回转三维人脸模型的顶点；
获取每个投影点对应的最外层顶点的纹理信息；
根据所述投影点的位置信息以及纹理信息，得到所述第二投影人脸图像。
8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
在得到所述第二投影人脸图像之后，根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。
9.根据权利要求6至8任一项所述的方法，其特征在于，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述根据样本图像获取所述预先训练的神经网络包括：
将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；
将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；
根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；
基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
10.根据权利要求7或8任一项所述的方法，其特征在于，所述预先训练的神经网络包括生成模块、特征提取模块和至少一个鉴别模块，其中，所述至少一个鉴别模块与所述特征模块并联，所述根据样本图像获取所述预先训练的神经网络包括：
将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；
将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；
将所述生成人脸图像和真实人脸图像输入至所述特征提取模块，所述特征提取模块提取所述生成人脸图像和所述真实人脸图像的特征信息；
根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，以及所述特征提取模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；
基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
11.一种图像处理装置，其特征在于，所述装置包括：
初始模型获取单元，用于根据待处理人脸图像，得到初始三维人脸模型；
旋转模型获取单元，用于将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型；
投影图像获取单元，用于将所述旋转三维人脸模型投影到二维平面，得到第一投影人脸图像，其中，所述第一投影人脸图像包含缺失像素信息的像素点；
目标图像获取单元，用于对所述第一投影人脸图像中的目标像素点增加预定像素信息，获得目标人脸图像，其中，所述目标像素点是所述缺失像素信息的像素点中的一个或多个。
12.根据权利要求11所述的装置，其特征在于，所述初始模型获取单元具体用于：
根据所述待处理人脸图像，得到三维人脸的顶点的位置信息；
从所述待处理人脸图像获取与所述顶点对应的纹理信息；
根据所述顶点的位置信息和纹理信息，得到所述初始三维人脸模型。
13.根据权利要求11或12所述的装置，其特征在于，所述投影图像获取单元具体用于：
将所述旋转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述旋转三维人脸模型的顶点；
获取每个投影点对应的最外层顶点的纹理信息；
根据所述投影点的位置信息以及纹理信息，得到所述第一投影人脸图像；
根据所述旋转三维人脸模型所有顶点的纹理平均值，确定所述第一投影人脸图像中的边缘投影点的纹理信息。
14.根据权利要求11至13任一项所述的装置，其特征在于，所述目标图像获取单元具体用于：
将所述第一投影人脸图像输入至预先训练的神经网络，所述神经网络输出对所述第一投影人脸图像中的像素点增加了像素信息的目标人脸图像。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括样本图像获取单元，其中，所述样本图像用于获取所述预先训练的神经网络；
所述样本图像获取单元用于：
根据真实人脸图像，得到初始三维人脸模型；
将所述初始三维人脸模型旋转目标角度，得到旋转三维人脸模型，并将所述旋转三维人脸模型投影到二维平面上，得到第一投影人脸图像；
将所述旋转三维人脸模型反向旋转所述目标角度，得到回转三维人脸模型，并将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像；
根据所述真实人脸图像的像素值，对所述第二投影人脸图像进行标注，得到图像样本。
16.根据权利要求15所述的装置，其特征在于，所述样本图像获取单元在用于将所述回转三维人脸模型投影到二维平面上，得到第二投影人脸图像时，具体用于：
将所述回转三维人脸模型的各个顶点投影在二维平面上，得到多个投影点的位置信息，每个所述投影点对应一个或多个所述回转三维人脸模型的顶点；
获取每个投影点对应的最外层顶点的纹理信息；
根据所述投影点的位置信息以及纹理信息，得到所述第二投影人脸图像；
根据所述回转三维人脸模型所有顶点的纹理平均值，确定所述第二投影人脸图像中的边缘投影点的纹理信息。
17.根据权利要求15或16所述的装置，其特征在于，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述装置还包括训练单元，用于：
将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；
将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；
根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；
基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
18.根据权利要求15或16所述的装置，其特征在于，所述预先训练的神经网络包括生成对抗网络，所述生成对抗网络包括生成模块和至少一个鉴别模块，所述装置还包括训练单元，用于：
将所述第二投影人脸图像输入至所述生成模块，所述生成模块输出对所述第二投影人脸图像中的目标像素点增加了像素信息的生成人脸图像，其中，所述目标像素点是所述第二投影人脸图像中缺失像素信息的像素点中的一个或多个；
将所述生成人脸图像和真实人脸图像输入至所述鉴别模块，所述鉴别模块提取所述生成人脸图像和所述真实人脸图像的特征信息，并输出所述生成人脸图像是真实的概率；
将所述生成人脸图像和真实人脸图像输入至所述特征提取模块，所述特征提取模块提取所述生成人脸图像和所述真实人脸图像的特征信息；
根据所述鉴别模块的输出信息、所述鉴别模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，以及所述特征提取模块所提取的生成人脸图像的特征信息与所述真实人脸图像的特征信息之间的差异，确定网络损失值；
基于所述网络损失值，对所述生成对抗网络的网络参数进行调整。
19.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至10任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010119941.2A CN111340943B (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010119941.2A CN111340943B (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340943A true CN111340943A (zh) | 2020-06-26 |
| CN111340943B CN111340943B (zh) | 2023-01-03 |
Family
ID=71183682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010119941.2A Active CN111340943B (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340943B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898710A (zh) * | 2020-07-15 | 2020-11-06 | 中国人民解放军火箭军工程大学 | 一种图的特征选择方法及系统 |
| CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
| CN112561793A (zh) * | 2021-01-18 | 2021-03-26 | 深圳市图南文化设计有限公司 | 一种平面设计空间转换方法及系统 |
| CN112581632A (zh) * | 2020-12-21 | 2021-03-30 | 北京城市网邻信息技术有限公司 | 一种房源数据的处理方法和装置 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN113989444A (zh) * | 2021-12-08 | 2022-01-28 | 北京航空航天大学 | 一种基于侧脸照片进行人脸三维重建的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109446879A (zh) * | 2018-09-04 | 2019-03-08 | 南宁学院 | 一种智能人脸识别方法 |
| CN109754464A (zh) * | 2019-01-31 | 2019-05-14 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
| US20190371082A1 (en) * | 2017-08-17 | 2019-12-05 | Tencent Technology (Shenzhen) Company Limited | Three-dimensional virtual image display method and apparatus, terminal, and storage medium |
| CN110555815A (zh) * | 2019-08-30 | 2019-12-10 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
-
2020
- 2020-02-26 CN CN202010119941.2A patent/CN111340943B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190371082A1 (en) * | 2017-08-17 | 2019-12-05 | Tencent Technology (Shenzhen) Company Limited | Three-dimensional virtual image display method and apparatus, terminal, and storage medium |
| CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
| CN109446879A (zh) * | 2018-09-04 | 2019-03-08 | 南宁学院 | 一种智能人脸识别方法 |
| CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN109754464A (zh) * | 2019-01-31 | 2019-05-14 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN110555815A (zh) * | 2019-08-30 | 2019-12-10 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
| CN112307848B (zh) * | 2019-08-01 | 2024-04-30 | 惠普发展公司，有限责任合伙企业 | 检测视频会议中的欺骗说话者 |
| CN111898710A (zh) * | 2020-07-15 | 2020-11-06 | 中国人民解放军火箭军工程大学 | 一种图的特征选择方法及系统 |
| CN111898710B (zh) * | 2020-07-15 | 2023-09-29 | 中国人民解放军火箭军工程大学 | 一种图的特征选择方法及系统 |
| CN112581632A (zh) * | 2020-12-21 | 2021-03-30 | 北京城市网邻信息技术有限公司 | 一种房源数据的处理方法和装置 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN112561793A (zh) * | 2021-01-18 | 2021-03-26 | 深圳市图南文化设计有限公司 | 一种平面设计空间转换方法及系统 |
| CN113989444A (zh) * | 2021-12-08 | 2022-01-28 | 北京航空航天大学 | 一种基于侧脸照片进行人脸三维重建的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340943B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340943B (zh) | 图像处理方法、装置、设备及存储介质 | |
| Luo et al. | 3d human motion estimation via motion compression and refinement | |
| Atapour-Abarghouei et al. | Real-time monocular depth estimation using synthetic data with domain adaptation via image style transfer | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| Xiao et al. | A closed-form solution to non-rigid shape and motion recovery | |
| KR101608253B1 (ko) | 이미지 기반 멀티 뷰 3d 얼굴 생성 | |
| JP6528764B2 (ja) | 顔照合装置、方法、及び、記録媒体 | |
| US20140204084A1 (en) | Systems and Methods for Animating the Faces of 3D Characters Using Images of Human Faces | |
| WO2011075082A1 (en) | Method and system for single view image 3 d face synthesis | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| CN112823375A (zh) | 使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成 | |
| Yao et al. | Densebody: Directly regressing dense 3d human pose and shape from a single color image | |
| CN113159006B (zh) | 基于人脸识别的考勤方法、系统、电子设备和存储介质 | |
| EP3185212B1 (en) | Dynamic particle filter parameterization | |
| CN114581613A (zh) | 一种基于轨迹约束的人体模型姿态和形状优化方法和系统 | |
| CN116228962A (zh) | 大场景神经视图合成 | |
| Ertugrul et al. | What will your future child look like? modeling and synthesis of hereditary patterns of facial dynamics | |
| CN114283265A (zh) | 一种基于3d旋转建模的无监督人脸转正方法 | |
| Prasad et al. | A robust head pose estimation system for uncalibrated monocular videos | |
| Rekik et al. | 3d face pose tracking using low quality depth cameras | |
| Fayad et al. | Non-rigid Structure from Motion using Quadratic Deformation Models. | |
| CN112330530B (zh) | 图像处理方法、装置、设备及存储介质 | |
| JP2008242833A (ja) | ３次元の人の顔の表面データを再構築するための装置及びプログラム | |
| Caunce et al. | Locating facial features and pose estimation using a 3D shape model | |
| Chen et al. | 3d reconstruction of spatial non cooperative target based on improved traditional algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |