CN107481318A - 用户头像的替换方法、装置和终端设备 - Google Patents

Abstract

本申请提出一种用户头像的替换方法、装置和终端设备，其中，上述用户头像的替换方法包括：通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像；对所述结构光图像进行计算处理获得所述用户头像的深度图像；根据所述深度图像，结合所述用户头像的色彩信息获取所述用户头像的三维模型；查找获得具有相同表情和/或面部动作的三维模型；将包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。本申请可以实现以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

Description

用户头像的替换方法、装置和终端设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种用户头像的替换方法、装置和终端设备。

背景技术

在日常生活中，多媒体为人们的生活带来了许多便利与乐趣。在人们观看视频的时候，希望自己也能成为视频中的人物，以带来身临其境的体验。

但是，现有相关技术中，只能简单地将目标人脸裁剪出来，嵌入到图像中被替换人脸的位置，替换效果比较生硬，通常会出现替换后目标人物的表情、姿势等面部特征与图像背景不搭的问题，这种替换技术显然已无法满足用户的需求，用户体验较差。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种用户头像的替换方法，以实现通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，通过用户头像的结构光图像获得深度图像，进而通过用户头像的深度图像，结合用户头像的色彩信息获取用户头像的三维模型，从而可以将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为具有相同表情和/或面部动作的用户头像的三维模型中的用户头像，实现了以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

本申请的第二个目的在于提出一种用户头像的替换装置。

本申请的第三个目的在于提出一种终端设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

本申请的第五个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施例提出了一种用户头像的替换方法，包括：通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像；对所述结构光图像进行计算处理获得所述用户头像的深度图像；根据所述深度图像，结合所述用户头像的色彩信息获取所述用户头像的至少一种表情和/或面部动作的三维模型；根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得所述用户头像的三维模型中具有相同表情和/或面部动作的三维模型；将所述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。

本申请实施例的用户头像的替换方法中，通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，然后对上述结构光图像进行计算处理获得上述用户头像的深度图像，再根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型，根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型，最后将上述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像，从而可以实现以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

为达上述目的，本申请第二方面实施例提出了一种用户头像的替换装置，包括：获取模块，用于通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像；计算模块，用于对所述获取模块获取的结构光图像进行计算处理获得所述用户头像的深度图像；所述获取模块，还用于根据所述深度图像，结合所述用户头像的色彩信息获取所述用户头像的至少一种表情和/或面部动作的三维模型；查找模块，用于根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得所述用户头像的三维模型中具有相同表情和/或面部动作的三维模型；替换模块，用于将所述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为所述查找模块查找获得的三维模型中的用户头像。

本申请实施例的用户头像的替换装置中，获取模块通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，然后计算模块对上述结构光图像进行计算处理获得上述用户头像的深度图像，获取模块再根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型，查找模块根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型，最后替换模块将上述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像，从而可以实现以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

为达上述目的，本申请第三方面实施例提出了一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

为了实现上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如上所述的方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请用户头像的替换方法一个实施例的流程图；

图2为本申请用户头像的替换方法另一个实施例的流程图；

图3为本申请用户头像的替换方法再一个实施例的流程图；

图4为本申请用户头像的替换装置一个实施例的结构示意图；

图5为本申请用户头像的替换装置另一个实施例的结构示意图；

图6为本申请图像处理电路一个实施例的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

图1为本申请用户头像的替换方法一个实施例的流程图，如图1所示，上述用户头像的替换方法可以包括：

步骤101，通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像。

其中，上述用户的至少一种表情可以包括上述用户大笑、哭泣、平静和生气等表情中的至少一种；上述用户的至少一种面部动作可以包括上述用户的口型、眼睛动作和眉毛动作中的至少一种。

其中，结构光(structured light)为已知空间方向的投影的集合，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，例如：光学投射器，也可以是生成激光束的激光器。

本实施例中，上述非均匀结构光的图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。

步骤102，对上述结构光图像进行计算处理获得上述用户头像的深度图像。

具体地，终端设备可以通过对上述结构光图像进行计算处理获得上述用户头像的深度图像。以散斑结构光为例，对结构光图像进行计算处理，具体包括，从该结构光图像中采集用户头像的散斑图像，将用户头像的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取用户头像上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到用户头像的深度图像信息。

当然，还可以通过双目视觉的方法或基于飞行时差(Time of Flight；以下简称：TOF)的方法来获取该深度图像信息等，在此不作限定，只要能够获取或通过计算得到用户头像的深度图像信息的方法都属于本实施方式包含的范围。

步骤103，根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型。

本实施例中，在上述用户做出至少一种表情和/或面部动作时，通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，然后对上述结构光图像进行计算处理获得上述用户头像的深度图像，再根据上述深度图像，结合上述用户头像的色彩信息，即可获得上述用户头像的至少一种表情和/或面部动作的三维模型。

具体地，根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型可以为：将分别从上述深度图像中提取到的上述用户头像的特征以及从上述色彩信息中提取到的上述用户头像的特征进行配准和特征融合处理；根据融合后的特征，获取上述用户头像的三维模型。

其中，上述用户头像的色彩信息可以由图像传感器捕捉获得，上述图像传感器可包括色彩滤镜阵列，如拜耳(Bayer)滤镜，图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，从而获取上述用户头像的色彩信息。

在接收到图像传感器捕捉到的上述用户头像的色彩信息之后，可对上述用户头像的色彩信息对应的图像数据进行处理。

具体地，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

在获取到上述用户头像的色彩信息和深度图像信息之后，可对其进行融合，得到三维模型。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的用户头像的特征，例如通过主动形状模型法(Active Shape Model；以下简称：ASM)、主动外观模型法(Active Appearance Model；以下简称：AAM)、主成分分析法(PrincipalComponent Analysis；以下简称：PCA)或者离散余弦变换法(Discrete Cosine Transform；以下简称：DCT)等方法，提取上述用户头像的特征，在此不做限定。再将分别从深度图像信息中提取到的用户头像的特征以及从色彩信息中提取到的用户头像的特征进行配准和特征融合处理。这里指的特征融合处理可以是将从深度图像信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维模型。

步骤104，根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型。

步骤105，将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。

本实施例中，步骤104之前，可以对上述待替换视频中包括特定人物的每一帧视频图像中，上述特定人物的表情和/或面部动作进行三维解析，获得上述待替换视频中包括特定人物的每帧视频图像的三维模型。

然后可以根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型，进而可以将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。

上述用户头像的替换方法中，通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，然后对上述结构光图像进行计算处理获得上述用户头像的深度图像，再根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型，根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型，最后将上述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像，从而可以实现以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

图2为本申请用户头像的替换方法另一个实施例的流程图，如图2所示，本申请图1所示实施例中，步骤105之后，还可以包括：

步骤201，对替换后的视频图像与所述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

本实施例中，在将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像之后，还可以将替换后的视频图像与上述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

其中，上述待替换视频中未进行替换的视频图像即为上述待替换视频中不包括特定人物的视频图像。

图3为本申请用户头像的替换方法再一个实施例的流程图，如图3所示，本申请图1所示实施例中，步骤101可以为：

步骤301，在上述用户做出至少一种表情和/或面部动作时，利用不可见光光源向用户头像所处的空间投射经编码的非均匀结构光，并利用不可见光相机对上述用户头像的图像进行采集，得到带有非均匀结构光图案的包括用户的至少一种表情和/或面部动作的用户头像的结构光图像。

其中，上述不可见光光源一般由光源及衍射光学元件组成，光源可以是边发射激光也可以是垂直腔面发射激光，上述不可见光光源可以发出能够被不可见光相机识别的不可见光。例如，不可见光为红外光，不可见光相机为红外相机，这时，上述结构光图像即为红外图像；或者不可见光为紫外光，不可见光相机为紫外相机，这时上述结构光图像为紫外图像。

衍射光学元件根据不同的结构光图案需要可以被设置成具有准直、分束、扩散等功能。

上述非均匀结构光的图案可以为分布不规则的散斑图案。该散斑图案的密集程度影响了深度值计算的速度及精度，散斑颗粒越多，计算速度越慢，但精度却越高。因此，该不可见光光源可根据拍摄图像的目标区域的大致深度，选择合适的散斑颗粒密度，在保证计算速度的同时，仍有着较高的计算精度。当然，该散斑颗粒密度也可根据系统性能和/或实现需求等确定。

本实施例中，不可见光光源可以一定的扩散角向用户头像所处的空间投射散斑颗粒图案。

需要说明的是，上述不可见光光源可设置在不可见光相机中。

图4为本申请用户头像的替换装置一个实施例的结构示意图，如图4所示，上述用户头像的替换装置可以作为终端设备，或者终端设备的一部分实现本申请实施例提供的用户头像的替换方法。

其中，上述终端设备可以为智能手机、平板电脑或者笔记本电脑等智能终端设备，本实施例对上述终端设备的形态不作限定。

如图4所示，上述用户头像的替换装置可以包括：获取模块41、计算模块42、查找模块43和替换模块44；

其中，获取模块41，用于通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像；其中，上述用户的至少一种表情可以包括上述用户大笑、哭泣、平静和生气等表情中的至少一种；上述用户的至少一种面部动作可以包括上述用户的口型、眼睛动作和眉毛动作中的至少一种。

其中，结构光(structured light)为已知空间方向的投影的集合，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，例如：光学投射器，也可以是生成激光束的激光器。

本实施例中，上述非均匀结构光的图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。

计算模块42，用于对获取模块61获取的结构光图像进行计算处理获得上述用户头像的深度图像；具体地，计算模块42可以通过对上述结构光图像进行计算处理获得上述用户头像的深度图像。以散斑结构光为例，对结构光图像进行计算处理，具体包括，计算模块42从该结构光图像中采集用户头像的散斑图像，将用户头像的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取用户头像上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到用户头像的深度图像信息。

当然，还可以通过双目视觉的方法或基于TOF的方法来获取该深度图像信息等，在此不作限定，只要能够获取或通过计算得到用户头像的深度图像信息的方法都属于本实施方式包含的范围。

获取模块41，还用于根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型；

本实施例中，在上述用户做出至少一种表情和/或面部动作时，获取模块41通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，然后计算模块42对上述结构光图像进行计算处理获得上述用户头像的深度图像，获取模块41再根据上述深度图像，结合上述用户头像的色彩信息，即可获得上述用户头像的至少一种表情和/或面部动作的三维模型。

本实施例中，获取模块41，具体用于将分别从上述深度图像中提取到的上述用户头像的特征以及从上述色彩信息中提取到的上述用户头像的特征进行配准和特征融合处理；以及根据融合后的特征，获取上述用户头像的三维模型。

其中，上述用户头像的色彩信息可以由图像传感器捕捉获得，上述图像传感器可包括色彩滤镜阵列，如Bayer滤镜，图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，从而获取上述用户头像的色彩信息。

在接收到图像传感器捕捉到的上述用户头像的色彩信息之后，获取模块41可对上述用户头像的色彩信息对应的图像数据进行处理。

具体地，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

在获取到上述用户头像的色彩信息和深度图像信息之后，获取模块41可对其进行融合，得到三维模型。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的用户头像的特征，例如通过ASM、AAM、PCA或者DCT等方法，提取上述用户头像的特征，在此不做限定。获取模块61再将分别从深度图像信息中提取到的用户头像的特征以及从色彩信息中提取到的用户头像的特征进行配准和特征融合处理。这里指的特征融合处理可以是将从深度图像信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维模型。

查找模块43，用于根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型；

替换模块44，用于将上述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找模块43查找获得的三维模型中的用户头像。

上述用户头像的替换装置中，获取模块41通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像，然后计算模块42对上述结构光图像进行计算处理获得上述用户头像的深度图像，获取模块41再根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型，查找模块43根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型，最后替换模块44将上述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像，从而可以实现以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

图5为本申请用户头像的替换装置另一个实施例的结构示意图，与图4所示的用户头像的替换装置相比，不同之处在于，图5所示的用户头像的替换装置还可以包括：编码模块45；

编码模块45，用于对替换模块44替换后的视频图像与上述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

本实施例中，在替换模块44将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像之后，编码模块45还可以将替换后的视频图像与上述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

其中，上述待替换视频中未进行替换的视频图像即为上述待替换视频中不包括特定人物的视频图像。

本实施例中，获取模块41，具体用于在上述用户做出至少一种表情和/或面部动作时，利用不可见光光源向用户头像所处的空间投射经编码的非均匀结构光，并利用不可见光相机对上述用户头像的图像进行采集，得到带有非均匀结构光图案的包括用户的至少一种表情和/或面部动作的用户头像的结构光图像。

其中，上述不可见光光源一般由光源及衍射光学元件组成，光源可以是边发射激光也可以是垂直腔面发射激光，上述不可见光光源可以发出能够被不可见光相机识别的不可见光。例如，不可见光为红外光，不可见光相机为红外相机，这时，上述结构光图像即为红外图像；或者不可见光为紫外光，不可见光相机为紫外相机，这时上述结构光图像为紫外图像。

衍射光学元件根据不同的结构光图案需要可以被设置成具有准直、分束、扩散等功能。

上述非均匀结构光的图案可以为分布不规则的散斑图案。该散斑图案的密集程度影响了深度值计算的速度及精度，散斑颗粒越多，计算速度越慢，但精度却越高。因此，该不可见光光源可根据拍摄图像的目标区域的大致深度，选择合适的散斑颗粒密度，在保证计算速度的同时，仍有着较高的计算精度。当然，该散斑颗粒密度也可根据系统性能和/或实现需求等确定。

本实施例中，不可见光光源可以一定的扩散角向用户头像所处的空间投射散斑颗粒图案。

需要说明的是，上述不可见光光源可设置在不可见光相机中。

本实施例中，上述用户头像的替换装置还可以包括：获得模块46；

获得模块46，用于对上述待替换视频中包括特定人物的每一帧视频图像中，上述特定人物的表情和/或面部动作进行三维解析，获得上述待替换视频中包括特定人物的每帧视频图像的三维模型。

本实施例中，查找模块43根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型之前，获得模块46可以对上述待替换视频中包括特定人物的每一帧视频图像中，上述特定人物的表情和/或面部动作进行三维解析，获得上述待替换视频中包括特定人物的每帧视频图像的三维模型。

然后查找模块43可以根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型，进而替换模块44可以将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。

上述用户头像的替换装置可以实现以用户头像替代视频中的特定人物头像，并且表情和/或面部动作与原视频中特定人物的表情和/或面部动作相同，增加了用户体验的趣味性，提高了用户体验。

本申请实施例还提供一种终端设备。上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing；以下简称：图像信号处理)管线的各种处理单元。

其中，上述终端设备可以为智能手机、平板电脑、笔记本电脑或智能手表等智能终端设备，本实施例对上述终端设备的具体形式不作限定，但本实施例以上述终端设备为智能手机为例进行说明。

图6为本申请图像处理电路一个实施例的示意图。如图6所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图6所示，图像处理电路600包括成像设备610、ISP处理器630和控制逻辑器640。成像设备610可包括具有一个或多个透镜612、图像传感器614的照相机和结构光投射器616。结构光投射器616将结构光投影至用户头像。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器614捕捉投影至用户头像形成的结构光图像，并将结构光图像发送至ISP处理器630，由ISP处理器630对结构光图像进行计算处理获取用户头像的深度信息。同时，图像传感器614也可以捕捉用户头像的色彩信息。当然，也可以由两个图像传感器614分别捕捉用户头像的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器630对结构光图像进行解调，具体包括，从该结构光图像中采集用户头像的散斑图像，将用户头像的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取用户头像上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到用户头像的深度图像信息。

当然，还可以通过双目视觉的方法或基于TOF的方法来获取该深度图像信息等，在此不作限定，只要能够获取或通过计算得到用户头像的深度图像信息的方法都属于本实施方式包含的范围。

在ISP处理器630接收到图像传感器614捕捉到的用户头像的色彩信息之后，可对用户头像的色彩信息对应的图像数据进行处理。ISP处理器630对图像数据进行分析以获取可用于成像设备610的一个或多个控制参数的图像统计信息。图像传感器614可包括色彩滤镜阵列，如Bayer滤镜，图像传感器614可获取用图像传感器614的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器630处理的一组原始图像数据。

ISP处理器630按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器630可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器630还可从图像存储器620接收像素数据。图像存储器620可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess；以下简称：直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器630可进行一个或多个图像处理操作。

在ISP处理器630获取到用户头像的色彩信息和深度信息后，可对其进行融合，得到三维模型。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的用户头像的特征，例如通过ASM、AAM、PCA或DCT等方法，提取用户头像的特征，在此不做限定。再将分别从深度信息中提取到的用户头像的特征以及从色彩信息中提取到的用户头像的特征进行配准和特征融合处理。这里指的特征融合处理可以是将从深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维模型。

三维模型的图像数据可发送给图像存储器620，以便在被显示之前进行另外的处理。ISP处理器630从图像存储器620接收处理数据，并对所述处理数据进行原始域中以及红绿蓝(Red Green Blue；以下简称：RGB)和YCbCr颜色空间中的图像数据处理。三维模型的图像数据可输出给显示器660，以供用户观看和/或由图形引擎或图形处理器(GraphicsProcessing Unit；以下简称：GPU)进一步处理。此外，ISP处理器630的输出还可发送给图像存储器620，且显示器660可从图像存储器620读取图像数据。在一个实施例中，图像存储器620可被配置为实现一个或多个帧缓冲器。此外，ISP处理器630的输出可发送给编码器/解码器650，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器660之前解压缩。编码器/解码器650可由CPU或GPU或协处理器实现。

ISP处理器630确定的图像统计信息可发送给控制逻辑器640单元。控制逻辑器640可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备610的控制参数。

以下为运用图6中所示的图像处理电路实现本申请实施例提供的用户头像的替换方法的步骤：

步骤1，在上述用户做出至少一种表情和/或面部动作时，利用不可见光光源向用户头像所处的空间投射经编码的非均匀结构光，并利用不可见光相机对上述用户头像的图像进行采集，得到带有非均匀结构光图案的包括用户的至少一种表情和/或面部动作的用户头像的结构光图像。

步骤2，对上述结构光图像进行计算处理获得上述用户头像的深度图像。

步骤3，根据上述深度图像，结合上述用户头像的色彩信息获取上述用户头像的至少一种表情和/或面部动作的三维模型。

步骤4，根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得上述用户头像的三维模型中具有相同表情和/或面部动作的三维模型。

步骤5，将待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。

步骤6，对替换后的视频图像与所述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

本申请实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时可以实现本申请实施例提供的用户头像的替换方法。

上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本申请实施例还提出一种计算机程序产品，当上述计算机程序产品中的指令处理器执行时，可以执行本申请实施例提供的用户头像的替换方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(Random AccessMemory；以下简称：RAM)，只读存储器(Read Only Memory；以下简称：ROM)，可擦除可编辑只读存储器(Erasable Programmable Read Only Memory；以下简称：EPROM)或闪速存储器，光纤装置，以及便携式光盘只读存储器(Compact Disc Read Only Memory；以下简称：CD-ROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种用户头像的替换方法，其特征在于，包括：

通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像；

对所述结构光图像进行计算处理获得所述用户头像的深度图像；

根据所述深度图像，结合所述用户头像的色彩信息获取所述用户头像的至少一种表情和/或面部动作的三维模型；

根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得所述用户头像的三维模型中具有相同表情和/或面部动作的三维模型；

将所述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像。

2.根据权利要求1所述的方法，其特征在于，所述将所述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为查找获得的三维模型中的用户头像之后，还包括：

对替换后的视频图像与所述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

3.根据权利要求1所述的方法，其特征在于，所述通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像包括：

在所述用户做出至少一种表情和/或面部动作时，利用不可见光光源向用户头像所处的空间投射经编码的非均匀结构光，并利用不可见光相机对所述用户头像的图像进行采集，得到带有非均匀结构光图案的包括用户的至少一种表情和/或面部动作的用户头像的结构光图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像，结合所述用户头像的色彩信息获取所述用户头像的至少一种表情和/或面部动作的三维模型包括：

将分别从所述深度图像中提取到的所述用户头像的特征以及从所述色彩信息中提取到的所述用户头像的特征进行配准和特征融合处理；

根据融合后的特征，获取所述用户头像的三维模型。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述待替换视频为采用三维技术拍摄的视频，所述根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得所述用户头像的三维模型中具有相同表情和/或面部动作的三维模型之前，还包括：

对所述待替换视频中包括特定人物的每一帧视频图像中，所述特定人物的表情和/或面部动作进行三维解析，获得所述待替换视频中包括特定人物的每帧视频图像的三维模型。

6.一种用户头像的替换装置，其特征在于，包括：

获取模块，用于通过非均匀结构光获取包括用户的至少一种表情和/或面部动作的用户头像的结构光图像；

计算模块，用于对所述获取模块获取的结构光图像进行计算处理获得所述用户头像的深度图像；

所述获取模块，还用于根据所述深度图像，结合所述用户头像的色彩信息获取所述用户头像的至少一种表情和/或面部动作的三维模型；

查找模块，用于根据待替换视频中包括特定人物的每帧视频图像的三维模型中特定人物的表情和/或面部动作，查找获得所述用户头像的三维模型中具有相同表情和/或面部动作的三维模型；

替换模块，用于将所述待替换视频中包括特定人物的每帧视频图像的三维模型中的特定人物头像，替换为所述查找模块查找获得的三维模型中的用户头像。

7.根据权利要求6所述的装置，其特征在于，还包括：

编码模块，用于对所述替换模块替换后的视频图像与所述待替换视频中未进行替换的视频图像进行重新存储和编码，获得替换后的视频。

8.根据权利要求6所述的装置，其特征在于，

所述获取模块，具体用于在所述用户做出至少一种表情和/或面部动作时，利用不可见光光源向用户头像所处的空间投射经编码的非均匀结构光，并利用不可见光相机对所述用户头像的图像进行采集，得到带有非均匀结构光图案的包括用户的至少一种表情和/或面部动作的用户头像的结构光图像。

9.根据权利要求6所述的装置，其特征在于，

所述获取模块，具体用于将分别从所述深度图像中提取到的所述用户头像的特征以及从所述色彩信息中提取到的所述用户头像的特征进行配准和特征融合处理；以及根据融合后的特征，获取所述用户头像的三维模型。

10.根据权利要求6-9任意一项所述的装置，其特征在于，还包括：

获得模块，用于对所述待替换视频中包括特定人物的每一帧视频图像中，所述特定人物的表情和/或面部动作进行三维解析，获得所述待替换视频中包括特定人物的每帧视频图像的三维模型。

11.一种终端设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的方法。

12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。