CN108965740B

CN108965740B - 一种实时视频换脸方法、装置、设备和存储介质

Info

Publication number: CN108965740B
Application number: CN201810767013.XA
Authority: CN
Inventors: 赖师悦
Original assignee: SuperD Co Ltd
Current assignee: SuperD Co Ltd
Priority date: 2018-07-11
Filing date: 2018-07-11
Publication date: 2020-10-30
Anticipated expiration: 2038-07-11
Also published as: CN108965740A

Abstract

本发明公开了一种实时视频换脸方法、装置、设备和存储介质，通过对I帧进行换脸操作，并将换脸后的I帧作为P帧和B帧的参考帧，使得基于I帧而得到的P帧和B帧能够自然而然的进行了换脸操作，从而不需要对P帧和B帧进行额外的处理，由于只对I帧进行换脸操作，因此能够大大减少整个换脸过程的运算时间，从而实现高效的实时换脸功能；此外，由于I帧、P帧和B帧都进行了换脸操作，因此不会出现如分辨率过低、噪点过多等图像质量问题和由于人脸对齐精度的问题而带来的换脸后人脸的“抖动”鬼影。

Description

一种实时视频换脸方法、装置、设备和存储介质

技术领域

本发明涉及图像处理技术领域，特别是一种实时视频换脸方法、装置、设备和存储介质。

背景技术

随着大众娱乐社交性质的手机APP的不断增多，具有美颜、萌脸、直播等功能的APP受到广大用户的青睐，例如美图秀秀、脸萌、快手、抖音、演技拍等APP。这些APP以图像或视频为载体，通过图像视频处理算法改变人的容貌(例如大眼、廋脸、磨皮、美白)、表情，添加有趣的元素或特效等，以达到唯美、复古、夸张、搞笑、酷炫等用户所需的效果。视频换脸也属于这一类应用。

由于受图像质量和人脸对齐精度的限制，在视频中人脸对齐得到的特征点并不稳定，直接替换人脸得到的视频人脸会有一定的“抖动”鬼影。此外，以演技拍APP为例，其进行人脸替换时并未进行三角分割和人脸融合，而是简单的将人脸区域进行替换，但其需要一定的处理时间以将视频中的人脸全部替换并缓存好后再进行播放，因此即便简单的将人脸区域进行替换也未能实现实时换脸。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种实时视频换脸方法、装置、设备和存储介质，不仅能够解决现有方案中出现的人脸“抖动”鬼影问题，还能够实现高效的实时换脸功能。

本发明解决其问题所采用的技术方案是：

第一方面，本发明提供了一种实时视频换脸方法，包括：

获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧；

检测I帧中的人脸，对I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换I帧中的人脸，将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧。

进一步，对I帧中的人脸进行人脸对齐，包括：

检测人脸的关键特征点，并对关键特征点进行定位。

进一步，使用模板图像中的人脸替换I帧中的人脸，具体包括：基于关键特征点对I帧中的人脸进行三角剖分；

结合模板图像中的人脸对I帧中的人脸进行三角映射，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸。

进一步，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸，具体包括：

把经过三角映射的模板图像中的人脸替换到经过三角映射的I帧中的人脸，对经过替换处理的I帧中的人脸进行颜色迁移，对经过颜色迁移的I帧中的人脸进行泊松无缝融合。

进一步，获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧，进一步包括：

若提取到的是P帧或B帧，则重新提取视频帧，直到提取到视频帧中的I帧。

进一步，检测I帧中的人脸，进一步包括：

若没有检测到人脸，则重新提取视频帧中的I帧并重新检测I帧中的人脸。

第二方面，本发明提供了一种实时视频换脸装置，包括：

提取单元，用于获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧；

处理单元，用于检测I帧中的人脸，对I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换I帧中的人脸，将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧。

进一步，处理单元包括：

检测单元，用于检测人脸的关键特征点，并对关键特征点进行定位。

进一步，处理单元还包括：

分割单元，用于基于关键特征点对I帧中的人脸进行三角剖分；

替换单元，用于结合模板图像中的人脸对I帧中的人脸进行三角映射，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸。

进一步，替换单元包括：

融合单元，用于把经过三角映射的模板图像中的人脸替换到经过三角映射的I帧中的人脸，对经过替换处理的I帧中的人脸进行颜色迁移，对经过颜色迁移的I帧中的人脸进行泊松无缝融合。

进一步，提取单元还具体用于：若提取到的是P帧或B帧，则重新提取视频帧，直到提取到视频帧中的I帧。

进一步，处理单元还具体用于：若没有检测到人脸，则重新提取视频帧中的I帧并重新检测I帧中的人脸。

第三方面，本发明提供了一种实时视频换脸设备，

包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的实时视频换脸方法。

第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的实时视频换脸方法。

第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的实时视频换脸方法。

本发明的有益效果是：视频文件并不是对每一帧都保存了完整的数据，视频帧中包含有三类帧：I帧、P帧和B帧。其中只有I帧存储了完整的帧数据，而P帧和B帧都是在解码过程中由参考帧结合运动向量和差值补偿而得到，因此，本发明中对I帧进行换脸操作，并将换脸后的I帧作为参考帧，所以，基于I帧而得到的P帧和B帧也就自然而然的进行了换脸操作。由于I帧、P帧和B帧都进行了换脸操作，因此不会出现如分辨率过低、噪点过多等图像质量问题和由于人脸对齐精度的问题而带来的换脸后人脸的“抖动”鬼影。另一方面，由于只对I帧进行换脸操作，因此能够大大减少整个换脸过程的运算时间，从而实现高效的实时换脸功能。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例一提供的一种实时视频换脸方法的流程图；

图2是本发明实施例一提供的实时视频换脸方法中替换人脸操作的一种实施方式的流程图；

图3是本发明实施例二提供的一种实时视频换脸装置的结构示意图；

图4是本发明实施例三提供的一种实时视频换脸设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

随着大众娱乐社交性质的手机APP的不断增多，具有美颜、萌脸、直播等功能的APP受到广大用户的青睐，例如美图秀秀、脸萌、快手、抖音、演技拍等APP。这些APP以图像或视频为载体，通过图像视频处理算法改变人的容貌(例如大眼、廋脸、磨皮、美白)、表情，添加有趣的元素或特效等，以达到唯美、复古、夸张、搞笑、酷炫等用户所需的效果。

视频换脸也属于这一类应用，视频换脸是指用模版图像中的人脸替换指定视频中出现的目标人脸。一般来说，现有的视频换脸技术方案是将视频看成是相互独立的帧，然后基于图像的处理对每一帧进行人脸替换。现有的视频换脸技术方案主要包括人脸检测、人脸对齐、人脸剖分和人脸融合等技术内容，但由于受图像质量和人脸对齐精度的限制，在视频中人脸对齐得到的特征点并不稳定，直接替换人脸得到的视频人脸会有一定的“抖动”鬼影。此外，以演技拍APP为例，其进行人脸替换时并未进行三角分割和人脸融合，而是简单的将人脸区域进行替换，但其需要一定的处理时间以将视频中的人脸全部替换并缓存好后再进行播放，因此即便简单的将人脸区域进行替换也未能实现实时换脸。并且，由于模版图像和视频图像中人脸的光照和分辨率差异可能会比较大，因此进行视频换脸时，有时候并不能得到很好的融合效果。

基于此，本发明提供了一种实时视频换脸方法、装置、设备和存储介质，通过对I帧进行换脸操作，并将换脸后的I帧作为P帧和B帧的参考帧，使得基于I帧而得到的P帧和B帧能够自然而然的进行了换脸操作，从而不需要对P帧和B帧进行额外的处理，由于只对I帧进行换脸操作，因此能够大大减少整个换脸过程的运算时间，从而实现高效的实时换脸功能；此外，由于I帧、P帧和B帧都进行了换脸操作，因此不会出现如分辨率过低、噪点过多等图像质量问题和由于人脸对齐精度的问题而带来的换脸后人脸的“抖动”鬼影。

下面结合附图，对本发明实施例作进一步阐述。

实施例一

参照图1，本发明实施例一提供了一种实时视频换脸方法，其中的一种实施例包括但不限于以下步骤：

步骤S1，获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧。

在本实施例中，本步骤中首先获取视频数据并对视频数据进行解码处理，从而得到对应视频数据的视频帧。根据视频编码的特点，视频文件并不是对每一帧都保存了完整的数据，视频帧中包含有三类帧：I帧、P帧和B帧。其中I帧为关键帧，其存储有完整的帧数据；而P帧和B帧分别为前向预测帧和双向运动帧，P帧和B帧在视频解码的过程中，都是由参考帧结合运动向量和差值补偿而得到的，因此在本步骤中，在得到的对应视频数据的视频帧中提取出I帧，然后在后续的步骤中对该I帧进行换脸操作，使得基于I帧而得到的P帧和B帧能够自然而然的进行了换脸操作，从而不需要对P帧和B帧进行额外的处理，由于只对I帧进行换脸操作，因此能够大大减少整个换脸过程的运算时间，从而实现高效的实时换脸功能。

此外，在本步骤中，若提取到的是P帧或B帧，则重新提取视频帧，直到提取到视频帧中的I帧。具体地，由于P帧和B帧能够在视频解码的过程中根据I帧而得到，因此只要对I帧进行换脸操作，P帧和B帧就能够自然而然的进行了换脸操作，所以当提取到的是P帧或B帧，则可以不需要对P帧或B帧进行操作，而可以重新提取视频帧，直到提取到视频帧中的I帧，再进行后续的处理操作。

步骤S2，检测I帧中的人脸，对I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换I帧中的人脸，将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧。

在本实施例中，本步骤中首先对I帧中的人脸进行检测。对于一个视频数据来说，并不是每一个视频帧都具有人脸的，例如当前的视频画面为景物时，对应的I帧就不存在人脸，因此只有检测到I帧中存在人脸，才能进行后续的操作。另外，对视频中的人脸进行替换，还存在对特定的目标人脸进行替换的情况，在这种情况下，并不是每一个视频帧中所存在的人脸都是目标人脸，例如当前视频画面中出现了多个人物时，并不是全部人脸都是需要进行换脸的目标人脸，因此，只有检测到I帧中存在目标人脸，才能进行后续的操作。

在本步骤中，当检测到I帧中存在人脸/目标人脸时，会对I帧中的人脸/目标人脸进行人脸对齐，接着使用模板图像中的人脸替换I帧中的人脸，最后将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧，使得P帧和B帧在视频解码的过程中自然而然的进行了换脸操作。本步骤中，在使用模板图像中的人脸替换I帧中的人脸之前，需要先对模板图像中的人脸进行相关的检测和对齐处理。对模板图像中的人脸进行人脸对齐，和I帧中的人脸进行人脸对齐，具有相同的处理过程，该处理过程包括但不限于：检测人脸的关键特征点，并对关键特征点进行定位。本步骤中，当确认模板图像/I帧存在人脸后，对该人脸的关键特征点进行检测，人脸的关键特征点包括眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，当检测到了这些关键特征点后，对这些关键特征点进行定位，从而确定好人脸中眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点的具体位置，并在这些具体位置之上标记定位点，以供后续的人脸替换处理。由于对模板图像中的人脸的检测和对齐处理，独立于对I帧中的人脸的检测和对齐处理，因此并不限制对模板图像中人脸的相关处理的时机，但是为了能够更好地实现实时换脸的目的，可以在进行本发明的实时视频换脸方法之前预先完成对模板图像中人脸的相关处理，当需要进行本发明的实时视频换脸方法时，直接调用已经完成相关处理的模板图像中的人脸来替换I帧中的人脸，从而能够大大减少换脸过程的运算时间，实现实时换脸的目的。

此外，在本步骤中，若没有检测到I帧中的人脸，则重新提取视频帧中的I帧并重新检测I帧中的人脸。没有检测到I帧中的人脸的情况，在上面的内容中已经进行了说明，因此此处不再详述。

具体地，参照图2，本实施例的步骤S2中，使用模板图像中的人脸替换I帧中的人脸，可以包括但不限于以下的步骤：

第一步，基于关键特征点对I帧中的人脸进行三角剖分。

在本步骤中，由于人脸中眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点这些关键特征点的具体位置已经被定位，因此可以采用三角剖分的方式进行人脸替换。三角剖分的定义是：假设二维实数域上的有限点集V，边e是由该有限点集V中的点作为端点构成的封闭线段，E为边e的集合，那么该有限点集V的一个三角剖分T＝(V，E)是一个平面图G，该平面图G满足条件：

1、除了端点，平面图G中的边不包含点集中的任何点；

2、没有相交边；

3、平面图G中所有的面都是三角面，且所有三角面的合集是有限点集V的凸包。

在本步骤中，简单来说，三角剖分即是基于定位到的关键特征点，将人脸分割成一个个小的三角形。优选的，本步骤可以采用效果更优的德洛内三角剖分方法，该方法是常用的一种三角剖分方法。德洛内三角剖分是一种特殊的三角剖分，如果有限点集V的一个三角剖分T只包含德洛内边，那么该三角剖分称为德洛内三角剖分，其中，德洛内边需要满足以下条件：存在一个圆经过德洛内边的两个端点，圆内不含有限点集V中任何其他的点。

第二步，结合模板图像中的人脸对I帧中的人脸进行三角映射，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸。

本步骤中，需要采用上述第一步操作对模板图像中的人脸进行三角剖分，对模板图像中的人脸进行三角剖分独立于对I帧中的人脸进行三角剖分，因此，对模板图像中的人脸进行三角剖分可以先于、后于或同步于对I帧中的人脸进行三角剖分。经过三角剖分的模板图像中的人脸和I帧中的人脸，都被分割成一个个小的三角形，结合模板图像中的人脸对I帧中的人脸进行三角映射，即是把由模板图像中的人脸分割而成的一个个小的三角形，与由I帧中的人脸分割而成的一个个小的三角形一一对应起来，接着，根据这种对应的三角映射的关系，把模板图像中的人脸的每一个三角形对应地替换到I帧中的人脸的每一个三角形，从而实现了把模板图像中的人脸融合到I帧中的人脸的操作。

此外，在本步骤中，当根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸时，包括但不限于以下操作：

由于模版图像中的人脸与I帧中的人脸的光照、角度、分辨率等都很可能会有所不同，因此根据三角映射的关系把模板图像中的人脸替换到I帧中的人脸，会出现人脸区域差异明显过大等融合效果不佳的问题。为了解决这个问题，可以在保证换脸过程的运算时间不被增加的情况下，对经过替换处理的I帧中的人脸进行颜色迁移，并对经过颜色迁移的I帧中的人脸进行泊松无缝融合。颜色迁移，即基于源图像和目标图像，合成一幅新的目的图像，使该目的图像同时具有源图像的颜色和目标图像的形状等遗传信息，即目标图像在不改变其自身所表达的形状信息的情况下，学习了源图像的整体颜色基调。因此，通过对经过替换处理的I帧中的人脸进行颜色迁移，能够使I帧中原来属于模板图像的人脸颜色接近于视频中目标人脸的颜色。当进行颜色迁移操作之后，对I帧中的人脸进行泊松无缝融合，使得I帧中原来属于模板图像的人脸的像素和I帧中周边的像素进行融合。泊松无缝融合，简单来说，就是通过计算两个图像交界部分的梯度，然后对两个图像分别进行适当的调整，使得两个本来看起来很不融洽的图像看起来是一致的，因此，在进行了颜色迁移操作的基础上，再进行泊松无缝融合，能够使经过替换处理的I帧中的人脸达到颜色、像素均能平滑过渡的效果，解决传统的简单替换方法而导致差异性过大使得融合效果不佳的问题。

实施例二

参照图3，本发明实施例二提供了一种实时视频换脸装置，在该实时视频换脸装置1000中，包括但不限于：提取单元1100和处理单元1200。

其中，提取单元1100用于获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧；

处理单元1200用于检测I帧中的人脸，对I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换I帧中的人脸，将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧。

其中，在本实施例的一些实施方式中，处理单元1200包括：

检测单元1210，用于检测人脸的关键特征点，并对关键特征点进行定位；

分割单元1220，用于基于关键特征点对I帧中的人脸进行三角剖分；替换单元1230，用于结合模板图像中的人脸对I帧中的人脸进行三角映射，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸。

在一些实施方式中，替换单元1230包括：

融合单元1231，用于把经过三角映射的模板图像中的人脸替换到经过三角映射的I帧中的人脸，对经过替换处理的I帧中的人脸进行颜色迁移，对经过颜色迁移的I帧中的人脸进行泊松无缝融合。

此外，提取单元1100还具体用于：若提取到的是P帧或B帧，则重新提取视频帧，直到提取到视频帧中的I帧；

处理单元1200还具体用于：若没有检测到人脸，则重新提取视频帧中的I帧并重新检测I帧中的人脸。

需要说明的是，由于本实施例中的实时视频换脸装置与上述实施例一中的实时视频换脸方法基于相同的发明构思，因此，方法实施例一中的相应内容同样适用于本装置实施例，此处不再详述。

通过上述技术方案可知，本发明的实施例二的有益效果在于：通过对I帧进行换脸操作，并将换脸后的I帧作为P帧和B帧的参考帧，使得基于I帧而得到的P帧和B帧能够自然而然的进行了换脸操作，从而不需要对P帧和B帧进行额外的处理，由于只对I帧进行换脸操作，因此能够大大减少整个换脸过程的运算时间，从而实现高效的实时换脸功能；此外，由于I帧、P帧和B帧都进行了换脸操作，因此不会出现如分辨率过低、噪点过多等图像质量问题和由于人脸对齐精度的问题而带来的换脸后人脸的“抖动”鬼影；另外，通过对经过替换处理的I帧中的人脸进行颜色迁移及泊松无缝融合，能够解决人脸融合效果不佳的问题，从而提高了换脸后视频的质量。

实施例三

参照图4，本发明实施例三提供了一种实时视频换脸设备，该实时视频换脸设备200可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体地，该实时视频换脸设备200包括：一个或多个控制处理器201和存储器202，图4中以一个控制处理器201为例。

控制处理器201和存储器202可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器202作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的实时视频换脸方法对应的程序指令/模块，例如，图3中所示的提取单元1100和处理单元1200。控制处理器201通过运行存储在存储器202中的非暂态软件程序、指令以及模块，从而执行实时视频换脸装置1000的各种功能应用以及数据处理，即实现上述方法实施例的实时视频换脸方法。

存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实时视频换脸装置1000的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器202可选包括相对于控制处理器201远程设置的存储器，这些远程存储器可以通过网络连接至该实时视频换脸设备200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器202中，当被所述一个或者多个控制处理器201执行时，执行上述方法实施例中的实时视频换脸方法，例如，执行以上描述的图1中的方法步骤S1至S2，图2中的方法步骤S21至S22，实现图3中的单元1100－1231的功能。

实施例四

本发明实施例四还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图4中的一个控制处理器201执行，可使得上述一个或多个控制处理器201执行上述方法实施例中的实时视频换脸方法，例如，执行以上描述的图1中的方法步骤S1至S2，图2中的方法步骤S21至S22，实现图3中的单元1100－1231的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种实时视频换脸方法，其特征在于：包括：

获取并解码视频数据，得到对应视频数据的视频帧，提取所述视频帧中的I帧；

检测所述I帧中的人脸，对所述I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换所述I帧中的人脸，将替换人脸后的I帧作为所述视频帧中P帧和B帧的参考帧。

2.根据权利要求1所述的一种实时视频换脸方法，其特征在于：所述对所述I帧中的人脸进行人脸对齐，包括：

检测人脸的关键特征点，并对所述关键特征点进行定位。

3.根据权利要求2所述的一种实时视频换脸方法，其特征在于：所述使用模板图像中的人脸替换所述I帧中的人脸，具体包括：

基于所述关键特征点对所述I帧中的人脸进行三角剖分；

结合所述模板图像中的人脸对所述I帧中的人脸进行三角映射，根据三角映射的关系把所述模板图像中的人脸融合到所述I帧中的人脸。

4.根据权利要求3所述的一种实时视频换脸方法，其特征在于：所述根据三角映射的关系把所述模板图像中的人脸融合到所述I帧中的人脸，具体包括：

5.根据权利要求1所述的一种实时视频换脸方法，其特征在于：所述获取并解码视频数据，得到对应视频数据的视频帧，提取所述视频帧中的I帧，进一步包括：

若提取到的是P帧或B帧，则重新提取所述视频帧，直到提取到所述视频帧中的I帧。

6.根据权利要求1所述的一种实时视频换脸方法，其特征在于：所述检测所述I帧中的人脸，进一步包括：

若没有检测到人脸，则重新提取所述视频帧中的I帧并重新检测I帧中的人脸。

7.一种实时视频换脸装置，其特征在于：包括：

提取单元，用于获取并解码视频数据，得到对应视频数据的视频帧，提取所述视频帧中的I帧；

处理单元，用于检测所述I帧中的人脸，对所述I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换所述I帧中的人脸，将替换人脸后的I帧作为所述视频帧中P帧和B帧的参考帧。

8.根据权利要求7所述的一种实时视频换脸装置，其特征在于：所述处理单元包括：

检测单元，用于检测人脸的关键特征点，并对所述关键特征点进行定位。

9.根据权利要求8所述的一种实时视频换脸装置，其特征在于：所述处理单元还包括：

分割单元，用于基于所述关键特征点对所述I帧中的人脸进行三角剖分；

替换单元，用于结合所述模板图像中的人脸对所述I帧中的人脸进行三角映射，根据三角映射的关系把所述模板图像中的人脸融合到所述I帧中的人脸。

10.根据权利要求9所述的一种实时视频换脸装置，其特征在于：所述替换单元包括：

11.根据权利要求7所述的一种实时视频换脸装置，其特征在于：所述提取单元还具体用于：若提取到的是P帧或B帧，则重新提取所述视频帧，直到提取到所述视频帧中的I帧。

12.根据权利要求7所述的一种实时视频换脸装置，其特征在于：所述处理单元还具体用于：若没有检测到人脸，则重新提取所述视频帧中的I帧并重新检测I帧中的人脸。

13.一种实时视频换脸设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1－6任一项所述的实时视频换脸方法。

14.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1－6任一项所述的实时视频换脸方法。