CN106447604B - 一种变换视频中面部画面的方法和装置 - Google Patents

Abstract

本发明公开了一种变换视频中面部画面的方法和装置。该方法包括：对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系；根据对应关系，将第二面部画面覆盖到视频图像中的第一面部画面上后输出视频图像。可见，通过本发明的技术方案，视频中的人脸图像不用一直保持单调的人脸本身的面部图像，可以根据素材中的图像，将面部画面进行变换，且可保持面部的表情和姿态，在视频对话或视频直播的应用中，可增加用户视频对话或视频直播中的乐趣，不会让用户觉得整个通信过程中单调、无趣，增强了用户的体验。

Description

一种变换视频中面部画面的方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种变换视频中面部画面的方法和装置。

背景技术

终端设备应用的功能模块从最初的拍摄照片，到拍摄视频，并逐渐发展成今天的可以视频对话、视频直播等，这使得在应用功能不断增强的过程中人与人之间交流趋于简单化和直观化，也不断地拉近了人与人之间通信的距离感。那么在如今盛行的视频对话或视频直播中，单纯的进行面对面的直观交流已经不能满足人们的追求丰富多彩的生活乐趣的要求，尤其是在用户已经习惯了正常的面对面视频对话或视频直播的情况下，始终保持单一的通信者自身的人脸特征，容易使用户觉得整个通信过程中单调、无趣，降低了用户的体验。如何改变视频中用户人脸的画面，增加视频对话或视频直播中用户的乐趣，增强用户的体验，已经成为急需解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的变化视频中面部画面的方法和装置。

依据本发明的一个方面，提供了一种变换视频中面部画面的方法，其中，该方法包括：

对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系；

根据所述对应关系，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出所述视频图像。

可选地，所述建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；

根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域；

对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

可选地，所述根据第一面部画面上的关键点将第一面部画面划分为多个区域包括：

在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；

其中，每两个三角形之间没有交叉。

可选地，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出视频图像进一步包括：

根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

可选地，在将所述第二面部画面覆盖到所述视频图像中的第一面部画面上之前，该方法进一步包括：

将所述视频图像中的肤色映射为第二面部画面中的肤色。

可选地，将所述视频图像中的肤色映射为第二面部画面中的肤色包括：

计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；

根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；

根据所述颜色映射关系，将所述视频图像中的肤色映射为第二面部画面中的肤色。

可选地，在建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系之前，该方法进一步包括：

将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型。

可选地，将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；

对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；

将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；

对第一面部画面上的关键点进行所述转正和缩放的逆处理。

可选地，所述转正处理为将两眼连线旋转到与水平轴平行；

所述缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

根据本发明的另一方面，提供了一种变换视频中面部画面的装置，其中，该装置包括：

素材获取单元，适于对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

映射单元，适于建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系；

面部变换单元，适于根据所述对应关系，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出所述视频图像。

可选地，所述映射单元，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域；对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

可选地，所述映射单元，适于在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；其中，每两个三角形之间没有交叉。

可选地，所述面部变换单元，进一步适于根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

可选地，该装置进一步包括：

肤色映射单元，适于在将所述第二面部画面覆盖到所述视频图像中的第一面部画面上之前，将所述视频图像中的肤色映射为第二面部画面中的肤色。

可选地，所述肤色映射单元，适于计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；根据所述颜色映射关系，将所述视频图像中的肤色映射为第二面部画面中的肤色。

可选地，该装置进一步包括：

脸型变换单元，适于在建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系之前，将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型。

可选地，脸型变换单元，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；对第一面部画面上的关键点进行所述转正和缩放的逆处理。

可选地，所述转正处理为将两眼连线旋转到与水平轴平行；

所述缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

综上所述，根据本发明对获取的视频中每一帧的人脸图像的面部上的各点与面部素材图像中的面部上的各点进行一一对应，并根据对应关系将面部素材图像覆盖到人脸图像中，实时地将视频中人脸图像变换为素材中的面部图像，且能保留脸部的表情和姿态。可见，通过本发明的技术方案，视频中的人脸图像不用一直保持单调的人脸本身的面部图像，可以根据素材中的图像，将面部画面进行变换，且可保持面部的表情和姿态，在视频对话或视频直播的应用中，可增加用户视频对话或视频直播中的乐趣，不会让用户觉得整个通信过程中单调、无趣，增强了用户的体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种变换视频中面部画面的方法流程图；

图2(a)示出了根据本发明一个实施例的建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系的效果图；

图2(b)示出了根据本发明一个实施例的视频面部画面变换后的效果示意图；

图3示出了根据本发明一个实施例的视频图像中的肤色映射为第二面部画面中的肤色的方法流程图；

图4示出了根据本发明一个实施例的视频图像中的第一面部画面的脸型变换为面部素材图像中的第二面部画面的脸型的方法流程图；

图5示出了根据本发明一个实施例的一种变换视频中面部画面的装置示意图；

图6示出了根据本发明另一个实施例的一种变换视频中面部画面的装置示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的一种变换视频中面部画面的方法流程图。如图1所示，该方法包括：

步骤S110，对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面。

视频是大量帧的图像的集合，为了保证实时变换视频中的面部画面以及面部画面的动态性，需要获取针对每一帧的视频图像的面部素材图像，这里所说的第一面部画面是使用者的面部画面，第二面部画面是面部素材图像的面部画面。

步骤S120，建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系。

为了保证变换后的面部画面更加融合、平滑、不生硬，在面部画面变化的过程中，将第一面部画面上的点对应在第二面部画面上代表同样的位置上的点建立关系，比如第一面部画面的鼻尖上的点要和第二面部画面的鼻尖上的点建立对应关系，这样在第一面部画面出现表情特征的时候，即使第一面部画面的鼻尖不在原来的位置了，但是第二面部画面的鼻尖上的点已经和其建立对应关系，其状态也会展现在第二面部画面上。这里所说的点为图像中的像素点。

在步骤S130中，根据对应关系，将第二面部画面覆盖到视频图像中的第一面部画面上后输出视频图像。这样就实现了变换后视频中的面部画面的表情或姿态通变换之前的一致性。

可见，通过本发明的技术方案，视频中的人脸图像不用一直保持单调的人脸本身的面部图像，可以根据素材中的图像，将面部画面进行变换，且可保持面部的表情和姿态，在视频对话或视频直播的应用中，可增加用户视频对话或视频直播中的乐趣，不会让用户觉得整个通信过程中单调、无趣，增强了用户的体验。

在本发明的一个实施例中，步骤S120中的建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点，这里的关键点可是代表面部画面中的关键位置的点，例如眼角、鼻尖、眼角等位置的点，当面部出现不同的表情和姿态的时候，可以通过这些关键点可以将表情和姿态表现出来，在关键点的选择数量上，可以自由设定，20个或者30个均可。

当面部出现各种表情或姿态的时候，不仅仅是关键点，面部上的其他各点都或多或少的有变化，为了更加精准的反映第一面部画面上的表情，仅依靠关键点是不可以的，所以在标定关键点后，还要根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域。

然后第一面部画面中的每个区域在第二面部画面上找到相对应的区域，对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点，这样就可以保证映射后的整体表情和姿态与第一面部画面的一致。

优选地，以划分区域的形状为三角形为例，上述步骤中的根据第一面部画面上的关键点将第一面部画面划分为多个区域包括：

在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；可以保证三角形的三个顶点位置与第二面部画面上的位置相同，三角形内部是根据三个顶点的线性拉伸，三角形内部的点被映射到第二面部画面上对应的三角形内部，当三角形足够多时就保证了映射后的第二面部画面上的表情和姿态与第一面部画面上的一致，这样颜色过渡平滑并且计算相对简单。其中，每两个三角形之间没有交叉，具体可采用Delaunay三角剖分算法进行三角分解。在这里虽然面部画面上的区域形状为三角形，但是因为不仅仅是面部的内部区域，面部周围区域也需要和素材图像做一定程度的融合，所以还需要若干个框住第一面部画面的多边形的顶点，以此若干个顶点以及面部上的关键点为准进行三角形区域的划分，本实施例中选择了四边形的四个顶点，这四个点连接的三角形覆盖了脸周围区域，可以保证面部周围区域也和素材图图像做一定程度的融合。

图2示出了根据本发明一个实施例的一种变换视频中面部画面的效果示意图。其中，图2(a)示出了根据本发明一个实施例的建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系的效果图。如图2所示，以划分的区域没三角形为例，第一面部画面上的关键点与第二面部画面上的关键点对应相同，以框住第一面部画面的四个顶点和第一面部换面中的各关键点为顶点，划分为多个三角形区域；采用同样的方式，根据第二面部画面上的关键点将第二面部画面划分为多个三角形区域，两个画面上的三角形的三个顶点位置相同，每两个三角形之间没有交叉，根据第一面部画面上额头、左脸颊、右眼眶的三角形区域在第二面部画面中找到相对的位置区域，额头、左脸颊、右眼眶的三角形区域中的一点在第二面部画面的相应区域中找到相应的点，其他位置的点也采用相同的方式，这样将第一面部画面上的点对应在第二面部画面上代表同样的位置上的点建立关系。

例如，在视频直播中，图2(b)示出了根据本发明一个实施例的视频面部画面变换后的效果示意图。如图2(b)所示，在视频直播中的视频图像中的面部画面变换为素材图像的面部画面后其面部画面融合、平滑、不生硬，且面部周围区域，如素材面部画面中没有展现的额头上半部分等，过度平滑，也和素材图图像做了一定程度的融合。

因为在视频中面部画面的变换中，为了更加逼真、拟人化，有些素材图像不是全脸的，需要漏出一些视频中第一面部画面的信息，也就是变换后的视频，有的地方用原图有的地方用面具，具体通过透明度实现；另外，素材图像中面部画面的可能也会有背景，那么在变换的时候，这部分的背景部分需要透明，为保证变换后的背景就是第一面部画面的背景，也需要通过透明度实现。可以预先设置一个透明度的预设值，根据预设值选择具体使用哪一个面部画面的信息。在本发明的一个实施例中，步骤S130中的将第二面部画面覆盖到视频图像中的第一面部画面上后输出视频图像进一步包括：根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。例如，根据预设值，在变换视频中的面部画面的时候，第二面部画面中的眼睛的部分是低于预设值的，所以变换后需要保留第一面部画面的眼睛部分，眼睛可以更加直观的表现使用者的喜怒哀乐，这样变换后的视频中的图像更加的贴合使用者本身的表情和姿态。

但是，现实应用中，一方面，将视频中的面部画面变换为另一个时，如果肤色相差太大会导致变换效果不自然。为了解决这个问题，可采用基于直方图的颜色变换，将视频中肤色全部映射为素材图像中的肤色，再进行覆盖操作。在本发明的一个实施例中，在图1所示方法的步骤S130将第二面部画面覆盖到视频图像中的第一面部画面上之前，图1所示的方法进一步包括：

将视频图像中的肤色映射为第二面部画面中的肤色。

图3示出了根据本发明一个实施例的视频图像中的肤色映射为第二面部画面中的肤色的方流程图。如图3所示，具体的步骤为：

S310，从视频图像中提取面部区域作为第一面部画面，计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；从素材图像中提取面部区域作为第二面部画面，计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线。其中，颜色直方图是像素值0-255对应的像素个数，颜色累计曲线是0-255对应的比起值小的所有像素个数之和，比如该曲线在2处的值就是直方图中在0，1,2处的值之和，累积曲线有利于不同直方图间查找对应关系，此方法符合本发明的技术方案要求。

S320，根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系。具体是：根据第一颜色直方图中的颜色值，计算累计曲线该颜色对应值；在第二颜色直方图中的累计曲线找到这个值对应的颜色，该颜色就是第一颜色直方图要变换到的颜色值。

S330，根据颜色映射关系，将视频图像中的肤色映射为第二面部画面中的肤色，这就实现了将视频图像中的肤色映射为第二面部画面中的肤色。

S340，素材图像覆盖到视频图像中，使得变换后的图像效果更加自然。

例如，把一个黑色的素材图像变换到到一个白皮肤使用这的视频图像中，如果使用者其他部分是白色的只有脸部被映射为黑色，很不自然，颜色映射的作用就是会把白人其他部分的肤色也变成黑色，使得变换后的图像效果更加自然。

另一方面，在现实应用中，将视频中的面部画面变换为另一个时，如果脸型相差太大也会导致变脸效果不自然。为了解决这个问题，采用基于关键点的脸型变换，先将视频图像变换为素材的脸型，再进行覆盖操作。在本发明的一个实施例中，图1所示方法的步骤S120中的在建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系之前，图1所示的方法进一步包括：

将视频图像中的第一面部画面的脸型变换为面部素材图像中的第二面部画面的脸型。

图4示出了根据本发明一个实施例的视频图像中的第一面部画面的脸型变换为面部素材图像中的第二面部画面的脸型的方法流程图。如图4所示，具体的步骤为：

S410，从视频图像中提取面部区域作为第一面部画面，在第一面部画面标记关键点，以及从素材图像中提取面部区域作为第二面部画面，在第二面部画面上同样标记相应的关键点；

S420，对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理。

S430，将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致。

S440，对第一面部画面上的关键点进行转正和缩放的逆处理，使得各相应关键点之间的位置和距离都一致，依据处理后的关键点完成将视频图像变换为素材图像中的脸型。

S450，然后再将素材图像覆盖到视频图像中。

例如，转正处理为将两眼连线旋转到与水平轴平行；缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

图5示出了根据本发明一个实施例的一种变换视频中面部画面的装置示意图。如图5所示，变换视频中面部画面的装置500包括：

素材获取单元510，适于对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

映射单元520，适于建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系；

面部变换单元530，适于根据对应关系，将第二面部画面覆盖到视频图像中的第一面部画面上后输出视频图像。

在本发明的一个实施例中，映射单元520，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域；对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

进一步地，映射单元520，适于在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；其中，每两个三角形之间没有交叉。

在本发明的一个实施例中，面部变换单元530，进一步适于根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

图6示出了根据本发明另一个实施例的一种变换视频中面部画面的装置示意图。如图6所示，该变换视频中面部画面的装置600包括：素材获取单元610、映射单元620、面部变换单元630、肤色映射单元640和脸型变换单元650。其中，素材获取单元610、映射单元620、面部变换单元630和图5所示的素材获取单元510、映射单元520、面部变换单元530具有对应相同的功能，相同的二部分在此不再赘述。

肤色映射单元640，适于在将第二面部画面覆盖到视频图像中的第一面部画面上之前，将视频图像中的肤色映射为第二面部画面中的肤色。

具体地，肤色映射单元640，适于计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；根据颜色映射关系，将视频图像中的肤色映射为第二面部画面中的肤色。

脸型变换单元650，适于在建立视频图像中的第一面部画面上的各点与面部素材图像中的第二面部画面上的相应点之间的对应关系之前，将视频图像中的第一面部画面的脸型变换为面部素材图像中的第二面部画面的脸型。

具体地，脸型变换单元650，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；对第一面部画面上的关键点进行转正和缩放的逆处理。

在本发明的一个实施例中，转正处理为将两眼连线旋转到与水平轴平行；缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

需要说明的是，图5和图6所示装置的个实施例与图1所示方法的各实施例对应相同，上文已有详细说明，在此不再赘述。

综上所述，根据本发明对获取的视频中每一帧的人脸图像的面部上的各点与面部素材图像中的面部上的各点进行一一对应，并根据对应关系将面部素材图像覆盖到人脸图像中，实时地将视频中人脸图像变换为素材中的面部图像，且能保留脸部的表情和姿态。可见，通过本发明的技术方案，视频中的人脸图像不用一直保持单调的人脸本身的面部图像，可以根据选择素材中的图像，将面部画面进行变换，且可保持面部的表情和姿态，在视频对话或视频直播的应用中，可增加用户视频对话或视频直播中的乐趣，不会让用户觉得整个通信过程中单调、无趣，增强了用户的体验。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的变换视频中面部画面的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明提供了A1、一种变换视频中面部画面的方法，其中，该方法包括：

对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系；

根据所述对应关系，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出所述视频图像。

A2、如A1所述的方法，其中，所述建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；

根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域；

对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

A3、如A2所述的方法，其中，所述根据第一面部画面上的关键点将第一面部画面划分为多个区域包括：

在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；

其中，每两个三角形之间没有交叉。

A4、如A1所述的方法，其中，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出视频图像进一步包括：

根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

A5、如A1-A4中任一项所述的方法，其中，在将所述第二面部画面覆盖到所述视频图像中的第一面部画面上之前，该方法进一步包括：

将所述视频图像中的肤色映射为第二面部画面中的肤色。

A6、如A5所述的方法，其中，将所述视频图像中的肤色映射为第二面部画面中的肤色包括：

计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；

根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；

根据所述颜色映射关系，将所述视频图像中的肤色映射为第二面部画面中的肤色。

A7、如A1-A4中任一项所述的方法，其中，在建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系之前，该方法进一步包括：

将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型。

A8、如A7所述的方法，其中，将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；

对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；

将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；

对第一面部画面上的关键点进行所述转正和缩放的逆处理。

A9、如A8所述的方法，其中，

所述转正处理为将两眼连线旋转到与水平轴平行；

所述缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

本发明还提供了B10、一种变换视频中面部画面的装置，其中，该装置包括：

素材获取单元，适于对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

映射单元，适于建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系；

面部变换单元，适于根据所述对应关系，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出所述视频图像。

B11、如B10所述的装置，其中，

所述映射单元，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域；对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

B12、如B11所述的装置，其中，

所述映射单元，适于在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；其中，每两个三角形之间没有交叉。

B13、如B10所述的装置，其中，

所述面部变换单元，进一步适于根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

B14、如B10-B13中任一项所述的装置，其中，该装置进一步包括：

肤色映射单元，适于在将所述第二面部画面覆盖到所述视频图像中的第一面部画面上之前，将所述视频图像中的肤色映射为第二面部画面中的肤色。

B15、如B14所述的装置，其中，

所述肤色映射单元，适于计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；根据所述颜色映射关系，将所述视频图像中的肤色映射为第二面部画面中的肤色。

B16、如B10-B13中任一项所述的装置，其中，该装置进一步包括：

脸型变换单元，适于在建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系之前，将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型。

B17、如B16所述的装置，其中，

脸型变换单元，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；对第一面部画面上的关键点进行所述转正和缩放的逆处理。

B18、如B17所述的装置，其中，

所述转正处理为将两眼连线旋转到与水平轴平行；

所述缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

Claims (16)

1.一种变换视频中面部画面的方法，其中，该方法包括：

对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系；

根据所述对应关系，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出所述视频图像；

其中，所述建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；

根据第一面部画面上的关键点将第一面部画面划分为多个区域；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域，其中，所述区域形状为三角形，每两个三角形之间没有交叉；

对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

2.如权利要求1所述的方法，其中，所述根据第一面部画面上的关键点将第一面部画面划分为多个区域包括：

在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；

其中，每两个三角形之间没有交叉。

3.如权利要求1或2所述的方法，其中，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出视频图像进一步包括：

根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

4.如权利要求1所述的方法，其中，在将所述第二面部画面覆盖到所述视频图像中的第一面部画面上之前，该方法进一步包括：

将所述视频图像中的肤色映射为第二面部画面中的肤色。

5.如权利要求4所述的方法，其中，将所述视频图像中的肤色映射为第二面部画面中的肤色包括：

计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；

根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；

根据所述颜色映射关系，将所述视频图像中的肤色映射为第二面部画面中的肤色。

6.如权利要求1所述的方法，其中，在建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系之前，该方法进一步包括：

将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型。

7.如权利要求6所述的方法，其中，将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型包括：

在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；

对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；

将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；

对第一面部画面上的关键点进行所述转正和缩放的逆处理。

8.如权利要求7所述的方法，其中，

所述转正处理为将两眼连线旋转到与水平轴平行；

所述缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

9.一种变换视频中面部画面的装置，其中，该装置包括：

素材获取单元，适于对于一帧包含第一面部画面的视频图像，获取一幅面部素材图像；该面部素材图像中包含第二面部画面；

映射单元，适于建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系；

面部变换单元，适于根据所述对应关系，将所述第二面部画面覆盖到所述视频图像中的第一面部画面上后输出所述视频图像；

其中，

所述映射单元，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；根据第一面部画面上的关键点将第一面部画面划分为多个区域，其中，所述区域形状为三角形，每两个三角形之间没有交叉；采用同样方式，根据第二面部画面上的关键点将第二面部画面划分为多个区域；对于第一面部画面中的每个点，根据该点在其所在区域中的相对位置，从第二面部画面的相应区域中找到相应的点。

10.如权利要求9所述的装置，其中，

所述映射单元，适于在第一面部画面上，以框住第一面部画面的多边形的顶点和第一面部画面中的各关键点为顶点，将第一面部画面划分为多个三角形区域；其中，每两个三角形之间没有交叉。

11.如权利要求9-10中任一项所述的装置，其中，

所述面部变换单元，进一步适于根据第二面部画面的透明度进行判断，在透明度高于或等于预设值的位置使用第二面部图像的像素值作为输出值，在透明度低于预设值的位置使用第一面部图像的像素值作为输出值。

12.如权利要求9所述的装置，其中，该装置进一步包括：

肤色映射单元，适于在将所述第二面部画面覆盖到所述视频图像中的第一面部画面上之前，将所述视频图像中的肤色映射为第二面部画面中的肤色。

13.如权利要求12所述的装置，其中，

所述肤色映射单元，适于计算第一面部画面的第一颜色直方图，并根据第一颜色直方图计算得到第一颜色累计曲线；计算第二面部画面的第二颜色直方图，并根据第二颜色直方图计算得到第二颜色累计曲线；根据第一颜色累计曲线和第二颜色累计曲线的对应值，确定第一颜色直方图和第二颜色直方图的颜色映射关系；根据所述颜色映射关系，将所述视频图像中的肤色映射为第二面部画面中的肤色。

14.如权利要求9所述的装置，其中，该装置进一步包括：

脸型变换单元，适于在建立所述视频图像中的第一面部画面上的各点与所述面部素材图像中的第二面部画面上的相应点之间的对应关系之前，将所述视频图像中的第一面部画面的脸型变换为所述面部素材图像中的第二面部画面的脸型。

15.如权利要求14所述的装置，其中，

脸型变换单元，适于在第一面部画面标记关键点，以及在第二面部画面上同样标记相应的关键点；对第一面部画面上的关键点进行转正和缩放处理，以及对第二面部画面上的关键点进行转正和缩放处理；将第一面部画面上的关键点在水平和竖直方将拉伸为与第二面部画面上的关键点一致；对第一面部画面上的关键点进行所述转正和缩放的逆处理。

16.如权利要求15所述的装置，其中，

所述转正处理为将两眼连线旋转到与水平轴平行；

所述缩放处理为整体放大和缩小，使得第一面部画面和第二面部画面中的两眼连线距离相同。

Images