CN111836058B - 用于实时视频播放方法、装置、设备以及存储介质 - Google Patents

Abstract

公开了一种用于实时视频播放的播放方法、设备、装置以及存储介质。所述方法包括：确定参考图像的蒙版图像，其中所述参考图像中包括参考区域；接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域；生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点生成的融合区域；显示所述融合图像作为当前视频帧。

Description

用于实时视频播放方法、装置、设备以及存储介质

技术领域

本申请涉及图像处理领域，具体涉及一种用于实时视频播放方法、设备、装置以及存储介质。

背景技术

在利用应用程序进行快速的图像处理时，通常可以直接调用应用程序中预设的处理程序对图像进行处理。例如，以相机应用为例，用户可以调用相机应用中的美颜功能对拍摄的照片进行美颜。然而，当用户对应用程序预设的图像处理效果不满意的时候，希望能够实现更个性化的快速图像处理效果。

发明内容

本申请的目的是提供一种用于实时视频播放方法、设备、装置以及存储介质。利用本申请提供的方法，可以基于参考图像中参考区域的像素值对当前视频帧的原始图像中与参考区域对应的目标区域进行处理，以将参考图像中的图像效果应用到当前视频帧的原始图像的目标区域。

根据本申请的一个方面，提供了一种用于实时视频播放方法，包括：确定参考图像的蒙版图像，其中所述参考图像中包括参考区域；接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域；生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点生成的融合区域；显示所述融合图像作为当前视频帧。

在一些实施例中，确定参考图像的蒙版图像包括：对于所述参考区域中的每个像素点，当该像素点的像素值属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第一值，当该像素点的像素值不属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第二值。

在一些实施例中，确定参考图像的蒙版图像还包括：基于所述灰度值确定所述蒙版图像中的图像轮廓；以及对所述蒙版图像中的图像轮廓进行灰度渐变处理。

在一些实施例中，基于所述蒙版图像融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点包括：对于所述目标区域中的每个像素点，根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以确定所述融合区域中与该像素点对应的点的像素值。

在一些实施例中，所述参考区域中与该像素点对应的点是通过以下步骤确定的：将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及根据纹理坐标确定所述参考区域中与该像素点对应的点。

在一些实施例中，所述参考区域和所述目标区域是脸部区域。

在一些实施例中，所述参考区域是通过对所述参考图像进行人脸识别确定的，所述目标区域是通过对所述原始图像进行人脸识别确定的。

在一些实施例中，所述方法还包括确定所述目标区域和所述参考区域之间的旋转角度；以及其中所述参考区域中与该像素点对应的点是通过以下步骤确定的：将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及根据所述纹理坐标以及所述旋转角度确定所述参考区域中与该像素点对应的点。

根据本申请的另一方面，还提供了一种用于实时视频播放的装置，包括：蒙版图像确定单元，配置成确定参考图像的蒙版图像，其中所述参考图像中包括参考区域；接收单元，配置成接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域；融合图像生成单元，配置成生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中的与该像素点对应的点生成的融合区域；以及显示单元，配置成显示所述融合图像作为当前视频帧。

在一些实施例中，所述蒙版确定单元还配置成对于所述参考区域中的每个像素点，当该像素点的像素值属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第一值，当该像素点的像素值不属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第二值。

在一些实施例中，所述蒙版确定单元还配置成：基于所述灰度值确定所述蒙版图像中的图像轮廓；以及对所述蒙版图像中的图像轮廓进行灰度渐变处理。

在一些实施例中，所述融合图像生成单元还配置成：对于所述目标区域中的每个像素点，根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以生成所述融合区域中与该像素点对应的点的像素值。

在一些实施例中，所述参考区域中与该像素点对应的点是通过以下步骤确定的：将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及根据纹理坐标确定所述参考区域中与该像素点对应的点。

在一些实施例中，所述参考区域和所述目标区域是脸部区域。

在一些实施例中，所述参考区域是通过对所述参考图像进行人脸识别确定的，所述目标区域是通过对所述原始图像进行人脸识别确定的。

在一些实施例中，所述融合图像生成单元还配置成确定所述目标区域和所述参考区域之间的旋转角度；以及其中所述参考区域中与该像素点对应的点是通过以下步骤确定的：将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及根据所述纹理坐标以及所述旋转角度确定所述参考区域中与该像素点对应的点。

根据本申请的又一方面，还提供了一种用于实时视频播放的设备，所述设备包括存储器和处理器，其中所述存储器中存有指令，当利用所述处理器执行所述指令时，使得所述处理器执行如前所述的用于实时视频播放的方法。

根据本申请的又一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如前所述的用于实时视频播放的方法。

利用本申请提供的用于实时视频播放的方法、设备、装置以及存储介质，在使用应用程序进行图像处理时，能够通过融合当前视频帧中的目标区域中的像素点与所述参考区域中与该像素点对应的点生成融合图像，并显示生成的融合图像作为当前视频帧，从而将参考图像的图像处理效果应用到当前的实时视频中。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1示出了根据本申请的图像处理系统的示例性的场景图；

图2示出了根据本申请的实施例的图像生成方法的示意性的流程图；

图3示出了经过灰度渐变处理得到的蒙版图像的一个示例；

图4A示出了根据本申请的实施例的一种在参考图像中确定参考区域的方法；

图4B示出了人脸识别得到的人脸特征点的示例；

图5示出了根据本申请的实施例的蒙版图像生成方法的示意性的流程图；

图6示出了根据本申请的实施例的皮肤融合的过程的示意图；

图7A-图7D示出了根据本申请的实施例的图像处理方法的应用的示例性的图形用户界面；

图8示出了根据本申请实施例的图像处理装置的示意性的框图；以及

图9示出了根据本申请的实施例的计算设备的架构。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本申请使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性连接或信号连接，不管是直接的还是间接的。

许多应用程序能够帮助用户进行快速地图像处理，例如对于照片的美颜功能。然而，应用程序能够执行的快速图像处理收到其内置的图像处理程序的限制。一般情况下，只能提供有限种类的快速图像处理的效果，而很难向用户提供更为个性化的选择。在一些情况下，当用户使用具有直播功能的应用程序时，可以调用应用程序自带的美颜功能。然而，由于利用应用程序内置的美颜效果较为单一，用户可能对最终的效果不够满意。因此，希望在实时视频播放的过程中提供一种更个性化的快速图像处理的方法。

图1示出了根据本申请的图像处理系统的示例性的场景图。如图1所示，该图像处理系统100可以包括用户终端110、一个或多个网络120、一个或多个服务器130以及一个或多个数据库140。

在一些实施例中，用户终端110可以包括但不限于电脑110-1、手机 120-1等。可以理解的是，用户终端可以是任何其他类型的电子设备，包括但不限于笔记本、平板电脑、智能家居设备、可穿戴设备等。根据本申请提供的用户终端可以用于接收参考图像和原始图像，并利用本申请提供的用于实时视频播放的方法对参考图像和原始图像进行融合。在一些实施例中，用户终端可以接收参考图像和原始图像。例如，可以通过用户终端上设置的图像采集设备(例如照相机)采集图像作为原始图像和/或参考图像。又例如，也可以读取用户终端的存储单元中存储的图像作为原始图像和/或参考图像。再例如，也可以经由网络从数据库中读取存储的图像作为原始图像和 /或参考图像。

在一些实施例中，可以利用用户终端的处理单元对接收的图像进行处理。例如，用户终端可以利用内置的存储器中存储的算法和数据执行本申请提供的用于融合图像的图像处理算法。在一些实现方式中，用户终端可以利用内置的应用程序执行图像融合。在另一些实现方式中，用户终端可以通过调用外部数据库中存储的应用程序执行图像融合。

在另一些实施例中，用户终端可以用于接收参考图像和/或原始图像，并将接收的参考图像和/或原始图像经由网络120发送至服务器130，并由服务器130执行图像融合。在一些实现方式中，服务器130可以利用内置的应用程序执行图像融合。在另一些实现方式中，服务器130可以通过调用外部数据库中存储的应用程序执行图像融合。

网络120可以是单个网络，或多个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。

服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心。服务器130可以是本地的，或远程的。

数据库140可以泛指具有存储功能的设备。数据库140主要用于存储从用户终端接收的数据和服务器130工作中所利用、产生和输出的各种数据。数据库140可以是本地的，或远程的。数据库140可以是各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。

数据库140可以与网络120相互连接或通信，或直接与服务器130或其一部分相互连接或通信，或是两种方式的结合。

下文中将详细阐述本申请提供的图像处理方法的流程。利用本申请提供的实施例，能够利用参考图像的蒙版图像对参考图像和原始图像进行图像融合，从而能够将参考图像中参考区域的图像效果应用到原始图像中与参考区域对应的目标区域中。

图2示出了根据本申请的实施例的用于实时视频播放的方法的示意性的流程图。

如图2所示，在步骤S202中，可以确定参考图像的蒙版图像，其中所述参考图像中包括参考区域。所述参考区域对应于用户希望进行图像处理的区域。例如，当用户希望执行美颜的图像处理时，需要对图像中的脸部区域进行处理，参考区域可以是脸部区域。其中，参考图像的脸部区域的图像效果是用户希望实现的图像处理效果。可以预先指定一张图像作为参考图像，并可以通过人脸识别的算法确定参考图像中的脸部区域作为参考区域。这里的参考图像可以是用户本人的照片，也可以是非用户本人的照片。

可以理解的是，当用户希望进行其他类型的图像处理时，参考区域也可以包括其他类型的图像内容。例如，如果用户希望对图像中的特定物体进行重新着色类型的图像处理，那么可以指定参考图像中的任何物体所在的区域作为参考区域。可以通过图像识别算法确定参考图像中的参考区域，也可以通过接收表示参考区域的轮廓的输入数据。例如，可以接收表示参考区域边缘的坐标以输入参考区域的轮廓的输入数据。

参考图像的蒙版图像可以用于指示参考图像中参考区域的信息，例如参考区域中具有特定颜色的区域的轮廓信息。在一些实施例中，蒙版图像的尺寸可以与参考图像是相同的。

可以通过以下步骤确定参考图像的蒙版图像：对于所述参考区域中的每个像素点，当该像素点的像素值属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第一值，当该像素点的像素值不属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第二值。在一些实施例中，可以将第一值设置为0，第二值设置为 1。可以理解的是，第一值和第二值也可以被确定为其他任何数值。本领域技术人员可以根据实际情况确定第一值和第二值的取值。

在一些实施例中，当参考区域是脸部区域时，可以通过判断像素点的像素值是否属于预定义的像素值范围确定脸部区域中包括的皮肤区域。例如，对于所述目标区域中的每个像素点，当像素点的像素值属于预定义的皮肤颜色的像素值范围以内时，可以将蒙版图像中对应于该像素点的像素点的灰度值设置为0。当像素点的像素值属于皮肤颜色的像素值范围以外时，可以将蒙版图像中对应于该像素点的像素点的灰度值设置为1。在一些实施例中，皮肤的像素值范围可以是R∈[200,254],G∈[123,234],B∈[100,230]。

通过上述方法，可以确定用于参考图像的蒙版图像，其可以指示参考图像中参考区域中预设的特定颜色的区域的轮廓。该蒙版图像的灰度值可以作为下面将要描述的图像融合步骤中所使用的参数。例如，在融合参考区域和目标区域的像素值时可以将蒙版图像的灰度值作为图像融合时的权重参数。

在一些实施例中，用于确定参考图像的蒙版图像的步骤还可以包括基于所述灰度值确定所述蒙版图像中的图像轮廓。然后，可以对所述蒙版图像中的图像轮廓进行灰度渐变处理。可以理解的是，基于上述方法识别参考区域内具有特定颜色的部分得到的结果将具有一个清晰的边缘。通过对蒙版图像中的图像轮廓进行灰度渐变处理，能够使后续的图像融合的效果更自然。

图3示出了经过灰度渐变处理得到的蒙版图像的一个示例。以脸部的皮肤美颜效果为例，可以将参考图像中图像效果的应用到原始图像脸部区域。在原始图像是来自于视频的视频帧的情况下，考虑到例如口部、眼部在视频过程中可能会有比较大的形状上的变化，因此，可以将口部、眼部的边缘进行灰度处理，以使得当口部、眼部的形状发生变化时，仍然能够获得比较自然的图像融合效果。此外，对于脸部区域来说，额头部分的像素值受到发型、帽子、光线效果等的影响较大，因此，如图3所示，也可以对额头部分的轮廓进行灰度渐变处理，使得图像的融合效果更自然。可以理解的是，本领域技术人员可以根据实际情况确定灰度渐变处理的范围，以满足不同场景的使用要求。

在步骤S204中，可以接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域。在一些实施例中，目标区域中的图像内容可以与参考区域中的图像内容相同。例如，以美颜效果为例，目标区域和参考区域可以都是脸部区域。可以通过人脸识别的方式在目标图像中确定目标区域，以及在参考图像中确定参考区域。人脸识别的结果可以呈现为脸部的几十到上百个人脸特征点坐标的形式。在一些实现方式中，目标区域和参考区域可以是完全相同的。在另一些实现方式中，目标区域和参考区域可以是不同的。例如，以人脸为例，目标图像和参考图像可以是同一个人在不同时刻拍摄的两张照片。在这种情况下，可以理解，两张照片中的同一张人脸的大小、角度等特征均存在区别。在这种情况下，可以认为目标图像和参考图像中的内容是相似的。在又一些实现方式中，目标图像和参考图像中可以是不同的人脸。在这种情况下，由于不同人的脸型、五官差别较大，可以通过调整蒙版图像的灰度渐变处理参数，使得蒙版图像中灰度渐变的范围较大，使得即使对于非同一个人的两个脸部区域也能获得比较自然的融合效果。

在步骤S206中，可以生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点生成的融合区域。

在一些实施例中，对于所述目标区域中的每个像素点，根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以确定所述融合区域中与该像素点对应的点的像素值。

在一些实施例中，可以通过将所述参考区域中的参考特征点的像素坐标、蒙版图像中与参考特征点对应的像素点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标来确定所述参考区域中与该像素点对应的点。例如，可以将人脸识别得到的人脸特征点的像素坐标转化为纹理坐标。

在纹理坐标系中，图像中像素点的坐标值在-1到1之间。图像边缘四个顶点的坐标，从左上角顺时针可以依次是，(-1,1)、(1,1)、(1,-1)、(-1,-1)。因此，通过将参考区域中的人脸特征点的像素坐标和目标区域中的人脸特征点的像素坐标都转化为纹理坐标，能够实现对目标区域和参考区域的尺寸进行归一化的效果。因此，即使目标区域和参考区域的尺寸相差较大，也能够确定目标区域和参考区域中对应的像素点。然后，可以根据纹理坐标确定所述参考区域中与该像素点对应的点。例如，对于目标区域中的一个像素点，可以根据该像素点的纹理坐标确定在参考区域中具有相同纹理坐标的对应点。

在一种实现方式中，可以将蒙版图像的灰度值作为加权平均的权重系数。例如，对于目标区域中的每个像素点，可以通过下式确定所述融合区域中与该像素点对应的点的像素值：

resultColor＝refColor.rgb*(1.0-xAlpha)+srcColor.rgb*xAlpha

其中，resultColor表示融合区域中与该像素点对应的点的像素值，refColor.rgb表示参考区域中与该像素点对应的点的像素值，srcColor.rgb表示目标区域中与该像素点对应的点的像素值，xAlpha表示蒙版图像中与该像素点对应的点的灰度值。利用上述方法，灰度值为1的蒙版图像中的像素点对应的融合区域的像素点取的是原始图像的像素值。灰度值为0的蒙版图像中的像素点对应的融合区域的像素点取的是参考图像的像素值。灰度值在0 和1之间的蒙版图像中的像素点对应的融合区域的像素点取的是参考图像和原始图像的像素值的加权平均值。

在一些实施例中，步骤S206还可以包括确定所述目标区域和所述参考区域之间的旋转角度。例如，可以利用如前所述的人脸识别的步骤确定被采集的图像(例如当前的视频帧)中人脸与正脸方向之间的偏转角度。其中正脸方向指的是用户面对图像采集设备，并且其脸部对称的特征点(如两眼之间)的连接线均平行于图像平面，并且头部的垂直轴方向也平行于图像平面的姿态。例如，人脸与正脸方向之间的偏转角度可以指的是当被拍摄的用户从正脸方向旋转成侧脸方向的角度。可以通过人脸识别算法确定图像中人脸相对于正脸方向的旋转角度。

在这种情况下，可以通过以下步骤确定目标区域中的像素点与参考区域中的该像素点的对应点：将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及根据所述纹理坐标以及所述旋转角度确定所述参考区域中与该像素点对应的点。

例如，假设人脸相对于正脸方向的偏转的角度特征参数是(x,y,z)，其中x、y、z表示人脸在三维坐标系中相对于正脸方向的偏转角度。例如，x 人脸在正脸平面内的旋转角，y表示人脸前后方向的俯仰角，以及z表示绕竖直轴从正脸转为侧脸方向时的旋转角。通过以下变换矩阵可以将参考区域中的人脸区域映射为旋转后的侧脸区域：

其中m₀₀＝cos(y)cos(z)+sin(x)sin(y)sin(z)、m₁₀＝cos(z)sin(x)sin(y)- cos(y)sin(z)、m₂₀＝cos(x)sin(y)、m₀₁＝cos(x)sin(z)、m₁₁＝cos(x)cos(z)、m₁₂＝ -sin(x)、m₀₂＝cos(y)sin(x)sin(z)-cos(z)sin(y)、m₁₂＝cos(y)cos(z)sin(x)+ sin(z)sin(y)、m₂₂＝cos(x)cos(y)。

例如，当人脸识别的结果是旋转角为θ的侧脸，可以认为x、y＝0，以及z＝θ。因此，对于参考区域中的任意一点，通过将x＝0、y＝0以及z＝θ代入上述旋转矩阵M，并将上述旋转矩阵应用于参考区域，可以得到将参考区域在相同方向旋转θ角度得到的侧面参考图像中的对应像素点。因此，当人脸识别的结果确定的脸部区域与参考区域指示的脸部区域之间存在旋转时，可以利用上述旋转矩阵M将参考区域的脸部区域的纹理坐标映射为相应的旋转后的参考脸部区域的纹理坐标，以及将用于参考区域的蒙版图像的纹理坐标映射为旋转后的对应蒙版图像的纹理坐标。由此，可以确定旋转后的参考区域、旋转后的蒙版图像与目标区域中像素点的对应点。在步骤S208 中，可以显示所述融合图像作为当前视频帧。利用步骤S202至步骤S206，本申请提供的方法能够实现对当前视频帧的原始图像和参考图像进行融合，从而生成经过处理的融合图像。通过显示所述融合图像作为当前视频帧，能够实现在实时视频播放中对视频帧进行的实时图像处理。

在视频实时播放的过程中，通过对每个视频帧执行上述处理，能够实现在实时的视频播放中进行快速图像处理的效果。

利用本申请提供的用于实时视频播放的方法，可以在实时视频播放的过程中将参考图像中参考区域的像素值与当前视频帧的原始图像中原始区域的像素值进行融合，从而实现将参考区域中的图像效果应用到原始图像中的原始区域的效果。利用本申请的技术方案，以美颜效果为例，用户可以选择自己喜欢的美颜效果的照片作为参考图像。当用户进行自拍或直播时，计算设备可以根据参考图像中脸部区域的美颜效果对当前拍摄的视频帧的原始图像进行实时的美颜处理，使得处理后的自拍或直播图像能够具有参考图像中的美颜效果。由此，可以实现快速地、用户个性化的图像处理效果。

此外，用户可以上传多个参考图像，从而使得能够在多个不同的图像效果之间进行快速切换。当在直播平台上使用本申请提供的技术时，用户能够自主选择直播时使用的美颜处理的最终效果，并将直播时播放的每一帧画面中的人脸根据参考图像的效果进行美颜，避免用户对美颜效果不适应或不满意。此外，用户可以选择不同风格的参考图像，可以实现不同的美颜效果，避免观众审美疲劳。

图4A示出了根据本申请的实施例的一种在参考图像中确定参考区域的方法。

在步骤S402中，用户终端可以接收一张输入图像作为参考图像。以参考区域为脸部区域为例，可以通过人脸识别的方式确定人脸特征点的位置。

在步骤S404中，可以对输入的参考图像进行压缩以减小参考图像的尺寸，从而提高对参考图像的处理速度。在一些实施例中，可以对参考图像进行等比例的压缩。例如，可以将用户输入的参考图像压缩到180×180的尺寸。

在步骤S406中，可以对压缩后的参考图像进行人脸识别。例如，可以对压缩后的参考图像进行人脸检测和五官追踪。可以使用任何能够检测人脸特征点的算法执行人脸识别。在此本申请不限制人脸识别算法的具体形式。

在步骤S408中，可以执行参考图像中是否存在人脸的判断。如果参考图像中不存在人脸，那么方法返回步骤S402，用户终端可以接收新的输入图像作为参考图像。

如果参考图像中存在人脸，步骤S406可以输出压缩后的参考图像中的人脸特征点的参数。图4B示出了人脸识别得到的人脸特征点的示例。如图 4B所示，根据人脸特征点的位置能够确定脸部的五官，如口、眼、鼻处的像素点的位置。图4B中示出了利用人脸识别算法确定的66个特征点。本领域技术人员可以理解，根据实际需要可以设置更多或更少个特征点，只要确定的特征点能够确定脸部以及五官的位置、形状等特征即可。因此，根据步骤S406输出的结果可以确定压缩后的参考图像中的人脸特征点的位置。

在步骤S410中，可以根据步骤S404中的压缩参数确定参考图像中的人脸特征点的位置。例如，可以根据步骤S404中使用的压缩比例以及步骤 S406输出的结果确定原尺寸的参考图像中人脸特征点的位置。

在步骤S412中，可以保存步骤S410输出的结果。例如，可以将步骤 S410输出的参考图像中人脸特征点的位置保存在用户终端的存储单元中。又例如，也可以将步骤S410输出的参考图像中人脸特征点的位置保存在其他位置的存储单元中。在之后的图像融合处理中，可以调用保存的参考图像中的人脸特征点的位置参数，从而确定参考图像中的参考区域。

图5示出了根据本申请的实施例的蒙版图像生成方法的示意性的流程图。

如图5所示，在步骤S502中，可以确定参考图像。例如，可以输入包括人脸的图像作为参考图像。

在步骤S504中，可以对参考图像进行人脸检测。例如，可以利用步骤 S404至S408的方法对参考图像进行人脸识别，从而确定参考图像中人脸特征点的位置参数。

在步骤S506中，可以根据步骤S504输出的人脸特征点的位置参数确定人脸区域。例如，可以对人脸特征点进行曲线拟合，以确定人脸区域的轮廓。

在步骤S508中，可以依次提取参考图像中的像素点，以判断该像素点是否属于皮肤区域。例如，可以根据预定的顺序对参考图像中的每个像素点执行判断。

在步骤S510中，判断该像素点是否属于通过人脸特征点的位置确定的人脸区域内。如果判断结果是该像素点不属于参考图像中的人脸区域内，则方法前进到步骤S514，将蒙版图像中对应于该像素点的像素点的灰度值确定为第二值，例如1。

如果判断结果是该像素点属于参考图像中的人脸区域，则方法前进到步骤S512。在步骤S512中，可以判断该像素点是否属于皮肤区域。例如，可以根据像素点的RGB取值范围判断该像素点是否是皮肤像素点。

当该像素点的RGB取值范围不属于预定义的皮肤像素的RGB取值范围时，可以认为该像素点不是皮肤像素点。方法前进到步骤S514，将蒙版图像中对应于该像素点的像素点的灰度值确定为第二值，例如1。

当该像素点的RGB取值范围属于预定义的皮肤像素的RGB取值范围时，可以认为该像素点是皮肤像素点。方法前进到步骤S516，将蒙版图像中对应于该像素点的像素点的灰度值确定为第一值，例如0。

在步骤S518中，可以判断是否参考图像中的所有像素点都已经被提取，如果还存在未被提取的像素点，那么方法返回到步骤S508，提取下一个要处理的像素点并重复步骤S510-S516。

在步骤S520中，可以对蒙版图像中的灰度图像的轮廓进行灰度渐变处理，使得蒙版图像中的脸部区域的边缘变得模糊，从而在之后利用蒙版图像的灰度值融合参考图像和原始图像的像素时，能够使得边缘变得更自然。

图6示出了根据本申请的实施例的皮肤融合的过程的示意图。

如图6所示，基于图4A和图5中示出的方法可以确定灰度的蒙版图像和参考图像中的脸部区域。当要执行图像处理时，用户终端可以接收输入的原始图像。例如，可以利用用户终端的图像采集设备采集用户的自拍图像或视频，并将自拍图像或视频帧作为输入的图像处理方法的原始图像。

然后，可以将参考图像、蒙版图像以及原始视频图像的人脸特征点坐标都转化为纹理坐标，使得参考图像、蒙版图像以及原始视频图像中人脸区域的大小能够被归一化。例如，对于目标区域中的一个像素点，可以根据该像素点的纹理坐标确定在参考区域和蒙版图像中具有相同纹理坐标的对应点。

然后，可以根据蒙版图像中的像素灰度值进行图像处理。如前所述，可以根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以确定所述融合区域中与该像素点对应的点的像素值。对于灰度值为1 的蒙版图像中的像素点，其对应的融合区域的像素点的取值是原始图像的像素值。对于灰度值为0的蒙版图像中的像素点，其对应的融合区域的像素点取值是参考图像的像素值。对于灰度值在0和1之间的蒙版图像中的像素点，其对应的融合区域的像素点取值是参考图像和原始图像的像素值的加权平均值。

图7A示出了根据本申请的实施例的图像处理方法的应用的示例性的图形用户界面。

如图7A所示，在图形用户界面200中包括用于接收输入图像的图像框 210。用户终端可以通过图像采集设备(例如照相机)采集图像输入图像。其中，图像框210可以用于向用户展示其拍摄或选择的图像(图7A中未示出)。

图形用户界面200还可以包括按钮220。用户可以通过选择按钮220执行图像的输入。例如，用户可以通过点击按钮220调用用户终端中的相机程序，并利用用户终端中设置的图像采集设备采集图像。又例如，用户可以通过点击按钮220访问用户终端的存储单元或经由网络访问其他数据库并读取要输入的图像。

尽管图7A中以按钮为例解释了用户输入图像的过程，然而，本领域技术人员可以理解，用户也可以通过其他方式输入图像。例如，可以将按钮 220替换为语音识别功能，用户可以通过输入语音信息调用相机程序或读取存储的图像。

图7B示出了根据本申请的实施例的图像处理方法的应用的另一示例性的图形用户界面。如图7B所示，用户可以输入一张自己满意的图片作为图像处理的参考图像。以美颜为例，用户可以上传自己满意的自拍照作为参考图像。

图7C示出了根据本申请的实施例的图像处理方法的应用的又一示例性的图形用户界面。如图7C所示，用户可以输入原始图像。这里的原始图像可以是利用用户终端的图像采集设备采集的图像。可以理解的是，这里的原始图像可以是视频帧。如图7C所示，原始图像中包括与参考图像中对应的人脸，其位置和尺寸可以和参考图像中的位置和尺寸不同。

图7D是根据本申请的实施例的图像处理方法的应用的又一示例性的图形用户界面。如图7D所示，原始图像中的人脸区域被应用了参考图像中人脸区域的图像效果。如图7D所示，处理后得到的融合图像中，用户的脸部区域被处理成与参考图像相同的效果，例如，肤色变白、脸上的黑痣被消除等。

在一些实施例中，图形用户界面可以向用户提供能够选择不同的参考图像的窗口，从而使得用户能够通过选择不同的参考图像实现对图像处理的效果进行切换。

利用图7A-图7D中示出的方法，可以对实时播放的视频中的每一帧执行图像处理，以使得实时播放的视频能够融合参考图像的图像处理效果。

图8示出了根据本申请实施例的用于实时视频播放的图像处理装置的示意性的框图。如图8所示，图像处理装置800可以包括蒙版图像确定单元 810、接收单元820、融合图像生成单元830以及显示单元840。

蒙版图像确定单元810可以配置成确定参考图像的蒙版图像，其中所述参考图像中包括参考区域。所述参考区域对应于用户希望进行图像处理的区域。例如，当用户希望执行美颜的图像处理时，需要对图像中的脸部区域进行处理，参考区域可以是脸部区域。其中，参考图像的脸部区域的图像效果是用户希望实现的图像处理效果。

参考图像的蒙版图像可以用于指示参考图像中参考区域的信息，例如参考区域中具有特定颜色的区域的轮廓信息。在一些实施例中，蒙版图像的尺寸可以与参考图像是相同的。

蒙版图像确定单元810可以配置成可以通过以下步骤确定参考图像的蒙版图像：对于所述参考区域中的每个像素点，当该像素点的像素值属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第一值，当该像素点的像素值不属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第二值。在一些实施例中，可以将第一值设置为0，第二值设置为1。可以理解的是，第一值和第二值也可以被确定为其他任何数值。

在一些实施例中，当参考区域是脸部区域时，蒙版图像确定单元810可以配置成通过判断像素点的像素值是否属于预定义的像素值范围确定脸部区域中包括的皮肤区域。例如，对于所述目标区域中的每个像素点，当像素点的像素值属于预定义的皮肤颜色的像素值范围以内时，可以将蒙版图像中对应于该像素点的像素点的灰度值设置为0。当像素点的像素值属于皮肤颜色的像素值范围以外时，可以将蒙版图像中对应于该像素点的像素点的灰度值设置为1。在一些实施例中，皮肤的像素值范围可以是R∈[200,254],G∈ [123,234],B∈[100,230]。

通过上述方法，可以确定用于参考图像的蒙版图像，其可以指示参考图像中参考区域中预设的特定颜色的区域的轮廓。该蒙版图像的灰度值可以作为下面将要描述的图像融合步骤中所使用的参数。例如，在融合参考区域和目标区域的像素值时可以将蒙版图像的灰度值作为图像融合时的权重参数。

在一些实施例中，用于确定参考图像的蒙版图像的步骤还可以包括基于所述灰度值确定所述蒙版图像中的图像轮廓。然后，可以对所述蒙版图像中的图像轮廓进行灰度渐变处理。可以理解的是，基于上述方法识别参考区域内具有特定颜色的部分得到的结果将具有一个清晰的边缘。通过对蒙版图像中的图像轮廓进行灰度渐变处理，能够使后续的图像融合的效果更自然。

接收单元820可以配置成接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域。例如，原始图像可以是利用用户终端接收的用户自拍的视频中的图像帧。在一些实施例中，目标区域中的图像内容可以与参考区域中的图像内容相同。例如，以美颜效果为例，目标区域和参考区域可以都是脸部区域。可以通过人脸识别的方式在目标图像中确定目标区域，以及在参考图像中确定参考区域。人脸识别的结果可以呈现为脸部的几十到上百个人脸特征点坐标的形式。

在一些实现方式中，目标区域和参考区域可以是完全相同的。在另一些实现方式中，目标区域和参考区域可以是不同的。例如，以人脸为例，目标图像和参考图像可以是同一个人在不同时刻拍摄的两张照片。在这种情况下，可以理解，两张照片中的同一张人脸的大小、角度等特征均存在区别。在这种情况下，可以认为目标图像和参考图像中的内容是相似的。在又一些实现方式中，目标图像和参考图像中可以是不同的人脸。在这种情况下，由于不同人的脸型、五官差别较大，可以通过调整蒙版图像的灰度渐变处理参数，使得蒙版图像中灰度渐变的范围较大，使得即使对于非同一个人的两个脸部区域也能获得比较自然的融合效果。

融合图像生成单元830可以配置成生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点生成的融合区域。

在一些实施例中，对于所述目标区域中的每个像素点，可以根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以确定所述融合区域中与该像素点对应的点的像素值。

在一些实施例中，融合图像生成单元830可以配置成通过将所述参考区域中的参考特征点的像素坐标、蒙版图像中与参考特征点对应的像素点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标来确定所述参考区域中与该像素点对应的点。例如，可以将人脸识别得到的人脸特征点的像素坐标转化为纹理坐标。通过将参考区域中的人脸特征点的像素坐标和目标区域中的人脸特征点的像素坐标都转化为纹理坐标，能够实现对目标区域和参考区域的尺寸进行归一化的效果。因此，即使目标区域和参考区域的尺寸相差较大，也能够确定目标区域和参考区域中对应的像素点。例如，对于目标区域中的一个像素点，可以根据该像素点的纹理坐标确定在参考区域中具有相同纹理坐标的对应点。

在一种实现方式中，融合图像生成单元830可以配置成将蒙版图像的灰度值作为加权平均的权重系数。例如，对于目标区域中的每个像素点，可以通过下式确定所述融合区域中与该像素点对应的点的像素值：

resultColor＝refColor.rgb*(1.0-xAlpha)+srcColor.rgb*xAlpha

其中，resultColor表示融合区域中与该像素点对应的点的像素值，refColor.rgb表示参考区域中与该像素点对应的点的像素值，srcColor.rgb表示目标区域中与该像素点对应的点的像素值，xAlpha表示蒙版图像中与该像素点对应的点的灰度值。利用上述方法，灰度值为1的蒙版图像中的像素点对应的融合区域的像素点取的是原始图像的像素值。灰度值为0的蒙版图像中的像素点对应的融合区域的像素点取的是参考图像的像素值。灰度值在0 和1之间的蒙版图像中的像素点对应的融合区域的像素点取的是参考图像和原始图像的像素值的加权平均值。

在一些实施例中，融合图像生成单元830还可以配置成确定所述目标区域和所述参考区域之间的旋转角度。例如，可以利用如前所述的人脸识别的步骤确定被采集的图像(例如当前的视频帧)中人脸与正脸方向之间的偏转角度。其中正脸方向指的是用户面对图像采集设备，并且其脸部对称的特征点(如两眼之间)的连接线均平行于图像平面，并且头部的垂直轴方向也平行于图像平面的姿态。例如，人脸与正脸方向之间的偏转角度可以指的是当被拍摄的用户从正脸方向旋转成侧脸方向的角度。可以通过人脸识别算法确定图像中人脸相对于正脸方向的旋转角度。

在这种情况下，可以通过以下步骤确定目标区域中的像素点与参考区域中的该像素点的对应点：将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及根据所述纹理坐标以及所述旋转角度确定所述参考区域中与该像素点对应的点。

例如，假设人脸相对于正脸方向的偏转的角度特征参数是(x,y,z)，其中x、y、z表示人脸在三维坐标系中相对于正脸方向的偏转角度。例如，x 人脸在正脸平面内的旋转角，y表示人脸前后方向的俯仰角，以及z表示绕竖直轴从正脸转为侧脸方向时的旋转角。通过以下变换矩阵可以将参考区域中的人脸区域映射为旋转后的侧脸区域：

其中m₀₀＝cos(y)cos(z)+sin(x)sin(y)sin(z)、m₁₀＝cos(z)sin(x)sin(y)- cos(y)sin(z)、m₂₀＝cos(x)sin(y)、m₀₁＝cos(x)sin(z)、m₁₁＝cos(x)cos(z)、m₁₂＝ -sin(x)、m₀₂＝cos(y)sin(x)sin(z)-cos(z)sin(y)、m₁₂＝cos(y)cos(z)sin(x)+ sin(z)sin(y)、m₂₂＝cos(x)cos(y)。

例如，当人脸识别的结果是旋转角为θ的侧脸，可以认为x、y＝0，以及z＝θ。因此，对于参考区域中的任意一点，通过将x＝0、y＝0以及z＝θ代入上述旋转矩阵M，并将上述旋转矩阵应用于参考区域，可以得到将参考区域在相同方向旋转θ角度得到的侧面参考图像中的对应像素点。因此，当人脸识别的结果确定的脸部区域与参考区域指示的脸部区域之间存在旋转时，可以利用上述旋转矩阵M将参考区域的脸部区域的纹理坐标映射为相应的旋转后的参考脸部区域的纹理坐标，以及将用于参考区域的蒙版图像的纹理坐标映射为旋转后的对应蒙版图像的纹理坐标。由此，可以确定旋转后的参考区域、旋转后的蒙版图像与目标区域中像素点的对应点。

显示单元840可以配置成用于显示所述融合图像作为当前视频帧。利用蒙版图像确定单元810、接收单元820以及融合图像生成单元830，本申请提供的装置能够实现对当前视频帧的原始图像和参考图像进行融合，从而生成经过处理的融合图像。通过显示所述融合图像作为当前视频帧，能够实现在实时视频播放中对视频帧进行的实时图像处理。

在视频实时播放的过程中，通过对每个视频帧执行上述处理，能够实现在实时的视频播放中进行快速图像处理的效果。

利用本申请提供的用于实时视频播放的装置，可以在实时视频播放的过程中将参考图像中参考区域的像素值与当前视频帧的原始图像中原始区域的像素值进行融合，从而实现将参考区域中的图像效果应用到原始图像中的原始区域的效果。利用本申请的技术方案，以美颜效果为例，用户可以选择自己喜欢的美颜效果的照片作为参考图像。当用户进行自拍或直播时，计算设备可以根据参考图像中脸部区域的美颜效果对当前拍摄的视频帧的原始图像进行实时的美颜处理，使得处理后的自拍或直播图像能够具有参考图像中的美颜效果。由此，可以实现快速地、用户个性化的图像处理效果。

此外，用户可以上传多个参考图像，从而使得能够在多个不同的图像效果之间进行快速切换。当在直播平台上使用本申请提供的技术时，用户能够自主选择直播时使用的美颜处理的最终效果，并将直播时播放的每一帧画面中的人脸根据参考图像的效果进行美颜，避免因为美颜效果不适应或不满意。此外，用户可以选择不同风格的参考图像，可以实现不同的美颜效果，避免观众审美疲劳。

此外，根据本申请实施例的方法或装置也可以借助于图9所示的计算设备的架构来实现。图9示出了该计算设备的架构。如图9所示，计算设备900可以包括总线910、一个或多个处理器920、只读存储器(ROM)930、随机存取存储器(RAM)940、连接到网络的通信端口950、输入/输出组件960、硬盘 970等。计算设备900中的存储设备，例如ROM 930或硬盘970可以存储本申请提供的用于定位电子设备的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备900还可以包括用户界面980。当然，图9 所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图9示出的计算设备中的一个或多个组件。

本申请的实施例也可以被实现为计算机可读存储介质。根据本申请实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本申请实施例的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

此外，如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

此外，虽然本申请对根据本申请的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。

此外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (11)

1.一种用于实时视频播放的方法，包括：

确定参考图像的蒙版图像，其中所述参考图像中包括参考区域；

实时接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域；

生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点生成的融合区域；

显示所述融合图像作为当前视频帧，

其中，所述确定参考图像的蒙版图像包括：

对于所述参考区域中的每个像素点，当该像素点的像素值属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第一值，当该像素点的像素值不属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第二值；

基于所述灰度值确定所述蒙版图像中的图像轮廓，所述图像轮廓用于指示参考图像中参考区域中预设的特定颜色的区域的轮廓；以及

对所述蒙版图像中的图像轮廓进行灰度渐变处理。

2.如权利要求1所述的方法，其中，基于所述蒙版图像融合所述目标区域中的像素点与所述参考区域中与该像素点对应的点包括：

对于所述目标区域中的每个像素点，根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以确定所述融合区域中与该像素点对应的点的像素值。

3.如权利要求1所述的方法，其中所述参考区域中与该像素点对应的点是通过以下步骤确定的：

将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及

根据纹理坐标确定所述参考区域中与该像素点对应的点。

4.如权利要求1-3任一项所述的方法，其中所述参考区域和所述目标区域是脸部区域。

5.如权利要求4所述的方法，其中所述参考区域是通过对所述参考图像进行人脸识别确定的，所述目标区域是通过对所述原始图像进行人脸识别确定的。

6.如权利要求1所述的方法，还包括：

确定所述目标区域和所述参考区域之间的旋转角度；以及

其中所述参考区域中与该像素点对应的点是通过以下步骤确定的：

将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及

根据所述纹理坐标以及所述旋转角度确定所述参考区域中与该像素点对应的点。

7.一种用于实时视频播放的装置，包括：

蒙版图像确定单元，配置成确定参考图像的蒙版图像，其中所述参考图像中包括参考区域；

接收单元，配置成实时接收当前视频帧的原始图像，其中所述原始图像中包括与所述参考区域对应的目标区域；

融合图像生成单元，配置成生成融合图像，其中所述融合图像包括通过基于所述蒙版图像的灰度值融合所述目标区域中的像素点与所述参考区域中的与该像素点对应的点生成的融合区域；以及

显示单元，配置成显示所述融合图像作为当前视频帧，

其中，所述确定参考图像的蒙版图像包括：

对于所述参考区域中的每个像素点，当该像素点的像素值属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第一值，当该像素点的像素值不属于预定义的像素值范围时，将所述蒙版图像中与该像素点对应的点的灰度值确定为第二值；

基于所述灰度值确定所述蒙版图像中的图像轮廓，所述图像轮廓用于指示参考图像中参考区域中预设的特定颜色的区域的轮廓；以及

对所述蒙版图像中的图像轮廓进行灰度渐变处理。

8.如权利要求7所述的装置，其中所述融合图像生成单元还配置成：

对于所述目标区域中的每个像素点，根据所述蒙版图像中与该像素点对应的点的灰度值，对所述目标区域中该像素点的像素值和所述参考区域中与该像素点对应的点的像素值进行加权平均，以生成所述融合区域中与该像素点对应的点的像素值。

9.如权利要求7所述的装置，其中所述参考区域中与该像素点对应的点是通过以下步骤确定的：

将所述参考区域中的参考特征点的像素坐标和所述目标区域中的目标特征点的像素坐标转化为纹理坐标；以及

根据纹理坐标确定所述参考区域中与该像素点对应的点。

10.一种用于实时视频播放的设备，所述设备包括存储器和处理器，其中所述存储器中存有指令，当利用所述处理器执行所述指令时，使得所述处理器执行如权利要求1-6中任一项所述的用于实时视频播放的方法。

11.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-6中任一项所述的用于实时视频播放的方法。

Images