CN108537725A - 一种视频处理方法和装置 - Google Patents

Abstract

本发明公开了一种视频处理方法、装置、电子设备和计算机可读存储介质。该方法包括：获取视频采集器采集的视频，识别所述视频中的目标对象；当预设条件被触发时，获取指定对象信息；根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。通过本技术方案，根据指定对象信息，对视频中的目标对象的全部或局部进行替换，使得视频中的目标对象全部或部分变成指定对象，满足用户越来越高的视频处理需求，增加视频处理的趣味性，增强用户的使用体验。

Description

一种视频处理方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种视频处理方法、装置、电子设备和计算机可读存储介质。

背景技术

现如今，简单的拍照或者录视频的操作已经不能满足用户的需求，在图像或者视频中添加各种特效已经成为了时下流行的图像或视频的处理方式，例如，用户在拍照后，为人脸加上三维特效模型等。但是，基于现有技术，也仅仅是为人脸加载三维特效模型，或者当图像或视频中有多个人脸时，为多个人脸加载相同或不同的三维特效模型，这样的图像或视频处理方式已经被用户所熟知，越来越无法满足用户的更高的需求，降低用户的使用体验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频处理方法、装置、电子设备和计算机可读存储介质。

根据本发明的一个方面，提供了一种视频处理方法，其中，该方法包括：

获取视频采集器采集的视频，识别所述视频中的目标对象；

当预设条件被触发时，获取指定对象信息；

根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。

可选地，所述预设条件被触发包括：

当接收到替换对象请求时；

和/或，

当检测到已加载的指定特效从第一状态变为第二状态时。

可选地，所述接收到替换对象请求包括：

提供替换控件，当检测到所述替换控件被触发；

和/或，

提供替换工具，当检测到所述替换工具已选中所述目标对象的局部或全部。

可选地，所述根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换包括：

获取识别出的所述目标对象的第一特征信息；

根据获取的所述指定对象信息，确定所述指定对象的第二特征信息；

比对所述第一特征信息和所述第二特征信息，确定识别出的所述目标对象与所述指定对象的特征差异信息；

根据所述特征差异信息，将识别出的所述目标对象进行全部或局部替换。

可选地，所述获取指定对象信息包括：

获取所述指定对象的一个或多个局部信息；

所述根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换包括：

根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行相应的局部替换。

可选地，所述根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行局部替换包括：

当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的所述目标对象进行相应的局部替换，获得第一替换目标对象；

在所述第一预设条件被触发之后，第二预设条件被触发时，根据获取的与所述第二预设条件对应的局部信息，将获得的所述第一替换目标对象进行相应的局部替换，获得第二替换目标对象；

以此类推，当根据所述指定对象的各局部信息，将识别出的所述目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的所述目标对象的替换。

可选地，所述目标对象是人脸。

可选地，该方法进一步包括：

确定与识别出的所述目标对象对应的脸型；

获取与确定的所述脸型匹配的标准脸型；

根据确定的所述标准脸型，对识别出的所述目标对象的脸型进行调整。

可选地，所述确定与识别出的所述目标对象对应的脸型包括：

将识别出的所述目标对象输入到用于确定脸型的机器学习模型中，获取所述机器学习模型输出的与识别出的所述目标对象对应的脸型。

可选地，该方法进一步包括：

确定与识别出的所述目标对象匹配的萌颜特效的贴合位置信息；

当接收到添加萌颜特效的请求时，根据所述贴合位置信息，将相应的萌颜特效添加到识别出的所述目标对象上。

可选地，所述确定与识别出的目标对象匹配的萌颜特效的贴合位置信息包括：

将识别出的所述目标对象输入到用于确定萌颜特效贴合位置信息的机器学习模型中，获取所述机器学习模型输出的与所述目标对象匹配的萌颜特效的贴合位置信息。

根据本发明的另一方面，提供了一种视频处理装置，其中，该装置包括：

识别单元，适于获取视频采集器采集的视频，识别所述视频中的目标对象；

获取单元，适于当预设条件被触发时，获取指定对象信息；

替换单元，适于根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。

可选地，所述预设条件被触发包括：

当接收到替换对象请求时；

和/或，

当检测到已加载的指定特效从第一状态变为第二状态时。

可选地，所述接收到替换对象请求包括：

提供替换控件，当检测到所述替换控件被触发；

和/或，

提供替换工具，当检测到所述替换工具已选中所述目标对象的局部或全部。

可选地，所述替换单元，适于获取识别出的所述目标对象的第一特征信息；根据获取的所述指定对象信息，确定所述指定对象的第二特征信息；比对所述第一特征信息和所述第二特征信息，确定识别出的所述目标对象与所述指定对象的特征差异信息；根据所述特征差异信息，将识别出的所述目标对象进行全部或局部替换。

可选地，

所述获取单元，适于获取所述指定对象的一个或多个局部信息；

所述替换单元，适于根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行相应的局部替换。

可选地，

所述替换单元，适于当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的所述目标对象进行相应的局部替换，获得第一替换目标对象；在所述第一预设条件被触发之后，第二预设条件被触发时，根据获取的与所述第二预设条件对应的局部信息，将获得的所述第一替换目标对象进行相应的局部替换，获得第二替换目标对象；以此类推，当根据所述指定对象的各局部信息，将识别出的所述目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的所述目标对象的替换。

可选地，所述目标对象是人脸。

可选地，该装置进一步包括：

脸型调整单元，适于确定与识别出的所述目标对象对应的脸型；获取与确定的所述脸型匹配的标准脸型；根据确定的所述标准脸型，对识别出的所述目标对象的脸型进行调整。

可选地，

所述脸型调整单元，适于将识别出的所述目标对象输入到用于确定脸型的机器学习模型中，获取所述机器学习模型输出的与识别出的所述目标对象对应的脸型。

可选地，该装置进一步包括：

贴合单元，适于确定与识别出的所述目标对象匹配的萌颜特效的贴合位置信息；当接收到添加萌颜特效的请求时，根据所述贴合位置信息，将相应的萌颜特效添加到识别出的所述目标对象上。

可选地，

所述贴合单元，适于将识别出的所述目标对象输入到用于确定萌颜特效贴合位置信息的机器学习模型中，获取所述机器学习模型输出的与所述目标对象匹配的萌颜特效的贴合位置信息。

根据本发明的又一方面，提供了一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据前述的方法。

根据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的方法。

根据本发明的技术方案，获取视频采集器采集的视频，识别所述视频中的目标对象；当预设条件被触发时，获取指定对象信息；根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。通过本技术方案，根据指定对象信息，对视频中的目标对象的全部或局部进行替换，使得视频中的目标对象全部或部分变成指定对象，满足用户越来越高的视频处理需求，增加视频处理的趣味性，增强用户的使用体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的视频处理方法的流程示意图；

图2示出了根据本发明一个实施例的视频处理装置的结构示意图；

图3示出了根据本发明一个实施例的电子设备的结构示意图；

图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的视频处理方法的流程示意图。如图1所示，该方法包括：

步骤S110，获取视频采集器采集的视频，识别视频中的目标对象。

在本实施例中，在获取到视频采集器采集的视频后，识别的人脸可以是一个或多个。识别人脸的方法可以采用现有技术中的人脸识别方法，在这里不做详细介绍。优选地，这里的目标对象是人脸，因此，为了对本发明进行更好的说明，以下的实施例中均以人脸为例进行说明。

步骤S120，当预设条件被触发时，获取指定对象信息。

在本实施例中，预设条件是指进行人脸替换的预设条件，根据需求进行设定，例如，人脸满足预设的动作等，在这里不做具体的限定。也就是说，当用户想要进行人脸替换时，可以进行预设条件的触发。当预设条件被触发时，获取指定对象信息。这里的指定对象信息是指人脸被替换后想要变成的样子对应的指定对象，例如，想要将人脸全部或部分替换成女星范冰冰的脸，则指定对象信息就是范冰冰的人脸信息。

步骤S130，根据指定对象信息，将识别出的目标对象进行全部或局部替换。

在本实施例中，可以对识别出的人脸进行全部或局部的替换，例如，想要将人脸的眼睛替换成指定对象的眼睛，即局部替换时，则根据指定对象信息中的眼睛信息，将识别出的人脸进行眼睛的替换，替换后，识别出的人脸的眼睛就会变成指定对象的眼睛。识别出的人脸替换后的视频就可以展示或者保存了。

具体的实现方式，可以是为用户提供相应的控件，例如，“全部替换”或“部分替换”，当用户选择“部分替换”时，在显示替换的部分的控件，以便用户进行选择，然后根据用户的选择进行替换。

可见，通过本实施例，根据指定对象信息，对视频中的目标对象的全部或局部进行替换，使得视频中的目标对象全部或部分变成指定对象，满足用户越来越高的视频处理需求，增加视频处理的趣味性，增强用户的使用体验。

在本发明的一个实施例中，步骤S120中的预设条件被触发包括：当接收到替换对象请求时；和/或，当检测到已加载的指定特效从第一状态变为第二状态时。

在本实施例中，替换的对象是人脸，则这里的替换对象请求可以是变脸请求，变脸请求是用户发送的，例如，通过触发控件的方式进行发送，或者，触发相应的预设动作。

还可以是通过已加载的指定特效完成预设条件的满足，即本实施例中，当检测到已加载的指定特效从第一状态变为第二状态时，确定为预设条件被触发。例如，用户在进行视频处理时，为视频中的人脸加载了头纱的特效，头纱的第一状态是遮面的，当用户的操作满足头纱从当前的遮面状态变为掀开的状态时，确定预设条件被触发，即头纱从遮面变为掀开的状态时，获取指定对象信息，对加载头纱的人脸进行替换，这样，实现的效果即是，在加载头纱时是第一人脸，当掀开头纱时是第二人脸，增加视频处理的趣味性，增强用户的使用体验。

具体地，上述的接收到替换对象请求包括：提供替换控件，当检测到替换控件被触发；和/或，提供替换工具，当检测到替换工具已选中指定对象的局部或全部。

如上述说明中的，本实施例中的替换对象请求可以通过替换控件(如变脸空间)触发的方式发送；也可以是应用替换工具(如变脸工具)，例如，用户在视频处理界面中选中替换工具毛刷，当使用替换工具毛刷，从左到右刷过视频中的人脸的眼睛时，确定人脸的眼睛被选中，则预设条件被触发，需要对人脸的眼睛进行替换，或者，使用替换工具框选，将视频中的人脸全部框选中，则确定预设条件被触发，需要对人脸的全部进行替换。

在本发明的一个实施例中，步骤S130中的根据指定对象信息，将识别出的目标对象进行全部或局部替换包括：获取识别出的目标对象的第一特征信息；根据获取的指定对象信息，确定指定对象的第二特征信息；比对第一特征信息和第二特征信息，确定识别出的目标对象与指定对象的特征差异信息；根据特征差异信息，将识别出的目标对象进行全部或局部替换。

在对识别出的人脸进行全部或局部的替换时，如果将指定对象的全部或部分拿出来直接替换人脸的全部或部分，会是的替换后的人脸缺少真实性。为了使得替换后的人脸更加自然逼真，在本实施例中，是将识别出的人脸的特征信息与指定对象的特征信息进行比对，确定差异信息，利用差异信息进行替换。例如，要完成识别出的人脸的眼睛的替换，那么就获取识别出的人脸的眼睛的各关键点特征信息，例如，眼角的特征信息，确定指定对象的眼角的特征信息，比对后，发现指定对象的眼角的比识别出的人脸的眼角大，则根据眼角大小的差值，将识别出的人脸的眼角变为指定对象的眼角的大小，以此类推，根据差异信息，对识别出的人脸进行替换。也就是说，本实施例并非是将指定对象直接替换，而是根据指定对象的特征信息，改变识别出的人脸的特征信息，使得人脸的特征信息接近指定对象的特征信息，以便将人脸替换为指定对象，使得替换后的人脸更加自然。

在本发明的一个实施例中，步骤S120中的获取指定对象信息包括：获取指定对象的一个或多个局部信息。

步骤S130中的根据指定对象信息，将识别出的目标对象进行全部或局部替换包括：根据获取的指定对象的各局部信息，依次将识别出的目标对象进行相应的局部替换。

在本实施例中，在获取指定对象信息时，并非是指定对象的整体信息，而是从指定对象信息库中，获取到指定指定对象的各个局部信息。根据各个局部信息依次对人脸进行相应的局部替换，以使得替换的过程展示给用户，即识别出的人脸一步一步变为指定对象的过程展示给用户。

例如，获得范冰冰的各个局部信息，对识别出的人脸依次进行局部替换：眼睛—>鼻子—>嘴—>脸型，并以此展示给用户，即当识别出的人脸的眼睛替换后获得人脸1(眼睛变为范冰冰，其他不变)，展示给用户，用户浏览到的是眼睛改变的过程；人脸1的鼻子替换后获得人脸2(眼睛和鼻子变为范冰冰，其他不变)，展示给用户，用户浏览到的是鼻子改变的过程；人脸2的嘴替换后获得人脸3(眼睛、鼻子和嘴变为范冰冰，其他不变)，展示给用户，用户浏览到的是嘴改变的过程；人脸3的脸型替换后获得人脸4(眼睛、鼻子、嘴以及脸型变为范冰冰)，展示给用户，用户浏览到的是脸型改变的过程。这样，识别出的人脸全部替换为范冰冰的人脸，替换的过程也被用户所浏览，进一步增加视频处理的趣味性，增强用户的使用体验。

具体地，上述的根据获取的指定对象的各局部信息，依次将识别出的目标对象进行局部替换包括：当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的目标对象进行相应的局部替换，获得第一替换目标对象；在第一预设条件被触发之后，第二预设条件被触发时，根据获取的与第二预设条件对应的局部信息，将获得的第一替换目标对象进行相应的局部替换，获得第二替换目标对象；以此类推，当根据指定对象的各局部信息，将识别出的目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的目标对象的替换。

在本实施例中，根据指定对象信息，替换识别出的人脸的过程中，可以进行局部依次替换的过程，在该过程中可以自动完成，用户也可以依次触发不同的预设条件完成。第一预设条件、第二预设条件等可以根据需求自行设定。

例如，指定对象是范冰冰的人脸各局部信息，当用户的眼睛被遮挡后又掀开，则将识别出的人脸的眼睛替换，获得人脸1(眼睛变为范冰冰，其他不变)，展示给用户；当用户的鼻子被遮挡后又掀开，人脸1的鼻子被替换，获得人脸2(眼睛和鼻子变为范冰冰，其他不变)，展示给用户；当用户的嘴被遮挡后又掀开，人脸2的嘴被替换，获得人脸3(眼睛、鼻子和嘴变为范冰冰，其他不变)，展示给用户；当用户的整张脸被遮挡后又掀开，人脸3的脸型被替换，获得人脸4(眼睛、鼻子、嘴以及脸型变为范冰冰)，展示给用户。

在本实施例中，当根据指定对象的各局部信息，将识别出的人脸局部替换完成，确定完成对识别出的人脸的替换；用户也可以选择在替换的过程中，停止替换，在上述的例子中，当获得人脸2时，用户确定已经达到自己的需求，则可以进行停止替换的操作，以便停止继续替换。

在本发明的一个实施例中，上述的目标对象是人脸。

进一步地，图1所示的方法进一步包括：确定与识别出的目标对象对应的脸型；获取与确定的脸型匹配的标准脸型；根据确定的标准脸型，对识别出的目标对象的脸型进行调整。

在本实施例中，还可以对识别出的人脸进行脸型的调整，即根据识别出的人脸的脸型向匹配的标准脸型进行调整。例如，确定识别出的人脸的脸型是瓜子脸，但是离瓜子脸的标准脸型还是有一定的差别，则根据瓜子脸的标准脸型对识别出的人脸的脸型进行调整，以便实现识别出的人脸的微型调整。

当替换后的人脸也可能存在脸型不完美的情况，那么也可以通过该方法对替换后的人脸的脸型进行调整，进一步提高视频中人脸的处理效果。

进一步地，上述的确定与识别出的目标对象对应的脸型包括：将识别出的目标对象输入到用于确定脸型的机器学习模型中，获取机器学习模型输出的与识别出的目标对象对应的脸型。

在本实施例中，将一定数量的人脸的脸型特征数据进行深度学习，获取各人脸的特征数据，例如圆脸、方脸、瓜子脸、鹅蛋脸等，获取到用于确定脸型的机器学习模型，将识别出的人脸输入该机器学习模型后，首先识别出该人脸的特征数据，根据该特征数据确定与识别出的人脸对应的脸型并输出。

在本发明的一个实施例中，图1所示的方法进一步包括：确定与识别出的目标对象匹配的萌颜特效的贴合位置信息；当接收到添加萌颜特效的请求时，根据贴合位置信息，将相应的萌颜特效添加到识别出的目标对象上。

在实际应用中，视频处理时还会对识别出的人脸进行加载萌颜特效的处理，但是人脸并非是一致的，如人脸的大小不一样，那么加载相同的萌颜特效时，如果萌颜特效的大小是不变的，则加载到不同大小的人脸上时，加载的萌颜特效并不能完全和人脸进行贴合。

所以，在本实施例中，不同的脸型对应的特效的最佳贴合位置也不一样，为了使得加载的特效与识别出的人脸更加贴合，首先确定与识别出的人脸(包括替换后的人脸)匹配的萌颜特效的贴合位置信息，当接收到添加萌颜特效的请求时，根据贴合位置信息，将相应的萌颜特效添加到识别出的人脸上。

例如，根据识别出的人脸，获取到与该人脸匹配的贴合位置信息，如眼角、鼻尖等位置信息，根据获取到的眼角、鼻尖等位置信息调整添加的萌颜特效，使得萌颜特效的眼角、鼻尖等位置符合识别出的人脸的眼角、鼻尖等位置信息，这里的位置信息还可以包括眼角、鼻尖等位置关系。

具体地，上述的确定与识别出的目标对象匹配的萌颜特效的贴合位置信息包括：将识别出的目标对象输入到用于确定萌颜特效贴合位置信息的机器学习模型中，获取机器学习模型输出的与目标对象匹配的萌颜特效的贴合位置信息。

在本实施例中，将一定数量的人脸的特征数据进行深度学习，获取各人脸的特征数据以及萌颜特效的最佳贴合位置数据，得到用于确定萌颜特效贴合位置信息的机器学习模型，将识别出的人脸输入该机器学习模型后，首先识别出该人脸的特征数据，根据该特征数据确定与人脸匹配的萌颜特效的贴合位置信息，然后输出。

图2示出了根据本发明一个实施例的视频处理装置的结构示意图。如图2所示，该视频处理装置200包括：

识别单元210，适于获取视频采集器采集的视频，识别视频中的目标对象。

在本实施例中，在获取到视频采集器采集的视频后，识别的人脸可以是一个或多个。识别人脸的方法可以采用现有技术中的人脸识别方法，在这里不做详细介绍。优选地，这里的目标对象是人脸，因此，为了对本发明进行更好的说明，以下的实施例中均以人脸为例进行说明。

获取单元220，适于当预设条件被触发时，获取指定对象信息。

在本实施例中，预设条件是指进行人脸替换的预设条件，根据需求进行设定，例如，人脸满足预设的动作等，在这里不做具体的限定。也就是说，当用户想要进行人脸替换时，可以进行预设条件的触发。当预设条件被触发时，获取指定对象信息。这里的指定对象信息是指人脸被替换后想要变成的样子对应的指定对象，例如，想要将人脸全部或部分替换成女星范冰冰的脸，则指定对象信息就是范冰冰的人脸信息。

替换单元230，适于根据指定对象信息，将识别出的目标对象进行全部或局部替换。

在本实施例中，可以对识别出的人脸进行全部或局部的替换，例如，想要将人脸的眼睛替换成指定对象的眼睛，即局部替换时，则根据指定对象信息中的眼睛信息，将识别出的人脸进行眼睛的替换，替换后，识别出的人脸的眼睛就会变成指定对象的眼睛。识别出的人脸替换后的视频就可以展示或者保存了。

具体的实现方式，可以是为用户提供相应的控件，例如，“全部替换”或“部分替换”，当用户选择“部分替换”时，在显示替换的部分的控件，以便用户进行选择，然后根据用户的选择进行替换。

可见，通过本实施例，根据指定对象信息，对视频中的目标对象的全部或局部进行替换，使得视频中的目标对象全部或部分变成指定对象，满足用户越来越高的视频处理需求，增加视频处理的趣味性，增强用户的使用体验。

在本发明的一个实施例中，上述的预设条件被触发包括：当接收到替换对象请求时；和/或，当检测到已加载的指定特效从第一状态变为第二状态时。

在本实施例中，替换的对象是人脸，则这里的替换对象请求可以是变脸请求，变脸请求是用户发送的，例如，通过触发控件的方式进行发送，或者，触发相应的预设动作。

还可以是通过已加载的指定特效完成预设条件的满足，即本实施例中，当检测到已加载的指定特效从第一状态变为第二状态时，确定为预设条件被触发。例如，用户在进行视频处理时，为视频中的人脸加载了头纱的特效，头纱的第一状态是遮面的，当用户的操作满足头纱从当前的遮面状态变为掀开的状态时，确定预设条件被触发，即头纱从遮面变为掀开的状态时，获取指定对象信息，对加载头纱的人脸进行替换，这样，实现的效果即是，在加载头纱时是第一人脸，当掀开头纱时是第二人脸，增加视频处理的趣味性，增强用户的使用体验。

具体地，上述的接收到替换对象请求包括：提供替换控件，当检测到替换控件被触发；和/或，提供替换工具，当检测到替换工具已选中人脸的局部或全部。

如上述说明中的，本实施例中的替换对象请求可以通过替换控件(如变脸空间)触发的方式发送；也可以是应用替换工具(如变脸工具)，例如，用户在视频处理界面中选中替换工具毛刷，当使用替换工具毛刷，从左到右刷过视频中的人脸的眼睛时，确定人脸的眼睛被选中，则预设条件被触发，需要对人脸的眼睛进行替换，或者，使用替换工具框选，将视频中的人脸全部框选中，则确定预设条件被触发，需要对人脸的全部进行替换。

在本发明的一个实施例中，替换单元230，适于获取识别出的目标对象的第一特征信息；根据获取的指定对象信息，确定指定对象的第二特征信息；比对第一特征信息和第二特征信息，确定识别出的目标对象与指定对象的特征差异信息；根据特征差异信息，将识别出的目标对象进行全部或局部替换。

在对识别出的人脸进行全部或局部的替换时，如果将指定对象的全部或部分拿出来直接替换人脸的全部或部分，会是的替换后的人脸缺少真实性。为了使得替换后的人脸更加自然逼真，在本实施例中，是将识别出的人脸的特征信息与指定对象的特征信息进行比对，确定差异信息，利用差异信息进行替换。例如，要完成识别出的人脸的眼睛的替换，那么就获取识别出的人脸的眼睛的各关键点特征信息，例如，眼角的特征信息，确定指定对象的眼角的特征信息，比对后，发现指定对象的眼角的比识别出的人脸的眼角大，则根据眼角大小的差值，将识别出的人脸的眼角变为指定对象的眼角的大小，以此类推，根据差异信息，对识别出的人脸进行替换。也就是说，本实施例并非是将指定对象直接替换，而是根据指定对象的特征信息，改变识别出的人脸的特征信息，使得人脸的特征信息接近指定对象的特征信息，以便将人脸替换为指定对象，使得替换后的人脸更加自然。

在本发明的一个实施例中，获取单元220，适于获取指定对象的一个或多个局部信息。

替换单元230，适于根据获取的指定对象的各局部信息，依次将识别出的目标对象进行相应的局部替换。

在本实施例中，在获取指定对象信息时，并非是指定对象的整体信息，而是从指定对象信息库中，获取到指定指定对象的各个局部信息。根据各个局部信息依次对人脸进行相应的局部替换，以使得替换的过程展示给用户，即识别出的人脸一步一步变为指定对象的过程展示给用户。

例如，获得范冰冰的各个局部信息，对识别出的人脸依次进行局部替换：眼睛—>鼻子—>嘴—>脸型，并以此展示给用户，即当识别出的人脸的眼睛替换后获得人脸1(眼睛变为范冰冰，其他不变)，展示给用户，用户浏览到的是眼睛改变的过程；人脸1的鼻子替换后获得人脸2(眼睛和鼻子变为范冰冰，其他不变)，展示给用户，用户浏览到的是鼻子改变的过程；人脸2的嘴替换后获得人脸3(眼睛、鼻子和嘴变为范冰冰，其他不变)，展示给用户，用户浏览到的是嘴改变的过程；人脸3的脸型替换后获得人脸4(眼睛、鼻子、嘴以及脸型变为范冰冰)，展示给用户，用户浏览到的是脸型改变的过程。这样，识别出的人脸全部替换为范冰冰的人脸，替换的过程也被用户所浏览，进一步增加视频处理的趣味性，增强用户的使用体验。

具体地，替换单元230，适于当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的目标对象进行相应的局部替换，获得第一替换目标对象；在第一预设条件被触发之后，第二预设条件被触发时，根据获取的与第二预设条件对应的局部信息，将获得的第一替换目标对象进行相应的局部替换，获得第二替换目标对象；以此类推，当根据指定对象的各局部信息，将识别出的目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的目标对象的替换。

在本实施例中，根据指定对象信息，替换识别出的人脸的过程中，可以进行局部依次替换的过程，在该过程中可以自动完成，用户也可以依次触发不同的预设条件完成。第一预设条件、第二预设条件等可以根据需求自行设定。

例如，指定对象是范冰冰的人脸各局部信息，当用户的眼睛被遮挡后又掀开，则将识别出的人脸的眼睛替换，获得人脸1(眼睛变为范冰冰，其他不变)，展示给用户；当用户的鼻子被遮挡后又掀开，人脸1的鼻子被替换，获得人脸2(眼睛和鼻子变为范冰冰，其他不变)，展示给用户；当用户的嘴被遮挡后又掀开，人脸2的嘴被替换，获得人脸3(眼睛、鼻子和嘴变为范冰冰，其他不变)，展示给用户；当用户的整张脸被遮挡后又掀开，人脸3的脸型被替换，获得人脸4(眼睛、鼻子、嘴以及脸型变为范冰冰)，展示给用户。

在本实施例中，当根据指定对象的各局部信息，将识别出的人脸局部替换完成，确定完成对识别出的人脸的替换；用户也可以选择在替换的过程中，停止替换，在上述的例子中，当获得人脸2时，用户确定已经达到自己的需求，则可以进行停止替换的操作，以便停止继续替换。

在本发明的一个实施例中，上述的目标对象是人脸。

进一步地，图2所示的装置进一步包括：

脸型调整单元，适于确定与识别出的目标对象对应的脸型；获取与确定的脸型匹配的标准脸型；根据确定的标准脸型，对识别出的目标对象的脸型进行调整。

在本实施例中，还可以对识别出的人脸进行脸型的调整，即根据识别出的人脸的脸型向匹配的标准脸型进行调整。例如，确定识别出的人脸的脸型是瓜子脸，但是离瓜子脸的标准脸型还是有一定的差别，则根据瓜子脸的标准脸型对识别出的人脸的脸型进行调整，以便实现识别出的人脸的微型调整。

当替换后的人脸也可能存在脸型不完美的情况，那么也可以通过该方法对替换后的人脸的脸型进行调整，进一步提高视频中人脸的处理效果。

进一步地，上述的脸型调整单元，适于将识别出的目标对象输入到用于确定脸型的机器学习模型中，获取机器学习模型输出的与识别出的目标对象对应的脸型。

在本实施例中，将一定数量的人脸的脸型特征数据进行深度学习，获取各人脸的特征数据，例如圆脸、方脸、瓜子脸、鹅蛋脸等，获取到用于确定脸型的机器学习模型，将识别出的人脸输入该机器学习模型后，首先识别出该人脸的特征数据，根据该特征数据确定与识别出的人脸对应的脸型并输出。

在本发明的一个实施例中，图2所示的装置进一步包括：

贴合单元，适于确定与识别出的目标对象匹配的萌颜特效的贴合位置信息；当接收到添加萌颜特效的请求时，根据贴合位置信息，将相应的萌颜特效添加到识别出的目标对象上。

在实际应用中，视频处理时还会对识别出的人脸进行加载萌颜特效的处理，但是人脸并非是一致的，如人脸的大小不一样，那么加载相同的萌颜特效时，如果萌颜特效的大小是不变的，则加载到不同大小的人脸上时，加载的萌颜特效并不能完全和人脸进行贴合。

所以，在本实施例中，不同的脸型对应的特效的最佳贴合位置也不一样，为了使得加载的特效与识别出的人脸更加贴合，首先确定与识别出的人脸(包括替换后的人脸)匹配的萌颜特效的贴合位置信息，当接收到添加萌颜特效的请求时，根据贴合位置信息，将相应的萌颜特效添加到识别出的人脸上。

例如，根据识别出的人脸，获取到与该人脸匹配的贴合位置信息，如眼角、鼻尖等位置信息，根据获取到的眼角、鼻尖等位置信息调整添加的萌颜特效，使得萌颜特效的眼角、鼻尖等位置符合识别出的人脸的眼角、鼻尖等位置信息，这里的位置信息还可以包括眼角、鼻尖等关键点的位置关系。

具体地，上述的贴合单元，适于将识别出的目标对象输入到用于确定萌颜特效贴合位置信息的机器学习模型中，获取机器学习模型输出的与目标对象匹配的萌颜特效的贴合位置信息。

在本实施例中，将一定数量的人脸的特征数据进行深度学习，获取各人脸的特征数据以及萌颜特效的最佳贴合位置数据，得到用于确定萌颜特效贴合位置信息的机器学习模型，将识别出的人脸输入该机器学习模型后，首先识别出该人脸的特征数据，根据该特征数据确定与人脸匹配的萌颜特效的贴合位置信息，然后输出。

本发明还提供了一种电子设备，其中，该电子设备包括：

处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行根据图1所示的及其各实施例中的视频处理方法。

图3示出了根据本发明一个实施例的电子设备的结构示意图。如图3所示，该电子设备300包括：

处理器310；以及被安排成存储计算机可执行指令(程序代码)的存储器320，在存储器320中，有存储程序代码的存储空间330，用于执行根据本发明的方法步骤的程序代码330存储在存储空间330中，该程序代码在被执行时使处理器310执行根据图1所示的及其各实施例中的视频处理方法。

图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。如图4所示，该计算机可读存储介质400，存储一个或多个程序(程序代码)410，一个或多个程序(程序代码)410当被处理器执行时，用于执行根据本发明的方法步骤，即图1所示的以及其各实施例中的视频处理方法。

需要说明的是，图3所示的电子设备和图4所示的计算机可读存储介质的各实施例与图1所示的方法的各实施例对应相同，上文已有详细说明，在此不再赘述。

上述各实施例均以人脸作为目标对象来对本发明进行说明，需要说明的是，人脸作为目标对象只是一个优选的例子，在本发明中，目标对象不应限定为人脸，还可以根据需求限定为视频中的其他元素，例如，建筑、树、动物等，因此，在本发明中，目标对象是未做具体限定的。

综上所述，根据本发明的技术方案，获取视频采集器采集的视频，识别所述视频中的人脸；当预设条件被触发时，获取指定对象信息；根据所述指定对象信息，将识别出的所述人脸进行全部或局部替换。通过本技术方案，根据指定对象信息，对视频中的人脸的全部或局部进行替换，使得视频中的人脸全部或部分变成指定对象，满足用户越来越高的视频处理需求，增加视频处理的趣味性，增强用户的使用体验。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频处理装置、电子设备和计算机可读存储介质中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备300传统上包括处理器310和被安排成存储计算机可执行指令(程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行图1所示的以及各实施例中的任何方法步骤的程序代码340的存储空间330。例如，用于程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个程序代码340。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质400。该计算机可读存储介质400可以具有与图3的电子设备中的存储器320类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码410，即可以由诸如310之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种视频处理方法，其中，该方法包括：

获取视频采集器采集的视频，识别所述视频中的目标对象；

当预设条件被触发时，获取指定对象信息；

根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。

A2、如A1所述的方法，其中，所述预设条件被触发包括：

当接收到替换对象请求时；

和/或，

当检测到已加载的指定特效从第一状态变为第二状态时。

A3、如A2所述的方法，其中，所述接收到替换对象请求包括：

提供替换控件，当检测到所述替换控件被触发；

和/或，

提供替换工具，当检测到所述替换工具已选中所述目标对象的局部或全部。

A4、如A1所述的方法，其中，所述根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换包括：

获取识别出的所述目标对象的第一特征信息；

根据获取的所述指定对象信息，确定所述指定对象的第二特征信息；

比对所述第一特征信息和所述第二特征信息，确定识别出的所述目标对象与所述指定对象的特征差异信息；

根据所述特征差异信息，将识别出的所述目标对象进行全部或局部替换。

A5、如A1-A4任一项所述的方法，其中，所述获取指定对象信息包括：

获取所述指定对象的一个或多个局部信息；

所述根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换包括：

根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行相应的局部替换。

A6、如A5所述的方法，其中，所述根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行局部替换包括：

当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的所述目标对象进行相应的局部替换，获得第一替换目标对象；

在所述第一预设条件被触发之后，第二预设条件被触发时，根据获取的与所述第二预设条件对应的局部信息，将获得的所述第一替换目标对象进行相应的局部替换，获得第二替换目标对象；

以此类推，当根据所述指定对象的各局部信息，将识别出的所述目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的所述目标对象的替换。

A7、如A1所述的方法，其中，所述目标对象是人脸。

A8、如A7所述的方法，其中，该方法进一步包括：

确定与识别出的所述目标对象对应的脸型；

获取与确定的所述脸型匹配的标准脸型；

根据确定的所述标准脸型，对识别出的所述目标对象的脸型进行调整。

A9、如A8所述的方法，其中，所述确定与识别出的所述目标对象对应的脸型包括：

将识别出的所述目标对象输入到用于确定脸型的机器学习模型中，获取所述机器学习模型输出的与识别出的所述目标对象对应的脸型。

A10、如A1所述的方法，其中，该方法进一步包括：

确定与识别出的所述目标对象匹配的萌颜特效的贴合位置信息；

当接收到添加萌颜特效的请求时，根据所述贴合位置信息，将相应的萌颜特效添加到识别出的所述目标对象上。

A11、如A10所述的方法，其中，所述确定与识别出的目标对象匹配的萌颜特效的贴合位置信息包括：

将识别出的所述目标对象输入到用于确定萌颜特效贴合位置信息的机器学习模型中，获取所述机器学习模型输出的与所述目标对象匹配的萌颜特效的贴合位置信息。

本发明还公开了B12、一种视频处理装置，其中，该装置包括：

识别单元，适于获取视频采集器采集的视频，识别所述视频中的目标对象；

获取单元，适于当预设条件被触发时，获取指定对象信息；

替换单元，适于根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。

B13、如B12所述的装置，其中，所述预设条件被触发包括：

当接收到替换对象请求时；

和/或，

当检测到已加载的指定特效从第一状态变为第二状态时。

B14、如B13所述的装置，其中，所述接收到替换对象请求包括：

提供替换控件，当检测到所述替换控件被触发；

和/或，

提供替换工具，当检测到所述替换工具已选中所述目标对象的局部或全部。

B15、如B12所述的装置，其中，所述替换单元，适于获取识别出的所述目标对象的第一特征信息；根据获取的所述指定对象信息，确定所述指定对象的第二特征信息；比对所述第一特征信息和所述第二特征信息，确定识别出的所述目标对象与所述指定对象的特征差异信息；根据所述特征差异信息，将识别出的所述目标对象进行全部或局部替换。

B16、如B12-B15任一项所述的装置，其中，

所述获取单元，适于获取所述指定对象的一个或多个局部信息；

所述替换单元，适于根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行相应的局部替换。

B17、如B16所述的装置，其中，

所述替换单元，适于当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的所述目标对象进行相应的局部替换，获得第一替换目标对象；在所述第一预设条件被触发之后，第二预设条件被触发时，根据获取的与所述第二预设条件对应的局部信息，将获得的所述第一替换目标对象进行相应的局部替换，获得第二替换目标对象；以此类推，当根据所述指定对象的各局部信息，将识别出的所述目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的所述目标对象的替换。

B18、如B12所述的装置，所述目标对象是人脸。

B19、如B18所述的装置，其中，该装置进一步包括：

脸型调整单元，适于确定与识别出的所述目标对象对应的脸型；获取与确定的所述脸型匹配的标准脸型；根据确定的所述标准脸型，对识别出的所述目标对象的脸型进行调整。

B20、如B19所述的装置，其中，

所述脸型调整单元，适于将识别出的所述目标对象输入到用于确定脸型的机器学习模型中，获取所述机器学习模型输出的与识别出的所述目标对象对应的脸型。

B21、如B12所述的装置，其中，该装置进一步包括：

贴合单元，适于确定与识别出的所述目标对象匹配的萌颜特效的贴合位置信息；当接收到添加萌颜特效的请求时，根据所述贴合位置信息，将相应的萌颜特效添加到识别出的所述目标对象上。

B22、如B21所述的装置，其中，

所述贴合单元，适于将识别出的所述目标对象输入到用于确定萌颜特效贴合位置信息的机器学习模型中，获取所述机器学习模型输出的与所述目标对象匹配的萌颜特效的贴合位置信息。

本发明还公开了C23、一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据A1～A11中任一项所述的方法。

本发明还公开了D24、一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现A1～A 11中任一项所述的方法。

Claims (10)

1.一种视频处理方法，其中，该方法包括：

获取视频采集器采集的视频，识别所述视频中的目标对象；

当预设条件被触发时，获取指定对象信息；

根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。

2.如权利要求1所述的方法，其中，所述预设条件被触发包括：

当接收到替换对象请求时；

和/或，

当检测到已加载的指定特效从第一状态变为第二状态时。

3.如权利要求2所述的方法，其中，所述接收到替换对象请求包括：

提供替换控件，当检测到所述替换控件被触发；

和/或，

提供替换工具，当检测到所述替换工具已选中所述目标对象的局部或全部。

4.如权利要求1所述的方法，其中，所述根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换包括：

获取识别出的所述目标对象的第一特征信息；

根据获取的所述指定对象信息，确定所述指定对象的第二特征信息；

比对所述第一特征信息和所述第二特征信息，确定识别出的所述目标对象与所述指定对象的特征差异信息；

根据所述特征差异信息，将识别出的所述目标对象进行全部或局部替换。

5.如权利要求1-4任一项所述的方法，其中，所述获取指定对象信息包括：

获取所述指定对象的一个或多个局部信息；

所述根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换包括：

根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行相应的局部替换。

6.如权利要求5所述的方法，其中，所述根据获取的所述指定对象的各局部信息，依次将识别出的所述目标对象进行局部替换包括：

当第一预设条件被触发时，根据获取的与第一预设条件对应的局部信息，将识别出的所述目标对象进行相应的局部替换，获得第一替换目标对象；

在所述第一预设条件被触发之后，第二预设条件被触发时，根据获取的与所述第二预设条件对应的局部信息，将获得的所述第一替换目标对象进行相应的局部替换，获得第二替换目标对象；

以此类推，当根据所述指定对象的各局部信息，将识别出的所述目标对象局部替换完成，或者，当接收到停止替换的操作时，确定完成对识别出的所述目标对象的替换。

7.如权利要求1所述的方法，其中，所述目标对象是人脸。

8.一种视频处理装置，其中，该装置包括：

识别单元，适于获取视频采集器采集的视频，识别所述视频中的目标对象；

获取单元，适于当预设条件被触发时，获取指定对象信息；

替换单元，适于根据所述指定对象信息，将识别出的所述目标对象进行全部或局部替换。

9.一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1～7中任一项所述的方法。