CN112040278A - 视频处理方法、装置、拍摄终端、服务器及存储介质 - Google Patents

Abstract

本说明书实施例公开一种视频处理方法、装置、拍摄终端、服务器及存储介质，该方法包括：在拍摄终端的视频拍摄过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；在视频拍摄结束后，对拍摄得到的目标视频帧中出目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；基于第一人脸检测结果、第二人脸检测结果以及目标视频，进行数据封装，并将封装好的数据发送至服务器，以使服务器对视频进行特效添加。上述方案，通过对视频增加特效，增加了视频的趣味性和观赏性，同时，由于获得到足够多的人脸数据，使得服务器添加特效时能够基于每帧图像的人脸检测结果进行特效添加，使得特效更加生动流畅。

Description

视频处理方法、装置、拍摄终端、服务器及存储介质

技术领域

本说明书实施例涉及计算机技术领域，尤其涉及一种视频处理方法、装置、拍摄终端、服务器及存储介质。

背景技术

随着科学技术的不断发展，人们在游乐场、景区等场所游玩时，通常会拍摄游玩视频或照片来记录行程。为了方便用户拍摄视频或照片，许多游乐场和景区内会安装高速运动相机来拍摄游客的游玩视频和照片以供用户下载。但现有技术中游玩场内安装的拍摄设备通常都是实拍，用户获得的视频或照片缺乏趣味性和观赏性。

发明内容

本说明书实施例提供及一种视频处理方法、装置、拍摄终端、服务器及存储介质。

第一方面，本说明书实施例提供一种视频处理方法，应用于拍摄终端，该方法包括：

在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；

在视频拍摄结束后，对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；

基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，并将封装好的数据发送至服务器，以使服务器对封装好的数据进行解封装，并基于解封装得到的所述第一人脸检测结果以及所述第二人脸检测结果对解封装得到的视频添加特效。

可选地，在所述对目标图像帧进行人脸检测之前，所述方法还包括：

每隔预设时间获取拍摄得到的图像帧集合；

在所述图像帧集合中确定出目标数量的且包含有人脸信息的图像帧，作为所述目标图像帧；

所述对目标图像帧进行人脸检测，得到第一人脸检测结果，包括：

确定每个所述目标图像帧包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与目标图像帧之间的对应关系；

基于所述人脸关键点坐标与目标图像帧的对应关系、以及所述人脸关键点坐标，得到所述第一人脸检测结果。

可选地，所述对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果，包括：

在所述目标视频中去除掉不包含有人脸信息的图像帧，得到第一处理视频；

对所述第一处理视频中除所述目标图像帧以外的图像帧进行人脸检测，确定除所述目标图像帧以外的每个图像帧中包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与图像帧之间的对应关系；

基于所述人脸关键点坐标与图像帧之间的对应关系，以及所述人脸关键点坐标，得到所述第二人脸检测结果。

可选地，所述基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，包括：

对所述第一人脸检测结果、所述第二人脸检测结果以及所述第一处理视频，进行数据封装。

可选地，所述对目标图像帧进行人脸检测，得到第一人脸检测结果之后，所述方法还包括：

基于所述第一人脸检测结果对所述目标视频进行处理，得到第二处理视频，所述第二处理视频的图像帧中包含有与所述第一人脸检测结果对应的人脸信息；

基于所述第二处理视频以及所述第一人脸检测结果进行数据封装，得到封装好的待下载数据，并将所述待下载数据发送至所述服务器，以使所述服务器在接收到下载请求时，执行所述第二处理视频的传输。

第二方面，本说明书实施例提供一种视频处理方法，应用于服务器，该方法包括：

接收拍摄终端发送的封装好的数据，所述封装好的数据包括第一人脸检测结果、第二人脸检测结果以及待处理视频，所述第一人脸检测结果为所述拍摄终端在进行视频拍摄时，通过对目标图像帧进行人脸检测得到的，所述第二人脸检测结果为对视频拍摄结束的目标视频进行人脸检测得到的；

对所述封装好的数据进行解封装，得到所述第一人脸检测结果、所述第二人脸检测结果以及所述待处理视频；

基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效。

可选地，人脸检测结果包括人脸关键点坐标，以及与人脸关键点坐标对应的图像帧信息，所述基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效，包括：

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的图像帧信息，在所述待处理视频中确定出待处理的图像帧；

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的人脸关键点坐标，确定出所述待处理的图像帧中的人脸关键点位置，并在所述人脸关键点位置处添加特效。

可选地，所述方法还包括：

接收所述拍摄终端发送的封装好的待下载数据，所述待下载数据中包括所述第一人脸检测结果，以及待下载视频，所述待下载视频的图像帧中包含有所述第一人脸检测结果对应的人脸信息；

对所述待下载数据进行解封装，得到所述第一人脸检测结果以及所述待下载视频；

根据接收到的视频下载请求中的人脸识别结果、以及所述第一人脸检测结果，确定是否执行所述待下载视频的传输。

第三方面，本说明书实施例提供一种视频处理装置，应用于拍摄终端，该装置包括：

第一人脸检测模块，用于在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；

第二人脸检测模块，用于在视频拍摄结束后，对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；

处理模块，用于基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，并将封装好的数据发送至服务器，以使所述服务器对所述封装好的数据进行解封装，并基于解封装得到的所述第一人脸检测结果以及所述第二人脸检测结果对解封装得到的视频添加特效。

可选地，所述装置还包括：

图像帧集合确定模块，用于每隔预设时间获取拍摄得到的图像帧集合；

目标图像帧确定模块，用于在所述图像帧集合中确定出目标数量的且包含有人脸信息的图像帧，作为所述目标图像帧；

所述第一人脸检测模块，用于：

确定每个所述目标图像帧包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与目标图像帧之间的对应关系；

基于所述人脸关键点坐标与目标图像帧的对应关系、以及所述人脸关键点坐标，得到所述第一人脸检测结果。

可选地，所述第二人脸检测模块，用于：

在所述目标视频中去除掉不包含有人脸信息的图像帧，得到第一处理视频；

对所述第一处理视频中除所述目标图像帧以外的图像帧进行人脸检测，确定除所述目标图像帧以外的每个图像帧中包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与图像帧之间的对应关系；

基于所述人脸关键点坐标与图像帧之间的对应关系，以及所述人脸关键点坐标，得到所述第二人脸检测结果。

可选地，所述处理模块，用于：

对所述第一人脸检测结果、所述第二人脸检测结果以及所述第一处理视频，进行数据封装。

可选地，所述装置还包括：

视频处理模块，用于基于所述第一人脸检测结果对所述目标视频进行处理，得到第二处理视频，所述第二处理视频的图像帧中包含有与所述第一人脸检测结果对应的人脸信息；

所述处理模块，还用于基于所述第二处理视频以及所述第一人脸检测结果进行数据封装，得到封装好的待下载数据，并将所述待下载数据发送至所述服务器，以使所述服务器在接收到视频下载请求时，执行所述第二处理视频的传输。

第四方面，本说明书实施例提供一种视频处理装置，应用于拍摄终端，该装置包括：

接收模块，用于接收拍摄终端发送的封装好的数据，所述封装好的数据包括第一人脸检测结果、第二人脸检测结果以及待处理视频，所述第一人脸检测结果为所述拍摄终端在进行视频拍摄时，通过对目标图像帧进行人脸检测得到的，所述第二人脸检测结果为对视频拍摄结束的目标视频进行人脸检测得到的；

解封装模块，用于对所述封装好的数据进行解封装，得到所述第一人脸检测结果、所述第二人脸检测结果以及所述待处理视频；

处理模块，用于基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效。

可选地，人脸检测结果包括人脸关键点坐标，以及与人脸关键点坐标对应的图像帧信息，所述处理模块，用于：

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的图像帧信息，在所述待处理视频中确定出待处理的图像帧；

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的人脸关键点坐标，确定出所述待处理的图像帧中的人脸关键点位置，并在所述人脸关键点位置处添加特效。

可选地，所述接收模块，还用于接收所述拍摄终端发送的封装好的待下载数据，所述待下载数据中包括所述第一人脸检测结果，以及待下载视频，所述待下载视频的图像帧中包含有所述第一人脸检测结果对应的人脸信息；

所述解封装模块，还用于对所述待下载数据进行解封装，得到所述第一人脸检测结果以及所述待下载视频；

所述处理模块，还用于根据接收到的视频下载请求中的人脸识别结果、以及所述第一人脸检测结果，确定是否执行所述待下载视频的传输。

第五方面，本说明书实施例提供一种拍摄终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权上述第一方面提供的方法的步骤。

第六方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述第二方面提供的方法的步骤。

第七方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

本说明书实施例有益效果如下：

本说明实施例提供的方法，通过拍摄终端对目标场景下的用户进行视频拍摄，并在拍摄的同时对目标图像帧进行人脸检测，得到第一人脸检测结果，；在视频拍摄结束后，对拍摄得到的目标视频中除目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；基于第一人脸检测结果、第二人脸检测结果以及目标视频，进行数据封装，并将封装好的数据发送至服务器，服务器对封装好的数据进行解封装，并基于解封装得到的第一人脸检测结果、第二人脸检测结果对解封得到的视频添加特效。上述方案中，通过拍摄结束后对视频中剩余的图像帧进行人脸检测的补充，能够得到足够的人脸数据，使得服务器添加特效时能够基于每帧图像的人脸检测结果进行特效添加，使得特效更加生动流畅。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本说明书实施例第一方面提供的一种视频处理方法的流程图；

图2为本说明书实施例第二方面提供的一种视频处理方法的流程图；

图3为本说明书实施例第三方面提供的一种视频处理装置的示意图；

图4为本说明书实施例第四方面提供的一种视频处理装置的示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

第一方面，本说明书实施例提供一种视频处理方法，如图1所示，为本说明书实施例提供的视频处理方法的流程图，该方法包括以下步骤：

步骤S11：在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；

步骤S12：在视频拍摄结束后，对拍摄得到的目标视频中除目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；

步骤S13：基于第一人脸检测结果、第二人脸检测结果以及目标视频，进行数据封装，并将封装好的数据发送至服务器，以使服务器对封装好的数据进行解封装，并基于解封装得到的第一人脸检测结果以及第二人脸检测结果对解封装得到的视频添加特效。

本说明书实施例中，目标场景可以是游乐场、景区等场景，为了便于说明，本说明书实施例以游乐场为例来进行说明。游乐场中可以安装有一个或多个拍摄终端，例如，为每个游乐设施安装一个拍摄终端，来拍摄游客在该游乐设施上的游玩视频；再如，在预定范围内安装拍摄终端，以使拍摄终端能够拍摄位于该范围内的游客视频。拍摄终端可以根据实际需要进行选择，如高速运动相机。

在具体实施过程中，首先执行步骤S11：在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果。

具体来讲，以用户在游乐场中乘坐过山车时，通过拍摄终端对过山车的运行全过程或运行的部分过程进行视频拍摄，在拍摄的同时，对视频中的目标图像帧进行人脸检测。考虑到拍摄和人脸检测同时进行会造成拍摄终端处理器的较大负荷，因此，本说明书实施例中，可以在拍摄视频的过程中，选取一定数量的图像帧进行人脸检测，在不响应视频拍摄质量、速度的前提下，实现目标图像帧的人脸识别。

目标图像帧可以是随机选取的图像帧，也可以是按照一定选取规则筛选出来的图像帧，目标图像帧的数量可以是一个也可以是多个，这里不做限定。在确定了目标图像帧之后，对目标图像帧进行人脸检测，得到第一人脸检测结果。

本说明书实施例中，可以通过以下方式获得目标图像帧：每隔预设时间获取拍摄得到的图像帧集合；在所述图像帧集合中确定出目标数量的且包含有人脸信息的图像帧，作为所述目标图像帧。

具体来讲，预设时间间隔可以根据实际需要来进行设定，例如，预设时间间隔为1s、2s等。以预设时间间隔为1s，拍摄终端的帧率为1s拍摄30帧图像为例，每隔1s中获取拍摄得到的图像帧集合，即这1s内拍摄得到的30帧图像，在这30帧图像中确定出目标数量的且包含有人脸信息的图像帧，其中，目标数量可以根据实际需要进行设定，如目标数量为8，则在30帧图像中筛选出8帧包含有人脸信息的图像帧，作为目标图像帧。当然，若在某1s内拍摄的图像帧中没有检测到包含有人脸信息的图像帧，则将这1s视频忽略，进行下1s的检测。或者，若在某1s内拍摄的图像帧中包含有人脸信息的额图像帧数量少于目标数量，也可以将少于目标数量的图像帧作为目标图像帧。

进一步的，在得到目标图像帧之后，可以通过以下方式进行人脸检测，得到第一人脸检测结果：确定每个目标图像帧包含的人脸区域；确定人脸区域中的人脸关键点坐标，并建立人脸关键点坐标与目标图像帧之间的对应关系；基于人脸关键点坐标与目标图像帧的对应关系、以及人脸关键点坐标，得到第一人脸检测结果。

具体来讲，目标图像帧均为包含有人脸信息的图像，针对每个目标图像帧来说，该目标图像帧中可以包含有一个或多个人脸区域，人脸区域的确定可以通过多种方式实现，例如通过卷积神经网络、支持向量机等方式。针对每个人脸区域，确定该人脸区域的人脸关键点坐标，人脸关键点可以根据实际需要进行设置，本说明书实施例中，人脸关键点选取81个点，包括人脸轮廓、眉毛轮廓、眼睛轮廓、鼻子轮廓、嘴轮廓等。将这些人脸关键点坐标确定出来，并确定与人脸关键点对应的目标图像帧，如记录目标图像帧为目标视频中的第几秒的第几帧，将人脸关键点与目标图像帧建立映射关系，以得到该目标图像帧的人脸检测结果。

接下来，执行步骤S12：在视频拍摄结束后，对拍摄得到的目标视频中除目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果。

具体来讲，通过步骤S11已经在拍摄视频的同时得到了部分图像帧，即目标图像帧的第一人脸检测结果。为了保证后续对视频中人脸处理时，添加的特效或动画更加生动，本说明书实施例中，在得到目标视频之后，将目标视频中除目标图像帧以外的图像帧也进行人脸检测，获得第二人脸检测结果，从而得到足够的人脸检测结果，这样，在后续对每帧图像进行特效添加时，可以根据每帧图像的人脸检测结果进行添加，使得特效效果更生动流畅。

本说明书实施例中，在进行第二次人脸检测时，为了提高效率，可以先对目标视频进行处理，在具体实施过程中，在目标视频中去除掉不包含有人脸信息的图像帧，得到第一处理视频；对第一处理视频中除目标图像帧以外的图像帧进行人脸检测，确定除目标图像帧以外的每个图像帧中包含的人脸区域；确定人脸区域中的人脸关键点坐标，并建立人脸关键点坐标与图像帧之间的对应关系；基于人脸关键点坐标与图像帧之间的对应关系，以及人脸关键点坐标，得到所述第二人脸检测结果。

具体来讲，目标视频是终端拍摄的整个用户游玩过程，由于用户在游玩过程中是实时移动的，因此，在拍摄的目标视频中有的时间段内能够拍摄到用户，有的时间段内可能拍摄不到用户。因此，可以将目标视频进行处理，过滤到不包含有人脸信息的图像帧，得到包含有人脸信息的第一处理视频。进一步的对第一处理视频中的图像帧进行人脸检测。

在对第一处理视频中除目标图像帧以外的图像帧进行人脸检测时，针对每个图像帧，确定出该图像帧中包含的一个或多个人脸区域，人脸区域的确定可以通过多种方式实现，如通过卷积神经网络、支持向量机等方式。针对每个人脸区域，确定该人脸区域的人脸关键点坐标，人脸关键点的选取可以根据实际需要进行设定，本说明书实施例中，人脸关键点选取包括人脸轮廓、眉毛轮廓、眼睛轮廓、鼻子轮廓、嘴轮廓等81个点。将这些人脸关键点坐标位于图像帧中的坐标确定出来，并将人脸关键点与图像帧对应起来，例如记录与某人脸区域的人脸关键点坐标对应的图像帧为第一视频中的第几秒的第几帧，建立对应关系，并将人脸关键点坐标与图像帧的对应关系、人脸关键点坐标作为第二人脸检测结果。

通过上述过程，由于对目标视频先进行了图像帧的筛选，可以大大减少用于确定第二人脸检测结果的图像帧数量，有针对性的对包含有人脸信息的图像帧进行检测，提高了处理效率。

进一步的，执行步骤S13：基于第一人脸检测结果、第二人脸检测结果以及目标视频，进行数据封装，并将封装好的数据发送至服务器。

具体来讲，在数据封装时，可以将第一人脸检测结果、第二人脸检测结果以及目标视频封装成一个数据包进行发送；也可以先对目标视频进行处理，将处理后的目标视频与第一人脸检测结果、第二人脸检测结果进行数据封装；还可以将需要目标视频进行切分，分成多个视频，将每个视频以及与该视频对应的人脸检测结果分别进行封装，得到多个封装好的数据包依次进行发送，以缩小每次发送的视频大小，减小发送数据时占用的网络资源，当然，还可以采用其他的数据封装方式，这里不做限定。

沿用上面的例子，当针对第一处理视频进行人脸检测获得第二人脸检测结果时，在进行封装的时候，可以对第一人脸检测结果、第二人脸检测结果以及第一处理视频进行数据封装，保证封装的视频为包含有用户人脸信息的视频。

服务器在接收到拍摄终端发送的封装好的数据之后，对封装好的数据进行解封装，得到第一人脸检测结果、第二人脸检测结果以及解封装得到的视频，服务器可以通过预设的特效库，基于第一人脸检测结果以及第二人脸检测结果为对应的图像帧添加特效。例如，给图像帧中的人脸区域增加帽子、发饰、胡须，调节眼睛大小、脸型，为人脸添加各种妆容等。

进一步的，本说明书实施例中的方案，还包括以下步骤：基于第一人脸检测结果对目标视频进行处理，得到第二处理视频，第二处理视频的图像帧中包含有与第一人脸检测结果对应的人脸信息；基于第二处理视频以及第一人脸检测结果进行数据封装，得到封装好的待下载数据，并将待下载数据发送至服务器，以使服务器在接收到视频下载请求时，执行所述第二处理视频的传输。

具体来讲，用户在游乐场游玩后，可以通过终端设备，例如用户的手机、平板电脑、或者游乐场提供的游玩视频下载设备下载拍摄终端拍摄的包含有用户信息的视频。视频的下载可以通过人脸识别来进行，例如，用户通过终端设备，如手机，对自己的面部进行识别得到识别结果，并将识别结果发送到服务器以发起视频下载请求，服务器将接收到的识别结果与服务器上已经存储的与拍摄视频相关的人脸检测结果进行匹配，确定出与用户面部识别结果相匹配的人脸检测结果，并进一步的确定出与该人脸检测结果对应的视频，将该视频发送给发起视频下载请求的终端设备。

考虑到用户下载视频时的高时效需求，在视频拍摄完成之后需要尽快的将携带有用户人脸检测结果的视频发送给服务器，以满足用户的下载需求。由于第一人脸检测结果在视频拍摄的过程中就已经获得，因此，可以将第一人脸检测结果以及包含有第一人脸检测结果的视频优先发送给服务器，保证视频下载的时效性。当服务器接收到用户的下载请求时，判断第一人脸检测结果中是否包含有与用户面部识别结果相匹配的人脸检测结果，如果是，则第一人脸检测结果所对应的视频包含有该用户的影像，将该视频发送给对应的设备。

另外，考虑到目标视频的传输大小，为了快速实现视频的传输，在得到第一人脸检测结果后，对目标视频进行处理，例如切分、裁剪等处理，将不包含有人脸信息的图像帧去除，得到第二处理视频，其中，第二处理视频的图像帧中包含有第一人脸检测结果对应人脸信息。本说明书实施例中，为了节约视频传输时占用的带宽资源，还可以将第二处理视频进行分段处理，得到多个分段视频，确定每个分段视频中包含的人脸检测结果，并将每个分段视频中包含的人脸检测结果以及分段视频进行数据封装，封装成多个数据包进行发送。当接收到用户的下载请求时，在用户的人脸识别结果包含在第一人脸检测结果中时，可以将第二处理视频发送给用户的终端设备。

综上所述，本说明书实施例提供的视频处理方法，通过在拍摄视频的同时获得第一人脸检测结果，以及在视频拍摄完成后获得第二人脸检测结果，能够得到足够的人脸数据，以使服务器在进行视频特效添加时，根据每帧图像的人脸检测结果进行特效添加，使得特效更加生动流畅。

第二方面，基于同一发明构思，本说明书实施例提供一种视频处理方法，应用于服务器，请参考图2，该方法包括以下步骤：

步骤S21：接收拍摄终端发送的封装好的数据，封装好的数据包括第一人脸检测结果、第二人脸检测结果以及待处理视频，第一人脸检测结果为拍摄终端在进行视频拍摄时，通过对目标图像帧进行人脸检测得到的，第二人脸检测结果为对视频拍摄结束的目标视频进行人脸检测得到的；

步骤S22：对封装好的数据进行解封装，得到第一人脸检测结果、第二人脸检测结果以及待处理视频；

步骤S23：基于第一人脸检测结果以及第二人脸检测结果，对待处理视频中的人脸区域添加特效。

本说明书实施例中，人脸检测结果包括人脸关键点坐标，以及与人脸关键点坐标对应的图像帧信息，步骤S23可以通过以下步骤实现：基于第一人脸检测结果以及第二人脸检测结果中包含的图像帧信息，在待处理视频中确定出待处理的图像帧；基于第一人脸检测结果以及第二人脸检测结果中包含的人脸关键点坐标，确定出待处理的图像帧中的人脸关键点位置，并在人脸关键点位置处添加特效。

具体来讲，待处理视频可以是目标视频，也可以是目标视频经过处理得到的视频，例如，待处理视频为将目标视频中不包含人脸信息的图像帧进行去除后的视频。对待处理视频添加特效，可以是服务器在解封装之后自动为待处理视频的每帧图像添加特效，也可以是根据用户的添加特效请求来进行添加。

举例来讲，当用户通过终端设备，例如手机确定出包含有自己人脸信息的视频后(具体确定过程可以参考第一方面提供的实施方式)，服务器可以通过终端设备的特效添加界面接收用户的特效添加请求，例如，用户想为视频中的人脸区域增加帽子，则服务器在接收到增加帽子的请求后，根据用户选择的帽子样式，为包含用户人脸信息的每帧图像增加帽子特效。

在添加视频特效时，由于人脸检测结果中包含有人脸关键点坐标与图像帧的对应关系，确定出每帧图像中的人脸关键点坐标，如在添加帽子特效时，可以确定每帧图像中的人脸轮廓坐标，并基于每帧图像的人脸轮廓坐标，为对应的人脸区域添加帽子特效。

进一步，本说明书实施例提供的方法还包括以下步骤：接收拍摄终端发送的封装好的待下载数据，待下载数据中包括第一人脸检测结果，以及待下载视频，待下载视频的图像帧中包含有第一人脸检测结果对应的人脸信息；对待下载数据进行解封装，得到第一人脸检测结果以及待下载视频；根据接收到的视频下载请求中的人脸识别结果、以及第一人脸检测结果，确定是否执行待下载视频的传输。

在具体实施过程中，为了满足用户下载视频的时间要求，可以将拍摄过程中得到的第一人脸检测结果，以及包含有第一人脸检测结果所对应的待下载数据先发送给服务器。当服务器接收到用户发送的视频下载请求后，可以确定第一人脸检测结果中是否包含有用户的人脸识别结果，如果包含，则待下载视频为包含有用户影像的视频，此时可以将该视频发送给用户；如果不包含，则待下载视频中并不包含有该用户的影像。

关于上述方法，其中各个模块的具体功能已经在本说明书实施例第一方面提供的视频处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。

第三方面，基于同一发明构思，本说明书实施例提供一种视频处理装置，应用于拍摄终端，如图3所示，该装置包括：

第一人脸检测模块31，用于在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；

第二人脸检测模块32，用于在视频拍摄结束后，对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；

处理模块33，用于基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，并将封装好的数据发送至服务器，以使所述服务器对所述封装好的数据进行解封装，并基于解封装得到的所述第一人脸检测结果以及所述第二人脸检测结果对解封装得到的视频添加特效。

可选地，所述装置还包括：

图像帧集合确定模块，用于每隔预设时间获取拍摄得到的图像帧集合；

目标图像帧确定模块，用于在所述图像帧集合中确定出目标数量的且包含有人脸信息的图像帧，作为所述目标图像帧；

第一人脸检测模块31，用于：

确定每个所述目标图像帧包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与目标图像帧之间的对应关系；

基于所述人脸关键点坐标与目标图像帧的对应关系、以及所述人脸关键点坐标，得到所述第一人脸检测结果。

可选地，第二人脸检测模块32，用于：

在所述目标视频中去除掉不包含有人脸信息的图像帧，得到第一处理视频；

对所述第一处理视频中除所述目标图像帧以外的图像帧进行人脸检测，确定除所述目标图像帧以外的每个图像帧中包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与图像帧之间的对应关系；

基于所述人脸关键点坐标与图像帧之间的对应关系，以及所述人脸关键点坐标，得到所述第二人脸检测结果。

可选地，处理模块33，用于：

对所述第一人脸检测结果、所述第二人脸检测结果以及所述第一处理视频，进行数据封装。

可选地，所述装置还包括：

视频处理模块，用于基于所述第一人脸检测结果对所述目标视频进行处理，得到第二处理视频，所述第二处理视频的图像帧中包含有与所述第一人脸检测结果对应的人脸信息；

处理模块33，还用于基于所述第二处理视频以及所述第一人脸检测结果进行数据封装，得到封装好的待下载数据，并将所述待下载数据发送至所述服务器，以使所述服务器在接收到视频下载请求时，执行所述第二处理视频的传输。

关于上述装置，其中各个模块的具体功能已经在本说明书实施例第一方面提供的视频处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。

第四方面，基于同一发明构思，本说明书实施例提供一种视频处理装置，应用于拍摄终端，请参考图4，该装置包括：

接收模块41，用于接收拍摄终端发送的封装好的数据，所述封装好的数据包括第一人脸检测结果、第二人脸检测结果以及待处理视频，所述第一人脸检测结果为所述拍摄终端在进行视频拍摄时，通过对目标图像帧进行人脸检测得到的，所述第二人脸检测结果为对视频拍摄结束的目标视频进行人脸检测得到的；

解封装模块42，用于对所述封装好的数据进行解封装，得到所述第一人脸检测结果、所述第二人脸检测结果以及所述待处理视频；

处理模块43，用于基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效。

可选地，人脸检测结果包括人脸关键点坐标，以及与人脸关键点坐标对应的图像帧信息，处理模块43，用于：

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的图像帧信息，在所述待处理视频中确定出待处理的图像帧；

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的人脸关键点坐标，确定出所述待处理的图像帧中的人脸关键点位置，并在所述人脸关键点位置处添加特效。

可选地，接收模块41，还用于接收所述拍摄终端发送的封装好的待下载数据，所述待下载数据中包括所述第一人脸检测结果，以及待下载视频，所述待下载视频的图像帧中包含有所述第一人脸检测结果对应的人脸信息；

解封装模块42，还用于对所述待下载数据进行解封装，得到所述第一人脸检测结果以及所述待下载视频；

处理模块43，还用于根据接收到的视频下载请求中的人脸识别结果、以及所述第一人脸检测结果，确定是否执行所述待下载视频的传输。

关于上述装置，其中各个模块的具体功能已经在本说明书实施例第二方面提供的视频处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。

第五方面，本说明书实施例提供一种拍摄终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权上述第一方面提供的方法的步骤。

第六方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述第二方面提供的方法的步骤。

针对第五方面提供的拍摄终端以及第六方面的服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文第一方面或第二方面提供的任一方法的步骤。

其中，总线架构(用总线来代表)，总线可以包括任意数量的互联的总线和桥，总线将包括由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

第七方面，基于与前述实施例中基于视频处理方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述基于视频处理方法的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (13)

1.一种视频处理方法，应用于拍摄终端，其特征在于，所述方法包括：

在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；

在视频拍摄结束后，对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；

基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，并将封装好的数据发送至服务器，以使所述服务器对所述封装好的数据进行解封装，并基于解封装得到的所述第一人脸检测结果以及所述第二人脸检测结果对解封装得到的视频添加特效。

2.根据权利要求1所述的方法，其特征在于，在所述对目标图像帧进行人脸检测之前，所述方法还包括：

每隔预设时间获取拍摄得到的图像帧集合；

在所述图像帧集合中确定出目标数量的且包含有人脸信息的图像帧，作为所述目标图像帧；

所述对目标图像帧进行人脸检测，得到第一人脸检测结果，包括：

确定每个所述目标图像帧包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与目标图像帧之间的对应关系；

基于所述人脸关键点坐标与目标图像帧的对应关系、以及所述人脸关键点坐标，得到所述第一人脸检测结果。

3.根据权利要求1所述的方法，其特征在于，所述对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果，包括：

在所述目标视频中去除掉不包含有人脸信息的图像帧，得到第一处理视频；

对所述第一处理视频中除所述目标图像帧以外的图像帧进行人脸检测，确定除所述目标图像帧以外的每个图像帧中包含的人脸区域；

确定所述人脸区域中的人脸关键点坐标，并建立所述人脸关键点坐标与图像帧之间的对应关系；

基于所述人脸关键点坐标与图像帧之间的对应关系，以及所述人脸关键点坐标，得到所述第二人脸检测结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，包括：

对所述第一人脸检测结果、所述第二人脸检测结果以及所述第一处理视频，进行数据封装。

5.根据权利要求1所述的方法，其特征在于，所述对目标图像帧进行人脸检测，得到第一人脸检测结果之后，所述方法还包括：

基于所述第一人脸检测结果对所述目标视频进行处理，得到第二处理视频，所述第二处理视频的图像帧中包含有与所述第一人脸检测结果对应的人脸信息；

基于所述第二处理视频以及所述第一人脸检测结果进行数据封装，得到封装好的待下载数据，并将所述待下载数据发送至所述服务器，以使所述服务器在接收到下载请求时，执行所述第二处理视频的传输。

6.一种视频处理方法，应用于服务器，其特征在于，所述方法包括：

接收拍摄终端发送的封装好的数据，所述封装好的数据包括第一人脸检测结果、第二人脸检测结果以及待处理视频，所述第一人脸检测结果为所述拍摄终端在进行视频拍摄时，通过对目标图像帧进行人脸检测得到的，所述第二人脸检测结果为对视频拍摄结束的目标视频进行人脸检测得到的；

对所述封装好的数据进行解封装，得到所述第一人脸检测结果、所述第二人脸检测结果以及所述待处理视频；

基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效。

7.根据权利要求6所述的方法，其特征在于，人脸检测结果包括人脸关键点坐标，以及与人脸关键点坐标对应的图像帧信息，所述基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效，包括：

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的图像帧信息，在所述待处理视频中确定出待处理的图像帧；

基于所述第一人脸检测结果以及所述第二人脸检测结果中包含的人脸关键点坐标，确定出所述待处理的图像帧中的人脸关键点位置，并在所述人脸关键点位置处添加特效。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收所述拍摄终端发送的封装好的待下载数据，所述待下载数据中包括所述第一人脸检测结果，以及待下载视频，所述待下载视频的图像帧中包含有所述第一人脸检测结果对应的人脸信息；

对所述待下载数据进行解封装，得到所述第一人脸检测结果以及所述待下载视频；

根据接收到的视频下载请求中的人脸识别结果、以及所述第一人脸检测结果，确定是否执行所述待下载视频的传输。

9.一种视频处理装置，应用于拍摄终端，其特征在于，所述装置包括：

第一人脸检测模块，用于在对目标场景下的用户进行视频拍摄的过程中，对目标图像帧进行人脸检测，得到第一人脸检测结果；

第二人脸检测模块，用于在视频拍摄结束后，对拍摄得到的目标视频中除所述目标图像帧以外的图像帧进行人脸检测，得到第二人脸检测结果；

处理模块，用于基于所述第一人脸检测结果、所述第二人脸检测结果以及所述目标视频，进行数据封装，并将封装好的数据发送至服务器，以使所述服务器对所述封装好的数据进行解封装，并基于解封装得到的所述第一人脸检测结果以及所述第二人脸检测结果对解封装得到的视频添加特效。

10.一种视频处理装置，应用于服务器，其特征在于，所述装置包括：

接收模块，用于接收拍摄终端发送的封装好的数据；

解封装模块，用于对所述封装好的数据进行解封装，得到第一人脸检测结果、第二人脸检测结果以及待处理视频，所述第一人脸检测结果为所述拍摄终端对目标场景下的用户进行视频拍摄时得到的人脸检测结果，所述第二人脸检测结果为视频拍摄结束后得到的人脸检测结果；

处理模块，用于基于所述第一人脸检测结果以及所述第二人脸检测结果，对所述待处理视频中的人脸区域添加特效。

11.一种拍摄终端，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。

12.一种服务器，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求6-8任一项所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

Images