CN109803165A - 视频处理的方法、装置、终端及存储介质 - Google Patents

视频处理的方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109803165A
CN109803165A CN201910105638.4A CN201910105638A CN109803165A CN 109803165 A CN109803165 A CN 109803165A CN 201910105638 A CN201910105638 A CN 201910105638A CN 109803165 A CN109803165 A CN 109803165A
Authority
CN
China
Prior art keywords
video
limbs
special efficacy
special
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910105638.4A
Other languages
English (en)
Inventor
帕哈尔丁·帕力万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910105638.4A priority Critical patent/CN109803165A/zh
Publication of CN109803165A publication Critical patent/CN109803165A/zh
Pending legal-status Critical Current

Links

Abstract

本公开是关于一种视频处理的方法、装置、终端及存储介质,属于互联网技术领域,该方法包括:从当前的第一视频画面中识别目标对象的第一肢体姿态。当检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效;基于视频处理特效,对包含目标对象的第二视频画面进行处理。本公开可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。

Description

视频处理的方法、装置、终端及存储介质
技术领域
本公开涉及互联网技术领域,尤其涉及一种视频处理的方法、装置、终端及存储介质。
背景技术
随着互联网技术的快速发展,各种互动交流的直播应用层出不穷,用户可以在该直播应用中进行网络直播等录制视频操作。用户在录制视频过程中,可以通过变换脸型等视频处理特效来增加互动交流过程中的趣味性。
相关技术中,在录制视频界面上设有变换脸型的虚拟按键,并且,该虚拟按键在录制视频过程中被隐藏。当用户想变换脸型时,需要点击屏幕,唤出该虚拟按键,用户再点击该虚拟按键来触发终端对用户的脸型进行变换的变换操作。
但用户每次变换脸型时,都需要先手动点击屏幕,唤出该虚拟按键后,再点击该虚拟按键。该种变换脸型的方式会耗费大量的人力和时间,且过于繁琐,从而导致变换脸型的效率低。
发明内容
本公开提供一种视频处理的方法、装置、终端及存储介质,可以解决变换脸型效率低的问题。
根据本公开实施例的第一方面,提供了一种视频处理的方法,所述方法包括:
从当前的第一视频画面中识别目标对象的第一肢体姿态;
当检测到所述第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效;
基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理。
在一种可能实现方式中,所述视频处理特效为脸部变换特效,且包括第一视频特效;
所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效,包括:
基于所述第一肢体姿态,确定所述目标对象的两个目标肢体之间的第一肢体距离;
当所述第一肢体距离大于第一预设距离时,确定所述第一视频特效为胖脸特效;
当所述第一肢体距离小于所述第一预设距离时,确定所述第一视频特效为瘦脸特效。
在另一种可能实现方式中,所述视频处理特效还包括特效参数;
所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效,还包括:
根据所述第一肢体距离,确定所述第一肢体距离所在的肢体距离范围,根据所述肢体距离范围,从肢体距离范围和特效参数的对应关系中获取所述肢体距离范围对应的特效参数;或者,
根据所述第一肢体距离,从肢体距离和特效参数的对应关系中获取所述第一肢体距离对应的特效参数。
在另一种可能实现方式中,所述视频处理特效为素材变换特效,且包括第二视频特效;
所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效,包括:
基于所述第一肢体姿态,确定所述目标对象的两个目标肢体之间的第二肢体距离;
当所述第二肢体距离大于第二预设距离时,确定所述第二视频特效为增加素材特效。
在另一种可能实现方式中,所述基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理,包括:
获取包含所述目标对象的第二视频画面;
基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面。
在另一种可能实现方式中,所述视频处理特效为脸部变换特效,且包括第一视频特效;
所述基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面,包括:
从所述第二视频画面中识别所述目标对象的第一头部图像;
基于所述第一视频特效,对所述第一头部图像进行特效处理,得到第二头部图像;
将所述第二头部图像和所述第二视频画面中的其他部分图像组合,得到所述第三视频画面。
在另一种可能实现方式中,所述视频处理特效还包括特效参数;
所述基于所述第一视频特效,对所述第一头部图像进行特效处理,得到第二头部图像,包括:
当所述第一视频特效为瘦脸特效时,基于所述瘦脸特效的第一特效参数,对所述第一头部图像中的脸部区域进行瘦脸处理,得到所述第二头部图像;或者,
当所述第一视频特效为胖脸特效时,基于所述胖脸特效的第二特效参数,对所述第一头部图像中的脸部区域进行胖脸处理,得到所述第二头部图像。
在另一种可能实现方式中,所述从所述第二视频画面中识别所述目标对象的第一头部图像,包括:
通过头部检测模型,对所述第二视频画面进行头部检测,得到包含所述目标对象头部的头部区域;
从所述第二视频画面中确定所述头部区域对应的第一头部图像。
在另一种可能实现方式中,所述从所述第二视频画面中识别所述目标对象的第一头部图像之前,所述方法还包括:
确定所述两个目标肢体与所述目标对象的指定位置之间的第一距离,当所述第一距离不大于第三预设距离时,执行所述从所述第二视频画面中识别所述目标对象的第一头部图像的步骤;或者,
检测当前开启的视频处理特效是否为脸部变换特效;当所述当前开启的视频处理特效为脸部变换特效时,执行所述从所述第二视频画面中识别所述目标对象的第一头部图像的步骤。
在另一种可能实现方式中,所述视频处理特效为素材变换特效;
所述基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面,包括:
从所述第二视频画面中识别所述目标对象的两个目标肢体;
基于所述视频处理特效,确定所述视频处理特效对应的素材;
将所述素材加载到所述第二视频画面中的所述两个目标肢体之间,得到所述第三视频画面。
在另一种可能实现方式中,所述基于所述视频处理特效,确定所述视频处理特效对应的素材,包括:
确定当前时间对应的节日,获取所述节日对应的素材。
在另一种可能实现方式中,所述从所述第二视频画面中识别所述目标对象的两个目标肢体之前,所述方法还包括:
确定所述两个目标肢体与所述目标对象的指定位置之间的第一距离,当所述第一距离大于第三预设距离时,执行所述从所述第二视频画面中识别所述目标对象的两个目标肢体的步骤;或者,
检测当前开启的视频处理特效是否为素材变换特效;当所述当前开启的视频处理特效为素材变换特效时,执行所述从所述第二视频画面中识别所述目标对象的两个目标肢体的步骤。
在另一种可能实现方式中,所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效之前,所述方法还包括:
当检测到所述第一肢体姿态的保持时长达到预设时长时,执行所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效的步骤。
在另一种可能实现方式中,所述基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理之后,所述方法还包括:
从当前包含所述目标对象的第四视频画面中识别所述目标对象的第二肢体姿态;
当检测到所述第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消所述视频处理特效。
根据本公开实施例的第二方面,提供了一种视频处理的装置,其特征在于,所述装置包括:
第一识别单元,被配置为从当前的第一视频画面中识别目标对象的第一肢体姿态;
第一确定单元,被配置为当检测到所述第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效;
处理单元,被配置为基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理。
在一种可能实现方式中,所述视频处理特效为脸部变换特效,且包括第一视频特效;
所述第一确定单元,还被配置为基于所述第一肢体姿态,确定所述目标对象的两个目标肢体之间的第一肢体距离;
当所述第一肢体距离大于第一预设距离时,确定所述第一视频特效为胖脸特效;
当所述第一肢体距离小于所述第一预设距离时,确定所述第一视频特效为瘦脸特效。
在另一种可能实现方式中,所述视频处理特效还包括特效参数;
所述第一确定单元,还被配置为根据所述第一肢体距离,确定所述第一肢体距离所在的肢体距离范围,根据所述肢体距离范围,从肢体距离范围和特效参数的对应关系中获取所述肢体距离范围对应的特效参数;或者,
根据所述第一肢体距离,从肢体距离和特效参数的对应关系中获取所述第一肢体距离对应的特效参数。
在另一种可能实现方式中,所述视频处理特效为素材变换特效,且包括第二视频特效;
所述第一确定单元,还被配置为基于所述第一肢体姿态,确定所述目标对象的两个目标肢体之间的第二肢体距离;
当所述第二肢体距离大于第二预设距离时,确定所述第二视频特效为增加素材特效。
在另一种可能实现方式中,所述处理单元,还被配置为获取包含所述目标对象的第二视频画面;基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面。
在另一种可能实现方式中,所述视频处理特效为脸部变换特效,且包括第一视频特效;
所述处理单元,还被配置为从所述第二视频画面中识别所述目标对象的第一头部图像;基于所述第一视频特效,对所述第一头部图像进行特效处理,得到第二头部图像;将所述第二头部图像和所述第二视频画面中的其他部分图像组合,得到所述第三视频画面。
在另一种可能实现方式中,所述视频处理特效还包括特效参数;
所述处理单元,还被配置为当所述第一视频特效为瘦脸特效时,基于所述瘦脸特效的第一特效参数,对所述第一头部图像中的脸部区域进行瘦脸处理,得到所述第二头部图像;或者,当所述第一视频特效为胖脸特效时,基于所述胖脸特效的第二特效参数,对所述第一头部图像中的脸部区域进行胖脸处理,得到所述第二头部图像。
在另一种可能实现方式中,所述处理单元,还被配置为通过头部检测模型,对所述第二视频画面进行头部检测,得到包含所述目标对象头部的头部区域;从所述第二视频画面中确定所述头部区域对应的第一头部图像。
在另一种可能实现方式中,所述装置还包括:
第二确定单元,被配置为确定所述两个目标肢体与所述目标对象的指定位置之间的第一距离,当所述第一距离不大于第三预设距离时,执行所述从所述第二视频画面中识别所述目标对象的第一头部图像的步骤;或者,检测当前开启的视频处理特效是否为脸部变换特效;当所述当前开启的视频处理特效为脸部变换特效时,执行所述从所述第二视频画面中识别所述目标对象的第一头部图像的步骤。
在另一种可能实现方式中,所述视频处理特效为素材变换特效;
所述处理单元,还被配置为从所述第二视频画面中识别所述目标对象的两个目标肢体;基于所述视频处理特效,确定所述视频处理特效对应的素材;将所述素材加载到所述第二视频画面中的所述两个目标肢体之间,得到所述第三视频画面。
在另一种可能实现方式中,所述处理单元,还被配置为确定当前时间对应的节日,获取所述节日对应的素材。
在另一种可能实现方式中,所述装置还包括:
第三确定单元,被配置为确定所述两个目标肢体与所述目标对象的指定位置之间的第一距离,当所述第一距离大于第三预设距离时,执行所述从所述第二视频画面中识别所述目标对象的两个目标肢体的步骤;或者,检测当前开启的视频处理特效是否为素材变换特效;当所述当前开启的视频处理特效为素材变换特效时,执行所述从所述第二视频画面中识别所述目标对象的两个目标肢体的步骤。
在另一种可能实现方式中,所述装置还包括:
第四确定单元,被配置为确定所述第一肢体姿态的保持时长;当所述保持时长超过预设时长时,执行所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效的步骤。
在另一种可能实现方式中,所述装置还包括:
第二识别单元,被配置为从当前包含所述目标对象的第四视频画面中识别所述目标对象的第二肢体姿态;当检测到所述第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消所述视频处理特效。
根据本公开实施例的第三方面,提供了一种终端,所述终端包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器;
其中,所述一个或多个处理器被配置为执行上述第一方面任一项所述的视频处理的方法。
根据本公开实施例的第四方面,提供了一种非临时性计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被终端的处理器执行时实现上述第一方面任一项所述的视频处理的方法。
根据本公开实施例的第五方面,提供了一种应用程序,当所述应用程序中的指令由终端的处理器执行时,使得终端能够执行上述第一方面任一项所述的视频处理的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例提供的视频处理的方法,终端实时获取视频画面中目标对象的肢体姿态,当该肢体姿态为用于设置视频处理特效的肢体姿态时,根据该肢体姿态,确定与该肢体姿态对应的视频处理特效。基于该视频处理特效,对包含目标对象的第二视频画面进行处理。该方法可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视频处理的方法的流程图。
图2是根据一示例性实施例示出的一种视频处理的方法的流程图。
图3为根据一示例性实施例示出的一种瘦脸特效的示意图。
图4是根据一示例性实施例示出的一种胖脸特效的示意图。
图5是根据一示例性实施例示出的一种视频处理的方法的流程图。
图6是根据一示例性实施例示出的一种视频处理的方法的流程图。
图7是根据一示例性实施例示出的一种增加素材的示意图。
图8是根据一示例性实施例示出的一种视频处理的装置的框图。
图9是根据一示例性实施例示出的一种视频处理的终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频处理的方法的流程图,应用于终端中,如图1所示,包括以下步骤:
在步骤S11中,从当前的第一视频画面中识别目标对象的第一肢体姿态。
在步骤S12中,当检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效。
在步骤S13中,基于视频处理特效,对包含目标对象的第二视频画面进行处理。
在一种可能实现方式中,视频处理特效为脸部变换特效,且包括第一视频特效;
根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效,包括:
基于第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离;
当第一肢体距离大于第一预设距离时,确定第一视频特效为胖脸特效;
当第一肢体距离小于第一预设距离时,确定第一视频特效为瘦脸特效。
在另一种可能实现方式中,视频处理特效还包括特效参数;
根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效,包括:
根据第一肢体距离,确定第一肢体距离所在的第一肢体距离范围,根据第一肢体距离范围,从肢体距离范围和特效参数的对应关系中获取第一肢体距离范围对应的特效参数;或者,
根据第一肢体距离,从肢体距离和特效参数的对应关系中获取第一肢体距离对应的特效参数。
在另一种可能实现方式中,视频处理特效为素材变换特效,且包括第二视频特效;
根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效,包括:
基于第一肢体姿态,确定目标对象的两个目标肢体之间的第二肢体距离;
当第二肢体距离大于第二预设距离时,确定第二视频特效为增加素材特效。
在另一种可能实现方式中,基于视频处理特效,对包含目标对象的第二视频画面进行处理,包括:
获取包含目标对象的第二视频画面;
基于视频处理特效,对第二视频画面进行处理,得到第三视频画面。
在另一种可能实现方式中,视频处理特效为脸部变换特效,且包括第一视频特效;
基于视频处理特效,对第二视频画面进行处理,得到第三视频画面,包括:
从第二视频画面中识别目标对象的第一头部图像;
基于第一视频特效,对第一头部图像进行特效处理,得到第二头部图像;
将第二头部图像和第二视频画面中的其他部分图像组合,得到第三视频画面。
在另一种可能实现方式中,视频处理特效还包括特效参数;
基于第一视频特效,对第一头部图像进行特效处理,得到第二头部图像,包括:
当第一视频特效为瘦脸特效时,基于瘦脸特效的第一特效参数,对第一头部图像中的脸部区域进行瘦脸处理,得到第二头部图像;或者,
当第一视频特效为胖脸特效时,基于胖脸特效的第二特效参数,对第一头部图像中的脸部区域进行胖脸处理,得到第二头部图像。
在另一种可能实现方式中,从第二视频画面中识别目标对象的第一头部图像,包括:
通过头部检测模型对第二视频画面进行头部检测,得到包含目标对象头部的头部区域;
从第二视频画面中确定头部区域对应的第一头部图像。
在另一种可能实现方式中,从第二视频画面中识别目标对象的第一头部图像之前,该方法还包括:
确定两个目标肢体与目标对象的指定位置之间的第一距离,当第一距离不大于第三预设距离时,执行从第二视频画面中识别目标对象的第一头部图像的步骤;或者,
检测当前开启的视频处理特效是否为脸部变换特效;当当前开启的视频处理特效为脸部变换特效时,执行从第二视频画面中识别目标对象的第一头部图像的步骤。
在另一种可能实现方式中,视频处理特效为素材变换特效;
基于视频处理特效,对第二视频画面进行处理,得到第三视频画面,包括:
从第二视频画面中识别目标对象的两个目标肢体;
基于视频处理特效,确定视频处理特效对应的素材特效;
将素材特效加载到第二视频画面中的第二两个目标肢体之间,得到第三视频画面。
在另一种可能实现方式中,基于视频处理特效,确定视频处理特效对应的素材特效,包括:
确定当前时间对应的节日,获取节日对应的素材特效。
在另一种可能实现方式中,从第二视频画面中识别目标对象的两个目标肢体之前,方法还包括:
确定两个目标肢体与目标对象的指定位置之间的第一距离,当第一距离大于第三预设距离时,执行从第二视频画面中识别目标对象的两个目标肢体的步骤;或者,
检测当前开启的视频处理特效是否为素材变换特效;当当前开启的视频处理特效为素材变换特效时,执行从第二视频画面中识别目标对象的两个目标肢体的步骤。
在另一种可能实现方式中,根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效之前,方法还包括:
确定第一肢体姿态的保持时长;
当保持时长超过预设时长时,执行根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效的步骤。
在另一种可能实现方式中,基于视频处理特效,对包含目标对象的第二视频画面进行处理之后,方法还包括:
从当前包含目标对象的第四视频画面中识别目标对象的第二肢体姿态;
当检测到第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消视频处理特效。
本公开实施例提供的视频处理的方法,终端实时获取视频画面中目标对象的肢体姿态,当该肢体姿态为用于设置视频处理特效的肢体姿态时,根据该肢体姿态,确定与该肢体姿态对应的视频处理特效。基于该视频处理特效,对包含目标对象的第二视频画面进行处理。该方法可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图2是根据一示例性实施例示出的一种视频处理的方法的流程图,应用于终端中,本实施例以根据第一肢体距离,确定视频处理特效,且视频处理特效为脸部变换特效为例进行说明,如图2所示,包括以下步骤:
在步骤S21中,终端从当前的第一视频画面中识别目标对象的第一肢体姿态。
本步骤中,当前的第一视频画面可以为在仅开启摄像功能,但未录制视频时,终端显示的当前包含目标对象的视频画面,也可以为终端为目标对象录制视频过程中录制的视频画面。其中,终端可以在仅开启摄像功能的条件下,为目标对象设置视频处理特效;也可以在录制视频过程中,设置视频处理特效。相应的,当在录制视频过程中,设置视频处理特效时,终端中可以安装视频录制应用,终端可以通过该视频录制应用为目标对象录制视频。其中,该视频录制应用可以为直播应用或者相机等。该目标对象可以为人或者动物,例如,目标对象为动物时,该动物可以猫或者狗等。该终端可以为手机、平板电脑、计算机等。
当目标对象想要触发终端设置视频处理特效时,目标对象可以做出用于设置视频处理特效的肢体姿态。终端从当前的第一视频画面中识别目标对象的第一肢体姿态。其中,终端可以通过肢体检测模型,从当前的第一视频画面中识别出目标对象的第一肢体姿态。
第一肢体姿态可以为第一视频画面中目标对象的至少一个目标肢体当前所处的状态,该状态可以为至少一个目标肢体当前的姿势或者位置,该至少一个目标肢体可以为目标对象的一个肢体或者多个肢体。
当至少一个肢体为目标对象的一个肢体时,该一个肢体可以为目标对象的任一肢体,例如,手部、头部或者脚部等;当至少一个肢体为目标对象的多个肢体时,该多个肢体的数量可以为两个、三个或者四个。在本公开实施例中,对此不作具体限定。例如,该多个肢体的数量为两个时,两个目标肢体可以为目标对象的两个上肢、两个下肢或者一个上肢一个下肢,例如,两个目标肢体可以为目标对象的两个手腕、两个脚腕或者一个手腕一个肘部。在本公开实施例中,对此不作具体限定。例如,当目标肢体为目标对象的头部时,第一肢体姿态可以为目标对象的头部当前的姿势;当目标肢体为目标对象的两个手腕时,第一肢体姿态可以为该两个手腕之间的距离。
需要说明的一点是,终端检测当前的第一视频画面中是否存在视频处理特效,当存在视频处理特效时,终端就不对目标对象的第一肢体姿态进行识别了。当不存在时,终端执行步骤S21中从当前的第一视频画面中识别目标对象的第一肢体姿态的步骤。
需要说明的另一点是,终端中设有视频处理特效开启按钮和关闭按钮,该开启按钮用于触发终端开启通过肢体姿态设置视频处理特效的功能,该关闭按钮用于触发终端关闭通过肢体姿态设置视频处理特效的功能。并且,终端从当前的第一视频画面中识别目标对象的第一肢体姿态之前,终端确定是否开启通过肢体姿态设置视频处理特效的功能;当开启时,终端才从当前的第一视频画面中识别目标对象的第一肢体姿态;当没有开启时,终端不进行肢体姿态的识别。
在本公开实施例中,终端在视频处理特效的开启按钮处于开启状态时,才对目标对象的第一肢体姿态进行识别,避免了该开启按钮处于关闭状态时,对目标对象的第一肢体姿态,耗费资源。并且,用户可以根据需要随时触发终端开启该开启按钮,提高了用户体验。
需要说明的另一点是,该肢体检测模型可以为深度学习检测模型、Adaboost学习检测模型或者深度学习检测模型和DarkNet(黑暗网络)网络模型相结合得到的肢体检测模型。在本公开实施例中,对肢体检测模型不作具体限定。并且,终端可以自己训练肢体检测模型,还可以在识别第一肢体姿态时,训练一次得到肢体检测模型,后续不再重复训练肢体检测模型,而直接使用已训练得到的肢体检测模型;或者,终端直接获取其他设备训练得到的肢体检测模型。在本公开实施例中,对终端获取肢体检测模型的方式不作具体限定。
在步骤S22中,当检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,终端基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离。
当终端检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,终端根据目标对象的两个目标肢体当前所处的位置,确定两个目标肢体之间的第一肢体距离。其中,终端可以将两个目标肢体分别抽象为两个点,确定当前该两个点之间的距离,将该两个点之间的距离作为第一肢体距离;或者,将两个目标肢体之间的最大距离作为第一肢体距离;或者,将两个目标肢体之间的最小距离作为第一肢体距离。在本公开实施例中,对终端确定第一肢体距离的方式不作具体限定。
例如,当两个目标肢体为两个手部时,终端可以将当前两个手部中手掌中心所处位置分别抽象为两个点,将该两个点之间的距离作为第一肢体距离。或者,当两个目标肢体为两个大拇指时,终端可以将两个大拇指之间的最大距离作为第一肢体距离。
需要说明的一点是,当终端检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,可以直接基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离;或者,终端检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,终端继续对第一肢体姿态进行检测,当检测到第一肢体姿态的保持时长达到第一预设时长时,执行步骤S22中的基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离。
终端可以实时监测每帧视频画面中目标对象的肢体姿态,当前帧视频画面中目标对象的肢体姿态和上一帧视频画面中目标对象的肢体姿态不同时,终端监测当前帧视频画面中目标对象的肢体姿态保持不变的起始时间,从该起始时间开始计时,将计时的时长作为保持时长。当该保持时长达到第一预设时长时,执行步骤S22中的基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离;当该保持时长没有达到第一预设时长时,终端不作反应。
在一种可能的实现方式中,当目标对象处于站姿状态,但目标对象只露出下半身,这时第一肢体姿态可以为目标对象两个脚腕之间的肢体距离或者两个膝盖之间的肢体距离。当该两个膝盖之间的距离在当前帧视频画面中与上一帧视频画面中不同时,终端记录当前帧视频画面中两个膝盖之间的距离保持不变的起始时间,从该起始时间开始计时,将计时的时长作为保持时长,并确定该保持时长是否达到第一预设时长。例如,第一预设时长为1秒,保持时长达到1秒时,终端执行步骤S22中的基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离;当保持时长还未达到1秒时,两个膝盖之间的距离发生改变,则终端不作反应。
需要说明的另一点是,终端在确定第一肢体姿态的保持时长达到第一预设时长时,才执行步骤S22中的基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离,可以避免在目标对象无意识做出第一肢体姿态的情况下,终端识别目标对象的肢体姿态,提高了终端设置视频处理特效的准确率。
第一预设时长的大小可以根据需要进行设置并更改,在本公开实施例中,对第一预设时长不作具体限定。
在步骤S23中,终端根据第一肢体距离,确定与该第一肢体距离对应的第一视频特效。
视频处理特效中至少包括第一视频特效,视频处理特效还可以包括特效参数。视频处理特效可以为变换脸型、变换头型或者变换身型等。第一视频特效可以为胖脸特效、瘦脸特效、压缩特效、拉伸特效。特效参数可以为变换程度;例如,当第一视频特效为胖脸特效时,特效参数可以为胖脸倍数;当第一视频特效为瘦脸特效时,特效参数可以为瘦脸倍数。当第一视频特效为压缩特效时,特效参数可以为压缩倍数;当第一视频特效为拉伸特效时,特效参数可以为拉伸倍数。
在一种可能的实现方式中,终端可以根据第一肢体距离,确定与该第一肢体距离对应的第一视频特效。相应的,该步骤为:当终端确定第一肢体距离后,可以根据第一肢体距离与第一预设距离的大小关系,获取该第一肢体距离对应的第一视频特效。其中,当第一肢体距离大于第一预设距离时,确定第一视频特效为胖脸特效;当第一肢体距离小于第一预设距离时,确定第一视频特效为瘦脸特效。
视频处理特效为脸部变换特效,第一视频特效为胖脸特效或者瘦脸特效。例如,第一预设距离为30厘米,第一肢体距离为20厘米时,第一肢体距离小于第一预设距离,对应的第一视频特效为瘦脸特效,参见图3;肢体距离为40厘米时,第一肢体距离大于第一预设距离,对应的第一视频特效为胖脸特效,参见图4。视频处理特效还可以为头型变换特效,第一视频特效为拉伸特效或者压缩特效。第一预设距离为30厘米,第一肢体距离为20厘米时,第一肢体距离小于第一预设距离,对应的第一视频特效为压缩特效;第一肢体距离为40厘米时,第一肢体距离大于第一预设距离,对应的第一视频特效为拉伸特效。
第一预设距离可以根据需要进行设置并更改,在本公开实施例中,对此不作具体限定。
需要说明的一点是,该视频处理特效至少包括第一视频特效,还可以包括特效参数;当该视频处理特效仅包括第一视频特效时,终端执行完步骤S23后,直接执行步骤S25。当该视频处理特效还包括特效参数时,终端执行完步骤S23后,直接执行步骤S24;在本公开实施例中,对此不作具体限定。
步骤S24:终端根据第一肢体距离,确定与该第一肢体距离对应的特效参数。
在本步骤中,视频处理特效还包括:特效参数。不同的特效参数对应不同程度的第一视频特效。本步骤可以通过以下两种实现方式中任一种实现方式实现。
第一种实现方式,终端根据第一肢体距离,确定该第一肢体距离所在的肢体距离范围,根据该肢体距离范围,从肢体距离范围和特效参数的对应关系中获取肢体距离范围对应的特效参数。
终端中存储了肢体距离范围和特效参数的对应关系,在该实现方式中,终端可以从其他设备获取肢体距离范围和特效参数的对应关系,也可以自己建立肢体距离范围和特效参数的对应关系。当终端自己建立肢体距离范围和特效参数的对应关系时,终端建立肢体距离范围和特效参数的对应关系的步骤可以通过以下步骤S241至S242实现,包括:
步骤S241:终端设置多个肢体距离范围,确定每个第一肢体距离所在的肢体距离范围。
终端设置肢体距离范围时,可以等距离设置,也可以不等距离设置。在本公开实施例中,对此不作具体限定。例如,终端可以等距离设置肢体距离范围。当终端等距离设置肢体距离范围时,等距离设置的距离间隔也可以根据需要进行设置并更改。例如,等距离设置的距离间隔可以为10厘米,即每间隔10厘米,对应的特效参数增加或者减少1。例如,第一预设距离为30厘米,在第一预设距离的基础上,每增加10厘米,对应的特效参数增加1;每减少10厘米,对应的特效参数减少1。
例如,第一预设距离为30厘米,终端可以在第一预设距离的基础上设置多个肢体距离范围。例如,该多个肢体距离范围分别为0~10厘米,10~20厘米,20~30厘米,30~40厘米,40~50厘米,50~60厘米等。将该六个肢体距离范围分别称为第一肢体距离范围、第二肢体距离范围、第三肢体距离范围、第四肢体距离范围、第五肢体距离范围和第六肢体距离范围。其中,该肢体距离范围中某一肢体距离范围的左边界值包含在该范围内,右边界值不包含在该范围内。例如,10~20厘米范围中只包含肢体距离为10厘米,不包含肢体距离为20厘米;20~30厘米范围中只包含肢体距离为20厘米,不包含肢体距离为30厘米。例如,当第一肢体距离为25厘米时,终端确定该第一肢体距离对应的肢体距离范围为第三肢体距离范围;当第一肢体距离为45厘米时,终端确定该第一肢体距离对应的肢体距离范围为第五肢体距离范围。
步骤S242:终端根据每个肢体距离范围,建立肢体距离范围和特效参数的对应关系。
不同的肢体距离范围对应不同的特效参数,特效参数的绝对值越大,视频特效的变化程度越大。
在步骤S241中,终端分别设置了六个肢体距离范围,分别为第一肢体距离范围、第二肢体距离范围、第三肢体距离范围、第四肢体距离范围、第五肢体距离范围和第六肢体距离范围。每个肢体距离范围对应一个特效参数,则六个肢体距离范围对应的特效参数可以分别为-3、-2、-1.5、1.5、2或者3。当视频处理特效为脸部变换特效时,例如,当特效参数为-1.5时,是指将目标对象的脸部缩小1.5倍;特效参数为-2,是指将目标对象的脸部缩小2倍;特效参数为1.5,是指将目标对象的脸部放大1.5倍;特效参数为2,是指将目标对象的脸部放大2倍。当视频处理特效为头部变换特效时,例如,当特效参数为-1.5时,是指将目标对象的头部压缩1.5倍;当特效参数为1.5,是指将目标对象的头部拉伸1.5倍。
则终端建立的肢体距离范围和特效参数的对应关系为:肢体距离范围为0~10厘米,特效参数为-3;肢体距离范围为10~20厘米,特效参数为-2;肢体距离范围为20~30厘米,特效参数为-1.5;肢体距离范围为30~40厘米,特效参数为1.5;肢体距离范围为40~50厘米,特效参数为2;肢体距离范围为50~60厘米,特效参数为3。终端存储该肢体距离范围和特效参数的对应关系。
第二种实现方式,终端根据第一肢体距离,从肢体距离和特效参数的对应关系中获取第一肢体距离对应的特效参数。
终端中存储肢体距离和特效参数的对应关系。不同的肢体距离,对应不同的特效参数。其中,终端可以从其他设备获取肢体距离和特效参数的对应关系,也可以自己建立肢体距离和特效参数的对应关系。相应的,终端自己建立肢体和特效参数的对应关系和第一种实现方式中终端自己建立肢体距离范围和特效参数的对应关系相似。
在该实现方式中,第一肢体距离对应的特效参数可以为第一肢体距离与第一预设距离的比值或者第一预设距离与第一肢体距离比值的相反数。当第一肢体距离大于第一预设距离时,该特效参数可以为第一肢体距离与第一预设距离的比值,对应的第一视频特效为胖脸特效;当第一肢体距离小于第一预设距离时,该特效参数可以为第一预设距离与第一肢体距离比值的相反数,即负值。其中,该负值的负号代表其对应的第一视频特效为瘦脸特效,负值的大小为瘦脸特效的变化程度。
例如,第一预设距离为30厘米,第一肢体距离为25厘米时,对应的特效参数可以为-1.2;第一肢体距离为20厘米时,对应的特效参数可以为-1.5;第一肢体距离为36厘米时,对应的特效参数可以为1.2;第一肢体距离为45厘米时,对应的特效参数可以为1.5。
在步骤S25中,终端获取包含目标对象的第二视频画面。
本步骤中,终端获取的第二视频画面可以为在仅开启摄像功能,但未录制视频时,终端获取包含目标对象的视频画面;也可以为终端为目标对象录制视频过程中获取的视频画面。第一视频画面是一帧视频画面,终端为目标对象设置视频处理特效之前,对目标对象继续采集,从当前的第一视频画面采集到第二视频画面。
在步骤S26中,终端从第二视频画面中识别目标对象的第一头部图像。
本步骤可以通过以下步骤S261至S262实现,包括:
步骤S261:终端通过头部检测模型,对第二视频画面进行头部检测,得到包含目标对象头部的头部区域。
本步骤中,终端需要获取头部检测模型;其中,终端可以自己训练头部检测模型,还可以在录制视频时,训练一次得到头部检测模型,后续不再重复训练头部检测模型,而直接使用已训练得到的头部检测模型;或者,终端直接获取其他设备训练得到的头部检测模型。在本公开实施例中,对终端获取头部检测模型的方式不作具体限定。
需要说明的一点是,该头部检测模型和肢体检测模型可以相同或者不相同。在本公开实施例中,对此不作具体限定。
步骤S262:终端从第二视频画面中确定该头部区域对应的第一头部图像。
需要说明的一点是,终端在执行步骤S26之前,可以先确定视频处理特效是否为脸部变换特效;当视频处理特效为脸部变换特效时,终端执行步骤S26;当该视频处理特效不为脸部变换特效时,结束。其中,终端确定该视频处理特效是否为脸部变换特效的步骤可以为:
第一种实现方式,终端确定两个目标肢体与目标对象的指定位置之间的第一距离,当第一距离不大于第三预设距离时,确定该视频处理特效为脸部变换特效。当第一距离大于第三预设距离时,确定该视频处理特效不为脸部变换特效。
在该实现方式中,目标对象的指定位置可以为目标对象的脸部,或者脸部中的鼻子、嘴巴等,第一距离可以为两个目标肢体的中间位置与脸部之间的距离,或者该中间位置与脸部中的鼻子之间的距离,或者该中间位置与脸部中的嘴巴之间的距离。在本公开实施例中,对此不作具体限定。第三预设距离可以根据需要进行设置并更改,在本公开实施例中,对第三预设距离不作具体限定。
第二种实现方式,终端检测当前开启的视频处理特效是否为脸部变换特效;如果当前开启的视频处理特效为脸部变换特效时,确定该视频处理特效为脸部变换特效;如果当前开启的视频处理特效不为脸部变换特效时,确定该视频处理特效不为脸部变换特效。
需要说明的一点是,终端中可以设有不同的视频处理特效的虚拟按键,用户可以根据需要自行选择视频处理特效的虚拟按键,在选择的视频处理特效下进行相应操作。例如,终端的录制视频界面中设置脸部变换特效对应的第一虚拟按键和素材变换特效对应的第二虚拟按键;当用户想要开启脸部变换特效时,用户可以触发第一虚拟按键,当用户想要开启素材变换特效时,用户可以触发第二虚拟按键。当终端检测到第一虚拟按键被触发时,开启脸部变换特效,也即当前开启的视频处理特效为脸部变换特效;当终端检测到第二虚拟按键被触发时,开启素材变换特效,也即当前开启的视频处理特效为素材变换特效。
步骤S27:终端基于第一视频特效,对第一头部图像进行特效处理,得到第二头部图像。
在一种可能的实现方式中,视频处理特效可以为脸部变换特效。当该视频处理特效为脸部变换特效时,在第一肢体距离小于第一预设距离时,终端确定该第一视频特效为瘦脸特效,并根据该第一肢体距离,确定与该瘦脸特效对应的第一特效参数。当第一视频特效为瘦脸特效时,基于瘦脸特效的第一特效参数,对第一头部图像中的脸部区域进行瘦脸处理,得到第二头部图像。当第一肢体距离大于第一预设距离时,终端确定该第一视频特效为胖脸特效,并根据该第一肢体距离,确定与该胖脸特效对应的第二特效参数。当第一视频特效为胖脸特效时,基于胖脸特效的第二特效参数,对第一头部图像中的脸部区域进行胖脸处理,得到第二头部图像。
例如,第一视频特效为瘦脸特效,对应的特效参数为-2,则终端将第一头部图像中目标对象的脸部缩小2倍,得到第二头部图像;当瘦脸特效对应的特效参数为-3,则终端将第一头部图像中目标对象的脸部缩小3倍,得到第二头部图像。第一视频特效为胖脸特效,对应的特效参数为2,则终端将第一头部图像中目标对象的脸部放大2倍,得到第二头部图像;当瘦脸特效对应的特效参数为3,则终端将第一头部图像中目标对象的脸部放大3倍,得到第二头部图像。
在另一种可能的实现方式中,视频处理特效可以为头部变换特效。当该视频处理特效为头部变换特效时,在第一肢体距离小于第一预设距离时,终端确定该第一视频特效为压缩特效,并根据该第一肢体距离,确定与该压缩特效对应的第三特效参数。当第一视频特效为压缩特效时,基于压缩特效的第三特效参数,对第一头部图像中的头部区域进行压缩处理,得到第二头部图像。例如,当第一肢体距离大于第一预设距离时,终端确定该第一视频特效为拉伸特效,并根据该第一肢体距离,确定与该拉伸特效对应的第四特效参数。当第一视频特效为拉伸特效时,基于拉伸特效的第四特效参数,对第一头部图像中的头部区域进行拉伸处理,得到第二头部图像。
步骤S28:终端将第二头部图像和第二视频画面中的其他部分图像组合,得到第三视频画面。
终端将第二头部图像和第二视频画面中除头部区域以外的其他部分图像组合,得到第三视频画面,该第三视频画面中目标对象的脸部或头部为经过特效处理的脸部或头部。
在另一种可能的实现方式中,当视频处理特效为身型变换特效时,终端可以通过躯体检测模型,对第二视频画面进行躯体检测,得到包含目标对象躯体的躯体区域,从第二视频画面中确定该躯体区域对应的第一躯体图像。终端基于视频处理特效,确定视频处理特效对应的第一视频特效和特效参数,基于特效参数和第一视频特效,对第一躯体图像进行特效处理,得到第二躯体图像。终端将第二躯体图像和第二视频画面中的其他部分图像组合,得到第三视频画面。
当视频处理特效为身型变换特效时,第一视频特效可以为缩小特效或者放大特效,根据第一肢体距离确定第一视频特效对应的特效参数。在第一肢体距离小于第一预设距离时,终端确定该第一视频特效为缩小特效,并根据该第一肢体距离,确定与该缩小特效对应的第五特效参数。当第一视频特效为缩小特效时,基于缩小特效的第五特效参数,对第一躯体图像中的躯体区域进行缩小处理,得到第二躯体图像。例如,当第一肢体距离大于第一预设距离时,终端确定该第一视频特效为放大特效,并根据该第一肢体距离,确定与该放大特效对应的第六特效参数。当第一视频特效为放大特效时,基于放大特效的第六特效参数,对第一躯体图像中的头部区域进行放大处理,得到第二躯体图像。
该种实现方式和上述实现方式的步骤相似,在此不再赘述。
需要说明的一点是,终端执行完本步骤后,可以对设有视频处理特效的目标对象继续采集,即执行完步骤S28后,直接结束操作。或者,终端执行完本步骤后,在检测到第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消视频处理特效,即执行完步骤S28后,执行步骤S29至S210。
在步骤S29中,终端从当前包含目标对象的第四视频画面中识别目标对象的第二肢体姿态。
本步骤和步骤S21中终端识别目标对象的第一肢体姿态的步骤相似,在此不再赘述。
在步骤S210中,当终端检测到第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消脸部变换特效。
当用户想取消视频处理特效时,可以通过第二肢体姿态来取消视频处理特效。第二肢体姿态和第一肢体姿态可以相同或者不相同。在本公开实施例中,对第二肢体姿态不作具体限定。
在一种可能的实现方式中,当第二肢体姿态和第一肢体姿态相同时,终端还监测第二肢体姿态的保持时长,当第二肢体姿态的保持时长超过第一预设时长时,终端取消该视频处理特效。第二肢体姿态的保持时长和第一肢体姿态的保持时长可以相同或者不相同。在本公开实施例中,对此不作具体限定。例如,第二肢体姿态的保持时长和第一肢体姿态的保持时长相同。当第一肢体姿态为目标对象的两个手腕之间的肢体距离保持不变的姿态时,第二肢体姿态也为目标对象的两个手腕之间的肢体距离与第一肢体姿态中的肢体距离相同时的姿态。例如,第一肢体姿态为两个手腕之间的肢体距离为40厘米时的姿态,则第二肢体姿态也为两个手腕之间的肢体距离为40厘米时的姿态。即当第二肢体姿态和第一肢体姿态相同时,终端取消视频处理特效。也即在本公开实施例中,终端第一次识别目标对象的第一肢体姿态时,为目标对象设置视频处理特效;终端第二次识别目标对象的第二肢体姿态时,取消视频处理特效;第三次识别到第一肢体姿态时,再次为目标对象设置视频处理特效。其中,终端监测第二肢体姿态和保持时长和检测第一肢体姿态的保持时长的方式相似,在此不再赘述。
在另一种可能的实现方式中,当第二肢体姿态和第一肢体姿态不相同时,第二肢体姿态可以为目标对象的某个肢体进行的特定操作。例如,第二肢体姿态可以为目标对象的左手做出的特定手势或者右手做出的特定手势。在本公开实施例中,对该特定手势不作具体限定。
当终端在录制视频过程中取消视频处理特效后,可以继续对包含目标对象的视频画面进行录制,然后执行步骤S21。当终端在仅开启摄像功能,但未录制视频时取消视频录制特效后,可以继续对包含目标对象的视频画面进行采集,然后执行步骤S21。
本公开实施例提供的视频处理的方法,终端实时获取视频画面中目标对象的肢体姿态,当该肢体姿态为用于设置视频处理特效的肢体姿态时,根据该肢体姿态,确定与该肢体姿态对应的视频处理特效。基于该视频处理特效,对包含目标对象的第二视频画面进行处理。该方法可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。
图5是根据一示例性实施例示出的一种视频处理的方法的流程图,应用于终端中,本实施例以根据肢体姿态,确定视频处理特效,且视频处理特效为脸部变换特效为例进行说明,如图5所示,包括以下步骤:
在步骤S51中,终端从当前的第一视频画面中识别目标对象的第一肢体姿态。
在步骤S52中,当检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,终端根据该第一肢体姿态,确定与第一肢体姿态对应的视频处理特效。
当终端检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,可以直接根据第一肢体姿态,确定与该第一肢体姿态对应的视频处理特效。相应的,在本步骤之前,终端中存储肢体姿态和视频处理特效的对应关系,终端可以直接根据肢体姿态,从肢体姿态和视频处理特效的对应关系中,确定该肢体姿态对应的视频处理特效。
例如,终端可以识别目标对象的头部姿态,当该头部姿态为向左倾斜达到第一预设角度时,确定视频处理特效为胖脸特效;当该头部姿态向右倾斜达到第二预设角度时,确定视频特效为瘦脸特效。或者,终端可以识别目标对象的头部姿态,当该头部姿态为点头时,确定视频处理特效为胖脸特效;当该头部姿态为摇头时,确定视频处理特效为瘦脸特效。或者,终端可以识别目标对象的手部姿势,当目标对象做出第一手势时,确定视频处理特效为胖脸特效;当目标对象做出第二手势时,确定视频处理特效为瘦脸特效。
第一手势和第二手势可以为任一手势,例如,第一手势可以为OK手势,第二手势可以为剪刀手手势。在本公开实施例中,对第一手势和第二手势不作具体限定。第一预设角度和第二预设角度可以相同或者不相同,在本公开实施例中,对此不作具体限定。例如,第一预设角度和第二预设角度相同,均为30度。
在步骤S53中,终端获取包含目标对象的第二视频画面。
在步骤S54中,终端从第二视频画面中识别目标对象的第一头部图像。
在步骤S55中,终端基于第一视频特效,对第一头部图像进行特效处理,得到第二头部图像。
在步骤S56中,终端将第二头部图像和第二视频画面中的其他部分图像组合,得到第三视频画面。
在步骤S57中,终端从当前包含目标对象的第四视频画面中识别目标对象的第二肢体姿态。
在步骤S58中,当终端检测到第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消脸部变换特效。
需要说明的一点是,步骤S51和步骤S21相同,在此不再赘述;步骤S53至S58分别与步骤S25至S210相同,在此不再赘述。
本公开实施例提供的视频处理的方法,终端实时获取视频画面中目标对象的肢体姿态,当该肢体姿态为用于设置视频处理特效的肢体姿态时,根据该肢体姿态,确定与该肢体姿态对应的视频处理特效。基于该视频处理特效,对包含目标对象的第二视频画面进行处理。该方法可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。
图6是根据一示例性实施例示出的一种视频处理的方法的流程图,应用于终端中,本实施例以根据第二肢体距离,确定视频处理特效,且视频处理特效为素材变换特效为例进行说明,如图6所示,包括以下步骤:
在步骤S61中,终端从当前的第一视频画面中识别目标对象的第一肢体姿态。
本步骤和步骤S21相同,在此不再赘述。
在步骤S62中,当检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,终端基于该第一肢体姿态,确定目标对象的两个目标肢体之间的第二肢体距离。
在本步骤中,终端确定目标对象的两个目标肢体之间的第二肢体距离的过程和步骤S21相似,在此不再赘述。
在步骤S63中,当第二肢体距离大于第二预设距离时,终端确定第二视频特效为增加素材特效。
其中,该增加素材特效可以为增加祝福用语或节日用语等。在本步骤中,当第二肢体距离大于第二预设距离时,终端才确定与该第二肢体距离对应的第二视频特效,可以避免在目标对象无意识达到第二肢体距离时,终端根据第二肢体距离确定第二视频特效,提高了终端设置视频处理特效的准确率。
第二预设距离与素材特效的尺寸匹配。例如,第二预设距离可以大于素材特效的长度,且第二预设距离可以根据需要进行设置并更改,在本公开实施例中,对第二肢体距离不作具体限定。例如,第二预设距离为20厘米,第二肢体距离为30厘米,第二肢体距离大于第二预设距离,则终端确定第二视频特效;当第二肢体距离为15厘米时,第二肢体距离小于第二预设距离,终端不作反应。
在一种可能的实现方式中,终端还可以根据第二肢体距离确定第二视频特效对应的特效参数。
第二视频特效对应的特效参数可以为增加的素材的字体大小,字数长短等。当第二肢体距离大于第二预设距离,且第二肢体距离与第二预设距离的比值超过第一比值时,增加的素材的字体可以较大,或者字数较多;当第二肢体距离小于第二预设距离但大于第三预设距离,且第二预设距离与第二肢体距离的比值小于第二比值时,增加的素材的字体可以较小,或者字数较少。第一比值和第二比值可以根据需要进行设置并更改,在本公开实施例中,对第一比值和第二比值均不作具体限定。
需要说明的一点是,当第二肢体距离不大于第二预设距离时,终端也可以确定第二视频特效为增加素材特效;此时,终端可以根据第二肢体距离,确定第二视频特效的特效参数。
在步骤S64中,终端获取包含目标对象的第二视频画面。
本步骤和步骤S25相同,在此不再赘述。
在步骤S65中,终端从第二视频画面中识别目标对象的两个目标肢体。
本步骤中,终端识别目标对象的两个目标肢体的过程和步骤S21中终端识别目标对象的第一肢体姿态的过程相似,在此不再赘述。
需要说明的一点是,终端在执行步骤S65之前,可以先确定视频处理特效是否为素材变换特效;当视频处理特效为素材变换特效时,终端执行步骤S65;当该视频处理特效不为素材变换特效时,结束。其中,终端确定该视频处理特效是否为素材变换特效的步骤可以为:
第一种实现方式,终端确定两个目标肢体与目标对象的指定位置之间的第一距离,当第一距离大于第三预设距离时,确定该视频处理特效为素材变换特效。当第一距离不大于第三预设距离时,确定该视频处理特效不为素材变换特效。
在该实现方式中,目标对象的指定位置可以为目标对象的脸部,或者脸部中的鼻子、嘴巴等,第一距离可以为两个目标肢体的中间位置与脸部之间的距离,或者该中间位置与脸部中的鼻子之间的距离,或者该中间位置与脸部中的嘴巴之间的距离。在本公开实施例中,对此不作具体限定。第三预设距离可以根据需要进行设置并更改,在本公开实施例中,对第三预设距离不作具体限定。
第二种实现方式,终端检测当前开启的视频处理特效是否为素材变换特效;如果当前开启的视频处理特效为素材变换特效时,确定该视频处理特效为素材变换特效;如果当前开启的视频处理特效不为素材变换特效时,确定该视频处理特效不为素材变换特效。
需要说明的一点是,终端中可以设有不同的视频处理特效的虚拟按键,用户可以根据需要自行选择视频处理特效的虚拟按键,在选择的视频处理特效下进行相应操作。例如,终端的录制视频界面中设置脸部变换特效对应的第一虚拟按键和素材变换特效对应的第二虚拟按键;当用户想要开启脸部变换特效时,用户可以触发第一虚拟按键,当用户想要开启素材变换特效时,用户可以触发第二虚拟按键。当终端检测到第一虚拟按键被触发时,开启脸部变换特效,也即当前开启的视频处理特效为脸部变换特效;当终端检测到第二虚拟按键被触发时,开启素材变换特效,也即当前开启的视频处理特效为素材变换特效。
步骤S66:终端基于增加素材特效,确定待增加的素材。
在一种可能的实现方式中,终端中存储多个素材,终端从已存储的多个素材中随机或者顺序选择一个素材作为待增加的素材。
在另一种可能的实现方式中,终端可以根据当前时间确定待增加的素材。相应的,终端基于增加素材特效,确定待增加的素材的步骤可以为:终端确定当前时间对应的节日,获取该节日对应的素材。
其中,终端中可以预先存储节日和素材的对应关系;相应的,终端获取该节日对应的素材的步骤可以为:终端根据当前时间对应的节日,从节日和素材的对应关系中,获取该节日对应的素材。
例如,与当前时间临近的节日为春节,则终端获取春节对应的素材,该素材可以为春节快乐、猪年大吉、福到等。与当前时间临近的节日为元旦,则终端获取元旦对应的素材,该素材可以为元旦快乐、新年快乐、66666等。在本公开实施例中,对此不做具体限定。
其中,终端中存储时间范围与节日的对应关系;相应的,终端确定当前时间对应的节日的步骤可以为:终端确定该当前时间所在的时间范围,根据该时间范围,从时间范围和节日的对应关系中获取当前时间对应的节日。例如,12月24日-12月26日对应的节日为圣诞节,12月29日-1月2日对应的节日为元旦等。
需要说明的一点是,终端中存储的素材可以为终端默认的素材,也可以为目标对象自定义的素材,还可以为终端从服务器中下载的素材,对此不作具体限定。
步骤S67:终端将该素材加载到第二视频画面中的两个目标肢体之间,得到第三视频画面。
终端获取到与该节日对应的素材后,将该素材加载到目标对象的两个目标肢体之间,得到第三视频画面。当该两个目标肢体为目标对象的两个手部时,目标对象的两个手部之间的距离为第二肢体距离,终端将该素材添加到两个手部之间,即在两个手部之间增加该素材,从而得到第三视频画面,参见图7。
需要说明的一点是,终端确定与该节日对应的素材后,在将该素材加载到第二视频画面中的两个目标肢体之间之前,可以将该素材缩小后预先加载到目标对象的脸部的一个位置或几个位置,在预设时间间隔后,再将该素材加载到第二视频画面中的两个目标肢体之间。或者,终端直接将该素材加载到两个目标肢体之间。在本公开实施例中,对此不作具体限定。
需要说明的另一点是,终端可以在第三视频画面中可以一直显示该素材,也可以在该素材的显示时长达到第二预设时长时,取消该素材。目标对象也可以通过肢体姿态触发终端取消该素材。相应的,终端执行完步骤S67之后,可以执行步骤S68。
在步骤S68中,终端从当前包含目标对象的第四视频画面中识别目标对象的第二肢体姿态。
本步骤与步骤S29相似,在此不再赘述。
在步骤S69中,当终端检测到第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消该素材。
第一肢体姿态为目标对象的两个目标肢体之间呈现第二肢体距离,在本步骤中,第二肢体姿态可以为目标对象的两个目标肢体之间的第二肢体距离小于第四预设距离时对应的肢体姿态。当终端检测到第二肢体距离小于第四预设距离时,可以取消素材。第四预设距离可以根据需要进行设置并更改,在本公开实施例中,对第四预设距离不作具体限定。例如,目标对象的两个目标肢体为两个手部,第二肢体姿态可以为双手合十,即当目标对象双手合十时,终端取消增加素材特效。其余步骤和步骤S210相似,在此不再赘述。
本公开实施例提供的视频处理的方法,终端实时获取视频画面中目标对象的肢体姿态,当该肢体姿态为用于设置视频处理特效的肢体姿态时,根据该肢体姿态,确定与该肢体姿态对应的视频处理特效。基于该视频处理特效,对包含目标对象的第二视频画面进行处理。该方法可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。
图8是根据一示例性实施例示出的一种视频处理的装置的框图,如图8所示,该装置包括第一识别单元801、第一确定单元802和处理单元803。
第一识别单元801,被配置为从当前的第一视频画面中识别目标对象的第一肢体姿态;
第一确定单元802,被配置为当检测到第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效;
处理单元803,被配置为基于视频处理特效,对包含目标对象的第二视频画面进行处理。
在一种可能实现方式中,视频处理特效为脸部变换特效,且包括第一视频特效;
第一确定单元802,还被配置为基于第一肢体姿态,确定目标对象的两个目标肢体之间的第一肢体距离;
当第一肢体距离大于第一预设距离时,确定第一视频特效为胖脸特效;
当第一肢体距离小于第一预设距离时,确定第一视频特效为瘦脸特效。
在另一种可能实现方式中,视频处理特效还包括特效参数;
第一确定单元802,还被配置为根据第一肢体距离,确定第一肢体距离所在的肢体距离范围,根据肢体距离范围,从肢体距离范围和特效参数的对应关系中获取肢体距离范围对应的特效参数;或者,
根据第一肢体距离,从肢体距离和特效参数的对应关系中获取第一肢体距离对应的特效参数。
在另一种可能实现方式中,视频处理特效为素材变换特效,且包括第二视频特效;
第一确定单元802,还被配置为基于第一肢体姿态,确定目标对象的两个目标肢体之间的第二肢体距离;
当第二肢体距离大于第二预设距离时,确定第二视频特效为增加素材特效。
在另一种可能实现方式中,处理单元803,还被配置为获取包含目标对象的第二视频画面;基于视频处理特效,对第二视频画面进行处理,得到第三视频画面。
在另一种可能实现方式中,视频处理特效为脸部变换特效,且包括第一视频特效;
处理单元803,还被配置为从第二视频画面中识别目标对象的第一头部图像;基于第一视频特效,对第一头部图像进行特效处理,得到第二头部图像;将第二头部图像和第二视频画面中的其他部分图像组合,得到第三视频画面。
在另一种可能实现方式中,视频处理特效还包括特效参数;
处理单元803,还被配置为当第一视频特效为瘦脸特效时,基于瘦脸特效的第一特效参数,对第一头部图像中的脸部区域进行瘦脸处理,得到第二头部图像;或者,当第一视频特效为胖脸特效时,基于胖脸特效的第二特效参数,对第一头部图像中的脸部区域进行胖脸处理,得到第二头部图像。
在另一种可能实现方式中,处理单元803,还被配置为通过头部检测模型,对第二视频画面进行头部检测,得到包含目标对象头部的头部区域;从第二视频画面中确定头部区域对应的第一头部图像。
在另一种可能实现方式中,装置还包括:
第二确定单元,被配置为确定两个目标肢体与目标对象的指定位置之间的第一距离,当第一距离不大于第三预设距离时,执行从第二视频画面中识别目标对象的第一头部图像的步骤;或者,检测当前开启的视频处理特效是否为脸部变换特效;当当前开启的视频处理特效为脸部变换特效时,执行从第二视频画面中识别目标对象的第一头部图像的步骤。
在另一种可能实现方式中,视频处理特效为素材变换特效;
处理单元803,还被配置为从第二视频画面中识别目标对象的两个目标肢体;基于视频处理特效,确定视频处理特效对应的素材;将素材加载到第二视频画面中的两个目标肢体之间,得到第三视频画面。
在另一种可能实现方式中,处理单元803,还被配置为确定当前时间对应的节日,获取节日对应的素材。
在另一种可能实现方式中,装置还包括:
第三确定单元,被配置为确定两个目标肢体与目标对象的指定位置之间的第一距离,当第一距离大于第三预设距离时,执行从第二视频画面中识别目标对象的两个目标肢体的步骤;或者,检测当前开启的视频处理特效是否为素材变换特效;当当前开启的视频处理特效为素材变换特效时,执行从第二视频画面中识别目标对象的两个目标肢体的步骤。
在另一种可能实现方式中,装置还包括:
第四确定单元,被配置为确定第一肢体姿态的保持时长;当保持时长超过预设时长时,执行根据第一肢体姿态,确定与第一肢体姿态对应的视频处理特效的步骤。
在另一种可能实现方式中,装置还包括:
第二识别单元,被配置为从当前包含目标对象的第四视频画面中识别目标对象的第二肢体姿态;当检测到第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消视频处理特效。
本公开实施例提供的视频处理的装置,终端实时获取视频画面中目标对象的肢体姿态,当该肢体姿态为用于设置视频处理特效的肢体姿态时,根据该肢体姿态,确定与该肢体姿态对应的视频处理特效。基于该视频处理特效,对包含目标对象的第二视频画面进行处理。该装置可以根据目标对象的肢体姿态,为目标对象设置视频处理特效,不仅增加了趣味性,还避免了用户与终端之间通过交互来设置视频处理特效时所耗费的人力和时间,提高了视频处理的工作效率。
关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种终端900的框图。该终端900用于执行上述视频处理的方法中终端所执行的步骤。
通常,终端900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所具有以实现本公开中方法实施例提供的视频发布方法。
在一些实施例中,终端900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置终端900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在终端900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在终端900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时,可以检测用户对终端900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商标志集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对终端900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种非临时性计算机可读存储介质,计算机可读存储介质上存储有指令,该指令被终端的处理器执行时实现本公开实施例提供的视频处理的方法。
在示例性实施例中,还提供了一种应用程序,当应用程序中的指令由终端的处理器执行时,使得终端能够执行本公开实施例提供的视频处理的方法。
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频处理的方法,其特征在于,所述方法包括:
从当前的第一视频画面中识别目标对象的第一肢体姿态;
当检测到所述第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效;
基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理。
2.根据权利要求1所述的方法,其特征在于,所述视频处理特效为脸部变换特效,且包括第一视频特效;
所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效,包括:
基于所述第一肢体姿态,确定所述目标对象的两个目标肢体之间的第一肢体距离;
当所述第一肢体距离大于第一预设距离时,确定所述第一视频特效为胖脸特效;
当所述第一肢体距离小于所述第一预设距离时,确定所述第一视频特效为瘦脸特效。
3.根据权利要求1所述的方法,其特征在于,所述视频处理特效为素材变换特效,且包括第二视频特效;
所述根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效,包括:
基于所述第一肢体姿态,确定所述目标对象的两个目标肢体之间的第二肢体距离;
当所述第二肢体距离大于第二预设距离时,确定所述第二视频特效为增加素材特效。
4.根据权利要求1所述的方法,其特征在于,所述基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理,包括:
获取包含所述目标对象的第二视频画面;
基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面。
5.根据权利要求4所述的方法,其特征在于,所述视频处理特效为脸部变换特效,且包括第一视频特效;
所述基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面,包括:
从所述第二视频画面中识别所述目标对象的第一头部图像;
基于所述第一视频特效,对所述第一头部图像进行特效处理,得到第二头部图像;
将所述第二头部图像和所述第二视频画面中的其他部分图像组合,得到所述第三视频画面。
6.根据权利要求4所述的方法,其特征在于,所述视频处理特效为素材变换特效;
所述基于所述视频处理特效,对所述第二视频画面进行处理,得到第三视频画面,包括:
从所述第二视频画面中识别所述目标对象的两个目标肢体;
基于所述视频处理特效,确定所述视频处理特效对应的素材;
将所述素材加载到所述第二视频画面中的所述两个目标肢体之间,得到所述第三视频画面。
7.根据权利要求1所述的方法,其特征在于,所述基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理之后,所述方法还包括:
从当前包含所述目标对象的第四视频画面中识别所述目标对象的第二肢体姿态;
当检测到所述第二肢体姿态为用于取消视频处理特效的肢体姿态时,取消所述视频处理特效。
8.一种视频处理的装置,其特征在于,所述装置包括:
第一识别单元,被配置为从当前的第一视频画面中识别目标对象的第一肢体姿态;
第一确定单元,被配置为当检测到所述第一肢体姿态为用于设置视频处理特效的肢体姿态时,根据所述第一肢体姿态,确定与所述第一肢体姿态对应的视频处理特效;
处理单元,被配置为基于所述视频处理特效,对包含所述目标对象的第二视频画面进行处理。
9.一种终端,其特征在于,所述终端包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器;
其中,所述一个或多个处理器被配置为执行权利要求1~7任一项所述的视频处理的方法。
10.一种非临时性计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被终端的处理器执行时实现权利要求1~7任一项所述的视频处理的方法。
CN201910105638.4A 2019-02-01 2019-02-01 视频处理的方法、装置、终端及存储介质 Pending CN109803165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910105638.4A CN109803165A (zh) 2019-02-01 2019-02-01 视频处理的方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910105638.4A CN109803165A (zh) 2019-02-01 2019-02-01 视频处理的方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN109803165A true CN109803165A (zh) 2019-05-24

Family

ID=66562069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910105638.4A Pending CN109803165A (zh) 2019-02-01 2019-02-01 视频处理的方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109803165A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298306A (zh) * 2019-06-27 2019-10-01 北京百度网讯科技有限公司 目标对象运动信息的确定方法、装置及设备
CN110896450A (zh) * 2019-11-13 2020-03-20 维沃移动通信有限公司 一种人物图像的处理方法及电子设备
CN111639611A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种历史文物的展示控制方法及装置
CN112396676A (zh) * 2019-08-16 2021-02-23 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113487709A (zh) * 2021-07-07 2021-10-08 上海商汤智能科技有限公司 一种特效展示方法、装置、计算机设备以及存储介质
CN114116081A (zh) * 2020-08-10 2022-03-01 北京字节跳动网络技术有限公司 交互式动态流体效果处理方法、装置及电子设备
CN115278041A (zh) * 2021-04-29 2022-11-01 北京字跳网络技术有限公司 图像处理方法、装置、电子设备以及可读存储介质
WO2023273500A1 (zh) * 2021-06-29 2023-01-05 上海商汤智能科技有限公司 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质
WO2023051185A1 (zh) * 2021-09-29 2023-04-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139627A (zh) * 2013-02-07 2013-06-05 上海集成电路研发中心有限公司 智能电视及其手势控制方法
US20150297976A1 (en) * 2014-04-21 2015-10-22 Dfx: Sound Vision Interaction of audio, video, effects and architectural lighting with bowling scoring system and methods of use
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN105988566A (zh) * 2015-02-11 2016-10-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN106060581A (zh) * 2016-07-05 2016-10-26 广州华多网络科技有限公司 一种视频实时传输数据处理方法、装置及系统
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108711180A (zh) * 2018-05-02 2018-10-26 北京市商汤科技开发有限公司 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置
CN108833818A (zh) * 2018-06-28 2018-11-16 腾讯科技(深圳)有限公司 视频录制方法、装置、终端及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139627A (zh) * 2013-02-07 2013-06-05 上海集成电路研发中心有限公司 智能电视及其手势控制方法
US20150297976A1 (en) * 2014-04-21 2015-10-22 Dfx: Sound Vision Interaction of audio, video, effects and architectural lighting with bowling scoring system and methods of use
CN105988566A (zh) * 2015-02-11 2016-10-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN106060581A (zh) * 2016-07-05 2016-10-26 广州华多网络科技有限公司 一种视频实时传输数据处理方法、装置及系统
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108711180A (zh) * 2018-05-02 2018-10-26 北京市商汤科技开发有限公司 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置
CN108833818A (zh) * 2018-06-28 2018-11-16 腾讯科技(深圳)有限公司 视频录制方法、装置、终端及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298306A (zh) * 2019-06-27 2019-10-01 北京百度网讯科技有限公司 目标对象运动信息的确定方法、装置及设备
EP4016993A4 (en) * 2019-08-16 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM
CN112396676A (zh) * 2019-08-16 2021-02-23 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
US11516411B2 (en) 2019-08-16 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
CN112396676B (zh) * 2019-08-16 2024-04-02 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110896450A (zh) * 2019-11-13 2020-03-20 维沃移动通信有限公司 一种人物图像的处理方法及电子设备
CN111639611A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种历史文物的展示控制方法及装置
CN114116081A (zh) * 2020-08-10 2022-03-01 北京字节跳动网络技术有限公司 交互式动态流体效果处理方法、装置及电子设备
CN114116081B (zh) * 2020-08-10 2023-10-27 抖音视界有限公司 交互式动态流体效果处理方法、装置及电子设备
CN115278041A (zh) * 2021-04-29 2022-11-01 北京字跳网络技术有限公司 图像处理方法、装置、电子设备以及可读存储介质
CN115278041B (zh) * 2021-04-29 2024-02-27 北京字跳网络技术有限公司 图像处理方法、装置、电子设备以及可读存储介质
WO2023273500A1 (zh) * 2021-06-29 2023-01-05 上海商汤智能科技有限公司 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质
CN113487709A (zh) * 2021-07-07 2021-10-08 上海商汤智能科技有限公司 一种特效展示方法、装置、计算机设备以及存储介质
WO2023051185A1 (zh) * 2021-09-29 2023-04-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109803165A (zh) 视频处理的方法、装置、终端及存储介质
CN108549863B (zh) 人体姿态预测方法、装置、设备及存储介质
JP7206388B2 (ja) 仮想キャラクターの顔の表示方法、装置、コンピュータデバイス、およびコンピュータプログラム
CN107967706A (zh) 多媒体数据的处理方法、装置及计算机可读存储介质
CN108769562A (zh) 生成特效视频的方法和装置
CN109767487A (zh) 人脸三维重建方法、装置、电子设备及存储介质
CN109167950A (zh) 视频录制方法、视频播放方法、装置、设备及存储介质
CN110119815A (zh) 模型训练方法、装置、存储介质及设备
CN109107155B (zh) 虚拟物品的调整方法、装置、终端及存储介质
CN110222551A (zh) 识别动作类别的方法、装置、电子设备及存储介质
CN108710525A (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
CN108833818A (zh) 视频录制方法、装置、终端及存储介质
CN108900858A (zh) 一种赠送虚拟礼物的方法和装置
CN108898068A (zh) 一种人脸图像的处理方法和装置以及计算机可读存储介质
CN110166786A (zh) 虚拟物品转移方法及装置
CN109285178A (zh) 图像分割方法、装置及存储介质
CN110533585A (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN107767430A (zh) 一种拍摄处理方法、终端及计算机可读存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN109218626A (zh) 一种拍照方法及终端
CN110019929A (zh) 网页内容的处理方法、装置及计算机可读存储介质
CN109783183A (zh) 请求处理方法、装置、电子设备及存储介质
CN110393916A (zh) 视角转动的方法、装置、设备及存储介质
CN109978996A (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN109669611A (zh) 试衣方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190524

RJ01 Rejection of invention patent application after publication