CN114531553B - 生成特效视频的方法、装置、电子设备及存储介质 - Google Patents

生成特效视频的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114531553B
CN114531553B CN202210130351.9A CN202210130351A CN114531553B CN 114531553 B CN114531553 B CN 114531553B CN 202210130351 A CN202210130351 A CN 202210130351A CN 114531553 B CN114531553 B CN 114531553B
Authority
CN
China
Prior art keywords
special effect
target
video
processed
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210130351.9A
Other languages
English (en)
Other versions
CN114531553A (zh
Inventor
卢智雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210130351.9A priority Critical patent/CN114531553B/zh
Publication of CN114531553A publication Critical patent/CN114531553A/zh
Priority to PCT/CN2023/074502 priority patent/WO2023151525A1/zh
Application granted granted Critical
Publication of CN114531553B publication Critical patent/CN114531553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

本公开实施例提供了一种生成特效视频的方法、装置、电子设备及存储介质，该方法包括：在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。本公开实施例的技术方案，以简便快捷的方式使所添加的特效与视频中用户面部对应的部分进行融合，不仅避免了特效孤立显示于视频中而导致的视频质量较低的问题，提升了所得到的特效视频内容的丰富性与趣味性，同时也增强了用户在使用特效道具时的交互体验。

Description

生成特效视频的方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及视频处理技术领域，尤其涉及一种生成特效视频的方法、装置、电子设备及存储介质。
背景技术
随着网络技术的发展，越来越多的应用程序进入了用户的生活，尤其是一系列可以拍摄短视频的软件，深受用户的喜爱。
现有技术中，软件开发商可以在应用中添加各种各样的特效道具，以供用户在拍摄视频的过程中使用，然而，目前为用户提供的特效道具十分有限，视频的质量及其内容的丰富性都有待进一步提升，同时，视频内容与所选择的特效之间缺乏关联性，用户在使用特效道具时的交互体验较差。
发明内容
本公开提供一种生成特效视频的方法、装置、电子设备及存储介质，不仅提升了所得到的特效视频内容的丰富性与趣味性，同时也增强了用户在使用特效道具时的交互体验。
第一方面，本公开实施例提供了一种生成特效视频的方法，包括：
在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；
基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
第二方面，本公开实施例还提供了一种生成特效视频的装置，包括：
待处理视频帧获取模块，用于在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
目标特效图生成模块，用于基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；
特效视频帧确定模块，用于基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的生成特效视频的方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的生成特效视频的方法。
本公开实施例的技术方案，在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧，即获取到用于构建特效图的数据基础；基于至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将目标面部动图融合至目标特效中，得到目标特效图，进一步的，基于目标特效图和当前时刻所对应的待处理视频帧，确定目标视频帧中的特效视频，以简便快捷的方式使所添加的特效与视频中用户面部对应的部分进行融合，不仅避免了特效孤立显示于视频中而导致的视频质量较低的问题，提升了所得到的特效视频内容的丰富性与趣味性，同时也增强了用户在使用特效道具时的交互体验。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种生成特效视频的方法流程示意图；
图2为本公开实施例一所提供的特效视频生成过程中各步骤的示意图；
图3为本公开实施例二所提供的一种生成特效视频的方法流程示意图；
图4为本公开实施例三所提供的一种生成特效视频的装置结构示意图；
图5为本公开实施例四所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前，可以先对本公开实施例的应用场景进行示例性说明。示例性的，当用户通过应用软件拍摄视频，或者与其他用户进行视频通话时，可能希望在所拍摄的视频中添加一些特效，同时，还希望使所添加的特效与视频中的某些元素相融合，从而增强视频内容的丰富性与趣味性，例如，用户可能希望使特效与自己的表情相结合，并将结合后的特效图展示在视频中。此时，可以根据本实施例的技术方案，便可以使用户所选择的特效自动与视频中用户面部的图像相融合，并将融合后的特效图展示在视频中，从而有效满足用户的个性化需求。
实施例一
图1为本公开实施例一所提供的一种生成特效视频的方法流程示意图，本公开实施例适用于使用户所选择的特效与视频中用户面部的图像相融合，并基于融合后的特效图与视频帧生成特效视频的情形，该方法可以由生成特效视频的装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
如图1所示，所述方法包括：
S110、在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧。
其中，执行本公开实施例提供的生成特效视频的方法的装置，可以集成在支持特效视频处理功能的应用软件中，且该软件可以安装至电子设备中，可选的，电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现图像/视频处理即可。还可以是专门研发的应用程序，来实现添加特效并将特效进行展示的软件中，亦或是集成在相应的页面中，用户可以通过PC端中集成的页面来实现对特效视频的处理。
需要说明的是，本实施例的技术方案可以在用户拍摄视频的过程中执行，即，根据用户选择的特效道具以及所拍摄的视频实时生成特效视频，也可以将用户上传的视频作为原始的数据基础，进而基于本实施例的方案生成特效视频。
示例性的，在支持特效视频处理功能的应用软件或应用程序中，可以预先开发用于触发特效视频生成操作的控件，当用户触发该控件并在应用中选择所期望的特效时，即可通过电子设备上的摄像装置实时地拍摄视频，或者，将已有的视频主动上传并展示在应用所关联的显示界面中。可以理解，当显示界面中显示有视频画面后，应用即可对特效生成条件进行检测，当检测到满足该条件时，即可根据本实施例的方案生成特效视频。
在本实施例中，特效生成条件包括下述至少一种：检测到于显示界面中的目标对象满足第一预设条件；或，检测到触发于显示界面上的面部区域对准框。
具体的，第一预设条件包括目标对象为预设对象、目标对象在显示界面中的显示比例达到预设显示比例、以及目标对象的面部图像于显示界面中的偏转角度在预设阈值范围之内中的至少一个，其中，目标对象可以是用户的面部图像。
示例性的，当第一预设条件为目标对象为预设对象时，用户需要预先在应用中上传包含用户面部信息的图像，应用对用户的容貌进行识别并打标存储后，即可确定出预设对象，在此基础上，当显示界面中展示出视频画面后，应用需要对其中的内容进行实时检测，当检测到一名用户的面部图像与预设对象相一致时，即可触发后续的特效视频生成操作。
当第一预设条件为目标对象在显示界面中的显示比例达到预设显示比例时，需要预先在应用中设置预设显示比例，例如，设置用户面部图像在显示界面中的显示比例为70％，在此基础上，当应用基于面部识别技术在显示界面中检测到一名用户的面部图像大于或等于预设显示比例时，即可触发后续的特效视频生成操作。可以理解，这种预设条件与上一种预设条件的差异为，被检测到的用户不再局限于特定的用户，而可以是任意用户，也即是说，无论哪一名用户的面部图像在显示界面中的显示比例大于或等于预设显示比例，都会触发特效视频生成操作。
当第一预设条件为目标对象的面部图像于显示界面中的偏转角度在预设阈值范围之内时，同样需要预先在应用中设置用户面部偏转角度阈值范围，例如，将偏转角度阈值范围设置为0°到60°，在此基础上，当应用基于面部识别技术在显示界面中检测到一名用户的面部朝向与镜头反方向之间的夹角处于预设阈值范围内时，即可触发后的特效视频生成操作。可以理解，通过为用户面部图像预设偏转角度阈值范围，避免了用户面部并未面对镜头，而应用却基于这些不良数据生成视觉效果较差的特效视频的问题。
在本实施例中，还可以将面部区域对准框与目标对象的面部区域相对应的情况作为特效生成条件，其中，面部区域对准框可以是在应用中预先开发的、与用户面部比例基本适配的矩形框体，如图2中的A图所示，在用户拍摄特效视频时，应用可以在显示界面中呈现出一个四角存在特殊标记的矩形框体，该框体即是面部区域对准框。可以理解，在实际应用过程中，该框体还能够引导用户将电子设备关联的摄像装置对准自己或其他用户的面部区域进行拍摄。同时，面部区域对准框是在检测到目标对象的面部图像满足第二预设条件时生成的，第二预设条件为目标对象的面部图像于显示界面的偏转角度在预设阈值范围之内，且目标对象于显示界面的相对距离信息小于预设距离阈值。
具体的，在显示界面中展示出视频画面的同时，可以显示出面部区域对准框，从而引导用户对自己或其他用户的面部区域进行拍摄，在此基础上，当应用基于面部识别技术在显示界面中检测到一名用户的面部图像时，不仅需要判定图像是否处于面部区域对准框，还需要如上述第一预设条件一样判定用户面部的偏转角度是否处于预设阈值范围之内，只有两者都满足时，才会触发后续的特效视频生成操作，例如，当用户面部距离摄像装置两米远，使对应的面部信息完全处于面部区域对准框内，同时该用户面部的偏转角度如第一预设条件中的示例一般处于0°到60°以内时，才会触发特效视频生成操作。
本领域技术人员应当理解，在本实施例的方案中，上述多种特效生成条件既可以选择其中任意一个单独作用于应用中，也可以同时选择多个同时作用于应用中，本公开实施例在此不做具体的限定。
在获取至少两个待处理视频帧的过程中，可选的，获取当前时刻之前的至少两个待处理视频帧。其中，待处理视频帧中包括目标对象的面部图像。
具体来说，当应用基于本实施例的方案实时生成特效视频时，可以在用户触发生成特效视频的控件时确定出相应的时刻，从而将该时刻作为当前时刻，进一步的，由于当前所拍摄视频的各视频帧都携带有相应的时间戳，因此可以以当前时刻为基准，选择该时刻之间的至少两个包含有用户面部图像的视频帧作为待处理视频帧。可以理解，当应用基于本实施例的方案对用户上传的视频进行后期处理后生成特效视频时，同样可以按照上述方式在多个视频帧中确定出至少两个待处理视频帧，本公开实施例在此不再赘述。
示例性的，将用户触发特效生成控件的时刻作为当前时刻后，可以逐帧对该时刻之前的多个视频帧中的内容进行检测，当检测到某一视频帧中不包含用户面部图像时，则对前一时刻的视频帧继续进行检测，直至在至少两个视频帧中检测到用户面部图像后，即可将这些视频帧筛选出来作为待处理视频帧，如图2中的A图所示，包含有用户面部图像的视频帧即是待处理视频帧。本领域技术人员应当理解，所确定的待处理视频帧的个数可以根据用户需求或实际情况进行设置，本公开实施例在此不做具体的限定。
S120、基于至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将目标面部动图融合至目标特效中，得到目标特效图。
其中，目标面部动图可以是由多幅静态的用户面部图像组合生成的动态图片，如gif动画，具体的，应用可以在当前时刻待处理视频帧之前的多个视频帧中，按照一定的规则抽取出包含用户面部图像的多个视频帧，进一步的，将多个用户面部图像进行拼接，得到目标面部动图。可以理解，在目标面部动图中，用户的多幅面部图像会以指定的频率切换，从而产生相应的动态效果。目标特效为漂浮特效，漂浮特效以二维和/或三维模型为载体，例如，二维的载体可以是预先导入至应用中的2D气球贴图，三维的载体可以是在增强现实(Augmented Reality，AR)的场景内所创建的3D气球模型，进一步的，基于上述载体可以设置相应的目标特效，在最终生成的特效视频中，气球贴图或气球模型可以在特效视频的每一帧画面中漂浮显示。
可以理解，在实际应用过程中，可以预先开发出多个不同样式的目标特效，例如，将已设置某种材质属性的爱心形状的气球设置为一种目标特效，同时，将设置有另一种材质属性的动物形状的气球设置为另一目标特效，如图2中的B图所示，目标特效可以是一个卡通小猪形状的气球。进一步的，为每一种目标特效创建并关联反映其最终呈现出来的视觉效果的缩略图，并将目标特效及其相应的缩略图集成到应用中供用户选择。
需要说明的是，在实际应用过程中，除上述示例中的气球模型外，漂浮特效的载体还可以是任意可漂浮的模型，例如，一只鸟的3D模型，一架飞机的3D模型等，本公开实施例在此不做具体的限定。
在生成目标面部动图的过程中，可选的，将至少两个待处理视频帧依次作为面部分割模型的输入，得到与每个待处理视频帧相对应的面部图像；根据至少两个待处理视频帧的生成时间戳对各面部图像拼接处理，生成目标面部动图。
其中，面部分割模型可以是预先训练好的、集成于应用中的神经网络模型，至少用于从待处理视频帧中确定出用户的面部图像。可以理解，面部分割模型的输入即是应用所确定的至少两帧待处理视频帧，输出即是从每个视频帧中分割提取出来的面部图像。
进一步的，由于视频的每个视频帧都携带有相应的时间戳，因此，在面部分割模型输出多个面部图像后，依然可以按照面部图像所属待处理视频帧的时间戳，对多个面部图像进行拼接，从而得目标面部动图。可以理解，目标面部动图是基于处于当前时刻之前的至少两个待处理视频帧所得到的，同时，在基于上述方式得到的目标面部动图中，用户容貌会以更加连贯的方式动态变化。
示例性的，在携带有时间戳的20个待处理视频帧中，用户表情发生连续的变化，将上述20个待处理视频帧输入至面部分割模型并得到相应的20个面部图像后，即可按照原有的时间戳信息对各面部图像依次进行拼接，从而得到目标面部动图，可以理解，拼接得到的目标面部动图所呈现的用户连续变化的表情，与各待处理视频帧中用户的表情完全一致。
在本实施例中，应用生成目标面部动图后，即可将目标面部动图与用户所选择的目标特效进行融合，从而得到目标特效图。可选的，将目标面部动画融合至目标特效的中心区域，得到目标特效图，以在中心区域循环播放目标面部动图。
继续以上述示例进行说明，当应用确定出目标面部动图，并确定用户选择粉色的爱心形状的3D气球模型作为目标特效时，可以基于预先编写的图像中心点确定算法，自动确定出该3D气球模型的中心点。进一步的，以所确定的中心点为圆心，基于预设半径值在气球模型上进行划分，即可得到一个圆形作为中心区域，可以理解，在实际应用过程中，可以在用户所选择的目标特效上按照实际需求划分为多种形状的中心区域，本公开实施例在此不做具体的限定。
进一步的，将呈现出用户表情连续变化的目标面部动图融合至从气球模型上划分出来的圆形区域上，即得到目标特效图，可以理解，将上述两者融合后，为了呈现出较好的视觉效果，目标面部动图中的画面会依然在3D气球模型的中心区域循环播放，如图2中的B图所示，将用户面部动图融合至漂浮的小猪气球中后，该气球的中心可以将用户的面部表情循环播放。可以理解，目标面部动图至少可以呈现出“动态表情包”的视觉效果。
S130、基于目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
在本实施例中，确定出目标特效图后，即可将其与待处理视频帧进行结合，从而得到特效视频中的多个特效视频帧。可以理解，与目标特效图相结合的待处理视频帧即是用户触发特效视频生成控件时，显示界面中所显示的视频帧。
其中，在特效视频的每一个视频帧内，都包括前景图像以及背景图像，前景图像叠加显示于背景图像上，可以对背景图像全部区域或部分区域进行遮挡，从而使构建的特效视频帧更具层次感。可选的，将目标特效图作为特效视频帧中的前景图像，将当前时刻的待处理视频帧作为特效视频帧中的背景图像。
继续以上述示例进行说明，当确定出包含有用户动态表情的3D气球模型形式的目标特效图后，可以提取出用户触发特效生成控件时显示界面中呈现的视频帧作为背景图像，同时，将目标特效图叠加显示在背景图像上，即得到用于构建特效视频的特效视频帧，如图2中的B图所示，在该特效视频帧上，背景的画面上会显示出一个包含用户动态表情的、漂浮状态的卡通小猪气球。
本领域技术人员应当理解，当目标特效图有多个时，各目标特效图都可以按照本公开实施例的方案叠加在基于待处理视频帧得到的背景图像上，从而得到相应的多个特效视频帧，本公开实施例在此不再赘述。
在实际应用过程中，得到特效视频后，还可以为目标特效图添加牵引特效，以基于牵引特效更新目标特效图。其中，由于目标特效为漂浮特效，因此牵引特效可以是与漂浮的载体相连接的动画，例如，一支牵有气球连线的卡通手臂。
继续以上述示例进行说明，当得到特效视频帧后，应用可以基于预先编写的程序，调用或绘制一支卡通手臂展示于显示界面的右下角，同时，在手臂与漂浮状态的3D气球之间建立一条连线，当手臂与连线全部绘制完毕后，即为当前的特效视频帧确定出对应的牵引特效，进而对该特效视频帧进行更新，如图2中的B图所示，包含有用户面部表情的卡通小猪气球的下方会显示出一支牵引着该气球的卡通手臂，该特效即是目标特效图的牵引特效。
可以理解，通过对目标特效图添加牵引特效，使特效视频帧中处于漂浮状态的目标特效图与现实场景更加相似，进一步减少了显示界面中的虚拟内容与用户之间的距离感，增强了特效视频的趣味性。
本公开实施例的技术方案，在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧，即获取到用于构建特效图的数据基础；基于至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将目标面部动图融合至目标特效中，得到目标特效图，进一步的，基于目标特效图和当前时刻所对应的待处理视频帧，确定目标视频帧中的特效视频，以简便快捷的方式使所添加的特效与视频中用户面部对应的部分进行融合，不仅避免了特效孤立显示于视频中而导致的视频质量较低的问题，提升了所得到的特效视频内容的丰富性与趣味性，同时也增强了用户在使用特效道具时的交互体验。
实施例二
图3为本公开实施例二所提供的一种生成特效视频的方法流程示意图，在前述实施例的基础上，当显示界面中已展示一个或多个目标特效图时，应用可以根据用户的点击操作，继续生成多个新的目标特效图，同时，确定各目标特效图的运动参数，使其以与现实中“碰撞”效果相似的形式进行运动；进一步的，当检测到待处理视频帧中不再包含用户面部图像时，将已有的目标特效图保持显示，当检测到新用户的面部图像时，自动为其生成相应的目标特效图，从而提升了特效视频生成的智能度。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示，该方法具体包括如下步骤：
S210、在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧。
S220、基于至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将目标面部动图融合至目标特效中，得到目标特效图。
S230、基于目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
S240、在检测到于显示界面的点击操作时，基于点击时刻所关联的至少两个待处理视频帧生成目标特效图；以及，确定各历史目标特效图在点击时刻的运动参数；基于运动参数调整相应历史目标特效图于显示界面的显示信息，得到与点击时刻相对应的特效视频帧。
在本实施例中，将所生成的特效视频帧展示于显示界面后，还可以基于用户对显示界面任意区域的点击操作继续生成新的特效视频帧。示例性的，当在特效视频帧的背景的画面上已显示出一个包含用户动态表情的、漂浮状态的3D气球后，如果检测到用户点击显示界面的任意区域，应用即可确定出用户的点击操作所对应的点击时刻，进而重新获取所携带的时间戳处于点击时刻之前的至少两个视频帧作为待处理视频帧，进而基于本公开实施例一的方案，重新生成目标特效图，即，根据用户新的表情生成相应的“动态表清包”，从而将新的目标特效图展示于显示界面中，如图2中的C图所示，用户对显示界面多次执行点击操作后，应用即可在显示界面中适应性生成多个漂浮的爱心形状的气球。
在实际应用过程中，由于目标特效为以2D或3D模型为载体的漂浮特效，因此，为了使特效视频最终呈现出来的视觉效果与现实效果更加接近，在显示多个漂浮特效时，还需要为各漂浮特效添加相应的运动参数，从而使各特效呈现出与现实中“碰撞”动作相似的视觉效果，例如，使均包含有用户动态表情的多个3D气球，在显示界面中呈现出互相碰撞的效果，可以理解，各特效视频帧中反映每个目标特效图形态、位置的画面即是其显示信息。下面对确定各目标特效图运动参数的过程进行说明。
可选的，针对各历史目标特效图，根据各目标特效图与当前历史目标特效图的中心距，确定关联特效图；依次确定各关联特效图与当前历史目标特效图的待合成作用力；基于各待合成作用力，确定当前历史目标特效图的目标作用力；基于目标作用力和历史叠加速度，确定运动参数。
其中，点击时刻之前生成的目标特效图即是历史目标特效图，例如，上述示例中，在用户还未点击显示界面任意位置时，已经展示于显示界面中的漂浮状态的3D气球即可在用户点击显示界面时被应用确定为历史目标特效图。可以理解，当用户多次点击屏幕时，对于每次产生的新的目标特效图来说，在该次点击操作之前已显示的特效图都会被确定为历史目标特效图，例如，当用户第二次点击屏幕时，显示界面中已经展示有一个漂浮状态的3D气球，因此，对于产生的新的气球来说，已显示的一个3D气球即是历史目标特效图，可以理解，当用户第三次点击屏幕时，显示界面中已显示的两个3D气球都会被确定为历史目标特效图，本公开实施例在此不再赘述。
进一步的，基于用户点击操作在显示界面中生成新的目标特效图后，需要确定出新的目标特效图与历史目标特效图之间的中心距，进而确定出能够与新的目标特效图发生“碰撞”的关联特效图。
示例性的，每个目标特效图都与相应的圆形包围框相关联，各圆形包围框至少用于反映相应的目标特效图在显示界面所处的位置以及所占用平面空间的大小。当确定出新的目标特效图关联的圆形包围框时，可以将该圆形包围框与其他圆形包围框之间的圆心距离作为本实施例中的中心距，可以理解，当两个圆形包围框的中心距小于两者半径之和时，即表明相应的两个目标特效图会发生“碰撞”，因此需要确定出这些目标特效图之间的作用力，再基于作用力确定历史目标特效图的运动参数。
在本实施例中，为了确定出历史目标特效图的运动参数，首先需要确定出其收到的目标作用力，由于显示界面中可能同时存在多个目标特效图，某些目标特效图又可能同时与多个其他特效图发生“碰撞”，基于此可以理解，对于与多个特效图发生“碰撞”的目标特效图来说，其受到的目标作用力是由多个待合成作用力合成得到的。因此，在确定目标作用力时，首先要确定出多个目标特效图之间的待合成作用力。
可选的，根据各关联特效图的中心距，以及预设长度值，确定各关联特效图相对于当前历史目标特效图的待合成作用力，其中，对于任意两个特效图来说，预设长度值即是相应的两个圆形包围框的半径之和。
示例性的，由于关联特效图之间会发生“碰撞”，因此，当确定出显示界面中作为关联特效图的多个漂浮的3D气球的中心距及其预设长度值后，可以将上述参数按照预先编写的算法进行计算，从而确定出发生“碰撞”的各气球之间的待合成作用力。最后，对于其中任意一个3D气球来说，按照物理学定律将多个待合成作用力进行合成，即得到作用与该气球的目标作用力。
进一步的，在确定出作为历史目标特效图的3D气球的目标作用力后，由于某些气球在当前时刻已经存在一个速度，即历史叠加速度，可以理解，历史叠加速度是基于初始速度和各历史特效视频帧的历史目标作用力确定的，例如，在3D气球初次展示于显示界面中时，应用会基于预设参数为该气球生成一个初始速度，进一步的，在用户多次点击屏幕生成多个漂浮的3D气球的过程中，该气球同样会被碰撞，从而受到历史目标作用力。
因此，在本实施例中，当确定出目标特效图的目标作用力后，还需要将目标作用力与其自身的历史叠加速度相结合，才能确定出历史目标特效图最终的运动参数，即，确定出其运动方向以及运动速度。
需要说明的是，为了使目标特效图呈现出更加逼真的视觉效果，同时为了防止用户多次点击屏幕生成多个特效图从而影响特效视频的观看体验，在实际应用过程中，应用还需要根据各历史目标特效图的运动参数，确定累计移动高度值；将累计移动高度值达到预设高度值的历史目标特效图从显示界面中移除。
具体的，在当前显示界面中确定出多个运动状态的3D气球的运动参数后，还需要确定出各个气球在界面中所处的高度，例如，当确定一个气球处于底部，并基于自身运动参数向上方运动，另一个气球处于中部，并同样基于自身运动参数向上方运动时，还需要确定两个气球在显示界面中的累计移动高度值，可以理解为，气球在显示界面中向上漂浮的距离。同时，应用还可以将显示界面顶部与气球在当前时刻所处位置之间的距离作为对应的预设高度值，在此基础上，当气球运动的高度值达到预设高度值时，表明气球已经漂浮至显示界面顶部，因此需要该3D气球从显示界面中移除。
S250、若显示界面中的显示内容发生变化且未包括目标对象时，则保持特效视频中的目标特效图不变。
在本实施例中，无论特效视频是实时生成还是由应用对现有视频进行后期处理得到的，待处理视频中的内容都是不断发生变化的。因此，在生成特效视频时，应用依然需要对各待处理视频帧中的内容进行检测，当检测到视频帧中的内容变化且不包含目标对象时，则保持已显示的目标特效图不变。
示例性的，当显示界面中已经显示有一个包含有用户表情的3D气球，并显示出相应的牵引特效时，待处理视频帧中的内容突然发生变化，且在变化后的画面中不再含有该用户的面部图像，此时，显示界面中会一直显示关联有牵引特效的3D气球，并继续对作为特效视频帧的数据基础的各待处理视频帧中的内容进行检测，如图2中的D图所示，当显示界面中不包含任何用户的面部图像时，包含用户面部表情的气球特效在视频画面中保持不变。
进一步的，若显示界面的目标对象发生变化，则基于变化后目标对象的面部图像生成目标特效图；以及，将历史目标特效图按照确定出的运动参数进行显示。
继续以上述示例进行说明，在应用程序保持已显示的3D气球不变，并不断对各待处理视频帧中的内容进行检测时，如果出现一名新用户的面部图像，则可以按照本公开实施例一的方案，基于该新用户的面部图像生成相应的目标特效图，即，生成一个包含有该新用户面部表情的3D气球，进而将该气球展示于显示界面中。可以理解，当生成新的3D气球时，显示界面中原有的气球会被确定为历史目标特效图，基于本实施例的方案，应用可以确定出这些气球的运动参数，进而控制其在显示界面中发生运动，同时，使新生成的3D气球仅根据应用为其赋予的初始速度进行运动。
本实施例的技术方案，当显示界面中已展示一个或多个目标特效图时，应用可以根据用户的点击操作，继续生成多个新的目标特效图，同时，确定各目标特效图的运动参数，使其以与现实中“碰撞”效果相似的形式进行运动；进一步的，当检测到待处理视频帧中不再包含用户面部图像时，将已有的目标特效图保持显示，当检测到新用户的面部图像时，自动为其生成相应的目标特效图，从而提升了特效视频生成的智能度。
实施例三
图4为本公开实施例三所提供的一种生成特效视频的装置结构示意图，如图4所示，所述装置包括：待处理视频帧获取模块310、目标特效图生成模块320以及特效视频帧确定模块330。
待处理视频帧获取模块310，用于在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧。
目标特效图生成模块320，用于基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图。
特效视频帧确定模块330，用于基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
在上述各技术方案的基础上，所述特效生成条件包括下述至少一种：检测到于显示界面中的目标对象满足第一预设条件；其中，所述第一预设条件包括所述目标对象为预设对象、所述目标对象在显示界面中的显示比例达到预设显示比例、以及所述目标对象的面部图像于显示界面中的偏转角度在预设阈值范围之内中的至少一个；或，检测到触发于显示界面上的面部区域对准框；其中，所述面部区域对准框与所述目标对象的面部区域相对应。
在上述各技术方案的基础上，所述面部区域对准框是在检测到所述目标对象的面部图像满足第二预设条件时生成的；所述第二预设条件为所述目标对象的面部图像于显示界面的偏转角度在所述预设阈值范围之内，且所述目标对象于所述显示界面的相对距离信息小于预设距离阈值。
可选的，待处理视频帧获取模块310，还用于获取所述当前时刻之前的至少两个待处理视频帧；其中，所述待处理视频帧中包括所述目标对象的面部图像。
在上述各技术方案的基础上，目标特效图生成模块320包括面部图像确定单元、目标面部动图生成单元以及目标特效图生成单元。
面部图像确定单元，用于将所述至少两个待处理视频帧依次作为面部分割模型的输入，得到与每个待处理视频帧相对应的面部图像。
目标面部动图生成单元，用于根据所述至少两个待处理视频帧的生成时间戳对各面部图像拼接处理，生成所述目标面部动图。
在上述各技术方案的基础上，所述目标特效为漂浮特效，所述漂浮特效以二维和/或三维模型为载体。
目标特效图生成单元，用于将所述目标面部动画融合至所述目标特效的中心区域，得到所述目标特效图，以在所述中心区域循环播放所述目标面部动图。
可选的，特效视频帧确定模块330，还用于将所述目标特效图作为特效视频帧中的前景图像，将所述当前时刻的待处理视频帧作为特效视频帧中的背景图像。
在上述各技术方案的基础上，生成特效视频的装置还包括牵引特效生成模块。
牵引特效生成模块，用于为所述目标特效图添加牵引特效，以基于所述牵引特效更新所述目标特效图。
在上述各技术方案的基础上，生成特效视频的装置还包括检测模块。
检测模块，用于在检测到于显示界面的点击操作时，基于点击时刻所关联的至少两个待处理视频帧生成目标特效图；以及，确定各历史目标特效图在所述点击时刻的运动参数；其中，将点击时刻之前生成的目标特效图作为所述历史目标特效图；基于运动参数调整相应历史目标特效图于显示界面的显示信息，得到与所述点击时刻相对应的特效视频帧。
在上述各技术方案的基础上，生成特效视频的装置还包括目标特效图保持模块。
目标特效图保持模块，用于若显示界面中的显示内容发生变化且未包括目标对象时，则保持所述特效视频中的目标特效图不变。
在上述各技术方案的基础上，生成特效视频的装置还包括历史目标特效图显示模块。
历史目标特效图显示模块，用于若显示界面的目标对象发生变化，则基于变化后所述目标对象的面部图像生成目标特效图；以及，将历史目标特效图按照确定出的运动参数进行显示。
可选的，检测模块，还用于针对各历史目标特效图，根据各目标特效图与当前历史目标特效图的中心距，确定关联特效图；依次确定各关联特效图与所述当前历史目标特效图的待合成作用力；基于各待合成作用力，确定所述当前历史目标特效图的目标作用力；基于所述目标作用力和历史叠加速度，确定所述运动参数；其中，所述历史叠加速度是基于初始速度和各历史特效视频帧的历史目标作用力确定的。
可选的，检测模块，还用于根据各关联特效图的中心距，以及预设长度值，确定各关联特效图相对于所述当前历史目标特效图的待合成作用力。
在上述各技术方案的基础上，生成特效视频的装置还包括历史目标特效图移除模块。
历史目标特效图移除模块，用于根据各历史目标特效图的运动参数，确定累计移动高度值；将累计移动高度值达到预设高度值的历史目标特效图从显示界面中移除。
本实施例所提供的技术方案，在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧，即获取到用于构建特效图的数据基础；基于至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将目标面部动图融合至目标特效中，得到目标特效图，进一步的，基于目标特效图和当前时刻所对应的待处理视频帧，确定目标视频帧中的特效视频，以简便快捷的方式使所添加的特效与视频中用户面部对应的部分进行融合，不仅避免了特效孤立显示于视频中而导致的视频质量较低的问题，提升了所得到的特效视频内容的丰富性与趣味性，同时也增强了用户在使用特效道具时的交互体验。
本公开实施例所提供的生成特效视频的装置可执行本公开任意实施例所提供的生成特效视频的方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
实施例四
图5为本公开实施例四所提供的一种电子设备的结构示意图。下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如图5中的终端设备或服务器)400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备400可以包括处理装置(例如中央处理器、图案处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置406加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。编辑/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置406被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的生成特效视频的方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例五
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的生成特效视频的方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；
基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种生成特效视频的方法，该方法包括：
在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；
基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
根据本公开的一个或多个实施例，【示例二】提供了一种生成特效视频的方法，该方法，还包括：
可选的，所述特效生成条件包括下述至少一种：
检测到于显示界面中的目标对象满足第一预设条件；其中，所述第一预设条件包括所述目标对象为预设对象、所述目标对象在显示界面中的显示比例达到预设显示比例、以及所述目标对象的面部图像于显示界面中的偏转角度在预设阈值范围之内中的至少一个；或，
检测到触发于显示界面上的面部区域对准框；其中，所述面部区域对准框与所述目标对象的面部区域相对应。
根据本公开的一个或多个实施例，【示例三】提供了一种生成特效视频的方法，该方法，还包括：
可选的，所述面部区域对准框是在检测到所述目标对象的面部图像满足第二预设条件时生成的；所述第二预设条件为所述目标对象的面部图像于显示界面的偏转角度在所述预设阈值范围之内，且所述目标对象于所述显示界面的相对距离信息小于预设距离阈值。
根据本公开的一个或多个实施例，【示例四】提供了一种生成特效视频的方法，该方法，还包括：
可选的，获取所述当前时刻之前的至少两个待处理视频帧；
其中，所述待处理视频帧中包括所述目标对象的面部图像。
根据本公开的一个或多个实施例，【示例五】提供了一种生成特效视频的方法，该方法，还包括：
可选的，将所述至少两个待处理视频帧依次作为面部分割模型的输入，得到与每个待处理视频帧相对应的面部图像；
根据所述至少两个待处理视频帧的生成时间戳对各面部图像拼接处理，生成所述目标面部动图。
根据本公开的一个或多个实施例，【示例六】提供了一种生成特效视频的方法，该方法，还包括：
可选的，所述目标特效为漂浮特效，所述漂浮特效以二维和/或三维模型为载体。
根据本公开的一个或多个实施例，【示例七】提供了一种生成特效视频的方法，该方法，还包括：
可选的，将所述目标面部动画融合至所述目标特效的中心区域，得到所述目标特效图，以在所述中心区域循环播放所述目标面部动图。
根据本公开的一个或多个实施例，【示例八】提供了一种生成特效视频的方法，该方法，还包括：
可选的，将所述目标特效图作为特效视频帧中的前景图像，将所述当前时刻的待处理视频帧作为特效视频帧中的背景图像。
根据本公开的一个或多个实施例，【示例九】提供了一种生成特效视频的方法，该方法，还包括：
可选的，为所述目标特效图添加牵引特效，以基于所述牵引特效更新所述目标特效图。
根据本公开的一个或多个实施例，【示例十】提供了一种生成特效视频的方法，该方法，还包括：
可选的，在检测到于显示界面的点击操作时，基于点击时刻所关联的至少两个待处理视频帧生成目标特效图；以及，
确定各历史目标特效图在所述点击时刻的运动参数；其中，将点击时刻之前生成的目标特效图作为所述历史目标特效图；
基于运动参数调整相应历史目标特效图于显示界面的显示信息，得到与所述点击时刻相对应的特效视频帧。
根据本公开的一个或多个实施例，【示例十一】提供了一种生成特效视频的方法，该方法，还包括：
可选的，若显示界面中的显示内容发生变化且未包括目标对象时，则保持所述特效视频中的目标特效图不变。
根据本公开的一个或多个实施例，【示例十二】提供了一种生成特效视频的方法，该方法，还包括：
可选的，若显示界面的目标对象发生变化，则基于变化后所述目标对象的面部图像生成目标特效图；以及，
将历史目标特效图按照确定出的运动参数进行显示。
根据本公开的一个或多个实施例，【示例十三】提供了一种生成特效视频的方法，该方法，还包括：
可选的，针对各历史目标特效图，根据各目标特效图与当前历史目标特效图的中心距，确定关联特效图；
依次确定各关联特效图与所述当前历史目标特效图的待合成作用力；
基于各待合成作用力，确定所述当前历史目标特效图的目标作用力；
基于所述目标作用力和历史叠加速度，确定所述运动参数；
其中，所述历史叠加速度是基于初始速度和各历史特效视频帧的历史目标作用力确定的。
根据本公开的一个或多个实施例，【示例十四】提供了一种生成特效视频的方法，该方法，还包括：
可选的，根据各关联特效图的中心距，以及预设长度值，确定各关联特效图相对于所述当前历史目标特效图的待合成作用力。
根据本公开的一个或多个实施例，【示例十五】提供了一种生成特效视频的方法，该方法，还包括：
可选的，根据各历史目标特效图的运动参数，确定累计移动高度值；
将累计移动高度值达到预设高度值的历史目标特效图从显示界面中移除。
根据本公开的一个或多个实施例，【示例十六】提供了一种生成特效视频的装置，该装置包括：
待处理视频帧获取模块，用于在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
目标特效图生成模块，用于基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；
特效视频帧确定模块，用于基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (17)

1.一种生成特效视频的方法，其特征在于，包括：
在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到目标特效图；
基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧；
在检测到于显示界面的点击操作时，基于点击时刻所关联的至少两个待处理视频帧生成目标特效图；以及，
确定历史目标特效图在所述点击时刻的运动参数；其中，将点击时刻之前生成的目标特效图作为所述历史目标特效图；
基于运动参数调整相应历史目标特效图于显示界面的显示信息，得到与所述点击时刻相对应的特效视频帧。
2.根据权利要求1所述的方法，其特征在于，所述特效生成条件包括下述至少一种：
检测到于显示界面中的目标对象满足第一预设条件；其中，所述第一预设条件包括所述目标对象为预设对象、所述目标对象在显示界面中的显示比例达到预设显示比例、以及所述目标对象的面部图像于显示界面中的偏转角度在预设阈值范围之内中的至少一个；或，
检测到触发于显示界面上的面部区域对准框；其中，所述面部区域对准框与所述目标对象的面部区域相对应。
3.根据权利要求2所述的方法，其特征在于，所述面部区域对准框是在检测到所述目标对象的面部图像满足第二预设条件时生成的；所述第二预设条件为所述目标对象的面部图像于显示界面的偏转角度在所述预设阈值范围之内，且所述目标对象于所述显示界面的相对距离信息小于预设距离阈值。
4.根据权利要求1所述的方法，其特征在于，所述获取与当前时刻相关联的至少两个待处理视频帧，包括：
获取所述当前时刻之前的至少两个待处理视频帧；
其中，所述待处理视频帧中包括所述目标对象的面部图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，包括：
将所述至少两个待处理视频帧依次作为面部分割模型的输入，得到与每个待处理视频帧相对应的面部图像；
根据所述至少两个待处理视频帧的生成时间戳对所述与每个待处理视频帧相对应的面部图像拼接处理，生成所述目标面部动图。
6.根据权利要求1-5中任一所述的方法，其特征在于，所述目标特效为漂浮特效，所述漂浮特效以二维和/或三维模型为载体。
7.根据权利要求6所述的方法，其特征在于，所述将所述目标面部动图融合至目标特效中，得到所述目标特效图，包括：
将目标面部动画融合至所述目标特效的中心区域，得到所述目标特效图，以在所述中心区域循环播放所述目标面部动图。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧，包括：
将所述目标特效图作为特效视频帧中的前景图像，将所述当前时刻的待处理视频帧作为特效视频帧中的背景图像。
9.根据权利要求1所述的方法，其特征在于，还包括：
为所述目标特效图添加牵引特效，以基于所述牵引特效更新所述目标特效图。
10.根据权利要求1或8所述的方法，其特征在于，在得到特效视频帧之后，还包括：
若显示界面中的显示内容发生变化且未包括目标对象时，则保持所述特效视频中的目标特效图不变。
11.根据权利要求1或8所述的方法，其特征在于，还包括：
若显示界面的目标对象发生变化，则基于变化后所述目标对象的面部图像生成目标特效图；以及，
将历史目标特效图按照确定出的运动参数进行显示。
12.根据权利要求1所述的方法，其特征在于，所述确定历史目标特效图在所述点击时刻的运动参数，包括：
针对历史目标特效图，根据每个目标特效图与当前历史目标特效图的中心距，确定关联特效图；
依次确定每个关联特效图与所述当前历史目标特效图的待合成作用力；
基于每个待合成作用力，确定所述当前历史目标特效图的目标作用力；
基于所述目标作用力和历史叠加速度，确定所述运动参数；
其中，所述历史叠加速度是基于初始速度和每个历史特效视频帧的历史目标作用力确定的。
13.根据权利要求12所述的方法，其特征在于，所述依次确定每个关联特效图与所述当前历史目标特效图的待合成作用力，包括：
根据每个关联特效图的中心距，以及预设长度值，确定每个关联特效图相对于所述当前历史目标特效图的待合成作用力。
14.根据权利要求1所述的方法，其特征在于，还包括：
根据每个历史目标特效图的运动参数，确定累计移动高度值；
将累计移动高度值达到预设高度值的历史目标特效图从显示界面中移除。
15.一种生成特效视频的装置，其特征在于，包括：
待处理视频帧获取模块，用于在检测到满足特效生成条件时，获取与当前时刻相关联的至少两个待处理视频帧；
目标特效图生成模块，用于基于所述至少两个待处理视频帧中目标对象的面部图像，生成目标面部动图，并将所述目标面部动图融合至目标特效中，得到所述目标特效图；
特效视频帧确定模块，用于基于所述目标特效图和当前时刻所对应的待处理视频帧，确定目标特效视频中的特效视频帧；
检测模块，用于在检测到于显示界面的点击操作时，基于点击时刻所关联的至少两个待处理视频帧生成目标特效图；以及，
确定历史目标特效图在所述点击时刻的运动参数；其中，将点击时刻之前生成的目标特效图作为所述历史目标特效图；
基于运动参数调整相应历史目标特效图于显示界面的显示信息，得到与所述点击时刻相对应的特效视频帧。
16.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14中任一所述的生成特效视频的方法。
17.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-14中任一所述的生成特效视频的方法。
CN202210130351.9A 2022-02-11 2022-02-11 生成特效视频的方法、装置、电子设备及存储介质 Active CN114531553B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210130351.9A CN114531553B (zh) 2022-02-11 2022-02-11 生成特效视频的方法、装置、电子设备及存储介质
PCT/CN2023/074502 WO2023151525A1 (zh) 2022-02-11 2023-02-06 生成特效视频的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210130351.9A CN114531553B (zh) 2022-02-11 2022-02-11 生成特效视频的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114531553A CN114531553A (zh) 2022-05-24
CN114531553B true CN114531553B (zh) 2024-02-09

Family

ID=81622833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210130351.9A Active CN114531553B (zh) 2022-02-11 2022-02-11 生成特效视频的方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114531553B (zh)
WO (1) WO2023151525A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531553B (zh) * 2022-02-11 2024-02-09 北京字跳网络技术有限公司 生成特效视频的方法、装置、电子设备及存储介质
CN115278107A (zh) * 2022-07-20 2022-11-01 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110582020A (zh) * 2019-09-03 2019-12-17 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN110738595A (zh) * 2019-09-30 2020-01-31 腾讯科技（深圳）有限公司 图片处理方法、装置和设备及计算机存储介质
CN111343073A (zh) * 2018-12-18 2020-06-26 腾讯科技（深圳）有限公司 一种视频处理方法、装置及终端设备
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN112199016A (zh) * 2020-09-30 2021-01-08 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112422844A (zh) * 2020-09-23 2021-02-26 上海哔哩哔哩科技有限公司 在视频中添加特效的方法、装置、设备及可读存储介质
CN112785681A (zh) * 2019-11-07 2021-05-11 杭州睿琪软件有限公司 宠物的3d形象生成方法及装置
WO2021139408A1 (zh) * 2020-01-07 2021-07-15 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
WO2021238325A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 一种图像处理方法及装置
CN113920167A (zh) * 2021-11-01 2022-01-11 广州博冠信息科技有限公司 一种图像处理方法、装置、存储介质及计算机系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637078B (zh) * 2013-11-14 2017-12-15 腾讯科技（深圳）有限公司 一种图像处理方法及装置
US9984282B2 (en) * 2015-12-10 2018-05-29 Perfect Corp. Systems and methods for distinguishing facial features for cosmetic application
US10573048B2 (en) * 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
CN109618183B (zh) * 2018-11-29 2019-10-25 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN111145308A (zh) * 2019-12-06 2020-05-12 北京达佳互联信息技术有限公司 一种贴纸获取方法和装置
CN111526411A (zh) * 2020-04-29 2020-08-11 北京字节跳动网络技术有限公司 视频的处理方法、装置、设备及介质
CN111754612A (zh) * 2020-06-01 2020-10-09 Oppo（重庆）智能科技有限公司 动图生成方法和装置
CN114531553B (zh) * 2022-02-11 2024-02-09 北京字跳网络技术有限公司 生成特效视频的方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343073A (zh) * 2018-12-18 2020-06-26 腾讯科技（深圳）有限公司 一种视频处理方法、装置及终端设备
CN110582020A (zh) * 2019-09-03 2019-12-17 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN110738595A (zh) * 2019-09-30 2020-01-31 腾讯科技（深圳）有限公司 图片处理方法、装置和设备及计算机存储介质
CN112785681A (zh) * 2019-11-07 2021-05-11 杭州睿琪软件有限公司 宠物的3d形象生成方法及装置
WO2021139408A1 (zh) * 2020-01-07 2021-07-15 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
WO2021238325A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 一种图像处理方法及装置
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
WO2022012182A1 (zh) * 2020-07-17 2022-01-20 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN112422844A (zh) * 2020-09-23 2021-02-26 上海哔哩哔哩科技有限公司 在视频中添加特效的方法、装置、设备及可读存储介质
CN112199016A (zh) * 2020-09-30 2021-01-08 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113920167A (zh) * 2021-11-01 2022-01-11 广州博冠信息科技有限公司 一种图像处理方法、装置、存储介质及计算机系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三维动画项目分析与研究;杨玲;李连天;;现代职业教育(第29期);全文 *

Also Published As

Publication number Publication date
CN114531553A (zh) 2022-05-24
WO2023151525A1 (zh) 2023-08-17

Similar Documents

Publication Publication Date Title
CN110322542B (zh) 重建真实世界3d场景的视图
CN109743892B (zh) 虚拟现实内容的显示方法和装置
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
CN113038264B (zh) 直播视频处理方法、装置、设备和存储介质
CN112933599A (zh) 三维模型渲染方法、装置、设备及存储介质
US11044398B2 (en) Panoramic light field capture, processing, and display
CN112312111A (zh) 虚拟图像的显示方法、装置、电子设备及存储介质
CN112672185B (zh) 基于增强现实的显示方法、装置、设备及存储介质
CN111258519B (zh) 屏幕分屏实现方法、装置、终端和介质
CN114677386A (zh) 特效图像处理方法、装置、电子设备及存储介质
CN112053449A (zh) 基于增强现实的显示方法、设备及存储介质
JP7467780B2 (ja) 画像処理方法、装置、デバイス及び媒体
CN114494328B (zh) 图像显示方法、装置、电子设备及存储介质
CN113724331B (zh) 视频处理方法、视频处理装置和非瞬时性存储介质
CN114598823A (zh) 特效视频生成方法、装置、电子设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN109816791B (zh) 用于生成信息的方法和装置
CN114862997A (zh) 图像渲染方法和装置、介质和计算机设备
CN110807728B (zh) 对象的显示方法、装置、电子设备及计算机可读存储介质
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111200759B (zh) 一种全景视频的播放控制方法、装置、终端及存储介质
CN117152385A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant