CN109462776A - 一种视频特效添加方法、装置、终端设备及存储介质 - Google Patents

一种视频特效添加方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN109462776A
CN109462776A CN201811446874.4A CN201811446874A CN109462776A CN 109462776 A CN109462776 A CN 109462776A CN 201811446874 A CN201811446874 A CN 201811446874A CN 109462776 A CN109462776 A CN 109462776A
Authority
CN
China
Prior art keywords
special
video
effect
image frame
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811446874.4A
Other languages
English (en)
Other versions
CN109462776B (zh
Inventor
祝豪
李啸
孟宇
陈曼仪
陈晔
林晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811446874.4A priority Critical patent/CN109462776B/zh
Publication of CN109462776A publication Critical patent/CN109462776A/zh
Application granted granted Critical
Publication of CN109462776B publication Critical patent/CN109462776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本公开公开了一种视频特效添加方法、装置、终端设备及存储介质。该方法包括：获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。本公开实施例可以针对用户的关节点添加匹配的动态特效，提高视频交互应用的场景多样化。

Description

一种视频特效添加方法、装置、终端设备及存储介质
技术领域
本公开实施例涉及数据技术，尤其涉及一种视频特效添加方法、装置、终端设备及存储介质。
背景技术
随着通信技术和终端设备设备的发展，各种终端设备例如手机、平板电脑等已经成为了人们工作和生活中不可或缺的一部分，而且随着终端设备的日益普及，视频交互应用成为一种沟通和娱乐的主要渠道。
目前，视频交互应用能够识别出用户面部，并在用户头部上增加静态图像(例如在头发上增加头饰)或者增加面部表情覆盖在用户面部上。这种增加图像的方法过于局限，同时应用场景过于单一，无法满足用户的多样化需求。
发明内容
本公开实施例提供一种视频特效添加方法、装置、终端设备及存储介质，可以针对用户的关节点添加匹配的动态特效，提高视频交互应用的场景多样化。
第一方面，本公开实施例提供了一种视频特效添加方法，该方法包括：
获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；
如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；
在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
进一步的，获取视频中的至少一个图像帧，包括：
在视频录制过程中，实时获取所述视频中的至少一个图像帧；
所述在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效，包括：
将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。
进一步的，将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效，包括：
在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效，所述视频特效具有设定的初始特效参数；
根据与所述目标图像帧对应的至少一个后续图像帧中所述至少一个目标人体关节点相对于所述目标图像帧的运动情况，确定与所述后续图像帧匹配的特效变化参数；
在所述至少一个后续图像帧中添加通过对应特效变化参数调整后的视频特效。
进一步的，确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，包括：
如果在所述目标图像帧中，由至少两个目标人体关节点确定的人体部位与设定方向的夹角满足预设的夹角条件，则确定目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件；和/或
如果在所述目标图像帧中，至少两个所述目标人体关节点之间的相对位置关系满足预设的相对位置条件，则确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件。
进一步的，所述方法还包括：
在所述视频的录制过程中，在视频预览界面中实时呈现所述视频中的图像帧；
在将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效的同时，还包括：
在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
进一步的，所述视频特效包括：动态动画特效，和/或音乐特效；
在所述视频预览界面中，实时呈现添加所述视频特效的图像帧，包括：
在所述视频预览界面中，在图像帧中实时绘制动态动画特效，并播放音乐特效。
进一步的，在添加与所述起始关节动作条件匹配的视频特效之前，还包括：
如果确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效，则根据所述至少一个目标人体关节点确定所述用户的人体特征信息；
根据所述人体特征信息确定与所述乐器添加特效匹配的所述初始特效参数；
其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置；
所述在添加与所述起始关节动作条件匹配的视频特效，包括：
在所述目标图像帧中渲染与所述设定乐器类型匹配的乐器的图像；
从预设的音乐库中查找到与所述设定乐器类型匹配的音乐，并在所述目标图像帧的显示过程中，播放所述音乐。
第二方面，本公开实施例还提供了一种视频特效添加装置，该装置包括：
目标人体关节点识别模块，用于获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；
视频特效确定模块，用于如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；
视频特效添加模块，用于在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
进一步的，所述目标人体关节点识别模块，包括：
图像帧实时获取模块，用于在视频录制过程中，实时获取所述视频中的至少一个图像帧；
所述视频特效添加模块，包括：
视频特效实时添加模块，用于将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。
进一步的，所述视频特效实时添加模块，包括：
匹配视频特效添加模块，用于在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效，所述视频特效具有设定的初始特效参数；
特效变化参数确定模块，用于根据与所述目标图像帧对应的至少一个后续图像帧中所述至少一个目标人体关节点相对于所述目标图像帧的运动情况，确定与所述后续图像帧匹配的特效变化参数；
视频特效调整模块，用于在所述至少一个后续图像帧中添加通过对应特效变化参数调整后的视频特效。
进一步的，所述视频特效确定模块，包括：
夹角判断模块，用于如果在所述目标图像帧中，由至少两个目标人体关节点确定的人体部位与设定方向的夹角满足预设的夹角条件，则确定目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件；和/或
相对位置判断模块，用于如果在所述目标图像帧中，至少两个所述目标人体关节点之间的相对位置关系满足预设的相对位置条件，则确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件。
进一步的，所述装置还包括：
图像帧呈现模块，用于在所述视频的录制过程中，在视频预览界面中实时呈现所述视频中的图像帧；
所述视频特效实时添加模块，还包括：
视频特效实时呈现模块，用于在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
进一步的，所述视频特效包括：动态动画特效，和/或音乐特效；
所述视频特效实时呈现模块，包括：
特效展示和播放模块，用于在所述视频预览界面中，在图像帧中实时绘制动态动画特效，并播放音乐特效。
进一步的，所述装置还包括：
人体特征信息确定模块，用于如果确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效，则根据所述至少一个目标人体关节点确定所述用户的人体特征信息；
初始特效参数确定模块，用于根据所述人体特征信息确定与所述乐器添加特效匹配的所述初始特效参数；其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置；
所述视频特效实时添加模块，包括：
图像渲染模块，用于在所述目标图像帧中渲染与所述设定乐器类型匹配的乐器的图像；
音乐播放模块，用于从预设的音乐库中查找到与所述设定乐器类型匹配的音乐，并在所述目标图像帧的显示过程中，播放所述音乐。
第三方面，本公开实施例还提供了一种终端设备，该终端设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的视频特效添加方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所述的视频特效添加方法。
本公开实施例通过在视频的图像帧中识别到的目标人体关节点满足起始关节动作条件时，为该视频添加与起始关节动作条件匹配的动作特效，解决了视频交互应用的视频特效过于单一的问题，实现针对用户的动作增加视频特效，提高视频增加特效的灵活性。
附图说明
图1a是本公开实施例一提供的一种视频特效添加方法的流程图；
图1b是本公开实施例一提供的一种人体关节点的示意图；
图2是本公开实施例二提供的一种视频特效添加方法的流程图；
图3是本公开实施例三提供的一种视频特效添加方法的流程图；
图4是本公开实施例四提供的一种视频特效添加装置的结构示意图；
图5是本公开实施例五提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
实施例一
图1a为本公开实施例一提供的一种视频特效添加方法的流程图，本实施例可适用于为视频添加视频特效的情况，该方法可以由视频特效添加装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于终端设备中，例如典型的是计算机或移动终端等。如图1a所示，该方法具体包括如下步骤：
S110，获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点。
一般来说，视频是由一系列静态的图像帧以极快的速度连续放映形成。由此，可以将视频拆分成一系列图像帧，并对图像帧进行编辑操作，从而实现对视频的编辑操作。图像帧中存在多个用户时，可以根据各用户的关节点的识别完整度、置信度或者各用户与拍摄视频的设备的距离，选择其中一个用户作为后续需要添加视频特效的对象。人体关节点用于确定图像帧中用户的动作状态，例如站立、鞠躬或跳跃等动作状态，以及用于确定用户的位置信息，例如用户与终端设备之间的距离、用户与终端设备所拍摄到的其他物体的相对位置或用户在终端设备所拍摄到的画面中的位置等位置信息。
在一个具体的例子中，如图1b所示，在移动终端中，人体轮廓具体如图所示，其中，人体轮廓中的圆圈表示识别到的人体关节点，两个人体关节点之间的连线用于表示人体的身体部位，例如，手腕关节点和手肘关节点之间的连线用于表示手腕和手肘之间的手臂。
对每个图像帧进行人体关节点识别操作，可以在图像帧中识别出所有人体区域，具体可以是根据图像帧所包含的深度信息(深度信息可以通过红外线摄像机获取)，对该图像帧进行图像分割，识别出图像帧中所有人体区域。从所有人体区域中选择一个人体区域用于识别人体关节点，具体可以是根据人体区域与终端设备显示屏幕之间的距离，选择距离最短的人体区域作为需要识别人体关节点的用户，此外还可以选择其他方式确定，对此不做具体限制。在确定人体区域之后，对该人体区域进行人体关节点识别，确定属于该用户的所有人体关节点，进一步可以根据需要从该用户的所有人体关节点中筛选出至少一个目标人体关节点。
其中，识别人体关节点的方法具体可以是：在人体区域中确定属于该人体区域中的身体部位区域(手臂、手、大腿和脚等)，并在各身体部位区域计算关节点(手肘、手腕和膝盖等)位置，最后根据识别到的各关节点位置，生成人体骨架系统。上述涉及到的人体识别、身体部位区域识别和身体部位区域中的关节点位置计算均可以采用预先训练的深度学习模型实现，而深度学习模型可以根据由人体深度信息提取出来的深度特征进行训练。
需要说明的是，识别人体关节点的方法还有其他方法，对此本公开实施例不作具体限制。
S120，在从所述至少一个图像帧中选取的图像帧中，判断识别出的目标人体关节点是否满足预设的起始关节动作条件，直至所述至少一个图像帧全部判断完成，如果是，执行S130；否则，执行S140。
需要对视频中所有图像帧识别到的目标人体关节点进行判断，具体可以是以逐一选取图像帧进行判断的方式。
起始关节动作条件可以是指用于开始添加视频特效的动作，例如左手放置在高过头顶的位置，或者做出鞠躬动作等，还有其他具体动作，对此本公开实施例不作具体限制。
可选的，确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，可以包括：如果在所述目标图像帧中，由至少两个目标人体关节点确定的人体部位与设定方向的夹角满足预设的夹角条件，则确定目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件；和/或如果在所述目标图像帧中，至少两个所述目标人体关节点之间的相对位置关系满足预设的相对位置条件，则确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件。
具体的，夹角条件可以是指由至少两个目标人体关节点确定的人体部位与预设方向的夹角要求，由于至少两个目标人体关节点可以用于确定至少一条直线，直线所在的方向即为人体部位的方向，由此可以确定人体部位的方向和设定方向的夹角，进而判断是否满足夹角条件。在一个具体的例子中，目标人体关节点为手腕关节点和手肘关节点，预设方向为竖直方向，由此确定的人体部位为手腕和手肘之间的手臂，进一步计算手臂与预设方向的夹角，若该夹角为45°，同时夹角条件为大于30°，此时手臂与预设方向的夹角满足预设的夹角条件，从而，确定目标人体关节点满足起始关节动作条件。需要说明的是，夹角条件可以限制多个人体部位，例如，当手腕和手肘之间的手臂与预设方向的夹角大于30°且手肘与肩部之间的手臂与预设方向的夹角大于45°的同时，确定目标人体关节点满足起始关节动作条件。
相对位置条件可以是指至少两个目标人体关节点的相对位置要求，例如，头部关节点的位置与脚腕关节点的位置之间的距离超过目标图像帧的高度的一半。同样，相对位置条件可以限制多个目标关节点的相对位置。
通过设置夹角条件和/或相对位置条件，可以灵活根据用户的动作添加视频特效，提高视频交互应用的丰富度。
S130，将满足预设的起始关节动作条件的目标人体关节点对应的图像帧作为目标图像帧，并获取与所述起始关节动作条件匹配的视频特效，执行S150。
在满足起始关节动作条件时，视频中会从当前图像帧开始增加与起始关节动作条件匹配的视频特效。视频特效用于在目标图像帧中添加根据用户动作匹配的特殊效果，以实现与用户交互，具体可以是指动画特效和/或音乐特效，添加动画特效用于目标图像帧在显示的过程中同时绘制静态和/或动态图像覆盖于目标图像帧原有内容上，添加音乐特效用于在目标图像帧中显示的过程中，同时播放音乐。可以预先设置视频特效库，同时，预先设置视频特效与起始动作条件的对应关系，根据目标人体关节点确定的起始动作条件，以及视频特效与起始动作条件的对应关系，从视频特效库查找到与起始动作条件匹配的视频特效。
S140，获取下一个图像帧，返回执行S120。
S150，在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
视频位置用于表示图像帧在视频中的位置。由于视频拆分出的图像帧可以按照视频播放顺序进行排列，从而，视频位置还可以用于表示图像帧在视频播放过程中的播放时刻，该播放时刻可以是指相对视频播放的起始时刻的具体时刻。可以将视频拆分的一系列图像帧按照播放顺序进行编号，具体是：第一个播放的图像帧为第1帧，在第1帧图像帧之后播放的图像帧为第2帧，以此类推，将该视频中拆分的所有图像帧进行编号。例如，视频可拆分成100帧，每个图像帧对应有一个序号，目标图像帧可以是第50帧。
确定目标图像帧的视频位置之后，在该视频位置处添加视频特效。实际上，视频特效可以以代码形式表示，在该视频位置处添加视频特效，也即在该目标图像帧对应的代码片段中添加视频特效对应的代码片段，从而实现在目标图像帧中添加视频特效。
本公开实施例通过在视频的图像帧中识别到的目标人体关节点满足起始关节动作条件时，为该视频添加与起始关节动作条件匹配的动作特效，解决了视频交互应用的视频特效过于单一的问题，实现针对用户的动作增加视频特效，提高视频增加特效的灵活性。
在上述实施例的基础上，可选的，所述获取视频中的至少一个图像帧，可以包括：在视频录制过程中，实时获取所述视频中的至少一个图像帧；所述在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效，包括：将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。
其中，特效添加起点可以是指视频特效添加的起始位置和/或起始时间。
具体的，可以实时拍摄视频，并实时获取视频拆分的一系列图像帧，从而实时判断拍摄的视频中的目标人体关节点是否满足起始关节动作条件，进一步在满足起始关节动作条件的情况下，实时添加视频特效。通过在录制视频的过程中，实时添加视频特效，可以实现在视频录制的同时添加视频特效，提高视频特效的添加效率。
可选的，将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效，可以包括：在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效，所述视频特效具有设定的初始特效参数；根据与所述目标图像帧对应的至少一个后续图像帧中所述至少一个目标人体关节点相对于所述目标图像帧的运动情况，确定与所述后续图像帧匹配的特效变化参数；在所述至少一个后续图像帧中添加通过对应特效变化参数调整后的所述视频特效。
其中，初始特效参数用于在目标图像帧中生成视频特效的参数，可以是指与目标图像帧中识别出的目标人体关节点满足的起始关节动作条件匹配的特效参数，具体可以根据至少一个目标人体关节点确定用户的人体特征信息；并根据所述人体特征信息确定初始特效参数。特效变化参数用于在后续图像帧中生成视频特效的参数，可以是指与后续图像帧匹配的特效参数，更详细的是，与后续图像帧中识别到的目标人体关节点的运动情况匹配的特效参数。运动情况可以是指目标人体关节点的位移情况和/或旋转角度变化情况等。
具体的，若视频特效为乐器添加特效时，初始特效参数和特效变化参数均可以包括乐器的宽度、长度、旋转角度和中心位置等图像渲染参数，以及乐器的音乐特效的获取地址和/或音乐特效的查询信息等音乐特效参数。
在目标图像帧中视频特效添加完成后，可以根据后续图像帧中识别到的目标关节点的连续变化情况，确定用户的动作变化情况，对应调整视频特效，从而在后续图像帧中添加与后续图像帧中识别到的目标关节点匹配的视频特效，实现跟随用户动作进行添加交互视频特效的效果。其中，运动情况可以是指根据从目标图像帧开始连续获取多个图像帧，获取目标人体关节点在多个图像帧中的位置变化情况；或者还可以根据由至少两个目标人体关节点确定的人体部位在多个图像帧中的角度变化和/或位置变化情况。
通过当确定目标图像帧满足起始关节动作条件时，从目标图像帧开始添加特效，目标图像帧之后的图像帧可以具体根据该图像帧中的用户的动作调整视频特效，从而实现与用户动作交互的效果，提高视频特效的多样性。
在一个具体的例子中，用户录制无实物演奏乐器的视频，预设的起始关节动作为保持双臂张开一定角度(如30°)，在录制的视频中从识别到用户做出预设动作的图像帧中开始进行乐器渲染，此时，在用户双手间渲染乐器(如手风琴)的图像。后续通过识别用户双臂的张合动作，调整乐器的图像的尺寸以及位置，甚至可以根据张合动作触发不同的音效，动作的快慢可以调节音乐的节奏，当用户双手完全接触或者双手之间的距离小于预设距离阈值时，确定用户触发预设停止动作，则乐器的图像消失，期间可以增加可选的背景音效，达到与乐器音效配合的目的。
又如，用户录制无背景跳舞的视频，预设的起始关节动作为鞠躬动作，在录制的视频中从识别到用户做出预设动作的图像帧中开始添加视频特效，例如，在用户身后渲染舞台背景图，或者在用户身前渲染观众背景图。后续通过识别用户跳舞动作，不断触发与跳舞动作匹配的音乐，例如用户做出华尔兹的跳舞动作，对应播放华尔兹的乐曲。从而不断识别用户的跳舞动作，使整段舞蹈中一直伴随有音乐的播放，此外，用户可以根据自己的喜好选取与跳舞动作匹配的音效。
实施例二
图2为本公开实施例二提供的一种视频特效添加方法的流程图。本实施例以上述实施例中各个可选方案为基础进行具体化。在本实施例中，将获取视频中的至少一个图像帧具体化为：在视频录制过程中，实时获取所述视频中的至少一个图像帧。同时，将所述在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效具体化为：将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。同时，在视频录制过程中，实时获取所述视频中的至少一个图像帧的同时，在视频预览界面中实时呈现所述视频中的图像帧。以及将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效的同时，在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
相应的，本实施例的方法可以包括：
S210，在视频录制过程中，实时获取所述视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点，同时在视频预览界面中实时呈现所述视频中的图像帧。
其中，视频预览界面可以是指用于用户浏览视频的终端设备的界面，其中，终端设备可以包括服务器端或客户端。
在实时拍摄视频的同时，将视频实时显示在视频预览界面中，由此，用户可以实时浏览到拍摄的视频的内容。
本实施例中的视频、图像帧、目标人体关节点、起始关节动作条件、视频位置和视频特效等均可以参考上述实施例中的描述。
S220，在从所述至少一个图像帧中选取的图像帧中，判断识别出的目标人体关节点是否满足预设的起始关节动作条件，直至所述至少一个图像帧全部判断完成，如果是，执行S230；否则，执行S240。
S230，将满足预设的起始关节动作条件的目标人体关节点对应的图像帧作为目标图像帧，并获取与所述起始关节动作条件匹配的视频特效，执行S250。
S240，获取下一个图像帧，返回执行S220。
S250，将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效，并在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
在实时添加视频特效的同时，将视频特效跟随视频一起显示在视频预览界面中，以使用户实时浏览到添加视频效果后的视频。
可选的，所述视频特效包括：动态动画特效，和/或音乐特效；在所述视频预览界面中，实时呈现添加所述视频特效的图像帧，可以包括：在所述视频预览界面中，在图像帧中实时绘制动态动画特效，并播放音乐特效。
具体的，当视频特效包括动态动画特效时，在实时显示的图像帧中绘制动态动画特效，例如，绘制乐器、背景和人物等中至少一种图像。当视频特效包括音乐特效时，在图像帧实时显示的同时播放音乐特效。若在音乐特效播放结束后，视频还未结束，可以循环播放该音乐特效，或者选择其他音乐特效进行播放。通过设置视频特效包括动态动画特效和/或音乐特效，提高视频特效的多样性。
需要说明的是，在目标图像帧中动画特效和/或音乐特效添加完成后，可以根据后续图像帧中识别到的目标关节点的连续变化情况，确定用户的动作变化情况，对应调整动画特效和/或音乐特效，从而在后续图像帧中添加与后续图像帧中识别到的目标关节点匹配的动画特效和/或音乐特效，实现跟随用户动作进行添加交互动画特效和/或音乐特效的效果。例如，目标图像帧中音乐特效为缓和的音乐A，后续图像帧中确定的用户动作速度逐渐变快，从而，可以将以1.5倍速继续播放音乐A，或者选择快节奏的音乐B开始播放。
本公开实施例通过在录制视频的过程中实时获取图像帧，并在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件的情况下，为目标图像帧实时添加与起始关节动作条件匹配的视频特效，同时在视频预览界面中显示添加视频特效后的视频，实现用户在与视频交互应用交互的过程中能够实时浏览到添加视频特效的视频，从而实现用户能够实时浏览到交互后的视频效果，提高视频特效添加的效率，提高用户体验。
实施例三
图3为本公开实施例三提供的一种视频特效添加方法的流程图。本实施例以上述实施例中各个可选方案为基础进行具体化。在本实施例中，所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效。将在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效之前，优化为：如果确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效，则根据所述至少一个目标人体关节点确定所述用户的人体特征信息；根据所述人体特征信息确定与所述乐器添加特效匹配的初始特效参数；其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置。
相应的，本实施例的方法可以包括：
S310，在视频录制过程中，实时获取所述视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点，同时在视频预览界面中实时呈现所述视频中的图像帧。
本实施例中的视频、图像帧、目标人体关节点、起始关节动作条件、视频位置和视频特效等均可以参考上述实施例中的描述。
S320，在从所述至少一个图像帧中选取的图像帧中，判断识别出的目标人体关节点是否满足预设的起始关节动作条件，直至所述至少一个图像帧全部判断完成，如果是，执行S330；否则，执行S340。
S330，将满足预设的起始关节动作条件的目标人体关节点对应的图像帧作为目标图像帧，并获取与所述起始关节动作条件匹配的视频特效，执行S350。
S340，获取下一个图像帧，返回执行S320。
S350，当确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效时，根据所述至少一个目标人体关节点确定所述用户的人体特征信息。
设定乐器类型可以是二胡、手风琴、笛子、小提琴或钢琴等乐器类型，对此本公开实施例不作具体限定。人体特征信息用于表示人体的各个部位的特征信息，例如距离、比例或角度等特征信息，具体可以是指人体的身高、肩宽、双手之间的距离、手掌的位置和脚腕的位置等信息中的至少一种。
在一个具体的例子中，双手之间的距离可以是根据识别到的左手手掌的掌心关节点与右手手掌的掌心关节点之间的距离，其中，该距离可以是指平面距离，或者可以是指空间距离，其中，空间距离可以根据获取的图像帧的深度信息确定。
S360，根据所述人体特征信息确定与所述乐器添加特效匹配的初始特效参数；其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置。
具体的，根据乐器的宽度、长度、旋转角度和中心位置，可以确定乐器的形状以及乐器与视频预览界面中显示的用户的相对位置。从而可以在视频预览界面中显示与当前用户的姿态相匹配的乐器，例如，当用户与视频预览界面的距离小时，乐器尺寸变大，当用户与视频预览界面的距离大时，乐器尺寸变小。
其中，乐器的宽度、长度、旋转角度和中心位置的确定方式具体可以是：根据至少一个左手手掌关节点和至少一个右手手掌关节点，确定用户手掌之间的距离以及用户手掌之间的连线；根据用户手掌之间的距离，以及起始关节动作条件中距离与乐器宽度的对应关系，确定乐器的宽度；根据用户手掌之间的连线，计算连线与水平线的角度，作为乐器的旋转角度；根据至少两个人体轮廓关节点，以及起始关节动作条件中人体轮廓与乐器中心位置的对应关系，确定乐器的中心位置；根据至少两个人体轮廓关节点，确定目标用户的人体尺寸，并根据起始关节动作条件中人体尺寸与乐器长度的对应关系，确定乐器的长度。预先设置识别到的目标人体关节点与乐器的各项参数的对应关系，可以根据不同情况，灵活调整乐器的形状、位置和角度，从而使乐器随着用户的姿态对应调整，以实现与用户交互的效果。
在一个具体的例子中，乐器类型为手风琴，根据图像帧中识别到的左手手掌的掌心关节点与右手手掌的掌心关节点之间的距离，以及预设的距离与手风琴的宽度的对应关系，例如手风琴的宽度等于上述计算的距离减去5个像素，若左手手掌的掌心关节点与右手手掌的掌心关节点之间的距离计算为100个像素，则手风琴的宽度为95个像素。
又如，若乐器类型为二胡时，可以根据至少一个左手手掌关节点和至少一个腿部关节点确定二胡的位置和二胡的旋转角度，根据至少一个右手手掌关节点以及前述确定的旋转角度确定琴弦的位置，根据识别到的用户的上半身躯体的轮廓或者是用户头部关节点与用户膝盖关节点之间的竖直距离，确定用户上半身躯体的尺寸，从而确定二胡的尺寸以及琴弦的长度。
又如，若乐器类型为小提琴时，可以根据至少一个左手手掌关节点和至少一个左肩关节点确定小提琴的位置和小提琴的旋转角度，根据至少一个右手手掌关节点以及前述确定的旋转角度确定琴弦的位置，根据识别到的用户的上半身(或者全身)躯体的轮廓，确定用户上半身躯体的尺寸，从而确定小提琴的尺寸以及琴弦的长度。
需要说明的是，针对不同的乐器类型，需要对应设置不同的乐器添加特效匹配的参数，可以根据需要对其他乐器类型以及相应的乐器添加特效的参数进行设置，对此，本公开实施例不作具体限制。
S370，在所述视频中与所述目标图像帧关联的视频位置处，在所述目标图像帧中渲染与所述设定乐器类型匹配的乐器的图像；同时从预设的音乐库中查找到与所述设定乐器类型匹配的音乐，并在所述目标图像帧的显示过程中，播放所述音乐。
具体的，渲染与设定乐器类型匹配的乐器可以是指将该乐器的图像覆盖在所述目标图像帧上，和目标图像帧共同显示给用户。根据与目标图像帧的至少一个后续图像帧中识别到的至少一个目标人体关节点相对于目标图像帧的运动情况，不断调整乐器的图像。例如，根据目标图像帧中识别到的双手手掌之间的距离确定的手风琴的宽度为50个像素，后续根据目标图像帧后一图像帧中识别的双手手掌之间的距离确定的手风琴的宽度为49个像素。
与设定乐器类型匹配的音乐可以是指设定乐器类型对应的乐器弹奏形成的音乐，例如，乐器为手风琴，对应的音乐为以手风琴弹奏形成的音乐，其中，该音乐可以是电子合成的音乐，也可以是事先录制的音乐。播放音乐实际上是在视频播放的过程中，当视频预览界面正在显示目标图像帧时，开始播放音乐。若音乐播放结束后，视频中部分图像帧还未显示，可以在正在显示的当前图像帧显示的同时，开始重新播放该音乐，或者选择其他与设定乐器类型匹配的音乐进行播放。
本公开实施例通过设置视频特效为乐器添加特效，并对应添加乐器图像以及乐器匹配的音乐，使得视频效果更多样化。
实施例四
图4为本公开实施例提供的一种视频特效添加装置的结构示意图，本实施例可适用于在视频中添加视频特效的情况。该装置可以采用软件和/或硬件的方式实现，该装置可以配置于终端设备中。如图4所示，该装置可以包括：目标人体关节点识别模块410、视频特效确定模块420和视频特效添加模块430。
目标人体关节点识别模块410，用于获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；
视频特效确定模块420，用于如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；
视频特效添加模块430，用于在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
本公开实施例通过在视频的图像帧中识别到的目标人体关节点满足起始关节动作条件时，为该视频添加与起始关节动作条件匹配的动作特效，解决了视频交互应用的视频特效过于单一的问题，实现针对用户的动作增加视频特效，提高视频增加特效的灵活性。
进一步的，所述目标人体关节点识别模块410，包括：图像帧实时获取模块，用于在视频录制过程中，实时获取所述视频中的至少一个图像帧；所述视频特效添加模块430，包括：视频特效实时添加模块，用于将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。
进一步的，所述视频特效实时添加模块，包括：匹配视频特效添加模块，用于在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效，所述视频特效具有设定的初始特效参数；特效变化参数确定模块，用于根据与所述目标图像帧对应的至少一个后续图像帧中所述至少一个目标人体关节点相对于所述目标图像帧的运动情况，确定与所述后续图像帧匹配的特效变化参数；视频特效调整模块，用于在所述至少一个后续图像帧中添加通过对应特效变化参数调整后的视频特效。
进一步的，所述视频特效确定模块420，包括：夹角判断模块，用于如果在所述目标图像帧中，由至少两个目标人体关节点确定的人体部位与设定方向的夹角满足预设的夹角条件，则确定目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件；和/或相对位置判断模块，用于如果在所述目标图像帧中，至少两个所述目标人体关节点之间的相对位置关系满足预设的相对位置条件，则确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件。
进一步的，所述装置还包括：图像帧呈现模块，用于在所述视频的录制过程中，在视频预览界面中实时呈现所述视频中的图像帧；所述视频特效实时添加模块，还包括：视频特效实时呈现模块，用于在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
进一步的，所述视频特效包括：动态动画特效，和/或音乐特效。
进一步的，所述视频特效实时呈现模块，包括：特效展示和播放模块，用于在所述视频预览界面中，在图像帧中实时绘制动态动画特效，并播放音乐特效。
进一步的，所述装置还包括：人体特征信息确定模块，用于如果确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效，则根据所述至少一个目标人体关节点确定所述用户的人体特征信息；初始特效参数确定模块，用于根据所述人体特征信息确定与所述乐器添加特效匹配的所述初始特效参数；其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置；
进一步的，所述视频特效实时添加模块，包括：图像渲染模块，用于在所述目标图像帧中渲染与所述设定乐器类型匹配的乐器的图像；音乐播放模块，用于从预设的音乐库中查找到与所述设定乐器类型匹配的音乐，并在所述目标图像帧的显示过程中，播放所述音乐。
本公开实施例提供的视频特效添加装置，与实施例一提供的视频特效添加方法属于同一发明构思，未在本公开实施例中详尽描述的技术细节可参见实施例一，并且本公开实施例与实施例一具有相同的有益效果。
实施例五
本公开实施例提供了一种终端设备，下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如客户端或服务器端)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
实施例六
本公开实施例还提供了一种计算机可读存储介质，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(RF)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，目标人体关节点识别模块还可以被描述为“获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种视频特效添加方法，其特征在于，包括：
获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；
如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；
在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
2.根据权利要求1所述的方法，其特征在于，所述获取视频中的至少一个图像帧，包括：
在视频录制过程中，实时获取所述视频中的至少一个图像帧；
所述在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效，包括：
将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效，包括：
在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效，所述视频特效具有设定的初始特效参数；
根据与所述目标图像帧对应的至少一个后续图像帧中所述至少一个目标人体关节点相对于所述目标图像帧的运动情况，确定与所述后续图像帧匹配的特效变化参数；
在所述至少一个后续图像帧中添加通过对应特效变化参数调整后的视频特效。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，包括：
如果在所述目标图像帧中，由至少两个目标人体关节点确定的人体部位与设定方向的夹角满足预设的夹角条件，则确定目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件；和/或
如果在所述目标图像帧中，至少两个所述目标人体关节点之间的相对位置关系满足预设的相对位置条件，则确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件。
5.根据权利要求2所述的方法，其特征在于，还包括：
在所述视频的录制过程中，在视频预览界面中实时呈现所述视频中的图像帧；
在将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效的同时，还包括：
在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
6.根据权利要求5所述的方法，其特征在于，所述视频特效包括：动态动画特效，和/或音乐特效；
所述在所述视频预览界面中，实时呈现添加所述视频特效的图像帧，包括：
在所述视频预览界面中，在图像帧中实时绘制动态动画特效，并播放音乐特效。
7.根据权利要求5或6所述的方法，其特征在于，在添加与所述起始关节动作条件匹配的视频特效之前，还包括：
如果确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效，则根据所述至少一个目标人体关节点确定所述用户的人体特征信息；
根据所述人体特征信息确定与所述乐器添加特效匹配的初始特效参数；
其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置；
所述添加与所述起始关节动作条件匹配的视频特效，包括：
在所述目标图像帧中渲染与所述设定乐器类型匹配的乐器的图像；
从预设的音乐库中查找到与所述设定乐器类型匹配的音乐，并在所述目标图像帧的显示过程中，播放所述音乐。
8.一种视频特效添加装置，其特征在于，包括：
目标人体关节点识别模块，用于获取视频中的至少一个图像帧，并在所述图像帧中识别用户的至少一个目标人体关节点；
视频特效确定模块，用于如果确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件，则获取与所述起始关节动作条件匹配的视频特效；
视频特效添加模块，用于在所述视频中与所述目标图像帧关联的视频位置处，添加与所述起始关节动作条件匹配的视频特效。
9.根据权利要求8所述的装置，其特征在于，所述目标人体关节点识别模块，包括：
图像帧实时获取模块，用于在视频录制过程中，实时获取所述视频中的至少一个图像帧；
所述视频特效添加模块，包括：
视频特效实时添加模块，用于将所述目标图像帧的视频位置作为特效添加起点，在所述视频中实时添加与所述起始关节动作条件匹配的视频特效。
10.根据权利要求9所述的装置，其特征在于，所述视频特效实时添加模块，包括：
匹配视频特效添加模块，用于在所述目标图像帧中添加与所述起始关节动作条件匹配的视频特效，所述视频特效具有设定的初始特效参数；
特效变化参数确定模块，用于根据与所述目标图像帧对应的至少一个后续图像帧中所述至少一个目标人体关节点相对于所述目标图像帧的运动情况，确定与所述后续图像帧匹配的特效变化参数；
视频特效调整模块，用于在所述至少一个后续图像帧中添加通过对应特效变化参数调整后的视频特效。
11.根据权利要求8-10任一项所述的装置，其特征在于，所述视频特效确定模块，包括：
夹角判断模块，用于如果在所述目标图像帧中，由至少两个目标人体关节点确定的人体部位与设定方向的夹角满足预设的夹角条件，则确定目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件；和/或
相对位置判断模块，用于如果在所述目标图像帧中，至少两个所述目标人体关节点之间的相对位置关系满足预设的相对位置条件，则确定在目标图像帧中识别出的目标人体关节点满足预设的起始关节动作条件。
12.根据权利要求9所述的装置，其特征在于，还包括：
图像帧呈现模块，用于在所述视频的录制过程中，在视频预览界面中实时呈现所述视频中的图像帧；
所述视频特效实时添加模块，还包括：
视频特效实时呈现模块，用于在所述视频预览界面中，实时呈现添加所述视频特效的图像帧。
13.根据权利要求12所述的装置，其特征在于，所述视频特效包括：动态动画特效，和/或音乐特效；
所述视频特效实时呈现模块，包括：
特效展示和播放模块，用于在所述视频预览界面中，在图像帧中实时绘制动态动画特效，并播放音乐特效。
14.根据权利要求12或13所述的装置，其特征在于，还包括：
人体特征信息确定模块，用于如果确定与所述起始关节动作条件匹配的视频特效为设定乐器类型的乐器添加特效，则根据所述至少一个目标人体关节点确定所述用户的人体特征信息；
初始特效参数确定模块，用于根据所述人体特征信息确定与所述乐器添加特效匹配的所述初始特效参数；其中，所述初始特效参数包括下述至少一项：所述乐器的宽度、所述乐器的长度、所述乐器的旋转角度和所述乐器的中心位置；
所述视频特效实时添加模块，包括：
图像渲染模块，用于在所述目标图像帧中渲染与所述设定乐器类型匹配的乐器的图像；
音乐播放模块，用于从预设的音乐库中查找到与所述设定乐器类型匹配的音乐，并在所述目标图像帧的显示过程中，播放所述音乐。
15.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的视频特效添加方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的视频特效添加方法。
CN201811446874.4A 2018-11-29 2018-11-29 一种视频特效添加方法、装置、终端设备及存储介质 Active CN109462776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811446874.4A CN109462776B (zh) 2018-11-29 2018-11-29 一种视频特效添加方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811446874.4A CN109462776B (zh) 2018-11-29 2018-11-29 一种视频特效添加方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN109462776A true CN109462776A (zh) 2019-03-12
CN109462776B CN109462776B (zh) 2021-08-20

Family

ID=65612049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811446874.4A Active CN109462776B (zh) 2018-11-29 2018-11-29 一种视频特效添加方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN109462776B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889893A (zh) * 2019-04-16 2019-06-14 北京字节跳动网络技术有限公司 视频处理方法、装置及设备
CN110047119A (zh) * 2019-03-20 2019-07-23 北京字节跳动网络技术有限公司 包含动态背景的动画生成方法、装置及电子设备
CN110084204A (zh) * 2019-04-29 2019-08-02 北京字节跳动网络技术有限公司 基于目标对象姿态的图像处理方法、装置和电子设备
CN110336940A (zh) * 2019-06-21 2019-10-15 深圳市茄子咔咔娱乐影像科技有限公司 一种基于双摄像头拍摄合成特效的方法和系统
CN110570502A (zh) * 2019-08-05 2019-12-13 北京字节跳动网络技术有限公司 显示图像帧的方法、装置、电子设备和计算机可读存储介质
CN110582021A (zh) * 2019-09-26 2019-12-17 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
CN110688496A (zh) * 2019-09-26 2020-01-14 联想(北京)有限公司 一种多媒体文件处理的方法及装置
CN110740262A (zh) * 2019-10-31 2020-01-31 维沃移动通信有限公司 背景音乐的添加方法、装置及电子设备
CN111428665A (zh) * 2020-03-30 2020-07-17 咪咕视讯科技有限公司 一种信息确定方法、设备及计算机可读存储介质
CN111541936A (zh) * 2020-04-02 2020-08-14 腾讯科技（深圳）有限公司 视频及图像处理方法、装置、电子设备、存储介质
CN111669497A (zh) * 2020-06-12 2020-09-15 杭州趣维科技有限公司 一种移动端自拍时音量驱动贴纸效果的方法
CN111782858A (zh) * 2020-03-31 2020-10-16 北京沃东天骏信息技术有限公司 音乐匹配的方法和装置
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN111866404A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 一种视频编辑方法及电子设备
CN112333464A (zh) * 2020-10-30 2021-02-05 北京字跳网络技术有限公司 一种交互数据生成方法、装置以及计算机存储介质
CN112333473A (zh) * 2020-10-30 2021-02-05 北京字跳网络技术有限公司 一种交互方法、装置以及计算机存储介质
CN112396676A (zh) * 2019-08-16 2021-02-23 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2021036782A1 (zh) * 2019-08-28 2021-03-04 北京字节跳动网络技术有限公司 声音处理方法、装置、电子设备及计算机可读存储介质
CN112533058A (zh) * 2019-09-17 2021-03-19 西安中兴新软件有限责任公司 视频处理方法、装置、设备及计算机可读存储介质
WO2021056552A1 (zh) * 2019-09-29 2021-04-01 深圳市大疆创新科技有限公司 视频的处理方法和装置
CN112788390A (zh) * 2020-12-25 2021-05-11 深圳市优必选科技股份有限公司 一种基于人机交互的控制方法、装置、设备及存储介质
US20210174771A1 (en) * 2018-09-03 2021-06-10 Yamaha Corporation Information processing device for data representing motion
CN113490063A (zh) * 2021-08-26 2021-10-08 上海盛付通电子支付服务有限公司 一种用于直播互动的方法、设备、介质及程序产品
CN113518256A (zh) * 2021-07-23 2021-10-19 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113824993A (zh) * 2021-09-24 2021-12-21 北京市商汤科技开发有限公司 一种视频处理的方法、装置、电子设备及存储介质
CN114556963A (zh) * 2019-12-27 2022-05-27 多玩国株式会社 内容生成装置、内容分发服务器、内容生成方法以及内容生成程序
WO2022252966A1 (zh) * 2021-06-03 2022-12-08 腾讯科技（深圳）有限公司 虚拟乐器的音频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2023197749A1 (zh) * 2022-04-15 2023-10-19 腾讯科技（深圳）有限公司 背景音乐的插入时间点确定方法、装置、设备和存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709332A (en) * 1984-10-05 1987-11-24 North Shore University Hospital High speed image data processing
JP2006254350A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示切替方法
US20100128145A1 (en) * 2008-11-25 2010-05-27 Colvin Pitts System of and Method for Video Refocusing
US20120014672A1 (en) * 2009-03-13 2012-01-19 Yuuji Kasuya Video editing device and video editing system
CN102580328A (zh) * 2012-01-10 2012-07-18 上海恒润数码影像科技有限公司 4d影音一体机的控制装置及其方法
CN104623910A (zh) * 2015-01-15 2015-05-20 西安电子科技大学 舞蹈辅助特效伴侣系统及实现方法
CN105007524A (zh) * 2015-07-29 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
US20150365627A1 (en) * 2014-06-13 2015-12-17 Arcsoft Inc. Enhancing video chatting
CN105608710A (zh) * 2015-12-14 2016-05-25 四川长虹电器股份有限公司 一种非刚性人脸检测和追踪定位方法
CN106331880A (zh) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 一种信息处理方法及系统
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
US20170051926A1 (en) * 2012-04-01 2017-02-23 Mahesh Viswanathan Extensible networked multi-modal environment conditioning system
CN106657814A (zh) * 2017-01-17 2017-05-10 维沃移动通信有限公司 一种视频录制方法及移动终端
CN107943291A (zh) * 2017-11-23 2018-04-20 乐蜜有限公司 人体动作的识别方法、装置和电子设备
CN107948543A (zh) * 2017-11-16 2018-04-20 北京奇虎科技有限公司 一种视频特效处理方法及装置
CN107995442A (zh) * 2017-12-21 2018-05-04 北京奇虎科技有限公司 视频数据的处理方法、装置及计算设备
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN108810436A (zh) * 2018-05-24 2018-11-13 广州音乐猫乐器科技有限公司 一种基于全自动乐器合奏的视频录制方法和系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709332A (en) * 1984-10-05 1987-11-24 North Shore University Hospital High speed image data processing
JP2006254350A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示切替方法
US20100128145A1 (en) * 2008-11-25 2010-05-27 Colvin Pitts System of and Method for Video Refocusing
US20120014672A1 (en) * 2009-03-13 2012-01-19 Yuuji Kasuya Video editing device and video editing system
CN102580328A (zh) * 2012-01-10 2012-07-18 上海恒润数码影像科技有限公司 4d影音一体机的控制装置及其方法
US20170051926A1 (en) * 2012-04-01 2017-02-23 Mahesh Viswanathan Extensible networked multi-modal environment conditioning system
US20150365627A1 (en) * 2014-06-13 2015-12-17 Arcsoft Inc. Enhancing video chatting
CN104623910A (zh) * 2015-01-15 2015-05-20 西安电子科技大学 舞蹈辅助特效伴侣系统及实现方法
CN105007524A (zh) * 2015-07-29 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN105608710A (zh) * 2015-12-14 2016-05-25 四川长虹电器股份有限公司 一种非刚性人脸检测和追踪定位方法
CN106331880A (zh) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 一种信息处理方法及系统
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
CN106657814A (zh) * 2017-01-17 2017-05-10 维沃移动通信有限公司 一种视频录制方法及移动终端
CN107948543A (zh) * 2017-11-16 2018-04-20 北京奇虎科技有限公司 一种视频特效处理方法及装置
CN107943291A (zh) * 2017-11-23 2018-04-20 乐蜜有限公司 人体动作的识别方法、装置和电子设备
CN107995442A (zh) * 2017-12-21 2018-05-04 北京奇虎科技有限公司 视频数据的处理方法、装置及计算设备
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108810436A (zh) * 2018-05-24 2018-11-13 广州音乐猫乐器科技有限公司 一种基于全自动乐器合奏的视频录制方法和系统
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AKIRA FUJIBAYASHI；CHOONG SENG BOON: "《Application of motion sharpening effect in video coding》", 《2008 15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
W.A.C.FERNANDO;C.N.CANAGARAJAH;D.R.BULL: "《Video special effect editing in MPEG-2 compressed video》", 《2000 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *
陈曦: "《一种舞台增强现实系统的研究与实现》", 《计算机工程与应用》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174771A1 (en) * 2018-09-03 2021-06-10 Yamaha Corporation Information processing device for data representing motion
CN110047119A (zh) * 2019-03-20 2019-07-23 北京字节跳动网络技术有限公司 包含动态背景的动画生成方法、装置及电子设备
CN109889893A (zh) * 2019-04-16 2019-06-14 北京字节跳动网络技术有限公司 视频处理方法、装置及设备
CN111866404A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 一种视频编辑方法及电子设备
CN111866404B (zh) * 2019-04-25 2022-04-29 华为技术有限公司 一种视频编辑方法及电子设备
CN110084204A (zh) * 2019-04-29 2019-08-02 北京字节跳动网络技术有限公司 基于目标对象姿态的图像处理方法、装置和电子设备
CN110084204B (zh) * 2019-04-29 2020-11-24 北京字节跳动网络技术有限公司 基于目标对象姿态的图像处理方法、装置和电子设备
CN110336940A (zh) * 2019-06-21 2019-10-15 深圳市茄子咔咔娱乐影像科技有限公司 一种基于双摄像头拍摄合成特效的方法和系统
CN110570502A (zh) * 2019-08-05 2019-12-13 北京字节跳动网络技术有限公司 显示图像帧的方法、装置、电子设备和计算机可读存储介质
CN112396676B (zh) * 2019-08-16 2024-04-02 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112396676A (zh) * 2019-08-16 2021-02-23 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2021036782A1 (zh) * 2019-08-28 2021-03-04 北京字节跳动网络技术有限公司 声音处理方法、装置、电子设备及计算机可读存储介质
CN112533058A (zh) * 2019-09-17 2021-03-19 西安中兴新软件有限责任公司 视频处理方法、装置、设备及计算机可读存储介质
CN110688496A (zh) * 2019-09-26 2020-01-14 联想(北京)有限公司 一种多媒体文件处理的方法及装置
CN110582021A (zh) * 2019-09-26 2019-12-17 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
WO2021056552A1 (zh) * 2019-09-29 2021-04-01 深圳市大疆创新科技有限公司 视频的处理方法和装置
CN110740262A (zh) * 2019-10-31 2020-01-31 维沃移动通信有限公司 背景音乐的添加方法、装置及电子设备
CN114556963A (zh) * 2019-12-27 2022-05-27 多玩国株式会社 内容生成装置、内容分发服务器、内容生成方法以及内容生成程序
CN111428665B (zh) * 2020-03-30 2024-04-12 咪咕视讯科技有限公司 一种信息确定方法、设备及计算机可读存储介质
CN111428665A (zh) * 2020-03-30 2020-07-17 咪咕视讯科技有限公司 一种信息确定方法、设备及计算机可读存储介质
CN111782858B (zh) * 2020-03-31 2024-04-05 北京沃东天骏信息技术有限公司 音乐匹配的方法和装置
CN111782858A (zh) * 2020-03-31 2020-10-16 北京沃东天骏信息技术有限公司 音乐匹配的方法和装置
CN111541936A (zh) * 2020-04-02 2020-08-14 腾讯科技（深圳）有限公司 视频及图像处理方法、装置、电子设备、存储介质
CN111669497A (zh) * 2020-06-12 2020-09-15 杭州趣维科技有限公司 一种移动端自拍时音量驱动贴纸效果的方法
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
WO2022012182A1 (zh) * 2020-07-17 2022-01-20 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN112333473A (zh) * 2020-10-30 2021-02-05 北京字跳网络技术有限公司 一种交互方法、装置以及计算机存储介质
CN112333464A (zh) * 2020-10-30 2021-02-05 北京字跳网络技术有限公司 一种交互数据生成方法、装置以及计算机存储介质
CN112333473B (zh) * 2020-10-30 2022-08-23 北京字跳网络技术有限公司 一种交互方法、装置以及计算机存储介质
CN112788390A (zh) * 2020-12-25 2021-05-11 深圳市优必选科技股份有限公司 一种基于人机交互的控制方法、装置、设备及存储介质
WO2022252966A1 (zh) * 2021-06-03 2022-12-08 腾讯科技（深圳）有限公司 虚拟乐器的音频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN113518256B (zh) * 2021-07-23 2023-08-08 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113518256A (zh) * 2021-07-23 2021-10-19 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113490063A (zh) * 2021-08-26 2021-10-08 上海盛付通电子支付服务有限公司 一种用于直播互动的方法、设备、介质及程序产品
CN113824993A (zh) * 2021-09-24 2021-12-21 北京市商汤科技开发有限公司 一种视频处理的方法、装置、电子设备及存储介质
WO2023197749A1 (zh) * 2022-04-15 2023-10-19 腾讯科技（深圳）有限公司 背景音乐的插入时间点确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN109462776B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN109462776A (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN109618183B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN109525891A (zh) 多用户视频特效添加方法、装置、终端设备及存储介质
CN107967706A (zh) 多媒体数据的处理方法、装置及计算机可读存储介质
CN109600559A (zh) 一种视频特效添加方法、装置、终端设备及存储介质
KR102028139B1 (ko) 증강현실 기반의 영상 표시방법
CN109872297A (zh) 图像处理方法及装置、电子设备和存储介质
WO2016121921A1 (ja) コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム
CN109495684A (zh) 一种视频的拍摄方法、装置、电子设备及可读介质
CN107730529A (zh) 一种视频动作评分方法及系统
JP4671192B2 (ja) 画像処理装置および画像処理方法
US20120295705A1 (en) Game device, game control method, and non-transitory information recording medium that records a program
JP2014217627A (ja) 身体動作評価装置、カラオケシステム、及びプログラム
CN109474850A (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109348277A (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
US20140031086A1 (en) System of servicing famous people's characters in smart phone and operation method thereof
WO2023279960A1 (zh) 虚拟对象的动作处理方法、装置和存储介质
WO2022111168A1 (zh) 视频的分类方法和装置
WO2019233348A1 (zh) 动画展示、制作方法及装置
JP2014023745A (ja) ダンス教習装置
JP7329946B2 (ja) プログラム、コンピュータシステムおよび制御方法
JP7285244B2 (ja) コンピュータプログラム、方法及びサーバ装置
CN112435641B (zh) 音频处理方法、装置、计算机设备及存储介质
KR102324579B1 (ko) 댄스 매칭 방법 및 시스템
KR20060054678A (ko) 음향에 동기 된 캐릭터 동영상 구현 장치 및 구현 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant