CN112422844A - 在视频中添加特效的方法、装置、设备及可读存储介质 - Google Patents
在视频中添加特效的方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112422844A CN112422844A CN202011008399.XA CN202011008399A CN112422844A CN 112422844 A CN112422844 A CN 112422844A CN 202011008399 A CN202011008399 A CN 202011008399A CN 112422844 A CN112422844 A CN 112422844A
- Authority
- CN
- China
- Prior art keywords
- special effect
- video
- expression type
- target
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000014509 gene expression Effects 0.000 claims abstract description 163
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 9
- 230000008451 emotion Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种在视频中添加特效的方法、装置、设备及可读存储介质，所述方法包括：获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；将所述多种特效元素添加到所述待处理视频中；本申请能够丰富视频画面、降低用户拍摄视频的门槛、并挺高用户体验度。
Description
技术领域
本申请涉及视频编辑技术领域，特别涉及一种在视频中添加特效的方法、装置、设备及可读存储介质。
背景技术
现如今在电子设备上普遍都安装有摄像头，用户可通过电子设备上的摄像头进行直播、录制短视频、或与其他用户进行视频通话；在直播或者录制短视频的场景中，由于主播或者拍摄者缺乏经验，会造成直播画面或者拍摄画面不够生动、用户的情绪表达不足等问题，从而不能呈现出生动丰富的视频画面。
发明内容
本申请的目的在于提供一种在视频中添加特效的方法、装置、设备及可读存储介质，能够丰富视频画面、降低用户拍摄视频的门槛、并挺高用户体验度。
根据本申请的一个方面，提供了一种在视频中添加特效的方法，所述方法包括：
获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
将所述多种特效元素添加到所述待处理视频中。
可选的，所述确定出与包含在所述目标图像中的人脸信息对应的目标表情类型，包括：
从所述目标图像中识别出人脸区域，并从所述人脸区域中提取出人脸特征信息；
将所述人脸特征信息输入到预设的表情识别模型中，得到各种表情类型下的概率值；
将最大概率值所对应的表情类型确定为目标表情类型。
可选的，所述确定出与包含在所述目标图像中的人脸信息对应的目标表情类型，包括：
当所述待处理视频为实时拍摄传输视频时，将所述目标图像发送至云端服务器，以通过所述云端服务器确定出与所述人脸信息对应的目标表情类型；
当所述待处理视频为录制视频时，通过运行本地的软件开发工具包SDK以确定出与所述人脸信息对应的目标表情类型。
可选的，所述根据所述目标表情类型获取对应的特效包，包括：
检测终端网络状态；
判断所述终端网络状态是否满足预设网络条件；
若是，则从云端服务器获取与所述目标表情类型对应的特效包：其中，所述云端服务器存储有与所述目标表情类型对应的多个特效包；
若否，则从本地数据库中获取与所述目标表情类型对应的特效包；其中，所述本地数据库存储有与所述目标表情类型对应的一个特效包。
可选的，所述根据所述目标表情类型获取对应的特效包，包括：
在直播场景中，识别出包含在所述目标图像中的弹幕信息；
判断在所述弹幕信息中是否包括预设的表情主题词；
若是，则根据所述目标表情类型和所述表情主题词获取对应的特效包；若否，则根据所述目标表情类型获取对应的特效包。
可选的，所述根据所述目标表情类型和所述表情主题词获取对应的特效包，包括：
判断所述表情主题词所表征的表情类型是否与所述目标表情类型一致；
若是，则获取与所述表情主题词对应的主题特效包；若否，则获取与所述目标表情类型对应的通用特效包。
可选的，所述将所述多种特效元素添加到所述待处理视频中，包括：
当所述待处理视频为实时拍摄传输视频时，从当前播放图像开始，按照预设的特效显示时长添加所述多种特效元素；
当所述待处理视频为录制视频时，从所述目标图像开始，按照预设的特效显示时长添加所述多种特效元素。
为了实现上述目的，本申请还提供一种在视频中添加特效的装置，所述装置包括：
截取模块，用于获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定模块，用于确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
获取模块，用于根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
添加模块，用于将所述多种特效元素添加到所述待处理视频中。
为了实现上述目的，本申请还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的在视频中添加特效的方法的步骤。
为了实现上述目的，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的在视频中添加特效的方法的步骤。
本申请提供的在视频中添加特效的方法、装置、设备及可读存储介质，通过实时检测视频画面中的人脸所呈现的表情，获取与该表情对应的特效包，并将该特效包添加到视频中，从而让视频画面更加生动有趣；本申请不再需要用户事先设置特效效果，而是在拍摄视频的过程中实时、自动添加与表情对应的特效效果，不仅能够降低用户拍摄视频的门槛，还能让视频观看者更加直观的感受到主播或视频人物的情绪变化。此外，该特效包是由多种特效元素组合而成的，形式多样，可以更好的丰富视频画面，达到更好的用户体验。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的在视频中添加特效的方法的一种可选的流程示意图；
图2为实施例一提供的从目标图像中识别出目标表情类型的一种可选的流程示意图；
图3为实施例二提供的在直播场景中的添加特效的方法的一种可选的时序图；
图4为实施例三提供的在短视频拍摄场景中的添加特效的方法的一种可选的时序图；
图5为实施例四提供的在视频中添加特效的装置的一种可选的组成结构示意图；
图6为实施五提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例提供了一种在视频中添加特效的方法，应用于客户终端，如图1所示，该方法具体包括以下步骤：
步骤S101：获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像。
其中，在主播直播、视频会话等场景中，所述待处理视频为实时拍摄传输视频；在拍摄短视频、视频播客vlog等场景中，所述待处理视频为录制视频。
在本实施例中，在用户利用终端设备实时拍摄传输视频或录制视频的过程中，当用户开启特效添加模式时，终端设备按照设定时间间隔定期从视频中截取视频帧，以作为目标图像；需要说明的是，在所述目标图像中包括用户的人脸信息。
步骤S102：确定出与包含在所述目标图像中的人脸信息对应的目标表情类型。
具体的，步骤S102，包括：
当所述待处理视频为实时拍摄传输视频时，将所述目标图像发送至云端服务器，以通过所述云端服务器确定出与所述人脸信息对应的目标表情类型；
当所述待处理视频为录制视频时，通过运行本地的软件开发工具包SDK以确定出与所述人脸信息对应的目标表情类型。
由于在主播直播、视频会话等场景中，用户的终端设备通常处于较好的网络环境中，因此，为了提高识别表情类型的速度，终端设备可以将目标图像发送至云端服务器，以通过云端服务器识别出包含在目标图像中的人脸信息并根据该人脸信息确定出表情类型，最后终端设备接收由云端服务器反馈的目标表情类型；但是，在拍摄短视频、视频播客vlog等场景中，用户的终端设备可能处于无网或较差的网络环境中，因此，不能直接采用云端服务器实时进行表情识别的方案，而需要使用终端设备SDK(Software Development Kit，软件开发工具包)的方案，通过运行事先安装在终端设备上的SDK以识别出包含在目标图像中的人脸信息并根据该人脸信息确定出表情类型。
进一步的，所述确定出与所述人脸信息对应的目标表情类型，具体包括：
步骤A1：从所述目标图像中识别出人脸区域，并从所述人脸区域中提取出人脸特征信息；
其中，所述人脸特征信息包括：人脸边界框boundingbox和5个人脸关键点；优选的，五个人脸关键点包括：左眼关键点、右眼关键点、鼻尖关键点、嘴唇左顶点、和嘴唇右顶点；
在实际应用中，可将目标图像输入到RetinaFace检测器中，以确定出目标图像中的人脸边界框以及五个人脸关键点的位置。
步骤A2：将所述人脸特征信息输入到预设的表情识别模型中，得到各种表情类型下的概率值；
其中，所述表情识别模型是利用深度学习算法训练出的模型，所述表情识别模型可以识别出人脸特征信息在以下7种表情下的概率值：生气Angry、厌恶Disgust、害怕Fear、开心Happy、难过Sad、吃惊Surprise、中立Neutral；
步骤A3：将最大概率值所对应的表情类型确定为目标表情类型；
在实际应用中，可将人脸特征信息输入到残差掩蔽网络模型Residual MaskingNetwork中，以确定出与人脸特征信息对应的表情类型。
如图2所示，在本实施例中，通过预设的人脸检测器从目标图像中提取出人脸区域并确定出人脸特征信息，将人脸区域和人脸特征信息输入到预设的表情识别模型中，从而输出该人脸区域所呈现的表情类型。其中，人脸检测器和表情识别模型是通过深度学习训练得到的。
在实际应用中，由于用户的终端设备的处理能力有限，用户的终端设备可选择轻量级的backbone网络，例如：mobilenet、shufflenet等，以实现所述确定出与所述人脸信息对应的目标表情类型的功能；此外，用户的终端设备还可先缩小目标图像的尺寸，再基于缩小后的目标图像识别出人脸区域。
步骤S103：根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素。
具体的，所述特效包包括以下特效元素：表情贴纸、背景音乐、动画特效、全局滤镜。
在现有的添加特效的方案中，只会将单一的特效元素添加到视频中，而在本实施例中，会一次性将多种特效元素添加到视频中，从而丰富特效效果。通过使用表情贴纸、背景音乐、动画特效、全局滤镜可以从视觉和听觉上对视频画面进行氛围渲染。
进一步的，步骤S103，包括：
步骤B1：检测终端网络状态；
步骤B2：判断所述终端网络状态是否满足预设网络条件；
优选的，预设网络条件包括：终端下载速度是否达到预设阈值；通过预设网络条件判断终端网络状态的好坏，当终端网络状态满足预设网络条件时说明终端网络状态较好，当终端网络状态不满足预设网络条件时说明终端网络状态较差；
步骤B3：若是，则从云端服务器获取与所述目标表情类型对应的特效包：其中，所述云端服务器存储有与所述目标表情类型对应的多个特效包；
步骤B4：若否，则从本地数据库中获取与所述目标表情类型对应的特效包；其中，所述本地数据库存储有与所述目标表情类型对应的一个特效包。
在本实施例中，会事先将每种表情类型所对应的通用特效包下载到终端设备中进行储存，即在终端设备上，一种表情类型对应有一个特效包，从而保证当终端设备的网络状态较差的时候，直接从本地获取特效包；此外，在云端服务器上还存储有每种表情类型的多种风格的主题特效包，即，在云端服务器上，一种表情类型对应有多个特效包，当终端设备的网络状态良好时，会从云端服务器获取最新的或最热门的特效包，从而用户得到最新、最热门的特效效果体验。还需要说明的是，存储在本地数据库的特效包均存储在云端服务器，当终端网络状态好时，也可以从本地数据库中获取特效包，此处不作具体限定。
进一步的，所述获取与所述目标表情类型对应的特效包，具体包括：
步骤C1：在直播场景中，识别出包含在所述目标图像中的弹幕信息；
步骤C2：判断在所述弹幕信息中是否包括预设的表情主题词；
步骤C3：若是，则根据所述目标表情类型和所述表情主题词获取对应的特效包；若否，则根据所述目标表情类型获取对应的特效包。
在直播场景中，观众可以通过弹幕表达出主播当前的情绪状态；例如，当主播情绪难过时，在弹幕中会出现安慰主播或与难过相关的词语；因此，在本实施例中，将主播面部表现出的表情与弹幕信息中反映出的情绪相结合，以确定出需要在直播画面中添加的特效，从而增加观众与主播的互动，让观众更加直观的感受到主播的情绪变化。在本实施例中，会事先为每种表情类型设置对应的多个表情主题词。
更进一步的，所述根据所述目标表情类型和所述表情关键词获取对应的特效包，具体包括：
判断所述表情主题词所表征的表情类型是否与所述目标表情类型一致；
若是，则获取与所述表情主题词对应的主题特效包；若否，则获取与所述目标表情类型对应的通用特效包。
需要说明的是，在本实施例中，可为每种表情类型设置对应的通用特效包，又会为每个表情主题词设置对应的主题特效包；若表情主题词所表征的表情类型与目标表情类型一致，则获取与表情主题词对应的主题特效包，若表情主题词所表征的表情类型与目标表情类型不一致，则获取与目标表情类型对应的通用特效包。例如，当通过目标图像检测出主播当前的表情类型为开心时，当弹幕中出现表情主题词“狂笑”时，获取与表情主题词“狂笑”对应的主题特效包。
步骤S104：将所述多种特效元素添加到所述待处理视频中。
具体的，步骤S104，包括：
当所述待处理视频为实时拍摄传输视频时，从当前播放图像开始，按照预设的特效显示时长添加所述多种特效元素；
当所述待处理视频为录制视频时，从所述目标图像开始，按照预设的特效显示时长添加所述多种特效元素。
优选的，所述预设的特效显示时长与所述设定时间间隔一致，即若用户长时间表现出同一表情时，则延续该表情所对应的特效包的时间，从而使当前添加的特效包不会受到其他情绪的影响，从而防止出现特效闪烁的情况，从而保证视频画面的稳定。
在本实施例中，通过实时检测视频画面中的人脸所呈现的表情，获取与该表情对应的特效包，并将该特效包添加到视频中，从而让视频画面更加生动有趣；本实施例不再需要用户事先设置特效效果，而是在拍摄视频的过程中实时、自动添加与表情对应的特效效果，不仅能够降低用户拍摄视频的门槛，还能让视频观看者更加直观的感受到主播或视频人物的情绪变化。例如，当用户对着摄像头微笑时，在视频画面中便出现了一朵朵鲜花；当用户对着摄像头悲伤时，在视频画面中便出现了下雨特效，并播放哭泣的声音。
实施例二
本申请实施例提供了一种在视频中添加特效的方法，如图3所示，应用于直播场景中的主播客户端、云端服务器、直播推流服务器和观众客户端，该方法具体包括以下步骤：
步骤S301：当通过主播客户端拍摄直播视频时，按照一定的频率从直播视频中截取目标图像，并将目标图像发送至云端服务器；
步骤S302：云端服务器确定出与包含在目标图像中的人脸信息对应的目标表情类型；
步骤S303：云端服务器将目标表情类型发送至主播客户端；
步骤S304：主播客户端根据目标表情类型获取对应的特效包，并将特效包添加到直播视频中；
步骤S305：主播客户端将添加有特别包的直播视频发送至直播推流服务器；
步骤S306：直播推流服务器对直播视频进行转码处理以形成视频流；
步骤S307：直播推流服务器将视频流发送至观众客户端；
步骤S308：观众客户端播放视频流。
实施例三
本申请实施例提供了一种在视频中添加特效的方法，如图4所示，应用于短视频拍摄场景中的客户端、安装在客户端上的SDK、云端服务器，该方法具体包括以下步骤：
步骤S401：当用户触发拍摄操作时，调用摄像头拍摄短视频，并按照一定的频率从短视频中截取目标图像；
步骤S402：客户端将目标图像发送至安装在客户端上的SDK；
步骤S403：安装在客户端上的SDK确定出与包含在目标图像中的人脸信息对应的目标表情类型；
步骤S404：安装在客户端上的SDK将目标表情类型发送至客户端；
步骤S405：客户端向云端服务器发送特效包获取请求；其中，特效包获取请求包括：目标表情类型；
步骤S406：云端服务器获取与目标表情类型对应的特效包；
步骤S407：云端服务器将特效包发送至客户端；
步骤S408：客户端将特效包添加到短视频中，并播放添加有特效包的短视频。
实施例四
本申请实施例提供了一种在视频中添加特效的装置，应用于客户终端，如图5所示，该装置具体包括以下组成部分：
截取模块501，用于获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定模块502，用于确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
获取模块503，用于根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
添加模块504，用于将所述多种特效元素添加到所述待处理视频中。
具体的，确定模块502，用于：
当所述待处理视频为实时拍摄传输视频时，将所述目标图像发送至云端服务器，以通过所述云端服务器确定出与所述人脸信息对应的目标表情类型；
当所述待处理视频为录制视频时，通过运行本地的软件开发工具包SDK以确定出与所述人脸信息对应的目标表情类型。
进一步的，确定模块502，具体用于：
从所述目标图像中识别出人脸区域，并从所述人脸区域中提取出人脸特征信息；
将所述人脸特征信息输入到预设的表情识别模型中，得到各种表情类型下的概率值；
将最大概率值所对应的表情类型确定为目标表情类型。
具体的，获取模块503，用于：
检测终端网络状态；
判断所述终端网络状态是否满足预设网络条件；若是，则从云端服务器获取与所述目标表情类型对应的特效包：其中，所述云端服务器存储有与所述目标表情类型对应的多个特效包；
若否，则从本地数据库中获取与所述目标表情类型对应的特效包；其中，所述本地数据库存储有与所述目标表情类型对应的一个特效包。
进一步的，获取模块503，具体用于：
在直播场景中，识别出包含在所述目标图像中的弹幕信息；
判断在所述弹幕信息中是否包括预设的表情主题词；
若是，则根据所述目标表情类型和所述表情主题词获取对应的特效包；若否，则根据所述目标表情类型获取对应的特效包。
更进一步的，获取模块503在实现所述根据所述目标表情类型和所述表情主题词获取对应的特效包的功能时，具体用于：
判断所述表情主题词所表征的表情类型是否与所述目标表情类型一致；
若是，则获取与所述表情主题词对应的主题特效包；若否，则获取与所述目标表情类型对应的通用特效包。
进一步的，添加模块504，具体用于：
当所述待处理视频为实时拍摄传输视频时，从当前播放图像开始，按照预设的特效显示时长添加所述多种特效元素；
当所述待处理视频为录制视频时，从所述目标图像开始，按照预设的特效显示时长添加所述多种特效元素。
实施例五
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图6所示，本实施例的计算机设备60至少包括但不限于：可通过系统总线相互通信连接的存储器601、处理器602。需要指出的是，图6仅示出了具有组件601-602的计算机设备60，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器601(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器601可以是计算机设备60的内部存储单元，例如该计算机设备60的硬盘或内存。在另一些实施例中，存储器601也可以是计算机设备60的外部存储设备，例如该计算机设备60上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器601还可以既包括计算机设备60的内部存储单元也包括其外部存储设备。在本实施例中，存储器601通常用于存储安装于计算机设备60的操作系统和各类应用软件。此外，存储器601还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器602在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器602通常用于控制计算机设备60的总体操作。
具体的，在本实施例中，处理器602用于执行处理器602中存储的在视频中添加特效的方法的程序，所述在视频中添加特效的方法的程序被执行时实现如下步骤：
获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
将所述多种特效元素添加到所述待处理视频中。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例六
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
将所述多种特效元素添加到所述待处理视频中。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种在视频中添加特效的方法，其特征在于，所述方法包括：
获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
将所述多种特效元素添加到所述待处理视频中。
2.根据权利要求1所述的在视频中添加特效的方法，其特征在于，所述确定出与包含在所述目标图像中的人脸信息对应的目标表情类型，包括：
从所述目标图像中识别出人脸区域，并从所述人脸区域中提取出人脸特征信息；
将所述人脸特征信息输入到预设的表情识别模型中，得到各种表情类型下的概率值；
将最大概率值所对应的表情类型确定为目标表情类型。
3.根据权利要求1所述的在视频中添加特效的方法，其特征在于，所述确定出与包含在所述目标图像中的人脸信息对应的目标表情类型，包括：
当所述待处理视频为实时拍摄传输视频时，将所述目标图像发送至云端服务器，以通过所述云端服务器确定出与所述人脸信息对应的目标表情类型；
当所述待处理视频为录制视频时，通过运行本地的软件开发工具包SDK以确定出与所述人脸信息对应的目标表情类型。
4.根据权利要求1所述的在视频中添加特效的方法，其特征在于，所述根据所述目标表情类型获取对应的特效包，包括：
检测终端网络状态；
判断所述终端网络状态是否满足预设网络条件；
若是，则从云端服务器获取与所述目标表情类型对应的特效包：其中，所述云端服务器存储有与所述目标表情类型对应的多个特效包；
若否，则从本地数据库中获取与所述目标表情类型对应的特效包；其中，所述本地数据库存储有与所述目标表情类型对应的一个特效包。
5.根据权利要求1或4所述的在视频中添加特效的方法，其特征在于，所述根据所述目标表情类型获取对应的特效包，包括：
在直播场景中，识别出包含在所述目标图像中的弹幕信息；
判断在所述弹幕信息中是否包括预设的表情主题词；
若是，则根据所述目标表情类型和所述表情主题词获取对应的特效包；若否，则根据所述目标表情类型获取对应的特效包。
6.根据权利要求5所述的在视频中添加特效的方法，其特征在于，所述根据所述目标表情类型和所述表情主题词获取对应的特效包，包括：
判断所述表情主题词所表征的表情类型是否与所述目标表情类型一致；
若是，则获取与所述表情主题词对应的主题特效包；若否，则获取与所述目标表情类型对应的通用特效包。
7.根据权利要求1所述的在视频中添加特效的方法，其特征在于，所述将所述多种特效元素添加到所述待处理视频中，包括：
当所述待处理视频为实时拍摄传输视频时，从当前播放图像开始，按照预设的特效显示时长添加所述多种特效元素；
当所述待处理视频为录制视频时，从所述目标图像开始，按照预设的特效显示时长添加所述多种特效元素。
8.一种在视频中添加特效的装置，其特征在于，所述装置包括：
截取模块，用于获取待处理视频，并按照设定时间间隔定期从所述待处理视频中截取目标图像；
确定模块，用于确定出与包含在所述目标图像中的人脸信息对应的目标表情类型；
获取模块，用于根据所述目标表情类型获取对应的特效包；其中，所述特效包包括多种特效元素；
添加模块，用于将所述多种特效元素添加到所述待处理视频中。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008399.XA CN112422844A (zh) | 2020-09-23 | 2020-09-23 | 在视频中添加特效的方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008399.XA CN112422844A (zh) | 2020-09-23 | 2020-09-23 | 在视频中添加特效的方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112422844A true CN112422844A (zh) | 2021-02-26 |
Family
ID=74854920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011008399.XA Pending CN112422844A (zh) | 2020-09-23 | 2020-09-23 | 在视频中添加特效的方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112422844A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531553A (zh) * | 2022-02-11 | 2022-05-24 | 北京字跳网络技术有限公司 | 生成特效视频的方法、装置、电子设备及存储介质 |
| CN115146087A (zh) * | 2022-09-01 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 一种资源推荐方法、装置、设备及存储介质 |
| CN115426505A (zh) * | 2022-11-03 | 2022-12-02 | 北京蔚领时代科技有限公司 | 基于面部捕捉的预设表情特效触发方法及相关设备 |
| CN118172450A (zh) * | 2023-06-29 | 2024-06-11 | 杭州大千数码科技有限公司 | 视频处理方法、系统与存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| US20180075879A1 (en) * | 2015-09-12 | 2018-03-15 | The Aleph Group Pte., Ltd. | Method, System, and Apparatus for Generating Video Content |
| CN110213610A (zh) * | 2019-06-13 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 一种直播场景识别方法及装置 |
| CN110650306A (zh) * | 2019-09-03 | 2020-01-03 | 平安科技（深圳）有限公司 | 视频聊天中添加表情的方法、装置、计算机设备及存储介质 |
| CN111696176A (zh) * | 2020-06-08 | 2020-09-22 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
-
2020
- 2020-09-23 CN CN202011008399.XA patent/CN112422844A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| US20180075879A1 (en) * | 2015-09-12 | 2018-03-15 | The Aleph Group Pte., Ltd. | Method, System, and Apparatus for Generating Video Content |
| CN110213610A (zh) * | 2019-06-13 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 一种直播场景识别方法及装置 |
| CN110650306A (zh) * | 2019-09-03 | 2020-01-03 | 平安科技（深圳）有限公司 | 视频聊天中添加表情的方法、装置、计算机设备及存储介质 |
| CN111696176A (zh) * | 2020-06-08 | 2020-09-22 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531553A (zh) * | 2022-02-11 | 2022-05-24 | 北京字跳网络技术有限公司 | 生成特效视频的方法、装置、电子设备及存储介质 |
| CN114531553B (zh) * | 2022-02-11 | 2024-02-09 | 北京字跳网络技术有限公司 | 生成特效视频的方法、装置、电子设备及存储介质 |
| CN115146087A (zh) * | 2022-09-01 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 一种资源推荐方法、装置、设备及存储介质 |
| CN115426505A (zh) * | 2022-11-03 | 2022-12-02 | 北京蔚领时代科技有限公司 | 基于面部捕捉的预设表情特效触发方法及相关设备 |
| CN115426505B (zh) * | 2022-11-03 | 2023-03-24 | 北京蔚领时代科技有限公司 | 基于面部捕捉的预设表情特效触发方法及相关设备 |
| CN118172450A (zh) * | 2023-06-29 | 2024-06-11 | 杭州大千数码科技有限公司 | 视频处理方法、系统与存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11482192B2 (en) | Automated object selection and placement for augmented reality | |
| CN112422844A (zh) | 在视频中添加特效的方法、装置、设备及可读存储介质 | |
| CN109089127B (zh) | 一种视频拼接方法、装置、设备及介质 | |
| CN107911736B (zh) | 直播互动方法及系统 | |
| CN106998494B (zh) | 一种视频录制方法及相关装置 | |
| CN112188117B (zh) | 视频合成方法、客户端及系统 | |
| CN112118395B (zh) | 视频处理方法、终端及计算机可读存储介质 | |
| CN105898583B (zh) | 一种图像推荐方法及电子设备 | |
| CN114095744B (zh) | 视频直播方法、装置、电子设备及可读存储介质 | |
| CN111800668B (zh) | 弹幕的处理方法、装置、设备及存储介质 | |
| WO2019114330A1 (zh) | 一种视频播放方法、装置和终端设备 | |
| CN110162667A (zh) | 视频生成方法、装置及存储介质 | |
| CN113727039B (zh) | 视频生成方法、装置、电子设备及存储介质 | |
| CN113841417A (zh) | 影片生成方法、终端设备、拍摄设备及影片生成系统 | |
| CN113709545A (zh) | 视频的处理方法、装置、计算机设备和存储介质 | |
| CN112827172A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
| CN114222077A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
| CN111741333B (zh) | 直播数据获取方法、装置、计算机设备及存储介质 | |
| CN109862295B (zh) | Gif生成方法、装置、计算机设备及存储介质 | |
| WO2016188304A1 (zh) | 拍照的方法及装置 | |
| CN116708853A (zh) | 直播中的互动方法、装置和电子设备 | |
| CN115237314B (zh) | 信息推荐方法、装置和电子设备 | |
| WO2013187796A1 (ru) | Способ автоматического монтажа цифровых видеофайлов | |
| CN114125552A (zh) | 视频数据的生成方法及装置、存储介质、电子装置 | |
| CN116126177A (zh) | 一种数据交互控制方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |
|
| RJ01 | Rejection of invention patent application after publication |