CN113613059A - 一种短播视频处理方法、装置及设备 - Google Patents

一种短播视频处理方法、装置及设备 Download PDF

Info

Publication number
CN113613059A
CN113613059A CN202110875858.2A CN202110875858A CN113613059A CN 113613059 A CN113613059 A CN 113613059A CN 202110875858 A CN202110875858 A CN 202110875858A CN 113613059 A CN113613059 A CN 113613059A
Authority
CN
China
Prior art keywords
video
video frame
short
picture
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110875858.2A
Other languages
English (en)
Other versions
CN113613059B (zh
Inventor
魏少玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shiqu Information and Technology Co Ltd
Original Assignee
Hangzhou Shiqu Information and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shiqu Information and Technology Co Ltd filed Critical Hangzhou Shiqu Information and Technology Co Ltd
Priority to CN202110875858.2A priority Critical patent/CN113613059B/zh
Publication of CN113613059A publication Critical patent/CN113613059A/zh
Application granted granted Critical
Publication of CN113613059B publication Critical patent/CN113613059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

本申请公开了一种短播视频处理方法、装置及设备，包括：获取待处理短播视频，并提取待处理短播视频中主播位于画面中间位置且主播在画面中全身显示的第一视频帧；将第一视频帧还原为第一预设时长的视频片段，以得到与待处理短播视频对应的切片素材；根据目标需求通过文本生成图像的方式生成与目标需求对应的字幕图像，并将字幕图像叠加至切片素材中，以得到相应的目标视频。本申请通过提取短播视频中主播位于画面中间位置且全身显示的视频帧作为切片素材，并将通过文本生成图像的方式生成的字幕图像与叠加切片素材进行叠加，实现对短播视频中的切片素材的自动化提取及自动化合成，在降低人力审核成本的基础上进一步提高视频生产效率。

Description

一种短播视频处理方法、装置及设备
技术领域
本发明涉及计算机技术领域，特别涉及一种短播视频处理方法、装置、及设备。
背景技术
自动化切片素材提取和合成本质上属于视频分析和视频合成任务。单单就视频分析或者视频合成而言，目前的解决方案往往都是针对特定的业务场景以及应用。例如华为云的视频分析服务可以提取球赛中的精彩进球集锦，与短播视频中的主播行为完全不同，提取方法并不适用；再如字节跳动的视频编辑服务，可以对一个视频做任意分辨率的编辑，但是无法实现将一张图片生成视频片段添加视频结尾并自动添加背景音乐。现有的视频提取和合成解决方案达到的合成效果不能满足基于短播视频的投放要求。
因此，如何提供一种针对短播视频的自动化提取、合成投放视频的方法，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种短播视频处理方法、装置及设备，同时提供相应的存储介质，能够实现对短播视频中的切片素材的自动化提取及自动化合成，在降低人力审核成本的基础上进一步提高视频生产效率。其具体方案如下：
本申请的第一方面提供了一种短播视频处理方法，包括：
获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；
根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。
可选的，所述提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧，包括：
利用目标检测算法检测所述待处理短播视频中主播位于画面中间位置的视频帧，并利用关键点检测模型对所述主播位于画面中间位置的视频帧中的所述主播的关键点进行标注；
判断标注的关键点是否满足预设条件，如果是，则判定所述主播在所述画面中全身显示，以得到所述主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧。
可选的，所述提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧之后，还包括：
利用基于改进后的双阶段目标检测模型对所述第一视频帧中的主播颜值进行打分，以得到所述画面中的主播颜值分值大于预设阈值的第二视频帧；其中，所述改进后的双阶段目标检测模型中的分类器为颜值回归器。
可选的，所述利用基于改进后的双阶段目标检测模型对所述第一视频帧中的主播颜值进行打分，以得到所述画面中的主播颜值分值大于预设阈值的第二视频帧之后，还包括：
对所述第二视频帧中的预设要素进行检测，并根据检测到的所述预设要素的位置信息对所述第二视频帧进行裁剪，以得到不包含所述预设要素的第三视频帧。
可选的，所述对所述第二视频帧中的预设要素进行检测，并根据检测到的所述预设要素的位置信息对所述第二视频帧进行裁剪，包括：
利用双阶段目标检测模型对所述第二视频帧中的手机支架进行检测，并根据检测到的所述手机支架的位置信息对所述第二视频帧进行裁剪；
和/或通过线段检测方法对所述第二视频帧中的海报贴纸进行检测，并根据检测到的所述海报贴纸的位置信息对所述第二视频帧进行裁剪。
可选的，所述将所述第一视频帧还原为第一预设时长的视频片段，包括：
利用FFmpeg工具将所述第一视频帧还原为第一预设时长的视频片段。
可选的，所述将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材之后，还包括：
将所述切片素材存储至切片素材库中；
相应的，所述根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像之前，还包括：
获取音乐文件，并根据所述音乐文件的时长从所述切片素材库中确定出相应数量的所述切片素材；
将相应数量的所述切片素材进行拼接，并将所述音乐文件叠加至拼接后的视频中，以得到第一视频；
相应的，所述将所述字幕图像叠加至所述切片素材中，包括：
将所述字幕图像叠加至所述第一视频，以得到第二视频，并根据所述第二视频得到相应的目标视频。
可选的，所述根据所述第二视频得到相应的目标视频，包括：
确定落版图像，并根据所述落版图像生成一个第二预设时长的落版视频；
将所述落版视频添加至所述第二视频的尾部进行视频合成，得到相应的目标视频。
本申请的第二方面提供了一种短播视频处理装置，包括：
获取模块，用于获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
还原模块，用于将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；
叠加模块，用于根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。
本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述短播视频处理方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述短播视频处理方法。
本申请中，先获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；然后将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；最后根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。本申请通过提取短播视频中主播位于画面中间位置且全身显示的视频帧作为切片素材，并将通过文本生成图像的方式生成的字幕图像与叠加切片素材进行叠加，实现对短播视频中的切片素材的自动化提取及自动化合成，在降低人力审核成本的基础上进一步提高视频生产效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种短播视频处理方法流程图；
图2为本申请提供的一种第一视频帧；
图3为本申请提供的一种第二视频帧；
图4为本申请提供的一种对第二视频帧中的手机支架进行裁剪示意图；
图5为本申请提供的一种对第二视频帧中的海报贴纸进行裁剪示意图；
图6为本申请提供的一种字幕图像叠加效果图；
图7为本申请提供的一种具体的短播视频处理方法示意图；
图8为本申请提供的一种短播视频处理装置结构示意图；
图9为本申请提供的一种短播视频处理电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
单单就视频分析或者视频合成而言，目前的解决方案往往都是针对特定的业务场景以及应用。例如华为云的视频分析服务可以提取球赛中的精彩进球集锦，与短播视频中的主播行为完全不同，提取方法并不适用；再如字节跳动的视频编辑服务，可以对一个视频做任意分辨率的编辑，但是无法实现将一张图片生成视频片段添加视频结尾并自动添加背景音乐。针对现有的视频提取和合成解决方案达到的合成效果不能满足基于短播视频的投放要求的技术缺陷，本申请提出一种短播视频处理方案，通过提取短播视频中主播位于画面中间位置且全身显示的视频帧作为切片素材，并将通过文本生成图像的方式生成的字幕图像与叠加切片素材进行叠加，实现对短播视频中的切片素材的自动化提取及自动化合成，在降低人力审核成本的基础上进一步提高视频生产效率。
图1为本申请实施例提供的一种短播视频处理方法流程图。参见图1所示，该短播视频处理方法包括：
S11：获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
本实施例中，获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧。短播是主播直播过程中产出的商品讲解，属于一场直播中的高光时刻片段。广告投放是增加新用户的重要手段，基于当红主播创造的内容和商品，利用短播中截取的切片制作符合特定人群以及特定偏好的外部投放素材，具有良好的吸引力和新客承接一致性。然而，现阶段整个广告投放素材的生成大多还依赖于人工从一个个短播视频中截取符合投放要求的直播切片素材，获取切片素材后，人工地进行素材合成，例如添加背景音乐、广告语、添加落版图片等。因此，对切片素材进行自动化地提取，并实现自动化的合成投放，对提高投放视频的生产效率，具有重要价值。
本实施例能够从每个持续好几分钟的短播视频中自动化提取符合广告投放要求的切片素材。具体的，步骤S11包括主播检测和关键点定位，首先利用目标检测算法检测所述待处理短播视频中主播位于画面中间位置的视频帧，然后利用关键点检测模型对所述主播位于画面中间位置的视频帧中的所述主播的关键点进行标注。在此基础上，判断标注的关键点是否满足预设条件，如果是，则判定所述主播在所述画面中全身显示，以得到所述主播位于画面中间位置且所述主播在所述画面中全身显示的所述第一视频帧。
本实施例中，所述目标检测算法的载体为主播检测器模型，判断主播是否在画面居中。原理为检测输入视频帧中的主播边界框为(cx,cy,w,h)，其中(cx,cy)是主播边界框中心点坐标，w、h分别是边界框的宽度和高度。根据每帧图像的宽度WI和高度HI计算图像中心点坐标
Figure BDA0003190231580000061
其中：
Figure BDA0003190231580000062
Figure BDA0003190231580000063
设定中心像素点的偏移量为10px，若满足
Figure BDA0003190231580000064
则说明主播在画面居中。
本实施例中，所述关键点定位根据全身关键点的数量以及面部关键点的分布来判断主播是否全身入镜。采用目前流行的17个关键点标注方法，其中面部关键有5个(左眼、右眼、左耳、右耳，鼻子)，由于主播存在肢体动作，手臂、肩部等位置的关键点可能会被遮挡，耳朵可能会被头发或者帽子遮挡。因此判断主播是否全身正面入镜的规则是全身关键点数量大于等于14个且左脚踝、右脚踝关键点存在，并且面部关键点数量大于等于3个，图2(a)为符合要求的所述第一视频帧，图2(b)为b不符合要求的所述第一视频帧。
本实施例在进行素材提取时还进一步考虑主播颜值、画面中的预设要素，如手机支架、背景贴纸等干扰要素的影响。具体的，在主播正面居中全身出现在画面中的情况下，进一步利用基于改进后的双阶段目标检测模型对所述第一视频帧中的主播颜值进行打分，以得到所述画面中的主播颜值分值大于预设阈值的第二视频帧；其中，所述改进后的双阶段目标检测模型中的分类器为颜值回归器。本实施例中，基于改进后的双阶段目标检测模型可称为主播颜值打分模型，挑选出颜值较高的视频帧。所述颜值打分模型借鉴开源的双阶段目标检测模型(maskRCNN)的思路，一般的双阶段目标检测算法都是先定位目标所在的位置，然后提取目标位置所在的特征进行目标分类，得到目标具体的类别。颜值打分模型中，先定位主播人脸区域，然后根据人脸区域的特征对其颜值进行预测，颜值打分模型将双阶段目标检测算法中的分类器，替换成了颜值回归器，对主播的颜值进行估计，输出值的范围为0-1，实际应该时将其线性映射到0-100分。颜值打分模型首先定位主播人脸区域，并对人脸区域的颜值进行打分，设定颜值阈值为80分(颜值范围是0-100分)，将颜值得分大于80分的所述第一视频帧作为所述第二视频帧。图3(a)为高颜值视频帧，图3(b)为低颜值视频帧。
在此基础上，对所述第二视频帧中的所述预设要素进行裁剪和缩放。对所述第二视频帧中的预设要素进行检测，并根据检测到的所述预设要素的位置信息对所述第二视频帧进行裁剪，以得到不包含所述预设要素的第三视频帧。在一种实施例中，利用双阶段目标检测模型对所述第二视频帧中的手机支架进行检测，并根据检测到的所述手机支架的位置信息对所述第二视频帧进行裁剪。利用训练好的手机支架检测模型对满足上述步骤输出的所述第二视频帧进行手机支架检测，若检测到手机支架，则以手机支架右边界框裁剪所述第二视频帧，结果如图4所示。在另一种实施例中，通过线段检测方法对所述第二视频帧中的海报贴纸进行检测，并根据检测到的所述海报贴纸的位置信息对所述第二视频帧进行裁剪。由于海报是一个规则的矩形贴图，因此只需要进行简单的直线检测即可。本实施例利用开源的opencv库函数去检测视频帧中的直线，根据直线的长度是否和视频帧的宽度保持一致这条规则来判断该条直线是否是海报贴纸的边缘，为了防止误判，约束直线的长度近似于视频帧的宽度，结果如图5所示。
S12：将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材。
本实施例中，将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材。具体可以利用FFmpeg工具将所述第一视频帧还原为第一预设时长的视频片段。由于视频本身是一个连续时间序列图像，经过上述步骤得到的视频帧图片在时间上也是连续的，因此直接将每组的关键帧图像使用开源工具FFmpeg将其恢复成视频片段，时常持续3秒，低于3秒的片段将直接丢弃。当然，视频片段时间的时间可自行设置，另外也可将提取的切片素材自动添加到切片素材库。
S13：根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。
本实施例中，根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。由于广告投放要求的艺术字体、复杂颜色、行间距、字号等设置，直接将字幕文件烧录到视频中去不能满足广告投放要求，因此本实施例通过文本生成图像的方式生成定制化的text2image任务，可以指定字体、字号、行间距、颜色配比、文本位置等定制化生成透明的文本图像，该透明图可以叠加到所述切片素材中达到定制化的字幕效果展示，如图6所示。
但往往在合成视频时，除了添加字幕，还可以配置背景音乐、特定的广告语及落版图片等。为了丰富投放视频形式，本实施例在所述根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像之前，首先获取音乐文件，并根据所述音乐文件的时长从所述切片素材库中确定出相应数量的所述切片素材，然后将相应数量的所述切片素材进行拼接，并将所述音乐文件叠加至拼接后的视频中，以得到第一视频。不难理解，需要根据背景音乐的持续时常来确定合成所需要的切片素材的数量，假设背景音乐时常为T，在每条切片素材时常为3秒的情况下，所需切片素材数量N＝T//3+1(“//”表示整除)。然后从上述切片素材库中随机选择N个切片素材，将N个切片素材拼接成一个持续时常为T的视频，将背景音乐文件叠加到该视频上，且保留原视频声音。在此基础上将上述通过文本生成图像的方式生成与所述目标需求对应的字幕图像叠加至所述第一视频，以得到第二视频。同时确定落版图像，并根据所述落版图像生成一个第二预设时长的落版视频。最后将所述落版视频添加至所述第二视频的尾部进行视频合成，得到相应的目标视频。
综上，本申请实施例主要由切片素材提取以及切片素材合成两部分构成，下面将针对广告投放素材场景要求进一步说明，具体参照7。切片素材提取：首先对输入的短播视频的每一帧进行主播检测以及人体关键点定位，根据主播检测的位置框以及关键点的数量来判断主播是否正面入画；若前一步满足要求，则对主播进行人脸检测并对其颜值进行打分，判断其颜值得分是否大于80分；若上一步满足要求，则对画面帧进行非相关要素的检测，例如手机支架、贴纸等检测识别，并根据检测结果裁剪、缩放原画面作为候选关键帧输出；融合得到的关键帧输出时常持续3秒的切片素材。切片素材合成：选定一条背景音乐、一张落版图片以及一个字幕文件、根据背景音乐的时常确定切片素材的数量，将选定的切片素材进行合并；对于前一步合并后的视频叠加上背景音乐；对于前一步得到的视频叠加上字幕文件；根据选定的落版图片将其变成一个持续时间2秒的视频片段，将该视频片段添加到上一步得到的视频的尾部，产出最终的合成视频。
可见，本申请实施例先获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；然后将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；最后根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。本申请实施例通过提取短播视频中主播位于画面中间位置且全身显示的视频帧作为切片素材，并将通过文本生成图像的方式生成的字幕图像与叠加切片素材进行叠加，实现对短播视频中的切片素材的自动化提取及自动化合成，在降低人力审核成本的基础上进一步提高视频生产效率。
参见图8所示，本申请实施例还相应公开了一种短播视频处理装置，包括：
获取模块11，用于获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
还原模块12，用于将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；
叠加模块13，用于根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。
可见，本申请实施例先获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；然后将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；最后根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。本申请实施例通过提取短播视频中主播位于画面中间位置且全身显示的视频帧作为切片素材，并将通过文本生成图像的方式生成的字幕图像与叠加切片素材进行叠加，实现对短播视频中的切片素材的自动化提取及自动化合成，在降低人力审核成本的基础上进一步提高视频生产效率。
在一些具体实施例中，所述获取模块11，具体包括：
第一检测子模块，用于利用目标检测算法检测所述待处理短播视频中主播位于画面中间位置的视频帧；
第二检测子模块，用于利用关键点检测模型对所述主播位于画面中间位置的视频帧中的所述主播的关键点进行标注；判断标注的关键点是否满足预设条件，如果是，则判定所述主播在所述画面中全身显示，以得到所述主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
第三检测子模块，用于利用基于改进后的双阶段目标检测模型对所述第一视频帧中的主播颜值进行打分，以得到所述画面中的主播颜值分值大于预设阈值的第二视频帧；其中，所述改进后的双阶段目标检测模型中的分类器为颜值回归器；
第四检测子模块，用于对所述第二视频帧中的预设要素进行检测，并根据检测到的所述预设要素的位置信息对所述第二视频帧进行裁剪，以得到不包含所述预设要素的第三视频帧；
相应的，所述第四检测子模块，具体包括：
第一裁剪单元，用于利用双阶段目标检测模型对所述第二视频帧中的手机支架进行检测，并根据检测到的所述手机支架的位置信息对所述第二视频帧进行裁剪；
第二裁剪单元，用于通过线段检测方法对所述第二视频帧中的海报贴纸进行检测，并根据检测到的所述海报贴纸的位置信息对所述第二视频帧进行裁剪。
在一些具体实施例中，所述还原模块12，具体用于利用FFmpeg工具将所述第一视频帧还原为第一预设时长的视频片段。
在一些具体实施例中，所述短播视频处理装置还包括：
存储子模块，用于将所述切片素材存储至切片素材库中；
相应的，所述叠加模块13，还包括：
第一叠加单元，用于获取音乐文件，并根据所述音乐文件的时长从所述切片素材库中确定出相应数量的所述切片素材；将相应数量的所述切片素材进行拼接，并将所述音乐文件叠加至拼接后的视频中，以得到第一视频；
第二叠加单元，用于将所述字幕图像叠加至所述第一视频，以得到第二视频，并根据所述第二视频得到相应的目标视频；
第三叠加单元，用于确定落版图像，并根据所述落版图像生成一个第二预设时长的落版视频；将所述落版视频添加至所述第二视频的尾部进行视频合成，得到相应的目标视频。
进一步的，本申请实施例还提供了一种电子设备。图9是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的短播视频处理方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的短播视频处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的待处理短播视频。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的短播视频处理方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的短播视频处理方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种短播视频处理方法，其特征在于，包括：
获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；
根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。
2.根据权利要求1所述的短播视频处理方法，其特征在于，所述提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧，包括：
利用目标检测算法检测所述待处理短播视频中主播位于画面中间位置的视频帧，并利用关键点检测模型对所述主播位于画面中间位置的视频帧中的所述主播的关键点进行标注；
判断标注的关键点是否满足预设条件，如果是，则判定所述主播在所述画面中全身显示，以得到所述主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧。
3.根据权利要求1所述的短播视频处理方法，其特征在于，所述提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧之后，还包括：
利用基于改进后的双阶段目标检测模型对所述第一视频帧中的主播颜值进行打分，以得到所述画面中的主播颜值分值大于预设阈值的第二视频帧；其中，所述改进后的双阶段目标检测模型中的分类器为颜值回归器。
4.根据权利要求3所述的短播视频处理方法，其特征在于，所述利用基于改进后的双阶段目标检测模型对所述第一视频帧中的主播颜值进行打分，以得到所述画面中的主播颜值分值大于预设阈值的第二视频帧之后，还包括：
对所述第二视频帧中的预设要素进行检测，并根据检测到的所述预设要素的位置信息对所述第二视频帧进行裁剪，以得到不包含所述预设要素的第三视频帧。
5.根据权利要求4所述的短播视频处理方法，其特征在于，所述对所述第二视频帧中的预设要素进行检测，并根据检测到的所述预设要素的位置信息对所述第二视频帧进行裁剪，包括：
利用双阶段目标检测模型对所述第二视频帧中的手机支架进行检测，并根据检测到的所述手机支架的位置信息对所述第二视频帧进行裁剪；
和/或通过线段检测方法对所述第二视频帧中的海报贴纸进行检测，并根据检测到的所述海报贴纸的位置信息对所述第二视频帧进行裁剪。
6.根据权利要求1所述的短播视频处理方法，其特征在于，所述将所述第一视频帧还原为第一预设时长的视频片段，包括：
利用FFmpeg工具将所述第一视频帧还原为第一预设时长的视频片段。
7.根据权利要求1至6任一项所述的短播视频处理方法，其特征在于，所述将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材之后，还包括：
将所述切片素材存储至切片素材库中；
相应的，所述根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像之前，还包括：
获取音乐文件，并根据所述音乐文件的时长从所述切片素材库中确定出相应数量的所述切片素材；
将相应数量的所述切片素材进行拼接，并将所述音乐文件叠加至拼接后的视频中，以得到第一视频；
相应的，所述将所述字幕图像叠加至所述切片素材中，包括：
将所述字幕图像叠加至所述第一视频，以得到第二视频，并根据所述第二视频得到相应的目标视频。
8.根据权利要求7所述的短播视频处理方法，其特征在于，所述根据所述第二视频得到相应的目标视频，包括：
确定落版图像，并根据所述落版图像生成一个第二预设时长的落版视频；
将所述落版视频添加至所述第二视频的尾部进行视频合成，得到相应的目标视频。
9.一种短播视频处理装置，其特征在于，包括：
获取模块，用于获取待处理短播视频，并提取所述待处理短播视频中主播位于画面中间位置且所述主播在所述画面中全身显示的第一视频帧；
还原模块，用于将所述第一视频帧还原为第一预设时长的视频片段，以得到与所述待处理短播视频对应的切片素材；
叠加模块，用于根据目标需求通过文本生成图像的方式生成与所述目标需求对应的字幕图像，并将所述字幕图像叠加至所述切片素材中，以得到相应的目标视频。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的短播视频处理方法。
CN202110875858.2A 2021-07-30 2021-07-30 一种短播视频处理方法、装置及设备 Active CN113613059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110875858.2A CN113613059B (zh) 2021-07-30 2021-07-30 一种短播视频处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110875858.2A CN113613059B (zh) 2021-07-30 2021-07-30 一种短播视频处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113613059A true CN113613059A (zh) 2021-11-05
CN113613059B CN113613059B (zh) 2024-01-26

Family

ID=78306334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110875858.2A Active CN113613059B (zh) 2021-07-30 2021-07-30 一种短播视频处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113613059B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209232A (zh) * 2022-09-14 2022-10-18 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
WO2024169730A1 (zh) * 2023-02-15 2024-08-22 抖音视界有限公司 视频处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107515A (ja) * 2016-12-22 2018-07-05 フリュー株式会社 写真作成ゲーム機および画像処理方法
CN108401192A (zh) * 2018-04-25 2018-08-14 腾讯科技（深圳）有限公司 视频流处理方法、装置、计算机设备及存储介质
CN110347877A (zh) * 2019-06-27 2019-10-18 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备及存储介质
CN111325705A (zh) * 2018-11-28 2020-06-23 北京京东尚科信息技术有限公司 图像处理方法、装置、设备及存储介质
CN111695458A (zh) * 2020-05-28 2020-09-22 腾讯科技（深圳）有限公司 一种视频图像帧处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107515A (ja) * 2016-12-22 2018-07-05 フリュー株式会社 写真作成ゲーム機および画像処理方法
CN108401192A (zh) * 2018-04-25 2018-08-14 腾讯科技（深圳）有限公司 视频流处理方法、装置、计算机设备及存储介质
CN111325705A (zh) * 2018-11-28 2020-06-23 北京京东尚科信息技术有限公司 图像处理方法、装置、设备及存储介质
CN110347877A (zh) * 2019-06-27 2019-10-18 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备及存储介质
CN111695458A (zh) * 2020-05-28 2020-09-22 腾讯科技（深圳）有限公司 一种视频图像帧处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209232A (zh) * 2022-09-14 2022-10-18 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
WO2024169730A1 (zh) * 2023-02-15 2024-08-22 抖音视界有限公司 视频处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN113613059B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN106792100B (zh) 一种视频弹幕显示方法及装置
EP3920542A2 (en) Automatic video editing method and portable terminal
CN106686404B (zh) 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN110198486B (zh) 一种预览视频素材的方法、计算机设备及可读存储介质
CN111683209A (zh) 混剪视频的生成方法、装置、电子设备及计算机可读存储介质
CN107562680A (zh) 数据处理方法、装置和终端设备
CN113613059B (zh) 一种短播视频处理方法、装置及设备
US10721519B2 (en) Automatic generation of network pages from extracted media content
US20210084368A1 (en) Modifying digital video content
KR101927965B1 (ko) 광고 동영상 제작 시스템 및 방법
US11126856B2 (en) Contextualized video segment selection for video-filled text
CN110856039A (zh) 视频处理方法及装置、存储介质
CN112104908A (zh) 音视频文件播放方法、装置、计算机设备及可读存储介质
CN112422844A (zh) 在视频中添加特效的方法、装置、设备及可读存储介质
CN113923504B (zh) 视频预览动图生成方法和装置
CN104394478A (zh) 一种播放视频的方法及播放器
CN110418148A (zh) 视频生成方法、视频生成设备及可读存储介质
CN118175382A (zh) 一种素材视频生成方法、装置、设备及存储介质
CN116389849A (zh) 视频生成方法、装置、设备及存储介质
KR101749420B1 (ko) 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법
CN108600864B (zh) 一种电影预告生成方法及装置
CN111800663B (zh) 一种视频合成方法及装置
US9473734B2 (en) Inter-video corresponding relationship display system and inter-video corresponding relationship display method
WO2012153747A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024179347A1 (zh) 视频生成方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant