CN116017094A - 基于用户需求的短视频智能生成系统及方法 - Google Patents

Abstract

本方案属于视频生成技术领域，具体涉及基于用户需求的短视频智能生成系统及方法。包括，视频剪辑单元，用于对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序发送至视频处理单元，视频处理单元，用于接收剪辑后的视频，并将前后两帧视频内容进行对比，当视频中出现前后两帧为同一画面信息时系统自动裁剪去重。本方案可以对用户自己拍摄的视频进行识别剪辑，并基于视频图像信息，对包含有重复画面的视频帧进行去重剪辑，使得视频中长时间保持不同的画面，使得视频内容简洁丰富无重复，视频中的每一帧画面均进行了变化，提升了用户观看体验。

Description

基于用户需求的短视频智能生成系统及方法

技术领域

本方案属于视频生成技术领域，具体涉及基于用户需求的短视频智能生成系统及方法。

背景技术

短视频是指在各种新媒体平台上播放的、适合在移动状态和短时休闲状态下观看的、高频推送的视频内容，几秒到几分钟不等。内容融合了技能分享、幽默搞怪、时尚潮流、社会热点、街头采访、公益教育、广告创意、商业定制等主题。由于内容较短，可以单独成片，也可以成为系列栏目。

不同于微电影和直播，短视频制作并没有像微电影一样具有特定的表达形式和团队配置要求，具有生产流程简单、制作门槛低、参与性强等特点，又比直播更具有传播价值，超短的制作周期和趣味化的内容对短视频制作团队的文案以及策划功底有着一定的挑战，优秀的短视频制作团队通常依托于成熟运营的自媒体或IP，除了高频稳定的内容输出外，也有强大的粉丝渠道；短视频的出现丰富了新媒体原生广告的形式。

但是当今市场的短视频制作往往需要专业的人才，入门门槛较高，对于一些不需要特别精细制作的情景来说，这无疑浪费了人力物力，当今市场需要一种辅助方法，能够使得不具备视频编辑专业知识的人员也能快速制作出高质量的短视频。

申请号为CN202011581378.7的专利公开了短视频智能生成方法及装置，包括以下：获取用于制作视频的快讯；从所述快讯中提取多个核心句子；根据多个所述核心句子从预建立的素材资源库中检索对应的图片素材以及视频素材，以多个所述核心句子、检索到的图片素材以及视频素材作为准备材料；获取用户挑选的短视频模版、主标题以及背景音乐作为框架；将所述准备材料应用至所述框架，完成短视频的生成。

该方案通过从快讯中得到几个主要场景，并为每个场景都自动匹配了文本内容和相应的高质量的配图或视频，使得不具备视频编辑专业知识的人员也能快速制作出高质量的短视频。但是该方案只能对视频素材中的视频进行合成，假设有多人均采用素材库中的同样的视频进行生成新视频的话，如此一来，同样的视频素材将会出现在多个用户发布的视频当中，那么将会使得浏览视频的用户产生疲劳，进而对发布同样视频的用户标注不感兴趣，如此一来，该用户的视频推荐量将会减少，不利用用户在该短视频平台上的运营。

发明内容

本方案提供一种能对自己拍摄的视频进行剪辑的基于用户需求的短视频智能生成系统及方法。

为了达到上述目的，本方案提供一种基于用户需求的短视频智能生成系统，包括，

视频剪辑单元，用于对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序被发送至视频处理单元，

视频处理单元，用于接收剪辑后的视频，并将前后两帧视频内容进行对比，当前后两帧视频出现同一画面信息时，将顺序在前的该帧视频中的视频信息剪辑剪掉，然后将剪掉后的视频进行重新合并，所述已剪辑视频的每一视频帧对应的视频场景信息为至少一个人物画面信息，所述视频处理单元将将处理后的全部视频帧发送至人脸识别单元，

人脸识别单元，采用人脸识别算法来对每一帧视频对视频的各帧图像进行目标人脸识别，获得包括目标人脸图像的各帧图像，采用核相关滤波算法，对包括目标人脸图像的各帧图像进行目标跟踪，包括：检测目标人脸图像在各帧图像中的位置，计算目标人脸图像在相邻帧图像中的位置偏移量；如果位置偏移量小于设定阈值，则将所述相邻帧图像判定为包括同一目标人物的人脸图像的帧图像，如果位置偏移量大于设定阈值，则将相邻帧图像判定为不是目标人物的人脸图像的帧图像，进而将该帧图像删除，当该帧视频未出现目标人物的图像时，则将该帧图像删除，

视频生成单元，对与所述至少一种人物画面信息对应的所述候选视频片段进行融合处理， 得到至少一段目标视频片段，根据所述视频场景信息，确定出包含每一所述目标视频片段的精彩视频片段的起始位置和终止位置；根据所述起始位置和所述终止位置对所述待剪辑视频生成最终视频。

本方案的有益效果：

（1）本方案可以对用户自己拍摄的视频进行识别剪辑，并基于视频图像信息，对包含有重复画面的视频帧进行去重剪辑，使得视频中长时间保持不同的画面只保留一帧视频，使得视频内容简洁丰富无重复，每一帧视频中的画面均进行了变化，提升了用户观看性质。

（2）当用户拍摄的画面中出现了目标人物之外的人物图像信息时，该方案可以自动进行过滤剪辑，将没有包含目标人物的画面进行删除，进而能够集中记录目标人物，避免最终生成的视频出现别的人物画面，对本视频的内容造成干扰。

（3）而且本方案中采用滤波算法能够快速、准确的识别出视频中出现人脸图像的帧图像，并且，有针对性的识别出目标人物的人脸图像在哪些帧图像中出现。进而有利于辅助视频编辑，对视频进行优化处理。

进一步，还包括修正单元，所述修正单元用于对帧图像的清晰度和/或分辨率进行修正。提高视频的清晰度，进而提升用户的观感体验。

进一步，还包括表情采集单元和标记单元，所述表情判断单元包括图像采集模块和表情判断模块，当用户看到剪辑后的视频时，图像采集模块用于采集用户的表情，进而判断用户的满意情况，所述满意情况包括满意或不满意，当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。

进一步，当用户的嘴角微微上弯或者张嘴大小时，则表示用户满意，当用户皱眉时，则表用户不满意，所述表情判断单元用于根据图像中的特征来判断用户此时的满意度。

进一步，还包括声音提取模块和声音处理模块，声音提取模块对所述生成后的视频中的声音进行提取并分析，当整个视频中的声音分贝在合理范围内时不做处理，而是添加与之相匹配的背景音乐，并根据视频时长进行调整背景音乐的时长使得背景音乐的时长与视频的时长相匹配，当视频中的声音分贝大于日常聊天分贝范围内时，声音处理模块则调低声音使得声音分贝位于正常范围内，使得整个视频内容更加丰富，增添更能烘托目标人物的情感。

进一步,所述视频场景信息设有多个，视频处理单元对每个场景视频信息的时长进行记录并打标，人物识别单元还用于采集视频中人物的表情和动作，所述人物表情包括笑脸、哭脸、平静脸和惊讶脸，所述人物的动作包括摔倒、趴下、走路、跳跃和奔跑，所述音乐库中的背景音乐的按照节奏分为多个节段，多个片段的视频的时长和多个片段音乐的时长及音调的高低均被标记，所述视频生成单元根据多个片段的视频时长标记及背景音乐的时长标记和音调高低标记进行匹配生成视频。当视频片段中出现哭脸、笑脸、惊讶脸的人物表情和跳跃、奔跑、摔倒和趴下的人物动作时，则匹配一些音调高的音乐片段，从画面和音乐上均突出人物的内心活动，而平静脸的人物表情和走路的人物动作则匹配音调平稳的音乐，因此只需要把视频和背景音乐输入至本系统，本系统即可实现音乐和视频的智能剪辑与智能匹配，根据人物的表情和动作匹配出相对应的音乐，使得短视频智能生成的速度更快，效果更好。

进一步，还包括音乐库，所述音乐库用于为生成的视频添加背景音乐。

进一步，还公开一种基于用户需求的短视频智能生成系统方法，包括如下步骤：

S10: 视频剪辑单元对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序被发送至视频处理单元，

S20: 视频处理单元接收剪辑后的视频后，将前后两帧视频内容进行对比，当前后两帧视频出现同一画面信息时，将顺序在前的该帧视频中的视频信息剪辑剪掉，然后将剪掉后的视频进行重新合并，然后将处理后的全部视频帧发送至人脸识别单元，

S30: 人脸识别单元采用人脸识别算法来对每一帧视频对视频的各帧图像进行目标人脸识别，获得包括目标人脸图像的各帧图像，人脸识别单元再采用核相关滤波算法，对包括目标人脸图像的各帧图像进行目标跟踪，包括：检测目标人脸图像在各帧图像中的位置，计算目标人脸图像在相邻帧图像中的位置偏移量；如果位置偏移量小于设定阈值，则将所述相邻帧图像判定为包括同一目标人物的人脸图像的帧图像，如果位置偏移量大于设定阈值，则将相邻帧图像判定为不是目标人物的人脸图像的帧图像，进而将该帧图像删除，当该帧视频未出现目标人物的图像时，则将该帧图像删除，

S40: 修正单元对帧图像的清晰度和/或分辨率进行修正；

S50: 视频生成单元，对与所述至少一种人物画面信息对应的所述候选视频片段进行融合处理， 得到至少一段目标视频片段，根据所述视频场景信息，确定出包含每一所述目标视频片段的精彩视频片段的起始位置和终止位置；根据所述起始位置和所述终止位置对所述待剪辑视频生成最终视频；

S60:当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑；

S70: 当用户看到剪辑后的视频时，图像采集模块用于采集用户的表情，进而判断用户的满意情况，所述满意情况包括满意或不满意，当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。

附图说明

图1为本发明实施例的逻辑框架图。

图2为本发明实施例的流程示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例基本如附图1所示：

一种基于用户需求的短视频智能生成系统，包括，

视频剪辑单元，用于对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序被发送至视频处理单元，

视频处理单元，用于接收剪辑后的视频，并将前后两帧视频内容进行对比，当前后两帧视频出现同一画面信息时，将顺序在前的该帧视频中的视频信息剪辑剪掉，然后将剪掉后的视频进行重新合并，所述已剪辑视频的每一视频帧对应的视频场景信息为至少一个人物画面信息，所述视频处理单元将将处理后的全部视频帧发送至人脸识别单元，

人脸识别单元，采用人脸识别算法来对每一帧视频对视频的各帧图像进行目标人脸识别，获得包括目标人脸图像的各帧图像，采用核相关滤波算法，对包括目标人脸图像的各帧图像进行目标跟踪，包括：检测目标人脸图像在各帧图像中的位置，计算目标人脸图像在相邻帧图像中的位置偏移量；如果位置偏移量小于设定阈值，则将所述相邻帧图像判定为包括同一目标人物的人脸图像的帧图像，如果位置偏移量大于设定阈值，则将相邻帧图像判定为不是目标人物的人脸图像的帧图像，进而将该帧图像删除，当该帧视频未出现目标人物的图像时，则将该帧图像删除，

视频生成单元，对与所述至少一种人物画面信息对应的所述候选视频片段进行融合处理， 得到至少一段目标视频片段，根据所述视频场景信息，确定出包含每一所述目标视频片段的精彩视频片段的起始位置和终止位置；根据所述起始位置和所述终止位置对所述待剪辑视频生成最终视频。

还包括修正单元，所述修正单元用于对帧图像的清晰度和/或分辨率进行修正。提高视频的清晰度，进而提升用户的观感体验。

还包括表情采集单元和标记单元，所述表情判断单元包括图像采集模块和表情判断模块，当用户看到剪辑后的视频时，图像采集模块可以是手机前置摄像头。

用于采集用户的表情，进而判断用户的满意情况，所述满意情况包括满意或不满意，当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。当用户的嘴角微微上弯或者张嘴大小时，则表示用户满意，当用户皱眉时，则表用户不满意，所述表情判断单元用于根据图像中的特征来判断用户此时的满意度。

还包括声音提取模块、声音处理模块和音乐库，音乐库用于为生成的视频添加背景音乐。声音提取模块对生成后的视频中的声音进行提取并分析，当整个视频中的声音分贝在合理范围内时不做处理，而是添加与之相匹配的背景音乐，并根据视频时长进行调整背景音乐的时长使得背景音乐的时长与视频的时长相匹配，当视频中的声音分贝大于日常聊天分贝范围内时，声音处理模块则调低声音使得声音分贝位于正常范围内，使得整个视频内容更加丰富，增添更能烘托目标人物的情感。视频场景信息设有多个，视频处理单元对每个场景视频信息的时长进行记录并打标，人物识别单元还用于采集视频中人物的表情和动作，人物表情包括笑脸、哭脸、平静脸和惊讶脸，人物的动作包括摔倒、趴下、走路、跳跃和奔跑，音乐库中的背景音乐的按照节奏分为多个节段，多个片段的视频的时长和多个片段音乐的时长及音调的高低均被标记，视频生成单元根据多个片段的视频标记及背景音乐的时长标记和音调高低标记进行匹配生成视频。当视频片段中出现哭脸、笑脸、惊讶脸的人物表情和跳跃、奔跑、摔倒和趴下的人物动作时，则匹配一些音调高的音乐片段，从画面和音乐上均突出人物的内心活动，而平静脸的人物表情和走路的人物动作则匹配音调平稳的音乐， 因此只需要把视频和背景音乐输入至本系统，本系统即可实现音乐和视频的智能剪辑与智能匹配，根据人物的表情和动作匹配出相对应的音乐，使得短视频智能生成的速度更快，效果更好。

还公开一种基于用户需求的短视频智能生成系统方法，包括如下步骤：

S10: 视频剪辑单元对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序被发送至视频处理单元，

S20: 视频处理单元接收剪辑后的视频后，将前后两帧视频内容进行对比，当前后两帧视频出现同一画面信息时，将顺序在前的该帧视频中的视频信息剪辑剪掉，然后将剪掉后的视频进行重新合并，然后将处理后的全部视频帧发送至人脸识别单元，

S30: 人脸识别单元采用人脸识别算法来对每一帧视频对视频的各帧图像进行目标人脸识别，获得包括目标人脸图像的各帧图像，人脸识别单元再采用核相关滤波算法，对包括目标人脸图像的各帧图像进行目标跟踪，包括：检测目标人脸图像在各帧图像中的位置，计算目标人脸图像在相邻帧图像中的位置偏移量；如果位置偏移量小于设定阈值，则将所述相邻帧图像判定为包括同一目标人物的人脸图像的帧图像，如果位置偏移量大于设定阈值，则将相邻帧图像判定为不是目标人物的人脸图像的帧图像，进而将该帧图像删除，当该帧视频未出现目标人物的图像时，则将该帧图像删除，

S40: 修正单元用于对帧图像的清晰度和/或分辨率进行修正；

S50: 视频生成单元，对与所述至少一种人物画面信息对应的所述候选视频片段进行融合处理， 得到至少一段目标视频片段，根据所述视频场景信息，确定出包含每一所述目标视频片段的精彩视频片段的起始位置和终止位置；根据所述起始位置和所述终止位置对所述待剪辑视频生成最终视频；

S60:当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。

S70: 当用户看到剪辑后的视频时，图像采集模块用于采集用户的表情，进而判断用户的满意情况，所述满意情况包括满意或不满意，当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.基于用户需求的短视频智能生成系统，其特征在于：包括，

视频剪辑单元，用于对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序被发送至视频处理单元；

视频处理单元，用于接收剪辑后的视频，并将前后两帧视频内容进行对比，当前后两帧视频出现同一画面信息时，将顺序在前的该帧视频中的视频信息剪辑剪掉，然后将剪掉后的视频进行重新合并，所述已剪辑视频的每一视频帧对应的视频场景信息为至少一个人物画面信息，所述视频处理单元将处理后的全部视频帧发送至人脸识别单元；

人脸识别单元，采用人脸识别算法对视频中每一帧图像进行目标人脸识别，获得包括目标人脸图像的各帧图像，采用核相关滤波算法，对包括目标人脸图像的各帧进行目标跟踪，包括：检测目标人脸图像在各帧图像中的位置，计算目标人脸图像在相邻帧图像中的位置偏移量；如果位置偏移量小于设定阈值，则将所述相邻帧图像判定为包括同一目标人物的人脸图像的帧图像，如果位置偏移量大于设定阈值，则将相邻帧图像判定为不是目标人物的人脸图像的帧图像，进而将该帧图像删除，当该帧视频未出现目标人物的图像时，则将该帧图像删除；

视频生成单元，对与所述至少一种人物画面信息对应的所述候选视频片段进行融合处理，得到至少一段目标视频片段，根据所述视频场景信息，确定出包含每一所述目标视频片段的精彩视频片段的起始位置和终止位置；根据所述起始位置和所述终止位置对所述待剪辑视频生成最终视频。

2.根据权利要求1所述的基于用户需求的短视频智能生成系统，其特征在于：还包括修正单元，所述修正单元用于对帧图像的清晰度和/或分辨率进行修正。

3.根据权利要求1所述的基于用户需求的短视频智能生成系统，其特征在于：还包括表情采集单元和标记单元，所述表情判断单元包括图像采集模块和表情判断模块，当用户看到剪辑后的视频时，图像采集模块用于采集用户的表情，进而判断用户的满意情况，所述满意情况包括满意或不满意，当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。

4.根据权利要求3所述的基于用户需求的短视频智能生成系统，其特征在于：还包括表情判断规则：当用户的嘴角微微上弯或者张嘴大小时，则表示用户满意，当用户皱眉时，则表用户不满意，所述表情判断单元用于根据图像中的特征来判断用户此时的满意度。

5.根据权利要求1所述的基于用户需求的短视频智能生成系统，其特征在于：还包括声音提取模块和声音处理模块，声音提取模块对所述生成后的视频中的声音进行提取并分析，当整个视频中的声音分贝在合理范围内时不做处理，而是添加与之相匹配的背景音乐，并根据视频时长进行调整背景音乐的时长使得背景音乐的时长与视频的时长相匹配，当视频中的声音分贝大于日常聊天分贝范围内时，声音处理模块则调低声音使得声音分贝位于正常范围内，使得整个视频内容更加丰富，增添更能烘托目标人物的情感。

6.根据权利要求1所述的基于用户需求的短视频智能生成系统，其特征在于：所述视频场景信息设有多个，视频处理单元对每个场景视频信息的时长进行记录并打标，人物识别单元还用于采集视频中人物的表情和动作，所述人物表情包括笑脸、哭脸、平静脸和惊讶脸，所述人物的动作包括摔倒、趴下、走路、跳跃和奔跑，所述音乐库中的背景音乐的按照节奏分为多个节段，多个片段的视频的时长和多个片段音乐的时长及音调的高低均被标记，所述视频生成单元根据多个片段的视频时长标记及背景音乐的时长标记和音调高低标记进行匹配生成视频。

7.根据权利要求1所述的基于用户需求的短视频智能生成系统，其特征在于：还包括音乐库，所述音乐库用于为生成的视频添加背景音乐。

8.还公开一种基于用户需求的短视频智能生成系统方法，其特征在于：包括如下步骤：

S10: 视频剪辑单元对待剪辑视频进行视频识别处理，并将识别包含有目标人物的视频按帧进行剪辑，然后将剪辑后的每一帧视频按照时间先后顺序被发送至视频处理单元，

S20: 视频处理单元接收剪辑后的视频后，将前后两帧视频内容进行对比，当前后两帧视频出现同一画面信息时，将顺序在前的该帧视频中的视频信息剪辑剪掉，然后将剪掉后的视频进行重新合并，然后将处理后的全部视频帧发送至人脸识别单元，

S30: 人脸识别单元采用人脸识别算法来对每一帧视频对视频的各帧图像进行目标人脸识别，获得包括目标人脸图像的各帧图像，人脸识别单元再采用核相关滤波算法，对包括目标人脸图像的各帧图像进行目标跟踪，包括：检测目标人脸图像在各帧图像中的位置，计算目标人脸图像在相邻帧图像中的位置偏移量；如果位置偏移量小于设定阈值，则将所述相邻帧图像判定为包括同一目标人物的人脸图像的帧图像，如果位置偏移量大于设定阈值，则将相邻帧图像判定为不是目标人物的人脸图像的帧图像，进而将该帧图像删除，当该帧视频未出现目标人物的图像时，则将该帧图像删除，

S40: 修正单元用于对帧图像的清晰度和/或分辨率进行修正；

S50: 视频生成单元，对与所述至少一种人物画面信息对应的所述候选视频片段进行融合处理， 得到至少一段目标视频片段，根据所述视频场景信息，确定出包含每一所述目标视频片段的精彩视频片段的起始位置和终止位置；根据所述起始位置和所述终止位置对所述待剪辑视频生成最终视频；

S60:当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑；

S70: 当用户看到剪辑后的视频时，图像采集模块用于采集用户的表情，进而判断用户的满意情况，所述满意情况包括满意或不满意，当用户观看该帧视频表现出不满意时，则标记单元对该帧视频进行标记，当用户看完所有视频时，则标记单元对该段视频中的所有不满意的视频帧进行标记，而后反馈给视处理单元，进而视频处理单元将标记视频帧进行剪辑。

Images