CN112689200A

CN112689200A - 视频编辑方法、电子设备及存储介质

Info

Publication number: CN112689200A
Application number: CN202011471566.4A
Authority: CN
Inventors: 林柏青
Original assignee: Wanxing Technology Group Co ltd
Current assignee: Wanxing Technology Group Co ltd
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2021-04-20
Anticipated expiration: 2040-12-15
Also published as: CN112689200B

Abstract

本发明公开了一种视频编辑方法、电子设备及存储介质。该方法包括：获取视频；对所述视频进行切割以获取所述视频中的场景；识别所述场景中的物体；根据所述物体判断所述场景的主题；根据所述场景的主题对所述场景进行编辑。本发明通过获取视频，对视频进行切割得到视频中的场景。识别场景中的物体，根据物体判断场景的主题，根据场景的主题对每个场景进行编辑。本发明实施例通过上述方法，利用视频场景中的物体识别技术来辅助判断场景的主题(如海滩、山上、圣诞节、教室、办公室、沙漠等)，再根据主题对每个场景进行编辑，解决了相关技术中需要用户手动介入做编辑决策的技术问题，从而能够实现自动化编辑视频，并且提高视频编辑决策的准确性。

Description

视频编辑方法、电子设备及存储介质

技术领域

本发明涉及视频编辑技术领域，尤其是涉及一种视频编辑方法、电子设备及存储介质。

背景技术

当前主流的视频编辑技术，大都着重于依靠人类主观意念来判断编辑决策，然后手动编辑，例如剪切不需要的片段、在关键时间点增加符合当前情境的特效、选择合适的音乐作为配乐等，人工成本较高，费时费力。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种视频编辑方法、电子设备及存储介质，能够实现自动化编辑视频，并且提高视频编辑决策的准确性。

根据本发明的第一方面实施例的视频编辑方法，包括：

获取视频；

对所述视频进行切割以获取所述视频中的场景；

识别所述场景中的物体；

根据所述物体判断所述场景的主题；

根据所述场景的主题对所述场景进行编辑。

根据本发明实施例的视频编辑方法，至少具有如下有益效果：

本发明实施例通过获取视频，对视频进行切割得到视频中的场景。识别场景中的物体，根据物体判断场景的主题，根据场景的主题对每个场景进行编辑。本发明实施例通过上述方法，利用视频场景中的物体识别技术来辅助判断场景的主题(如海滩、山上、圣诞节、教室、办公室、沙漠等)，再根据主题对每个场景进行编辑，解决了相关技术中需要用户手动介入做编辑决策的技术问题，从而能够实现自动化编辑视频，并且提高视频编辑决策的准确性。

根据本发明的一些实施例，所述对所述视频进行切割以获取所述视频中的场景，包括：

获取所述视频的帧画面与与所述视频的帧画面相邻的帧画面之间的差异值；

若所述差异值大于预设差异值，则将所述帧画面与与其相邻的帧画面切割为不同的场景。

根据本发明的一些实施例，所述根据所述场景的主题对所述场景进行编辑，包括：

根据所述场景的主题和所述物体的复杂度，对所述场景进行评分；

根据所述评分对所述场景进行排序；

按照排序对所述场景进行编辑。

根据本发明的一些实施例，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，包括：

判断所述场景中的物体是否存在主题人物；

若存在，则提高所述场景的第一评分；

对所述场景进行编辑，包括：

对所述主题人物周围的背景区域进行虚化后添加动画和/或特效。

根据本发明的一些实施例，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，还包括：

判断所述场景中的物体是否存在主题物体且位于所述场景的中间位置；

若存在且位于所述场景的中间位置，则提高所述场景的第二评分；

对所述场景进行编辑，包括：

对所述主题物体周围的背景区域进行虚化。

判断所述场景中的物体种类或物体数量是否超过预设数量；

若超过，则降低所述场景的第三评分。

判断所述场景的损坏程度是否超过预设损坏值；

若超过，则降低所述场景的第四评分。

根据所述第一评分、所述第二评分、所述第三评分和所述第四评分的加权平均值，对所述场景进行评分。

根据本发明的一些实施例，所述方法还包括：

获取指定主题；其中，所述指定主题包括特定物体；

判断识别的所述物体是否是特定物体；

若是，则将所述场景的主题设置为所述指定主题。

根据本发明的第二方面实施例的电子设备，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：

如第一方面所述的视频编辑方法。

根据本发明的第三方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：

如第一方面所述的视频编辑方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明做进一步的说明，其中：

图1为本发明一实施例提供的视频编辑方法的流程示意图；

图2为本发明另一实施例提供的视频编辑方法的流程示意图；

图3为本发明另一实施例提供的视频编辑方法的流程示意图；

图4为本发明另一实施例提供的视频编辑方法的流程示意图；

图5为本发明另一实施例提供的视频编辑方法的流程示意图；

图6为本发明另一实施例提供的视频编辑方法的流程示意图；

图7为本发明另一实施例提供的视频编辑方法的流程示意图；

图8为本发明另一实施例提供的视频编辑方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

当前主流的视频编辑技术，大都着重于依靠人类主观意念来判断编辑决策，例如剪切不需要的片段、在关键时间点增加符合当前情境的特效、选择合适的音乐作为配乐等。因此，最近几年内涌现出了很多AI(Artificial Intelligence，人工智能)技术，并且由于新的机器学习算法增多、GPU(Graphics Processing Unit，图形处理器)算力呈倍数增长等因素，AI技术在许多行业越来越被重视，在视频创意制作的软件应用上也逐渐普及。但是，目前视频创意制作的软件应用大多使用在特效产生上面，例如在人脸侦测的基础上增加贴图、在手势识别的基础上增加粒子特效(下雨、下雪等)。对于视频全局的自动编辑，若想要取代人类主观判断视频创意做出的编辑决策，比起单一特效所要做的编辑决策更多、更复杂，当前的AI技术难以做到。

相关技术中，能够自动化编辑视频的软件应用有Adobe、Magisto、Google(YouTube)、 CyberLink、Muvee等。Adobe的Sensei AI在技术上比较偏向于用来宣传众多技术的一个营销名称，涵盖了物体侦测、人脸侦测、人体侦测、动作分析、色彩分析等大范围的众多技术。不过在高度自动化视频编辑上，Adobe还没有推出自家的做法。在AdobePremiere Element 2021中，也只有针对个别的Sensei技术作处理，而不是对全局视频作自动剪辑。Magisto的 AI利用背景去除、物体侦测、环境侦测、物体追踪，动作追踪、语音分析等技术。但也是比较偏向所谓的特定场景效果，对全局编辑没有产生影响。CyberLink的Magic Cut、Magic Style 这两项技术为10年前发展出来的自动剪辑方式。Magic Cut主要的意图在于让用户指定输出时长后，算法会自动挑出比较不重要的片段删除，强制留下指定时常的视频。Magic Style则仅仅是在Magic Cut上加上预先依照众多主题所设定的特效和转场，使得Magic Cut做了初剪后所剩余的片长能拼凑出更有意义的主题视频。Muvee利用人脸、语音等技术选择对用户较有意义的视频片段后再套用主题特效，对于视频中的物体等没有做全面的分析。

但是，上述软件应用对于提高用户体验并没有很大的帮助，原因是用户对于全自动化编辑的期望过高，认为只要选择了主题，软件应该就能够自己抓到视频的主题、主角等，进而软件能自行决定如何编辑。然而实际上之前的技术往往与视频内容几乎没有主题上的关系，在软件决定编辑出入点、特效种类、转场类型等编辑决策时，对于各种不同的场景主题(如海滩、山上、圣诞节、教室、办公室、沙漠等)，需要用户主动设定才能套用相关主题，而且就算选定了场景的主题，视频场景中的物体对于编辑决策的影响也很少。

基于上述，本发明实施例提供了一种视频编辑方法、电子设备及存储介质，利用视频场景中的物体识别技术来辅助判断场景的主题，解决了相关技术中需要用户手动介入做编辑决策的技术问题，从而能够实现自动化编辑视频，并且提高视频编辑决策的准确性。

第一方面，如图1所示，本发明提供了一种视频编辑方法，包括：

步骤S100：获取视频；

步骤S200：对视频进行切割以获取视频中的场景；

步骤S300：识别场景中的物体；

步骤S400：根据物体判断场景的主题；

步骤S500：根据场景的主题对场景进行编辑。

在一些实施例中，本发明实施例提供的视频编辑方法通过获取视频，对视频进行切割得到视频中的场景。识别场景中的物体，根据物体判断场景的主题，根据场景的主题对每个场景进行编辑。本发明实施例通过上述方法，利用视频场景中的物体识别技术来辅助判断场景的主题(如海滩、山上、圣诞节、教室、办公室、沙漠等)，再根据主题对每个场景进行编辑，解决了相关技术中需要用户手动介入做编辑决策的技术问题，从而能够实现自动化编辑视频，并且提高视频编辑决策的准确性。

在一些实施例中，切割后的场景可以包括一帧或多帧画面。一般地，一个场景都会包含多帧画面，但同个场景内的画面是类似的，包含的物体种类以及物体数量不会差太多。

在一些实施例中，识别场景中的物体可以利用现有的NNL学习算法或GPL物体侦测算法实现。

在一些实施例中，根据场景中的物体可以判断场景的主题。例如：根据沙滩、海岸、大海、太阳、穿着泳衣的人、浪花等物体可以判断场景的主题为海滩主题；根据穿着登山衣的人、帐篷、营火、山、树木、溪流等物体可以判断场景的主题为登山主题；根据圣诞树、穿红衣的圣诞老人、包装的礼物、壁炉等物体可以判断场景的主题为圣诞节主题；根据电话、电脑、白板、穿西装的人等物体可以判断场景的主题为办公室主题。

在一些实施例中，如图2所示，步骤S200包括：

步骤S210：获取视频的帧画面与与视频的帧画面相邻的帧画面之间的差异值；

步骤S220：若差异值大于预设差异值，则将帧画面与与其相邻的帧画面切割为不同的场景。

在一些实施例中，依照场景切割算法，当帧画面与与其相邻的帧画面之间的物体差异值 (包括物体种类和物体数量)太大时(大于预设差异值)，会被认为是不同的场景而作切割。

在一些实施例中，场景切割算法可以是按照帧画面与帧画面之间的相对画面变动率来计算；还可以是利用神经网络学习(Neural Network Learning)算法来切割成不同的场景。

在一些实施例中，如图3所示，步骤S500包括：

步骤S510：根据场景的主题和物体的复杂度，对场景进行评分；

步骤S520：根据评分对场景进行排序；

步骤S530：按照排序对场景进行编辑。

在一些实施例中，根据场景的主题和物体的复杂度，对场景进行评分。物体的复杂度包括物体的种类以及物体的数量等。例如：获取用户在海边拍摄的一段视频，对其进行编辑。由于该视频中包含的沙滩、大海等物体较多，因此，判断为海滩主题的场景较多，其他主题的场景较少。对海滩主题的场景给予高评分，对包含沙滩、大海等物体数量多的场景给予高评分，提高选片优先级；对其他主题的场景给予低评分，降低选片优先级。可以理解的是，具体的评分规则可以根据实际需要设置，本发明实施例对此不作具体限定。对每个场景评分后，根据评分对场景进行排序。由于在该段视频中用户想要的是尽量保留沙滩、大海等场景，删除其他较为杂乱的场景，因此，为了保证用户观看视频的体验，一般按照评分从高到低进行排序。排好序后，按照排序对场景进行编辑。

在一些实施例中，如图4所示，步骤S510包括：

步骤S511：判断场景中的物体是否存在主题人物；若存在，则执行步骤S512，若不存在，则执行步骤S513；

步骤S512：提高场景的第一评分；

步骤S513：降低场景的第一评分。

对应的，对场景进行编辑，包括：

对主题人物周围的背景区域进行虚化后添加动画和/或特效。

在一些实施例中，对排好序的场景作以下编辑决策：判断场景中的物体是否存在主题人物，若存在主题人物，给予场景的第一评分较高的分值；若不存在主题人物，给予场景的第一评分较低的分值。针对主题人物作背景虚化后，添加适合背景装饰的动画或是滤镜，但对于主题人物不做遮蔽。

在一些实施例中，主题人物可以是主题里最重要或者最需要编辑的人物。

在一些实施例中，如图5所示，步骤S510还包括：

步骤S514：判断场景中的物体是否存在主题物体且位于场景的中间位置；若存在且位于场景的中间位置，则执行步骤S515，否则执行步骤S516；

步骤S515：提高场景的第二评分；

步骤S516：降低场景的第二评分。

对应的，对场景进行编辑，包括：

对主题物体周围的背景区域进行虚化。

在一些实施例中，判断场景中的物体是否存在主题物体且位于场景的中间位置，若存在主题物体且主题物体位于场景的中间位置，此时其它背景区域容易去除(虚化)，因此给予场景的第二评分较高的分值；若存在主题物体或主题物体没有位于场景的中间位置，给予场景的第二评分较低的分值。然后对主题物体周围的背景区域进行虚化，以凸显主题物体。

在一些实施例中，如图6所示，步骤S510还包括：

步骤S517：判断场景中的物体种类或物体数量是否超过预设数量；若超过，则执行步骤 S518，否则执行步骤S519；

步骤S518：降低场景的第三评分；

步骤S519：提高场景的第三评分。

在一些实施例中，判断场景中的物体种类或物体数量是否超过预设数量，若超过预设数量，则可能是背景区域太杂乱，因此给予场景的第三评分较低的分值；若未超过预设数量，给予场景的第三评分较高的分值。

在一些实施例中，如图7所示，步骤S510还包括：

步骤S5110：判断场景的损坏程度是否超过预设损坏值；若超过，则执行步骤S5111，否则执行步骤S5112；

步骤S5111：降低场景的第四评分。

步骤S5112：提高场景的第四评分。

在一些实施例中，判断场景的损坏程度可以通过检测白平衡过度(过高或过低)、晃动过度、旋转过度等非常见镜头表现来判断。若场景的损坏程度超过预设损坏值，例如白平衡高过特定阈值或低过特定阈值，则给予场景的第四评分(损坏评分)较低的分值；若场景的损坏程度未超过预设损坏值，则提高场景的第四评分。

在一些实施例中，步骤S510还包括：

根据第一评分、第二评分、第三评分和第四评分的加权平均值，对场景进行评分。

在一些实施例中，当场景经过各项评分后，对各项评分进行加权平均，得到场景的最终评分。根据每个场景的最终评分对所有场景进行排序，按照排序对每个场景进行编辑。软件应用会依照每个场景的主题所预设的物体权重配比去调整每个场景的编辑决策。例如：在圣诞节主题下，同一场景内经过判断属于圣诞节主题的物体周围会使用雪花粒子效果，不属于圣诞节主题的物体则不做装饰；在海滩主题下，同一场景内经过判断属于海滩主题的物体周围会使用浪花、阳光等效果，不属于海滩主题的物体则不做装饰。

在一些实施例中，编辑好视频后，提供短、中、长三种输出长度给用户选择。当用户选择后，依照选择的长度产生视频并输出。

在一些实施例中，如图8所示，视频编辑方法还包括：

步骤S600：获取指定主题；其中，指定主题包括特定物体；

步骤S700：判断识别的物体是否是特定物体；若是，则执行步骤S800，否则执行步骤 S900重新识别；

步骤S800：将场景的主题设置为指定主题。

在一些实施例中，当识别物体后的识别结果不足以决定场景的主题，此时允许用户指定主题，例如用户在圣诞节拍摄的一段视频，可指定为圣诞节主题。指定的主题包括特定的物体，例如前述的举例圣诞节主题包括圣诞树、穿红衣的圣诞老人、包装的礼物、壁炉等特定物体。软件应用获取用户指定的主题，判断识别的物体是否在特定物体的范围内，若在特定物体的范围内，则说明物体识别是准确的，物体与指定主题符合，此时将场景的主题设置为用户指定的圣诞树主题。通过上述步骤可以提高物体识别的准确度，从而提高视频编辑决策的准确性。

结合上述实施例，本发明提供的视频编辑方法，利用视频场景中的物体识别技术来辅助判断场景的主题，解决了目前的自动编辑技术中对于场景内容在意义上对编辑决策无影响的问题。在把场景中的物体纳为影响编辑决策的因素后，用户可以看到自己拍摄的物体与编辑后的结果有紧密联系和充分结合，用户对于编辑结果比较容易满意，从而提升用户体验。

在一些实施例中，若软件应用同时获取多个视频，还可以对多个视频进行评分排序和播放。具体的，软件应用对每个视频中的物体进行识别，对每个视频进行场景损坏程度判断。用户根据视频内容指定可能的主题。软件应用加权计算物体与指定主题的符合程度和场景损坏程序，依照加权分数排列视频优先顺序，依照用户指定的短、中、长时长，产生视频，播放预览视频。用户观看后选择是否更改主题，不更改则输出最后的视频；更改则返回，用户重新指定可能的主题。

第二方面，本发明提供了一种电子设备，包括：

至少一个处理器，以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：

如第一方面所述的视频编辑方法。

在一些实施例中，电子设备可以是移动终端设备，也可以是非移动终端设备。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理等；非移动终端设备可以为个人计算机、电视机、柜员机或者自助机等；本发明实施方案不作具体限定。

第三方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行：

如第一方面所述的视频编辑方法。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

Claims

1.视频编辑方法，其特征在于，包括：

获取视频；

对所述视频进行切割以获取所述视频中的场景；

识别所述场景中的物体；

根据所述物体判断所述场景的主题；

根据所述场景的主题对所述场景进行编辑。

2.根据权利要求1所述的视频编辑方法，其特征在于，所述对所述视频进行切割以获取所述视频中的场景，包括：

3.根据权利要求1所述的视频编辑方法，其特征在于，所述根据所述场景的主题对所述场景进行编辑，包括：

根据所述评分对所述场景进行排序；

按照排序对所述场景进行编辑。

4.根据权利要求3所述的视频编辑方法，其特征在于，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，包括：

判断所述场景中的物体是否存在主题人物；

若存在，则提高所述场景的第一评分；

对所述场景进行编辑，包括：

5.根据权利要求4所述的视频编辑方法，其特征在于，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，还包括：

对所述场景进行编辑，包括：

对所述主题物体周围的背景区域进行虚化。

6.根据权利要求5所述的视频编辑方法，其特征在于，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，还包括：

判断所述场景中的物体种类或物体数量是否超过预设数量；

若超过，则降低所述场景的第三评分。

7.根据权利要求6所述的视频编辑方法，其特征在于，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，还包括：

判断所述场景的损坏程度是否超过预设损坏值；

若超过，则降低所述场景的第四评分。

8.根据权利要求7所述的视频编辑方法，其特征在于，所述根据所述场景的主题和所述物体的复杂度，对所述场景进行评分，还包括：

9.根据权利要求1所述的视频编辑方法，其特征在于，所述方法还包括：

获取指定主题；其中，所述指定主题包括特定物体；

判断识别的所述物体是否是特定物体；

若是，则将所述场景的主题设置为所述指定主题。

10.电子设备，其特征在于，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

如权利要求1至9任一项所述的视频编辑方法。

11.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：

如权利要求1至9任一项所述的视频编辑方法。