CN115619901A - 一种素材剪辑方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及计算机技术领域，尤其涉及一种素材剪辑方法、装置、电子设备和存储介质，用以提高素材混剪效率。其中，方法包括：对待剪辑素材中的至少一个目标素材帧进行图像识别，获得至少一个目标素材帧中的第一对象的第一图像位置信息；根据第一对象以及第一图像位置信息，从预设素材库中确定与待剪辑素材匹配的候选素材集合，每个候选素材中均包含与第一对象具有相同属性的第二对象；根据候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定至少一个目标素材与待剪辑素材之间的拼接顺序；根据拼接顺序，对至少一个目标素材与待剪辑素材进行顺次拼接，获得相应的目标混剪素材。本申请自动选择相关素材进行筛选剪辑，提高素材混剪效率。

Description

一种素材剪辑方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种素材剪辑方法、装置、电子设备和存储介质。

背景技术

素材剪辑技术是一种将待剪辑素材，例如静态图像、动态视频，通过剪辑的方式合成一段剪辑素材的素材处理方式，以视频剪辑为例，常应用于短视频制作、视频集锦等视频剪辑场景。视频混剪，是视频剪辑技术中的一种，指把单个或多个视频分割，抽取其中目标片段，然后重新组合在一起，生成新视频的过程。

相关技术中的混剪视频主要是通过人工剪辑制作合成的，而制作一个混剪视频需要制作者在积累大量的视频素材的前提下，耗费很长一段时间才能制作一个混剪视频。因此，如何自动生成混剪素材，提高素材混剪效率是亟待解决的。

发明内容

本申请实施例提供一种素材剪辑方法、装置、电子设备和存储介质，用以提高素材混剪效率。

本申请实施例提供的一种素材剪辑方法，包括：

对待剪辑素材中的至少一个目标素材帧进行图像识别，获得所述至少一个目标素材帧中的第一对象的第一图像位置信息；

根据所述第一对象以及所述第一图像位置信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与所述第一对象具有相同属性的第二对象；

根据所述候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序，所述预设排序规则是基于素材匹配度与素材描述信息中的至少一种确定的；

根据所述拼接顺序，对所述至少一个目标素材与所述待剪辑素材进行顺次拼接，获得相应的目标混剪素材。

本申请实施例提供的一种素材剪辑装置，包括：

图像识别单元，用于对待剪辑素材中的至少一个目标素材帧进行图像识别，获得所述至少一个目标素材帧中的第一对象的第一图像位置信息；

匹配单元，用于根据所述第一对象以及所述第一图像位置信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与所述第一对象具有相同属性的第二对象；

确定单元，用于根据所述候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序，所述预设排序规则是基于素材匹配度与素材描述信息中的至少一种确定的；

拼接单元，用于根据所述拼接顺序，对所述至少一个目标素材与所述待剪辑素材进行顺次拼接，获得相应的目标混剪素材。

可选的，所述匹配单元用于：

基于所述第一图像位置信息，以及所述预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定所述各个候选素材各自对应的差异值；

将差异值不大于预设阈值的候选素材，加入所述候选素材集合。

可选的，所述目标素材帧有多个时，所述匹配单元具体用于：

根据各个目标素材帧中的第一对象的第一图像位置信息，确定所述第一对象的第一行动轨迹；以及

分别根据所述各个候选素材相应的待衔接素材帧中的第二对象的第二图像位置信息，确定相应的第二对象的第二行动轨迹，所述待衔接素材帧为所述候选素材中需要与所述待剪辑素材进行拼接的素材帧；

分别基于所述第一行动轨迹与所述各个候选素材对应的第二行动轨迹之间的差异，确定相应的候选素材对应的差异值。

可选的，所述第一图像位置信息包括所述第一对象中的各个关键点在目标素材帧中的第一坐标信息；所述第二图像位置信息包括相应的第二对象中的各个关键点在待衔接素材帧中的第二坐标信息，所述待衔接素材帧为所述候选素材中需要与所述待剪辑素材进行拼接的素材帧；所述匹配单元具体用于：

分别将所述第一对象在各个目标素材帧中的第一坐标信息，与所述各个候选素材中相应的第二对象在相应的待衔接素材帧中的第二坐标信息进行比对，获得所述各个候选素材各自对应的坐标信息偏差量；

基于获得的所述各个候选素材各自对应的坐标信息偏差量，分别确定所述各个候选素材各自对应的差异值。

可选的，所述装置还包括：

调整单元，用于在所述确定单元确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序之后，所述拼接单元根据所述拼接顺序，对所述至少一个目标素材与所述待剪辑素材进行顺次拼接之前，根据所述第一图像位置信息，对所述至少一个目标素材中的待衔接素材帧进行旋转调整与缩放调整中的至少一种调整，获得调整后的目标素材，所述待衔接素材帧为所述候选素材中需要与所述待剪辑素材进行拼接的素材帧。

可选的，所述匹配单元具体用于：

根据所述第一图像位置信息以及所述第一对象的比例信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与所述第一对象具有相同属性和相同比例的第二对象。

可选的，所述装置还包括：

存储单元，用于将所述待剪辑素材，以及所述待剪辑素材包含的各个素材帧中所述第一对象的第一图像位置信息，存储至所述预设素材库中，所述各个素材帧中所述第一对象的第一图像位置信息，是通过对所述各个素材帧分别进行图像识别获得的。

本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种素材剪辑方法的步骤。

本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任意一种素材剪辑方法的步骤。

本申请实施例提供一种计算机可读存储介质，其包括程序代码，当所述存储介质在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任意一种素材剪辑方法的步骤。

本申请有益效果如下：

本申请实施例提供的素材剪辑方法、装置、电子设备和存储介质，由于本申请实施例通过对待剪辑素材进行图像识别，获得的第一对象的图像位置信息，来从预设素材库中选取至少一个目标素材来与待剪辑素材进行拼接，通过自动选择相关素材进行剪辑、拼接，自动合成混剪素材，不需要通过人工反复观看各个视频以筛选相关素材，不需要在剪辑时反复拼接调整相似的素材，可有效提高视频混剪效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中的一种应用场景的一个可选的示意图；

图2为本申请实施例中的一种素材剪辑方法的流程示意图；

图3为本申请实施例中的一种混剪视频自动剪辑系统的架构图；

图4A为本申请实施例中的一种视频画面的示意图；

图4B为本申请实施例中的一种视频画面标记的示意图；

图5为本申请实施例中的一种计算差异值的方法流程图；

图6为本申请实施例中的一种视频素材所包含的视频帧的示意图；

图7为本申请实施例中的一种素材及相关数据的存储方式的示意图；

图8为本申请实施例中的一种视频及相关数据的存储方式的示意图；

图9为本申请实施例中的另一种计算差异值的方法流程图；

图10为本申请实施例中的一种待剪辑素材的衔接画面的示意图；

图11为本申请实施例中的一种目标素材的衔接画面的示意图；

图12为本申请实施例中的一种画面调整和拼接过程示意图；

图13为本申请实施例中的一种自动生成混剪视频的方法流程图；

图14为本申请实施例中的一种素材剪辑装置的组成结构示意图；

图15为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；

图16为应用本申请实施例的另一种电子设备的一个硬件组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

下面对本申请实施例中涉及的部分概念进行介绍。

素材：指的是从现实生活中搜集到的、未经整理加工的、感性的、分散的原始材料。在本申请实施例中，包括图像素材与视频素材中的至少一种。图像素材是指各类摄影、设计图像，还进一步包括静态图像、动态图像(例如动画)。视频素材是指各类录像、影像，例如电视剧(片段)、电影(片段)、短视频等。

混剪素材：是一种较为常见的原创素材类型，该类素材有多种内容形式，常见的类型包括影视混剪，动漫混剪和游戏混剪等。在本申请实施例中，混剪素材可以是以各种高相似度的画面素材进行衔接，或通过剪辑相似、相关的电影台词相关场景所得到的，本申请实施例中的混剪素材可以达到整个素材契合混剪素材主题的效果。

视频帧：视频帧指的是视频的一个个画面，一个视频是由若干帧画面构成的，常见的帧率有24帧和30帧，意味着视频每秒会播放24个画面和30个画面。视频的帧数越高，观感就越流畅。

对象：是指素材中的主体，比如人物、动物、风景等。第一对象是指对待剪辑素材进行图像识别所确定的对象，而第二对象是指对预设素材库中候选素材进行图像识别所确定的对象，且本申请实施例中的第二对象可以是与第一对象具有相同属性的其他对象，也可以是第一对象本身。

集合(SET)：是没有排序的字符集合，可添加，删除，或判断元素是否存在的操作。Redis(分布式缓存)的SET是字符串(String)类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。Redis SET命令用于设置给定键(key)的值。如果key已经存储其他值，SET就覆写旧值，且无视类型。

图像位置信息：指对象在图像中的相对位置信息，即图像中的对象相对于整个画面的位置信息。在本申请实施例中，第一图像位置信息和第二图像位置信息是针对待剪辑素材和候选素材而言的，本质上是属于图像位置信息。其中，第一图像位置信息则是指第一对象相对于待剪辑素材中素材帧的位置，第二图像位置信息则是指第二对象相对于候选素材中素材帧的位置。

图像识别：是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。

在本申请实施例中，图像识别有三个重要元素：被识别对象的特征和标签、被识别对象的大量训练样本和最终的神经网络模型。图像识别的基本任务就是确认一张图像的对象特征并识别出是什么具体对象。参照机器学习神经元网络的原理，机器是通过之前海量且不同的训练样本形成神经元网络模型再完成图像识别的。

图像识别的基本流程为：不同的对象被分别打上对应的标签，成为神经网络的训练样本，神经网络首先会对简单形状进行提取，比如边缘部分进行简单的识别。更高一层的神经网络会进一步提取更复杂的结构，比如动物的鼻子和尾巴等信息，最后将抽象的概念提取出来，成为区分不同对象的标准。人脸和运动识别技术也与上述类似，通过神经网络提前训练海量的人脸或者运动特征，构造相关的神经元网络特征模型。之后输入图像素材后就可以根据之前的训练模型来确认画面中对象的运动轨迹。

下面对本申请实施例的设计思想进行简要介绍：

在相关技术中，所有的混剪视频都由人工剪辑而成，要求整个创作流程都需要创作者自己精心筛选和剪辑完成，并且视频素材的挑选和剪辑衔接需要创作者不断反复观看各个视频，剪辑的时候反复拼接调整相似的素材，这样将会带来巨大的工作量，制作效率低。

有鉴于此，本申请实施例提出了一种素材剪辑方法、装置、电子设备和存储介质。由于本申请通过图像识别等技术自动选择相关素材进行剪辑、拼接，自动合成混剪素材，不需要通过人工反复观看各个素材以筛选相关素材，不需要在剪辑时反复拼接调整相似的素材，可有效提高素材混剪效率。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。本申请实施例中的终端设备110上可以安装有视频剪辑客户端，视频剪辑客户端用于进行视频剪辑。服务器120可以包括视频剪辑服务器。视频剪辑服务器，用于为视频剪辑客户端提供视频素材，例如本申请实施例中的预设素材库即可位于视频剪辑服务器侧，存储有多个候选素材，还可存储有各个候选素材中的主体的相关信息，例如图像位置信息，比例信息等。或者，视频素材库也可位于视频剪辑客户端本地。另外，本申请实施例中的视频剪辑服务器也可以用于视频剪辑，在此不做具体限定。

需要说明的是，本申请实施例中的素材剪辑方法可以由服务器或终端设备单独执行，也可以由服务器和终端设备共同执行。例如，由服务器来进行图像识别和素材匹配，将匹配好的候选素材集合返回给终端设备，由终端设备展示给用户，用户筛选出至少一个目标素材，并设置拼接顺序。进而，由终端设备根据拼接顺序将目标素材与待剪辑素材进行顺次拼接，获得目标混剪素材。

在本申请实施例中，目标混剪素材可以是将两段或多段用于衔接的素材帧极度相似的素材拼接到一起得到的。

在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行通信。

在一种可选的实施方式中，通信网络是有线网络或无线网络。

在本申请实施例中，终端设备110为用户使用的计算机设备，该计算机设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、车载终端等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器120连接，服务器120是一台服务器或若干台服务器组成的服务器集群或云计算中心，或者是一个虚拟化平台。

需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。

下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的素材剪辑方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。

参阅图2所示，为本申请实施例提供的一种素材剪辑方法的实施流程图，这里是以服务器为执行主体为例进行举例说明的，该方法的具体实施流程如下：

S21：服务器对待剪辑素材中的至少一个目标素材帧进行图像识别，获得至少一个目标素材帧中的第一对象的第一图像位置信息；

S22：服务器根据第一对象以及第一图像位置信息，从预设素材库中确定与待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与第一对象具有相同属性的第二对象；

需要说明的是，本申请实施例中的待剪辑素材和候选素材都可以是视频素材与图像素材中的至少一种，图像素材还进一步包括：静态图像素材、动态图像素材等，在此不做具体限定。

在下文中主要是以视频素材为例进行举例说明的。

需要说明的是，本申请实施例中的第二对象可以是第一对象本身，例如第一对象为张三，第二对象与第一对象为同一个人，即张三；或者，第二对象为与第一对象具有相同属性的其他对象，例如，第一对象为男生，则第二对象也可以是男生，但第一对象和第二对象可以是不同的男生；再比如，第一对象为苹果，第二对象也可以是与第一对象不同的苹果，或者第一对象为水果：苹果，第二对象为水果：梨；再比如，第一对象和第二对象可以是不同演员扮演的同一角色，等等。

在一种可选的实施方式中，还可根据第一图像位置信息以及第一对象的比例信息，从预设素材库中确定与待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与第一对象具有相同属性和相同比例的第二对象。

具体的，可以根据第一对象的比例信息，先从预设素材库中选取出包含与第一对象相同比例的第二对象的候选素材，进而，再根据第一图像位置信息，从选取出的这些候选素材中，再进一步选取包含与第一对象具有相同属性的第二对象的候选素材，组成候选素材集合。

或者，也可以先根据第一图像位置信息，从预设素材库中选取出包含与第一对象具有相同属性的第二对象的候选素材，进而，再根据第一对象的比例信息，从选取出的这些候选素材中，再进一步选取包含与第一对象相同比例的第二对象的候选素材，组成候选素材集合。

需要说明的是，本申请实施例中的比例信息是指对象本身的比例，不是相对于整个图像画面而言的，与图像位置信息不同，图像位置信息是对象相对于图像的相对位置信息。

在本申请实施例中，除了上述所列举的图像位置信息和比例信息之外，还可以通过对图像画面信息添加更多的维度，来提高混剪拼接的流畅性和准确度，在此不做具体限定。

S23：服务器根据候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定至少一个目标素材与待剪辑素材之间的拼接顺序；

其中，预设排序规则可以是基于素材匹配度与素材描述信息中的至少一种确定的。即，预设排序规则可以仅根据素材匹配度确定，此时，素材之间的拼接顺序实际上也是基于素材匹配度确定的；或者，预设排序规则也可以仅根据素材描述信息确定，相应的，素材之间的拼接顺序实际上也是基于素材描述信息确定的；或者，预设排序规则也可以根据素材匹配度与素材描述信息共同确定，相应的，素材之间的拼接顺序实际上也是基于素材匹配度与素材描述信息共同确定。

在一种可选的实施方式中，素材之间的素材匹配度可以是基于目标素材中的第二对象与待剪辑素材中的第一对象的相似度确定的，对象之间的相似度越高，对应的素材匹配度越高，此时，相应的目标素材与待剪辑素材之间的排序越靠近。该方式下，在预设排序规则是基于素材匹配度确定的，可通过如下过程确定拼接顺序：

首先，分别根据至少一个目标素材中各个目标素材对应的第二对象，与第一对象的相似度，确定各个目标素材各自对应的素材匹配度；进而，分别根据各个素材匹配度，确定相应的目标素材与待剪辑素材之间的拼接顺序。

比如选取的目标素材有：目标素材1、目标素材2和目标素材3。以根据目标素材与待剪辑素材的素材匹配度来确定拼接顺序为例，目标素材中的第二对象与待剪辑素材中的第一对象越相似，目标素材与待剪辑素材中的素材匹配度越高，假设，待剪辑素材与目标素材1的素材匹配度p1大于与目标素材2的素材匹配度p2，p2大于待剪辑素材与目标素材3的素材匹配度p3，因而，拼接顺序为：待剪辑素材、目标素材1、目标素材2、目标素材3。

在一种可选的实施方式中，若预设排序规则是基于素材描述信息确定的，则可通过如下过程确定拼接顺序：

分别根据至少一个目标素材中各个目标素材的素材描述信息，与待剪辑素材的素材描述信息的信息关联度，确定相应的目标素材与待剪辑素材之间的拼接顺序。

在本申请实施例中，素材描述信息指用于素材的主题名称、图像内容、关联时间等的信息，包括但不限于素材主题名称信息(比如电影名称、电影简介等)、素材内容信息、素材关联时间信息。其中，素材描述信息不仅仅方便用户了解素材，而且还能方便用户检索和信息整合。素材之间的信息关联度，则主要是依据素材主题名称之间的关联程度，素材内容之间的关联程度，素材关联时间之间的关联程度中的一种或多种确定的。其中，素材关联时间可以指素材时长、素材上映时间(比如电影上映时间)、素材图像内容所表征的时间(比如图像中的风景所表征的季节)等，在此不做具体限定。

以根据素材内容信息之间的关联度来确定拼接顺序为例，比如第一对象和第二对象为同一个人物时，根据目标素材1、目标素材2、目标素材3中该人物的运动轨迹与待剪辑素材中的该人物的运动轨迹，确定素材内容信息之间的关联程度，进而确定目标素材与待剪辑素材之间的信息关联度。假设关联程度越高，相应的目标素材对应的信息关联度越高，与待剪辑素材之间的排序越靠近等。

再比如第一对象和第二对象为同一个地点(或景点)时，目标素材和待剪辑素材分别包含该地点四季的景象，则可按照春夏秋冬四季的变化来确定对应的拼接顺序，即根据素材图像内容所表征的时间，确定素材之间的信息关联度，进而确定拼接顺序。比如，待剪辑素材表示春季A地点的风景，目标素材1表示冬季A地点的风景，目标素材2表示夏季A地点的风景，目标素材3表示秋季A地点的风景。按照春夏秋冬的顺序可以确定，目标素材2、目标素材3、目标素材1与待剪辑素材的信息关联度依次递减，对应的拼接顺序为：待剪辑素材、目标素材2、目标素材3、目标素材1。或者，第一对象和第二对象为不同演员扮演的同一角色时，即可根据相关的扮演时间，确定素材之间的信息关联度，进而确定拼接顺序。

以根据目标素材的时长来确定拼接顺序为例，假设素材时长越长，相对应的信息关联度越低，比如目标素材1的时长大于目标素材2的时长，目标素材2的时长大于目标素材3的时长，则可按照时长越长，拼接顺序越靠后的规则，来确定这几个目标素材的拼接顺序，即：待剪辑素材、目标素材1、目标素材2、目标素材3。

需要说明的是，基于上述所列举的实施例可知，若预设排序规则是根据素材匹配度与素材描述信息共同确定，即可基于素材匹配度，以及基于素材描述信息确定的信息关联度共同确定拼接顺序，具体的确定方式可以是：首先确定各个目标素材与待剪辑素材的素材匹配度，基于素材匹配度对素材进行一次排序，进而，再确定各个目标素材与待剪辑素材的信息关联度，基于信息关联度对之前的素材排序结果进行调整。

或者，首先确定各个目标素材与待剪辑素材的信息关联度，基于信息关联度对素材进行一次排序，进而，再确定各个目标素材与待剪辑素材的素材匹配度，基于素材匹配度对之前的素材排序结果进行调整。

再或者，还可确定各个目标素材与待剪辑素材的信息关联度以及素材匹配度，将素材匹配度和信息关联度进行加权求和，基于最终结果对素材进行排序，等等。

需要说明的是，除了上述所列举的基于上述预设排序规则确定之外，还可由用户确定，即将目标素材集合返回给用户，由用户选择目标素材并排序。此外，还可在接收到用户返回的拼接顺序后，基于本申请中的预设排序规则进行微调，或者，在基于本申请中的预设排序规则确定拼接顺序后，再将目标素材以及对应的顺序反馈给用户进行微调等，在此不做具体限定。

在上述实施方式中，可以根据不同的素材灵活设置不同的排序规则，以确定素材之间的拼接顺序，合成更加实用、完善的混剪素材。

S24：服务器根据拼接顺序，对至少一个目标素材与待剪辑素材进行顺次拼接，获得相应的目标混剪素材。

在上述实施方式中，通过对待剪辑素材进行图像识别，获得的第一对象的图像位置信息，来从预设素材库中选取至少一个目标素材来与待剪辑素材进行拼接，通过自动选择相关素材进行剪辑、拼接，自动合成混剪素材，不需要通过人工反复观看各个素材以筛选相关素材，不需要在剪辑时反复拼接调整相似的素材，可有效提高素材混剪效率。

下面主要是以视频作为素材，结合附图对视频混剪的过程进行举例说明的：

参阅图3所示，其为本申请实施例中的一种混剪视频自动剪辑系统(可简称系统)的架构图，主要分为5大部分：图像识别模块、视频匹配模块、视频剪辑模块、视频展示和调整模块、视频库。

其中，图像识别模块，用于通过图像识别技术，识别出输入的待剪辑视频的目标视频帧中的主体，例如该视频最后几秒画面中的主体，比如人物、动物、风景等；进而，根据识别结果对视频图像(也称画面)中的主体进行一些信息标记，比如标记主体的横纵坐标等，生成主体坐标信息；本申请实施例中的图像位置信息包括主体中关键点的坐标信息，例如图3中的(X1，Y1)、(X2，Y2)等。

需要说明的是，通过图像识别所得到的视频中的对象不一定只有一个，若识别出多个对象时，例如识别出多个人物时，可以将识别结果返回给用户，将用户选择出的对象作为本次视频混剪过程中的第一对象，即主体。或者，也可以不将识别结果返回给用户，而是自动生成以不同对象为第一对象的混剪视频。在本申请中，通过选取不同的对象作为第一对象，最终可以生成以不同对象为主体的混剪视频，提高了视频混剪的丰富度。

如图4A所示，其为本申请实施例中的一种视频画面的示意图，以该图中的人物作为第一对象为例，经过图像识别后，可将第一对象用若干个横纵坐标标记，经过标记后一帧的画面将会大致变成如图4B所示，其为本申请实施例中的一种视频画面标记的示意图。需要说明的是，图4A中的几个关键点只是示例，并非是该人物对应的全部关键点。

在本申请实施例中，通过添加第一对象的标记点数就可以确定第一对象在画面中的大致位置，除了大致位置之外，图像识别技术还支持识别眼睛、嘴巴、鼻子等信息，同第一对象标记同理，将眼睛、嘴巴等特征加上相应的坐标标记，最终便可以确定画面中第一对象的整体位置，方便后续匹配剪辑。如图4A或图4B所示，这些点都属于第一对象所包含的关键点。进一步的，还可包括人脸关键点，例如：眼部关键点、嘴部关键点等等，在此不做具体限定。

另外，通过对输入的视频素材中的每一帧图像中第一对象的坐标信息进行计算，最终可标记出该视频素材中第一对象的大致运动轨迹。

视频匹配模块，用于基于输入的待剪辑视频中目标视频帧信息，例如该视频的前后段衔接视频帧信息，从视频库中找出与之大致匹配的视频，在匹配过程中还可通过电影名、电影类别等信息进行筛选；另外，在筛选视频时，可以通过计算待剪辑视频与视频库中的候选视频的画面相似度等方式，计算出与导入视频相似的候选视频，返回给用户选择，将用户选择的候选视频作为目标视频。

在本申请实施例中，可以通过将两个视频中主体的坐标信息偏差量、运动轨迹等信息进行对比，来确定两个视频之间的相似度。

另外，基于图像识别模块，将待剪辑视频所有的视频帧信息计算标记完毕，逐帧生成主体坐标信息后，除了依据视频帧信息找出与待剪辑视频对应的候选视频之外，同时，还可将该待剪辑视频以及主体坐标信息加入到视频匹配模块，为之后提供视频。视频匹配模块的信息统一存放在数据库中，例如视频库中。

视频库，用于存储候选视频，以及候选视频中的第二对象对应的第二图像位置信息、比例信息；另外，还可存储待剪辑视频，以及待剪辑视频中的第一对象对应的第一图像位置信息、比例信息等。

在本申请实施例中，通过将一些常见热门的视频进行搜集，逐个分类并生成画面主体相关信息，然后把所有视频都放入数据库中，即可获得视频库，进而将视频库提供给用户，当用户想剪辑某个视频时，可以将该视频作为待剪辑视频导入视频匹配模块，基于视频库为用户匹配与待剪辑视频相关的候选视频，进而将匹配出的候选视频返回给用户进行选择，经用户选择后再经由视频剪辑视频库进行剪辑、拼接，最终生成混剪片段。

可选的，考虑到存储的画面帧数量较大且相关计算要求性能高，本申请实施例中的视频库可以为Redis等开源数据库。

在一种可选的实施方式中，还可将待剪辑视频，以及待剪辑视频包含的各个视频帧中第一对象的第一图像位置信息，存储至预设视频库中。其中，各个视频帧中第一对象的第一图像位置信息，也是通过对各个视频帧分别进行图像识别获得的。

通过上述方式，可以使得本申请中的视频库不断积累视频，提高了视频的丰富度。实际上，本申请中的混剪视频自动剪辑系统就是一个不断学习的混剪视频自动剪辑系统，经过模块不断收集视频信息，提供给用户可匹配的视频内容就会越来越丰富。同时通过画面信息不断完善，生成混剪视频时视频之间的衔接画面也会更流畅，衔接也会更自然。

视频剪辑模块，用于基于输入的待剪辑视频的衔接视频帧信息，以及用户最终选择的目标视频的衔接视频帧信息，通过计算对目标视频的衔接画面进行缩放、旋转等操作，以获得大致与待剪辑视频的衔接视频帧一致的画面进行拼接。

视频展示和调整模块，用于展示自动生成的混剪视频；另外，还可用于根据用户的指示，对生成的混剪视频进行微调。

本申请实施例结合图像识别技术和视频剪辑技术，自动生成混剪视频，大大减少了制作混剪视频需要的人力成本。此外，用户无需漫无目的地去寻找视频，将需要剪辑的片段导入到模块中，模块便会返回相关匹配的视频，减少了混剪视频的制作成本。

在一种可选的实施方式中，在基于第一对象在待剪辑素材目标素材帧中的第一图像位置信息，从预设素材库中筛选相关的候选素材时，可以基于第一图像位置信息，以及预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定各个候选素材各自对应的差异值；进而，将各个候选素材各自对应的差异值作为衡量，将差异值不大于预设阈值的候选素材，加入候选素材集合。

在上述实施方式中，基于对象在素材帧中的图像位置信息，可以得到对象的行动轨迹，也可得到对象中关键点的坐标，通过对比第一对象与第二对象的行动轨迹，或是关键点坐标，即可确定出将待剪辑素材与候选素材相匹配而得到的每个候选素材对应的差异值。进而，将差异值不大于预设阈值的候选素材组成候选素材集合。

需要说明的是，本申请实施例中，在基于第一图像位置信息和第二图像位置信息来计算各个候选素材对应的差异值的方式有很多种，下面列举以下两种：

一种可选的实施方式为，目标素材帧有多个时，可以按照如图5所示的流程图实施S22，包括以下步骤：

S501：服务器根据各个目标素材帧中的第一对象的第一图像位置信息，确定第一对象的第一行动轨迹；

S502：服务器分别根据各个候选素材相应的待衔接素材帧中的第二对象的第二图像位置信息，确定相应的第二对象的第二行动轨迹，待衔接素材帧为候选素材中需要与待剪辑素材进行拼接的素材帧；

S503：服务器分别基于第一行动轨迹与各个候选素材对应的第二行动轨迹之间的差异，确定相应的候选素材对应的差异值。

例如，第一对象a的第一行动轨迹为s；候选素材1中的第二对象b1的第二行动轨迹为s1，候选素材2中的第二对象b2的第二行动轨迹为s2，候选素材3中的第二对象b3的第二行动轨迹为s3…

在步骤S503中，服务器需要根据s与s1之间的差异，确定候选素材1对应的差异值；根据s与s2之间的差异，确定候选素材2对应的差异值；s与s3之间的差异，确定候选素材3对应的差异值…

具体的，本申请实施例中的差异值可以是基于行动轨迹的偏差大小确定的，偏差越大，差异值越大，反之，偏差越小，差异值越小。

需要说明的是，本申请实施例中的第一行动轨迹和第二行动轨迹都是指对象的行动轨迹，这里只是为了对第一对象和第二对象进行区分，所以将第一对象的行动轨迹作为第一行动轨迹，将第二对象的行动轨迹作为第二行动轨迹。同理，下文中的第一坐标信息和第二坐标信息也是为了进行区分，在此不再重复赘述。

如图6所示，其为本申请实施例中的一种视频素材所包含的视频帧的示意图。在本申请实施例中，混剪主要使用的是视频素材前后的几帧画面，为了减少计算压力和减少存储压力，可以仅计算和存储视频素材的前后衔接视频帧数即可，素材中间的帧数可以忽略。因而，将视频素材所包含的所有视频帧分为了三部分：前段衔接视频帧，中间视频帧和后段衔接视频帧。

前段衔接视频帧，指视频素材所包含的所有视频帧中的前几帧，可用于基于前段衔接视频帧，在该视频素材之前进行拼接；后段衔接视频帧，指视频素材所包含的所有视频帧中的后几帧，可用于基于后段衔接视频帧，在该视频素材之后进行拼接。

在本申请实施例中，目标视频帧可以指待剪辑视频中的前段衔接视频帧，也可以指后段衔接视频帧，具体要根据实际剪辑需求来进行设置。并且，目标视频帧也可以是一帧，也可以是多帧。当目标视频帧为一帧时，则可优先考虑为前段衔接视频帧中的第一帧，或者是后段衔接视频帧中的最后一帧等，根据实际情况而定，在此不做具体限定。

可选的，本申请实施例中的第一图像位置信息包括第一对象中的各个关键点在目标素材帧中的第一坐标信息；第二图像位置信息包括相应的第二对象中的各个关键点在待衔接素材帧中的第二坐标信息，待衔接素材帧为候选素材中需要与待剪辑素材进行拼接的素材帧。

下表为本申请实施例中的一种视频匹配模块数据库表的设计，数据库表字段说明如下：

表1

字段名	类型	描述
			id	int	编号，主键，视频的唯一标识
category	varchar(256)	视频主体类型
			duration	int	视频时长，毫秒
fileName	varchar(256)	视频文件名，路径
			createTime	timestamp	创建时间

如上表所示，具体可按照上述几个字段来存储素材帧相关信息，包括：id、category、duration、fileName、createTime这几个字段，下面分别介绍这几个字段：

(1)id，该字段的类型为整型(int)，该字段用于表示视频编号，主键，视频的唯一标识。

(2)category，该字段的类型为字符(varchar)，该字段表示视频主体类型；例如，人物、动物、风景。以两位二进制数据表示时，可设置01表示人物，10表示动物，11表示风景等。

需要说明的是，实际上视频主体类型有很多，在用二进制数据表示时，可通过多位二进制数据表示，上述所列举两位二进制数据只是举例说明，在此不做具体限定。

(3)duration，该字段的类型为int，该字段表示视频时长，毫秒。

(4)fileName，该字段的类型为varchar，该字段表示视频文件名，路径。

以视频为例，该字段即表示视频文件名，视频下载路径等等。

(5)createTime，该字段的类型为时间戳(timestamp)，该字段表示创建时间。

需要说明的是，上述所列举的几个字段都是举例说明，除了上述所列举的字段外，还可根据实际需求来设置其他字段，在此不做具体限定。

参阅图7所示，其为本申请实施例中的一种素材及相关数据的存储方式的示意图。本申请为保证查询量增长时查询的高效性，通过关系型数据库管理系统(MySQL)和Redis来存储素材，以及素材对应的图像位置信息、比例信息等相关信息。

其中，以图像位置信息的存储为例，在MySQL和Redis中，都可将素材帧中的主体(即帧主体id_frameKey)的图像位置信息按照表1所示的格式进行存储。因为一个视频有很多帧，所以每一帧中的主体的坐标信息都要记录下来，用素材标识(id)作为Redis SET的key保存每一帧的Redis key名称，每一帧的所有坐标信息存在一个表示视频单帧的RedisSET中；如图7所示所示，其中的id_frameKey表示帧主体，id_frameNum表示帧序号，即第几帧视频帧，每一帧视频帧都对应存储有主体的图像位置信息，即图7中的(x，y)…

其中，Redis SET是无序集合，图7所示的SET集合包括帧序号集合，以及每个帧序号(用于表示一个视频帧)对应的主体坐标的集合。

以图6所示的视频作为素材为例，该视频及相关数据的存储方式的示意图如图8所示，包含id_frameNum的SET集合主要用于表示该视频的所有视频帧，另外，每一帧视频都对应有一个包含视频帧主体中各个关键点坐标的坐标集合SET。

在将视频库中的候选视频与待剪辑视频进行匹配时，即可根据视频帧的真序号，确定出用于衔接的一帧或几帧视频帧，基于这些视频帧对应的坐标集合，与待剪辑视频中的目标视频帧中主体的坐标进行匹配等，来筛选出与该待剪辑视频匹配的候选视频集合等。

另一种可选的实施方式为，可以按照如图9所示的流程图实施S22，包括以下步骤：

S901：服务器分别将第一对象在各个目标素材帧中的第一坐标信息，与各个候选素材中相应的第二对象在相应的待衔接素材帧中的第二坐标信息进行比对，获得各个候选素材各自对应的坐标信息偏差量；

其中，候选素材中的待衔接素材帧同待剪辑素材中的目标素材帧是类似的道理，候选素材也可按照图6所示的方式进行划分，相应地，待衔接素材帧可以指候选素材中的前段衔接素材帧，也可以指后段衔接素材帧，具体要根据实际剪辑需求来进行设置。并且，待衔接素材帧也可以是一帧，也可以是多帧。当待衔接素材帧为一帧时，则可优先考虑为前段衔接素材帧中的第一帧，或者是后段衔接素材帧中的最后一帧等，根据实际情况而定，在此不做具体限定。

S902：服务器基于获得的各个候选素材各自对应的坐标信息偏差量，分别确定各个候选素材各自对应的差异值。

例如，待剪辑素材中有两个目标素材帧：目标素材帧1，目标素材帧2，各个候选素材中有两个待衔接素材帧：待衔接素材帧1，待衔接素材帧2，则在步骤S901中，具体是指：将目标素材帧1中第一对象的关键点坐标，分别与各个候选素材帧的各个待衔接素材帧中第二对象相应的关键点坐标进行比对。将目标素材帧2中第一对象的关键点坐标，分别与各个候选素材帧的各个待衔接素材帧中第二对象相应的关键点坐标进行比对。

具体的，在将目标素材帧1与待衔接素材帧1进行比对时，假设目标素材帧1中第一对象的关键点有：c1，c2，c3，待衔接素材帧中第二对象的关键点有d1，d2，d3，其中，c1与d1对应，c2与d2对应，c3与d3对应，则在比对时，是将c1与d1的坐标进行比较，比如两个坐标之间的距离为e1，将c2与d2的坐标进行比较，比如两个坐标之间的距离为e2，将c3与d3的坐标进行比较，比如两个坐标之间的距离为e3，则可将e1、e2、e3之和，或者是平均值，作为待衔接素材帧1对应的第一坐标信息偏差量f11。以此类推，假设在将目标素材帧2与待衔接素材帧1进行比对时，获得待衔接素材帧1对应的第二坐标信息偏差量f12，则可将f11与f12之和，或是平均值，作为待衔接素材帧1对应的坐标信息偏差量g1。以此类推，即可确定一个候选素材中的各个待衔接素材帧对应的坐标信息偏差量，将这些坐标信息偏差量作为该候选素材对应的坐标信息偏差量。

在步骤S902中，可将一个候选素材中的各个待衔接素材帧对应的坐标信息偏差量之和，或是平均值，作为该候选素材对应的坐标信息偏差量。

基于上述所列举的实施方式，即可确定各个候选素材各自对应的坐标信息偏差量。需要说明的是，上述所列举的计算方式只是举例说明，在此不做具体限定。

在一种可选的实施方式中，在确定至少一个目标素材与待剪辑素材之间的拼接顺序之后，根据拼接顺序，对至少一个目标素材与待剪辑素材进行顺次拼接之前，还可对目标素材的衔接素材帧进行调整，具体过程为：

根据第一图像位置信息，对至少一个目标素材中的待衔接素材帧进行旋转调整与缩放调整中的至少一种调整，获得调整后的目标素材。

在本申请实施例中，对待衔接素材帧进行调整，主要是指对待衔接素材帧中的第二对象进行旋转操作或是缩放操作等，以使调整后待衔接素材帧中的第二对象，与待剪辑素材中的目标素材帧中的第一对象基本一致。

在将素材进行拼接时，即可基于开源的图像视频处理工具来实现视频剪辑模块，例如：快进动态图像专家组(Fast Forward Moving Picture Experts Group，ffmpeg)工具。以生成混剪视频为例，将待剪辑视频和目标视频输入视频剪辑模块后，经过算法匹配后返回相应的混剪视频，其中，视频剪辑模块在对目标视频进行调整时，可基于主体坐标进行画面放大、旋转等调整处理以调整主体基本重合，最后拼接成相应的视频片段。

下面结合附图进行详细说明：

例如，在将待剪辑素材的最后一帧与一个目标素材的第一帧进行拼接时，在视频剪辑模块输入一段待剪辑素材，通过算法计算出两段素材衔接的大致坐标位置，以待剪辑素材中的最后一帧画面(基准画面)的主体(即第一对象)为基准，对目标素材中的第一帧画面的主体(即第二对象)进行相应的旋转、缩放等操作，以获得大致与基准画面一致的画面，并将获得的画面和基准画面的主体衔接，最终达到两段素材无缝衔接的目的。下面以放大衔接为例：

先用基本信息描述出导入的待剪辑素材的衔接画面，如图10所示，其为本申请实施例中的一种待剪辑素材的衔接画面的示意图；进而，基于输入待剪辑素材的衔接画面信息，对用户选择的目标素材的衔接画面进行放大，如图11所示，其为本申请实施例中的一种目标素材的素材衔接画面的示意图。之后，放大到与待剪辑素材衔接画面相似的画面后，使用开源的ffmpeg进行素材的拼接处理，如图12所示，其为本申请实施例中的一种画面调整和拼接过程示意图。最后，经过拼接后将最终混剪视频生成返回给用户，达到自动混剪的目的。

参阅图13所示，其为本申请实施例中的一种自动生成混剪视频的方法流程图。该方法的具体实施流程如下：

步骤S1301：服务器对待剪辑视频中的目标视频帧进行图像识别，获得目标视频帧中的第一对象的第一图像位置信息；

步骤S1302：服务器基于第一图像位置信息，以及预设素材库包含的各个候选视频中相应的第二对象的第二图像位置信息，分别确定各个候选视频各自对应的差异值；

步骤S1303：服务器将差异值不大于预设阈值的候选视频，加入候选视频集合；

步骤S1304：服务器根据候选视频集合，获得目标视频，并基于预设排序规则，确定目标视频与待剪辑视频之间的拼接顺序；

步骤S1305：服务器根据第一图像位置信息，对目标视频中的待衔接视频帧进行缩放调整，获得调整后的目标视频；

步骤S1306：服务器根据拼接顺序，对目标视频与待剪辑视频进行顺次拼接，获得相应的目标混剪视频；

步骤S1307：服务器将待剪辑视频，以及待剪辑视频包含的各个视频帧中第一对象的第一图像位置信息，存储至预设素材库中。

需要说明的是，上述所列举的流程图只是举例说明。实际上，步骤S1307的执行顺序不做具体限定。

基于相同的发明构思，本申请实施例还提供一种素材剪辑装置。如图14所示，其为本申请实施例中的一种素材剪辑装置1400的结构示意图，可以包括：

图像识别单元1401，用于对待剪辑素材中的至少一个目标素材帧进行图像识别，获得至少一个目标素材帧中的第一对象的第一图像位置信息；

匹配单元1402，用于根据第一对象以及第一图像位置信息，从预设素材库中确定与待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与第一对象具有相同属性的第二对象；

确定单元1403，用于根据候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定至少一个目标素材与待剪辑素材之间的拼接顺序，预设排序规则是基于素材匹配度与素材描述信息中的至少一种确定的；

拼接单元1404，用于根据拼接顺序，对至少一个目标素材与待剪辑素材进行顺次拼接，获得相应的目标混剪素材。

可选的，若预设排序规则是基于素材匹配度确定的，确定单元1403具体用于：

分别根据至少一个目标素材中各个目标素材对应的第二对象，与第一对象的相似度，确定各个目标素材各自对应的素材匹配度；

分别根据各个素材匹配度，确定相应的目标素材与待剪辑素材之间的拼接顺序。

可选的，若预设排序规则是基于素材描述信息确定的，确定单元1403具体用于：

根据至少一个目标素材中各个目标素材的素材描述信息，与待剪辑素材的素材描述信息的信息关联度，确定相应的目标素材与待剪辑素材之间的拼接顺序。

可选的，匹配单元1402用于：

基于第一图像位置信息，以及预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定各个候选素材各自对应的差异值；

将差异值不大于预设阈值的候选素材，加入候选素材集合。

可选的，目标素材帧有多个时，匹配单元1402具体用于：

根据各个目标素材帧中的第一对象的第一图像位置信息，确定第一对象的第一行动轨迹；以及

分别根据各个候选素材相应的待衔接素材帧中的第二对象的第二图像位置信息，确定相应的第二对象的第二行动轨迹，待衔接素材帧为候选素材中需要与待剪辑素材进行拼接的素材帧；

分别基于第一行动轨迹与各个候选素材对应的第二行动轨迹之间的差异，确定相应的候选素材对应的差异值。

可选的，第一图像位置信息包括第一对象中的各个关键点在目标素材帧中的第一坐标信息；第二图像位置信息包括相应的第二对象中的各个关键点在待衔接素材帧中的第二坐标信息，待衔接素材帧为候选素材中需要与待剪辑素材进行拼接的素材帧；匹配单元1402具体用于：

分别将第一对象在各个目标素材帧中的第一坐标信息，与各个候选素材中相应的第二对象在相应的待衔接素材帧中的第二坐标信息进行比对，获得各个候选素材各自对应的坐标信息偏差量；

基于获得的各个候选素材各自对应的坐标信息偏差量，分别确定各个候选素材各自对应的差异值。

可选的，装置还包括：

调整单元1405，用于在确定单元1403确定至少一个目标素材与待剪辑素材之间的拼接顺序之后，拼接单元1404根据拼接顺序，对至少一个目标素材与待剪辑素材进行顺次拼接之前，根据第一图像位置信息，对至少一个目标素材中的待衔接素材帧进行旋转调整与缩放调整中的至少一种调整，获得调整后的目标素材，待衔接素材帧为候选素材中需要与待剪辑素材进行拼接的素材帧。

可选的，匹配单元1402具体用于：

根据第一图像位置信息以及第一对象的比例信息，从预设素材库中确定与待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与第一对象具有相同属性和相同比例的第二对象。

可选的，装置还包括：

存储单元1406，用于将待剪辑素材，以及待剪辑素材包含的各个素材帧中第一对象的第一图像位置信息，存储至预设素材库中，各个素材帧中第一对象的第一图像位置信息，是通过对各个素材帧分别进行图像识别获得的。

综上，由于本申请实施例通过对待剪辑素材进行图像识别，获得的第一对象的图像位置信息，来从预设素材库中选取至少一个目标素材来与待剪辑素材进行拼接，通过自动选择相关素材进行筛选剪辑，自动合成混剪素材，不需要通过人工反复观看各个视频以筛选相关素材，不需要在剪辑时反复拼接调整相似的素材，可有效提高视频混剪效率。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

在介绍了本申请示例性实施方式的素材剪辑方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的素材剪辑装置可以至少包括处理器和存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书中描述的根据本申请各种示例性实施方式的素材剪辑方法中的步骤。例如，处理器可以执行如图2中所示的步骤。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图15所示，包括存储器1501，通讯模块1503以及一个或多个处理器1502。

存储器1501，用于存储处理器1502执行的计算机程序。存储器1501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器1501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器1501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1501可以是上述存储器的组合。

处理器1502，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1502，用于调用存储器1501中存储的计算机程序时实现上述素材剪辑方法。

通讯模块1503用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器1501、通讯模块1503和处理器1502之间的具体连接介质。本申请实施例在图15中以存储器1501和处理器1502之间通过总线1504连接，总线1504在图15中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1504可以分为地址总线、数据总线、控制总线等。为便于描述，图15中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

存储器1501中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的素材剪辑方法。处理器1502用于执行上述的素材剪辑方法，如图2所示。

在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图16所示，包括：通信组件1610、存储器1620、显示单元1630、摄像头1640、传感器1650、音频电路1660、蓝牙模块1670、处理器1680等部件。

通信组件1610用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。

存储器1620可用于存储软件程序及数据。处理器1680通过运行存储在存储器1620的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器1620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1620存储有使得终端设备110能运行的操作系统。本申请中存储器1620可以存储操作系统及各种应用程序，还可以存储执行本申请实施例素材剪辑方法的代码。

显示单元1630还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元1630可以包括设置在终端设备110正面的显示屏1632。其中，显示屏1632可以采用液晶显示器、发光二极管等形式来配置。显示单元1630可以用于显示本申请实施例中的直播界面、智能合约界面等。

显示单元1630还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元1630可以包括设置在终端设备110正面的触摸屏1631，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

其中，触摸屏1631可以覆盖在显示屏1632之上，也可以将触摸屏1631与显示屏1632集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元1630可以显示应用程序以及对应的操作步骤。

摄像头1640可用于捕获静态图像，用户可以将摄像头1640拍摄的图像通过应用发布评论。摄像头1640可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1680转换成数字图像信号。

终端设备还可以包括至少一种传感器1650，比如加速度传感器1651、距离传感器1652、指纹传感器1653、温度传感器1654。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路1660、扬声器1661、传声器1662可提供用户与终端设备110之间的音频接口。音频电路1660可将接收到的音频数据转换后的电信号，传输到扬声器1661，由扬声器1661转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1662将收集的声音信号转换为电信号，由音频电路1660接收后转换为音频数据，再将音频数据输出至通信组件1610以发送给比如另一终端设备110，或者将音频数据输出至存储器1620以便进一步处理。

蓝牙模块1670用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1670与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

处理器1680是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1620内的软件程序，以及调用存储在存储器1620内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1680可包括一个或多个处理单元；处理器1680还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1680中。本申请中处理器1680可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的素材剪辑方法。另外，处理器1680与显示单元1630耦接。

在一些可能的实施方式中，本申请提供的素材剪辑方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的素材剪辑方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种素材剪辑方法，其特征在于，该方法包括：

对待剪辑素材中的至少一个目标素材帧进行图像识别，获得所述至少一个目标素材帧中的第一对象的第一图像位置信息；

根据所述第一对象以及所述第一图像位置信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与所述第一对象具有相同属性的第二对象；

根据所述候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序，所述预设排序规则是基于素材匹配度与素材描述信息中的至少一种确定的；

根据所述拼接顺序，对所述至少一个目标素材与所述待剪辑素材进行顺次拼接，获得相应的目标混剪素材。

2.如权利要求1所述的方法，其特征在于，若所述预设排序规则是基于素材匹配度确定的，所述基于预设排序规则，确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序，包括：

分别根据所述至少一个目标素材中各个目标素材对应的第二对象，与所述第一对象的相似度，确定所述各个目标素材各自对应的素材匹配度；

分别根据各个素材匹配度，确定相应的目标素材与所述待剪辑素材之间的拼接顺序。

3.如权利要求1所述的方法，其特征在于，若所述预设排序规则是基于素材描述信息确定的，所述基于预设排序规则，确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序，包括：

分别根据所述至少一个目标素材中各个目标素材的素材描述信息，与所述待剪辑素材的素材描述信息的信息关联度，确定相应的目标素材与所述待剪辑素材之间的拼接顺序。

4.如权利要求1所述的方法，其特征在于，所述根据所述第一对象以及所述第一图像位置信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，包括：

基于所述第一图像位置信息，以及所述预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定所述各个候选素材各自对应的差异值；

将差异值不大于预设阈值的候选素材，加入所述候选素材集合。

5.如权利要求4所述的方法，其特征在于，所述目标素材帧有多个时，所述基于所述第一图像位置信息，以及所述预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定所述各个候选素材各自对应的差异值，包括：

根据各个目标素材帧中的第一对象的第一图像位置信息，确定所述第一对象的第一行动轨迹；以及

分别根据所述各个候选素材相应的待衔接素材帧中的第二对象的第二图像位置信息，确定相应的第二对象的第二行动轨迹，所述待衔接素材帧为所述候选素材中需要与所述待剪辑素材进行拼接的素材帧；

分别基于所述第一行动轨迹与所述各个候选素材对应的第二行动轨迹之间的差异，确定相应的候选素材对应的差异值。

6.如权利要求4所述的方法，其特征在于，所述第一图像位置信息包括所述第一对象中的各个关键点在目标素材帧中的第一坐标信息；所述第二图像位置信息包括相应的第二对象中的各个关键点在待衔接素材帧中的第二坐标信息，所述待衔接素材帧为所述候选素材中需要与所述待剪辑素材进行拼接的素材帧；

所述基于所述第一图像位置信息，以及所述预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定所述各个候选素材各自对应的差异值，包括：

分别将所述第一对象在各个目标素材帧中的第一坐标信息，与所述各个候选素材中相应的第二对象在相应的待衔接素材帧中的第二坐标信息进行比对，获得所述各个候选素材各自对应的坐标信息偏差量；

基于获得的所述各个候选素材各自对应的坐标信息偏差量，分别确定所述各个候选素材各自对应的差异值。

7.如权利要求1所述的方法，其特征在于，在所述确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序之后，所述根据所述拼接顺序，对所述至少一个目标素材与所述待剪辑素材进行顺次拼接之前，还包括：

根据所述第一图像位置信息，对所述至少一个目标素材中的待衔接素材帧进行旋转调整与缩放调整中的至少一种调整，获得调整后的目标素材，所述待衔接素材帧为所述候选素材中需要与所述待剪辑素材进行拼接的素材帧。

8.如权利要求1所述的方法，其特征在于，所述根据所述第一对象以及所述第一图像位置信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，包括：

根据所述第一图像位置信息以及所述第一对象的比例信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与所述第一对象具有相同属性和相同比例的第二对象。

9.如权利要求1～8任一项所述的方法，其特征在于，所述方法还包括：

将所述待剪辑素材，以及所述待剪辑素材包含的各个素材帧中所述第一对象的第一图像位置信息，存储至所述预设素材库中，所述各个素材帧中所述第一对象的第一图像位置信息，是通过对所述各个素材帧分别进行图像识别获得的。

10.一种素材剪辑装置，其特征在于，包括：

图像识别单元，用于对待剪辑素材中的至少一个目标素材帧进行图像识别，获得所述至少一个目标素材帧中的第一对象的第一图像位置信息；

匹配单元，用于根据所述第一对象以及所述第一图像位置信息，从预设素材库中确定与所述待剪辑素材匹配的候选素材集合，其中，每个候选素材中均包含与所述第一对象具有相同属性的第二对象；

确定单元，用于根据所述候选素材集合，获得至少一个目标素材，并基于预设排序规则，确定所述至少一个目标素材与所述待剪辑素材之间的拼接顺序，所述预设排序规则是基于素材匹配度与素材描述信息中的至少一种确定的；

拼接单元，用于根据所述拼接顺序，对所述至少一个目标素材与所述待剪辑素材进行顺次拼接，获得相应的目标混剪素材。

11.如权利要求10所述的装置，其特征在于，若所述预设排序规则是基于素材匹配度确定的，所述确定单元具体用于：

分别根据所述至少一个目标素材中各个目标素材对应的第二对象，与所述第一对象的相似度，确定所述各个目标素材各自对应的素材匹配度；

分别根据各个素材匹配度，确定相应的目标素材与所述待剪辑素材之间的拼接顺序。

12.如权利要求10所述的装置，其特征在于，若所述预设排序规则是基于素材描述信息确定的，所述确定单元具体用于：

根据所述至少一个目标素材中各个目标素材的素材描述信息，与所述待剪辑素材的素材描述信息的信息关联度，确定相应的目标素材与所述待剪辑素材之间的拼接顺序。

13.如权利要求10所述的装置，其特征在于，所述匹配单元用于：

基于所述第一图像位置信息，以及所述预设素材库包含的各个候选素材中相应的第二对象的第二图像位置信息，分别确定所述各个候选素材各自对应的差异值；

将差异值不大于预设阈值的候选素材，加入所述候选素材集合。

14.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～9中任一所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述存储介质在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1～9中任一所述方法的步骤。

Images