CN114422851A - 视频剪辑方法、装置、电子设备和可读介质 - Google Patents

Abstract

本申请提供视频剪辑方法、装置、电子设备和介质。方法包括：对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，待剪辑视频中包括移动对象和得分区域，得分区域为移动对象移动的目的地区域；根据待剪辑视频中的关联视频帧和待检测视频帧，生成待识别图片序列，关联视频帧是在待剪辑视频的时间序列中位于待检测视频帧之前或之后的视频帧；对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果；若动作分析结果指示移动对象进入得分区域，则将待识别图片序列中的待检测视频帧确定为目标视频帧；根据目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频。该方法有利于提高视频建立的准确度。

Description

视频剪辑方法、装置、电子设备和可读介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种视频剪辑方法、装置、电子设备和可读介质。

背景技术

随着用户需求与媒体技术的发展，视频的数量也呈指数级的爆炸增长，对视频进行剪辑也成为人们关注的视频处理方式。视频剪辑技术是一种将待剪辑对象通过剪辑的方式合成一段剪辑视频的视频处理方式，常应用于短视频制作、体育赛事集锦等视频剪辑场景。

目前，集锦视频剪辑方法多为按照比赛中的专业记分牌的变化情况进行自动剪辑，例如，根据专业记分牌的比分上涨确定发生进球，从而在发生分数变化时间点进行自动剪辑。

然而，上述的方案依赖于视频中的专业记分牌的信息，因此，对于不包含此类专业记分牌信息的视频则会出现剪辑内容错误或者无法剪辑的情况，导致剪辑后的视频片段不符合预期结果，不利于视频剪辑的准确度。

发明内容

基于上述技术问题，本申请提供一种视频剪辑方法、装置、电子设备和可读介质，以通过对移动对象和得分区域的识别来进行确定是否出现得分画面来提供自动剪辑的依据，因此可以不依赖于专业记分牌信息来实现对视频内容进行自动剪辑，使得剪辑得到的视频符合预期的结果，有利于提高视频建立的准确度。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种视频剪辑方法，包括：

对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，待剪辑视频中包括移动对象和得分区域，得分区域为移动对象移动的目的地区域；

根据待剪辑视频中的关联视频帧和待检测视频帧，生成待识别图片序列，关联视频帧是在待剪辑视频的时间序列中位于待检测视频帧之前或之后的视频帧；

对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果；

若动作分析结果指示移动对象进入得分区域，则将待识别图片序列中的待检测视频帧确定为目标视频帧；

根据目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频。

根据本申请实施例的一个方面，提供一种视频剪辑装置，包括：

得分区域检测模块，用于对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，待剪辑视频中包括移动对象和得分区域；

图片序列生成模块，用于根据待剪辑视频中的关联视频帧和待检测视频帧，生成待识别图片序列，关联视频帧是在待剪辑视频的时间序列中位于待检测视频帧之前或之后的视频帧；

动作分析模块，用于对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果；

目标帧确定模块，用于若动作分析结果指示移动对象进入得分区域，则将待识别图片序列中的待检测视频帧确定为目标视频帧；

视频剪辑模块，用于根据目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频。

在本申请的一些实施例中，基于以上技术方案，得分区域检测模块包括：

抽取单元，用于根据预设的视频帧抽取规则，从待剪辑视频中抽取视频帧；

检测单元，用于将所抽取的视频帧输入到得分区域检测模型中进行得分区域检测，确定包含得分区域的待检测视频帧以及得分区域的位置信息。

在本申请的一些实施例中，基于以上技术方案，图片序列生成模块包括：

关联帧获取单元，用于根据待剪辑视频的时间序列，获取在时间序列中位于待检测视频帧之前或之后的关联视频帧；

位置信息确定单元，用于根据待检测视频帧中得分区域的位置信息，确定关联视频帧中得分区域的位置信息；

序列生成单元，用于根据得分区域的位置信息，从待检测视频帧和关联视频帧中裁剪出得分区域并按照时间序列排列成待识别图片序列。

在本申请的一些实施例中，基于以上技术方案，视频剪辑模块包括：

连续帧确定单元，用于根据待剪辑视频的时间序列，确定多个视频帧中的连续视频帧；

裁剪拼接单元，用于根据连续视频帧和预设的偏移时长，对待剪辑视频进行裁剪和拼接，得到剪辑视频。

在本申请的一些实施例中，基于以上技术方案，裁剪拼接单元包括：

片段裁剪子单元，用于根据连续视频帧和预设的偏移时长，从待剪辑视频中裁剪得到至少两个视频片段；

片段合并子单元，用于若至少两个视频片段中根据时间序列相邻的两个特定视频片段之间时间重叠超过重叠时间阈值，则将两个特定视频片段合并成合并片段；

片段拼接子单元，用于将合并片段与至少两个视频片段中未被合并的其他视频片段拼接，得到剪辑视频。

在本申请的一些实施例中，基于以上技术方案，检测单元包括：

检测模型子单元，用于通过得分区域检测模型，对所抽取的视频帧进行得分区域检测，得到至少一个区域候选框和对应的概率值；

位置确定子单元，用于将数值最大并大于概率阈值的概率值所对应的区域候选框确定为得分区域，并且根据区域候选框在对应视频帧画面中的相对坐标确定得分区域的位置信息。

在本申请的一些实施例中，基于以上技术方案，动作分析模块包括：

动作分析网络输入单元，用于将待识别图片序列输入到动作分析网络；

位置判断单元，用于通过动作分析网络，根据移动对象和得分区域在待识别图片序列中的相对位置判断移动对象是否进入得分区域，得到动作分析结果。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行如以上技术方案中的视频剪辑方法。

根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时实现如以上技术方案中的视频剪辑方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供视频剪辑方法。

在本申请的实施例中，首先对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，然后根据该待检测视频帧以及待剪辑视频中与待检测视频帧在时间序列上邻近的关联视频帧，生成待识别图片序列，之后在对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果，如果动作分析结果指示移动对象进入得分区域，则将待识别图片序列中的待检测视频帧确定为目标视频帧，最后根据所确定的目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频。通过上述的方式，通过对移动对象和得分区域的识别来进行确定是否出现得分画面来提供自动剪辑的依据，因此可以不依赖于专业记分牌信息来实现对视频内容进行自动剪辑，使得剪辑得到的视频符合预期的结果，有利于提高视频建立的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1示意性地示出了本申请技术方案在一个应用场景中的示例性系统构架示意图；

图2示出了本申请实施例中剪辑流程的示意图；

图3为本申请实施例中视频剪辑方法的示意流程图；

图4为本申请实施例中剪辑过程的示意图；

图5示意性地示出了本申请实施例中视频剪辑装置的组成框图；

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，本申请的方案可以应用于各类进行视频剪辑的应用场景中，例如，具体应用于体育赛事、时事新闻等需要自动剪辑等场景中。以篮球赛事为例，在篮球赛事的播放过程中，经常会提取并播放比赛过程中进球的精彩片段，来吸引用户的注意力，因此会需要对比赛视频进行剪辑，将比赛视频中的进球镜头提取出来；作为另一个示例，对于店家或者商家所拍摄的店铺内部和外部的视频，在观看时通常只想观看有人在需要关注的区域活动的部分视频内容，因此需要对视频进行剪辑，将有人进入被关注的区域的镜头剪辑出来从而节约观看时间，应当理解，此处举例仅为方便理解本方案，不对本申请的所有应用场景进行穷举。

为了在上述各种场景中，得到准确度较高的视频剪辑片段，本申请提出了一种视频剪辑方法，该方法应用于图1所示的视频剪辑系统，请参阅图1，图1示意性地示出了本申请技术方案在一个应用场景中的示例性系统构架示意图，该视频剪辑系统中包括服务器和终端设备。前述视频剪辑方法可以由服务器上的视频剪辑装置或者视频剪辑服务来执行，也可以由计算能力较强的终端设备执行。

具体地，视频剪辑装置在获取到待剪辑视频之后，通过得分区域检测模型来对待剪辑视频中的得分区域进行识别和提取，从而得到包括得分区域的视频帧，然后根据所得到的视频帧和附近的视频帧来生成图片序列。根据所生成的图片序列，视频剪辑装置可以利用动作学习模型来对图片序列中的得分区域和移动对象的相对位置进行识别和确认。当识别出移动对象进入得分区域的视频帧时，就可以根据该视频帧来剪辑出一段包含该视频帧的视频片段，从而实现对视频的剪辑过程。

具体地，从篮球比赛视频中剪辑进球视频为例，剪辑流程请参阅图2。图2示出了本申请实施例中剪辑流程的示意图。如图2所示，篮球比赛的视频被输入图像目标检测模块中进行篮板识别，从得到篮板框的坐标，然后通过时序图像序列剪辑，从而剪辑出与篮板框相关的图像序列。通过图像动作分析对图像序列进行分析，从而得到各帧的进球判定结果。根据进球判定结果进行片段后处理，进行时间偏移，并且对重叠的片段进行合并，从而输出最终的片段起止时间。

更具体的，视频剪辑装置可以具体表现为部署于终端设备上的客户端，例如上述对本申请的应用场景进行举例时所示出的所有客户端，则服务器可以通过无线网络将视频剪辑装置发送至终端设备上。视频剪辑装置也可以具体表现为专门用于进行视频剪辑的终端设备，则服务器也可以在生成视频剪辑装置之后，通过有线网络或移动存储介质等方式将视频剪辑装置配置于终端设备上。视频剪辑装置还可以为部署于服务器上，则终端设备在获取到待剪辑视频之后，将待剪辑视频发送给服务器，由服务器执行视频剪辑操作之后，再发送给终端设备等，本申请以视频剪辑装置部署于终端设备为例进行说明，但这不应理解为对本申请的限定。进一步地，上述的无线网络使用标准通信技术和/或协议。无线网络通常为因特网、但也可以是任何网络，包括但不限于蓝牙、局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，可以使用定制或专用数据通信技术取代或者补充上述数据通信技术。

其中，如图1所示，前述终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer，PC)，此处不做限定。其中，语音交互设备包含但不仅限于智能音响以及智能家电。在部分实现方式中，客户端可以表现为网页客户端，也可以表现为应用程序类客户端，部署于前述终端设备上。图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等，具体此处均不限定。

虽然图1中仅示出了五个终端设备和一个服务器，但应当理解，图1中的示例仅用于理解本方案，具体终端设备和服务器的数量均应当结合实际情况灵活确定。

本申请的方案可以通过人工智能的方式实现，并且具体采用机器学习训练得到的模型进行。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请的方案还可以依赖于云技术来实现，例如上述的视频剪辑系统可以部署在云服务器上，通过云计算的方式实现。

云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。

按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。

结合上述介绍，下面结合具体实施方式对本申请提供的技术方案做出详细说明，请参阅图3，图3为本申请实施例中视频剪辑方法的示意流程图，本申请实施例中视频剪辑的方法一个实施例包括：

步骤S310，对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，待剪辑视频中包括移动对象和得分区域，得分区域为移动对象移动的目的地区域。

得分区域是移动对象移动的目的地区域，而移动对象则是视频需要关注的对象。二者取决于视频内容和剪辑目的的不同而不同，例如，在篮球比赛中，移动对象为篮球，得分区域则对应于由篮筐、篮网和篮板构成篮板区域，在足球比赛中，移动对象为足球，得分区域则对应于球门。可以理解的是，在待剪辑视频中，得分区域和移动对象不一定会在所有的视频帧中都出现，通常会有部分视频帧中不包括得分区域、仅包括得分区域、仅包括移动对象或者二者都不存在，对待剪辑视频的视频帧进行得分区域检测，从而可以得到包含得分区域的视频帧作为待检测视频帧，以便于后续进行针对性的剪辑。

在本申请的一个实施例中，基于上述的技术方案，对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧的过程包括如下的步骤：首先根据预设的视频帧抽取规则，从待剪辑视频中抽取视频帧，然后将所抽取的视频帧输入到得分区域检测模型中进行得分区域检测，确定包含得分区域的待检测视频帧以及得分区域的位置信息。

具体地，视频帧抽取规则可以按照固定的间隔抽取视频帧，例如每隔4帧抽取一帧，或者可以采用随机抽取或者根据视频的总视频帧数量来确定抽取间隔进行平均抽取等方式。抽取出的视频帧被出入到得分区域检测模型中。得分区域检测模型可以是预先训练好的目标检测网络。该目标检测网络可以对输入的视频帧的画面进行识别，从而输出该视频帧中是否包括作为识别目标的得分区域以及得分区域在视频帧中的位置信息。位置信息具体可以是包含得分区域的矩形检测框的各个顶点的坐标信息。目标检测网络具体可以采用Faster R-CNN、SSD或者YOLO等各类识别模型。以篮球比赛为例，要识别的得分区域可以是包括完整的篮板、篮筐与篮网为一个整体的篮球框，目标检测网络会识别出视频帧画面中的篮球框，并且输入一个包括该篮球框的矩形或者圆形等几何区域作为得分区域，并且输出矩形的顶点或者圆形的圆心和半径等信息作为坐标信息。通过上述的方式可以快速筛选出包括得分区域的视频帧，不需要对视频中的每一帧进行处理，从而降低计算要处理的数据量和复杂程度，从而提高计算效率。

在本申请的一个实施例中，基于上述的技术方案，将所抽取的视频帧输入到得分区域检测模型中进行得分区域检测，确定包含得分区域的待检测视频帧以及得分区域的位置信息的过程可以包括如下的步骤：通过得分区域检测模型，对所抽取的视频帧进行得分区域检测，得到至少一个区域候选框和对应的概率值；将数值最大并大于概率阈值的概率值所对应的区域候选框确定为得分区域，并且根据区域候选框在对应视频帧画面中的相对坐标确定得分区域的位置信息。

具体地，得分区域检测模型会确定出多个包括得分区域的检测框和对应的概率值，概率值表示的是对应检测框是得分区域概率。例如，得分区域检测模型可以输出多个可能包括篮球框的检测框，并且给出每个检测框包括篮球框的概率。将数值最大并大于概率阈值的概率值所对应的区域候选框确定为得分区域。概率值最大的区域候选框可以被输出为识别结果。如果最大的概率值低于预先设定的概率值阈值，则该视频帧会被识别为不包含得分区域。例如，将概率值0.8作为阈值，则概率值低于0.8的区域候选框会被放弃，并且如果图中没有概率值大于0.8的区域候选框，则该视频帧被识别为不包括得分区域。根据区域候选框在对应视频帧画面中的相对坐标确定得分区域的位置信息。具体地，可以根据视频帧画面通常是矩形，可以根据矩形一个顶点建立坐标系，确定区域候选框在对应视频帧画面中的相对坐标，并且将该相对坐标确定为得分区域的位置信息。通过上述的方式能够去除掉概率值低于概率值阈值的视频帧，提高准确性。

步骤S320，根据待剪辑视频中的关联视频帧和待检测视频帧，生成待识别图片序列，关联视频帧是在待剪辑视频的时间序列中位于待检测视频帧之前或之后的视频帧。

关联视频帧是在待剪辑视频的时间序列中位于待检测视频帧之前或之后的视频帧，并且通常包括待检测视频帧之前的视频帧和待检测视频帧之后的视频帧。例如，待检测视频帧是视频中的第10帧，则关联视频帧可以是第6帧到第9帧和第11帧到第14帧。可以将视频帧的画面按照时间顺序排列来形成待识别图片序列。可以理解的是，如果待检测视频帧是待剪辑视频的第一帧或者最后一帧，则关联视频帧仅包括待检测视频帧之后的视频帧或者待检测视频帧之前的视频帧。关联视频帧也可以根据待检测视频帧的情况而变化，例如，关联视频帧可以根据两个待检测视频帧之间的视频帧数量来定。例如，两个待检测视频帧之间包括15帧，则可以分别将与两个待检测视频帧最近的7帧或者8帧作为关联视频帧。

在本申请的一个实施例中，基于上述的技术方案，还可以对待检测视频帧和关联视频帧进行裁剪，从而得到仅包括得分区域的图片序列。具体地，根据待剪辑视频中的关联视频帧和待检测视频帧，生成待识别图片序列的过程可以包括如下的步骤：首先根据待剪辑视频的时间序列，获取在时间序列中位于待检测视频帧之前或之后的关联视频帧，然后根据待检测视频帧中得分区域的位置信息，确定关联视频帧中得分区域的位置信息，之后根据得分区域的位置信息，从待检测视频帧和关联视频帧中裁剪出得分区域并按照时间序列排列成待识别图片序列。

具体地，待检测视频帧和关联视频帧的画面可以按照在待剪辑视频中的时间顺序排列成画面序列。根据上述的实施例，在识别出待检测视频帧中的得分区域时，还会得到得分区域在待检测视频帧中的位置信息，即检测框的各个顶点的坐标信息。根据检测框的各个顶点的坐标信息，可以计算出各个视频帧包括的检测框的平均位置坐标，例如，根据得分区域在图片序列中的偏移方向和偏移速度进行计算。根据平均位置坐标，可以对关联视频帧和待检测视频帧进行裁剪，从而能够得到主要包括得分区域的图片。将裁剪后的图片按照原本视频帧的顺序排列，就可以得到待识别图片序列。例如，篮球比赛的视频中，得分区域为篮板，则可以根据待检测视频帧中的篮板的位置坐标确定裁剪区域，并且对待检测视频帧和关联视频帧进行裁剪，从而得到主要包括篮板的待识别图片序列。通过上述的方式可以降低后续过程所需要处理的数据量，从而提高计算效率。

步骤S330，对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果。

具体地，对于是否要根据视频帧进行剪辑的判断根据移动对象与得分区域的相对位置来进行判断。例如，对于篮球视频，是否得分可以根据篮球是否进入篮筐和通过篮网来确定，对于足球视频，则根据足球是否进入球门来确定。通过待识别图片序列中移动对象与得分区域的相对位置进行分析主要可以包括分析移动对象的移动方向以及与得分区域的相对位置是否满足判断移动对象进入得分区域的条件。动作分析结果包括两种结果，移动对象进入得分区域集和移动对象未进入得分区域，取决于不同的视频内容，实际上对应于不同的实际情况，例如在篮球或者足球比赛中对应于得分和未得分，在田径类比赛中可以对应于是否冲线到达终点等。可以理解的是，取决于具体的视频内容，移动对象与得分区域的相对位置满足判断移动对象进入得分区域的条件的情况也会发生变化。例如，对于篮球，根据篮球与篮筐和篮网的相对位置关系来判断，例如篮球是否经过篮筐，篮网是否随篮球的位置变化而发生偏移等，而对于田径类视频，则可以识别运动员是否经过终点线来记性判断。

在本申请的一个实施例中，基于上述的技术方案，对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果的过程可以包括如下的步骤：将待识别图片序列输入到动作分析网络；通过动作分析网络，根据移动对象和得分区域在待识别图片序列中的相对位置判断移动对象是否进入得分区域，得到动作分析结果。

动作分析网络用于根据输入的图片序列中移动对象与得分区域的位置关系来判断移动对象是否进入得分区域。具体地，动作分析网络可以基于nonlocal等动作分析模型训练得到。动作分析网络所输出的结果指示的是所输入的图片序列中的基准帧的判定结果。基准帧对应于待检测视频帧，因此，动作分析网络输入的结果对应于待检测视频帧中的移动对象是否进入得分区域。可以理解的是，输入到动作分析网络的图片序列可以由视频帧直接组成，也可以是根据上述实施例进行剪裁后，只保留得分区域的图片序列。动作分析网络可以输出基准帧中移动对象是否进入得分区域的概率，并且根据预设的阈值来最终确定结果。例如，概率值大于0.8，则最终结果确定为移动对象是否进入得分区域，在具体示例中则对应于发生进球等事件。

步骤S340，若动作分析结果指示移动对象进入得分区域，则将待识别图片序列中的待检测视频帧确定为目标视频帧。

待识别图片序列通常是以待检测视频帧为中心或者根据待检测视频帧的时间序列确定的。在移动对象存在的情况下，待识别图片序列中通常会包含移动对象的移动轨迹，而移动对象进入得分区域在实际情况中会是一段持续一定帧数的过程，因此，当动作分析结果指示移动对象进入得分区域时，待识别图片序列所包括的过程可以被认为是移动对象进入得分区域的过程或者一部分过程，从而可以将其中的待检测视频帧确定为目标视频帧。例如，篮球得分包括篮球进入篮筐并通过篮网的过程，而这个过程不会是瞬间发生的，因此，当动作分析结果指示篮球进球得分时，取决于待识别图片序列所涵盖的视频长度，待识别图片序列中通常包括的是篮球进入篮筐或者通过篮网的过程，因此位于序列中间位置的待检测视频帧可以被认为是包括了进球得分的画面，从而被确定为目标视频帧。

步骤S350，根据目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频。

在待剪辑视频里存在想要剪辑的内容的情况下，通常会确定出至少一个目标视频帧。目标视频帧在待剪辑视频里的所在位置标示出了想要剪辑的目标视频片段的所在位置。因此，可以从该目标视频帧所在的位置剪辑出一段视频片段，视频片段的长度可以按照固定长度剪辑，或者在存在多个目标视频帧的情况下，按照目标视频帧的分布情况进行剪辑，例如，如果目标视频帧之间的帧数小于预设的阈值，则直接将两个目标视频帧剪辑到同一个视频片段中。对于根据目标视频帧剪辑出的视频片段，可以按照片段原本在待剪辑视频中的顺序拼接，或者按照片段的长度进行拼接，从而形成剪辑视频。在一个实施例中，在剪辑时还可以根据视频中的其他信息来进行剪辑。具体地，可以获取视频中的音频信息。在剪辑时，根据音频信息中的静默片段或者音量大于一定阈值的片段作为视频的剪切点，根据剪切点与目标视频帧的分布情况进行剪辑。例如，两个静默片段之间存在目标视频帧，或者存在目标视频帧的数量大于预设的阈值，则将两次音频静默之间的视频片段剪辑出来。也可以获取视频中的字幕信息，根据字幕信息的内容或者字幕在画面中的展示和消失的节点作为剪切点，在结合目标视频帧来进行剪辑。

在本申请的一个实施例中，基于上述的技术方案，目标视频帧包括多个视频帧，根据目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频的过程可以包括如下的步骤：根据待剪辑视频的时间序列，确定多个视频帧中的连续视频帧；根据连续视频帧和预设的偏移时长，对待剪辑视频进行裁剪和拼接，得到剪辑视频。

具体地，偏移时长是预设的时长，例如2秒。取决于目标视频帧的确定方式，确定连续视频帧的方式可以不同。例如，对于根据每隔4秒抽出一帧进行得分区域检测的方案，连续目标视频帧可以是在抽取出的视频帧中连续的视频帧。例如，抽取出的视频帧为第1、5、10、15、20帧等等依次类推的帧数，则第5帧、第10帧和第15帧可以被确定为连续视频帧，虽然它们在原本的视频中并不连续，但根据视频内容的实际情况，连续视频帧通常会属于同一次移动对象进入得分区域的过程，将连续的视频帧剪辑到同一个视频片段中。对于连续目标视频帧，按照偏移时长，从第一个目标视频帧向前偏移，并且从最后一个目标视频帧向后偏移，从而得到要剪辑的时长，据此对待剪辑视频进行裁剪。将所有目标视频帧从待剪辑视频中裁剪出来并且按照时间顺序进行拼接，得到剪辑视频。为了便于介绍，请参阅图4，图4为本申请实施例中剪辑过程的示意图。如图4所示，对于剪辑篮球进球视频，假定确定出的目标视频帧为第50、55、60、170和350帧，则将从第50帧向前2秒，从第60帧向后两秒的片段剪辑出来成为一个片段，将第170帧和第350帧向前2秒和后两秒的片段分别剪辑出来成为两个判断，将这第三个片段拼接成为剪辑视频。通过上述的方式，可以避免同一个视频片段被反复剪辑而造成剪辑内容重复的消耗问题，从而提高点击效率。

在本申请的一个实施例中，基于上述的技术方案，根据连续视频帧和预设的偏移时长，对待剪辑视频进行裁剪和拼接，得到剪辑视频的过程包括如下的内容：根据连续视频帧和预设的偏移时长，从待剪辑视频中裁剪得到至少两个视频片段；若至少两个视频片段中根据时间序列相邻的两个特定视频片段之间时间重叠超过重叠时间阈值，则将两个特定视频片段合并成合并片段；将合并片段与至少两个视频片段中未被合并的其他视频片段拼接，得到剪辑视频。具体地，剪辑的方式与上述实施例中的方式相同。在得到裁剪出的多个视频片段后，按照视频片段在原视频中的顺序进行排列，并且按照排列的顺序两两确定重叠时间。如果重叠时间超过重叠时间阈值，则表示这两个视频片段属于同一段视频内容，因此可以将两个视频片段合并得到合并片段。在合并时，可以将其中一个视频片段中重叠的时间段减去，将剩余的部分与另一个视频片段拼接。对于所有的视频片段进行遍历检查，并且将重叠超过阈值的视频都合并之后，将所得到的合并视频和不需要合并的视频拼接来形成剪辑视频。请再次参阅图4，例如，剪辑得到了片段A、片段B和片段C，片段A为从第8秒到第13秒，片段B为从第12秒到第15秒，片段C为从第30秒到第33秒。假定重叠时间阈值为2秒，则片段A和片段B由于重叠时间达到2秒，可以将片段B中从第14秒到第15秒的视频片段剪切出来与片段A拼接，从而得到从第10秒到第15秒的合并片段。片段C不需要合并，因此将合并片段与片段C拼接成为剪辑视频。通过上述的方式，可以将内容相关的视频片段进行连续播放，从而降低剪辑出的视频中内容的重复度，提高剪辑的准确性和效果。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本申请的装置实施，可以用于执行本申请上述实施例中的视频剪辑方法。图5示意性地示出了本申请实施例中视频剪辑装置的组成框图。如图5所示，视频剪辑装置500主要可以包括：

得分区域检测模块510，用于对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，待剪辑视频中包括移动对象和得分区域；

图片序列生成模块520，用于根据待剪辑视频中的关联视频帧和待检测视频帧，生成待识别图片序列，关联视频帧是在待剪辑视频的时间序列中位于待检测视频帧之前或之后的视频帧；

动作分析模块530，用于对待识别图片序列中移动对象与得分区域的相对位置进行动作分析，得到动作分析结果；

目标帧确定模块540，用于若动作分析结果指示移动对象进入得分区域，则将待识别图片序列中的待检测视频帧确定为目标视频帧；

视频剪辑模块550，用于根据目标视频帧，对待剪辑视频进行视频剪辑，得到剪辑视频。

在本申请的一些实施例中，基于以上技术方案，得分区域检测模块510包括：

抽取单元，用于根据预设的视频帧抽取规则，从待剪辑视频中抽取视频帧；

检测单元，用于将所抽取的视频帧输入到得分区域检测模型中进行得分区域检测，确定包含得分区域的待检测视频帧以及得分区域的位置信息。

在本申请的一些实施例中，基于以上技术方案，图片序列生成模块520包括：

关联帧获取单元，用于根据待剪辑视频的时间序列，获取在时间序列中位于待检测视频帧之前或之后的关联视频帧；

位置信息确定单元，用于根据待检测视频帧中得分区域的位置信息，确定关联视频帧中得分区域的位置信息；

序列生成单元，用于根据得分区域的位置信息，从待检测视频帧和关联视频帧中裁剪出得分区域并按照时间序列排列成待识别图片序列。

在本申请的一些实施例中，基于以上技术方案，视频剪辑模块550包括：

连续帧确定单元，用于根据待剪辑视频的时间序列，确定多个视频帧中的连续视频帧；

裁剪拼接单元，用于根据连续视频帧和预设的偏移时长，对待剪辑视频进行裁剪和拼接，得到剪辑视频。

在本申请的一些实施例中，基于以上技术方案，裁剪拼接单元包括：

片段裁剪子单元，用于根据连续视频帧和预设的偏移时长，从待剪辑视频中裁剪得到至少两个视频片段；

片段合并子单元，用于若至少两个视频片段中根据时间序列相邻的两个特定视频片段之间时间重叠超过重叠时间阈值，则将两个特定视频片段合并成合并片段；

片段拼接子单元，用于将合并片段与至少两个视频片段中未被合并的其他视频片段拼接，得到剪辑视频。

在本申请的一些实施例中，基于以上技术方案，检测单元包括：

检测模型子单元，用于通过得分区域检测模型，对所抽取的视频帧进行得分区域检测，得到至少一个区域候选框和对应的概率值；

位置确定子单元，用于将数值最大并大于概率阈值的概率值所对应的区域候选框确定为得分区域，并且根据区域候选框在对应视频帧画面中的相对坐标确定得分区域的位置信息。

在本申请的一些实施例中，基于以上技术方案，动作分析模块530包括：

动作分析网络输入单元，用于将待识别图片序列输入到动作分析网络；

位置判断单元，用于通过动作分析网络，根据移动对象和得分区域在待识别图片序列中的相对位置判断移动对象是否进入得分区域，得到动作分析结果。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(Central Processing Unit，CPU)601，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的程序或者从储存部分608加载到随机访问存储器(Random Access Memory，RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的储存部分608；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入储存部分608。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频剪辑方法，其特征在于，包括：

对待剪辑视频的视频帧进行得分区域检测，得到包含得分区域的待检测视频帧，所述待剪辑视频中包括移动对象和所述得分区域，所述得分区域为所述移动对象移动的目的地区域；

根据所述待剪辑视频中的关联视频帧和所述待检测视频帧，生成待识别图片序列，所述关联视频帧是在所述待剪辑视频的时间序列中位于所述待检测视频帧之前或之后的视频帧；

对所述待识别图片序列中所述移动对象与所述得分区域的相对位置进行动作分析，得到动作分析结果；

若所述动作分析结果指示所述移动对象进入所述得分区域，则将所述待识别图片序列中的所述待检测视频帧确定为目标视频帧；

根据所述目标视频帧，对所述待剪辑视频进行视频剪辑，得到剪辑视频。

2.根据权利要求1所述的方法，其特征在于，所述对待剪辑视频的视频帧进行得分区域检测，得到包含所述得分区域的待检测视频帧，包括：

根据预设的视频帧抽取规则，从待剪辑视频中抽取视频帧；

将所抽取的视频帧输入到得分区域检测模型中进行得分区域检测，确定包含所述得分区域的待检测视频帧以及所述得分区域的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待剪辑视频中的关联视频帧和所述待检测视频帧，生成待识别图片序列，包括：

根据所述待剪辑视频的时间序列，获取在所述时间序列中位于所述待检测视频帧之前或之后的关联视频帧；

根据所述待检测视频帧中所述得分区域的位置信息，确定所述关联视频帧中所述得分区域的位置信息；

根据所述得分区域的位置信息，从所述待检测视频帧和所述关联视频帧中裁剪出所述得分区域并按照时间序列排列成所述待识别图片序列。

4.根据权利要求2所述的方法，其特征在于，所述目标视频帧包括多个视频帧，所述根据所述目标视频帧，对所述待剪辑视频进行视频剪辑，得到剪辑视频，包括：

根据所述待剪辑视频的时间序列，确定所述多个视频帧中的连续视频帧；

根据所述连续视频帧和预设的偏移时长，对所述待剪辑视频进行裁剪和拼接，得到剪辑视频。

5.根据权利要求4所述的方法，其特征在于，所述根据所述连续视频帧和预设的偏移时长，对所述待剪辑视频进行裁剪和拼接，得到剪辑视频，包括：

根据所述连续视频帧和预设的偏移时长，从所述待剪辑视频中裁剪得到至少两个视频片段；

若所述至少两个视频片段中根据所述时间序列相邻的两个特定视频片段之间时间重叠超过重叠时间阈值，则将所述两个特定视频片段合并成合并片段；

将所述合并片段与所述至少两个视频片段中未被合并的其他视频片段拼接，得到剪辑视频。

6.根据权利要求2所述的方法，其特征在于，所述将所抽取的视频帧输入到得分区域检测模型中进行得分区域检测，确定包含所述得分区域的待检测视频帧以及所述得分区域的位置信息，包括：

通过所述得分区域检测模型，对所抽取的视频帧进行得分区域检测，得到至少一个区域候选框和对应的概率值；

将数值最大并大于概率阈值的概率值所对应的区域候选框确定为所述得分区域，并且根据所述区域候选框在对应视频帧画面中的相对坐标确定所述得分区域的位置信息。

7.根据权利要求1～6中任一项所述的方法，其特征在于，所述对所述待识别图片序列中所述移动对象与所述得分区域的相对位置进行动作分析，得到动作分析结果，包括：

将所述待识别图片序列输入到动作分析网络；

通过所述动作分析网络，根据所述移动对象和所述得分区域在所述待识别图片序列中的相对位置判断所述移动对象是否进入所述得分区域，得到所述动作分析结果。

8.一种视频剪辑装置，其特征在于，包括：

得分区域检测模块，用于对待剪辑视频的视频帧进行得分区域检测，得到包含所述得分区域的待检测视频帧，所述待剪辑视频中包括移动对象和得分区域；

图片序列生成模块，用于根据所述待剪辑视频中的关联视频帧和所述待检测视频帧，生成待识别图片序列，所述关联视频帧是在所述待剪辑视频的时间序列中位于所述待检测视频帧之前或之后的视频帧；

动作分析模块，用于对所述待识别图片序列中所述移动对象与所述得分区域的相对位置进行动作分析，得到动作分析结果；

目标帧确定模块，用于若所述动作分析结果指示所述移动对象进入所述得分区域，则将所述待识别图片序列中的所述待检测视频帧确定为目标视频帧；

视频剪辑模块，用于根据所述目标视频帧，对所述待剪辑视频进行视频剪辑，得到剪辑视频。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的视频剪辑方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频剪辑方法。

Images