CN113395542B - 基于人工智能的视频生成方法、装置、计算机设备及介质 - Google Patents

Abstract

本申请提供了一种基于人工智能的视频生成方法、装置、计算机设备及介质，属于视频处理技术领域。本申请通过在获取到待处理的视频和要生成的目标视频对应的目标视频类型后，基于通过人工智能的图像处理技术提取出的视频中视频帧的图片特征、动作特征和动作特征的标签，来将视频划分成至少一个候选时间段，并确定至少一个候选时间段所对应的事件类型，根据至少一个候选时间段和目标视频类型所指示的目标事件类型，从视频中确定出目标事件类型对应的至少一个视频片段，进而对这至少一个视频片段进行批量处理，基于这至少一个视频片段生成仅包括目标事件类型对应的事件的目标视频，实现视频剪辑，无需人工进行处理，提高视频处理效率。

Description

基于人工智能的视频生成方法、装置、计算机设备及介质

技术领域

本申请涉及视频处理技术领域，特别涉及一种基于人工智能的视频生成方法、装置、计算机设备及介质。

背景技术

随着技术的进步和人民生活水平的提高，人们的休闲娱乐活动越来越丰富，视频逐渐成为人们日常生活中用于休闲娱乐的一种重要载体。视频种类繁多，如电视连续剧、电影、各类比赛视频(如足球比赛、篮球比赛等)、综艺节目、纪录片等等，这些视频中都会有一些非常出彩的片段，通过将这部分非常出彩的片段剪辑成一个新的视频，以便用户直接通过观看剪辑后得到的视频，来对视频中的精彩内容进行观看。

目前只能通过人工剪辑的方式，来对视频进行剪辑，从而导致视频处理效率较低。

发明内容

本申请实施例提供了一种基于人工智能的视频生成方法、装置、计算机设备及介质，能够提高视频处理效率。本申请实施例的技术方案如下：

一方面，提供了一种基于人工智能的视频生成方法，该方法包括：

获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型；

基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，该标签用于指示该动作特征对应的事件类型；

根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段；

基于该至少一个视频片段，生成目标视频。

在一种可能的实现方式中，该基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型之前，该方法还包括：

每隔目标时长，对该视频进行抽帧处理，得到该视频中的视频帧。

一方面，提供了一种基于人工智能的视频生成装置，该装置包括：

获取模块，用于获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型；

第一确定模块，用于基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，该标签用于指示该动作特征对应的事件类型；

第二确定模块，用于根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段；

生成模块，用于基于该至少一个视频片段，生成目标视频。

在一种可能的实现方式中，该装置还包括：

第一识别模块，用于将该视频帧输入图片识别模型，通过该图片识别模型对该视频帧进行识别，输出该视频帧的图片特征；

第二识别模块，用于将该视频帧输入动作识别模型，通过该动作识别模型对该视频帧进行识别，输出该视频帧的动作特征和该动作特征的标签。

在一种可能的实现方式中，该第一识别模块，用于将该视频帧输入该图片识别模型，通过该图片识别模型的卷积层，提取该视频帧的图片特征，输出该图片特征。

在一种可能的实现方式中，该第二识别模块，用于以目标数量的视频帧为一组，将该视频帧逐组输入该动作识别模型，通过该动作识别模型的卷积层，提取该视频帧的动作特征，通过该动作识别模型的全连接层，确定该动作特征的标签，输出该动作特征和该动作特征的标签。

在一种可能的实现方式中，该图片识别模型和该动作识别模型的训练过程包括：

获取第一训练数据集，该第一训练数据集包括第一样本图片和该第一样本图片的第一样本标注信息，该第一样本标注信息用于指示该第一样本图片对应的事件类型，基于该第一训练数据集训练该图片识别模型；

获取第二训练数据集，该第二训练数据集包括第二样本图片和该第二样本图片的第二样本标注信息，该第二样本标注信息用于指示该第二样本图片对应的事件类型，基于该第二训练数据集训练该行为识别模型。

在一种可能的实现方式中，该第一确定模块包括第一确定单元和第二确定单元；

该第一确定单元，用于基于该图片特征和该动作特征，通过时序分割模型，确定该至少一个候选时间段；

该第二确定单元，用于基于该至少一个候选时间段和该至少一个候选时间段所包括的动作特征的标签，确定该至少一个候选时间段所对应的事件类型。

在一种可能的实现方式中，该第一确定单元，用于对该图片特征和该动作特征进行融合，得到融合特征，将该融合特征输入该时序分割模型，通过该时序分割模型，输出该至少一个候选时间段的起止时间信息，基于该至少一个候选时间段的起止时间信息，确定该至少一个候选时间段。

在一种可能的实现方式中，该第二确定单元，用于对于该至少一个候选时间段中任一候选时间段，确定该任一候选时间段中属于不同种类的标签的数量，将数量最多的标签所指示的事件类型，确定为该任一候选时间段所对应的事件类型。

在一种可能的实现方式中，该时序分割模型的训练过程包括：

获取第三训练数据集，该第三训练数据集包括样本视频、该样本视频的样本起止时间信息和该样本视频所包括的样本事件类型；

基于该第三训练数据集训练该时序分割模型。

在一种可能的实现方式中，该装置还包括：

第三确定模块，用于对于该至少一个候选时间段中任一候选时间段，确定该任一候选时间段中视频帧的灰度分布信息；

该第三确定模块，还用于基于该任一候选时间段中相邻两个视频帧的灰度分布信息，确定该相邻两个视频帧的灰度分布相似度；

该第三确定模块，还用于若该灰度分布相似度小于目标阈值，则将该相邻两个视频帧的时间信息中所指示的时刻最小的时间信息，确定为该任一候选时间段的起止时间信息。

在一种可能的实现方式中，该装置还包括：

第四确定模块，用于确定该至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息，该起始视频帧为该至少一个候选时间段中所指示的时刻最小的时间信息对应的视频帧，该终止视频帧为该至少一个候选时间段中所指示的时刻最大的时间信息对应的视频帧；

添加模块，用于对于该至少一个候选时间段中任一候选时间段，若该任一候选时间段的起始视频帧所包括的数值信息，与该任一候选时间段的终止视频帧所包括的数值信息不同，则将预设事件类型添加至该任一候选时间段对应的事件类型中。

在一种可能的实现方式中，该添加模块，还用于对于该至少一个候选时间段中相邻两个候选时间段，若该相邻两个候选时间段中第一候选时间段的终止视频帧所包括的数值信息，与该相邻两个候选时间段中第二候选时间段的起始视频帧所包括的数值信息不同，则将预设事件类型添加至该第一候选时间段对应的事件类型中，其中，该第二候选时间段的时间信息所指示的时刻位于该第一候选时间段的时间信息所指示的时刻之后。

在一种可能的实现方式中，该装置还包括：

处理模块，用于每隔目标时长，对该视频进行抽帧处理，得到该视频中的视频帧。

一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一个计算机程序，该计算机程序由该一个或多个处理器加载并执行以实现该基于人工智能的视频生成方法所执行的操作。

一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一个计算机程序，该计算机程序由处理器加载并执行以实现该基于人工智能的视频生成方法所执行的操作。

一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，该计算机程序代码由计算机设备的处理器从计算机可读存储介质中读取，并由处理器加载并执行以实现该基于人工智能的视频生成方法所执行的操作。

本申请提供的方案，通过在获取到待处理的视频和要生成的目标视频对应的目标视频类型后，基于通过人工智能的图像处理技术提取出的视频中视频帧的图片特征、动作特征和动作特征的标签，来将视频划分成至少一个候选时间段，并确定至少一个候选时间段所对应的事件类型，根据至少一个候选时间段和目标视频类型所指示的目标事件类型，从视频中确定出目标事件类型对应的至少一个视频片段，进而对这至少一个视频片段进行批量处理，基于这至少一个视频片段生成仅包括目标事件类型对应的事件的目标视频，实现视频剪辑，无需人工进行处理，提高视频处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于人工智能的视频生成方法的实施环境示意图；

图2是本申请实施例提供的一种基于人工智能的视频生成方法的流程图；

图3是本申请实施例提供的一种基于人工智能的视频生成方法的流程图；

图4是本申请实施例提供的一种基于人工智能的视频生成过程的示意图；

图5是本申请实施例提供的一种基于人工智能的视频生成装置的结构示意图；

图6是本申请实施例提供的一种终端的结构示意图；

图7是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

所谓人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过应用程序接口(Application Program Interface，API)的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维(Three Dimensions，3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请提供的方案涉及云技术的人工智能云服务，以及人工智能技术的计算机视觉技术和机器学习/深度学习技术，本申请涉及的技术名词和术语如下：

多模态：即多种视频处理技术。

光学字符识别：使用算法模型自动定位并识别图片中的文字。

时序分割模型：也即是时序动作分割网络，用于检测动作事件开始与结束时刻的网络。

直方图场景切换检测：通过比较连续两帧间的直方图差异，判断是否存在场景切换。

智能剪辑：使用算法模型自动剪辑出视频中的所有精彩时刻。

精彩时刻：运动战、角球、点球、任意球及慢动作回放。

背景时刻：比赛中非精彩时刻的时刻。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种基于人工智能的视频生成方法的实施环境示意图，参见图1，该实施环境包括：终端101和服务器102。

终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。可选地，终端101以及服务器102通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。用户通过终端101对要剪辑出的目标视频的目标视频类型进行设置，进而将设置好的目标视频类型和待处理的视频或待处理的视频的统一资源定位符(Uniform Resource Locator，URL)发送给服务器102，由服务器102基于接收到的目标视频类型对视频进行处理。终端101接收服务器102返回的URL，进而从该URL所指示的位置处获取到剪辑完成的目标视频，并基于获取到的目标视频进行播放，该目标视频中仅包括目标事件类型对应的视频片段。

终端101泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量均可以更多或更少。比如上述终端仅为几个，或者上述终端为几十个或几百个，或者更多数量，本申请实施例对终端的数量和类型均不加以限定。

服务器102是独立的物理服务器，或者，多个物理服务器构成的服务器集群或者分布式系统，或者，提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等。可选地，服务器102以及终端101通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。服务器102接收终端101发送的视频和设置好的目标视频类型，或者，服务器102接收终端101发送的视频的URL和设置好的目标视频类型，从接收到的URL处获取待处理的视频，进而基于接收到的事件类型，对视频进行处理，得到仅包括接收到的目标视频类型对应的视频片段的目标视频，进而对该目标视频进行存储，将该目标视频的URL发送给终端101。

图2是本申请实施例提供的一种基于人工智能的视频生成方法的流程图，参见图2，该方法包括：

201、计算机设备获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型。

需要说明的是，该待处理的视频为用户上传的视频。可选地，该待处理的视频为一个，或者，该待处理的视频为多个，本申请实施例对待处理的视频数量不加以限定。该目标视频类型为用户设置的集锦类型，也即是，目标视频中的内容对应的事件类型，从待处理的视频中获取到的视频片段对应的事件类型，均需符合该目标视频类型。

202、计算机设备基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，该标签用于指示该动作特征对应的事件类型。

需要说明的是，计算机设备中预先存储有多个事件类型，如运动战攻门、运动战解围、普通回放、任意球等，进而基于视频帧的图片特征、动作特征和该动作特征的标签，确定已存储的多个事件类型对应的候选时间段，并确定出各个候选时间段对应的事件类型。

203、计算机设备根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段。

需要说明的是，计算机设备根据各个候选时间段对应的事件类型，确定与目标视频类型所指示的目标事件类型对应的候选时间段，进而基于确定出的候选时间段，剪辑出已确定的候选时间段对应的视频片段。

204、计算机设备基于该至少一个视频片段，生成目标视频。

需要说明的是，计算机设备按照至少一个视频片段的时间信息，对至少一个视频片段进行拼接，即可得到该目标视频，该目标视频中仅包括目标时间类型对应的视频片段。

本申请实施例提供的方案，通过在获取到待处理的视频和要生成的目标视频对应的目标视频类型后，基于通过人工智能的图像处理技术提取出的视频中视频帧的图片特征、动作特征和动作特征的标签，来将视频划分成至少一个候选时间段，并确定至少一个候选时间段所对应的事件类型，根据至少一个候选时间段和目标视频类型所指示的目标事件类型，从视频中确定出目标事件类型对应的至少一个视频片段，进而对这至少一个视频片段进行批量处理，基于这至少一个视频片段生成仅包括目标事件类型对应的事件的目标视频，实现视频剪辑，无需人工进行处理，提高视频处理效率。

图3是本申请实施例提供的一种基于人工智能的视频生成方法的流程图，参见图3，该方法包括：

301、服务器获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型。

需要说明的是，终端内置或外接有摄像头组件，用户能够通过该摄像头组件来拍摄视频，终端对拍摄到的视频进行存储。可选地，终端中预先存储有多个视频。

在一种可能的实现方式中，用户从终端已存储的视频中选择一个视频，并通过终端对目标视频类型进行设置，终端将被选中的视频和设置好的目标视频类型发送给服务器，以便服务器获取到该待处理的视频和目标视频类型。

在另一种可能的实现方式中，终端从服务器获取多个视频的相关信息(如视频名称、视频类型、简介信息等)，进而通过可视化界面对获取到的相关信息进行展示，用户根据终端所展示的视频的相关信息从中进行选择，并通过终端对目标视频类型进行设置，终端将被选中的视频的URL和设置好的目标视频类型发送给服务器，以便服务器获取目标视频类型，并从接收到的URL处获取待处理的视频。

以待处理的视频为足球比赛视频为例，该目标视频类型，也即是，目标视频中各个精彩时刻的视频片段对应的事件类型及各个事件的相关信息参见下表1：

表1

相应地，该目标视频类型包括运动战攻门视频、运动战解围视频、普通回放视频、任意球视频、角球视频、点球视频、红黄牌视频、换人视频、治疗视频、弹框信息视频、采访视频、比赛开始视频、比赛结束视频、回放集锦视频、赛前仪式-入场视频、赛前仪式-奏国歌视频、赛前仪式-握手视频、赛事片头片尾视频、越位视频和补水视频，可选地，该目标视频类型包括其他类型，本申请实施例对此不加以限定。

需要说明的是，上述过程中终端和服务器之间的交互是通过接口实现的，例如，通过网站(Web)接口实现，可选地，还能通过其他接口实现，本申请实施例对此不加以限定。

302、服务器每隔目标时长，对该视频进行抽帧处理，得到该视频中的视频帧。

需要说明的是，该目标时长为任意时长，例如，该目标时长为1秒(S)，可选地，该目标时长为其他时长，本申请实施例对此不加以限定。

以目标时长为1S为例，服务器每隔1S的固定时间间隔，从视频中抽取一个视频帧，也即是，服务器以每秒1帧(1FPS)进行抽帧，以得到该视频中的多个视频帧。

303、服务器将该视频帧输入图片识别模型，通过该图片识别模型对该视频帧进行识别，输出该视频帧的图片特征。

其中，该图片识别模型(RGB Model)为卷积神经网络(Convolutional NeuralNetwork，CNN)，可选地，该图片识别模型为其他网络，本申请实施例对此不加以限定。

以该图片识别模型为CNN为例，该图片识别模型包括卷积层。在一种可能的实现方式中，服务器将该视频帧输入该图片识别模型，通过该图片识别模型的卷积层，提取该视频帧的图片特征(RGB特征)，进而输出该图片特征。

需要说明的是，该图片识别模型由服务器预先训练得到，服务器获取第一训练数据集，基于该第一训练数据集训练该图片识别模型，该第一训练数据集包括第一样本图片和该第一样本图片的第一样本标注信息，该第一样本标注信息用于指示该第一样本图片对应的事件类型。

其中，该第一训练数据集的获取过程如下：

服务器获取多个第一样本视频，作为训练视频，每隔1S的固定时间间隔，从第一样本视频中抽取一个视频帧，从而得到多个视频帧，作为第一训练数据集中的多个第一样本图片，进而由相关技术人员按照表1中的事件，对该多个第一样本图片进行人工标注，得到该多个第一样本图片的第一样本标注信息。

该图片识别模型的训练过程如下：

服务器将第一训练数据集中的第一个第一样本图片输入初始图片识别模型，通过初始图片识别模型的卷积层提取第一个第一样本图片的图片特征，通过全连接层，基于该图片特征，确定第一个第一样本图片的标注信息，进而基于确定出的标注信息，以及第一训练数据集中第一个第一样本图片的第一样本标注信息，确定初始图片识别模型的损失函数值，根据损失函数值，利用梯度修正网络，对初始图片识别模型的参数进行调整，得到经过第一次参数调整的图片识别模型。再将第一训练数据集中的第二个第一样本图片输入经过第一次参数调整的图片识别模型，通过经过第一次参数调整的图片识别模型的卷积层提取第二个第一样本图片的图片特征，通过全连接层，基于该图片特征，确定第二个第一样本图片的标注信息，进而基于确定出的标注信息，以及第一训练数据集中第二个第一样本图片的第一样本标注信息，确定经过第一次参数调整的图片识别模型的损失函数值，根据损失函数值，利用梯度修正网络，对经过第一次参数调整的图片识别模型的参数继续进行调整。以此类推，最终得到满足第一目标条件的图片识别模型。该第一目标条件为模型确定出的标注信息的准确性满足迭代截止条件，或者，模型的损失函数值满足迭代截止条件，或者，迭代次数达到预设次数，本申请实施例对具体采用哪种条件不加以限定。

需要说明的是，该初始图片识别模型包括卷积层和全连接层(Fully ConnectedLayers，FC)，各个卷积层的结构采用50层的残差网络(ResNet50)中各个卷积层的结构，该全连接层为20分类的全连接层(FC20)，可选地，卷积层和全连接层采用其他结构，本申请实施例对此不加以限定。通过基于第一训练数据集进行训练，能够得到一个20分类的图片分类器，用于抽取图片的RGB特征。

需要强调的是，服务器基于第一训练数据集训练得到的图片识别模型包括卷积层和全连接层，在实际使用中，仅保留图片识别模型的卷积层，进而通过图片识别模型来获取视频帧的图片特征。

304、服务器将该视频帧输入动作识别模型，通过该动作识别模型对该视频帧进行识别，输出该视频帧的动作特征和该动作特征的标签。

其中，该动作识别模型(Flow Model)为CNN，可选地，该动作识别模型为其他网络，本申请实施例对此不加以限定。

以该图片识别模型为CNN为例，该图片识别模型包括卷积层。在一种可能的实现方式中，服务器以目标数量的视频帧为一组，将该视频帧逐组输入该动作识别模型，通过该动作识别模型的卷积层，提取该视频帧的动作特征，通过该动作识别模型的全连接层，确定该动作特征的标签，输出该动作特征和该动作特征的标签。

其中，该目标数量为任意正整数值，例如，该目标数量为8，也即是，将视频帧按8张一组输入动作识别模型，可选地，该目标数量为其他取值，本申请实施例对此不加以限定。

需要说明的是，该动作识别模型由服务器预先训练得到，服务器获取第二训练数据集，基于该第二训练数据集训练该行为识别模型，该第二训练数据集包括第二样本图片和该第二样本图片的第二样本标注信息，该第二样本标注信息用于指示该第二样本图片对应的事件类型。

其中，该第二训练数据集的获取过程如下：

服务器获取多个第二样本视频，作为训练视频，相关技术人员按照表1中的事件，对第二样本视频进行人工标注，标注出事件的起止时间和对应的事件类型。服务器基于人工标注的起止时间，对各个起止时间对应的视频片段以1FPS进行抽帧，得到多个第二样本图片，并将多个第二样本图片以及各个第二样本图片对应的事件类型，作为该第二训练数据集。

该动作识别模型的训练过程如下：

服务器将第二训练数据集中的第一个第二样本图片输入初始动作识别模型，通过初始动作识别模型的卷积层提取第一个第二样本图片的动作特征，通过全连接层，确定该动作特征的标签，进而基于确定出的标签，以及第二训练数据集中第一个第二样本图片的第二样本标注信息，确定初始动作识别模型的损失函数值，根据损失函数值，利用梯度修正网络，对初始动作识别模型的参数进行调整，得到经过第一次参数调整的动作识别模型。再将第二训练数据集中的第二个第二样本图片输入经过第一次参数调整的动作识别模型，通过经过第一次参数调整的动作识别模型的卷积层提取第二个第二样本图片的动作特征，通过全连接层，确定该动作特征的标签，进而基于确定出的标签，以及第二训练数据集中第二个第二样本图片的第二样本标注信息，确定经过第一次参数调整的动作识别模型的损失函数值，根据损失函数值，利用梯度修正网络，对经过第一次参数调整的动作识别模型的参数继续进行调整。以此类推，最终得到满足第二目标条件的动作识别模型。该第二目标条件为模型确定出的动作特征的标签的准确性满足迭代截止条件，或者，模型的损失函数值满足迭代截止条件，或者，迭代次数达到预设次数，本申请实施例对具体采用哪种条件不加以限定。

需要说明的是，该初始动作识别模型包括卷积层和全连接层，各个卷积层的结构采用三维残差网络(ResNet3D)中各个卷积层的结构，该全连接层采用非局部模块(Non-Local Block，NL Block)，可选地，卷积层和全连接层采用其他结构，本申请实施例对此不加以限定。通过基于第一训练数据集进行训练，能够得到一个20分类的动作分类器，用于抽取图片序列的动作特征以及确定动作特征的标签，以便基于动作特征的标签对图片序列进行分类。

305、服务器对该图片特征和该动作特征进行融合，得到融合特征。

306、服务器将该融合特征输入该时序分割模型，通过该时序分割模型，输出至少一个候选时间段的起止时间信息。

其中，该时序分割模型(MSN Model)也称为时序分割网络，该时序分割模型为多尺度网络(Multi-Scale Network，MSN)，可选地，该时序分割模型为其他网络，本申请实施例对此不加以限定。

以该时序分割模型为MSN为例，该时序分割模型包括两个卷积神经网络，分别作为起止时间分类器和事件分类器。服务器将该融合特征分别输入该起止时间分类器和该事件分类器，通过该起止时间分类器确定出多个时间段的起止时间信息，通过该事件分类器确定该融合特征对应的事件类型，进而基于多个时间段的起止时间信息和事件类型，输出至少一个候选时间段的起止时间信息。该起止时间信息包括开始时间信息和终止时间信息。

需要说明的是，该时序分割模型由服务器预先训练得到，服务器获取第三训练数据集，基于该第三训练数据集训练该时序分割模型，该第三训练数据集包括样本视频、该样本视频的样本起止时间信息和该样本视频所包括的样本事件类型。

其中，该第三训练数据集的获取过程如下：

服务器获取多个第三样本视频，作为训练视频，相关技术人员按照表1中的事件，对第三样本视频进行人工标注，标注出事件的起止时间和对应的事件类型。服务器将人工标注的起止时间以及多个第三样本视频，作为该第三训练数据集。

需要说明的是，在基于第三训练数据集对时序分割模型进行训练时，分别基于第三训练数据集对起止时间分类器和事件分类器进行训练，即可得到该时序分割模型，该时序分割模型用于对视频进行时序动作分割。

其中，该起止时间分类器的训练过程如下：

服务器将第三训练数据集中的第一个样本视频输入初始起止时间分类器，通过初始起止时间分类器确定出第一个样本视频中多个时间段的起止时间信息，进而基于确定出的起止时间信息，以及第三训练数据集中第一个样本视频中多个时间段的样本起止时间信息，确定初始起止时间分类器的损失函数值，根据损失函数值，利用梯度修正网络，对初始起止时间分类器的参数进行调整，得到经过第一次参数调整的起止时间分类器。再将第三训练数据集中的第二个样本视频输入经过第一次参数调整的起止时间分类器，通过经过第一次参数调整的起止时间分类器确定出第二个样本视频中多个时间段的起止时间信息，进而基于确定出的起止时间信息，以及第三训练数据集中第二个样本视频中多个时间段的样本起止时间信息，确定经过第一次参数调整的起止时间分类器的损失函数值，根据损失函数值，利用梯度修正网络，对经过第一次参数调整的起止时间分类器的参数继续进行调整。以此类推，最终得到满足第三目标条件的起止时间分类器。该第三目标条件为分类器确定出的起止时间信息的准确性满足迭代截止条件，或者，分类器的损失函数值满足迭代截止条件，或者，迭代次数达到预设次数，本申请实施例对具体采用哪种条件不加以限定。

该事件分类器的训练过程如下：

服务器将第三训练数据集中的第一个样本视频输入初始事件分类器，通过初始事件分类器确定出第一个样本视频所包括的事件类型，进而基于确定出的事件类型，以及第三训练数据集中第一个样本视频所包括的样本事件类型，确定初始事件分类器的损失函数值，根据损失函数值，利用梯度修正网络，对初始事件分类器的参数进行调整，得到经过第一次参数调整的事件分类器。再将第三训练数据集中的第二个样本视频输入经过第一次参数调整的事件分类器，通过经过第一次参数调整的事件分类器确定出第二个样本视频所包括的事件类型，进而基于确定出的事件类型，以及第三训练数据集中第二个样本视频所包括的样本事件类型，确定经过第一次参数调整的事件分类器的损失函数值，根据损失函数值，利用梯度修正网络，对经过第一次参数调整的事件分类器的参数继续进行调整。以此类推，最终得到满足第四目标条件的事件分类器。该第四目标条件为分类器确定出的起止时间信息的准确性满足迭代截止条件，或者，分类器的损失函数值满足迭代截止条件，或者，迭代次数达到预设次数，本申请实施例对具体采用哪种条件不加以限定。

可选地，同时对该起止时间分类器和该事件分类器进行训练，或者，先对该起止时间分类器进行训练，再对该事件分类器进行训练，或者，先对该事件分类器进行训练，再对该起止时间分类器进行训练，本申请实施例对此不加以限定。

可选地，服务器在通过时序分割模型确定出至少一个候选时间段的起止时间信息之后，对起止时间信息进行进一步的精确确定。仍以待处理的视频为足球比赛视频为例，根据足球比赛的规律，相邻两个视频片段之间都会有一个镜头的转换，因而可以以镜头的切换作为判断片段起止时刻的标准。

在一种可能的实现方式中，对于该至少一个候选时间段中任一候选时间段，服务器确定该任一候选时间段中视频帧的灰度分布信息，基于该任一候选时间段中相邻两个视频帧的灰度分布信息，确定该相邻两个视频帧的灰度分布相似度，若该灰度分布相似度小于目标阈值，则将该相邻两个视频帧的时间信息中所指示的时刻最小的时间信息，确定为该任一候选时间段的起止时间信息。

其中，该灰度分布信息用于指示视频帧中每个灰度值对应的像素数。在确定视频帧的灰度分布信息时，通过直方图场景切换检测的方法，来确定该任一候选时间中各个视频帧的直方图，得到各个视频帧的灰度分布信息。可选地，采用其他方式来进行灰度分布信息的确定，本申请实施例对具体采用哪种方法不加以限定。在相邻两个视频帧的灰度分布相似度小于目标阈值时，服务器获取该任一候选时间段的起止时间信息(包括开始时间信息和终止时间信息)，若该相邻两个视频帧中前一视频帧对应的时间信息与开始时间信息的差值更小，则将前一视频帧对应的时间信息确定为该任一候选时间段的开始时间信息；若该相邻两个视频帧中前一视频帧对应的时间信息与终止时间信息的差值更小，则将前一视频帧对应的时间信息确定为该任一候选时间段的终止时间信息。

需要说明的是，上述确定该任一候选时间段中视频帧的灰度分布信息，以及确定任一候选时间段的起止时间信息的过程，通过后处理模块(Post Process)实现。通过后处理模块的直方图场景切换检测方法，能够减掉片段前后的短切场片段，避免短切场片段对目标视频的质量造成影响，从而提高目标视频的生成效果，提高用户体验。

307、服务器基于该至少一个候选时间段的起止时间信息，确定该至少一个候选时间段。

308、服务器基于该至少一个候选时间段和该至少一个候选时间段所包括的动作特征的标签，确定该至少一个候选时间段所对应的事件类型。

在一种可能的实现方式中，对于该至少一个候选时间段中任一候选时间段，服务器确定该任一候选时间段中属于不同种类的标签的数量，将数量最多的标签所指示的事件类型，确定为该任一候选时间段所对应的事件类型。也即是，服务器根据已识别出的、该任一候选时间段中的动作特征的标签，确定该任一候选时间段中的动作特征的标签中数量最多的标签，将该标签对应的事件类型，确定为该任一候选时间段所对应的事件类型。通过将数量最多的标签对应的事件类型，确定为候选时间段的事件类型，避免候选时间段中一个或几个视频帧中动作特征识别错误带来的影响，提高确定出的候选时间段对应的事件类型的准确性，从而提高目标视频的生成准确性。

可选地，在确定出至少一个候选时间段对应的时间类型后，服务器确定该至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息，该起始视频帧为该至少一个候选时间段中所指示的时刻最小的时间信息对应的视频帧，该终止视频帧为该至少一个候选时间段中所指示的时刻最大的时间信息对应的视频帧；对于该至少一个候选时间段中任一候选时间段，若该任一候选时间段的起始视频帧所包括的数值信息，与该任一候选时间段的终止视频帧所包括的数值信息不同，则服务器将预设事件类型添加至该任一候选时间段对应的事件类型中。仍以待处理的视频为足球比赛视频为例，通过确定各个候选时间段的起始视频帧和终止视频帧中的数值信息，即可确定各个候选时间段的开始时刻和终止时刻的分数，进而根据开始时刻和终止时刻的分数，确定各个候选时间段对应的是否为进球事件，若任一候选时间段对应的是进球事件，则将进球这个预设事件类型添加至该任一候选时间段对应的事件类型中。

需要说明的是，在确定出至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息后，对于该至少一个候选时间段中相邻两个候选时间段，若该相邻两个候选时间段中第一候选时间段的终止视频帧所包括的数值信息，与该相邻两个候选时间段中第二候选时间段的起始视频帧所包括的数值信息不同，则服务器将预设事件类型添加至该第一候选时间段对应的事件类型中，其中，该第二候选时间段的时间信息所指示的时刻位于该第一候选时间段的时间信息所指示的时刻之后。仍以待处理的视频为足球比赛视频为例，通过确定各个候选时间段的起始视频帧和终止视频帧中的数值信息，即可确定相邻两个候选时间段中前一候选时间段终止时刻的分数，以及后一候选时间段开始时刻的分数，进而根据前一候选时间段终止时刻的分数和后一候选时间段开始时刻的分数，确定前一候选时间段对应的是否为进球事件，若前一候选时间段对应的是进球事件，则将进球这个预设事件类型添加至前一候选时间段对应的事件类型中。

其中，在确定该至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息时，服务器通过OCR技术检测视频帧中的字符，通过检测暗、亮的模式确定字符形状，然后用字符识别方法将形状翻译成计算机文字，从而根据翻译出的计算机文字确定出视频帧中的数值信息。可选地，采用其他方式来进行视频帧中数值信息的确定，本申请实施例对此不加以限定。

309、服务器根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段。

在一种可能的实现方式中，服务器根据用户预先设置好的目标视频类型，以及各个候选时间段对应的事件类型，从至少一个候选时间段中，确定事件类型与目标视频类型所指示的目标事件类型相同的至少一个候选时间段。

310、服务器基于该至少一个视频片段，生成目标视频。

在一种可能的实现方式中，服务器按照各个视频片段对应的时间，对该至少一个视频片段进行拼接，得到该目标视频，该目标视频中仅包括目标时间类型对应的视频片段。

上述步骤301至步骤310的处理过程参见图4，图4是本申请实施例提供的一种基于人工智能的视频生成过程的示意图，服务器获取到待处理的视频401后，对待处理的视频进行抽帧处理，进而将抽取出的各个视频帧402输入图片识别模型403，以提取各个视频帧的图片特征，并将抽取出的各个视频帧以如404所示的、成组的方式输入动作识别模型405，以提取各组视频帧中的动作特征，再对提取出的图片特征和动作特征进行特征融合，将融合后得到的融合特征输入时序分割模型406，通过时序分割模型406确定出候选时间段407(也即是精彩时刻时间序列)，进而根据候选时间段407和通过动作识别模型405识别出的动作特征，确定候选时间段对应的事件类型408(也即是精彩时刻分类)，根据候选时间段407和候选时间段对应的事件类型408，确定候选时间段及对应的事件类型409(也即是带分类的精彩时刻)，再通过后处理模块410，生成目标视频411(也即是精彩剪辑)。

在更多可能的实现方式中，服务器在生成该目标视频后，对该目标视频进行存储，从而得到该目标视频对应的URL，进而将该URL返回给终端，以便终端从该URL处获取该目标视频。

需要说明的是，上述步骤301至步骤310是以服务器对视频进行处理得到目标视频为例来进行说明的，在更多可能的实现方式中，终端在获取到待处理的视频和用户设置的目标视频类型后，自行根据该目标视频类型对视频进行处理，得到该目标视频，具体处理过程与上述步骤301至步骤310同理，此处不再赘述。

需要说明的是，上述步骤301至步骤310是以基于足球比赛视频生成目标视频为例来进行说明的，通过本申请实施例提供的方案，提供了一套智能剪辑工具，能够使用多模态技术(OCR、图片分类、动作分类、时序动作分割、直方图场景切换检测)，在实际业务场景中能够替代人工剪辑，通过多模态的计算结果，精确定位出不同事件对应的视频片段的开始时刻和结束时刻，从而自动、准确地剪辑出一场足球比赛中的所有精彩时刻，避免剪辑出来的精彩时刻混入背景时刻，并自动输出一个带分类的精彩时刻集锦，也即是目标视频，节约大量的人工成本，并减少人为误差，提高目标视频的质量。可选地，本申请实施例提供的方案，还能应用在其他类型的视频中，本申请实施例对该方案的应用场景不加以限定。

本申请实施例提供的方案，通过在获取到待处理的视频和要生成的目标视频对应的目标视频类型后，基于通过人工智能的图像处理技术提取出的视频中视频帧的图片特征、动作特征和动作特征的标签，来将视频划分成至少一个候选时间段，并确定至少一个候选时间段所对应的事件类型，根据至少一个候选时间段和目标视频类型所指示的目标事件类型，从视频中确定出目标事件类型对应的至少一个视频片段，进而对这至少一个视频片段进行批量处理，基于这至少一个视频片段生成仅包括目标事件类型对应的事件的目标视频，实现视频剪辑，无需人工进行处理，提高视频处理效率。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图5是本申请实施例提供的一种基于人工智能的视频生成装置的结构示意图，参见图5，该装置包括：

获取模块501，用于获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型；

第一确定模块502，用于基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，该标签用于指示该动作特征对应的事件类型；

第二确定模块503，用于根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段；

生成模块504，用于基于该至少一个视频片段，生成目标视频。

本申请实施例提供的装置，通过在获取到待处理的视频和要生成的目标视频对应的目标视频类型后，基于通过人工智能的图像处理技术提取出的视频中视频帧的图片特征、动作特征和动作特征的标签，来将视频划分成至少一个候选时间段，并确定至少一个候选时间段所对应的事件类型，根据至少一个候选时间段和目标视频类型所指示的目标事件类型，从视频中确定出目标事件类型对应的至少一个视频片段，进而对这至少一个视频片段进行批量处理，基于这至少一个视频片段生成仅包括目标事件类型对应的事件的目标视频，实现视频剪辑，无需人工进行处理，提高视频处理效率。

在一种可能的实现方式中，该装置还包括：

第一识别模块，用于将该视频帧输入图片识别模型，通过该图片识别模型对该视频帧进行识别，输出该视频帧的图片特征；

第二识别模块，用于将该视频帧输入动作识别模型，通过该动作识别模型对该视频帧进行识别，输出该视频帧的动作特征和该动作特征的标签。

在一种可能的实现方式中，该第一识别模块，用于将该视频帧输入该图片识别模型，通过该图片识别模型的卷积层，提取该视频帧的图片特征，输出该图片特征。

在一种可能的实现方式中，该第二识别模块，用于以目标数量的视频帧为一组，将该视频帧逐组输入该动作识别模型，通过该动作识别模型的卷积层，提取该视频帧的动作特征，通过该动作识别模型的全连接层，确定该动作特征的标签，输出该动作特征和该动作特征的标签。

在一种可能的实现方式中，该图片识别模型和该动作识别模型的训练过程包括：

获取第一训练数据集，该第一训练数据集包括第一样本图片和该第一样本图片的第一样本标注信息，该第一样本标注信息用于指示该第一样本图片对应的事件类型，基于该第一训练数据集训练该图片识别模型；

获取第二训练数据集，该第二训练数据集包括第二样本图片和该第二样本图片的第二样本标注信息，该第二样本标注信息用于指示该第二样本图片对应的事件类型，基于该第二训练数据集训练该行为识别模型。

在一种可能的实现方式中，该第一确定模块502包括第一确定单元和第二确定单元；

该第一确定单元，用于基于该图片特征和该动作特征，通过时序分割模型，确定该至少一个候选时间段；

该第二确定单元，用于基于该至少一个候选时间段和该至少一个候选时间段所包括的动作特征的标签，确定该至少一个候选时间段所对应的事件类型。

在一种可能的实现方式中，该第一确定单元，用于对该图片特征和该动作特征进行融合，得到融合特征，将该融合特征输入该时序分割模型，通过该时序分割模型，输出该至少一个候选时间段的起止时间信息，基于该至少一个候选时间段的起止时间信息，确定该至少一个候选时间段。

在一种可能的实现方式中，该第二确定单元，用于对于该至少一个候选时间段中任一候选时间段，确定该任一候选时间段中属于不同种类的标签的数量，将数量最多的标签所指示的事件类型，确定为该任一候选时间段所对应的事件类型。

在一种可能的实现方式中，该时序分割模型的训练过程包括：

获取第三训练数据集，该第三训练数据集包括样本视频、该样本视频的样本起止时间信息和该样本视频所包括的样本事件类型；

基于该第三训练数据集训练该时序分割模型。

在一种可能的实现方式中，该装置还包括：

第三确定模块，用于对于该至少一个候选时间段中任一候选时间段，确定该任一候选时间段中视频帧的灰度分布信息；

该第三确定模块，还用于基于该任一候选时间段中相邻两个视频帧的灰度分布信息，确定该相邻两个视频帧的灰度分布相似度；

该第三确定模块，还用于若该灰度分布相似度小于目标阈值，则将该相邻两个视频帧的时间信息中所指示的时刻最小的时间信息，确定为该任一候选时间段的起止时间信息。

在一种可能的实现方式中，该装置还包括：

第四确定模块，用于确定该至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息，该起始视频帧为该至少一个候选时间段中所指示的时刻最小的时间信息对应的视频帧，该终止视频帧为该至少一个候选时间段中所指示的时刻最大的时间信息对应的视频帧；

添加模块，用于对于该至少一个候选时间段中任一候选时间段，若该任一候选时间段的起始视频帧所包括的数值信息，与该任一候选时间段的终止视频帧所包括的数值信息不同，则将预设事件类型添加至该任一候选时间段对应的事件类型中。

在一种可能的实现方式中，该添加模块，还用于对于该至少一个候选时间段中相邻两个候选时间段，若该相邻两个候选时间段中第一候选时间段的终止视频帧所包括的数值信息，与该相邻两个候选时间段中第二候选时间段的起始视频帧所包括的数值信息不同，则将预设事件类型添加至该第一候选时间段对应的事件类型中，其中，该第二候选时间段的时间信息所指示的时刻位于该第一候选时间段的时间信息所指示的时刻之后。

在一种可能的实现方式中，该装置还包括：

处理模块，用于每隔目标时长，对该视频进行抽帧处理，得到该视频中的视频帧。

需要说明的是：上述实施例提供的基于人工智能的视频生成装置在生成目标视频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于人工智能的视频生成装置与基于人工智能的视频生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，还提供了一种计算机设备，该计算机设备为终端，或者，该计算机设备为服务器，终端和服务器的结构如下：

图6是本申请实施例提供的一种终端的结构示意图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：一个或多个处理器601和一个或多个存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器601所执行以实现本申请中方法实施例提供的基于人工智能的视频生成方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置在终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在另一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图7是本申请实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)701和一个或多个的存储器702，其中，该一个或多个存储器702中存储有至少一个计算机程序，该至少一个计算机程序由该一个或多个处理器701加载并执行以实现上述各个方法实施例提供的基于人工智能的视频生成方法。当然，该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器700还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，上述计算机程序可由处理器执行以完成上述实施例中的基于人工智能的视频生成方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备实现上述实施例中提供的基于人工智能的视频生成方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过计算机程序及计算机程序相关的硬件完成，该计算机程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (22)

1.一种基于人工智能的视频生成方法，其特征在于，所述方法包括：

获取待处理的视频和对应的目标视频类型，所述目标视频类型用于指示待从所述视频中获取的视频片段对应的事件类型；

对所述视频中视频帧的图片特征和动作特征进行融合，得到融合特征，所述视频帧的动作特征的标签用于指示所述动作特征对应的事件类型；

将所述融合特征输入时序分割模型，通过所述时序分割模型，确定所述视频的至少一个候选时间段；

对于所述至少一个候选时间段中任一候选时间段内多个视频帧的动作特征的标签，确定所述任一候选时间段中属于不同种类的标签的数量；

将数量最多的标签所指示的事件类型，确定为所述任一候选时间段所对应的事件类型；

根据所述至少一个候选时间段以及所述至少一个候选时间段所对应的事件类型，确定所述目标视频类型所指示的目标事件类型对应的至少一个视频片段；

基于所述至少一个视频片段，生成目标视频。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频中视频帧的图片特征和动作特征进行融合，得到融合特征之前，所述方法还包括：

将所述视频帧输入图片识别模型，通过所述图片识别模型对所述视频帧进行识别，输出所述视频帧的图片特征；

将所述视频帧输入动作识别模型，通过所述动作识别模型对所述视频帧进行识别，输出所述视频帧的动作特征和所述动作特征的标签。

3.根据权利要求2所述的方法，其特征在于，所述将所述视频帧输入图片识别模型，通过所述图片识别模型对所述视频帧进行识别，输出所述视频帧的图片特征包括：

将所述视频帧输入所述图片识别模型，通过所述图片识别模型的卷积层，提取所述视频帧的图片特征，输出所述图片特征。

4.根据权利要求2所述的方法，其特征在于，所述将所述视频帧输入动作识别模型，通过所述动作识别模型对所述视频帧进行识别，输出所述视频帧的动作特征和所述动作特征的标签包括：

以目标数量的视频帧为一组，将所述视频帧逐组输入所述动作识别模型，通过所述动作识别模型的卷积层，提取所述视频帧的动作特征；

通过所述动作识别模型的全连接层，确定所述动作特征的标签；

输出所述动作特征和所述动作特征的标签。

5.根据权利要求2所述的方法，其特征在于，所述图片识别模型和所述动作识别模型的训练过程包括：

获取第一训练数据集，所述第一训练数据集包括第一样本图片和所述第一样本图片的第一样本标注信息，所述第一样本标注信息用于指示所述第一样本图片对应的事件类型，基于所述第一训练数据集训练所述图片识别模型；

获取第二训练数据集，所述第二训练数据集包括第二样本图片和所述第二样本图片的第二样本标注信息，所述第二样本标注信息用于指示所述第二样本图片对应的事件类型，基于所述第二训练数据集训练所述动作识别模型。

6.根据权利要求1所述的方法，其特征在于，所述将所述融合特征输入时序分割模型，通过所述时序分割模型，确定至少一个候选时间段包括：

将所述融合特征输入所述时序分割模型，通过所述时序分割模型，输出所述至少一个候选时间段的起止时间信息；

基于所述至少一个候选时间段的起止时间信息，确定所述至少一个候选时间段。

7.根据权利要求1所述的方法，其特征在于，所述时序分割模型的训练过程包括：

获取第三训练数据集，所述第三训练数据集包括样本视频、所述样本视频的样本起止时间信息和所述样本视频所包括的样本事件类型；

基于所述第三训练数据集训练所述时序分割模型。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述至少一个候选时间段的起止时间信息包括开始时间信息和终止时间信息，所述将数量最多的标签所指示的事件类型，确定为所述任一候选时间段所对应的事件类型之后，所述方法还包括：

对于所述至少一个候选时间段中任一候选时间段，确定所述任一候选时间段中视频帧的灰度分布信息；

基于所述任一候选时间段中相邻两个视频帧的灰度分布信息，确定所述相邻两个视频帧的灰度分布相似度；

在所述灰度分布相似度小于目标阈值的情况下，若所述相邻两个视频帧中前一视频帧对应的时间信息与所述开始时间信息的差值小于所述前一视频帧对应的时间信息与所述终止时间信息的差值，则将所述前一视频帧对应的时间信息确定为所述任一候选时间段的开始时间信息；若所述相邻两个视频帧中前一视频帧对应的时间信息与所述终止时间信息的差值小于所述前一视频帧对应的时间信息与所述开始时间信息的差值，则将所述前一视频帧对应的时间信息确定为所述任一候选时间段的终止时间信息。

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述将数量最多的标签所指示的事件类型，确定为所述任一候选时间段所对应的事件类型之后，所述方法还包括：

确定所述至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息，所述起始视频帧为所述至少一个候选时间段中所指示的时刻最小的时间信息对应的视频帧，所述终止视频帧为所述至少一个候选时间段中所指示的时刻最大的时间信息对应的视频帧；

对于所述至少一个候选时间段中任一候选时间段，若所述任一候选时间段的起始视频帧所包括的数值信息，与所述任一候选时间段的终止视频帧所包括的数值信息不同，则将预设事件类型添加至所述任一候选时间段对应的事件类型中，所述预设事件类型指示所述任一候选时间段对应的视频片段的开始时刻对应的数值信息和终止时刻对应的数值信息不同。

10.根据权利要求9所述的方法，其特征在于，所述确定所述至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息之后，所述方法还包括：

对于所述至少一个候选时间段中相邻两个候选时间段，若所述相邻两个候选时间段中第一候选时间段的终止视频帧所包括的数值信息，与所述相邻两个候选时间段中第二候选时间段的起始视频帧所包括的数值信息不同，则将预设事件类型添加至所述第一候选时间段对应的事件类型中，其中，所述第二候选时间段的时间信息所指示的时刻位于所述第一候选时间段的时间信息所指示的时刻之后。

11.一种基于人工智能的视频生成装置，其特征在于，所述装置包括：

获取模块，用于获取待处理的视频和对应的目标视频类型，所述目标视频类型用于指示待从所述视频中获取的视频片段对应的事件类型；

第一确定模块，用于对所述视频中视频帧的图片特征和动作特征进行融合，得到融合特征，所述视频帧的动作特征的标签用于指示所述动作特征对应的事件类型；将所述融合特征输入时序分割模型，通过所述时序分割模型，确定所述视频的至少一个候选时间段；对于所述至少一个候选时间段中任一候选时间段内多个视频帧的动作特征的标签，确定所述任一候选时间段中属于不同种类的标签的数量；将数量最多的标签所指示的事件类型，确定为所述任一候选时间段所对应的事件类型；

第二确定模块，还用于根据所述至少一个候选时间段以及所述至少一个候选时间段所对应的事件类型，确定所述目标视频类型所指示的目标事件类型对应的至少一个视频片段；

生成模块，用于基于所述至少一个视频片段，生成目标视频。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

第一识别模块，用于将所述视频帧输入图片识别模型，通过所述图片识别模型对所述视频帧进行识别，输出所述视频帧的图片特征；

第二识别模块，用于将所述视频帧输入动作识别模型，通过所述动作识别模型对所述视频帧进行识别，输出所述视频帧的动作特征和所述动作特征的标签。

13.根据权利要求12所述的装置，其特征在于，所述第一识别模块用于：

将所述视频帧输入所述图片识别模型，通过所述图片识别模型的卷积层，提取所述视频帧的图片特征，输出所述图片特征。

14.根据权利要求12所述的装置，其特征在于，所述第二识别模块用于：

以目标数量的视频帧为一组，将所述视频帧逐组输入所述动作识别模型，通过所述动作识别模型的卷积层，提取所述视频帧的动作特征；

通过所述动作识别模型的全连接层，确定所述动作特征的标签；

输出所述动作特征和所述动作特征的标签。

15.根据权利要求12所述的装置，其特征在于，所述图片识别模型和所述动作识别模型的训练过程包括：

获取第一训练数据集，所述第一训练数据集包括第一样本图片和所述第一样本图片的第一样本标注信息，所述第一样本标注信息用于指示所述第一样本图片对应的事件类型，基于所述第一训练数据集训练所述图片识别模型；

获取第二训练数据集，所述第二训练数据集包括第二样本图片和所述第二样本图片的第二样本标注信息，所述第二样本标注信息用于指示所述第二样本图片对应的事件类型，基于所述第二训练数据集训练所述动作识别模型。

16.根据权利要求11所述的装置，其特征在于，所述第一确定模块用于：

将所述融合特征输入所述时序分割模型，通过所述时序分割模型，输出所述至少一个候选时间段的起止时间信息；

基于所述至少一个候选时间段的起止时间信息，确定所述至少一个候选时间段。

17.根据权利要求11所述的装置，其特征在于，所述时序分割模型的训练过程包括：

获取第三训练数据集，所述第三训练数据集包括样本视频、所述样本视频的样本起止时间信息和所述样本视频所包括的样本事件类型；

基于所述第三训练数据集训练所述时序分割模型。

18.根据权利要求11至17中任一项所述的装置，其特征在于，所述至少一个候选时间段的起止时间信息包括开始时间信息和终止时间信息，所述装置还包括：

第三确定模块，用于对于所述至少一个候选时间段中任一候选时间段，确定所述任一候选时间段中视频帧的灰度分布信息；

所述第三确定模块，还用于基于所述任一候选时间段中相邻两个视频帧的灰度分布信息，确定所述相邻两个视频帧的灰度分布相似度；

所述第三确定模块，还用于在所述灰度分布相似度小于目标阈值的情况下，若所述相邻两个视频帧中前一视频帧对应的时间信息与所述开始时间信息的差值小于所述前一视频帧对应的时间信息与所述终止时间信息的差值，则将所述前一视频帧对应的时间信息确定为所述任一候选时间段的开始时间信息；若所述相邻两个视频帧中前一视频帧对应的时间信息与所述终止时间信息的差值小于所述前一视频帧对应的时间信息与所述开始时间信息的差值，则将所述前一视频帧对应的时间信息确定为所述任一候选时间段的终止时间信息。

19.根据权利要求11至17中任一项所述的装置，其特征在于，所述装置还包括：

第四确定模块，用于确定所述至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息，所述起始视频帧为所述至少一个候选时间段中所指示的时刻最小的时间信息对应的视频帧，所述终止视频帧为所述至少一个候选时间段中所指示的时刻最大的时间信息对应的视频帧；

添加模块，用于对于所述至少一个候选时间段中任一候选时间段，若所述任一候选时间段的起始视频帧所包括的数值信息，与所述任一候选时间段的终止视频帧所包括的数值信息不同，则将预设事件类型添加至所述任一候选时间段对应的事件类型中，所述预设事件类型指示所述任一候选时间段对应的视频片段中开始时刻对应的数值信息和终止时刻对应的数值信息不同。

20.根据权利要求19所述的装置，其特征在于，所述添加模块，还用于：

对于所述至少一个候选时间段中相邻两个候选时间段，若所述相邻两个候选时间段中第一候选时间段的终止视频帧所包括的数值信息，与所述相邻两个候选时间段中第二候选时间段的起始视频帧所包括的数值信息不同，则将预设事件类型添加至所述第一候选时间段对应的事件类型中，其中，所述第二候选时间段的时间信息所指示的时刻位于所述第一候选时间段的时间信息所指示的时刻之后。

21.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一个计算机程序，所述计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求10任一项所述的基于人工智能的视频生成方法所执行的操作。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一个计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至权利要求10任一项所述的基于人工智能的视频生成方法所执行的操作。

Images