CN114845149B - 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 - Google Patents
视频片段的剪辑方法、视频推荐方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114845149B CN114845149B CN202110139361.4A CN202110139361A CN114845149B CN 114845149 B CN114845149 B CN 114845149B CN 202110139361 A CN202110139361 A CN 202110139361A CN 114845149 B CN114845149 B CN 114845149B
- Authority
- CN
- China
- Prior art keywords
- video
- splicing
- highlight
- features
- clips
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000004458 analytical method Methods 0.000 claims abstract description 108
- 230000014509 gene expression Effects 0.000 claims description 63
- 230000002776 aggregation Effects 0.000 claims description 32
- 238000004220 aggregation Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 29
- 238000010276 construction Methods 0.000 claims description 17
- 239000012634 fragment Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012015 optical character recognition Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 11
- 235000019633 pungent taste Nutrition 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims 4
- 238000012216 screening Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 11
- 239000000203 mixture Substances 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
Abstract
本申请公开了一种视频片段的剪辑方法、视频推荐方法、装置、设备及介质，涉及多媒体技术领域。该方法包括：获取视频库中存储的第一视频文件；对第一视频文件中的视频片段进行特征提取，得到视频特征；基于视频特征对视频片段进行精彩度分析，得到精彩度分析结果；响应于精彩度分析结果符合精彩度要求，基于符合精彩度要求的视频片段拼接得到第二视频文件。通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
Description
技术领域
本申请实施例涉及多媒体技术领域，特别涉及一种视频片段的剪辑方法、视频推荐方法、装置、设备及介质。
背景技术
精彩视频合辑是指从视频中剪辑出精彩的片段进行拼接得到的合辑视频。通常，在直播类应用程序中，主播在进行直播时，会对历史直播过程中的精彩视频片段进行选取并剪辑拼接得到精彩视频合辑向播放端用户进行推荐，如：在游戏直播后，从游戏直播视频中选择精彩游戏片段进行拼接，作为合辑向播放端用户推荐。
相关技术中，由用户或者运营人员在对多个视频进行观看后，从中选择一些视频片段进行剪辑后，再拼接合成视频合辑，得到一个合辑视频，该过程中需要用户或者运营人员对视频进行剪辑、合成、选择等处理。
通过上述方式合成得到的视频合辑，操作过程较为繁琐，且耗时较长，视频合辑的生成效率较低。
发明内容
本申请实施例提供了一种视频片段的剪辑方法、视频推荐方法、装置、设备及介质，能够提高视频合辑的生成效率。所述技术方案如下：
一方面，提供了一种视频片段的剪辑方法，所述方法包括：
获取视频库中存储的第一视频文件；
对所述第一视频文件中的视频片段进行特征提取，得到视频特征，所述视频特征用于指示所述视频片段的画面表现特征和音频表现特征；
基于所述视频特征对所述视频片段进行精彩度分析，得到所述视频片段对应的精彩度分析结果；
响应于所述精彩度分析结果符合精彩度要求，基于符合所述精彩度要求的视频片段拼接得到第二视频文件。
另一方面，提供了一种视频推荐方法，所述方法包括：
显示目标应用程序的视频推荐界面，所述视频推荐界面为所述目标应用程序中视频推荐功能所对应的界面，所述目标应用程序中登录有目标帐号；
在所述视频推荐界面中显示推荐合辑视频，所述推荐合辑视频为根据精彩度对视频片段进行拼接得到的视频；
所述精彩度是基于所述视频片段的视频特征分析得到的，所述视频特征包括画面表现特征和音频表现特征。
另一方面，提供了一种视频片段的剪辑装置，所述装置包括：
获取模块，用于获取视频库中存储的第一视频文件；
提取模块，用于对所述第一视频文件中的视频片段进行特征提取，得到视频特征，所述视频特征用于指示所述视频片段的画面表现特征和音频表现特征；
分析模块，用于基于所述视频特征对所述视频片段进行精彩度分析，得到所述视频片段对应的精彩度分析结果；
所述获取模块，还用于响应于所述精彩度分析结果符合精彩度要求，基于符合所述精彩度要求的视频片段拼接得到第二视频文件。
另一方面，提供了一种视频推荐装置，所述装置包括：
显示模块，用于显示目标应用程序的视频推荐界面，所述视频推荐界面为所述目标应用程序中视频推荐功能所对应的界面，所述目标应用程序中登录有目标帐号；
所述显示模块，还用于在所述视频推荐界面中显示推荐合辑视频，所述推荐合辑视频为根据精彩度对视频片段进行拼接得到的视频；
所述精彩度是基于所述视频片段的视频特征分析得到的，所述视频特征包括画面表现特征和音频表现特征。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的视频片段的剪辑方法或视频推荐方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的视频片段的剪辑方法或视频推荐方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，得到将精彩视频片段拼接后得到的第二视频文件，通过自动识别的方式从第一视频文件中自动识别得到精彩视频片段进行剪辑拼接，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的视频合辑的播放界面示意图；
图2是本申请一个示例性实施例提供的实施环境示意图；
图3是本申请一个示例性实施例提供的视频推荐方法的流程图；
图4是基于图3示出的实施例提供的视频片段的剪辑方法的流程图；
图5是基于图4示出的实施例提供的精彩度分析过程的示意图；
图6是本申请一个示例性实施例提供的视频片段的剪辑方法的整体流程图；
图7是本申请另一个示例性实施例提供的视频片段的剪辑方法的流程图；
图8是基于图7示出的实施例提供的多模态理解模型结构的示意图；
图9是本申请另一个示例性实施例提供的视频片段的剪辑方法的流程图；
图10是本申请一个示例性实施例提供的视频片段的剪辑装置的结构框图；
图11是本申请另一个示例性实施例提供的视频片段的剪辑装置的结构框图；
图12是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，针对本申请实施例中涉及的名词进行简单介绍：
视频合辑：是指从视频中剪辑出共性的视频片段，并将视频片段进行拼接、合成处理后，得到的合辑。示意性的，从多个视频或者单个视频中剪辑出同一个演员、同一种情节的视频片段，并将这些视频片段合并为一个精彩视频合辑。如：视频A为演员a出演的电视剧，视频B为演员a出演的电影，而视频A中包括演员a吃午餐的视频片段1，视频B中包括演员a吃晚餐的视频片段2，则根据拼接要求从视频A和视频B中剪辑出演员a吃饭的视频片段，即视频片段1和视频片段2进行拼接，得到视频合辑。
在一些实施例中，多个视频片段在视频合辑之间的拼接是直接拼接的，或，多个视频片段在视频合辑之间的拼接是通过预设的过渡视频拼接的，也即，在播放完视频片段1时，首先显示一个过渡视频，从而播放视频片段2。
示意性的，请参考图1，其示出了本申请一个示例性实施例提供的视频合辑的播放界面示意图，如图1所示，在播放界面100中播放视频合辑，其中，根据视频合辑的剪辑方式，即先播放视频片段1再播放视频片段2的顺序，首先显示视频片段1，其中包括演员110吃午餐的画面；在视频片段1播放结束后，显示过渡画面120，过渡画面120用于表示在两个视频片段之间的衔接，当过渡画面120显示完毕后，播放视频片段2，其中包括演员110吃晚餐的画面，其中，过渡画面120以一小段视频的形式显示在播放界面100中。
图2是本申请一个示例性实施例提供的实施环境示意图，如图2所示，该实施环境中包括终端210和服务器220，其中，终端210和服务器220之间通过通信网络230连接。
其中，终端210中安装有本申请实施例中所提供的视频应用程序，而视频应用程序中提供有视频推荐功能，也即，当用户在终端210中的视频应用程序中能够对视频进行观看，其中，视频应用程序还可以向用户提供推荐视频合辑，推荐视频合辑是从视频中对视频片段剪辑得到的。
服务器220用于向终端210提供获取视频数据(对应观看视频)和存储视频数据(对应上传视频)的功能，也即，终端210上传的视频发送至服务器220中进行存储，而当终端210需要播放视频时，从服务器220中获取视频数据进行播放，服务器220还可以向用户推荐视频。本申请实施例中，服务器220能够对视频库中的视频文件进行视频片段的精彩度分析，并基于精彩度分析的结果对视频片段进行拼接，得到视频合辑，从而向用户推荐视频合辑进行观看。
值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载设备等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
基于上述说明，首先对本申请实施例提供的视频推荐方法进行说明，以该方法应用于如图2所示的终端210中为例进行说明，如图3所示，该方法包括：
步骤301，显示目标应用程序的视频推荐界面。
其中，视频推荐界面为目标应用程序中视频推荐功能对应的界面，在一些实施例中，目标应用程序中登录有目标帐号。
在一些实施例中，视频推荐界面为目标应用程序中提供视频推荐功能的界面。示意性的，该视频推荐界面为目标应用程序的主界面；或，视频推荐界面为目标应用程序中与目标帐号对应的个性化定制界面；或，视频推荐界面为目标应用程序中任意一个能够提供视频推荐功能的界面。
在一些实施例中，用户在目标应用程序中登录目标帐号后，基于目标帐号进行界面浏览，并在接收到对视频推荐功能空间的选择操作时，显示视频推荐界面。
步骤302，在视频推荐界面中显示推荐合辑视频。
推荐合辑视频为根据精彩度对视频片段进行拼接得到的视频。其中，精彩度是基于视频片段的视频特征分析得到的，视频特征包括画面表现特征和音频表现特征。
在一些实施例中，根据精彩度对视频片段进行拼接时，包括如下两个维度的处理：
精彩度分析维度，即对视频片段进行精彩度分析，从而获取精彩度分析结果达到要求精彩度的视频片段；
片段选择维度，即选择符合拼接要求的视频片段。
也即，基于上述两种维度，需要选择符合拼接要求以及达到要求精彩度的视频片段进行拼接，得到推荐合辑视频。
在一些实施例中，推荐合辑视频是根据目标帐号的兴趣标签确定视频片段后拼接得到的视频；或，推荐合辑视频是根据目标应用程序中的热度词确定视频片段后拼接得到的视频。
在一些实施例中，接收对推荐合辑视频的选择操作后，基于选择操作播放该推荐合辑视频。
综上所述，本申请实施例提供的视频推荐方法，通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，得到推荐合辑视频，即精彩视频合辑，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
针对上述推荐合辑视频的生成过程，以该推荐合辑视频为第二视频文件为例，对本申请实施例提供的视频片段的剪辑方法进行说明，本申请提供的视频片段的剪辑方法可以应用于服务器中，也可以应用于终端中，还可以由终端和服务器协同实现。
本实施例中，以该方法应用于如图2所示的服务器220中为例进行说明，如图4所示，该方法包括：
步骤401，获取视频库中存储的第一视频文件。
在一些实施例中，第一视频文件为视频库中已存储的文件，也即，逐个将视频库中的视频文件作为第一视频文件进行后续处理。
在一些实施例中，第一视频文件为符合筛选条件的视频文件，示意性的，第一视频文件为指定用户上传的视频文件，或，第一视频文件为符合要求视频类型的视频文件，或，第一视频文件为互动值达到要求阈值的视频文件。
针对上述第一视频文件为符合要求视频类型的视频文件的情况，示意性的，当视频库中的视频文件为电视剧中的某一集、电影视频、电影片段、纪录片视频等类型的视频时，将该视频文件作为第一视频文件进行获取。
针对上述第一视频文件为互动至达到要求阈值的视频文件的情况，示意性的，当视频库中的视频文件在社交平台上的互动值达到预设的要求阈值时，则将该视频文件确定为第一视频文件进行获取。其中，互动值的计算方式为预先设定的，如：接收到一次点赞，互动值加2，接收到一个评论，互动值加5，接收到一个转发，互动值加10等，本申请实施例对此不加以限定。
在本实施例中，第一视频文件中还包括至少一个视频片段，该视频片段的划分包括如下方式中的至少一种：
第一，基于预设划分时长周期对第一视频文件进行划分，如：每隔20秒对第一视频文件进行划分，得到n个20秒的视频片段和最后遗留的结尾视频片段，n为正整数。
其中，当第一视频文件不足20秒时，则将第一视频文件直接作为一个视频片段进行后续处理。
第二，通过人工手动对第一视频文件进行划分。
也即，基于人工对第一视频文件的观看对第一视频文件的视频片段进行划分。
第三，通过视频片段划分模型对第一视频文件进行片段划分。
即，将第一视频文件输入至视频片段划分模型，由视频片段划分模型对第一视频文件进行特征提取后，对第一视频文件中帧与帧之间的关联性进行分析，从而对第一视频文件进行片段划分，得到至少一个视频片段。
值得注意的是，上述三种方式仅为视频片段划分方式的示意性举例，本申请实施例对视频片段的具体划分方式不加以限定。
步骤402，对第一视频文件中的视频片段进行特征提取，得到视频特征。
视频特征用于指示视频片段的画面表现特征和音频表现特征。
其中，画面表现特征是指从视频片段的界面表现上提取得到的特征，其中，画面表现特征中包括与主题名称、弹幕、对白等文本内容对应的特征，也包括与视频画面帧对应的特征。
在一些实施例中，获取视频片段的图像帧、音频帧和相关文本内容；对图像帧进行特征提取，得到第一画面表现特征；对音频帧进行特征提取，得到音频表现特征；对相关文本内容进行特征提取，得到第二画面表现特征。从而将第一画面表现特征、音频表现特征和第二画面表现特征进行融合，得到视频特征。
其中，相关文本内容是指与视频片段相关的，视频片段所涉及的文本内容，示意性的，相关文本内容中包括弹幕内容、标题内容、画面中出现的内容、对白内容等。
示意性的，第一视频文件中包括视频轨道和音频轨道，将视频轨道和音频轨道整合后，得到第一视频文件，也即，对视频轨道的画面和音频轨道的音频进行同步播放，即可实现第一视频文件的播放。故，在获取图像帧和音频帧时，从视频片段对应的视频轨道中获取图像帧；对视频片段对应的音频轨道中获取音频帧。而在获取相关文本内容时，对图像帧进行光学字符识别(Optical Character Recognition，OCR)，得到第一文本内容；对音频帧进行自动语音识别(Automatic Speech Recognition，ASR)，得到第二文本内容；获取第一视频文件的标题内容和弹幕内容，从而基于第一文本内容、第二文本内容、标题内容和弹幕内容确定相关文本内容。
其中，对图像帧进行OCR识别，可以对每一帧图像帧进行OCR识别，也可以仅对关键帧进行OCR识别，还可以从视频片段的所有图像帧中随机抽取要求数量的图像帧进行OCR识别，或者每个预设帧数选取一帧进行OCR识别，本申请实施例对此不加以限定。
对音频帧进行ASR识别时，对视频片段的音频整体进行ASR识别，得到第二文本内容。
标题内容即为第一视频文件所对应的标题，该标题为用户上传第一视频文件时设置的标题；或，标题为基于第一视频文件的说明内容生成的标题。
弹幕内容是指在视频片段的播放过程中用户发布的弹幕的内容；或，弹幕内容是指叠加显示在视频片段的画面之上的弹幕的内容，也即存在视频片段的播放过程中发布，而在视频片段播放完毕后显示的弹幕。
步骤403，基于视频特征对视频片段进行精彩度分析，得到视频片段对应的精彩度分析结果。
精彩度分析结果用于指示视频片段的精彩程度，在一些实施例中，精彩度分析结果以精彩度分值的形式体现；或，精彩度分析结果以精彩度分类的形式体现。
本申请实施例中，以精彩度分值的形式表示精彩度分析结果为例进行说明，示意性的，对视频片段进行特征提取后，得到视频特征，并对视频特征进行精彩度分析，得到精彩度分值72，用于表示对视频片段分析预测得到的精彩度为72。
示意性的，请参考图5，其示出了本申请一个示例性实施例提供的精彩度分析过程的示意图，如图5所示，针对视频片段500，首先获取视频片段500中的图像帧510、音频帧520和相关文本内容530(其中包括标题内容、弹幕内容、ASR识别得到的内容以及OCR识别得到的内容)，对图像帧510进行特征提取，得到图像表示特征511，对音频帧520进行特征提取，得到音频表示特征521，对相关文本内容530进行特征提取，得到文本表示特征531，从而将图像表示特征511、音频表示特征521和文本表示特征531进行融合，得到多维度融合特征540，也即上述视频特征。基于多维度融合特征540进行精彩度分析后，得到精彩度得分分布550。其中，精彩度得分分布550中包括至少一个第一视频文件中的视频片段所对应的精彩度分值。
步骤404，响应于精彩度分析结果符合精彩度要求，基于符合精彩度要求的视频片段拼接得到第二视频文件。
在一些实施例中，响应于精彩度分值达到分值阈值，基于达到分值阈值的视频片段拼接得到第二视频文件。
在一些实施例中，响应于精彩度分析结果符合精彩度要求，提取视频片段的拼接关键字，该拼接关键字用于指示视频片段的拼接维度。
确定视频片段的拼接要求，该拼接要求包括待拼接的视频片段对应的目标拼接关键字，对目标拼接关键字对应的视频片段进行拼接，得到第二视频文件。
在一些实施例中，该拼接关键字包括至少两个关键字维度，则基于拼接关键字的关键字维度和拼接关键字的关键字内容，将指定维度以及指定内容的视频片段聚合在指定聚合簇内。也即，将指定维度和指定内容的视频片段聚合存储，从而在拼接之前，能够直接根据视频片段的聚合存储关系，从指定聚合簇内获取视频片段进行拼接。
示意性的，至少两个关键字维度中包括角色维度和出处维度，则将角色维度上关键字内容为第一角色的视频片段聚合在第一聚合簇内，将出处维度上关键字内容为脱口秀的视频片段聚合在第二聚合簇内，从而，当需要对第一角色演讲脱口秀的视频片段进行拼接时，从第一聚合簇和第二聚合簇内选择视频片段进行拼接处理。其中，在从第一聚合簇和第二聚合簇内选择视频片段时，选择第一聚合簇和第二聚合簇内的交集视频片段进行拼接。
本申请实施例主要从三个维度对视频片段库进行聚合：出处维度(电视剧、电影、综艺、动漫、游戏、纪录片、体育、小说等名称)、角色维度(或者演员维度)、情节维度，示意性的，将相同出处的精彩片段聚合为一个簇，如脱口秀精彩片段簇，将相同出处-相同演员的精彩片段聚合为一个簇，如脱口秀-演员A精彩片段簇。即三个聚合维度可以组合，构建出大量视频片段聚合簇，用于后期合成精彩集锦视频。
在一些实施例中，针对可每个聚合簇，筛选出部分片段合成构建一个精彩锦集视频，聚合簇中每个视频片段的构建分数为第一权重与视频片段精彩度分值的第一乘积，加上第二权重与用户兴趣分数的第二乘积，加上第三权重与视频片段热度的第三乘积之和。其中第一权重、第二权重和第三权重之和为1，用户兴趣分数为用户兴趣标签与视频片段的出处、演员/角色、情节看点匹配项的兴趣权重加权和，视频片段的热度为第一视频文件的播放热度与视频片段的弹幕量的乘积，比上第一视频文件总弹幕量的值。
保留构建分数满足一定阈值的视频片段，并基于视频片段的构建分数进行降序排序，然后将多个视频片段合成为一个精彩锦集视频，其中，精彩集锦视频的主题根据预设方式生成，如：基于拼接关键字与预设内容生成主题。
综上所述，本申请实施例提供的视频片段的剪辑方法，通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，得到将精彩视频片段拼接后得到的第二视频文件，通过自动识别的方式从第一视频文件中自动识别得到精彩视频片段进行剪辑拼接，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
值得注意的是，当终端和服务器协同实现该视频片段的剪辑方法时，由终端执行上述过程中的部分步骤，服务器执行剩余步骤，如：由终端获取本地视频库中存储的第一视频文件，以及对视频特征进行提取，并将视频特征发送至服务器，从而由服务器基于视频特征进行精彩度分析。
示意性的，图6示出了本申请一个示例性实施例提供的视频片段的剪辑方法的整体流程图，该方法可以应用于服务器中，也可以应用于终端中，还可以由终端和服务器协同实现。
本实施例中，以该方法应用于如图2所示的服务器220中为例进行说明，如图6所示，该过程中包括：
步骤601，对平台视频库中的视频进行精彩片段识别。
即，获取平台视频库中存储的视频，并对视频中的视频片段进行精彩度识别。
在一个可选的实施例中，对视频片段进行精彩度识别，得到视频片段对应的精彩度分值。
步骤602，对精彩视频片段进行聚合。
在一些实施例中，从视频片段中选取出精彩度分值大于要求分值的视频片段作为精彩视频片段。
基于精彩视频片段的关键字维度和关键字内容，对精彩视频片段进行聚合。
步骤603，将相关的多个精彩视频片段拼接构建得到精彩集锦视频。
可选地，将符合拼接要求的精彩视频片段进行拼接，得到精彩集锦视频。
在一个可选的实施例中，上述拼接关键字中包括出处关键字、角色关键字和情节关键字，图7是本申请另一个示例性实施例提供的视频片段的剪辑方法的流程图，该方法可以应用于服务器中，也可以应用于终端中，还可以由终端和服务器协同实现。
本实施例中，以该方法应用于服务器中为例进行说明，如图7所示，该方法包括：
步骤701，获取视频库中存储的第一视频文件。
在本实施例中，第一视频文件中还包括至少一个视频片段。
步骤702，对第一视频文件中的视频片段进行特征提取，得到视频特征。
视频特征用于指示视频片段的画面表现特征和音频表现特征。
其中，画面表现特征是指从视频片段的界面表现上提取得到的特征，其中，画面表现特征中包括与主题名称、弹幕、对白等文本内容对应的特征，也包括与视频画面帧对应的特征。
在一些实施例中，获取视频片段的图像帧、音频帧和相关文本内容；对图像帧进行特征提取，得到第一画面表现特征；对音频帧进行特征提取，得到音频表现特征；对相关文本内容进行特征提取，得到第二画面表现特征。从而将第一画面表现特征、音频表现特征和第二画面表现特征进行融合，得到视频特征。
步骤703，基于视频特征对视频片段进行精彩度分析，得到视频片段对应的精彩度分析结果。
精彩度分析结果用于指示视频片段的精彩程度，在一些实施例中，精彩度分析结果以精彩度分值的形式体现；或，精彩度分析结果以精彩度分类的形式体现。
步骤704，响应于精彩度分析结果符合精彩度要求，基于视频片段的切分来源，提取视频片段的出处关键字。
其中，视频片段的切分来源用于指示视频片段所对应的第一视频文件，也即，确定剪辑得到该视频片段的第一视频文件。在一些实施例中，基于第一视频文件的主题确定视频片段的出处关键字。
示意性的，第一视频文件为一档脱口秀类综艺栏目内的一期节目，也即，第一视频文件对应的主题包括脱口秀、综艺、节目名称等，则视频片段对应的出处关键字中也包括脱口秀、综艺、节目名称等；或者，视频片段对应的出处关键字为从主题中选择的关键字，如：视频片段对应的出处关键字中也包括脱口秀。其中，在选择时，可以选择主题中的第一个内容，也可以随机选择主题中的至少一个内容，本申请实施例对此不加以限定。
步骤705，响应于精彩度分析结果符合精彩度要求，基于视频片段的画面表现特征，提取视频片段的角色关键字。
其中，画面表现特征用于表示从视频片段的界面表现上提取得到的特征，其中，画面表现特征中包括与弹幕、对白等文本内容对应的特征，也包括与视频画面帧对应的特征。
在一些实施例中，对视频片段中的图像帧进行特征提取，得到第一画面表现特征，对视频片段的相关文本内容进行特征提取，得到第二画面表现特征，并基于第一画面表现特征和第二画面表现特征得到用于确定角色关键字的画面表现特征。其中，相关文本内容中包括或者不包括主题名称。
也即通过对视频片段的弹幕、OCR识别的字幕、ASR识别的对白文本进行实体词挖掘，采用来自变换器的双向编码器表征量(Bidirectional Encoder Representationsfrom Transformers，BERT)和条件随机场(Conditional Random Field，CRF)序列标注模型，将挖掘出的实体词与角色库(或者演员库)进行匹配，保留匹配到的演员/角色。另外可通过对视频抽取图像帧，基于图像特征识别相关的演员与角色。视频片段的演员与角色可能存在多个。
步骤706，响应于精彩度分析结果符合精彩度要求，基于视频片段的视频特征，提取视频片段的情节关键字。
其中，视频特征包括画面表现特征和音频表现特征。
也即，通过使用视频片段的弹幕、OCR识别的字幕、ASR识别的对白文本，以及图像帧、音频帧，经过多模态理解模型对视频片段进行建模，然后对情节看点进行分类。不同视频类型的情节看点集合不同，如：电视剧看点有古装武打、清代宫斗等、体育类视频有篮球扣篮、足球射门等。在一些实施例中，对情节类别的识别同时，对视频片段的视频类别进行识别，从而基于视频类别对情节进行更精确的识别。
示意性的，图8是本申请一个示例性实施例提供的多模态理解模型结构的示意图，如图8所示，针对视频片段800，首先获取视频片段800中的图像帧810、音频帧820和相关文本内容830，对图像帧810进行特征提取，得到图像表示特征811，对音频帧820进行特征提取，得到音频表示特征821，对相关文本内容830进行特征提取，得到文本表示特征831，从而将图像表示特征811、音频表示特征821和文本表示特征831进行融合，得到多维度融合特征840，也即上述视频特征。基于多维度融合特征840进行分类分析，得到视频片段800的视频类别分类结果851和情节分类结果852。
在一些实施例中，上述图5示出的模型与图8示出的模型共享模型参数，也即在提取多维度融合特征540和多维度融合特征840时，采用的模型结构是相同的；或者在一些实施例中，图5示出的模型的模型参数为图8示出的模型参数的初始化数据。
可选地，保留满足一定阈值的视频片段的情节类别，如：将概率大于0.3的情节类别保留为视频片段的情节类别，即视频片段可以包括多个情节类别。
步骤707，确定视频片段的拼接要求，拼接要求包括待拼接的视频片段对应的目标拼接关键字。
可选地，拼接要求为基于不同的应用场景确定的用于拼接视频片段的要求。示意性的，确定拼接要求的方式包括如下方式中的至少一种：
第一，获取目标帐号的兴趣标签，兴趣标签是根据目标帐号的历史交互记录生成的，或，兴趣标签是目标帐号设定的；基于兴趣标签，确定目标帐号对视频片段进行拼接的拼接要求。
示意性的，获取用户的兴趣画像标签列表，用户的兴趣画像标签是在用户的播放历史行为上统计的，如用户兴趣标签列表：[(无间道，0.03)，(演员A，0.022)，(古装武打，0.020)，…，(黑社会打斗，0.013)]，数值为用户对此兴趣标签的兴趣权重。从画像标签列表中选取权重值大于要求权重的标签作为用户的兴趣标签，并基于兴趣标签确定拼接要求，其中，拼接要求中包括兴趣标签作为目标拼接关键字。
第二，获取互动平台内当前的热度词，热度词用于表示互动平台的热点话题；基于热度词，确定热点话题对应的拼接要求。
在一些实施例中，热度词用于表示互动平台内当前的热搜词，也即，基于用户帐号的搜索频率确定当前互动平台内的热搜词。在一些实施例中，热度词为搜索频率最高的m个词，m为正整数。
步骤708，对目标拼接关键字对应的视频片段进行拼接，得到第二视频文件。
可选地，基于目标拼接关键字从目标聚合簇内筛选视频片段进行拼接，从而得到第二视频文件。
综上所述，本申请实施例提供的视频片段的剪辑方法，通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，得到将精彩视频片段拼接后得到的第二视频文件，通过自动识别的方式从第一视频文件中自动识别得到精彩视频片段进行剪辑拼接，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
本实施例提供的方法，通过提取出处关键字、角色关键字以及情节关键字对视频片段基于不同维度进行分类，从而在拼接时，基于关键字维度和关键字内容选取视频片段进行拼接，提高了视频片段的拼接效率。
在一个可选的实施例中，通过精彩度分析模型对视频片段的精彩度进行分析。图9是本申请另一个示例性实施例提供的视频片段的剪辑方法的流程图，该方法可以应用于服务器中，也可以应用于终端中，还可以由终端和服务器协同实现。
本实施例中，以该方法应用于服务器中为例进行说明，如图9所示，该方法包括：
步骤901，获取视频库中存储的第一视频文件。
在本实施例中，第一视频文件中还包括至少一个视频片段。
步骤902，对第一视频文件中的视频片段进行特征提取，得到视频特征。
视频特征用于指示视频片段的画面表现特征和音频表现特征。
其中，画面表现特征是指从视频片段的界面表现上提取得到的特征，其中，画面表现特征中包括与主题名称、弹幕、对白等文本内容对应的特征，也包括与视频画面帧对应的特征。
在一些实施例中，获取视频片段的图像帧、音频帧和相关文本内容；对图像帧进行特征提取，得到第一画面表现特征；对音频帧进行特征提取，得到音频表现特征；对相关文本内容进行特征提取，得到第二画面表现特征。从而将第一画面表现特征、音频表现特征和第二画面表现特征进行融合，得到视频特征。
步骤903，将视频特征输入精彩度分析模型。
在一些实施例中，精彩度分析模型为经过训练的机器学习模型。
其中，在精彩度分析模型的训练过程中，获取样本视频，样本视频为标注有参考精彩度的视频，参考精彩度危机与接收到的标注操作生成的，或，参考精彩度为基于样本视频的播放情况生成的。
也即，包括人工标注和基于播放情况自动生成至少两种方式，其中针对良好总情况分别进行说明：
第一，人工标注方式，即通过人工方式对视频片段标注精彩得分，在一些实施例中，通过多人对视频片段进行精彩得分的标注，并在多个用户标注完毕后，对多个用户标注的精彩得分取平均值，作为视频片段最终的参考精彩度。
第二，基于播放情况自动生成的方式，即基于第一视频文件在互动平台内的播放情况生成参考精彩度。示意性的，基于预先定义的精彩片段的有效时间值范围，筛选满足时长要求的视频片段，如时长在5秒到30秒范围内的视频片段，统计每个视频片段的播放概率、播放完成度、分享概率(被分享次数/播放次数)、被评论概率(被评论次数/播放次数)。从而，参考精彩度的计算方式如下公式一所示：
公式一：g＝min((x1*e^Pp+x2*e^Pf+x3*e^Ps+x4*e^Pc)/D，1.0)
其中，g表示参考精彩度，x1、x2、x3、x4为权重，D为归一化项，可预先设定D的值。Pp表示播放概率，Pf表示播放完成度，Ps表示分享概率，Pc表示被评论概率。
将视频片段的参考精彩度分段映射到[0，G]的整数值，完成自动构建视频片段精彩得分模型数据集。G为预先设定的数值。
步骤904，通过精彩度分析模型对视频特征进行精彩度分析，输出得到精彩度分析结果。
在一些实施例中，在训练得到精彩度分析模型后，通过精彩度分析模型对视频特征进行精彩度分析，得到精彩度分析结果。
步骤905，响应于精彩度分析结果符合精彩度要求，基于符合精彩度要求的视频片段拼接得到第二视频文件。
在一些实施例中，响应于精彩度分值达到分值阈值，基于达到分值阈值的视频片段拼接得到第二视频文件。
在一些实施例中，响应于精彩度分析结果符合精彩度要求，提取视频片段的拼接关键字，该拼接关键字用于指示视频片段的拼接维度。
确定视频片段的拼接要求，该拼接要求包括待拼接的视频片段对应的目标拼接关键字，对目标拼接关键字对应的视频片段进行拼接，得到第二视频文件。
在一些实施例中，该拼接关键字包括至少两个关键字维度，则基于拼接关键字的关键字维度和拼接关键字的关键字内容，将指定维度以及指定内容的视频片段聚合在指定聚合簇内。也即，将指定维度和指定内容的视频片段聚合存储，从而在拼接之前，能够直接根据视频片段的聚合存储关系，从指定聚合簇内获取视频片段进行拼接。
综上所述，本申请实施例提供的视频片段的剪辑方法，通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，得到将精彩视频片段拼接后得到的第二视频文件，通过自动识别的方式从第一视频文件中自动识别得到精彩视频片段进行剪辑拼接，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
本实施例提供的方法，通过设计精彩度分析模型，对视频特征进行精彩度分析，避免了人工对精彩度视频进行剪辑的繁琐过程，提高了视频剪辑效率。
本实施例提供的方法，通过人工标注方法和自动生成的方式获取样本视频，并基于样本视频对精彩度分析模型进行训练，从而提高了精彩度分析模型的识别准确率。
图10是本申请一个示例性实施例提供的视频片段的剪辑装置的结构框图，如图10所示，该装置包括：
获取模块1010，用于获取视频库中存储的第一视频文件；
提取模块1020，用于对所述第一视频文件中的视频片段进行特征提取，得到视频特征，所述视频特征用于指示所述视频片段的画面表现特征和音频表现特征；
分析模块1030，用于基于所述视频特征对所述视频片段进行精彩度分析，得到所述视频片段对应的精彩度分析结果；
所述获取模块1010，还用于响应于所述精彩度分析结果符合精彩度要求，基于符合所述精彩度要求的视频片段拼接得到第二视频文件。
在一个可选的实施例中，所述提取模块1020，还用于响应于所述精彩度分析结果符合精彩度要求，提取所述视频片段的拼接关键字，所述拼接关键字用于指示所述视频片段的拼接维度；
如图11所示，该装置还包括：
确定模块1040，用于确定所述视频片段的拼接要求，所述拼接要求包括待拼接的所述视频片段对应的目标拼接关键字；
所述获取模块1010，还用于对所述目标拼接关键字对应的所述视频片段进行拼接，得到所述第二视频文件。
在一个可选的实施例中，所述拼接关键字包括至少两种关键字维度；
所述装置，还包括：
聚合模块1050，用于基于所述拼接关键字的所述关键字维度和所述拼接关键字的关键字内容，将指定维度以及指定内容的所述视频片段聚合在指定聚合簇内；
所述确定模块1040，还用于从所述视频库中确定与所述目标拼接关键字对应的目标聚合簇；
所述获取模块1010，还用于获取所述目标聚合簇内的所述视频片段。
在一个可选的实施例中，所述拼接关键字包括出处关键字、角色关键字和情节关键字；
所述提取模块1020，具体用于基于所述视频片段的切分来源，提取所述视频片段的所述出处关键字；
所述提取模块1020，具体用于基于所述视频片段的所述画面表现特征，提取所述视频片段的所述角色关键字；
所述提取模块1020，具体用于基于所述视频片段的所述视频特征，提取所述视频片段的所述情节关键字。
在一个可选的实施例中，所述获取模块1010，还用于获取目标帐号的兴趣标签，所述兴趣标签是根据所述目标帐号的历史交互记录生成的，或，所述兴趣标签为所述目标帐号设定的；
所述确定模块1040，还用于基于所述兴趣标签，确定所述目标帐号对所述视频片段进行拼接的所述拼接要求。
在一个可选的实施例中，所述获取模块1010，还用于获取互动平台内当前的热度词，所述热度词用于表示所述互动平台的热点话题；
所述确定模块1040，还用于基于所述热度词，确定所述热点话题对应的所述拼接要求。
在一个可选的实施例中，所述获取模块1010，还用于获取所述视频片段的图像帧、音频帧和相关文本内容；
所述提取模块1020，具体用于对所述图像帧进行特征提取，得到第一画面表现特征；对所述音频帧进行特征提取，得到所述音频表现特征；对所述相关文本内容进行特征提取，得到第二画面表现特征；
所述提取模块1020，具体用于将所述第一画面表现特征、所述音频表现特征和所述第二画面表现特征进行融合，得到所述视频特征。
在一个可选的实施例中，所述获取模块1010，还用于获取从所述视频片段对应的视频轨道中获取所述图像帧；从所述视频片段对应的音频轨道中获取所述音频帧；
所述获取模块1010，还用于获取对所述图像帧进行光学字符识别，得到第一文本内容；对所述音频帧进行自动语音识别，得到第二文本内容；获取所述第一视频文件的标题内容和弹幕内容；基于所述第一文本内容、所述第二文本内容、所述标题内容和所述弹幕内容确定所述相关文本内容。
在一个可选的实施例中，所述分析模块1030，具体用于将所述视频特征输入精彩度分析模型；通过所述精彩度分析模型对所述视频特征进行精彩度分析，输出得到所述精彩度分析结果。
在一个可选的实施例中，所述获取模块1010，还用于获取样本视频，所述样本视频为标注有参考精彩度的视频，所述参考精彩度为基于接收到的标注操作生成的，或，所述参考精彩度为基于所述样本视频的播放情况生成的；
所述装置，还包括：
训练模块1060，用于基于所述样本视频对所述精彩度分析模型进行训练。
本申请实施例中还提供了一种视频推荐装置，该装置包括：
显示模块，用于显示目标应用程序的视频推荐界面，所述视频推荐界面为所述目标应用程序中视频推荐功能所对应的界面，所述目标应用程序中登录有目标帐号；
该显示模块，还用于在所述视频推荐界面中显示推荐合辑视频，所述推荐合辑视频为根据精彩度对视频片段进行拼接得到的视频；
所述推荐合辑视频是根据所述目标帐号的兴趣标签确定视频片段后拼接得到的视频；或，所述推荐合辑视频是根据所述目标应用程序中的热度词确定视频片段后拼接得到的视频。
综上所述，本申请实施例提供的视频片段的剪辑装置和视频推荐装置，通过提取视频片段的视频特征，并对视频特征进行精彩度分析，得到视频片段对应的精彩度分析结果，从而基于精彩度分析结果进行视频片段的拼接，得到将精彩视频片段拼接后得到的第二视频文件，通过自动识别的方式从第一视频文件中自动识别得到精彩视频片段进行剪辑拼接，提高了精彩视频合辑的生成效率，避免了耗费大量人工进行精彩视频合辑的制作。
需要说明的是：上述实施例提供的视频片段的剪辑装置和视频推荐装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频片段的剪辑装置和视频推荐装置，与视频片段的剪辑方法和视频推荐方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：
服务器1200包括中央处理单元(Central Processing Unit，CPU)1201、包括随机存取存储器(Random Access Memory，RAM)1202和只读存储器(Read Only Memory，ROM)1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。服务器1200还包括用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1206。
大容量存储设备1206通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。大容量存储设备1206及其相关联的计算机可读介质为服务器1200提供非易失性存储。也就是说，大容量存储设备1206可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1206可以统称为存储器。
根据本申请的各种实施例，服务器1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1200可以通过连接在系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
本申请的实施例还提供了一种计算机设备，该计算机设备可以是终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的视频片段的剪辑方法或视频推荐方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的视频片段的剪辑方法或视频推荐方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的视频片段的剪辑方法或视频推荐方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (13)
1.一种视频片段的剪辑方法，其特征在于，所述方法包括：
获取视频库中存储的第一视频文件；
对所述第一视频文件中的视频片段进行特征提取，得到视频特征，所述视频特征用于指示所述视频片段的画面表现特征和音频表现特征，所述画面表现特征是指从所述视频片段的界面表现上提取得到的特征，所述画面表现特征中包括与主题名称、弹幕、对白的文本内容对应的特征，以及与视频画面帧对应的特征；
基于所述视频特征对所述视频片段进行精彩度分析，得到所述视频片段对应的精彩度分析结果；
响应于所述精彩度分析结果符合精彩度要求，基于所述视频特征提取所述视频片段的拼接关键字，所述拼接关键字用于指示所述视频片段的拼接维度，所述拼接关键字包括至少两种关键字维度；
基于所述拼接关键字的所述关键字维度和所述拼接关键字的关键字内容，将指定维度以及指定内容的所述视频片段聚合在指定聚合簇内；
确定所述视频片段的拼接要求，所述拼接要求包括待拼接的所述视频片段对应的目标拼接关键字；
从所述视频库中确定与所述目标拼接关键字对应的目标聚合簇；
获取所述目标聚合簇内的所述视频片段；
对所述目标拼接关键字对应的所述视频片段进行拼接，得到第二视频文件，其中，针对每个目标聚合簇，筛选出部分片段合成构建精彩锦集视频，所述目标聚合簇中每个视频片段的构建分数为第一权重与所述精彩度分析结果的第一乘积，加上第二权重与用户兴趣分数的第二乘积，加上第三权重与视频片段热度的第三乘积之和；其中，所述第一权重、所述第二权重和所述第三权重之和为1，所述用户兴趣分数为用户兴趣标签与视频片段的出处、演员或角色、情节看点匹配项的兴趣权重加权和，所述视频片段的热度为所述第一视频文件的播放热度与所述视频片段的弹幕量的乘积，比上所述第一视频文件总弹幕量的值；保留所述构建分数满足一定阈值的视频片段，并基于所述视频片段的所述构建分数进行降序排序；将多个视频片段合成所述精彩锦集视频作为所述第二视频文件。
2.根据权利要求1所述的方法，其特征在于，所述提取所述视频片段的拼接关键字，包括：
基于所述视频片段的切分来源，提取所述视频片段的出处关键字；
基于所述视频片段的所述画面表现特征，提取所述视频片段的角色关键字；
基于所述视频片段的所述视频特征，提取所述视频片段的情节关键字。
3.根据权利要求1或2任一所述的方法，其特征在于，所述确定所述视频片段的拼接要求，包括：
获取目标帐号的兴趣标签，所述兴趣标签是根据所述目标帐号的历史交互记录生成的，或，所述兴趣标签为所述目标帐号设定的；
基于所述兴趣标签，确定所述目标帐号对所述视频片段进行拼接的所述拼接要求。
4.根据权利要求1或2任一所述的方法，其特征在于，所述确定所述视频片段的拼接要求，包括：
获取互动平台内当前的热度词，所述热度词用于表示所述互动平台的热点话题；
基于所述热度词，确定所述热点话题对应的所述拼接要求。
5.根据权利要求1或2任一所述的方法，其特征在于，所述对所述第一视频文件中的视频片段进行特征提取，得到视频特征，包括：
获取所述视频片段的图像帧、音频帧和相关文本内容；
对所述图像帧进行特征提取，得到第一画面表现特征；
对所述音频帧进行特征提取，得到所述音频表现特征；
对所述相关文本内容进行特征提取，得到第二画面表现特征；
将所述第一画面表现特征、所述音频表现特征和所述第二画面表现特征进行融合，得到所述视频特征。
6.根据权利要求5所述的方法，其特征在于，所述获取所述视频片段的图像帧、音频帧和相关文本内容，包括：
从所述视频片段对应的视频轨道中获取所述图像帧；
从所述视频片段对应的音频轨道中获取所述音频帧；
对所述图像帧进行光学字符识别，得到第一文本内容；对所述音频帧进行自动语音识别，得到第二文本内容；获取所述第一视频文件的标题内容和弹幕内容；基于所述第一文本内容、所述第二文本内容、所述标题内容和所述弹幕内容确定所述相关文本内容。
7.根据权利要求1或2任一所述的方法，其特征在于，所述基于所述视频特征对所述视频片段进行精彩度分析，得到所述视频片段对应的精彩度分析结果，包括：
将所述视频特征输入精彩度分析模型；
通过所述精彩度分析模型对所述视频特征进行精彩度分析，输出得到所述精彩度分析结果。
8.根据权利要求7所述的方法，其特征在于，所述将所述视频特征输入精彩度分析模型之前，还包括：
获取样本视频，所述样本视频为标注有参考精彩度的视频，所述参考精彩度为基于接收到的标注操作生成的，或，所述参考精彩度为基于所述样本视频的播放情况生成的；
基于所述样本视频对所述精彩度分析模型进行训练。
9.一种视频推荐方法，其特征在于，所述方法包括：
显示目标应用程序的视频推荐界面，所述视频推荐界面为所述目标应用程序中视频推荐功能所对应的界面，所述目标应用程序中登录有目标帐号；
在所述视频推荐界面中显示推荐合辑视频，所述推荐合辑视频为根据精彩度对第一视频文件中的视频片段进行拼接得到的视频；其中，通过响应于所述精彩度符合精彩度要求，基于所述视频片段的视频特征提取所述视频片段的拼接关键字，所述拼接关键字用于指示所述视频片段的拼接维度，所述拼接关键字包括至少两种关键字维度；基于所述拼接关键字的所述关键字维度和所述拼接关键字的关键字内容，将指定维度以及指定内容的所述视频片段聚合在指定聚合簇内；确定所述视频片段的拼接要求，所述拼接要求包括待拼接的所述视频片段对应的目标拼接关键字；从所述视频库中确定与所述目标拼接关键字对应的目标聚合簇；获取所述目标聚合簇内的所述视频片段；对所述目标拼接关键字对应的所述视频片段进行拼接，得到所述推荐合辑视频；其中，针对每个目标聚合簇，筛选出部分片段合成构建所述推荐合辑视频，所述目标聚合簇中每个视频片段的构建分数为第一权重与所述精彩度分析结果的第一乘积，加上第二权重与用户兴趣分数的第二乘积，加上第三权重与视频片段热度的第三乘积之和；其中，所述第一权重、所述第二权重和所述第三权重之和为1，所述用户兴趣分数为用户兴趣标签与视频片段的出处、演员或角色、情节看点匹配项的兴趣权重加权和，所述视频片段的热度为所述第一视频文件的播放热度与所述视频片段的弹幕量的乘积，比上所述第一视频文件总弹幕量的值；保留所述构建分数满足一定阈值的视频片段，并基于所述视频片段的所述构建分数进行降序排序；将多个视频片段合成所述推荐合辑视频；
所述精彩度是基于所述视频片段的视频特征分析得到的，所述视频特征包括画面表现特征和音频表现特征，所述画面表现特征是指从所述视频片段的界面表现上提取得到的特征，所述画面表现特征中包括与主题名称、弹幕、对白的文本内容对应的特征，以及与视频画面帧对应的特征。
10.一种视频片段的剪辑装置，其特征在于，所述装置包括：
获取模块，用于获取视频库中存储的第一视频文件；
提取模块，用于对所述第一视频文件中的视频片段进行特征提取，得到视频特征，所述视频特征用于指示所述视频片段的画面表现特征和音频表现特征，所述画面表现特征是指从所述视频片段的界面表现上提取得到的特征，所述画面表现特征中包括与主题名称、弹幕、对白的文本内容对应的特征，以及与视频画面帧对应的特征；
分析模块，用于基于所述视频特征对所述视频片段进行精彩度分析，得到所述视频片段对应的精彩度分析结果；
所述获取模块，还用于响应于所述精彩度分析结果符合精彩度要求，基于所述视频特征提取所述视频片段的拼接关键字，所述拼接关键字用于指示所述视频片段的拼接维度，所述拼接关键字包括至少两种关键字维度；
聚合模块，用于基于所述拼接关键字的所述关键字维度和所述拼接关键字的关键字内容，将指定维度以及指定内容的所述视频片段聚合在指定聚合簇内；
确定模块，用于确定所述视频片段的拼接要求，所述拼接要求包括待拼接的所述视频片段对应的目标拼接关键字；
所述确定模块，还用于从所述视频库中确定与所述目标拼接关键字对应的目标聚合簇；
所述获取模块，还用于获取所述目标聚合簇内的所述视频片段；
所述获取模块，还用于对所述目标拼接关键字对应的所述视频片段进行拼接，得到第二视频文件，其中，针对每个目标聚合簇，筛选出部分片段合成构建精彩锦集视频，所述目标聚合簇中每个视频片段的构建分数为第一权重与所述精彩度分析结果的第一乘积，加上第二权重与用户兴趣分数的第二乘积，加上第三权重与视频片段热度的第三乘积之和；其中，所述第一权重、所述第二权重和所述第三权重之和为1，所述用户兴趣分数为用户兴趣标签与视频片段的出处、演员或角色、情节看点匹配项的兴趣权重加权和，所述视频片段的热度为所述第一视频文件的播放热度与所述视频片段的弹幕量的乘积，比上所述第一视频文件总弹幕量的值；保留所述构建分数满足一定阈值的视频片段，并基于所述视频片段的所述构建分数进行降序排序；将多个视频片段合成所述精彩锦集视频作为所述第二视频文件。
11.一种视频推荐装置，其特征在于，所述装置包括：
显示模块，用于显示目标应用程序的视频推荐界面，所述视频推荐界面为所述目标应用程序中视频推荐功能所对应的界面，所述目标应用程序中登录有目标帐号；
所述显示模块，还用于在所述视频推荐界面中显示推荐合辑视频，所述推荐合辑视频为根据精彩度对第一视频文件中的视频片段进行拼接得到的视频；其中，通过响应于所述精彩度符合精彩度要求，基于所述视频片段的视频特征提取所述视频片段的拼接关键字，所述拼接关键字用于指示所述视频片段的拼接维度，所述拼接关键字包括至少两种关键字维度；基于所述拼接关键字的所述关键字维度和所述拼接关键字的关键字内容，将指定维度以及指定内容的所述视频片段聚合在指定聚合簇内；确定所述视频片段的拼接要求，所述拼接要求包括待拼接的所述视频片段对应的目标拼接关键字；从所述视频库中确定与所述目标拼接关键字对应的目标聚合簇；获取所述目标聚合簇内的所述视频片段；对所述目标拼接关键字对应的所述视频片段进行拼接，得到所述推荐合辑视频，其中，针对每个目标聚合簇，筛选出部分片段合成所述推荐合辑视频，所述目标聚合簇中每个视频片段的构建分数为第一权重与所述精彩度分析结果的第一乘积，加上第二权重与用户兴趣分数的第二乘积，加上第三权重与视频片段热度的第三乘积之和；其中，所述第一权重、所述第二权重和所述第三权重之和为1，所述用户兴趣分数为用户兴趣标签与视频片段的出处、演员或角色、情节看点匹配项的兴趣权重加权和，所述视频片段的热度为所述第一视频文件的播放热度与所述视频片段的弹幕量的乘积，比上所述第一视频文件总弹幕量的值；保留所述构建分数满足一定阈值的视频片段，并基于所述视频片段的所述构建分数进行降序排序；将多个视频片段合成所述推荐合辑视频；
所述精彩度是基于所述视频片段的视频特征分析得到的，所述视频特征包括画面表现特征和音频表现特征，所述画面表现特征是指从所述视频片段的界面表现上提取得到的特征，所述画面表现特征中包括与主题名称、弹幕、对白的文本内容对应的特征，以及与视频画面帧对应的特征。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的视频片段的剪辑方法，或如权利要求9所述的视频推荐方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的视频片段的剪辑方法，或如权利要求9所述的视频推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110139361.4A CN114845149B (zh) | 2021-02-01 | 2021-02-01 | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110139361.4A CN114845149B (zh) | 2021-02-01 | 2021-02-01 | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114845149A CN114845149A (zh) | 2022-08-02 |
| CN114845149B true CN114845149B (zh) | 2024-04-30 |
Family
ID=82560788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110139361.4A Active CN114845149B (zh) | 2021-02-01 | 2021-02-01 | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114845149B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115412765B (zh) * | 2022-08-31 | 2024-03-26 | 北京奇艺世纪科技有限公司 | 视频精彩片段确定方法、装置、电子设备及存储介质 |
| CN116503791B (zh) * | 2023-06-30 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 模型的训练方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105657537A (zh) * | 2015-12-23 | 2016-06-08 | 小米科技有限责任公司 | 视频剪辑方法及装置 |
| CN108881994A (zh) * | 2018-06-29 | 2018-11-23 | 北京微播视界科技有限公司 | 视频访问方法、客户端、装置、终端、服务器和存储介质 |
| CN110121116A (zh) * | 2018-02-06 | 2019-08-13 | 上海全土豆文化传播有限公司 | 视频生成方法及装置 |
| CN110267119A (zh) * | 2019-06-28 | 2019-09-20 | 北京奇艺世纪科技有限公司 | 视频精彩度的评价方法及相关设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242007B2 (en) * | 2015-07-14 | 2019-03-26 | Verizon Patent And Licensing Inc. | Automated media clipping and combination system |
| CN109218835B (zh) * | 2018-09-30 | 2020-04-14 | 百度在线网络技术（北京）有限公司 | 精华视频的生成方法、装置、设备及存储介质 |
-
2021
- 2021-02-01 CN CN202110139361.4A patent/CN114845149B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105657537A (zh) * | 2015-12-23 | 2016-06-08 | 小米科技有限责任公司 | 视频剪辑方法及装置 |
| CN110121116A (zh) * | 2018-02-06 | 2019-08-13 | 上海全土豆文化传播有限公司 | 视频生成方法及装置 |
| CN108881994A (zh) * | 2018-06-29 | 2018-11-23 | 北京微播视界科技有限公司 | 视频访问方法、客户端、装置、终端、服务器和存储介质 |
| CN110267119A (zh) * | 2019-06-28 | 2019-09-20 | 北京奇艺世纪科技有限公司 | 视频精彩度的评价方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114845149A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102394756B1 (ko) | 비디오를 처리하기 위한 방법 및 장치 | |
| CN111143610B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
| CN110119711B (zh) | 一种获取视频数据人物片段的方法、装置及电子设备 | |
| CN112565825B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| US10650861B2 (en) | Video summarization and collaboration systems and methods | |
| JP7123122B2 (ja) | 認知的洞察を使用したビデオ・シーンの移動 | |
| CN113709561B (zh) | 视频剪辑方法、装置、设备及存储介质 | |
| KR101944469B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
| WO2017096877A1 (zh) | 一种推荐方法和装置 | |
| CN112015949A (zh) | 视频生成方法和装置、存储介质及电子设备 | |
| CN109408672B (zh) | 一种文章生成方法、装置、服务器及存储介质 | |
| CN111368141B (zh) | 视频标签的扩展方法、装置、计算机设备和存储介质 | |
| US20220107978A1 (en) | Method for recommending video content | |
| CN111314732A (zh) | 确定视频标签的方法、服务器及存储介质 | |
| CN114845149B (zh) | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 | |
| CN112507163A (zh) | 时长预测模型训练方法、推荐方法、装置、设备及介质 | |
| CN112287168A (zh) | 用于生成视频的方法和装置 | |
| CN114707502A (zh) | 虚拟空间处理方法、装置、电子设备及计算机存储介质 | |
| CN110569447B (zh) | 一种网络资源的推荐方法、装置及存储介质 | |
| CN116980665A (zh) | 一种视频处理方法、装置、计算机设备、介质及产品 | |
| CN115618024A (zh) | 多媒体推荐方法、装置及电子设备 | |
| CN110888896A (zh) | 数据搜寻方法及其数据搜寻系统 | |
| CN113537215A (zh) | 一种视频标签标注的方法及设备 | |
| KR101575819B1 (ko) | 동영상 검색 및 제공 방법 | |
| CN113761364B (zh) | 多媒体数据推送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40073412 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |