CN111988638B - 一种拼接视频的获取方法、装置、电子设备和存储介质 - Google Patents
一种拼接视频的获取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111988638B CN111988638B CN202010838870.1A CN202010838870A CN111988638B CN 111988638 B CN111988638 B CN 111988638B CN 202010838870 A CN202010838870 A CN 202010838870A CN 111988638 B CN111988638 B CN 111988638B
- Authority
- CN
- China
- Prior art keywords
- segment
- highlight
- target
- video
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012163 sequencing technique Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 239000012634 fragment Substances 0.000 claims description 6
- 230000009191 jumping Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开实施例公开了一种拼接视频的获取方法、装置、设备和存储介质,该方法包括:获取待处理的视频,并根据视频的埋点信息,从视频中提取高光片段集;将高光片段集中除指定高光片段外的剩余高光片段,分别与指定高光片段进行拼接,组成多个第一组合片段;将多个第一组合片段按图像内容连续性排序,获取目标第一组合片段,并在确定目标第一组合片段符合预设拼接规则,将目标第一组合片段作为拼接完成的目标视频。本公开实施例的技术方案,保证了拼接完成的目标视频在内容上的连续性,避免了用户观看时产生跳跃性过大的感受,提升了用户体验。
Description
技术领域
本公开实施例涉及视频处理技术,尤其涉及一种拼接视频的获取方法、装置、电子设备和存储介质。
背景技术
随着互联技术的不断发展,各种各样的视频软件出现在终端设备上,随之带来了大量的视频资料,而视频拼接技术作为一种常用的视频资料处理手段,成为了视频处理技术的重要分支。
一段完整录制的视频,由于时长较长,不易进行完全展示,通常会在视频中提取精彩片段组成短视频,进而反应该视频的精彩内容,在不占用用户过多观看时间的同时,还可以更快的吸引用户关注。
对于视频拼接,通常是在完整视频中提取多个精彩片段后,随机拼接合成,或者按照时间序列,将各个精彩片段进行拼接;但这样的拼接方式,前后拼接的精彩片段在视频内容上往往并不连贯,给用户造成观看内容跳跃性过大的感觉,用户体验较差。
发明内容
本公开提供了一种拼接视频的获取方法、装置、设备和存储介质,以实现对待处理视频中的多个高光片段进行拼接,进而获取拼接完成的目标视频。
第一方面,本公开实施例提供了一种拼接视频的获取方法,包括:
获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;
获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
判断所述目标第一组合片段是否符合预设拼接规则;
若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
第二方面,本公开实施例提供了一种拼接视频的获取装置,包括:
高光片段集提取模块,用于获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;
第一组合片段获取模块,用于获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
第一排序值获取模块,用于将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
第一判断执行模块,用于判断所述目标第一组合片段是否符合预设拼接规则;
第一目标视频获取模块,用于若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
第三方面,本公开实施例提供了一种电子设备,包括存储器、处理装置及存储在存储器上并可在处理装置上运行的计算机程序,处理装置执行程序时实现本公开任意实施例的拼接视频的获取方法。
第四方面,本公开实施例提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行本公开任意实施例的拼接视频的获取方法。
本公开实施例的技术方案,在提取的待处理视频的高光片段集中,将各高光片段与指定高光片段组成组合片段,并将各组合片段按照图像内容的连续性进行排序,进而获取排序值最高,也即图像内容最连续的目标组合片段作为拼接完成的目标视频,保证了拼接完成的目标视频在内容上的连续性,避免了用户观看时产生跳跃性过大的感受,提升了用户体验。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是本公开的一种拼接视频的获取方法的一个实施例的流程图;
图2是本公开的一种拼接视频的获取方法的另一个实施例的流程图;
图3是本公开的一种拼接视频的获取装置的一个实施例的结构框图;
图4是适于用来实现本公开实施例的一种电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
实施例一
图1是本公开实施例一提供的一种拼接视频的获取方法的流程图,本实施例可适用于提取视频中的多个高光片段,并获取拼接完成的目标视频,该方法可以由本公开实施例中的拼接视频的获取装置来执行,该装置可以通过软件和/或硬件实现,并集成在终端设备中,该方法具体包括如下步骤:
S110、获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集。
获取到的待处理的视频,可以是一部录制完整的视频,例如,一部电影、游戏内录制的一场比赛视频;也可以是一部完整视频中的一个或多个部分,例如,一部电影中将时长为15分钟的片头和时长为10分钟的片尾作为待处理的视频,也即在这两个视频片段中提取高光片段集;还可以是由多部视频组成的视频合集,例如,由20部电影组成的电影合集,进而在该电影合集中提取高光片段集;其中,高光片段集是由高光片段组成的集合,而高光片段是包括了高光事件的视频片段,高光事件是指视频中吸引观众的人物、事物、动作、故事和/或音效效果等特殊情节,不同类型的视频中,可以根据需要预先定义不同的高光事件,例如,在足球比赛视频中,将进球、铲断和扑救定义为高光事件;在对战类操作游戏视频中,将各个技能的释放动作定义为高光事件;战争题材电影中,出现大量飞机和坦克的战斗场景定义为高光事件;相比于视频中其它内容较为平淡的部分,高光事件更能引起人们的兴趣和关注。埋点信息是与高光事件相关的视频属性信息,预先标注在待处理的视频中,在获取到待处理的视频后,根据埋点信息,可以直接定位到各个高光事件;可选的,在本公开实施例中,所述埋点信息包括多个高光事件的触发时间点,所述高光片段集包括多个高光片段;特别的,在本公开实施例中,对待处理视频的类型和组成不作具体限定。
对于各高光事件的触发时间点的标注,可以通过对视频内容的识别,在识别到与预先定义的高光事件匹配的文字、人物、事物、动作和/或音效效果后,将对应的画面时间作为高光事件的触发时间点,例如,在获取到的足球比赛视频中,通过对视频内容的识别,在获取到与“进球”匹配的裁判手势时,确定高光事件“进球”发生,将存在裁判手势的视频画面对应的发生时间作为高光事件“进球”的触发时间点。特别的,高光事件发生的视频画面通常包括连续的多帧视频图像,例如上述技术方案中与“进球”匹配的裁判手势,可能持续几秒的时间,因此,会有几十帧甚至更多帧的连续视频画面均可对应高光事件“进球”的触发时间点,因此,将与高光事件匹配的连续多帧视频图像中的最后一帧视频图像的发生时间,作为该高光事件的触发时间点,以保证该高光事件的完整性。
高光片段是包括了高光事件的视频片段,其提取时长可以设定为相同数值,例如,各高光片段的提取时长均设定为5秒,也即在视频中提取的各高光片段均为5秒时长的视频片段,因此,从一个高光事件的触发时间点到该时刻之前5秒内的视频片段即作为一个高光片段;还可以根据高光事件的不同类型,将提取时长设定为不同数值,例如,足球比赛视频中的进球,从组织进攻到进球需要一段较长的时间来反应该过程,由此与高光事件“进球”相关的提取时长可以设定为15秒;足球比赛视频中的扑救,从对方球员射门到本方队员扑救成功,仅需要较短的时间即可完成,由此与高光事件“扑救”相关的提取时长可以仅设定为3秒;因此,在上述技术方案的基础上,对待处理的视频进行埋点信息标注时,除了标注各高光事件的触发时间点,还包括了标注与各高光事件的触发时间点匹配的提取时长,而提取时长的数值与对应的高光事件的类型相关。
可选的,在本公开实施例中,所述埋点信息还包括与各所述高光事件的触发时间点匹配的提取时长,所述提取时长包括向前提取时长和/或向后提取时长;高光事件的触发时间点,表示了该高光事件已确定发生的时刻,该时刻之前的视频内容,则表述了该高光事件发生的过程,但通常情况下,一个高光事件的时间触发点,并不表示该高光事件立即结束,可能还会存在相关的后续事件,例如,在高光事件“进球”发生后,会有一段时间的球员庆祝画面,而该画面可以看作高光事件“进球”的延续,也应该作为高光片段的一部分,如果不提取该部分的视频内容,会缺少内容上的连续性,使得提取的高光片段不能完整描述一个“进球”事件,因此,提取时长除了可以包括高光事件的触发时间点之前用于描述高光事件过程的向前提取时长,还可以包括高光事件的触发时间点之后用于描述与高光事件相关的后续事件的向后提取时长,确保提取的高光片段在内容上的完整性。
S120、获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段。
指定高光片段是高光片段集中最精彩、最吸引人的高光片段,不但需要包含在最终拼接完成的目标视频中,有时还需要优先播放展示,因此,在最终获取的拼接完成的目标视频中,还可以将指定高光片段置于最前端;指定高光片段,可以通过预先标注的埋点信息获取;特别的,对于指定高光片段的标注,可以通过对视频图像内容的识别,在对各高光事件的触发时间点进行标注时,同步进行;具体的,通过对视频内容的识别,在识别到与预先定义的高光事件匹配的文字、人物、事物、动作和/或音效效果后,将对应的画面时间作为高光事件的触发时间点,并在识别到指定高光事件时,将该高光事件对应的高光片段作为指定高光片段;以上述技术方案为例,在足球比赛视频中,已将进球、铲断和扑救定义为高光事件,而一场比赛中可能存在多个“进球”事件,当识别到第一个“进球”高光事件时,也即获取到与“进球”匹配的第一个裁判手势时,确定第一个“进球”高光事件发生,将对应的高光片段作为指定高光片段。
S130、将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段。
由于第一组合片段是由剩余高光片段分别与指定高光片段拼接而成,因此,为了保证拼接视频在图像内容上的连续性,需要对各个第一组合片段按照图像内容的连续性进行排序,以获取目标第一组合片段,即获取图像内容最连续的目标片段。
可选的,在本公开实施例中,所述将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段,包括:获取各所述第一组合片段的图像特征,并将各所述第一组合片段的图像特征输入至训练完成的图像排序模型,以获取各所述第一组合片段的第一排序值;获取所述第一排序值最高的第一组合片段作为所述目标第一组合片段。图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征;其中,颜色特征,描述了图像或图像区域所对应的景物的表面性质,是基于像素点的特征;纹理特征,描述了图像或图像区域所对应景物的表面性质,其需要在包含多个像素点的区域中进行统计计算;形状特征,则描述物体外边界的轮廓特征,以及整体上的区域特征;空间关系特征,是视频图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,例如,连接关系、重叠关系以及包含关系等,在本公开实施例中,对提取的图像特征的类型不作具体限定;对于各第一组合片段的图像特征,可以通过机器视觉识别技术提取。
可选的,在本公开实施例中,所述获取各所述第一组合片段的图像特征,包括:将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征;其中,所述图像识别模型基于三维卷积神经网络算法构建。卷积神经网络(Convolutional Neural Networks,CNN)是深度学习(Deep Learning)中包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks);三维卷积神经网络算法,具有高度和宽度两个空间维度,表示了视频数据的空间信息,还具有深度维度,表示了视频信息在时间上的连续性,因此,基于三维卷积神经网络算法构建的图像识别模型,在利用空间信息的基础上,也利用了连续帧的时间特性,在获取视频图像中每一帧视觉特征的同时,还能获取相邻帧随时间推移的变化,因此,相比于二维卷积神经网络算法和其它类型的图像识别算法,三维卷积神经网络算法提取到的图像特征(即时空特征)更加准确。
可选的,在本公开实施例中,在将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征前,还包括:构建初始三维卷积神经网络模型,并通过训练数据集对所述初始三维卷积神经网络模型进行图像识别训练,以获取训练完成的图像识别模型。训练数据集可以采用Sports-1M数据集;Sports-1M数据集是神经网络模型(CNN)模型进行视频分类训练的公开数据集,包括了487个类别,超过100万个网络视频资料,因此,Sports-1M数据集提供了丰富的图像识别训练样本,因此,对于构建的初始三维卷积神经网络模型,不需要进行大量且精细的人工数据标注来构建训练样本,大大减少了训练时对视频数据的标注需求;在本公开实施例中,通过训练完成的三维卷积神经网络模型获取各第一组合片段的4096维度的图像特征,以描述各第一组合片段包含的图像信息。
可选的,在本公开实施例中,在将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征前,包括:在各所述第一组合片段中,均匀获取预设数量的采样图像帧;所述将各所述第一组合片段输入至训练完成的图像识别模型,包括:将各所述第一组合片段的采样图像帧输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征。为了减少对各第一组合片段的图像帧的识别数量,同时保证各第一组合片段在内容上的连续性,均匀采样预设数量(例如,16帧)的图像帧,作为输入数据,例如,第一组合片段时长为16秒,从第1秒开始每间隔1秒获取1帧图像,总共获取16帧图像作为图像排序模型的输入数据。
训练完成的图像排序模型,是通过采样输入的图像数据,输出对应的图像第一排序值(数值为大于等于0且小于等于1),其中图像第一排序值表示了输入图像数据为正样本或负样本的概率,进而可以根据该图像第一排序值进行分类(即二值分类),确定输入的图像数据的类型。具体的,在本公开实施例中,正训练样本为完整视频内容中提取的连续片段(例如,时长均为2秒的连续片段),通过上述技术方案中训练完成的图像识别模型提取4096维度的图像特征,作为输入数据,例如:一个4096维度的图像特征的数据格式为1(索引号):0.2(特征值);2:0.4;……4096:0.1;正训练样本的输出值为1;负训练样本为不同的完整视频内容中分别提取的片段组合而成的不连续片段(例如,两个不同的完整视频中分别提取时长为1秒的片段,并将这两个片段拼接后组成时长为2秒的不连续片段);负训练样本的输出值为0。通过正训练样本和负训练样本对图像排序模型的训练,使得训练完成的图像排序模型具备了根据输入的图像特征,输出对应的图像第一排序值(大于等于0且小于等于1)的能力,其中第一排序值反应了输入数据在图像内容上的连续性;据此,通过训练完成的图像排序模型,根据各所述第一组合片段的图像特征,可以获取各所述第一组合片段的第一排序值。
可选的,在本公开实施例中,所述图像排序模型基于支持向量机的排序算法构建;支持向量机(Support Vector Machine,SVM)是一种通过监督学习(supervised learning)的方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane),也即通过输出一条明确的分割线,将输入数据进行分类;SVM具有稀疏性强的特点,只需要少量的训练样本即可获取较好的分类效果,同时具有泛化错误率低的特点,具备良好的学习能力且学习结果具有良好的推广性。
S140、判断所述目标第一组合片段是否符合预设拼接规则。
当获取到目标第一组合片段时,需要判断获取到的目标第一组合片段是否符合预先设定的拼接要求,可选的,在本公开实施例中,所述预设拼接规则包括拼接时长阈值和/或片段数量阈值。拼接时长阈值,定义了拼接后的目标拼接视频需要符合的时长要求,包括最小时长阈值和/或最大时长阈值,例如,拼接时长阈值为大于等于20秒且小于等于60秒,当获取到目标第一组合片段时,将目标第一组合片段的时长与拼接时长阈值进行比较,判断目标第一组合片段的时长是否符合拼接时长阈值;片段数量阈值,定义了拼接后的目标拼接视频需要符合的拼接片段的数量要求,包括最小数量阈值和/或最大时长阈值,当获取到目标第一组合片段时,将目标第一组合片段中高光片段的数量与片段数量阈值进行比较,判断目标第一组合片段中高光片段的数量是否符合片段数量阈值;特别的,如果目标第一组合片段的时长大于最大时长阈值,则只保留目标第一组合片段的前端时长为最大时长阈值的片段。
S150、若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
本公开实施例的技术方案,在提取的待处理视频的高光片段集中,将各高光片段与指定高光片段组成组合片段,并将各组合片段按照图像内容的连续性进行排序,进而获取排序值最高,也即图像内容最连续的目标组合片段作为拼接完成的目标视频,保证了拼接完成的目标视频在内容上的连续性,避免了用户观看时产生跳跃性过大的感受,提升了用户体验。
实施例二
图2是本公开实施例二提供的一种拼接视频的获取方法的流程图,本实施例以上述实施例为基础进行具体化,在本实施例中,目标第一组合片段不符合预设拼接规则,相应的,本实施例的方法具体包括如下步骤:
S210、获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集。
S220、获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段。
S230、将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段。
S240、判断所述目标第一组合片段是否符合预设拼接规则。
S250、若所述目标第一组合片段不符合所述预设拼接规则,则将所述高光片段集中除所述目标第一组合片段外的剩余高光片段,分别与所述目标第一组合片段进行拼接,组成多个第二组合片段,并将所述多个第二组合片段按图像内容连续性排序,获取目标第二组合片段。
例如,高光片段集中包括10个高光片段,分别为编号1至10号;其中,2号高光片段为指定高光片段,目标第一组合片段由2号高光片段和5号高光片段组成,将高光片段集中除2号高光片段和5号高光片段之外剩余的8个高光片段分别与目标第一组合片段进行拼接,组成8个第二组合片段。
S260、判断所述目标第二组合片段是否符合预设拼接规则。
在各第二组合片段中,2号高光片段和5号高光片段的拼接部分,也即第一组合片段,是通过图像排序模型排序后选定的,因此,在将第二组合片段输入至图像排序模型时,如果各第二组合片段中,剩余高光片段不与2号高光片段直接连接,只与5号高光片段连接,那么只需要将各第二组合片段中由5号高光片段与剩余8个高光片段的拼接部分(即除指定高光片段外的部分)输入至图像排序模型即可,获取到的第二排序值,也只与5号高光片段和剩余8个高光片段之间的内容连续性相关。
S270、若所述目标第二组合片段符合所述预设拼接规则,则将所述目标第二组合片段作为拼接完成的目标视频。
以上述技术方案为例,5号高光片段和7号高光片段组成的第二组合片段的第二排序值最高,此时,目标第二组合片段包括依次拼接的2号高光片段、5号高光片段和7号高光片段。
特别的,若所述目标第二组合片段不符合所述预设拼接规则,则继续将所述高光片段集中除所述目标第二组合片段外的剩余高光片段,分别与所述目标第二组合片段进行拼接,直至获取到的目标组合片段符合所述预设拼接规则,并将所述目标组合片段作为拼接完成的目标视频。以上述技术方案为例,如果由2号高光片段、5号高光片段和7号高光片段依次拼接的目标第二组合片段,仍然不符合预设拼接规则,则对目标第二组合片段继续进行拼接,直至获取到符合预设拼接规则的目标组合片段,例如,由2号高光片段、5号高光片段、7号高光片段、9号高光片段和6号高光片段依次连接的目标组合片段。
本公开实施例的技术方案,在提取的待处理视频的高光片段集中,将各高光片段与指定高光片段组成第一组合片段,并将各第一组合片段按照图像内容的连续性进行排序,进而获取排序值最高,也即图像内容最连续的目标第一组合片段,并在目标第一组合片段不符合预设拼接规则时,将目标第一组合片段与其它剩余高光片段继续拼接,直至获取到符合预设拼接规则的目标组合片段,使得最终获取到的拼接完成的目标视频符合拼接时长和/或拼接片段数量的要求,保证了拼接完成的目标视频在内容上的连续性,避免了用户观看时产生跳跃性过大的感受,提高了用户体验。
实施例三
图3是本公开实施例三提供的一种拼接视频的获取装置的结构框图,具体包括:高光片段集提取模块310、第一组合片段获取模块320、第一排序值获取模块330、第一判断执行模块340和第一目标视频获取模块350。
高光片段集提取模块310,用于获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;
第一组合片段获取模块320,用于获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
第一排序值获取模块330,用于将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
第一判断执行模块340,用于判断所述目标第一组合片段是否符合预设拼接规则;
第一目标视频获取模块350,用于若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
本公开实施例的技术方案,在提取的待处理视频的高光片段集中,将各高光片段与指定高光片段组成组合片段,并将各组合片段按照图像内容的连续性进行排序,进而获取排序值最高,也即图像内容最连续的目标组合片段作为拼接完成的目标视频,保证了拼接完成的目标视频在内容上的连续性,避免了用户观看时产生跳跃性过大的感受,提升了用户体验。
可选的,在上述技术方案的基础上,所述埋点信息包括多个高光事件的触发时间点,所述高光片段集包括多个高光片段。
可选的,在上述技术方案的基础上,所述指定高光片段在各所述第一组合片段中均位于前端。
可选的,在上述技术方案的基础上,第一排序值获取模块330,包括:
第一排序值获取单元,用于获取各所述第一组合片段的图像特征,并将各所述第一组合片段的图像特征输入至训练完成的图像排序模型,以获取各所述第一组合片段的第一排序值;
目标第一组合片段获取单元,用于获取所述第一排序值最高的第一组合片段作为所述目标第一组合片段。
可选的,在上述技术方案的基础上,所述预设拼接规则包括拼接时长阈值和/或片段数量阈值。
可选的,在上述技术方案的基础上,所述埋点信息还包括与各所述高光事件的触发时间点匹配的提取时长,所述提取时长包括向前提取时长和/或向后提取时长。
可选的,在上述技术方案的基础上,第一排序值获取单元,具体用于将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征;其中,所述图像识别模型基于三维卷积神经网络构建。
可选的,在上述技术方案的基础上,拼接视频的获取装置,还包括:
图像识别模型获取模块,用于构建初始三维卷积神经网络模型,并通过训练数据集对所述初始三维卷积神经网络模型进行图像识别训练,以获取训练完成的图像识别模型。
可选的,在上述技术方案的基础上,拼接视频的获取装置,还包括:
采样图像帧获取模块,用于在各所述第一组合片段中,均匀获取预设数量的采样图像帧。
可选的,在上述技术方案的基础上,第一排序值获取单元,具体用于将各所述第一组合片段的采样图像帧输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征。
可选的,在上述技术方案的基础上,所述图像排序模型基于支持向量机的排序算法构建。
可选的,在上述技术方案的基础上,拼接视频的获取装置,还包括:
目标第二组合片段获取模块,用于若所述目标第一组合片段不符合所述预设拼接规则,则将所述高光片段集中除所述目标第一组合片段外的剩余高光片段,分别与所述目标第一组合片段进行拼接,组成多个第二组合片段,并将所述多个第二组合片段按图像内容连续性排序,获取目标第二组合片段;
第二判断执行模块,用于判断所述目标第二组合片段是否符合预设拼接规则;
第二目标视频获取模块,用于若所述目标第二组合片段符合所述预设拼接规则,则将所述目标第二组合片段作为拼接完成的目标视频。
可选的,在上述技术方案的基础上,第二目标视频获取模块,还用于若所述目标第二组合片段不符合所述预设拼接规则,则继续将所述高光片段集中除所述目标第二组合片段外的剩余高光片段,分别与所述目标第二组合片段进行拼接,直至获取到的目标组合片段符合所述预设拼接规则,并将所述目标组合片段作为拼接完成的目标视频。
上述装置可执行本公开任意实施例所提供的拼接视频的获取方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本公开任意实施例提供的方法。
实施例四
图4示出了适于用来实现本公开实施例的电子设备400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常,以下装置可以连接至I/O接口405:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407;包括例如磁带、硬盘等的存储装置408;以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置409从网络上被下载和安装,或者从存储装置408被安装,或者从ROM 402被安装。在该计算机程序被处理装置401执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;判断所述目标第一组合片段是否符合预设拼接规则;若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定,例如,高光片段集提取模块,可以被描述为“用于获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例1】提供了一种拼接视频的获取方法,包括:
获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;
获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
判断所述目标第一组合片段是否符合预设拼接规则;
若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
根据本公开的一个或多个实施例,【示例2】提供了示例1的方法,还包括:
所述埋点信息包括多个高光事件的触发时间点,所述高光片段集包括多个高光片段。
根据本公开的一个或多个实施例,【示例3】提供了示例1的方法,还包括:
所述指定高光片段在各所述第一组合片段中均位于前端。
根据本公开的一个或多个实施例,【示例4】提供了示例1的方法,还包括:
获取各所述第一组合片段的图像特征,并将各所述第一组合片段的图像特征输入至训练完成的图像排序模型,以获取各所述第一组合片段的第一排序值;
获取所述第一排序值最高的第一组合片段作为所述目标第一组合片段。
根据本公开的一个或多个实施例,【示例5】提供了示例1的方法,还包括:
所述预设拼接规则包括拼接时长阈值和/或片段数量阈值。
根据本公开的一个或多个实施例,【示例6】提供了示例2的方法,还包括:
所述埋点信息还包括与各所述高光事件的触发时间点匹配的提取时长,所述提取时长包括向前提取时长和/或向后提取时长。
根据本公开的一个或多个实施例,【示例7】提供了示例4的方法,还包括:
将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征;其中,所述图像识别模型基于三维卷积神经网络构建。
根据本公开的一个或多个实施例,【示例8】提供了示例7的方法,还包括:
构建初始三维卷积神经网络模型,并通过训练数据集对所述初始三维卷积神经网络模型进行图像识别训练,以获取训练完成的图像识别模型。
根据本公开的一个或多个实施例,【示例9】提供了示例7的方法,还包括:
在各所述第一组合片段中,均匀获取预设数量的采样图像帧;
将各所述第一组合片段的采样图像帧输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征。
根据本公开的一个或多个实施例,【示例10】提供了示例4的方法,还包括:
所述图像排序模型基于支持向量机的排序算法构建。
根据本公开的一个或多个实施例,【示例11】提供了示例1的方法,还包括:
若所述目标第一组合片段不符合所述预设拼接规则,则将所述高光片段集中除所述目标第一组合片段外的剩余高光片段,分别与所述目标第一组合片段进行拼接,组成多个第二组合片段,并将所述多个第二组合片段按图像内容连续性排序,获取目标第二组合片段;
判断所述目标第二组合片段是否符合预设拼接规则;
若所述目标第二组合片段符合所述预设拼接规则,则将所述目标第二组合片段作为拼接完成的目标视频。
根据本公开的一个或多个实施例,【示例12】提供了示例11的方法,还包括:
若所述目标第二组合片段不符合所述预设拼接规则,则继续将所述高光片段集中除所述目标第二组合片段外的剩余高光片段,分别与所述目标第二组合片段进行拼接,直至获取到的目标组合片段符合所述预设拼接规则,并将所述目标组合片段作为拼接完成的目标视频。
根据本公开的一个或多个实施例,【示例13】提供了一种拼接视频的获取装置,包括:
高光片段集提取模块,用于获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;
第一组合片段获取模块,用于获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
第一排序值获取模块,用于将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
第一判断执行模块,用于判断所述目标第一组合片段是否符合预设拼接规则;
第一目标视频获取模块,用于若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
根据本公开的一个或多个实施例,【示例14】提供了示例13的装置,还包括:
所述埋点信息包括多个高光事件的触发时间点,所述高光片段集包括多个高光片段。
根据本公开的一个或多个实施例,【示例15】提供了示例13的装置,还包括:
所述指定高光片段在各所述第一组合片段中均位于前端。
根据本公开的一个或多个实施例,【示例16】提供了示例13的装置,第一排序值获取模块,还包括:
第一排序值获取单元,用于获取各所述第一组合片段的图像特征,并将各所述第一组合片段的图像特征输入至训练完成的图像排序模型,以获取各所述第一组合片段的第一排序值;
目标第一组合片段获取单元,用于获取所述第一排序值最高的第一组合片段作为所述目标第一组合片段。
根据本公开的一个或多个实施例,【示例17】提供了示例13的装置,还包括:
所述预设拼接规则包括拼接时长阈值和/或片段数量阈值。
根据本公开的一个或多个实施例,【示例18】提供了示例14的装置,还包括:
所述埋点信息还包括与各所述高光事件的触发时间点匹配的提取时长,所述提取时长包括向前提取时长和/或向后提取时长。
根据本公开的一个或多个实施例,【示例19】提供了示例17的装置,还包括:
第一排序值获取单元,具体用于将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征;其中,所述图像识别模型基于三维卷积神经网络构建。
根据本公开的一个或多个实施例,【示例20】提供了示例19的装置,还包括:
图像识别模型获取模块,用于构建初始三维卷积神经网络模型,并通过训练数据集对所述初始三维卷积神经网络模型进行图像识别训练,以获取训练完成的图像识别模型。
根据本公开的一个或多个实施例,【示例21】提供了示例19的装置,还包括:
采样图像帧获取模块,用于在各所述第一组合片段中,均匀获取预设数量的采样图像帧。
第一排序值获取单元,具体用于将各所述第一组合片段的采样图像帧输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征。
根据本公开的一个或多个实施例,【示例22】提供了示例16的装置,还包括:
所述图像排序模型基于支持向量机的排序算法构建。
根据本公开的一个或多个实施例,【示例23】提供了示例13的装置,还包括:
目标第二组合片段获取模块,用于若所述目标第一组合片段不符合所述预设拼接规则,则将所述高光片段集中除所述目标第一组合片段外的剩余高光片段,分别与所述目标第一组合片段进行拼接,组成多个第二组合片段,并将所述多个第二组合片段按图像内容连续性排序,获取目标第二组合片段;
第二判断执行模块,用于判断所述目标第二组合片段是否符合预设拼接规则;
第二目标视频获取模块,用于若所述目标第二组合片段符合所述预设拼接规则,则将所述目标第二组合片段作为拼接完成的目标视频。
根据本公开的一个或多个实施例,【示例24】提供了示例23的装置,还包括:
第二目标视频获取模块,还用于若所述目标第二组合片段不符合所述预设拼接规则,则继续将所述高光片段集中除所述目标第二组合片段外的剩余高光片段,分别与所述目标第二组合片段进行拼接,直至获取到的目标组合片段符合所述预设拼接规则,并将所述目标组合片段作为拼接完成的目标视频。
根据本公开的一个或多个实施例,【示例25】提供了一种电子设备,包括存储器、处理装置及存储在存储器上并可在处理装置上运行的计算机程序,处理装置执行程序时实现如示例1-12中任一所述的拼接视频的获取方法。
根据本公开的一个或多个实施例,【示例26】提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行如示例1-12中任一所述的拼接视频的获取方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (13)
1.一种拼接视频的获取方法,其特征在于,包括:
获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;其中,所述埋点信息是预先标注在待处理的视频中与高光事件相关的视频属性信息,所述埋点信息包括多个高光事件的触发时间点,所述高光片段集包括多个高光片段;所述埋点信息还包括与各所述高光事件的触发时间点匹配的提取时长,所述提取时长包括向前提取时长和/或向后提取时长;
获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
判断所述目标第一组合片段是否符合预设拼接规则;
若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
2.根据权利要求1所述的方法,其特征在于,所述指定高光片段在各所述第一组合片段中均位于前端。
3.根据权利要求1所述的方法,其特征在于,所述将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段,包括:
获取各所述第一组合片段的图像特征,并将各所述第一组合片段的图像特征输入至训练完成的图像排序模型,以获取各所述第一组合片段的第一排序值;
获取所述第一排序值最高的第一组合片段作为所述目标第一组合片段。
4.根据权利要求1所述的方法,其特征在于,所述预设拼接规则包括拼接时长阈值和/或片段数量阈值。
5.根据权利要求3所述的方法,其特征在于,所述获取各所述第一组合片段的图像特征,包括:
将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征;其中,所述图像识别模型基于三维卷积神经网络构建。
6.根据权利要求5所述的方法,其特征在于,在将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征前,还包括:
构建初始三维卷积神经网络模型,并通过训练数据集对所述初始三维卷积神经网络模型进行图像识别训练,以获取训练完成的图像识别模型。
7.根据权利要求5所述的方法,其特征在于,在将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征前,包括:
在各所述第一组合片段中,均匀获取预设数量的采样图像帧;
所述将各所述第一组合片段输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征,包括:
将各所述第一组合片段的采样图像帧输入至训练完成的图像识别模型,以获取各所述第一组合片段的图像特征。
8.根据权利要求3所述的方法,其特征在于,所述图像排序模型基于支持向量机的排序算法构建。
9.根据权利要求1所述的方法,其特征在于,在判断所述目标第一组合片段是否符合预设拼接规则后,还包括:
若所述目标第一组合片段不符合所述预设拼接规则,则将所述高光片段集中除所述目标第一组合片段外的剩余高光片段,分别与所述目标第一组合片段进行拼接,组成多个第二组合片段,并将所述多个第二组合片段按图像内容连续性排序,获取目标第二组合片段;
判断所述目标第二组合片段是否符合预设拼接规则;
若所述目标第二组合片段符合所述预设拼接规则,则将所述目标第二组合片段作为拼接完成的目标视频。
10.根据权利要求9所述的方法,其特征在于,在判断所述目标第二组合片段是否符合预设拼接规则后,还包括:
若所述目标第二组合片段不符合所述预设拼接规则,则继续将所述高光片段集中除所述目标第二组合片段外的剩余高光片段,分别与所述目标第二组合片段进行拼接,直至获取到的目标组合片段符合所述预设拼接规则,并将所述目标组合片段作为拼接完成的目标视频。
11.一种拼接视频的获取装置,其特征在于,包括:
高光片段集提取模块,用于获取待处理的视频,并根据所述视频的埋点信息,从所述视频中提取高光片段集;其中,所述埋点信息是预先标注在待处理的视频中与高光事件相关的视频属性信息,所述埋点信息包括多个高光事件的触发时间点,所述高光片段集包括多个高光片段;所述埋点信息还包括与各所述高光事件的触发时间点匹配的提取时长,所述提取时长包括向前提取时长和/或向后提取时长;
第一组合片段获取模块,用于获取所述高光片段集中的指定高光片段,并将所述高光片段集中除所述指定高光片段外的剩余高光片段,分别与所述指定高光片段进行拼接,组成多个第一组合片段;
第一排序值获取模块,用于将所述多个第一组合片段按图像内容连续性排序,获取目标第一组合片段;
第一判断执行模块,用于判断所述目标第一组合片段是否符合预设拼接规则;
第一目标视频获取模块,用于若所述目标第一组合片段符合所述预设拼接规则,则将所述目标第一组合片段作为拼接完成的目标视频。
12.一种电子设备,包括存储器、处理装置及存储在存储器上并可在处理装置上运行的计算机程序,其特征在于,所述处理装置执行所述程序时实现如权利要求1-9中任一所述的拼接视频的获取方法。
13.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的拼接视频的获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010838870.1A CN111988638B (zh) | 2020-08-19 | 2020-08-19 | 一种拼接视频的获取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010838870.1A CN111988638B (zh) | 2020-08-19 | 2020-08-19 | 一种拼接视频的获取方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111988638A CN111988638A (zh) | 2020-11-24 |
CN111988638B true CN111988638B (zh) | 2022-02-18 |
Family
ID=73434793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010838870.1A Active CN111988638B (zh) | 2020-08-19 | 2020-08-19 | 一种拼接视频的获取方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111988638B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112672218A (zh) * | 2020-12-16 | 2021-04-16 | 福州凌云数据科技有限公司 | 一种用于批量生成视频的剪辑方法 |
CN113099129A (zh) * | 2021-01-27 | 2021-07-09 | 北京字跳网络技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
CN113347502B (zh) * | 2021-06-02 | 2023-03-14 | 宁波星巡智能科技有限公司 | 视频回看方法、装置、电子设备及介质 |
CN113408461B (zh) * | 2021-06-30 | 2022-07-01 | 深圳万兴软件有限公司 | 一种精彩片段提取方法、装置、计算机设备及存储介质 |
CN113556480B (zh) * | 2021-07-09 | 2022-11-11 | 中星电子股份有限公司 | 车辆连续运动视频生成方法、装置、设备和介质 |
CN113691864A (zh) * | 2021-07-13 | 2021-11-23 | 北京百度网讯科技有限公司 | 视频剪辑方法、装置、电子设备和可读存储介质 |
CN113676671B (zh) * | 2021-09-27 | 2023-06-23 | 北京达佳互联信息技术有限公司 | 视频剪辑方法、装置、电子设备及存储介质 |
CN113949828B (zh) * | 2021-10-18 | 2024-04-30 | 北京达佳互联信息技术有限公司 | 视频剪辑方法、装置、电子设备及存储介质 |
CN114697763B (zh) * | 2022-04-07 | 2023-11-21 | 脸萌有限公司 | 一种视频处理方法、装置、电子设备及介质 |
CN116112743A (zh) * | 2023-02-01 | 2023-05-12 | 北京有竹居网络技术有限公司 | 视频处理的方法、装置、设备和存储介质 |
CN117221626B (zh) * | 2023-11-08 | 2024-03-15 | 北京奇点智播科技有限公司 | 一种视频数据处理方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504306A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种动画片段拼接方法、信息发送方法及装置 |
CN108924666A (zh) * | 2018-07-31 | 2018-11-30 | 成都华栖云科技有限公司 | 一种增强的视频内容传播分析的方法 |
CN110012348A (zh) * | 2019-06-04 | 2019-07-12 | 成都索贝数码科技股份有限公司 | 一种赛事节目自动集锦系统及方法 |
CN110121116A (zh) * | 2018-02-06 | 2019-08-13 | 上海全土豆文化传播有限公司 | 视频生成方法及装置 |
CN110392304A (zh) * | 2019-06-24 | 2019-10-29 | 北京达佳互联信息技术有限公司 | 一种视频展示方法、装置、电子设备及存储介质 |
CN110611840A (zh) * | 2019-09-03 | 2019-12-24 | 北京奇艺世纪科技有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
US10629239B1 (en) * | 2016-07-13 | 2020-04-21 | Gracenote, Inc. | Computing system with DVE template selection and video content item generation feature |
CN111225221A (zh) * | 2020-01-15 | 2020-06-02 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109618222B (zh) * | 2018-12-27 | 2019-11-22 | 北京字节跳动网络技术有限公司 | 一种拼接视频生成方法、装置、终端设备及存储介质 |
-
2020
- 2020-08-19 CN CN202010838870.1A patent/CN111988638B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10629239B1 (en) * | 2016-07-13 | 2020-04-21 | Gracenote, Inc. | Computing system with DVE template selection and video content item generation feature |
CN106504306A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种动画片段拼接方法、信息发送方法及装置 |
CN110121116A (zh) * | 2018-02-06 | 2019-08-13 | 上海全土豆文化传播有限公司 | 视频生成方法及装置 |
CN108924666A (zh) * | 2018-07-31 | 2018-11-30 | 成都华栖云科技有限公司 | 一种增强的视频内容传播分析的方法 |
CN110012348A (zh) * | 2019-06-04 | 2019-07-12 | 成都索贝数码科技股份有限公司 | 一种赛事节目自动集锦系统及方法 |
CN110392304A (zh) * | 2019-06-24 | 2019-10-29 | 北京达佳互联信息技术有限公司 | 一种视频展示方法、装置、电子设备及存储介质 |
CN110611840A (zh) * | 2019-09-03 | 2019-12-24 | 北京奇艺世纪科技有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
CN111225221A (zh) * | 2020-01-15 | 2020-06-02 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
Non-Patent Citations (1)
Title |
---|
《基于卷积神经网络和空间金字塔匹配的图像排序》;陆雅;《中国优秀硕士学位论文全文数据库》;20170315(第03期);第3章 * |
Also Published As
Publication number | Publication date |
---|---|
CN111988638A (zh) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111988638B (zh) | 一种拼接视频的获取方法、装置、电子设备和存储介质 | |
CN109145784B (zh) | 用于处理视频的方法和装置 | |
CN112182299B (zh) | 一种视频中精彩片段的获取方法、装置、设备和介质 | |
CN110309795B (zh) | 视频检测方法、装置、电子设备及存储介质 | |
CN110784759B (zh) | 弹幕信息处理方法、装置、电子设备及存储介质 | |
CN113542777B (zh) | 直播视频剪辑方法、装置及计算机设备 | |
CN110602526A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
CN114550070B (zh) | 视频片段的识别方法、装置、设备以及存储介质 | |
CN112380929B (zh) | 一种高光片段的获取方法、装置、电子设备和存储介质 | |
CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
CN111861572A (zh) | 广告投放方法、装置、电子设备及计算机可读存储介质 | |
CN112183588A (zh) | 视频处理方法及装置、电子设备及存储介质 | |
CN113033677A (zh) | 视频分类方法、装置、电子设备和存储介质 | |
CN112163993A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114422698A (zh) | 视频生成方法、装置、设备及存储介质 | |
CN108921138B (zh) | 用于生成信息的方法和装置 | |
CN114283349A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN112990176A (zh) | 书写质量评价方法、装置和电子设备 | |
CN110348367B (zh) | 视频分类方法、视频处理方法、装置、移动终端及介质 | |
CN110084306B (zh) | 用于生成动态图像的方法和装置 | |
CN115278355B (zh) | 视频剪辑方法、装置、设备、计算机可读存储介质及产品 | |
CN114339402B (zh) | 视频播放完成率预测方法、装置、介质及电子设备 | |
CN113705666B (zh) | 分割网络训练方法、使用方法、装置、设备及存储介质 | |
CN115222969A (zh) | 标识信息识别方法、装置、设备、可读存储介质及产品 | |
CN112312205B (zh) | 一种视频处理方法、装置、电子设备和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |