CN111787354B - 一种视频生成方法及其装置 - Google Patents
一种视频生成方法及其装置 Download PDFInfo
- Publication number
- CN111787354B CN111787354B CN201910266764.8A CN201910266764A CN111787354B CN 111787354 B CN111787354 B CN 111787354B CN 201910266764 A CN201910266764 A CN 201910266764A CN 111787354 B CN111787354 B CN 111787354B
- Authority
- CN
- China
- Prior art keywords
- video
- splicing
- segment
- scene
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000010008 shearing Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 210000003127 knee Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请公开了一种视频生成方法及其装置,所述方法包括:根据景别条件,确定视频拼接模板;根据所述视频拼接模板,从多个原始视频中确定用于视频拼接的多个视频片段;对所述多个视频片段执行拼接,生成拼接视频。采用本申请,可自动完成视频拼接,降低了人力成本。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种视频生成方法及其装置。
背景技术
随着视频应用的发展,视频的传播也越来越方便,视频应用或者用户在视频平台上发布视频前,可将多个视频合称为一个视频,视频拼接的应用应运而生。
视频拼接技术是指对多个视频进行切割,然后将切割完成的多个视频片段按一定标准进行组接的技术。视频拼接技术可应用在很多领域,例如,用户在分享拍摄的视频前对这些视频进行拼接,或者视频网站为了吸引用户点击,会将同一件主题的多个视频进行拼接,又例如,购物网站为了更好的展示商品,每天需要拼接大量的广告视频。
在现有技术中,通常采用人工的方式执行视频拼接,也就是说,剪辑师预览所有的视频,然后使用视频剪辑软件剪辑出需要的视频片段,将这些视频片段按照剪辑师期望的顺序拼接起来。然而,由于拍摄的视频素材往往非常长,让剪辑师看完所有视频,再挑选出需要的视频片段进行拼接需要大量的时间,而且存在不精准,效率低下,人力成本很高的问题。
发明内容
本申请的主要目的在于提供一种视频生成方法及其装置,旨在至少解决以上提到的利用人力进行视频拼接的问题。
本申请实施例提供一种视频生成方法,所述方法包括:根据景别条件,确定视频拼接模板;根据所述视频拼接模板,从多个原始视频中确定用于视频拼接的多个视频片段;对所述多个视频片段执行拼接,生成拼接视频。
本申请实施例还提供一种视频生成装置,所述装置包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以上方法。
本申请示例性实施例采用的上述至少一个技术方案能够达到以下有益效果:
本申请的示例性实施例的视频生成方法及其装置可利用视频拼接模块从原始视频中确定视频拼接片段,生成拼接视频,实现了自动完成视频拼接,降低了人力成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是示出根据本申请的示例性实施例的视频拼接的示意图;
图2是示出根据本申请的示例性实施例的视频生成方法的流程图;
图3是示出根据本申请的示例性实施例的视频生成装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更好地理解本申请,以下将对本申请中的术语进行描述。
景别是指由于摄影机与被摄体的距离不同而造成被摄体在摄影机寻像器中所呈现出的范围大小的区别。通常来说,景别具有五种类型,由近至远分别为特写(指人体肩部以上)、近景(指人体胸部以上)、中景(指人体膝部以上)、全景(人体的全部和周围背景)、远景(被摄体所处环境)。
关节点是指用于描述人体的骨骼关节点,包括19个关节点的位置,具体如下:鼻子、颈部、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳、左耳和背部。
在本申请中,可利用这些关节点来判断每帧图像的景别。具体来说,远景(longshot)远景一般用来表现远离摄影机的环境全貌,展示人物及其周围广阔的空间环境,自然景色和群众活动大场面的镜头画面。因此,景深为远景的图像中,被摄体较小,背景占主要地位。在本申请中,可通过图像中被摄体所占的比例来确定是否为远景,也就是说,在利用人体轮廓提取方法确定人体的轮廓的情况下,确定所述轮廓在图像中所占的面积,从而确定该图像的景别是否为远景。
全景(Full shot)可用于描述被摄体的整体特征(外观、动作)并呈现被摄体与空间的位置关系。被摄体在画面中完整呈现,占比明显,通常被摄体的边缘上下、刚好在画面的上下边缘内。在本申请中,可判断图像中是否包括左脚踝和/或右脚踝以上的关节点。
中景(Medium shot)用于突出被摄体的一部分特征,通常表现一些动作、表情,因此,画面中只出现被摄体的部分信息。在本申请中,可判断图像中是否包括左膝盖和/或右膝盖以上的关节点。
近景(Close shot)被摄体胸部以上部分的画面。本申请中,可判断图像中是否包括左肩和/或右肩以上的关节点。
特写(Close up)用于描绘被摄体的细微表情,表达内心活动,特写具有强烈的视觉感受,需要刻画突出某细节时使用,起强调作用。在本申请中,可将识别出人体轮廓但却无法识别出关节点的图像确定为特写。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1是根据本申请的示例性实施例的视频拼接的示意图。
如图1所示,用于执行视频生成方法的电子终端可从外部设备获取视频源,所述视频源包括多个原始视频。所述外部设备可包括图像捕捉装置,例如,具有摄像功能的相机、图像显示装置以及移动终端等,此外,所述电子终端也可通过内嵌的图像获取模块来获取视频,应注意,虽然在图1中仅示出了单个电子终端,但在实施中,所述电子终端可以是多个电子终端,例如,以并行方式运行的服务器组,也可以是单个电子终端,例如,移动终端、手持式笔记本、台式机等装置。
随后,所述电子终端可从这些原始视频中筛选出符合要求的视频片段,并将这些视频片段按照要求的顺序拼接在一起。也就是说,在对这些原始视频执行拼接之前,需要先确定用户的要求,例如,用户期望拼接的视频的总时长、构成总时长的不同景别的视频片段的长度以及不同景别之间的顺序等。
举例来说,用户可设定视频总时长为3分钟,包括五种景别,这五种景别的顺序为远景、全景、中景、近景和特写,并且每种景别的时长的比例为[1:3:5:3:1]。
可以看出,电子终端利用视频生成方法可完成视频拼接操作,向用户呈现所期望的视频拼接,以下将结合图2具体描述根据本申请的示例性实施例的视频生成方法。
图2是示出根据本申请的示例性实施例的视频生成方法的流程图。
在步骤S210,根据景别条件,确定视频拼接模板。景别条件可以是每次执行视频拼接之前用户设置的条件也可以是系统默认的条件,包括景别的类型以及每种类型的景别持续的时间长度,例如,包括四种景别类型(远景、全景、中景和近景),每种类型的视频持续30秒。随后,可根据景别条件,确定将每种类型的景别的视频按照设定顺序执行视频拼接的视频拼接模板,其中,所述设定顺序可以是用户设置的顺序也可以是默认顺序。
随后,在步骤S220,根据所述视频拼接模板从多个原始视频中确定用于视频拼接的多个视频片段。也就是说,根据所述视频拼接模板,确定每个原始视频中的各个景别类型的视频片段的剪切点。例如,在某一原始视频中,第3秒开始到第15秒结束的视频片段是景深为近景的视频片段,则第3秒和第15秒为该视频片段的剪切点,随后根据所述剪切点,对所述多个原始视频进行剪切,获取所述多个视频片段。
在实施过程中,可根据所述视频拼接模板确定景别类型,例如,所述拼接模块包括全景、中景和近景。随后,可确定与景别类型对应的人体关节点,例如,如上所述,若为中景,则确定是否至少包括左膝盖和/或右膝盖以上的关节点。随后,利用所述人体关节点,分别获取每个原始视频中与所述景别类型对应的视频片段的剪切点。仍以中景为例,可逐帧检测原始视频中是否包括具有左膝盖和/或右膝盖以上的关节点,将检测到具有这种关节点的图像的时间点确定为开始剪切点,从开始剪切点对应的图像开始,将检测到不具有这种关节点的图像的时间点确定为结束剪切点。
由于在拍摄过程中拍摄的镜头有可能是缓慢变化的,例如,从远景慢慢变换为近景,所以图像中存在的关节点也是在缓慢变化中。为了更准确地确定开始剪切点和结束剪切点,可检测每个原始视频中每帧图像的景别类型,若确定当前图像的景别类型发生改变,获取当前图像的预定范围内的多帧图像,其中,所述预定范围可以是用户设置的顺序也可以是默认的顺序,优选为10帧。比如,当确定第240帧图像的景别类型与第239帧图像的景别类型不同时,可获取包括第240帧在内的第235帧到第245帧之间的图像。最后,从所述多帧图像中选择运动幅度最小的图像对应的时间点作为剪切点,其中,所述运动幅度可利用关节点的平均位移来确定。
在实施过程中,可利用关节点检测方法,获取每个原始视频中与所述景别类型对应的视频片段的剪切点。例如,可利用人体关节点检测的开源软件OpenPose来检测每帧图像内包含的人体关节点,进一步可确定与各个景别类型对应的视频片段的剪切点。
此外,在实施过程中,还可利用人体轮廓检测方法,对每个原始视频中的每帧图像提取轮廓,随后再利用OpenPose来确定人体关节点,其中,所述人体轮廓检测方法可利用开源软件MaskRcnn来确定。
某些景别类型可直接利用人体轮廓检测方法即可确定。例如,在景别类型为远景的情况下,在可利用开源软件MaskRcnn检测出人体的轮廓的情况下,确定所述轮廓在图像中所占的面积,从而确定该图像的景别是否为远景。
在步骤S230,对所述多个视频片段执行拼接,生成拼接视频。
具体来说,针对在步骤S220中获取的多个视频片段,可判断每个视频片段的时长是否大于预定时长,所述预定时长可以是用户每次拼接前设定的时长也可以是默认的时长,例如,可判断每个视频片段的时长是否大于10秒,若小于10的视频片段则舍弃。
随后,将大于预定时长的视频片段作为视频拼接片段进行拼接,生成拼接视频。在实施过程中,将视频拼接片段按照景别类型进行分类,获取景别类型相同的视频拼接片段组。
将不同景别类型对应的不同视频拼接片段组拼接在一起,生成拼接视频。在实施中,每个视频拼接片段组可包括多个视频片段,例如,景别类型为近景的视频片段组中包括5个视频片段,而这五个视频片段可通过如下方式进行排序。
针对不同视频拼接片段组中的每个视频拼接片段组,根据拼接标准,确定每个视频拼接片段的拼接值;根据拼接值,调整每个视频拼接片段的拼接位置,其中,拼接标准可包括被摄体的运动强度、被摄体的位置、视频拼接片段的镜头运动强度和视频拼接片段的色调中的一个或多个的组合。也就是说,拼接标准可以是单一的拼接参数也可以是多个拼接参数的结合。
在所述拼接标准包括被摄体的运动强度的情况下,通过被摄体的关节点的位移来确定被摄体的运动强度。在所述拼接标准包括被摄体的位置的情况下,通过被摄体的关节点的位置确定被摄体的位置。在所述拼接标准包括镜头运动强度的情在所述拼接标准包括色调的情况下,通过色彩直方图来确定视频拼接片段的色调。况下,通过特征点分析来确定视频拼接片段的镜头运动强度。
因此,根据拼接标准,确定每个视频拼接片段的拼接值,可以是根据单一拼接标准,确定每个视频拼接片段的拼接值,也可以是在获取到各个拼接标准对应的拼接子值后,根据结合方式确定每个视频拼接片段的拼接值。
如果拼接标准仅包括单个拼接参数,例如,仅包括被摄体的位置,那么根据拼接值调整视频片段的位置是非常容易实现的,但是当拼接标准包括多个拼接参数时,根据拼接值调整视频片段的位置可以是利用拼接子值获取的拼接值进行调整,也可以是根据多个拼接参数的优先顺序来调整视频片段的位置,例如,可以优先根据被摄体的位置调整视频片段的位置,随后根据被摄体的运动强度来调整视频片段的位置。在实施例中,还可根据拼接值确定视频片段的位置后,再根据当个拼接参数进一步调整视频片段的位置。
在调整的过程中,按照拼接值的近似程度调整每个视频拼接片段的拼接位置,使得拼接值越接近的视频拼接片段的位置越接近。例如,两个视频片段的拼接值非常接近,则可将这两个拼接值对应的视频片段的位置调整为前后顺序。
此外,可存在一种情况:视频拼接片段组中包括的视频拼接片段的总时长超过视频拼接模板中的拼接时长。针对这种情况,可确定每个视频拼接片段组的视频时长是否超过所述视频拼接模板中的拼接时长;若超过拼接长度,则将拼接值最不接近的视频拼接片段舍弃。
综上可述,根据本申请的示例性实施例的视频生成方法可利用视频拼接模块从原始视频中确定视频拼接片段,生成拼接视频,实现了自动完成视频拼接,降低了人力成本。更进一步地,可利用视频拼接模板确定不同景别的视频片段的剪切点,使得拼接视频更符合用户的观看习惯,更加人性化。更近一步地,可利用人体关节点来确定不同景别的视频片段,从而能够更精准地识别出不同景别类型的视频片段。更进一步地,可利用人体轮廓检测方法提取出被摄体轮廓的情况下再利用人体关节点检测方法来确定每帧图像的景别类型,使得能准确地识别出图像的景别类型并且鲁棒性强。更进一步地,可从景别类型发生改变的当前帧的预定范围内的图像中,利用平均位移最小的图像对应的时间点作为剪切点,使得剪切点更加准确。更进一步地,可利用超过预定时长的视频片段进行拼接,使得拼接视频短时间内不会频繁跳帧,提高了用户的观影感受。更进一步地,在拼接过程中,将景别类型相同的视频片段拼接在一起,更加符合用户的观看习惯。更进一步地,可将同一景别类型的多个视频片段按照拼接标准调整拼接顺序。更进一步地,可对拼接标准内包括的拼接参数设置优先等级,从而更符合用户需求。
为了更清楚地明白本申请的示例性实施例的发明构思,以下将参照图3描述本申请的示例性实施例的视频生成装置的框图。本领域普通技术人员将理解:图3中的装置仅示出了与本示例性实施例相关的组件,所述装置中还包括除了图3中示出的组件之外的通用组件。
图3示出本申请的示例性实施例的视频生成装置的框图。参考图3,在硬件层面,该装置包括处理器、内部总线和计算机可读存储介质,其中,所述计算机可读存储介质包括易失性存储器和非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序然后运行。当然,除了软件实现方式之外,本申请并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
具体来说,所述处理器执行以下操作:根据景别条件,确定视频拼接模板;根据所述视频拼接模板,从多个原始视频中确定用于视频拼接的多个视频片段;对所述多个视频片段执行拼接,生成拼接视频。
可选地,所述景别条件包括景别类型以及每种类型的景别持续的时间长度。
可选地,所述视频拼接模板是将每种类型的景别的视频按照预定顺序执行视频拼接的模板。
可选地,所述处理器在实现步骤根据所述视频拼接模板从多个原始视频中确定用于视频拼接的多个视频片段包括:根据所述视频拼接模板,确定每个原始视频中的各个景别类型的视频片段的剪切点;根据所述剪切点,对所述多个原始视频进行剪切,获取所述多个视频片段。
可选地,所述处理器在实现步骤根据所述视频拼接模板确定每个原始视频中的各个景别类型的视频片段的剪切点包括:根据所述视频拼接模板确定景别类型;确定与所述景别类型分别对应的人体关节点;利用所述人体关节点,分别获取每个原始视频中与所述景别类型对应的视频片段的剪切点。
可选地,所述处理器在实现步骤获取每个原始视频中与所述景别类型对应的视频片段的剪切点包括:利用关节点检测方法,获取每个原始视频中与所述景别类型对应的视频片段的剪切点。
可选地,所述处理器在实现步骤利用关节点检测方法获取每个原始视频中与所述景别类型对应的视频片段的剪切点前包括:利用人体轮廓检测方法,提取出每个原始视频中的每帧图像中的被摄体轮廓。
可选地,所述处理器在实现步骤利用人体关节点检测方法获取每个原始视频中与所述景别类型对应的视频片段的剪切点包括:利用人体关节点检测每个原始视频中每帧图像的景别类型;若确定当前图像的景别类型发生改变,获取当前图像的预定范围内的多帧图像;从所述多帧图像中选择运动幅度最小的图像对应的时间点作为剪切点。
可选地,所述处理器在实现步骤从所述多帧图像中选择运动幅度最小的图像对应的时间点作为剪切点包括:从所述多帧图像中选择被摄体的平均位移最小的图像对应的时间点作为剪切点。
可选地,所述处理器在实现步骤对所述多个视频片段执行拼接生成拼接视频包括:确定所述多个视频片段中的每个视频片段的时长是否大于预定时长;将大于预定时长的视频片段作为视频拼接片段进行拼接,生成拼接视频。
可选地,所述处理器在实现步骤将大于预定时长的视频片段作为视频拼接片段进行拼接生成拼接视频包括:将视频拼接片段按照景别类型进行分类,获取景别类型相同的视频拼接片段组;将不同景别类型对应的不同视频拼接片段组拼接在一起,生成拼接视频。
可选地,所述处理器在实现步骤将不同景别类型对应的不同视频拼接片段组拼接在一起生成拼接视频包括:针对不同视频拼接片段组中的每个视频拼接片段组,根据拼接标准,确定每个视频拼接片段的拼接值;根据拼接值,调整每个视频拼接片段的拼接位置。
可选地,所述处理器在实现步骤根据所述拼接值调整每个视频拼接片段的拼接位置包括:按照拼接值的近似程度调整每个视频拼接片段的拼接位置,使得拼接值越接近的视频拼接片段的位置越接近。
可选地,所述拼接标准包括被摄体的运动强度、被摄体的位置、视频拼接片段的镜头运动强度和视频拼接片段的色调中的一个或多个的组合。
可选地,所述处理器还可实现步骤:在所述拼接标准包括被摄体的运动强度的情况下,通过被摄体的关节点的位移来确定被摄体的运动强度。
可选地,所述处理器还可实现步骤:在所述拼接标准包括被摄体的位置的情况下,通过被摄体的关节点的位置确定被摄体的位置。
可选地,所述处理器还可实现步骤:在所述拼接标准包括镜头运动强度的情况下,通过特征点分析来确定视频拼接片段的镜头运动强度。
可选地,所述处理器还可实现步骤:在所述拼接标准包括色调的情况下,通过色彩直方图来确定视频拼接片段的色调。
可选地,所述处理器还可实现步骤:根据拼接标准确定每个视频拼接片段的拼接值包括:根据每一种拼接标准,确定每个视频拼接片段的多个拼接值。
可选地,所述处理器在实现步骤根据所述拼接值调整每个视频拼接片段的拼接位置包括:根据所述多个拼接值的优先等级,调整每个视频拼接片段的拼接位置。
可选地,所述处理器在实现步骤根据拼接标准确定每个视频拼接片段的拼接值包括:根据每一种拼接标准,确定每个视频拼接片段的拼接子值;通过对多个拼接子值进行组合确定每个视频拼接片段的拼接值。
可选地,所述处理器在实现步骤根据所述拼接值调整每个视频拼接片段的拼接位置后还包括:针对不同视频拼接片段组中的每个视频拼接片段组,确定每个视频拼接片段组的视频时长是否超过所述视频拼接模板中的拼接时长;若超过拼接长度,则将拼接值最低的视频拼接片段舍弃。
综上可述,根据本申请的示例性实施例的视频生成装置可利用视频拼接模块从原始视频中确定视频拼接片段,生成拼接视频,实现了自动完成视频拼接,降低了人力成本。更进一步地,可利用视频拼接模板确定不同景别的视频片段的剪切点,使得拼接视频更符合用户的观看习惯,更加人性化。更近一步地,可利用人体关节点来确定不同景别的视频片段,从而能够更精准地识别出不同景别类型的视频片段。更进一步地,可利用人体轮廓检测方法提取出被摄体轮廓的情况下再利用人体关节点检测方法来确定每帧图像的景别类型,使得能准确地识别出图像的景别类型并且鲁棒性强。更进一步地,可从景别类型发生改变的当前帧的预定范围内的图像中,利用平均位移最小的图像对应的时间点作为剪切点,使得剪切点更加准确。更进一步地,可利用超过预定时长的视频片段进行拼接,使得拼接视频短时间内不会频繁跳帧,提高了用户的观影感受。更进一步地,在拼接过程中,将景别类型相同的视频片段拼接在一起,更加符合用户的观看习惯。更进一步地,可将同一景别类型的多个视频片段按照拼接标准调整拼接顺序。更进一步地,可对拼接标准内包括的拼接参数设置优先等级,从而更符合用户需求。
需要说明的是,实施例1所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤21和步骤22的执行主体可以为设备1,步骤23的执行主体可以为设备2;又比如,步骤21的执行主体可以为设备1,步骤22和步骤23的执行主体可以为设备2;等等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (20)
1.一种视频生成方法,其特征在于,包括:
根据景别条件,确定视频拼接模板;
根据所述视频拼接模板,从多个原始视频中确定用于视频拼接的多个视频片段;
对所述多个视频片段执行拼接,生成拼接视频,包括:
将视频拼接片段按照景别类型进行分类,获取景别类型相同的视频拼接片段组;
将不同景别类型对应的不同视频拼接片段组拼接在一起,生成拼接视频,其中,针对不同视频拼接片段组中的每个视频拼接片段组,根据拼接标准,确定每个视频拼接片段的拼接值;根据拼接值,调整每个视频拼接片段的拼接位置,具体的,按照拼接值的近似程度调整每个视频拼接片段的拼接位置,使得拼接值越接近的视频拼接片段的位置越接近。
2.如权利要求1所述的方法,其特征在于,所述景别条件包括景别类型以及每种类型的景别持续的时间长度。
3.如权利要求2所述的方法,其特征在于,所述视频拼接模板是将每种类型的景别的视频按照设定顺序执行视频拼接的模板。
4.如权利要求3所述的方法,其特征在于,根据所述视频拼接模板从多个原始视频中确定用于视频拼接的多个视频片段包括:
根据所述视频拼接模板,确定每个原始视频中的各个景别类型的视频片段的剪切点;
根据所述剪切点,对所述多个原始视频进行剪切,获取所述多个视频片段。
5.如权利要求4所述的方法,其特征在于,根据所述视频拼接模板确定每个原始视频中的各个景别类型的视频片段的剪切点包括:
根据所述视频拼接模板确定景别类型;
确定与所述景别类型分别对应的人体关节点;
利用所述人体关节点,分别获取每个原始视频中与所述景别类型对应的视频片段的剪切点。
6.如权利要求5所述的方法,其特征在于,获取每个原始视频中与所述景别类型对应的视频片段的剪切点包括:
利用关节点检测方法,获取每个原始视频中与所述景别类型对应的视频片段的剪切点。
7.如权利要求6所述的方法,其特征在于,利用关节点检测方法获取每个原始视频中与所述景别类型对应的视频片段的剪切点前包括:
利用人体轮廓检测方法,提取出每个原始视频中的每帧图像中的被摄体轮廓。
8.如权利要求7所述的方法,其特征在于,利用人体关节点检测方法获取每个原始视频中与所述景别类型对应的视频片段的剪切点包括:
利用人体关节点检测每个原始视频中每帧图像的景别类型;
若确定当前图像的景别类型发生改变,获取当前图像的预定范围内的多帧图像;
从所述多帧图像中选择运动幅度最小的图像对应的时间点作为剪切点。
9.如权利要求8所述的方法,其特征在于,从所述多帧图像中选择运动幅度最小的图像对应的时间点作为剪切点包括:
从所述多帧图像中选择被摄体的平均位移最小的图像对应的时间点作为剪切点。
10.如权利要求1所述的方法,其特征在于,对所述多个视频片段执行拼接生成拼接视频包括:
确定所述多个视频片段中的每个视频片段的时长是否大于预定时长;
将大于预定时长的视频片段作为视频拼接片段进行拼接,生成拼接视频。
11.如权利要求1所述的方法,其特征在于,所述拼接标准包括被摄体的运动强度、被摄体的位置、视频拼接片段的镜头运动强度和视频拼接片段的色调中的一个或多个的组合。
12.如权利要求11所述的方法,其特征在于,还包括:
在所述拼接标准包括被摄体的运动强度的情况下,通过被摄体的关节点的位移来确定被摄体的运动强度。
13.如权利要求11所述的方法,其特征在于,还包括:
在所述拼接标准包括被摄体的位置的情况下,通过被摄体的关节点的位置确定被摄体的位置。
14.如权利要求11所述的方法,其特征在于,还包括:
在所述拼接标准包括镜头运动强度的情况下,通过特征点分析来确定视频拼接片段的镜头运动强度。
15.如权利要求11所述的方法,其特征在于,还包括:
在所述拼接标准包括色调的情况下,通过色彩直方图来确定视频拼接片段的色调。
16.如权利要求11所述的方法,其特征在于,根据拼接标准确定每个视频拼接片段的拼接值包括:
根据每一种拼接标准,确定每个视频拼接片段的多个拼接值。
17.如权利要求1所述的方法,其特征在于,根据所述拼接值调整每个视频拼接片段的拼接位置包括:
根据多个拼接值的优先等级,调整每个视频拼接片段的拼接位置。
18.如权利要求11所述的方法,其特征在于,根据拼接标准确定每个视频拼接片段的拼接值包括:
根据每一种拼接标准,确定每个视频拼接片段的拼接子值;
通过对多个拼接子值进行组合确定每个视频拼接片段的拼接值。
19.如权利要求1所述的方法,其特征在于,根据所述拼接值调整每个视频拼接片段的拼接位置后还包括:
针对不同视频拼接片段组中的每个视频拼接片段组,确定每个视频拼接片段组的视频时长是否超过所述视频拼接模板中的拼接时长;
若超过拼接长度,则将拼接值最低的视频拼接片段舍弃。
20.一种视频生成装置,其特征在于,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至19的任一权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910266764.8A CN111787354B (zh) | 2019-04-03 | 2019-04-03 | 一种视频生成方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910266764.8A CN111787354B (zh) | 2019-04-03 | 2019-04-03 | 一种视频生成方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111787354A CN111787354A (zh) | 2020-10-16 |
CN111787354B true CN111787354B (zh) | 2022-06-07 |
Family
ID=72755465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910266764.8A Active CN111787354B (zh) | 2019-04-03 | 2019-04-03 | 一种视频生成方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111787354B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022110059A1 (zh) * | 2020-11-27 | 2022-06-02 | 深圳市大疆创新科技有限公司 | 视频处理、景别识别方法、终端设备和拍摄系统 |
CN112738557A (zh) * | 2020-12-22 | 2021-04-30 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
CN112929696B (zh) * | 2021-01-26 | 2023-05-02 | 广州欢网科技有限责任公司 | 多剧集影视的拼接方法、装置、存储介质及电子设备 |
CN113365106B (zh) * | 2021-08-10 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 一种多媒体资源生成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622766A (zh) * | 2012-03-01 | 2012-08-01 | 西安电子科技大学 | 多目标优化的多镜头人体运动跟踪方法 |
CN104349175A (zh) * | 2014-08-18 | 2015-02-11 | 周敏燕 | 一种基于手机终端的视频制作系统及方法 |
CN104394422A (zh) * | 2014-11-12 | 2015-03-04 | 华为软件技术有限公司 | 一种视频分割点获取方法及装置 |
CN105307028A (zh) * | 2015-10-26 | 2016-02-03 | 新奥特(北京)视频技术有限公司 | 一种针对多个镜头视频素材的视频编辑方法和装置 |
CN109120950A (zh) * | 2018-09-30 | 2019-01-01 | 北京金山安全软件有限公司 | 视频拼接方法、装置、终端设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9792955B2 (en) * | 2011-11-14 | 2017-10-17 | Apple Inc. | Automatic generation of multi-camera media clips |
-
2019
- 2019-04-03 CN CN201910266764.8A patent/CN111787354B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622766A (zh) * | 2012-03-01 | 2012-08-01 | 西安电子科技大学 | 多目标优化的多镜头人体运动跟踪方法 |
CN104349175A (zh) * | 2014-08-18 | 2015-02-11 | 周敏燕 | 一种基于手机终端的视频制作系统及方法 |
CN104394422A (zh) * | 2014-11-12 | 2015-03-04 | 华为软件技术有限公司 | 一种视频分割点获取方法及装置 |
CN105307028A (zh) * | 2015-10-26 | 2016-02-03 | 新奥特(北京)视频技术有限公司 | 一种针对多个镜头视频素材的视频编辑方法和装置 |
CN109120950A (zh) * | 2018-09-30 | 2019-01-01 | 北京金山安全软件有限公司 | 视频拼接方法、装置、终端设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111787354A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111787354B (zh) | 一种视频生成方法及其装置 | |
EP3457683B1 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
KR102480245B1 (ko) | 패닝 샷들의 자동 생성 | |
US20140092272A1 (en) | Apparatus and method for capturing multi-focus image using continuous auto focus | |
US20170285916A1 (en) | Camera effects for photo story generation | |
KR20160128366A (ko) | 이동 단말의 촬영 방법 및 이동 단말 | |
CN111193961B (zh) | 视频编辑设备和方法 | |
EP3945490B1 (en) | Method and device for processing video, and storage medium | |
CN109997171B (zh) | 显示装置以及存储有程序的记录介质 | |
CN107645628B (zh) | 一种信息处理方法及装置 | |
US10708499B2 (en) | Method and apparatus having a function of constant automatic focusing when exposure changes | |
CN110036629A (zh) | 拍摄装置、程序以及电子设备 | |
CN114520877A (zh) | 视频录制方法、装置和电子设备 | |
KR101672691B1 (ko) | 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치 | |
CN104333699A (zh) | 自定义拍照区域合成方法及装置 | |
CN111246289A (zh) | 视频生成方法及装置、电子设备、存储介质 | |
CN113891017A (zh) | 一种视频自动生成方法、装置、终端设备及存储装置 | |
CN110581950B (zh) | 相机、选择相机设置的系统和方法 | |
CN113810627A (zh) | 视频处理方法、装置、移动终端 | |
US20190080718A1 (en) | Method, device and system for editing video | |
US20200364912A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN112565604A (zh) | 视频录制方法、装置及电子设备 | |
CN113014820A (zh) | 一种处理方法、装置及电子设备 | |
CN104869283A (zh) | 一种拍摄方法及电子设备 | |
US20180260650A1 (en) | Imaging device and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |