CN112166599A - 视频剪辑方法及终端设备 - Google Patents

视频剪辑方法及终端设备 Download PDF

Info

Publication number
CN112166599A
CN112166599A CN201980032384.6A CN201980032384A CN112166599A CN 112166599 A CN112166599 A CN 112166599A CN 201980032384 A CN201980032384 A CN 201980032384A CN 112166599 A CN112166599 A CN 112166599A
Authority
CN
China
Prior art keywords
video
time period
sequence
videos
motion state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980032384.6A
Other languages
English (en)
Inventor
周游
蔡剑钊
苏坤岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
SZ DJI Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112166599A publication Critical patent/CN112166599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了视频剪辑方法及终端设备。该方法包括:获取多个视频,多个视频由拍摄装置拍摄得到;获取多个视频中每个视频对应的拍摄装置的运动状态;根据每个视频对应的拍摄装置的运动状态,对多个视频进行排序以确定视频序列;至少部分的基于所述视频序列,生成剪辑视频。一方面,简化了用户在对视频进行剪辑时的操作,将自动生成的剪辑视频提供给用户。另一方面,根据视频对应的拍摄装置的运动状态,确定视频序列,使得提供给用户的剪辑视频具有较好的观赏性,提升剪辑效果。

Description

视频剪辑方法及终端设备
技术领域
本申请涉及视频处理领域,尤其涉及一种视频剪辑方法及终端设备。
背景技术
用户在获取到视频之后,经常有对视频进行剪辑,得到剪辑视频的需求。目前,通常采用的对视频进行剪辑方式为:由用户从所有视频中选取出用于生成剪辑视频的视频并且由用户确定选取出的视频的顺序。
一方面,由于需要用户自己中选取出用于生成剪辑视频的视频,造成在对视频进行剪辑的过程中用户需要进行繁琐的操作,另一方面,用户自己确定选取的视频的顺序,由于用户的判断能力有限,难以对剪辑视频是否可以具有较好的观赏效果进行准确的判断,剪辑效果不佳。
发明内容
本申请实施例提供了视频剪辑方法、终端设备,可以对视频进行自动排序进而生成剪辑视频。
第一方面,本申请实施例提供了视频剪辑方法,该方法包括:
获取多个视频,所述多个视频由拍摄装置拍摄得到;
获取所述多个视频中每个视频对应的所述拍摄装置的运动状态;
根据所述每个视频对应的所述拍摄装置的运动状态,对所述多个视频进行排序以确定视频序列;
至少部分的基于所述视频序列,生成剪辑视频。
第二方面,本申请实施例提供了终端设备,该终端设备包括处理器,所述处理器用于:
获取多个视频,所述多个视频由拍摄装置拍摄得到;
获取所述多个视频中每个视频对应的所述拍摄装置的运动状态;
根据所述每个视频对应的所述拍摄装置的运动状态,对所述多个视频进行排序以确定视频序列;
至少部分的基于所述视频序列,生成剪辑视频。
本申请实施例通过自动根据视频对应的拍摄装置的运动状态,确定视频序列,从而,根据视频序列自动生成剪辑视频。一方面,简化了用户在对视频进行剪辑时的操作,可以快速地生成剪辑视频。另一方面,根据视频对应的拍摄装置的状态,确定视频序列,使得提供给用户的剪辑视频具有较好的观赏性,提升剪辑效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了本申请实施例提供的视频剪辑方法的流程图;
图2示意性地示出了查找视频序列的一个原理示意图;
图3示意性地示出了视频序列中的视频和节奏点在时序上的关联关系的效果示意图;
图4示意性地示出了终端设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的视频剪辑方法可以向用户提供自动生成的具有较好的观赏性的剪辑视频。以无人机为例,用户控制无人机在不同的环境(比如海边、山顶、操场、湖畔)飞行,例如环绕兴趣点飞行并且进行拍摄,得到视频A、视频B、视频C、视频D等多个视频。
通过本申请实施例提供的视频剪辑方法,可以确定视频序列。例如,分别将每一个视频划分为多段视频。对视频A进行划分得到视频A1、视频A2、视频A3、视频A4,对视频B进行划分得到视频B1、视频B2、视频B3、视频B4。对视频C进行划分得到视频C1、视频C2、视频C3、视频C4。对视频D进行划分得到视频D1、视频D2、视频D3、视频D4。可以根据对于通过划分得到的所有视频中的每个视频对应的拍摄装置的运动状态,确定A1、B2、C3、D4的视频序列、或者A1、C2、B3、D4的视频序列等视频序列。对于每一个视频序列,可以对视频序列中的所有视频进行拼接,得到剪辑视频。在用户需要对通过拍摄得到的视频进行剪辑时,可以向用户提供自动生成的所有剪辑视频。通过本申请实施例提供的视频剪辑方法确定的视频序列中的任意两个相邻的视频对应的拍摄装置的运动状态匹配,如此可以使得自动生成的剪辑视频具有较好的观赏性,将自动生成的具有较好的观赏性的剪辑视频提供给用户,可以使用户避免手动剪辑的繁琐操作。
请参考图1,其示出了本申请实施例提供的视频剪辑方法的流程图。该方法包括以下步骤:
步骤101,获取多个视频,多个视频由拍摄装置拍摄得到。
在本申请中,获取到的多个视频为由拍摄装置在运动过程中拍摄的视频。
在一些实施例中,获取多个视频之前,还包括:获取多个原始视频;对多个原始视频进行划分,以得到多个视频。
在一些实施例中,在获取多个视频之前,可以首先获取多个原始视频。当对多个原始视频进行划分时,可以将每一个原始视频分别划分为多个视频。分别将每一个原始视频划分为多个视频之后,通过划分得到的所有视频组成获取到的多个视频。
步骤102,获取多个视频中每个视频对应的拍摄装置的运动状态。
在一些实施例中,拍摄装置设置于可移动平台,可移动平台包括无人机、自动驾驶车辆、手持稳定器。
在一些实施例中,拍摄装置的运动状态包括所述拍摄装置的运动方向、运动轨迹、运动速度、高度中的一个或多个。
在一些实施例中,获取多个视频中每个视频对应的拍摄装置的运动状态,包括:获取多个视频中每个视频在起始时间段对应的拍摄装置的运动状态和结束时间段对应的拍摄装置的运动状态。
在一些实施例中,对于一个视频,该视频的起始时间段可以为位于该视频的拍摄时间段内的、以该视频的拍摄时间段的开始时刻作为开始时刻的一定时长的时间段,该视频的结束时间段可以为位于该视频的拍摄时间段内的、以邻近该视频的拍摄时间段的结束时刻的时刻作为开始时刻并且以该视频的拍摄时间段的结束时刻作为结束时刻的一定时长的时间段。
在一些实施例中,获取多个视频中每个视频在起始时间段对应的拍摄装置的运动状态和结束时间段对应的拍摄装置的运动状态,包括:获取每个视频中起始时间段的视频帧和结束时间段的视频帧;根据起始时间段的视频帧和结束时间段的视频帧,确定每个视频在起始时间段对应的拍摄装置的运动状态和结束时间段对应的拍摄装置的运动状态。
在一些实施例中,对于一个视频,该视频中起始时间段的视频帧为在该视频的起始时间段内通过拍摄得到的视频帧,该视频中结束时间段的视频帧为在该视频的结束时间段通过拍摄得到的视频帧。对于每一个视频,可以根据视频中起始时间段的视频帧,确定视频在起始时间段对应的拍摄装置的运动状态。对于每一个视频,可以根据视频的结束时间段的视频帧,确定视频在结束时间段对应的拍摄装置的运动状态。
例如,以视觉里程计(Visual Odometry,简称VO)、即时定位与地图构建(simultaneous localization and mapping,简称SLAM)等方式,对于每一个视频,基于视频中起始时间段的视频帧或结束时间段的视频帧,来估计在起始时间段或结束时间段拍摄装置的运动轨迹,从而,得到描述运动状态的移动方向等信息,获取到视频在起始时间段对应的拍摄装置的运动状态或视频在结束时间段对应的拍摄装置的运动状态。
在一些实施例中,根据起始时间段的视频帧和结束时间段的视频帧,确定每个视频在起始时间段对应的拍摄装置的运动状态和结束时间段对应的拍摄装置的运动状态,包括:获取起始时间段的视频帧的特征点;对起始时间段的视频帧的特征点进行特征点匹配,得到起始时间段对应的拍摄装置的运动状态;获取结束时间段的视频帧的特征点;对结束时间段的视频帧的特征点进行特征点匹配,得到结束时间段对应的拍摄装置的运动状态。
当计算视频在起始时间段对应的拍摄装置的运动状态或在结束时间段对应的拍摄装置的运动状态时,可以首先获取在视频的起始时间段或在视频的结束时间段内通过拍摄得到的多个视频帧,确定多个视频帧中的每一个视频帧中的特征点。视频帧中的特征点可以为视频帧的角点。可以采用角点检测算法例如FAST(features from acceleratedsegment test)、SUSAN、Harris operator检测出视频帧的角点。然后,检测每一个视频帧中的与其他的视频帧中的特征点匹配的特征点。根据每一个视频帧中的与其他的视频帧中的特征点匹配的特征点在图像坐标系中的坐标,得到在视频的起始时间段或在视频的结束时间段拍摄装置的运动矢量,从而,得到视频在起始时间段对应的拍摄装置的运动状态或视频在结束时间段对应的拍摄装置的运动状态。
在一些实施例中,可以检测每一个视频帧中的与其他的视频帧中的特征点匹配的特征点。然后,可以根据每一个视频帧中的与其他的视频帧中的特征点匹配的特征点在图像坐标系中的坐标,根据每一个视频帧中的与其他的视频帧中的特征点匹配的特征点在图像坐标系中的坐标,对在视频的起始时间段或结束时间段内可移动平台的相机的运动情况进行估计,然后,进一步计算出在视频的起始时间段或在视频的结束时间段拍摄装置的运动矢量,从而,得到视频在起始时间段对应的拍摄装置的运动状态或视频在结束时间段对应的拍摄装置的运动状态。
可选的,可以对获取到的在起始时间段或结束时间段内通过拍摄得到的多个视频帧中的每一个视频帧分别建立高斯金字塔,对于每一个视频帧的高斯金字塔中的每一层,查找出与其他的视频帧的高斯金字塔中的相应层中的特征点匹配的特征点。对于每一个视频帧,将视频帧的高斯金字塔中的所有层中的与其他的视频帧的高斯金字塔中的相应层中的特征点匹配的特征点均作为视频帧的与其他的视频帧中的特征点匹配的特征点。
步骤103,根据每个视频对应的拍摄装置的运动状态,对所述多个视频进行排序以确定视频序列。
在一些实施例中,可以根据获取到的多个视频中的每个视频对应的拍摄装置的运动状态,确定一个或多个视频序列。
在一些实施例中,拍摄装置的运动状态可以利用多个参数描述。例如,视频对应的拍摄装置的运动状态包括拍摄装置的运动方向、运动轨迹、运动速度、高度中的一个或多个。在一个实施例中,当在拍摄视频的过程中拍摄装置的运动轨迹为弧线时,可以确定运动轨迹的起始点和结束点,将起始点朝向结束点的方向作为在拍摄视频的过程中拍摄装置的运动方向。
在一些实施例中,视频序列中的任意两个相邻的视频对应的拍摄装置的运动状态匹配。相邻的两个视频对应的拍摄装置的运动状态匹配可以使得剪辑视频具有较好的观赏性。两个视频是否匹配可以根据两个视频满足相应的预设匹配条件确定。
例如,视频序列中的两个相邻的视频中的一个视频对应的拍摄装置的运动方向和另一个视频对应的拍摄装置的运动方向的差异较大,例如一个视频对应的运动方向与另一个视频对应的运动方向垂直,可以使得在根据视频序列生成的剪辑视频播放时,两个相邻的视频的切换产生具有冲击性的视觉效果,剪辑视频具有较好的观赏性。
预设匹配条件可以包括:一个视频对应的拍摄装置的运动方向与另一个视频对应的拍摄装置的运动方向的差异大于运动方向差异阈值。
若获取到的多个视频中的一个视频对应的拍摄装置的运动方向与另一个视频对应的拍摄装置的运动方向的差异大于运动方向差异阈值,则该一个视频和该另一个视频作为视频序列中的相邻的两个视频。
例如,视频序列中的两个相邻的视频中的一个视频对应的拍摄装置在移动时所处的高度和另一个视频对应的拍摄装置在移动时所处的高度的差异较大,可以使得在根据视频序列生成的剪辑视频播放时,两个相邻的视频的切换产生具有冲击性的视觉效果,剪辑视频具有较好的观赏性。
预设匹配条件可以包括:一个视频对应的拍摄装置在移动时所处的高度和另一个视频对应的拍摄装置在移动时所处的高度的差异大于高度差阈值。
若获取到的多个视频中的一个视频对应的拍摄装置在移动时所处的高度和另一个视频对应的拍摄装置在移动时所处的高度的差异大于高度差阈值,则该一个视频和该另一个视频可以作为视频序列中的两个相邻的视频。
例如,视频序列中的两个相邻的视频中的一个视频对应的运动方向与另一个视频对应的运动方向之间的夹角处于预先设置的与视觉上的平滑的切换相关联的角度范围内,使得该两个相邻的视频的切换是在视觉上的平滑的切换,剪辑视频具有较好的观赏性。
预设匹配条件可以包括:一个视频对应的运动方向与另一个视频对应的运动方向之间的夹角处于预先设置的与视觉上的平滑的切换相关联的角度范围内。
若获取到的多个视频中的一个视频对应的运动方向与另一个视频对应的运动状态中的运动方向之间的夹角处于预先设置的与视觉上的平滑的切换相关联的角度范围内,则该一个视频和该另一个视频可以作为视频序列中的两个相邻的视频。
在一些实施例中,视频序列中第一视频的结束时间段对应的拍摄装置的运动状态与第二视频的起始时间段对应的拍摄装置的运动状态相匹配,第一视频和第二视频为视频序列中时序相邻的视频。
在一些实施例中,第一视频在视频序列中的位置可以在第二视频在视频序列中的位置之前。两个相邻的视频中的在视频序列中的位置在前的视频可以称之为第一视频,两个相邻的视频中的在视频序列中的位置在后的视频可以称之为第二视频。
例如,将原始视频1划分为视频A1、视频A2、视频A3、视频A4。将原始视频2划分为视频B1、视频B2、视频B3、视频B4。将原始视频3划分为视频C1、视频C2、视频C3、视频C4。将原始视频4划分为视频D1、视频D2、视频D3、视频D4。查找出的一个视频序列包括:A1、B2、C3、D4。视频序列中的顺序为A1、B2、C3、D4。对于A1和B2,A1为第一视频,B2为第二视频,A1的结束时间段对应的拍摄装置的运动状态与B2的起始时间段对应的拍摄装置的运动状态相匹配。对于B2和C3,B2为第一视频,C3为第二视频,B2的结束时间段对应的拍摄装置的运动状态与C3的起始时间段对应的拍摄装置的运动状态相匹配。对于C3和D4,C3为第一视频,D4为第二视频,视频序列中C3的结束时间段对应的拍摄装置的运动状态与D4的起始时间段对应的拍摄装置的运动状态相匹配。
在一些实施例中,视频序列中时序相邻的两个视频属于不同的原始视频。
在一些实施例中,视频序列中第一视频的结束时间段对应的拍摄装置的运动状态与第二视频的起始时间段对应的拍摄装置的运动状态相匹配,包括:第一视频的结束时间段对应的拍摄装置的运动方向与第二视频的起始时间段对应的拍摄装置的运动方向一致。
查找出的一个视频序列包括:A1、B2、C3、D4。视频序列中的顺序为A1、B2、C3、D4。对于A1和B2,A1为第一视频,B2为第二视频,A1的结束时间段对应的拍摄装置的运动方向与B2的起始时间段对应的拍摄装置的运动方向一致。对于B2和C3,B2为第一视频,C3为第二视频,B2的结束时间段对应的拍摄装置的运动方向与C3的起始时间段对应的拍摄装置的运动方向一致。对于C3和D4,C3为第一视频,D4为第二视频,C3的结束时间段对应的拍摄装置的运动方向与D4的起始时间段对应的拍摄装置的运动方向一致。
在视频序列中的第一视频的结束时间段对应的拍摄装置的运动方向与第二视频的起始时间段对应的拍摄装置的运动方向一致,可以使得任意两个相邻的视频的切换是在视觉上的平滑的切换,剪辑视频具有较好的观赏性。
在一些实施例中,第一视频的结束时间段对应的拍摄装置的运动方向与第二视频的起始时间段对应的拍摄装置的运动方向一致,包括:第一视频对应的运动矢量与第二视频对应的运动矢量之间的夹角小于角度阈值以及第一视频对应的运动矢量的模的长度与第二视频对应的运动矢量的模的长度的比值小于比例阈值。
在一些实施例中,当第一视频对应的运动矢量与第二视频对应的运动矢量之间的夹角小于角度阈值以及第一视频对应的运动矢量的模的长度与第二视频对应的运动矢量的模的长度的比值小于比例阈值时,则第一视频的结束时间段对应的拍摄装置的运动方向与第二视频的起始时间段对应的拍摄装置的运动方向一致。
在一些实施例中,所述拍摄装置通过云台安装于可移动平台,所述拍摄装置设置有惯性测量单元,所述获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态,包括:获取所述惯性测量单元的测量数据和所述云台的姿态角以确定所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。例如通过惯性测量单元的测量数据得到拍摄装置的位置,通过云台的姿态角得到拍摄装置的姿态,当计算视频的起始时间段拍摄装置的运动矢量时,可以获取在视频的起始时间段的开始时刻拍摄装置的位置和姿态以及视频的起始时间段的结束时刻拍摄装置的位置和姿态。根据视频的起始时间段的开始时刻拍摄装置的位置和视频的起始时间段的结束时刻拍摄装置的位置,计算在视频的起始时间段内拍摄装置的位移量。根据视频的起始时间段的开始时刻拍摄装置的姿态和视频的起始时间段的结束时刻拍摄装置的姿态,计算在视频的起始时间段内拍摄装置的姿态的变化量。然后,根据在视频的起始时间段内拍摄装置的位移量和拍摄装置的姿态的变化量,计算在视频的起始时间段拍摄装置的运动矢量。同理,可以计算在视频的结束时间段拍摄装置的运动矢量。
可选的,当计算视频的起始时间段拍摄装置的运动矢量时,可以获取邻近视频的起始时间段的开始时刻的多个时刻拍摄装置的运动参数和邻近视频的起始时间段的结束时刻的多个时刻拍摄装置的运动参数。根据任意一个邻近该开始时刻的时刻拍摄装置的运动参数和任意一个邻近该结束时刻的时刻拍摄装置的运动参数,均可以计算出一个运动矢量,从而,可以计算出多个运动矢量,可以将计算出的多个运动矢量的平均值作为计算视频的起始时间段拍摄装置的运动矢量。同理,可以计算视频的结束时间段拍摄装置的运动矢量。
请参考图2,示出了查找视频序列的一个原理示意图。
假设拍摄装置安装于无人机。通过拍摄得到四个原始视频分别为视频1、视频2、视频3、视频4。示例的,视频1、视频2、视频3、视频4均为无人机环绕目标对象进行环绕拍摄得到的视频。
将视频1划分为视频A1、视频A2、视频A3、视频A4。将视频2划分为视频B1、视频B2、视频B3、视频B4。将视频3划分为视频C1、视频C2、视频C3、视频C4。将视频4划分为视频D1、视频D2、视频D3、视频D4。
在图2中,示出了每一个视频的运动轨迹。
在视频A1的结束时间段拍摄装置的运动方向与在视频B2的起始时间段拍摄装置的运动方向一致。在视频B2的结束时间段拍摄装置的运动方向与在视频C3的起始时间段拍摄装置的运动方向一致。在视频C3的结束时间段拍摄装置的运动方向与在视频D4的起始时间段拍摄装置的运动方向一致。
因此,A1、B2、C3、D4可以组成一个视频序列,在视频序列中,视频的顺序为A1、B2、C3、D4。
同理,参考查找出包括A1、B2、C3、D4的视频序列的方式,可以查找出包括A1、C2、B3、D4的视频序列、包括A1、D2、B3、C4的视频序列等视频序列,在视频A1的结束时间段拍摄装置的运动方向与在视频C2的起始时间段拍摄装置的运动方向一致。在视频C2的结束时间段拍摄装置的运动方向与在视频B3的起始时间段拍摄装置的运动方向一致。在视频B3的结束时间段拍摄装置的运动方向与在视频D4的起始时间段拍摄装置的运动方向一致。
在包括A1、D2、B3、C4的视频序列中,视频的顺序为A1、D2、B3、C4。在视频A1的结束时间段拍摄装置的运动方向与在视频D2的起始时间段拍摄装置的运动方向一致。在视频D2的结束时间段拍摄装置的运动方向与在视频B3的起始时间段拍摄装置的运动方向一致。在视频B3的结束时间段拍摄装置的运动方向与在视频C4的起始时间段拍摄装置的运动方向一致。
对于每一个视频序列,在视频序列中的第一视频的结束时间段对应的拍摄装置的运动方向与第二视频的起始时间段对应的拍摄装置的运动方向一致,可以使得任意两个相邻的视频的切换是在视觉上的平滑的切换,对视频序列中的视频进行拼接得到的剪辑视频具有较好的观赏性。
需要说明的是,上述实施例仅以无人机为例进行说明,并不构成对本发明的限制,例如,拍摄装置还可以设置于自动驾驶车辆,手持稳定器等。当拍摄装置设置于手持稳定器,如手持云台时,可以获取拍摄装置得到的多个视频,并获取多个视频中每个视频对应的拍摄装置的运动状态,并根据每个视频对应的拍摄装置的运动状态,对多个视频进行排序以确定视频序列。上述步骤的具体实现方式可参考前文描述,此处不再赘述。
在一些实施例中,当拍摄装置安装于可移动平台时,还可以获取多个视频中每个视频对应的可移动平台的运动状态,并根据每个视频对应的可移动平台的运动状态,对多个视频进行排序以确定视频序列。可移动平台的运动状态包括可移动平台的运动方向、运动轨迹、运动高度、速度中的一个或多个。上述步骤的具体实现方式可参考前文描述,此处不再赘述。
步骤104,至少部分的基于视频序列,生成剪辑视频。
在一些实施例中,可以将一个或多个视频序列提供给用户,由用户从所有提供给用户的视频序列中选取出用于生成剪辑视频的视频序列。对于用户选取的每一个用于生成剪辑视频的视频序列,将视频序列中的视频进行拼接,得到剪辑视频,然后,将得到的所有剪辑视频提供给用户。也可以对于每一个视频序列,将视频序列中的视频进行拼接,得到剪辑视频,然后,将得到的所有剪辑视频提供给用户。
在一些实施例中,至少部分的基于视频序列,生成剪辑视频,包括:获取节奏点序列;根据节奏点序列和视频序列,生成剪辑视频。
在一些实施例中,可以利用查找出的视频序列和提供给用户的音乐中的用于生成剪辑视频的音乐,生成剪辑视频,用于生成剪辑视频的音乐或用于生成剪辑视频的音乐中的一部分作为剪辑视频的背景音乐,使得剪辑视频具有背景音乐。
在一些实施例中,可以由用户从提供给用户的多个音乐中选取出用于生成剪辑视频的音乐。然后,可以获取由用于生成剪辑视频的音乐中的节奏点组成的节奏点序列。可以根据节奏点序列和视频序列,生成剪辑视频。
在一些实施例中,用于生成剪辑视频的音乐中的节奏点可以为周期性出现的节奏点。相应的,节奏点序列中的节奏点也可以为周期性出现的节奏点。
在一些实施例中,节奏点序列中的节奏点可以为鼓点。可以提取用于生成剪辑视频的音乐的音频信号中的鼓声频段,根据鼓声频段中的每帧信号的频谱特征、振幅等,检测出用于生成剪辑视频的音乐中的周期性出现的鼓点,确定周期性出现的鼓点在用于生成剪辑视频的音乐中出现的时刻。
在一些实施例中,每一个视频序列可以分别对应一个或多个节奏点序列。当一个视频序列对应多个节奏点序列时,对于该视频序列对应的每一个节奏点序列,可以根据该视频序列和该节奏点序列,生成一个剪辑视频。
在一些实施例中,视频序列中的每一个视频可以分别对应该视频序列对应的节奏点序列中的两个节奏点。
在一些实施例中,可以首先检测出用于生成剪辑视频的音乐中的所有节奏点。当确定视频序列对应的节奏点序列时,可以根据视频序列中的视频的数量,确定节奏点序列中的节奏点的数量。然后,可以从所有节奏点中选取出确定出的数量的节奏点,由选取出的节奏点组成节奏点序列。
在一些实施例中,对于视频序列中的每一个视频,当该视频的时长大于其对应的两个节奏点之间的时间间隔时,可以对该视频进行压缩处理,使得该视频的时长等于其对应的两个节奏点之间的时间间隔,当该视频的时长小于其对应的两个节奏点之间的时间间隔时,可以对该视频进行拉伸处理,使得该视频的时长等于其对应的两个节奏点之间的时间间隔。从而,对于视频序列中的每一个视频,该视频的时长等于其对应的两个节奏点之间的时间间隔。
在一些实施例中,对于视频序列中的一个视频,该视频对应的两个节奏点中的在用于生成剪辑视频的音乐中出现的时刻靠后的节奏点可以作为与该视频与该视频的下一个视频之间的切换相关联的节奏点。
例如,一个视频序列包括:视频A1、视频B2、视频C3、视频D4。该视频序列中的视频的顺序为视频A1、视频B2、视频C3、视频D4。该视频序列对应的节奏点序列包括:用于生成剪辑视频的音乐中的节奏点1、用于生成剪辑视频的音乐中的节奏点2、用于生成剪辑视频的音乐中的节奏点3、用于生成剪辑视频的音乐中的节奏点4、用于生成剪辑视频的音乐中的节奏点5。
在一些实施例中,该视频序列对应的节奏点序列中的节奏点在用于生成剪辑视频的音乐中顺序出现,也即出现的顺序依次为该节奏点1、该节奏点2、该节奏点3、该节奏点4、该节奏点5。在其他实施例中,节奏点序列中的节奏点在用于生成剪辑视频的音乐中并非顺序出现。
视频A1对应的两个节奏点为该节奏点1、该节奏点2,该节奏点1该与该节奏点2的时间间隔等于视频A1的时长。节奏点2为与视频A1与视频B2之间的切换相关联的节奏点。
视频B2对应的两个节奏点为该节奏点2、该节奏点3,该节奏点2该与该节奏点3的时间间隔等于视频B2的时长。节奏点3为与视频B2与视频C3之间的切换相关联的节奏点。
视频C3对应的两个节奏点为该节奏点3、该节奏点4,该节奏点3该与该节奏点4的时间间隔等于视频C3的时长。节奏点4为与视频C3与视频D4之间的切换相关联的节奏点。
视频D4对应的两个节奏点为该节奏点4、该节奏点5,该节奏点4该与该节奏点5的时间间隔等于视频D4的时长。
在一些实施例中,一个视频序列对应的节奏点序列可以为多个。可以对于每一个视频序列,确定视频序列对应的一个或多个节奏点序列。
例如,确定包括A1、B2、C3、D4的视频序列。用于生成剪辑视频的音乐中包括:节奏点1、节奏点2、节奏点3、节奏点4、节奏点5、节奏点6、节奏点7、节奏点8、节奏点9、节奏点10。包括A1、B2、C3、D4的视频序列对应的节奏点序列可以由节奏点1、节奏点2、节奏点3、节奏点4、节奏点5组成,或者包括A1、B2、C3、D4的视频序列对应的节奏点序列可以由节奏点6、节奏点7、节奏点8、节奏点9、节奏点10组成,。
在一些实施例中,也可以对于每一个视频序列,将视频序列中的视频的缩略图、视频序列对应的节奏点序列中的节奏点的标识、节奏点在用于生成剪辑视频的音乐中出现的时刻等内容在视频剪辑界面中呈现给需要获取剪辑视频的用户。由用户选择是否利用视频序列和视频序列对应的节奏点序列,生成剪辑视频。当用户进行指示利用视频序列和视频序列对应的节奏点序列,生成剪辑视频的操作时,可以生成剪辑视频。
在一些实施例中,在根据一个视频序列和该视频序列对应的节奏点序列生成一个剪辑视频之后,该视频序列中的每一个视频作为该剪辑视频中的一个视频。剪辑视频中的视频的顺序与视频序列中的视频的顺序一致。对于每一个视频,在用于生成剪辑视频的音乐中的位于视频对应的两个节奏点之间的音乐段作为剪辑视频的背景音乐的一段。
在一些实施例中,当播放剪辑视频时,在播放一个视频的同时,播放在用于生成剪辑视频的音乐中的位于该视频对应的两个节奏点之间的音乐段。
在一些实施例中,剪辑视频中的每一个视频均具有在播放时间轴上的开始时刻和在播放时间轴上的结束时刻。对于剪辑视频中的一个视频,该视频在播放时间轴上的开始时刻可以是指播放剪辑视频时,在播放时间轴上的开始播放该视频的时刻,该视频在播放时间轴上的结束时刻可以是指当播放剪辑视频时,在播放时间轴上的结束播放该视频的时刻。
在一些实施例中,对于剪辑视频中的位置相邻的两个视频,位置在前的视频的结束时刻为位置在后的视频的开始时刻。
在一些实施例中,当播放剪辑视频时,视频序列对应的节奏点序列中的每一个节奏点均具有一个在播放时间轴上的出现时刻。
在一些实施例中,对于剪辑视频中的一个视频,该视频的时长等于该视频对应的两个节奏点的时间间隔。该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠后的节奏点为与从该视频切换到该视频的下一个视频相关的节奏点。该视频在播放时间轴上的开始时刻与该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠前的节奏点在播放时间轴上的出现时刻相同,该视频在播放时间轴上的结束时刻与该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠后的节奏点在播放时间轴上的出现时刻相同。该视频的下一个视频在播放时间轴上的开始时刻与该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠后的节奏点在播放时间轴上的出现时刻相同。
在播放剪辑视频的过程中,在该视频在播放时间轴上的开始时刻开始播放该视频,换言之,在该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠前的节奏点在播放时间轴上的出现时刻,开始播放该视频。在该视频在播放时间轴上的结束时刻结束播放该视频,从该视频切换到下一个视频,开始播放该视频的下一个视频,换言之,在该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠后的节奏点在播放时间轴上的出现时刻,从该视频切换到下一个视频,开始播放该视频的下一个视频。由于该视频对应的运动特征与该视频的下一个视频的运动特征匹配,因此,当从该视频切换到下一个视频时,可以进行在视觉上的平滑的切换。
请参考图3,其示出了视频序列中的视频和节奏点在时序上的关联关系的效果示意图。
在图3中,示出了一个视频序列中的视频A1、视频B2、视频C3、视频D4。该视频序列中的视频的顺序为视频A1、视频B2、视频C3、视频D4。该视频序列对应的节奏点序列包括:用于生成剪辑的音乐中的节奏点1、用于生成剪辑的音乐中的节奏点2、用于生成剪辑的音乐中的节奏点3、用于生成剪辑的音乐中的节奏点4、用于生成剪辑的音乐中的节奏点5。视频序列对应的节奏点序列中的节奏点在用于生成剪辑视频的音乐中出现的顺序依次为该节奏点1、该节奏点2、该节奏点3、该节奏点4、该节奏点5。
视频A1对应的两个节奏点为该节奏点1、该节奏点2,该节奏点1与该节奏点2的时间间隔等于视频A1的时长。该节奏点2为与视频A1与视频B2之间的切换相关联的节奏点。
视频B2对应的两个节奏点为该节奏点2、该节奏点3,该节奏点2与该节奏点3的时间间隔等于视频B2的时长。该节奏点3为与视频B2与视频C3之间的切换相关联的节奏点。
视频C3对应的两个节奏点为该节奏点3、该节奏点4,该节奏点3与该节奏点4的时间间隔等于视频C3的时长。该节奏点4为与视频C3与视频D4之间的切换相关联的节奏点。
视频D4对应的两个节奏点为该节奏点4、该节奏点5,该节奏点4与该节奏点5的时间间隔等于视频D4的时长。
当该视频序列和该视频序列对应的节奏点序列被用于生成一个剪辑视频时,生成的一个剪辑视频包括:该视频序列和该剪辑视频的背景音乐。
该剪辑视频的背景音乐包括:位于该节奏点1在用于生成剪辑的音乐中出现的时刻与该节奏点2在用于生成剪辑的音乐中出现的时刻之间的时间段的音乐段1、位于该节奏点2在用于生成剪辑的音乐中出现的时刻与该节奏点3在用于生成剪辑的音乐中出现的时刻之间的时间段的音乐段2、位于该节奏点3在用于生成剪辑的音乐中出现的时刻与节奏点4在用于生成剪辑的音乐中出现的时刻之间的时间段的音乐段3、位于该节奏点4在用于生成剪辑的音乐中出现的时刻与节奏点5在用于生成剪辑的音乐中出现的时刻之间的时间段的音乐段4。
在图3中,示出的时间轴表示播放剪辑视频时的播放时间轴。节奏点1在播放时间轴上的出现时刻可以为播放时间轴上的0时刻,其他的节奏点在播放时间轴上的出现时刻也可以被确定。此外,节奏点1在播放时间轴上的出现时刻也可以由需要获取剪辑视频的用户设置,根据用户设置的节奏点1在播放时间轴上的出现时刻,其他的节奏点在播放时间轴上的出现时刻也可以被确定。
视频A1的时长等于节奏点1与节奏点2的时间间隔。视频A1在播放时间轴上的开始时刻与节奏点1在播放时间轴上的出现时刻相同,视频A1在播放时间轴上的开始时刻为播放时间轴上的0时刻。视频A1在播放时间轴上的结束时刻与节奏点2在播放时间轴上的出现时刻相同。
视频B2的时长等于节奏点2与节奏点3的时间间隔。视频B2在播放时间轴上的开始时刻与节奏点2在播放时间轴上的出现时刻相同,视频B2在播放时间轴上的结束时刻与节奏点3在播放时间轴上的出现时刻相同。
视频C3的时长等于节奏点3与节奏点4的时间间隔。视频C3在播放时间轴上的开始时刻与节奏点3在播放时间轴上的出现时刻相同,视频C3在播放时间轴上的结束时刻与节奏点4在播放时间轴上的出现时刻相同。
视频D4的时长等于节奏点4与节奏点5的时间间隔。视频D4在播放时间轴上的开始时刻与节奏点4在播放时间轴上的出现时刻相同,视频D4在播放时间轴上的结束时刻为节奏点5在播放时间轴上的出现时刻。
在基于该视频序列和该视频序列对应的节奏点序列生成一个剪辑视频之后,当播放该剪辑视频时,首先播放视频A1,从节奏点1在播放时间轴上的出现时刻即播放时间轴上的0时刻开始播放视频A1。在视频A1的播放过程中,在将视频A1中的图像呈现给用户的同时,播放音乐段1。当到达节奏点2在播放时间轴上的出现时刻,停止播放视频A1,从视频A1切换到视频B2,继续播放视频B2。在播放视频B2的过程中,在将视频B2中的图像呈现给用户的同时,播放音乐片段2。当到达节奏点3在播放时间轴上的出现时刻,停止播放视频B2,从视频B2切换到视频C3,继续播放视频C3。在播放视频C3的过程中,在将视频C3中的图像呈现给用户的同时,播放音乐片段3。当到达节奏点4在播放时间轴上的出现时刻,停止播放视频C3,从视频C3切换到视频D4,继续播放视频D4。在播放视频D4的过程中,在将视频D4中的图像呈现给用户的同时,播放音乐片段4。
视频A1对应的运动特征与视频B2对应的运动特征匹配,视频B2对应的运动特征与视频C3对应的运动特征匹配,视频C3对应的运动特征与视频D4对应的运动特征匹配。因此,从视频A1切换到视频B2、从视频B2切换到视频C3、从视频C3切换到视频D4中的任意一次在相应的节奏点出现的时刻完成的视频的切换均为在视觉上的平滑的切换。
在一些实施例中,根据节奏点序列和视频序列,生成剪辑视频,包括:根据节奏点序列,确定视频序列是否满足预设条件;当满足预设条件时,对视频序列中的每个视频进行拼接以得到剪辑视频;当不满足预设条件时,调整视频序列中的视频的起始点或结束点得到调整后的视频,对调整后的视频进行拼接以得到剪辑视频。
例如,预设条件可以为:对于视频序列中的每一个视频,该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠前的节奏点与视频的起始点的时间间隔小于时间阈值并且在播放时间轴上的出现时刻靠后的节奏点与视频的结束点的时间间隔小于时间阈值。
在播放时间轴上的出现时刻靠前的节奏点与视频的起始点的时间间隔可以是指在播放时间轴上的出现时刻靠前的节奏点在播放时间轴上出现的时刻与视频在播放时间轴上的开始时刻之间的时间差。
在播放时间轴上的出现时刻靠后的节奏点与视频的结束点的时间间隔可以是指在播放时间轴上的出现时刻靠后的节奏点在播放时间轴上出现的时刻与视频的结束点在播放时间轴上的结束时刻之间的时间差。
当满足预设条件时,可以对视频序列中的每个视频进行拼接以得到剪辑视频。在进行拼接时,对于每一个视频,可以将视频对应的两个节奏点之间的音乐段作为剪辑视频的背景音乐中的对应于该视频的一段音乐。
当视频序列中存在至少一个满足以下调整条件的视频,则视频序列不满足预设条件:视频对应的两个节奏点中的在播放时间轴上的出现时刻靠前的节奏点与视频的起始点的时间间隔大于时间阈值和/或视频对应的两个节奏点中的在播放时间轴上的出现时刻靠后的节奏点与视频的结束点的时间间隔大于时间阈值。
当不满足预设条件时,将满足调整条件的视频确定为视频序列中的需要调整的视频。对于每一个需要调整的视频,分别对需要调整的视频的起始点或结束点进行调整,即对需要调整的视频在播放时间轴上的开始时刻或在播放时间轴上的结束时刻在播放时间轴上的位置,得到调整后的视频。对于每一个需要调整的视频,在对视频进行调整后得到的调整后的视频均满足该视频对应的两个节奏点中的在播放时间轴上的出现时刻靠前的节奏点与视频的起始点的时间间隔小于时间阈值并且在播放时间轴上的出现时刻靠后的节奏点与视频的结束点的时间间隔小于时间阈值。得到的所有调整后的视频和未经过调整的视频进行拼接,得到剪辑视频。
在一些实施例中,调整视频的起始点或结束点得到调整后的视频,包括:对视频进行裁剪、压缩或拉伸处理,以调整视频的起始点或结束点得到调整后的视频。
在确定视频序列中的需要调整的视频之后,可以对需要调整的视频进行裁剪,以调整视频的起始点或结束点,得到调整后的视频。可以对需要进行压缩,以调整视频的起始点或结束点,得到调整后的视频。可以对需要调整的视频进行拉伸处理,得到调整后的视频。
在一些实施例中,预设条件包括:视频序列中的视频的起始点或结束点与节奏点序列中的任一节奏点的时间间隔小于或等于预设时间阈值。
视频序列中的视频并不特指某一个视频,当预设条件包括视频序列中的视频的起始点或结束点与节奏点序列中的任一节奏点的时间间隔小于或等于预设时间阈值时,若视频序列中的任意一个视频的起始点或结束点与节奏点序列中的任一节奏点的时间间隔小于或等于预设时间阈值时,则满足预设条件。
本申请实施例还提供了一种终端设备,终端设备包括处理器,处理器用于:获取多个视频,所述多个视频由拍摄装置拍摄得到;获取所述多个视频中每个视频对应的拍摄装置的运动状态;根据所述每个视频对应的拍摄装置的运动状态,对所述多个视频进行排序以确定视频序列;至少部分的基于所述视频序列,生成剪辑视频。
在一些实施例中,所述处理器在获取所述多个视频中每个视频对应的所述拍摄装置的运动状态时,具体用于:获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
在一些实施例中,所述处理器在获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态时,具体用于:获取所述每个视频中起始时间段的视频帧和结束时间段的视频帧;根据所述起始时间段的视频帧和所述结束时间段的视频帧,确定所述每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
在一些实施例中,所述处理器在根据所述起始时间段的视频帧和所述结束时间段的视频帧,确定所述每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态时,具体用于:获取所述起始时间段的视频帧的特征点;对所述起始时间段的视频帧的特征点进行特征点匹配,得到所述起始时间段对应的所述拍摄装置的运动状态;获取所述结束时间段的视频帧的特征点;对所述结束时间段的视频帧的特征点进行特征点匹配,得到所述结束时间段对应的所述拍摄装置的运动状态。
在一些实施例中,所述拍摄装置通过云台安装于可移动平台,所述拍摄装置设置有惯性测量单元;所述处理器在获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和所述结束时间段对应的所述拍摄装置的运动状态时,具体用于:获取所述惯性测量单元的测量数据和所述云台的姿态角以确定所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和所述结束时间段对应的所述拍摄装置的运动状态。
在一些实施例中,视频序列中第一视频的结束时间段对应的所述拍摄装置的运动状态与第二视频的起始时间段对应的所述拍摄装置的运动状态相匹配,所述第一视频和所述第二视频为所述视频序列中时序相邻的视频。
在一些实施例中,视频序列中第一视频的结束时间段对应的所述拍摄装置的运动状态与第二视频的起始时间段对应的所述拍摄装置的运动状态相匹配,包括:所述第一视频的结束时间段对应的所述拍摄装置的运动方向与所述第二视频的起始时间段对应的所述拍摄装置的运动方向一致。
在一些实施例中,第一视频的结束时间段对应的所述拍摄装置的运动方向与第二视频的起始时间段对应的所述拍摄装置的运动方向一致,包括:所述第一视频对应的运动矢量与所述第二视频对应的运动矢量之间的夹角小于角度阈值以及所述第一视频对应的运动矢量的模的长度与所述第二视频对应的运动矢量的模的长度的比值小于比例阈值。
在一些实施例中,处理器还用于:获取多个原始视频;对所述多个原始视频进行划分,以得到所述多个视频。
在一些实施例中,视频序列中时序相邻的两个视频属于不同的所述原始视频。
在一些实施例中,所述处理器至少部分的基于所述视频序列,生成剪辑视频时,具体用于:获取节奏点序列;根据所述节奏点序列和所述视频序列,生成剪辑视频。
在一些实施例中,所述处理器根据所述节奏点序列和所述视频序列,生成剪辑视频时,包括:根据所述节奏点序列,确定所述视频序列是否满足预设条件;当所述视频序列满足预设条件时,对所述视频序列中的每个视频进行拼接以得到所述剪辑视频;当所述视频序列不满足预设条件时,调整所述视频序列中的视频的起始点或结束点得到调整后的视频,对所述调整后的视频进行拼接以得到所述剪辑视频。
在一些实施例中,预设条件包括:所述视频序列中的视频的起始点或结束点与所述节奏点序列中的任一节奏点的时间间隔小于或等于预设时间阈值。
在一些实施例中,所述处理器调整所述视频的起始点或结束点得到调整后的视频时,具体用于:对所述视频进行裁剪、压缩或拉伸处理,以调整所述视频的起始点或结束点得到调整后的视频。
在一些实施例中,节奏点序列中的节奏点为周期性出现的鼓点。
在一些实施例中,所述拍摄装置的运动状态包括所述拍摄装置的运动方向、运动轨迹、运动速度、高度中的一个或多个。
在一些实施例中,所述拍摄装置设置于可移动平台,所述可移动平台包括无人机、自动驾驶车辆、手持稳定器。
请参考图4,其示出了可以实现本申请实施例提供的方法的终端设备的结构示意图。
终端设备包括处理器410、以存储器420形式的计算机程序产品或者计算机可读介质、显示屏430。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。
存储器420具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如,用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与存储器420类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元包括计算机可读代码,即可以由例如诸如410之类的处理器读取的代码,这些代码当由终端设备运行时,导致该终端设备执行上面所描述的方法中的各个步骤。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的终端设备或遥控设备中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本申请的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (34)

1.一种视频剪辑方法,其特征在于,所述方法包括:
获取多个视频,所述多个视频由拍摄装置拍摄得到;
获取所述多个视频中每个视频对应的所述拍摄装置的运动状态;
根据所述每个视频对应的所述拍摄装置的运动状态,对所述多个视频进行排序以确定视频序列;
至少部分的基于所述视频序列,生成剪辑视频。
2.根据权利要求1所述的方法,其特征在于,所述获取所述多个视频中每个视频对应的所述拍摄装置的运动状态,包括:
获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
3.根据权利要求2所述的方法,其特征在于,所述获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态,包括:
获取所述每个视频中起始时间段的视频帧和结束时间段的视频帧;
根据所述起始时间段的视频帧和所述结束时间段的视频帧,确定所述每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
4.根据权利要求3所述的方法,其特征在于,所述根据所述起始时间段的视频帧和所述结束时间段的视频帧,确定所述每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态,包括:
获取所述起始时间段的视频帧的特征点;
对所述起始时间段的视频帧的特征点进行特征点匹配,得到所述起始时间段对应的所述拍摄装置的运动状态;
获取所述结束时间段的视频帧的特征点;
对所述结束时间段的视频帧的特征点进行特征点匹配,得到所述结束时间段对应的所述拍摄装置的运动状态。
5.根据权利要求2所述的方法,其特征在于,所述拍摄装置通过云台安装于可移动平台,所述拍摄装置设置有惯性测量单元,所述获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态,包括:
获取所述惯性测量单元的测量数据和所述云台的姿态角以确定所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
6.根据权利要求1-5之一所述的方法,其特征在于,所述视频序列中第一视频的结束时间段对应的所述拍摄装置的运动状态与第二视频的起始时间段对应的所述拍摄装置的运动状态相匹配,所述第一视频和所述第二视频为所述视频序列中时序相邻的视频。
7.根据权利要求6所述的方法,其特征在于,所述视频序列中第一视频的结束时间段对应的所述拍摄装置的运动状态与第二视频的起始时间段对应的所述拍摄装置的运动状态相匹配,包括:
所述第一视频的结束时间段对应的所述拍摄装置的运动方向与所述第二视频的起始时间段对应的所述拍摄装置的运动方向一致。
8.根据权利要求7所述的方法,其特征在于,所述第一视频的结束时间段对应的所述拍摄装置的运动方向与第二视频的起始时间段对应的所述拍摄装置的运动方向一致,包括:
所述第一视频的结束时间段对应的所述拍摄装置的运动矢量与所述第二视频的起始时间段对应的所述拍摄装置的运动矢量之间的夹角小于角度阈值以及所述第一视频的结束时间段对应的所述拍摄装置的运动矢量的模的长度与所述第二视频的起始时间段对应的所述拍摄装置的运动矢量的模的长度的比值小于比例阈值。
9.根据权利要求1所述的方法,其特征在于,所述获取多个视频之前,所述方法还包括:
获取多个原始视频;
对所述多个原始视频进行划分,以得到所述多个视频。
10.根据权利要求9所述的方法,其特征在于,所述视频序列中时序相邻的两个视频属于不同的所述原始视频。
11.根据权利要求1所述的方法,其特征在于,所述至少部分的基于所述视频序列,生成剪辑视频,包括:
获取节奏点序列;
根据所述节奏点序列和所述视频序列,生成剪辑视频。
12.根据权利要求11所述的方法,其特征在于,所述根据所述节奏点序列和所述视频序列,生成剪辑视频,包括:
根据所述节奏点序列,确定所述视频序列是否满足预设条件;
当所述视频序列满足预设条件时,对所述视频序列中的每个视频进行拼接以得到所述剪辑视频;
当所述视频序列不满足预设条件时,调整所述视频序列中的视频的起始点或结束点得到调整后的视频,对所述调整后的视频进行拼接以得到所述剪辑视频。
13.根据权利要求12所述的方法,其特征在于,所述预设条件包括:
所述视频序列中的视频的起始点或结束点与所述节奏点序列中的任一节奏点的时间间隔小于或等于预设时间阈值。
14.根据权利要求12或13所述的方法,其特征在于,所述调整所述视频的起始点或结束点得到调整后的视频,包括:
对所述视频进行裁剪、压缩或拉伸处理,以调整所述视频的起始点或结束点得到调整后的视频。
15.根据权利要求11所述的方法,其特征在于,所述节奏点序列中的节奏点为周期性出现的鼓点。
16.根据权利要求1所述的方法,其特征在于,所述拍摄装置的运动状态包括所述拍摄装置的运动方向、运动轨迹、运动速度、高度中的一个或多个。
17.根据权利要求1所述的方法,其特征在于,所述拍摄装置设置于可移动平台,所述可移动平台包括无人机、自动驾驶车辆、手持稳定器。
18.一种终端设备,其特征在于,所述终端设备包括处理器,所述处理器用于:
获取多个视频,所述多个视频由拍摄装置拍摄得到;
获取所述多个视频中每个视频对应的所述拍摄装置的运动状态;
根据所述每个视频对应的所述拍摄装置的运动状态,对所述多个视频进行排序以确定视频序列;
至少部分的基于所述视频序列,生成剪辑视频。
19.根据权利要求18所述的终端设备,其特征在于,所述处理器在获取所述多个视频中每个视频对应的所述拍摄装置的运动状态时,具体用于:
获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
20.根据权利要求19所述的终端设备,其特征在于,所述处理器在获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态时,具体用于:
获取所述每个视频中起始时间段的视频帧和结束时间段的视频帧;
根据所述起始时间段的视频帧和所述结束时间段的视频帧,确定所述每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态。
21.根据权利要求20所述的终端设备,其特征在于,所述处理器在根据所述起始时间段的视频帧和所述结束时间段的视频帧,确定所述每个视频在起始时间段对应的所述拍摄装置的运动状态和结束时间段对应的所述拍摄装置的运动状态时,具体用于:
获取所述起始时间段的视频帧的特征点;
对所述起始时间段的视频帧的特征点进行特征点匹配,得到所述起始时间段对应的所述拍摄装置的运动状态;
获取所述结束时间段的视频帧的特征点;
对所述结束时间段的视频帧的特征点进行特征点匹配,得到所述结束时间段对应的所述拍摄装置的运动状态。
22.根据权利要求19所述的终端设备,其特征在于,所述拍摄装置通过云台安装于可移动平台,所述拍摄装置设置有惯性测量单元;
所述处理器在获取所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和所述结束时间段对应的所述拍摄装置的运动状态时,具体用于:
获取所述惯性测量单元的测量数据和所述云台的姿态角以确定所述多个视频中每个视频在起始时间段对应的所述拍摄装置的运动状态和所述结束时间段对应的所述拍摄装置的运动状态。
23.根据权利要求18-22之一所述的终端设备,其特征在于,所述视频序列中第一视频的结束时间段对应的所述拍摄装置的运动状态与第二视频的起始时间段对应的所述拍摄装置的运动状态相匹配,所述第一视频和所述第二视频为所述视频序列中时序相邻的视频。
24.根据权利要求23所述的终端设备,其特征在于,所述视频序列中第一视频的结束时间段对应的所述拍摄装置的运动状态与第二视频的起始时间段对应的所述拍摄装置的运动状态相匹配,包括:
所述第一视频的结束时间段对应的所述拍摄装置的运动方向与所述第二视频的起始时间段对应的所述拍摄装置的运动方向一致。
25.根据权利要求24所述的终端设备,其特征在于,所述第一视频的结束时间段对应的所述拍摄装置的运动方向与第二视频的起始时间段对应的所述拍摄装置的运动方向一致,包括:
所述第一视频的结束时间段对应的所述拍摄装置的运动矢量与所述第二视频的起始时间段对应的所述拍摄装置的运动矢量之间的夹角小于角度阈值以及所述第一视频的结束时间段对应的所述拍摄装置的运动矢量的模的长度与所述第二视频的起始时间段对应的所述拍摄装置的运动矢量的模的长度的比值小于比例阈值。
26.根据权利要求18所述的终端设备,其特征在于,所述处理器还用于:
获取多个原始视频;
对所述多个原始视频进行划分,以得到所述多个视频。
27.根据权利要求26所述的终端设备,其特征在于,所述视频序列中时序相邻的两个视频属于不同的所述原始视频。
28.根据权利要求18所述的终端设备,其特征在于,所述处理器至少部分的基于所述视频序列,生成剪辑视频时,具体用于:
获取节奏点序列;
根据所述节奏点序列和所述视频序列,生成剪辑视频。
29.根据权利要求28所述的终端设备,其特征在于,所述处理器根据所述节奏点序列和所述视频序列,生成剪辑视频时,具体用于:
根据所述节奏点序列,确定所述视频序列是否满足预设条件;
当所述视频序列满足预设条件时,对所述视频序列中的每个视频进行拼接以得到所述剪辑视频;
当所述视频序列不满足预设条件时,调整所述视频序列中的视频的起始点或结束点得到调整后的视频,对所述调整后的视频进行拼接以得到所述剪辑视频。
30.根据权利要求29所述的终端设备,其特征在于,所述预设条件包括:
所述视频序列中的视频的起始点或结束点与所述节奏点序列中的任一节奏点的时间间隔小于或等于预设时间阈值。
31.根据权利要求29或30所述的终端设备,其特征在于,所述处理器调整所述视频的起始点或结束点得到调整后的视频时,具体用于:
对所述视频进行裁剪、压缩或拉伸处理,以调整所述视频的起始点或结束点得到调整后的视频。
32.根据权利要求28所述的终端设备,其特征在于,所述节奏点序列中的节奏点为周期性出现的鼓点。
33.根据权利要求18所述的终端设备,其特征在于,所述拍摄装置的运动状态包括所述拍摄装置的运动方向、运动轨迹、运动速度、高度中的一个或多个。
34.根据权利要求18所述的终端设备,其特征在于,所述拍摄装置设置于可移动平台,所述可移动平台包括无人机、自动驾驶车辆、手持稳定器。
CN201980032384.6A 2019-09-26 2019-09-26 视频剪辑方法及终端设备 Pending CN112166599A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/108264 WO2021056353A1 (zh) 2019-09-26 2019-09-26 视频剪辑方法及终端设备

Publications (1)

Publication Number Publication Date
CN112166599A true CN112166599A (zh) 2021-01-01

Family

ID=73859691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032384.6A Pending CN112166599A (zh) 2019-09-26 2019-09-26 视频剪辑方法及终端设备

Country Status (2)

Country Link
CN (1) CN112166599A (zh)
WO (1) WO2021056353A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099266A (zh) * 2021-04-02 2021-07-09 云从科技集团股份有限公司 基于无人机pos数据的视频融合方法、系统、介质及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061660A1 (zh) * 2020-09-24 2022-03-31 深圳市大疆创新科技有限公司 一种视频剪辑方法、电子设备、无人飞行器及存储介质
CN115379115B (zh) * 2022-07-29 2024-05-14 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080801A1 (en) * 2013-06-10 2016-03-17 Ani-View Ltd. System and methods thereof for displaying video content
CN107393569A (zh) * 2017-08-16 2017-11-24 成都品果科技有限公司 音视频剪辑方法及装置
CN108702464A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
CN109819338A (zh) * 2019-02-22 2019-05-28 深圳岚锋创视网络科技有限公司 一种视频自动剪辑方法、装置及便携式终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843025B1 (ko) * 2016-12-30 2018-03-28 (주)잼투고 카메라워크 기반 영상합성 시스템 및 영상합성방법
CN107333176A (zh) * 2017-08-14 2017-11-07 北京百思科技有限公司 一种分布式视频渲染的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080801A1 (en) * 2013-06-10 2016-03-17 Ani-View Ltd. System and methods thereof for displaying video content
CN107393569A (zh) * 2017-08-16 2017-11-24 成都品果科技有限公司 音视频剪辑方法及装置
CN108702464A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
CN109819338A (zh) * 2019-02-22 2019-05-28 深圳岚锋创视网络科技有限公司 一种视频自动剪辑方法、装置及便携式终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099266A (zh) * 2021-04-02 2021-07-09 云从科技集团股份有限公司 基于无人机pos数据的视频融合方法、系统、介质及装置
CN113099266B (zh) * 2021-04-02 2023-05-26 云从科技集团股份有限公司 基于无人机pos数据的视频融合方法、系统、介质及装置

Also Published As

Publication number Publication date
WO2021056353A1 (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
US10074012B2 (en) Sound and video object tracking
US11810597B2 (en) Video ingestion and clip creation
US20190273837A1 (en) Video ingestion and clip creation
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
CN112166599A (zh) 视频剪辑方法及终端设备
WO2017083204A1 (en) Device and method for creating videoclips from omnidirectional video
CN108028969A (zh) 用于视频处理的系统和方法
CN108028908A (zh) 用于视频处理的系统和方法
US20110122275A1 (en) Image processing apparatus, image processing method and program
EP2757771A2 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
CN111182218A (zh) 全景视频处理方法、装置、设备及存储介质
CN109194865A (zh) 图像生成方法、装置、智能终端和计算机可读存储介质
CN110771175A (zh) 视频播放速度的控制方法、装置及运动相机
WO2018057449A1 (en) Auto-directing media construction
CN111741325A (zh) 视频播放方法、装置、电子设备及计算机可读存储介质
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
CN105049719B (zh) 一种全景拍摄方法及移动终端
CN113709545A (zh) 视频的处理方法、装置、计算机设备和存储介质
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
US20210281747A1 (en) Image capture device with an automatic image capture capability
CN114339423A (zh) 短视频生成方法、装置、计算设备及计算机可读存储介质
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
US20190164298A1 (en) System and Method for Tracking the Speed of an Object Using Video
KR20160025474A (ko) 판정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210101

WD01 Invention patent application deemed withdrawn after publication