CN108391063A - 视频剪辑方法及装置 - Google Patents

视频剪辑方法及装置 Download PDF

Info

Publication number
CN108391063A
CN108391063A CN201810140518.3A CN201810140518A CN108391063A CN 108391063 A CN108391063 A CN 108391063A CN 201810140518 A CN201810140518 A CN 201810140518A CN 108391063 A CN108391063 A CN 108391063A
Authority
CN
China
Prior art keywords
curve
video
curve set
feature
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810140518.3A
Other languages
English (en)
Other versions
CN108391063B (zh
Inventor
李景颉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing youjushi micro Media Technology Co.,Ltd.
Original Assignee
Beijing Xiu Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiu Eye Technology Co Ltd filed Critical Beijing Xiu Eye Technology Co Ltd
Priority to CN201810140518.3A priority Critical patent/CN108391063B/zh
Publication of CN108391063A publication Critical patent/CN108391063A/zh
Application granted granted Critical
Publication of CN108391063B publication Critical patent/CN108391063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Abstract

公开了一种视频剪辑方法,包括:对模板视频片段进行图像识别,以获得模板特征数据;根据所述模板特征数据进行曲线拟合,以获得第一曲线集;对多个原始素材进行图像识别,以获得多个拍摄特征数据;根据所述多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集;将所述第一曲线集和所述多个第二曲线集逐特征进行匹配;根据匹配结果进行曲线变换和视频映射,以获得剪辑素材;以及将所述剪辑素材参照模板视频片段合成粗剪视频。根据曲线拟合、曲线匹配、曲线变换和视频映射实现自动化的视频剪辑,提高了剪辑效率。

Description

视频剪辑方法及装置
技术领域
本发明涉及视频处理技术,更具体地,涉及视频剪辑方法及装置。
背景技术
在批量化视频制作流程中,剪辑师通常根据已有的视频模板,在大量的拍摄素材中挑选出合适的镜头片段,填充到模板的对应位置,完成粗剪工作。这是一项非常耗费剪辑师的时间和精力的工作。在传统的视频制作流程中,这些工作都需要剪辑师人工来完成,逐一观看拍摄的大量素材,人工寻找合适的素材。在批量化视频制作时,这种人工处理的效率变得低下,严重制约视频制作的产量。
发明内容
有鉴于此,本申请提供一种视频剪辑方法及装置,用于解决上述问题。
根据本发明的第一方面,提供一种视频剪辑方法,包括:
对模板视频片段进行图像识别,以获得模板特征数据;
根据所述模板特征数据进行曲线拟合,以获得第一曲线集;
对多个原始素材进行图像识别,以获得多个拍摄特征数据;
根据所述多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集;
将所述第一曲线集和所述多个第二曲线集逐特征进行匹配;
根据匹配结果进行曲线变换和视频映射,以获得剪辑素材;以及
将所述剪辑素材参照模板视频片段合成粗剪视频。
优选地,还包括:
将模板拆分成多个镜头;以及
从所述多个镜头中选出至少一个包含设定目标的镜头作为所述模板视频片段。
优选地,所述对模板视频片段进行图像识别,以获得模板特征数据包括:
根据图像识别,将设定目标的特征数据作为所述模板特征数据。
优选地,所述将所述第一曲线集和所述多个第二曲线集逐特征进行匹配包括:
将所述第一曲线集中和所述多个第二曲线集中的相同特征的特征曲线进行比较;以及
将和所述第一曲线集具有相同趋势的曲线片段的个数大于第一阈值的第二曲线集作为匹配成功的第二曲线集,其中所述曲线片段代表一条特征曲线的部分或全部。
优选地,所述将所述第一曲线集和所述多个第二曲线集逐特征进行匹配还包括:
将所述第一曲线集中包含的特征和每个第二曲线集中包含的特征进行比较;
则将所述第一曲线集中和所述多个第二曲线集中的相同特征的特征曲线进行比较为:
只将包含相同特征的个数超过第二阈值的第二曲线集和所述第一曲线集进行比较。
优选地,所述将所述第一曲线集和所述多个第二曲线集逐特征进行匹配包括:
判断每个第二曲线集中是否包含关键特征;以及
将第二曲线集中的关键特征的特征曲线和所述第一曲线集的关键特征的特征曲线进行匹配。
优选地,所述模板特征数据包括水平坐标、垂直坐标和尺度三种特征中的至少之一的特征数据。
优选地,所述曲线变换包括曲线缩放、曲线平移和幅值调整。
优选地,其中所述视频映射包括:画面裁剪、缩放和播放速度的变化。
优选地,所述模板特征数据和所述拍摄特征数据包括特征种类、特征名称、特征值序列,其中,所述特征值序列描述多个时间点的数值。
优选地,所述视频剪辑方法方法应用于批量视频剪辑。
根据本发明的第二方面,提供一种视频剪辑装置,包括:
图像识别模块,用于对模板视频片段进行图像识别,以获得模板特征数据,以及对对多个原始素材进行图像识别,以获得多个拍摄特征数据;
曲线拟合模块,用于根据所述模板特征数据进行曲线拟合,以获得第一曲线集,以及根据所述多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集;
比较匹配模块,用于将所述第一曲线集和所述多个第二曲线集逐特征进行匹配;
变换映射模块,用于根据匹配结果进行曲线变换和视频映射,以获得剪辑素材;
视频合成模块,用于将所述剪辑素材参照模板视频片段合成粗剪视频。
优选地,所述比较匹配模块包括:
曲线比对模块,用于将所述第一曲线集中和所述多个第二曲线集中的相同特征的特征曲线进行比较;以及
判断模块,用于将和所述第一曲线集具有相同趋势的曲线片段的个数大于第一阈值的第二曲线集作为匹配成功的第二曲线集,其中所述曲线片段代表一条特征曲线的部分或全部。
优选地,还包括:
特征比对模块,将所述第一曲线集中包含的特征和每个第二曲线集中包含的特征进行比较;
则所述曲线比对模块为:
只将包含相同特征的个数超过第二阈值的第二曲线集和所述第一曲线集进行比较。
优选地,所述比较匹配模块包括:
判断每个第二曲线集中是否包含关键特征,并将第二曲线集中的关键特征的特征曲线和所述第一曲线集的关键特征的特征曲线进行匹配。
原始素材原始素材在本发明实施例中,将图像识别和特征提取技术应用到视频剪辑流程中,以提高视频剪辑时挑选素材的效率,在批量化视频生产中,对于特定领域的视频内容生产,可以实现剪辑自动化。
进一步地,提取模板视频片段和原始素材的特征数据,拟合成特征曲线并进行比对,根据比对结果找到具有相同趋势的特征曲线片段,并据此获得合适的剪辑素材,用于粗剪视频。通过计算机程序控制上述视频粗剪过程,大大提高了批量化视频生产的粗剪效率,促进了视频产业的发展。
附图说明
通过参照以下附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是本发明实施例的视频剪辑方法的示意流程图;
图2示出了图1中的步骤S100的具体流程图;
图3是根据本发明实施例的特征数据集合的示例;
图4是一个特征曲线的示例;
图5a和图5b示出了步骤S500的具体流程图;
图6a是根据本发明实施例的第一曲线集和第二曲线集的示例;
图6b是具有相同趋势的曲线片段的示例;
图7是根据本发明实施例的基于曲线变换实现素材映射的四种示例;
图8是本发明实施例的视频剪辑装置的结构图。
具体实施方式
以下将参照附图更详细地描述本发明。在各个附图中,相同的元件采用类似的附图标记来表示。为了清楚起见,附图中的各个部分没有按比例绘制。此外,可能未示出某些公知的部分。
术语解释:
人工智能:计算机通过一系列数据处理算法,实现对各种数据的特征提取、归类、对比、模型建立、模型再学习等功能,在特定工作流程中可以取代人工进行高效精准的数据处理工作,或完成人工所无法完成的数据处理工作。
视频制作:指使用专用的视频制作软件,把使用摄影器材拍摄得到的视频素材进行剪辑、加工、调色、配音、添加字幕和特效等处理,得到最终成片的过程。
素材:指用于制作视频的视频、音频文件,原始素材指拍摄得到的未经剪辑和调整处理的视频、音频文件。在本文中,将在原始素材基础上,经过初步剪辑加工得到的用于合成粗剪视频的视频、音频文件称为剪辑素材。
剪辑:对拍摄的视频源素材进行片段截取、位置排列、播放速度调整、片段衔接效果调整等处理,生成一个初级样片的过程。
镜头:指内容和画面连续的一组帧序列,通常情况下,一个镜头内部需要保持取景主体不变,描述的事件是连贯的。
模板:指由若干段有代表性的内容的视频片段组成的,可以作为视频剪辑制作的参照的样片。
粗剪:从原始素材中选取合适的片段,放入时间线的合适位置,但不进行精细化调整的制作工序。
特征:指使用图像识别等技术,对视频画面的内容进行识别提取,提取出的有效信息,称为特征。例如画面中的物体的位置等。
帧率:指视频中的每秒内的画面帧数。单位:帧每秒(fps-frames per second)。
图1是本发明实施例的视频剪辑方法的示意流程图。具体包括以下步骤。
在步骤S100中,对模板视频片段进行图像识别,提取模板特征数据。
模板是一段可以作为视频剪辑的参照样片。一般地,在视频剪辑之前已经制成多个相应的模板。当视频剪辑制作开始后,从多个模板中截取具有代表性的模板视频片段进行图像识别,提取模板视频片段的模板特征数据,然后利用图像识别技术识别出一幅图像中的特定人物、物体、地点等要素。在本步骤中,选中的模板视频片段需要和当前要剪辑制作的视频内容相关,例如,当前要剪辑制作的是生日专辑,则选中的模板视频片段中应包括一些生日场景,在必要的时候,可以通过人工选择合适的模板视频片段。模板特征数据指进行图像识别后,从视频图像中提取出的有效信息。例如画面中的物体的位置等。从模板选出的模板视频片段一般包含多个帧的视频图像,则本步骤可以采用逐帧或者抽帧的方式从视频片段中提取模板特征数据。
在步骤S200中,对多个原始素材进行图像识别,提取多个拍摄特征数据。
原始素材指拍摄得到的未经剪辑和调整处理的视频、音频文件。在本步骤中,通过将每个原始素材进行和步骤S100中相同的图像识别,得到多个拍摄特征数据。应该指出的是,拍摄特征数据和模板特征数据均表示从视频图像中提取的有效信息,这里只是为了区别,将两者以不同的名称命名。
在步骤S300中,根据模板特征数据进行曲线拟合,以获得第一曲线集。
在步骤S400中,根据多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集。
在步骤S300和S400中,分别将模板特征数据和拍摄特征数据按不同特征,在以视频时间为横坐标、以特征值为纵坐标的二维坐标系中,拟合为曲线。每个特征生成一条曲线,若干个特征生成若干条特征曲线,并且,多条特征曲线可组成一个曲线集。
在步骤S500中,将第一曲线集和多个第二曲线集进行匹配。
在每个第二曲线集内,逐特征地寻找与第一曲线集中的每条特征曲线相同或相似的曲线片段。此处,曲线片段表示一条特征曲线的部分或全部。相同或相似的曲线片段可以根据预定策略进行确定。例如,如果两个曲线片段具有相同或相似的趋势,则认为两者为相同或相似的曲线片段。延伸到本例中,如果一个第二曲线集中,有设定数量的特征曲线具有和第一曲线集的相应特征曲线具有相同趋势的曲线片段,则可以据此认为该第二曲线集和第一曲线集匹配成功。反之,则认为匹配不成功。
在步骤S600中,根据匹配结果进行曲线变换和视频映射,以获得剪辑素材。
在步骤S500中,找到和第一曲线集匹配成功的第二曲线集,然后在本步骤中,按照曲线的斜率变化等特征,根据匹配结果对相应的曲线进行进行伸缩平移等变换,使其斜率变化特征接近第一曲线集中的曲线,并把这些变换映射到原始素材的画面缩放、播放速率快慢调整上,获得与模板视频片段相对应的剪辑素材。
在步骤S700中,将剪辑素材参照模板视频片段合成粗剪视频。
在步骤S600中,对匹配成功的原始素材进行截取、变换,得到剪辑素材,在本步骤中,进一步将这些剪辑素材逐一填充到模板视频片段规定的位置,完成粗剪工作。粗剪视频可以导入到第三方的视频编辑工具中进行后续处理流程。
在上述视频剪辑方法中,图像识别、曲线拟合、曲线匹配以及曲线变换和视频映射是核心步骤。下面进一步介绍这些步骤的构成及原理。
参见图2,图2示出了步骤S100的具体流程图。
在图2中,包括步骤S101-S105。
在步骤S101中,模板拆分成镜头。
在步骤S102中,挑选适合镜头。
在步骤S103中,识别和特征提取。
在步骤S104中,生成特征数据集合。
在步骤S105中,人工挑选具有代表性的特征。
在图2中,首先将模板中每个镜头切分出来,然后从中挑选至少一个包含设定目标的合适的镜头作为模板视频片段进行图像识别,获得特征数据集合,并从特征数据集合中选出具有代表性的特征数据。例如,想制作的视频主题为天使的微笑,可将孩子的脸庞作为一个设定的目标,提取描绘孩子的脸庞的特征数据。应该指出的是,不是所有的原始素材中都可以提取到可以使用的目标以及特征数据。由此,本发明对适合本方法的原始素材做了以下规定:
1)镜头,指内容和画面连续的一组帧序列,通常情况下,一个镜头内部需要保持取景主体不变,描述的事件是连贯的。在上述步骤中,将模板拆分成镜头,并且将镜头作为图像识别和匹配的基本处理单位。
2)镜头中必须有明显的可以被图像识别模块识别的目标作为设定目标(可以是人物或物体),且该设定目标需和要制作的视频所要表达的内容或所要描述的事件是紧密相关的,不是无关紧要的。例如,镜头内容是描述一个小孩子笑着从画面左侧跑到右侧。这个镜头中的设定目标就是小孩子的笑脸。其他目标,例如画面中出现的花朵、玩具等,如果故事情节没有特殊要求必须出现,则需要被视为是无关紧要的目标,不能作为识别及匹配的目标。由此,将镜头拆分后,可以通过人工干预选择合适的镜头。
3)将可以选择的设定目标及相应的特征汇总,如表格1所示。
表格1
模板的镜头和原始素材拍摄视频的镜头的图像识别及特征提取流程,是有差别的。模板镜头识别的目的是抽取出用于参照的特征。由此,在处理模板的镜头时,需要加入人工干预,来选取最相关的、最具代表性的特征。而原始素材的的镜头的识别目的是抽取出用于比对的特征,希望尽可能多地提取所有特征的特征数据,不需要加入人工干预。由此,对于步骤S200可以采用S103和104两个步骤,并保留所有提取出的特征数据,组成特征数据集合作为拍摄特征数据。
特征数据集合例如图3所示。特征数据集合301包含n个特征,每个特征采用特征分类、特征名称、特征值序列等项目表示,特征值序列包含n个特征值。具体的描述参考下述内容。
301-特征数据集合:由n(n=1~N)个特征组成的数据集合,N为大于等于1的整数。
302-特征n:其中一个特征,下面包含这个特征的分类、名称、具体数值等信息。
303-特征分类:指上表中的“目标”一栏的分类,例如“人脸”、“花朵”等。
304-特征名称:指上表中的“特征”一栏的名称,例如“X”、“C”等。
305-特征值序列:图像识别时,可以进行逐帧或隔若干帧识别。一个镜头由若干帧组成,这就会形成一个按帧号(实际上就是视频的时间进度)排列的特征值序列。
306-特征值n:305特征值序列中的一个特征值。
307-时间点:该特征值对应的视频帧在整个视频中的时间位置。由于不同的设备拍摄或生成的视频,可能具有不同的帧率,为了计算方便,统一转换为时间,单位可视精度要求,取毫秒或微秒。
308-数值:该特征值的实际取值。对于坐标(X、Y)和尺度(S) 而言,由于不同的设备拍摄或生成的视频,可能具有不同的分辨率,为了计算方便,统一转换为归一化数值,计算方法为:归一化的X=X的像素位置/画面像素宽度。其他Y、S与之类似。取值范围为0.0~1.0。对于颜色C而言,统一使用RGB颜色,每通道使用8bit量化,即取值为 32位整数值。对于角度P、T而言,统一使用角度(°)来表示。
进一步地,对于步骤S300和S400中的曲线拟合的原理可以参见图4。在图4中,针对图3中的一个特征n,建立一个二维坐标系,将所有的特征值306放到坐标系中。其中,在图中,401表示横坐标:时间, 402表示纵坐标:特征值,403表示特征点在坐标系内的位置,404表示一个特征的所有特征值拟合出来的曲线。曲线的斜率变化趋势表示了该特征的变化趋势。拟合曲线的目的是由少数的采样点代表镜头内容的整体的变化趋势,根据曲线可以计算得出两个采样点之间的任意数据,这些数据代表的画面内容可能并没有实际出现在视频中。但通过曲线拟合能够基于代数公式计算曲线变换和视频映射。
进一步地,图5a和图5b示出了步骤S500的具体流程图。
在图5a中,包括以下步骤。
在步骤S501中,将第一曲线集中包含的特征和每个第二曲线集包含的特征进行比较。
图6a示出了第一曲线集601和第二曲线集602,601包含特征1 至3的特征曲线,602包含特征1至n的特征曲线。从图上可见,601 中包含的特征数量要少于602中包含的特征,这是因为在601的图像识别的步骤中,一些无关紧要的特征已经被抛弃。应该注意的是,特征1-3 在601和602中可以各自表示不同的特征。在本步骤中,比较并统计601 和602包含的相同特征。
在步骤S502中,判断每个第二曲线集和第一曲线集包含的相同特征是否大于设定阈值。
在本步骤中,判断601和602中相同特征的数量是否大于设定阈值。如果大于设定阈值,则进行步骤S503,否则重新回到步骤S501中,将第一曲线集和下一个第二曲线集进行比较。
在步骤S503中,将对应的第二曲线集和第一曲线集中的相同特征的特征曲线进行比对。
在本步骤中,逐一从第一曲线集中和第二曲线集中取出相同特征的曲线h和曲线k进行比对,从曲线k中寻找是否有某个曲线片段的整体趋势与曲线线h一致。如果有一致的,将符合计数+1。所有相同特征的特征曲线比对完毕后,得到在第二曲线集和第一曲线中,具有相同趋势的的曲线数量。参见图6b可见特征曲线h和特征曲线k具有相同趋势的曲线片段603。
在步骤S504中,判断相同特征种类下,具有相同趋势的曲线数量是否超过设定阈值,如果超过设定阈值,执行步骤S505,否则重新回到步骤S501中,将第一曲线集和下一个第二曲线集进行比较。
在步骤S505中,截取相应时间段内的曲线片段。
在本步骤中,截取图6b中的曲线片段603。
在图5b中,包括以下步骤。
在步骤S511中,将第一曲线集中包含的特征和每个第二曲线集包含的特征进行比较。
在步骤S512中,判断每个第二曲线集和第一曲线集是否包含关键特征。如果包含关键特征,执行步骤S513,否则执行步骤S511。
在步骤S513中,将相应的关键特征的特征曲线进行比对。
在S514中,判断对应的第二曲线集和第一曲线集中,对于关键特征的特征曲线,是否具有相同趋势的曲线片段。如果具有相同趋势的曲线片段,执行步骤S515,否则执行步骤S511.。
在步骤S515中,截取相应时间段内的曲线片段。
图5b和图5a所示的的实施例的不同之处在于:从多个特征中选取一个特征作为关键特征,判断每个第二曲线集和第一曲线集是否都包含关键特征,当且仅当一个第二曲线集包含关键特征时,进行关键特征的特征曲线的比对。例如前述的特征(X,Y,S)都可以作为关键特征。进而,图5b所示的实施例进行实施例变形,得到一个新实施例,具体包括:判断第二曲线集是否包含关键特征,然后,将包含关键特征的的第二曲线集和第一曲线集进行逐特征进行比对。
对于曲线变换及视频映射,下面通过图7进行进一步阐述。
如前所述,通过上述实施例,已经在原始素材中找到至少一个符合模板视频片段的特征曲线。但这两个视频的特征曲线只是趋势相同,其时间长度、曲线的幅度不一定相同。所以,需要对原始素材的的特征曲线进行变换,并把变换的操作映射为视频内容的变化,形成新的拍摄视频片段,放到模板指定的位置,完成粗剪。
结合实际拍摄的素材与参考模板镜头之间的关系,曲线变换及视频映射分为如下几种情形:
A.画面裁切:即需要从实际拍摄素材画面中裁切出一部分并放大,作为素材使用。
B.画面缩放:即需要把实际拍摄素材画面进行放大或缩小,再作为素材使用。
C.播放速度变化:即需要把实际拍摄素材的播放速度加快或减慢,再作为素材使用。
这几种情形一般需要组合使用,以达到最佳的变换效果。
在曲线特征中,能进行曲线变换进而进行视频映射的特征,包括:
(1)目标的水平坐标和垂直坐标X、Y。
(2)目标的尺度S。
其他特征不适宜或无法进行变换和映射计算。
对应于上述A,B,C三种素材映射关系,对曲线的变换也需要拆分成几种子变换来进行。
a.曲线缩放,即对曲线整体趋势沿x时间轴方向的缩放。这对应于C播放速度变化映射。这种变换适用于坐标(X、Y)和尺度(S)特征。
图7a是根据本发明实施例的基于曲线变换实现素材映射的第一示例。
在图7a中,701表示对曲线片段k做时间轴的压缩处理(a变换), 702表示曲线变换映射到视频上,就是对视频的播放速度做加速处理。原来需要8秒播放完毕的帧数,加速到5秒内播放完毕。
703表示速度映射曲线取决于特征曲线压缩的方式和压缩倍率,当整体压缩时,速度映射曲线也是线性的,斜率就是特征曲线压缩倍率。
图7b是根据本发明实施例的基于曲线变换实现素材映射的第二示例。和7a不同的是,701表示的压缩处理并不是线性压缩,由此,704 表示的速度映射也不是线性的。
图7c是根据本发明实施例的基于曲线变换实现素材映射的第三示例。在本示例中,将曲线片段k进行平移,即对曲线整体趋势沿y特征值轴方向上下平移。这对应于A画面裁切映射或者B画面裁切。
如图所示,705表示对曲线片段m,沿特征值y轴方向向上平移。当曲线片段m对应的特征名称为水平坐标X,在视频映射时,是对画面向右平移,左侧做适当填充(如填充黑边或其他内容等),使得主体目标的水平位置更靠右方(假设图像的坐标原点是左上角,X值增大)。当曲线片段m对应的特征名称是垂直坐标Y,在视频映射时,是对画面向上平移,下部做适当内容的填充,使得主体目标的垂直位置更靠下方(假设图像的坐标原点是左上角,Y值增大)。当曲线片段m对应的特征名称为目标尺度S,在视频映射时,是以目标为中心做局部放大。
图7c是根据本发明实施例的基于曲线变换实现素材映射的第四示例。在本示例中,幅值调整,即对曲线整体趋势沿y特征值轴方向的放大和缩小。这对应于B画面的放大和缩小映射。
如图所示,709表示对曲线片段k,以其曲线中心轴为参照,沿特征值y轴方向做幅值放大。如果特征名称是坐标位置X或Y,意味着目标的运动变得幅度更大更剧烈。反之,如果是幅值缩小,则是运动变得幅度更小。对于尺度S,放大意味着目标在画面中所占的大小变化幅度更大,缩小意味着目标大小的变化幅度更小。710表示对原始素材做映射时,如果是幅值放大,则对应于以目标为中心做局部放大。反之,是以目标为中心做缩小,画面四周以适当内容做填充。
本发明实施例同时提供一种视频剪辑装置800,包括图像识别模块801、曲线拟合模块802、比较匹配模块803、变换映射模块804和视频合成模块805。
图像识别模块801用于对模板视频片段进行图像识别,以获得模板特征数据,以及对对多个原始素材进行图像识别,以获得多个拍摄特征数据。
曲线拟合模块802用于根据所述模板特征数据进行曲线拟合,以获得第一曲线集,以及根据多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集。
比较匹配模块803用于将第一曲线集和多个第二曲线集进行匹配。
变换映射模块804用于根据匹配结果进行曲线变换和视频映射,以获得剪辑素材。
视频合成模块805用于将剪辑素材和模板视频片段合成粗剪视频。
优选地,比较匹配模块803包括:曲线比对模块,用于基于相同特征,将第一曲线集分别和多个第二曲线集中的特征曲线进行比较;以及判断模块,用于如果在某个第二曲线集中,和第一曲线集具有相同趋势的曲线片段的个数大于第一阈值,则第二曲线集和第一曲线集匹配成功。
优选地,视频剪辑装置800还包括:特征比对模块,用于将第一曲线集中包含的特征和每个第二曲线集中包含的特征进行比较;则曲线比对模块为将包含相同特征的个数超过第二阈值的第二曲线集和第一曲线集进行比较。
优选地,比较匹配模块803包括判断每个第二曲线集中是否包含关键特征;将包含关键特征的特征曲线进行比较匹配。
在本发明实施例中,将图像识别和特征提取技术应用到视频剪辑流程中,以提高视频剪辑时挑选素材的效率,在批量化视频生产中,对于特定领域的视频内容生产,可以实现剪辑自动化。进一步地,将模板视频片段的特征曲线和原始素材的特征曲线进行比对,根据比对结果找到合适的特征曲线进行曲线变化,并将变换后的曲线片段映射到拍摄视频片段上,从而获得了合适的拍摄视频片段用于粗剪视频。这一过程完全由计算机程序自动化完成,大大提高了批量化视频生产的粗剪效率,促进了视频产业的发展。
本发明实施例虽然以较佳实施例公开如上,但其并不是用来限定权利要求,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本发明的保护范围应当以本发明权利要求所界定的范围为准。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种视频剪辑方法,包括:
对模板视频片段进行图像识别,以获得模板特征数据;
根据所述模板特征数据进行曲线拟合,以获得第一曲线集;
对多个原始素材进行图像识别,以获得多个拍摄特征数据;
根据所述多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集;
将所述第一曲线集和所述多个第二曲线集逐特征进行匹配;
根据匹配结果进行曲线变换和视频映射,以获得剪辑素材;以及
将所述剪辑素材参照模板视频片段合成粗剪视频。
2.根据权利要求1所述的视频剪辑方法,还包括:
将模板拆分成多个镜头;以及
从所述多个镜头中选出至少一个包含设定目标的镜头作为所述模板视频片段。
3.根据权利要求2所述的视频剪辑方法,其中,所述对模板视频片段进行图像识别,以获得模板特征数据包括:
根据图像识别,将设定目标的特征数据作为所述模板特征数据。
4.根据权利要求1所述的视频剪辑方法,其中,所述将所述第一曲线集和所述多个第二曲线集逐特征进行匹配包括:
将所述第一曲线集中和所述多个第二曲线集中的相同特征的特征曲线进行比较;以及
将和所述第一曲线集具有相同趋势的曲线片段的个数大于第一阈值的第二曲线集作为匹配成功的第二曲线集,其中所述曲线片段代表一条特征曲线的部分或全部。
5.根据权利要求4所述的视频剪辑方法,其中,所述将所述第一曲线集和所述多个第二曲线集逐特征进行匹配还包括:
将所述第一曲线集中包含的特征和每个第二曲线集中包含的特征进行比较;
则将所述第一曲线集中和所述多个第二曲线集中的相同特征的特征曲线进行比较为:
只将包含相同特征的个数超过第二阈值的第二曲线集和所述第一曲线集进行比较。
6.根据权利要求1所述的视频剪辑方法,其中,所述将所述第一曲线集和所述多个第二曲线集逐特征进行匹配包括:
判断每个第二曲线集中是否包含关键特征;以及
将第二曲线集中的关键特征的特征曲线和所述第一曲线集的关键特征的特征曲线进行匹配。
7.根据权利要求1所述的视频剪辑方法,其中,所述模板特征数据包括水平坐标、垂直坐标和尺度三种特征中的至少之一的特征数据。
8.根据权利要求1所述的视频剪辑方法,其中,所述曲线变换包括曲线缩放、曲线平移和幅值调整。
9.根据权利要求1所述的视频剪辑方法,其中所述视频映射包括:画面裁剪、缩放和播放速度的变化。
10.根据权利要求1所述的视频剪辑方法,其中,所述模板特征数据和所述拍摄特征数据包括特征种类、特征名称、特征值序列,其中,所述特征值序列描述多个时间点的数值。
11.根据权利要求1至10任一项所述的视频剪辑方法,其中,所述视频剪辑方法方法应用于批量视频剪辑。
12.一种视频剪辑装置,包括:
图像识别模块,用于对模板视频片段进行图像识别,以获得模板特征数据,以及对对多个原始素材进行图像识别,以获得多个拍摄特征数据;
曲线拟合模块,用于根据所述模板特征数据进行曲线拟合,以获得第一曲线集,以及根据所述多个拍摄特征数据进行曲线拟合,以获得多个第二曲线集;
比较匹配模块,用于将所述第一曲线集和所述多个第二曲线集逐特征进行匹配;
变换映射模块,用于根据匹配结果进行曲线变换和视频映射,以获得剪辑素材;
视频合成模块,用于将所述剪辑素材参照模板视频片段合成粗剪视频。
13.根据权利要求1所述的视频剪辑装置,其中,所述比较匹配模块包括:
曲线比对模块,用于将所述第一曲线集中和所述多个第二曲线集中的相同特征的特征曲线进行比较;以及
判断模块,用于将和所述第一曲线集具有相同趋势的曲线片段的个数大于第一阈值的第二曲线集作为匹配成功的第二曲线集,其中所述曲线片段代表一条特征曲线的部分或全部。
14.根据权利要求13所述的视频剪辑装置,还包括:
特征比对模块,将所述第一曲线集中包含的特征和每个第二曲线集中包含的特征进行比较;
则所述曲线比对模块为:
只将包含相同特征的个数超过第二阈值的第二曲线集和所述第一曲线集进行比较。
15.根据权利要求12所述的视频剪辑装置,其中,所述比较匹配模块包括:
判断每个第二曲线集中是否包含关键特征,并将第二曲线集中的关键特征的特征曲线和所述第一曲线集的关键特征的特征曲线进行匹配。
CN201810140518.3A 2018-02-11 2018-02-11 视频剪辑方法及装置 Active CN108391063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810140518.3A CN108391063B (zh) 2018-02-11 2018-02-11 视频剪辑方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810140518.3A CN108391063B (zh) 2018-02-11 2018-02-11 视频剪辑方法及装置

Publications (2)

Publication Number Publication Date
CN108391063A true CN108391063A (zh) 2018-08-10
CN108391063B CN108391063B (zh) 2021-02-02

Family

ID=63068660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810140518.3A Active CN108391063B (zh) 2018-02-11 2018-02-11 视频剪辑方法及装置

Country Status (1)

Country Link
CN (1) CN108391063B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139159A (zh) * 2019-06-21 2019-08-16 上海摩象网络科技有限公司 视频素材的处理方法、装置及存储介质
CN110730381A (zh) * 2019-07-12 2020-01-24 北京达佳互联信息技术有限公司 基于视频模板合成视频的方法、装置、终端及存储介质
CN111193961A (zh) * 2018-11-15 2020-05-22 索尼公司 视频编辑设备和方法
CN111510787A (zh) * 2020-04-28 2020-08-07 Oppo广东移动通信有限公司 多媒体剪辑方法、装置、终端及存储介质
CN111541946A (zh) * 2020-07-10 2020-08-14 成都品果科技有限公司 一种基于素材进行资源匹配的视频自动生成方法及系统
CN111741331A (zh) * 2020-08-07 2020-10-02 北京美摄网络科技有限公司 一种视频片段处理方法、装置、存储介质及设备
CN112291484A (zh) * 2019-07-23 2021-01-29 腾讯科技(深圳)有限公司 视频合成方法、装置、电子设备及存储介质
WO2021135655A1 (zh) * 2020-01-02 2021-07-08 北京达佳互联信息技术有限公司 生成多媒体资源的方法及设备
CN116866498A (zh) * 2023-06-15 2023-10-10 天翼爱音乐文化科技有限公司 一种视频模板生成方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645357A (zh) * 2004-01-20 2005-07-27 日本先锋公司 用于识别视频内容和记录视频的装置、方法和计算机产品
CN1687929A (zh) * 2005-05-13 2005-10-26 北京工业大学 基于视频特征曲线的视频检索的方法
CN101681428A (zh) * 2007-05-30 2010-03-24 伊斯曼柯达公司 来自图像集合的合成人物模型
CN102543136A (zh) * 2012-02-17 2012-07-04 广州盈可视电子科技有限公司 一种视频剪辑的方法及装置
CN103582882A (zh) * 2011-01-07 2014-02-12 阿尔卡特朗讯公司 用于对视频进行比较的方法和装置
CN106375872A (zh) * 2015-07-24 2017-02-01 三亚中兴软件有限责任公司 一种视频剪辑方法及装置
US9620168B1 (en) * 2015-12-21 2017-04-11 Amazon Technologies, Inc. Cataloging video and creating video summaries
CN106682591A (zh) * 2016-12-08 2017-05-17 广州视源电子科技股份有限公司 人脸识别方法及装置
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645357A (zh) * 2004-01-20 2005-07-27 日本先锋公司 用于识别视频内容和记录视频的装置、方法和计算机产品
CN1687929A (zh) * 2005-05-13 2005-10-26 北京工业大学 基于视频特征曲线的视频检索的方法
CN101681428A (zh) * 2007-05-30 2010-03-24 伊斯曼柯达公司 来自图像集合的合成人物模型
CN103582882A (zh) * 2011-01-07 2014-02-12 阿尔卡特朗讯公司 用于对视频进行比较的方法和装置
CN102543136A (zh) * 2012-02-17 2012-07-04 广州盈可视电子科技有限公司 一种视频剪辑的方法及装置
CN106375872A (zh) * 2015-07-24 2017-02-01 三亚中兴软件有限责任公司 一种视频剪辑方法及装置
US9620168B1 (en) * 2015-12-21 2017-04-11 Amazon Technologies, Inc. Cataloging video and creating video summaries
CN106682591A (zh) * 2016-12-08 2017-05-17 广州视源电子科技股份有限公司 人脸识别方法及装置
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193961A (zh) * 2018-11-15 2020-05-22 索尼公司 视频编辑设备和方法
CN111193961B (zh) * 2018-11-15 2022-02-18 索尼公司 视频编辑设备和方法
CN110139159A (zh) * 2019-06-21 2019-08-16 上海摩象网络科技有限公司 视频素材的处理方法、装置及存储介质
CN110139159B (zh) * 2019-06-21 2021-04-06 上海摩象网络科技有限公司 视频素材的处理方法、装置及存储介质
CN110730381A (zh) * 2019-07-12 2020-01-24 北京达佳互联信息技术有限公司 基于视频模板合成视频的方法、装置、终端及存储介质
CN112291484B (zh) * 2019-07-23 2022-11-29 腾讯科技(深圳)有限公司 视频合成方法、装置、电子设备及存储介质
CN112291484A (zh) * 2019-07-23 2021-01-29 腾讯科技(深圳)有限公司 视频合成方法、装置、电子设备及存储介质
WO2021135655A1 (zh) * 2020-01-02 2021-07-08 北京达佳互联信息技术有限公司 生成多媒体资源的方法及设备
US11557322B2 (en) 2020-01-02 2023-01-17 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for generating multimedia resource
CN111510787A (zh) * 2020-04-28 2020-08-07 Oppo广东移动通信有限公司 多媒体剪辑方法、装置、终端及存储介质
CN111541946A (zh) * 2020-07-10 2020-08-14 成都品果科技有限公司 一种基于素材进行资源匹配的视频自动生成方法及系统
CN111741331B (zh) * 2020-08-07 2020-12-22 北京美摄网络科技有限公司 一种视频片段处理方法、装置、存储介质及设备
CN111741331A (zh) * 2020-08-07 2020-10-02 北京美摄网络科技有限公司 一种视频片段处理方法、装置、存储介质及设备
CN116866498A (zh) * 2023-06-15 2023-10-10 天翼爱音乐文化科技有限公司 一种视频模板生成方法、装置、电子设备及存储介质
CN116866498B (zh) * 2023-06-15 2024-04-05 天翼爱音乐文化科技有限公司 一种视频模板生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108391063B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN108391063A (zh) 视频剪辑方法及装置
US8687887B2 (en) Image processing method, image processing apparatus, and image processing program
US8718356B2 (en) Method and apparatus for 2D to 3D conversion using scene classification and face detection
US10841558B2 (en) Aligning two images by matching their feature points
US20060082849A1 (en) Image processing apparatus
CN103324655B (zh) 图像检索系统、图像检索装置以及图像检索方法
CN102609950B (zh) 一种二维视频深度图的生成方法
WO2012036669A1 (en) Smile detection systems and methods
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测系统
CN110136166B (zh) 一种多路画面的自动跟踪方法
US11682231B2 (en) Living body detection method and device
EP2807631B1 (en) Device and method for detecting a plant against a background
CN113225451B (zh) 图像处理方法、装置和电子设备
JP7027101B2 (ja) 情報処理装置、制御方法、及びプログラム
CN111145216B (zh) 一种视频图像目标的跟踪方法
CN105719317B (zh) 基于相机阵列合成孔径成像的遮挡背景估计方法
WO2019041447A1 (zh) 一种3d视频帧特征点提取的方法及系统
CN104504162A (zh) 一种基于机器人视觉平台的视频检索方法
CN104166840A (zh) 一种基于视频会议系统的聚焦实现方法
CN116758447A (zh) 一种基于数字孪生的变电站设备故障分析系统
Szlávik et al. Face analysis using CNN-UM
CN111160278B (zh) 基于单个图像传感器的人脸纹理结构数据采集方法
JP2018147019A (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
CN112308162A (zh) 一种图像大数据相似度比对方法及系统
CN113379842A (zh) 一种基于rgbd相机的弱纹理及动态场景视觉slam定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Jingjia

Inventor after: Tan Jing

Inventor after: Lv Shangwei

Inventor after: Zhou Xihai

Inventor before: Li Jingjia

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20210111

Address after: 100124 Room 309, 3 / F, Huanyu building, No.31 building, District 3, Gaobeidian village, Gaobeidian Township, Chaoyang District, Beijing

Applicant after: Beijing youjushi micro Media Technology Co.,Ltd.

Address before: 100102 2509, 21 / F, building 601, wangjingyuan, Chaoyang District, Beijing

Applicant before: BEIJING XIUYAN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant