CN111800663A - 一种视频合成方法及装置 - Google Patents

一种视频合成方法及装置 Download PDF

Info

Publication number
CN111800663A
CN111800663A CN201910283670.1A CN201910283670A CN111800663A CN 111800663 A CN111800663 A CN 111800663A CN 201910283670 A CN201910283670 A CN 201910283670A CN 111800663 A CN111800663 A CN 111800663A
Authority
CN
China
Prior art keywords
video
character
target
target character
timeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910283670.1A
Other languages
English (en)
Other versions
CN111800663B (zh
Inventor
邹娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910283670.1A priority Critical patent/CN111800663B/zh
Publication of CN111800663A publication Critical patent/CN111800663A/zh
Application granted granted Critical
Publication of CN111800663B publication Critical patent/CN111800663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本申请提供一种视频合成方法及装置。其中，所述视频合成方法，包括：根据原始视频材料，获得包含目标人物的人物轨道数据；根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。采用本申请提供的方法，解决了现有技术中，由于忽略对于人物素材的视觉要求，从而导致在合成的目标视频中，人物素材的视觉体验不佳的问题。

Description

一种视频合成方法及装置
技术领域
本申请涉及视频处理领域，具体涉及一种视频合成方法及装置。
背景技术
当前，业界的视频剪辑产品或服务可以基于视频、音频、图片、文本等进行视频剪辑操作，完成视频创作过程。其中，很多视频创作会涉及到人物素材，需要针对人物素材进行各种剪辑与特效制作，并进行合成。视频剪辑，一般指对音视图文等素材进行非线性编辑的过程。通过对这些素材进行切割、合并、转场、特效等二次编码，生成具有不同表现力的新视频。
现有技术中，完全根据目标人物素材的时间线的传入直接进行视频合成，时间线(Timeline)，是指将视频素材按照视频创意进行编排和特效设计的产物。上述现有技术中，忽略了对于人物素材的视觉要求，从而导致合成的目标视频中，人物素材的视觉体验不佳。
发明内容
本申请提供一种视频合成方法及装置，以解决现有技术中，完全根据待合成视频中人物素材的时间线的传入直接进行视频合成，忽略了对于人物素材的视觉要求，从而导致在合成的目标视频中，人物素材的视觉体验不佳的问题。
本申请提供一种视频合成方法，包括：
根据原始视频材料，获得包含目标人物的人物轨道数据；
根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；
根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
可选的，所述根据原始视频材料，获得包含目标人物的人物轨道数据，包括：
获取原始视频材料；
针对所述原始视频材料中的人物进行人脸识别，获得人脸出现的时间数据、人脸占据视频画面的区域数据以及人物元数据；
根据所述时间数据、所述人脸占据视频画面的区域数据以及所述人物元数据，获得包含目标人物的人物轨道数据。
可选的，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取所述目标视频的视频合成规则；
根据所述视频合成规则，将所述原始时间线进行分轨处理，获得优化后的目标人物素材的时间线。
可选的，所述目标视频的视频合成规则包括如下规则中的至少一种：
按照人物的不同进行视频合成；
按照景别的不同进行视频合成；
按照拍摄方式的不同进行视频合成。
可选的，所述根据所述视频合成规则，将所述原始时间线进行分轨处理，包括：
根据所述合成规则，获得所述原始时间线的轨道；
其中，所述原始时间线的每个轨道，分别对应所述合成规则的一种情况。
可选的，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
针对人物素材的特效渲染进行回归处理，获得优化后的人物素材的时间线。
可选的，所述针对人物素材的特效渲染进行回归处理，获得优化后的人物素材的时间线，包括：
针对目标人物素材的缩放特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的移动特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的淡入淡出特效渲染进行回归处理，获得优化后的人物素材的时间线。
可选的，所述针对目标人物素材的缩放特效渲染进行回归处理，包括：
在对目标人物素材进行放大或缩小过程中，判断目标人物素材对应的人脸区域是否超过输出视频的边界之外；
若是，则根据缩放时长与人脸在画面中的区域调整缩放的起止倍数。
可选的，所述针对目标人物素材的缩放特效渲染进行回归处理，包括：
根据目标人物素材中人物在画面中的占比和所述人物的数量，调整放大或缩小的缩放中心点位置。
可选的，所述针对目标人物素材的移动特效渲染进行回归处理，包括：
在针对目标人物素材进行移动特效渲染时，判断在移动过程中，目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据移动时长与人脸在画面中的区域调整移动的起止位置、移动方向和/或移动路线。
可选的，所述针对目标人物素材的淡入淡出特效渲染进行回归处理，包括：
在对目标人物素材进行淡入淡出特效渲染时，计算获取渐变过程中目标人物素材对应的人脸区间的位置；
根据所述人脸区间的位置，确定人脸区域的保留时间。
可选的，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取进行视频合成时目标人物素材对应的辅助轨道素材；
调整所述辅助轨道素材的时间线以及所述辅助轨道素材对应的画面位置，以避免所述辅助轨道素材遮挡目标人物素材。
可选的，所述辅助轨道素材包括如下素材中的至少一种：
贴纸；
动画；
横幅文字；
字幕。
可选的，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取目标人物素材的时间线中，不同人物的色调参数和不同人物的光线参数；
根据合成视频的主题要求，针对所述色调参数和所述光线参数进行统一处理。
本申请提供一种视频合成装置，包括：
数据获得单元，用于根据原始视频材料，获得包含目标人物的人物轨道数据；
时间线获得单元，用于根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；
合成单元，用于根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
可选的，所述数据获得单元，具体用于：
获取原始视频材料；
针对所述原始视频材料中的人物进行人脸识别，获得人脸出现的时间数据、人脸占据视频画面的区域数据以及人物元数据；
根据所述时间数据、所述人脸占据视频画面的区域数据以及所述人物元数据，获得包含目标人物的人物轨道数据。
可选的，所述时间线获得单元，具体用于：
获取所述目标视频的视频合成规则；
根据所述视频合成规则，将所述原始时间线进行分轨处理，获得优化后的目标人物素材的时间线。
可选的，所述目标视频的视频合成规则包括如下规则中的至少一种：
按照人物的不同进行视频合成；
按照景别的不同进行视频合成；
按照拍摄方式的不同进行视频合成。
可选的，所述时间线获得单元，还用于：
根据所述合成规则，获得所述原始时间线的轨道；
其中，所述原始时间线的每个轨道，分别对应所述合成规则的一种情况。
可选的，所述时间线获得单元，还用于：
针对人物素材的特效渲染进行回归处理，获得优化后的人物素材的时间线。
可选的，所述时间线获得单元，还用于：
针对目标人物素材的缩放特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的移动特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的淡入淡出特效渲染进行回归处理，获得优化后的人物素材的时间线。
可选的，所述时间线获得单元，还用于：
在对人物素材进行放大或缩小过程中，判断目标人物素材对应的人脸区域是否超过输出视频的边界之外；
若是，则根据缩放时长与人脸在画面中的区域调整缩放的起止倍数。
可选的，所述时间线获得单元，还用于：
根据目标人物素材中人物在画面中的占比和所述人物的数量，调整放大或缩小的缩放中心点位置。
可选的，所述时间线获得单元，还用于：
在针对目标人物素材进行移动特效渲染时，判断在移动过程中，目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据移动时长与人脸在画面中的区域调整移动的起止位置、移动方向和/或移动路线。
可选的，所述时间线获得单元，还用于：
在对目标人物素材进行淡入淡出特效渲染时，计算获取渐变过程中目标人物素材对应的人脸区间的位置；
根据所述人脸区间的位置，确定人脸区域的保留时间。
可选的，所述时间线获得单元，具体用于：
获取进行视频合成时目标人物素材对应的辅助轨道素材；
调整所述辅助轨道素材的时间线以及所述辅助轨道素材对应的画面位置，以避免所述辅助轨道素材遮挡目标人物素材。
可选的，所述辅助轨道素材包括如下素材中的至少一种：
贴纸；
动画；
横幅文字；
字幕。
可选的，所述时间线获得单元，具体用于：
获取目标人物素材的时间线中，不同人物的色调参数和不同人物的光线参数；
根据合成视频的主题要求，针对所述色调参数和所述光线参数进行统一处理。
本申请提供一种电子设备，所述电子设备包括：
处理器；
存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行如前所述视频合成方法。
本申请提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行如前所述视频合成方法。
与现有技术相比，本申请具有如下优点：
采用本申请提供的方法，根据原始视频材料，获得包含目标人物的人物轨道数据；根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。由于充分考虑了视频合成中对于人物素材的视觉要求，针对人物素材的时间线进行微调、矫正等优化处理，从而生成更加符合观看习惯的目标视频，解决了现有技术中，由于视频合成过程中忽略了对于人物素材的视觉要求，从而导致合成的目标视频中人物素材的视觉体验不佳的问题。
附图说明
图1是本申请第一实施例提供的一种视频合成方法的流程图；
图2是本申请第一实施例涉及的一个应用实例的示意图；
图3是本申请第二实施例提供的一种视频合成装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请第一实施例提供一种视频合成方法。请参看图1，该图为本申请第一实施例的流程图。以下结合图1对本申请第一实施例提供一种视频合成处理方法进行详细说明。所述方法包括如下步骤：
步骤S101：根据原始视频材料，获得包含目标人物的人物轨道数据。
本步骤用于根据原始视频材料，获得包含目标人物的人物轨道数据。
这里的原始视频材料，可以为原始的视频，也可以为原始的图片材料，也可以为原始的视频和原始的图片材料的组合。在本申请的实施例中，针对原始视频材料，仅以原始的视频为例进行说明，如果所述原始视频材料为图片材料，也是类似的。
在视频剪辑领域，现有技术中一般使用视频轨道、音频轨道、图像轨道、字幕轨道等概念。本申请提出的人物轨道是基于视频轨道进行抽象获得的。人物轨道以视频中出现的人物为中心线索，包括了视频轨道的所有特征，并在此基础上增加了一些特征，以实现集中以人物素材为主的视频轨道数据，以达到更好的体现视频中人物的视觉效果的目的。
所述根据原始视频材料，获得包含目标人物的人物轨道数据，包括：
获取原始视频材料；
针对所述原始视频材料中的人物进行人脸识别，获得人脸出现的时间数据、人脸占据视频画面的区域数据以及人物元数据；
根据所述时间数据、所述人脸占据视频画面的区域数据以及所述人物元数据，获得包含目标人物的人物轨道数据。
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别一般包括人脸图像特征提取和人脸图像匹配与识别两个步骤。
一般而言，人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸图像特征提取就是针对人脸的某些特征进行的。人脸图像特征提取，是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
人脸图像匹配与识别是指，将提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。
由于人脸识别是比较成熟的技术，这里人脸识别的详细实施步骤就不再进行描述了。以下以针对一场足球赛的原始视频素材，期望制作该场比赛中5个球星的集锦为例，详细说明上述几个步骤的实现过程。
首先，获取该场比赛的原始视频材料；这里的原始视频材料包括球员在球场上的活动等人物素材。
然后，针对所述原始视频材料中的人物进行人脸识别，获得5个球星在这些视频材料中出现的时间区间数据(例如，球星在画面出现时间、球星在画面消失时间)、人脸占据视频画面的区域数据(例如，球星在画面中的坐标数据)以及球星名字、球星在球场上的角色(前锋、中场、后卫等)等人物元数据。
最后，根据所述时间区间数据、所述人脸占据视频画面的区域数据以及所述人物元数据，将这些数据按照一定的时间轴集成在一起，获得包含目标人物的人物轨道数据。
通过上述步骤获得的人物轨道数据，可以类比于视频轨道、音频轨道等现有概念，其本质是以人物为核心线索组织的具有时间顺序的素材；这里的时间顺序以及与时间顺序相关的所有素材，可以称为人物轨道数据的原始时间线。
步骤S102：根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线。
本步骤用于根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线。
目标人物的视觉要求，是指针对视频中目标人物的视觉观看体验角度的要求。例如，根据视频创意，需要在对视频中的目标人物进行放大处理。此时，目标人物的视觉要求可以为目标人物的人脸区域必须在输出视频的边界内。如果满足该视觉要求，目标人物的人脸区域位于输出视频的边界内，则会取得较佳的视觉观看体验效果。反之，如果不满足该视觉要求，目标人物的人脸区域超出输出视频的边界，则会造成较差的视觉观看体验效果。
在现有技术中，在获取所述人物轨道数据之后，完全根据时间线的传入来进行合成。而本实施例提供的方案，根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线。
所述优化处理可以包括：在特效处理中，需要保证人脸区域无遮挡；当任务画面占比达到一定程度时，对特效聚焦位置及路径进行自动调整等。通过诸如此类的优化处理，获得更符合观看习惯的目标视频。
所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取所述目标视频的视频合成规则；
根据所述视频合成规则，将所述原始时间线进行分轨处理，获得优化后的目标人物素材的时间线。
例如，在获得人物轨道数据之后，根据视频创意的要求，需要进行单个球员的视频编排。那么，就根据不同的球员进行分轨处理。
所述目标视频的视频合成规则包括如下规则中的至少一种：
按照人物的不同进行视频合成；
按照景别的不同进行视频合成；
按照拍摄方式的不同进行视频合成。
所述根据所述视频合成规则，将所述原始时间线进行分轨处理，包括：
根据所述合成规则，获得所述原始时间线的轨道；
其中，所述原始时间线的每个轨道，分别对应所述合成规则的一种情况。
例如，如果需要进行单个球员的视频编排，视频合成规则为按照人物的不同进行视频合成，那么根据不同的球员进行分轨处理后，每个球员获得自己对应的人物轨道数据。
所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
针对人物素材的特效渲染进行回归处理，获得优化后的人物素材的时间线。
时间线是按照创意进行编排和特效设计的产物。渲染(Render)，是计算机领域的术语，用于建筑设计，动画制作，模型模具的制作演示等。在视频中，特效是由一些多边形组成的物体组成的，中心大多是空的。而渲染的目的，就是让计算机制作出来的物体，更加符合人们的审美观，更加符合现实世界的样子。这里的回归处理，是指针对人物素材的特效渲染，从更加符合观众的观看习惯的角度进行对应的优化处理。
采用本实施例提供的视频合成方法，可以针对人物素材的特效渲染进行回归处理，获得优化后的人物素材的时间线，从而使的生成的目标视频具有最佳的用户体验。
所述针对目标人物素材的特效渲染进行回归处理，获得优化后的目标人物素材的时间线，包括：
针对目标人物素材的缩放特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的移动特效渲染进行回归处理，获得优化后的目标人物素材的时间线；
或者，针对目标人物素材的淡入淡出特效渲染进行回归处理，获得优化后的目标人物素材的时间线。
所述针对目标人物素材的缩放特效渲染进行回归处理，包括：
在视频合成中，缩放特效渲染是经常用到的一种渲染方法。例如，针对球赛中球星的进球过程，可以使用放大特效渲染，使观众能够更加清晰地欣赏到自己关注的球星的进球细节。
在对人物素材进行放大或缩小过程中，判断目标人物素材对应的人脸区域是否超过输出视频的边界；一旦人脸区域超过输出视频的边界之外，会造成很差的用户体验。因此，在这种情况下，需要根据缩放时长与人脸在画面中的区域调整缩放的起止倍数，从而使得缩放特效渲染之后的视频具有最佳的用户体验效果。
所述针对目标人物素材的缩放特效渲染进行回归处理，包括：
根据目标人物素材中人物在画面中的占比和所述人物的数量，调整放大或缩小的缩放中心点位置。
例如，针对球赛中，针对几个球星之间对抗的视频素材，为了在特效渲染处理之后能够不遗漏所有的球星，需要根据目标人物素材中人物在画面中的占比和所述人物的数量，调整放大或缩小的缩放中心点位置，从而使缩放特效渲染之后的视频具有最佳的用户体验效果。
所述针对目标人物素材的移动特效渲染进行回归处理，包括：
在针对目标人物素材进行移动特效渲染时，判断在移动过程中，目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据移动时长与人脸在画面中的区域调整移动的起止位置、移动方向和/或移动路线。
与缩放特效渲染一样，移动特效渲染也是常用的渲染手段。采用本实施例提供的方法，在针对目标人物素材进行移动特效渲染时，判断在移动过程中，目标人物素材对应的人脸区域是否超过输出视频的边界；如果超过输出视频的边界，则根据移动时长与人脸在画面中的区域调整移动的起止位置、移动方向和移动路线中的至少一种，保证人物素材对应的人脸区域在输出视频的边界范围之内。通过采用这种方法，使目标视频具有最佳的用户体验效果。
所述针对目标人物素材的淡入淡出特效渲染进行回归处理，包括：
在对目标人物素材进行淡入淡出特效渲染时，计算获取渐变过程中目标人物素材对应的人脸区间的位置；
根据所述人脸区间的位置，确定人脸区域的保留时间。
淡出淡入是电影中表示时间和空间转换的一种技巧。在电影中常用“淡”分隔时间空间，表明剧情段落。淡出表示一场戏或一个段落的终结。淡入表示一场戏或一个段落的开始，能使观众产生完整的段落感。“淡”本身不是一个镜头，也不是一个画面，它所表现的，不是形象本身，而只是画面渐隐渐显的过程。它节奏舒缓，具有抒情意味，能够造成富有表现力的气氛。这种技巧，最早是在拍摄时完成的。拍摄时，把摄影机中的遮光器逐渐打开，便得到淡入的效果。当一个镜头将要拍完时，把遮光器慢慢关上，便得到淡出的效果。现在这种技巧在视频的合成过程中通过使用计算机的渐入渐出特效渲染完成。
在对目标人物素材进行淡入淡出特效渲染时，自动计算渐变过程中目标人物素材对应的人脸区间的位置。根据所述人脸区间的位置，确定是否延长人脸区域的保留时间。
所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取进行视频合成时目标人物素材对应的辅助轨道素材；
调整所述辅助轨道素材的时间线以及所述辅助轨道素材对应的画面位置，以避免所述辅助轨道素材遮挡目标人物素材。
所述辅助轨道素材包括如下素材中的至少一种：
贴纸；
动画；
横幅文字；
字幕。
在视频合成处理的过程中，为了获得更佳的用户体验，有时候需要加入字幕、贴纸、动画、横幅文字等辅助轨道素材。在这种情况下，需要考虑其渲染的时间线与画面位置，避免遮挡人物主体。
所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取目标人物素材的时间线中，不同人物的色调参数和不同人物的光线参数；
根据合成视频的主题要求，针对所述色调参数和所述光线参数进行统一处理。
由于视频合成处理中，视频素材来自于不同的拍摄环境，而且使用不同的色调参数。如果直接将视频素材进行合成，会造成画面中的各个部分的颜色不协调。因此，需要获取目标人物素材的时间线中，不同人物的色调参数和不同人物的光线参数；进而根据合成视频的主题要求，针对所述色调参数和所述光线参数进行统一处理。通过采用这种方法，使得目标视频中各个画面具有符合主题的统一的颜色，优化了用户的体验效果。
步骤S103：根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
本步骤用于根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
合成，是指将视频材料、音频材料等进行集成，形成目标视频；所述目标视频是一个广义的概念，包含音频视频字幕等向人们展示的所有材料，以及相关的控制信息，总之可以向使用者播放。
经过步骤S102中针对人物时间线的优化处理，获得了优化后的目标人物素材的时间线。进而，根据优化后的目标人物素材的时间线，获得目标视频。由于该步骤采用现有技术，这里就不再赘述了。
这里需要指出，在本实施例中提供了针对缩放特效渲染、移动特效渲染以及淡入淡出特效渲染的优化处理方法，其他针对目标人物素材的特效处理可按照如下原则处理，包括：
人脸区域无遮挡；
当目标人物在画面的占比达到规定的阈值后，针对特效聚焦位置及路径进行调整，以保证目标人物在画面中的完整性。
为了更加清晰地从整体上说明本实施例提供的视频合成方法，图2提供了采用本实施例提供的视频合成方法的一个应用实例的示意图。
图2中，首先，应用实例接收输入的原素材以及时间线进行视频合成预处理，然后，应用实例根据原素材以及时间线，针对其中的人物素材进行人脸识别以及补充人脸元数据，进而获得剪辑人物轨道数据。这里需要指出，视频合成预处理并不是必须的环节，如果视频素材提交方能够直接提供相应的剪辑人物轨道数据，也可以跳过该环节。接着，应用实例根据所述剪辑人物轨道数据，进行人物时间线优化，所述人物时间线优化可以为自动分轨策略、缩放效果回归、移动效果回归、淡入淡出效果回归、素材叠加重排、人物色调过滤器统一中的一种或者多种。除了缩放效果回归、移动效果回归、淡入淡出效果回归这三类特效，所述人物时间线优化也可以为涉及画面区域变化和/或画面区域遮罩的其他特效。关于自动分轨策略、缩放效果回归、移动效果回归、淡入淡出效果回归、素材叠加重排、人物色调过滤器统一，请参考步骤S102中的相关说明。进而，在进行人物时间线优化后，获得优化后时间线。最后，根据所述优化后时间线，进行视频合成，获得目标视频。
在上述的实施例中，提供了一种视频合成方法，与之相对应的，本申请还提供一种视频合成装置。请参看图3，其为本申请的一种视频合成装置实施例的示意图。由于本实施例，即第二实施例，基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请第二实施例提供一种视频合成装置，包括：
数据获得单元301，用于根据原始视频材料，获得包含目标人物的人物轨道数据；
时间线获得单元302，用于根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；
合成单元303，用于根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
本实施例中，所述数据获得单元，具体用于：
获取原始视频材料；
针对所述原始视频材料中的人物进行人脸识别，获得人脸出现的时间数据、人脸占据视频画面的区域数据以及人物元数据；
根据所述时间数据、所述人脸占据视频画面的区域数据以及所述人物元数据，获得包含目标人物的人物轨道数据。
本实施例中，所述时间线获得单元，具体用于：
获取所述目标视频的视频合成规则；
根据所述视频合成规则，将所述原始时间线进行分轨处理，获得优化后的目标人物素材的时间线。
本实施例中，所述目标视频的视频合成规则包括如下规则中的至少一种：
按照人物的不同进行视频合成；
按照景别的不同进行视频合成；
按照拍摄方式的不同进行视频合成。
本实施例中，所述时间线获得单元，还用于：
根据所述合成规则，获得所述原始时间线的轨道；
其中，所述原始时间线的每个轨道，分别对应所述合成规则的一种情况。
本实施例中，所述时间线获得单元，还用于：
针对人物素材的特效渲染进行回归处理，获得优化后的人物素材的时间线。
本实施例中，所述时间线获得单元，还用于：
针对目标人物素材的缩放特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的移动特效渲染进行回归处理，获得优化后的人物素材的时间线；
或者，针对目标人物素材的淡入淡出特效渲染进行回归处理，获得优化后的人物素材的时间线。
本实施例中，所述时间线获得单元，还用于：
在对人物素材进行放大或缩小过程中，判断目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据缩放时长与人脸在画面中的区域调整缩放的起止倍数。
本实施例中，所述时间线获得单元，还用于：
根据目标人物素材中人物在画面中的占比和所述人物的数量，调整放大或缩小的缩放中心点位置。
本实施例中，所述时间线获得单元，还用于：
在针对目标人物素材进行移动特效渲染时，判断在移动过程中，目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据移动时长与人脸在画面中的区域调整移动的起止位置、移动方向和/或移动路线。
本实施例中，所述时间线获得单元，还用于：
在对目标人物素材进行淡入淡出特效渲染时，计算获取渐变过程中目标人物素材对应的人脸区间的位置；
根据所述人脸区间的位置，确定人脸区域的保留时间。
本实施例中，所述时间线获得单元，具体用于：
获取进行视频合成时目标人物素材对应的辅助轨道素材；
调整所述辅助轨道素材的时间线以及所述辅助轨道素材对应的画面位置，以避免所述辅助轨道素材遮挡目标人物素材。
本实施例中，所述辅助轨道素材包括如下素材中的至少一种：
贴纸；
动画；
横幅文字；
字幕。
本实施例中，所述时间线获得单元，具体用于：
获取目标人物素材的时间线中，不同人物的色调参数和不同人物的光线参数；
根据合成视频的主题要求，针对所述色调参数和所述光线参数进行统一处理。
本申请第三实施例提供一种电子设备，所述电子设备包括：
处理器；
存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行本申请第一实施例中提供的视频合成方法。
本申请第四实施例提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行本申请第一实施例中提供的视频合成方法。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个操作器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (17)

1.一种视频合成方法，其特征在于，包括：
根据原始视频材料，获得包含目标人物的人物轨道数据；
根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；
根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
2.根据权利要求1所述的视频合成方法，其特征在于，所述根据原始视频材料，获得包含目标人物的人物轨道数据，包括：
获取原始视频材料；
针对所述原始视频材料中的人物进行人脸识别，获得人脸出现的时间数据、人脸占据视频画面的区域数据以及人物元数据；
根据所述时间数据、所述人脸占据视频画面的区域数据以及所述人物元数据，获得包含目标人物的人物轨道数据。
3.根据权利要求1所述的视频合成方法，其特征在于，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取所述目标视频的视频合成规则；
根据所述视频合成规则，将所述原始时间线进行分轨处理，获得优化后的目标人物素材的时间线。
4.根据权利要求3所述的视频合成方法，其特征在于，所述目标视频的视频合成规则包括如下规则中的至少一种：
按照人物的不同进行视频合成；
按照景别的不同进行视频合成；
按照拍摄方式的不同进行视频合成。
5.根据权利要求3所述的视频合成方法，其特征在于，所述根据所述视频合成规则，将所述原始时间线进行分轨处理，包括：
根据所述合成规则，获得所述原始时间线的轨道；
其中，所述原始时间线的每个轨道，分别对应所述合成规则的一种情况。
6.根据权利要求1所述的视频合成方法，其特征在于，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
针对目标人物素材的特效渲染进行回归处理，获得优化后的目标人物素材的时间线。
7.根据权利要求6所述的视频合成方法，其特征在于，所述针对目标人物素材的特效渲染进行回归处理，获得优化后的目标人物素材的时间线，包括如下措施中的一项或者多项：
针对目标人物素材的缩放特效渲染进行回归处理，获得优化后的目标人物素材的时间线；
针对目标人物素材的移动特效渲染进行回归处理，获得优化后的目标人物素材的时间线；
针对目标人物素材的淡入淡出特效渲染进行回归处理，获得优化后的目标人物素材的时间线。
8.根据权利要求7所述的视频合成方法，其特征在于，所述针对目标人物素材的缩放特效渲染进行回归处理，包括：
在对目标人物素材进行放大或缩小过程中，判断所述目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据缩放时长与人脸在画面中的区域调整缩放的起止倍数。
9.根据权利要求7所述的视频合成方法，其特征在于，所述针对目标人物素材的缩放特效渲染进行回归处理，包括：
根据目标人物素材中人物在画面中的占比和所述人物的数量，调整放大或缩小的缩放中心点位置。
10.根据权利要求7所述的视频合成方法，其特征在于，所述针对目标人物素材的移动特效渲染进行回归处理，包括：
在针对所述目标人物素材进行移动特效渲染时，判断在移动过程中，所述目标人物素材对应的人脸区域是否超过输出视频的边界；
若是，则根据移动时长与人脸在画面中的区域调整人物移动的起止位置、移动方向和/或移动路线。
11.根据权利要求7所述的视频合成方法，其特征在于，所述针对目标人物素材的淡入淡出特效渲染进行回归处理，包括：
在对目标人物素材进行淡入淡出特效渲染时，获取渐变过程中目标人物素材对应的人脸区间的位置；
根据所述人脸区间的位置，确定人脸区域的保留时间。
12.根据权利要求1所述的视频合成方法，其特征在于，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取进行视频合成时目标人物素材对应的辅助轨道素材；
调整所述辅助轨道素材的时间线以及所述辅助轨道素材对应的画面位置，以避免所述辅助轨道素材遮挡目标人物素材。
13.根据权利要求12所述的视频合成方法，其特征在于，所述辅助轨道素材包括如下素材中的至少一种：
贴纸；
动画；
横幅文字；
字幕。
14.根据权利要求1所述的视频合成方法，其特征在于，所述针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线，包括：
获取目标人物素材的时间线中，不同人物的色调参数和不同人物的光线参数；
根据合成视频的主题要求，针对所述色调参数和所述光线参数进行统一处理。
15.一种视频合成装置，其特征在于，包括：
数据获得单元，用于根据原始视频材料，获得包含目标人物的人物轨道数据；
时间线获得单元，用于根据对目标人物的视觉要求，针对所述人物轨道数据中的原始时间线进行优化处理，获得优化后的目标人物素材的时间线；
合成单元，用于根据所述优化后的目标人物素材的时间线，合成相关素材，获得目标视频。
16.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行如权利要求1-14任意一项所述方法。
17.一种计算机可读取存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，执行如权利要求1-14任意一项所述方法。
CN201910283670.1A 2019-04-09 2019-04-09 一种视频合成方法及装置 Active CN111800663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910283670.1A CN111800663B (zh) 2019-04-09 2019-04-09 一种视频合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910283670.1A CN111800663B (zh) 2019-04-09 2019-04-09 一种视频合成方法及装置

Publications (2)

Publication Number Publication Date
CN111800663A true CN111800663A (zh) 2020-10-20
CN111800663B CN111800663B (zh) 2023-09-05

Family

ID=72805813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910283670.1A Active CN111800663B (zh) 2019-04-09 2019-04-09 一种视频合成方法及装置

Country Status (1)

Country Link
CN (1) CN111800663B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100094A1 (zh) * 2020-11-13 2022-05-19 深圳市前海手绘科技文化有限公司 一种短视频中镜头设置的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051756A1 (en) * 2011-08-26 2013-02-28 Cyberlink Corp. Systems and Methods of Detecting Significant Faces in Video Streams
CN106022220A (zh) * 2016-05-09 2016-10-12 西安北升信息科技有限公司 一种体育视频中对参赛运动员进行多人脸跟踪的方法
CN108337532A (zh) * 2018-02-13 2018-07-27 腾讯科技（深圳）有限公司 演出片段的标注方法、视频播放方法、装置及系统
CN109241345A (zh) * 2018-10-10 2019-01-18 百度在线网络技术（北京）有限公司 基于人脸识别的视频定位方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051756A1 (en) * 2011-08-26 2013-02-28 Cyberlink Corp. Systems and Methods of Detecting Significant Faces in Video Streams
CN106022220A (zh) * 2016-05-09 2016-10-12 西安北升信息科技有限公司 一种体育视频中对参赛运动员进行多人脸跟踪的方法
CN108337532A (zh) * 2018-02-13 2018-07-27 腾讯科技（深圳）有限公司 演出片段的标注方法、视频播放方法、装置及系统
CN109241345A (zh) * 2018-10-10 2019-01-18 百度在线网络技术（北京）有限公司 基于人脸识别的视频定位方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100094A1 (zh) * 2020-11-13 2022-05-19 深圳市前海手绘科技文化有限公司 一种短视频中镜头设置的方法和装置

Also Published As

Publication number Publication date
CN111800663B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN105340014B (zh) 用于视频编辑的触摸优化设计
US9959903B2 (en) Video playback method
US8655152B2 (en) Method and system of presenting foreign films in a native language
Wang et al. Movie2comics: Towards a lively video content presentation
US20210264139A1 (en) Creating videos with facial expressions
JP2021511729A (ja) 画像、又はビデオデータにおいて検出された領域の拡張
CN112822542A (zh) 视频合成方法、装置、计算机设备和存储介质
CN107529091B (zh) 视频剪辑方法及装置
US20070165022A1 (en) Method and system for the automatic computerized audio visual dubbing of movies
Carlier et al. Crowdsourced automatic zoom and scroll for video retargeting
JP2001273505A (ja) ビジュアル言語分類システム
US7109993B2 (en) Method and system for the automatic computerized audio visual dubbing of movies
US20220188357A1 (en) Video generating method and device
JP2010232814A (ja) 映像編集プログラムおよび映像編集装置
US11582519B1 (en) Person replacement utilizing deferred neural rendering
Kumar et al. Zooming on all actors: Automatic focus+ context split screen video generation
US10224073B2 (en) Auto-directing media construction
CN111800663B (zh) 一种视频合成方法及装置
CN113709544A (zh) 视频的播放方法、装置、设备及计算机可读存储介质
Fassold et al. Towards automatic cinematography and annotation for 360° video
Choi et al. Automated video editing for aesthetic quality improvement
Li Musical Instrument Performance in Augmented Virtuality
Sevilla‐Lara et al. Smooth loops from unconstrained video
US20110022959A1 (en) Method and system for interactive engagement of a media file
Stoll et al. Automatic Camera Selection, Shot Size and Video Editing in Theater Multi-Camera Recordings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant