CN112019768A - 一种视频生成方法、装置及电子设备 - Google Patents

一种视频生成方法、装置及电子设备 Download PDF

Info

Publication number
CN112019768A
CN112019768A CN202010922107.7A CN202010922107A CN112019768A CN 112019768 A CN112019768 A CN 112019768A CN 202010922107 A CN202010922107 A CN 202010922107A CN 112019768 A CN112019768 A CN 112019768A
Authority
CN
China
Prior art keywords
reference frame
video
target
frame
reserved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010922107.7A
Other languages
English (en)
Other versions
CN112019768B (zh
Inventor
张桥松
林佳月
文为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010922107.7A priority Critical patent/CN112019768B/zh
Publication of CN112019768A publication Critical patent/CN112019768A/zh
Application granted granted Critical
Publication of CN112019768B publication Critical patent/CN112019768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种视频生成方法、装置及电子设备，该方法包括：获取待处理视频；对待处理视频抽帧得到多个参考帧；对每个参考帧进行目标检测，得到目标，并确定包含目标且以目标为中心的图像区域为该参考帧的待保留区域；针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域；目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。本发明实施例可解决依赖专业拍摄技巧才能得到具有运镜效果的视频的问题。

Description

一种视频生成方法、装置及电子设备
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频生成方法、装置及电子设备。
背景技术
随着直播软件和短视频软件的兴起，用户拍摄视频呈现了爆发式增长。用户拍摄视频的方式之一为：用户手持拍摄设备，如手机，通过控制拍摄设备的镜头的运动来跟踪拍摄一目标，从而拍摄出具有动感的视频。这种拍摄视频的方式可称为运动镜头，简称为运镜。
在运镜时需要有专业的拍摄技巧，才能很好地控制镜头运动的快慢和稳定性，从而拍摄出运镜效果较好的视频。那么，对于没有专业拍摄技巧的普通用户来说，就很难拍摄出具有运镜效果的视频。
可见，现有技术中，需要依赖专业拍摄技巧，才能得到具有运镜效果的视频。
发明内容
本发明实施例的目的在于提供一种视频生成方法、装置及电子设备，以解决依赖专业拍摄技巧才能得到具有运镜效果的视频的问题。具体技术方案如下：
第一方面，本发明实施例提供了一种视频生成方法，所述方法包括：
获取待处理视频；
对所述待处理视频进行抽帧处理，得到多个参考帧；
针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域；
针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域；其中，目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；
基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
可选地，所述目标轨迹包括：前一参考帧的待保留区域的各个指定角点中的每一角点，在按照预设运动方式进行运镜时，该角点从前一参考帧的位置处，变化至后一参考帧的相应角点的位置处时，所形成的移动轨迹，其中，所述各个指定角点为能够唯一确定出前一参考帧的待保留区域的各个角点；
所述基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，包括：
针对该相邻的参考帧之间的每一视频帧，确定该视频帧与前一参考帧之间间隔的第一视频帧数；针对前一参考帧的待保留区域的各个指定角点中的每一角点，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息。
可选地，所述预设运动方式为：匀速直线运动，所述基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息，包括：
按照与所述匀速直线运动对应的轨迹公式，根据该角点的横向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；
按照与所述匀速直线运动对应的轨迹公式，根据该角点的纵向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点的横向移动速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定；
该角点的纵向移动速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定。
可选地，所述预设运动方式为：N种子运动方式连续组成的运动方式组合；任一种子运动方式为匀速运动、匀加速运动、匀减速运动、变加速运动和变减速运动中的一种；相邻的两种子运动方式不同，或者相邻的两种子运动方式相同且对应的运动参数不同；N为大于1的自然数。
可选地，所述N为2，所述预设运动方式为先匀加速直线运动后匀减速直线运动，各个指定角点中的每一角点对应的移动轨迹的包括第一子轨迹和第二子轨迹，第一子轨迹为匀加速直线运动对应的轨迹，第二子轨迹为匀减速直线运动对应的轨迹，所述基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息，包括：
若该角点位于第一子轨迹中，按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的横向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的纵向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
若该角点位于第二子轨迹中，按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的横向距离、该角点在前一参考帧的像素坐标系u轴的坐标、该角点在第一子轨迹终点处的横向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的横向加速度，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的纵向距离、该角点在前一参考帧的像素坐标系v轴的坐标、该角点在第一子轨迹终点处的纵向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的纵向加速度，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点在第一子轨迹终点处的横向速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在第一子轨迹终点处的纵向速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的横向加速度，以及该角点在匀减速时的横向加速度，均根据该角点在第一子轨迹终点处的横向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的纵向加速度，以及该角点在匀减速时的纵向加速度，均根据该角点在第一子轨迹终点处的纵向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定。
可选地，所述确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域，包括：
确定目标图像尺寸；其中，所述目标图像尺寸与该参考帧的图像尺寸的比值为预定缩小比例；
利用所述目标的中心点的位置信息和所确定出的目标图像尺寸，从该参考帧中确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域。
可选地，基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频，包括：
针对每个待保留区域，将该待保留区域的图像尺寸调整为所在视频帧的图像尺寸，得到尺寸放大后的待保留区域；
按照各个待保留区域所在的视频帧时间先后顺序，将各个尺寸放大后的待保留区域生成为视频。
可选地，所述针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，包括：
针对每个参考帧，对该参考帧进行目标检测，得到该参考帧中的一个或多个候选目标；
如果得到一个候选目标，确定该候选目标为该参考帧的目标；
如果得到多个候选目标，按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标。
可选地，所述按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标，包括：
针对该多个候选目标中的每个候选目标，确定该候选目标的面积，以及该候选目标的中心点到该参考帧的中心点的距离；
根据所确定的面积和距离，确定该候选目标对应的指标值；其中，所确定的面积越大，指标值越大，所确定的距离越短，指标值越大；
从该多个候选目标中筛选出所对应的指标值最大的候选目标，作为该参考帧的目标。
第二方面，本发明实施例提供了一种视频生成装置，所述装置包括：
获取模块，用于获取待处理视频；
抽帧模块，用于对所述待处理视频进行抽帧处理，得到多个参考帧；
第一确定模块，用于针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域；
第二确定模块，用于针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域；其中，目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；
生成模块，用于基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
可选地，所述目标轨迹包括：前一参考帧的待保留区域的各个指定角点中的每一角点，在按照预设运动方式进行运镜时，该角点从前一参考帧的位置处，变化至后一参考帧的相应角点的位置处时，所形成的移动轨迹，其中，所述各个指定角点为能够唯一确定出前一参考帧的待保留区域的各个角点；
所述第二确定模块包括第一确定子模块；
所述第一确定子模块，用于针对该相邻的参考帧之间的每一视频帧，确定该视频帧与前一参考帧之间间隔的第一视频帧数；针对前一参考帧的待保留区域的各个指定角点中的每一角点，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息。
可选地，所述预设运动方式为：匀速直线运动，所述第一确定子模块包括第一确定单元和第二确定单元；
所述第一确定单元，用于按照与所述匀速直线运动对应的轨迹公式，根据该角点的横向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；
所述第二确定单元，用于按照与所述匀速直线运动对应的轨迹公式，根据该角点的纵向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点的横向移动速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定；
该角点的纵向移动速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定。
可选地，所述预设运动方式为：N种子运动方式连续组成的运动方式组合；任一种子运动方式为匀速运动、匀加速运动、匀减速运动、变加速运动和变减速运动中的一种；相邻的两种子运动方式不同，或者相邻的两种子运动方式相同且对应的运动参数不同；N为大于1的自然数。
可选地，所述N为2，所述预设运动方式为先匀加速直线运动后匀减速直线运动，各个指定角点中的每一角点对应的移动轨迹的包括第一子轨迹和第二子轨迹，第一子轨迹为匀加速直线运动对应的轨迹，第二子轨迹为匀减速直线运动对应的轨迹，
所述第一确定子模块包括第三确定单元和第四确定单元；
所述第三确定单元，用于若该角点位于第一子轨迹中，按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的横向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的纵向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
所述第四确定单元，用于若该角点位于第二子轨迹中，按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的横向距离、该角点在前一参考帧的像素坐标系u轴的坐标、该角点在第一子轨迹终点处的横向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的横向加速度，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的纵向距离、该角点在前一参考帧的像素坐标系v轴的坐标、该角点在第一子轨迹终点处的纵向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的纵向加速度，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点在第一子轨迹终点处的横向速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在第一子轨迹终点处的纵向速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的横向加速度，以及该角点在匀减速时的横向加速度，均根据该角点在第一子轨迹终点处的横向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的纵向加速度，以及该角点在匀减速时的纵向加速度，均根据该角点在第一子轨迹终点处的纵向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定。
可选地，所述第一确定模块包括第二确定子模块和第三确定子模块；
所述第二确定子模块，用于确定目标图像尺寸；其中，所述目标图像尺寸与该参考帧的图像尺寸的比值为预定缩小比例；
所述第三确定子模块，用于利用所述目标的中心点的位置信息和所确定出的目标图像尺寸，从该参考帧中确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域。
可选地，所述生成模块包括调整子模块和生成子模块；
所述调整子模块，用于针对每个待保留区域，将该待保留区域的图像尺寸调整为所在视频帧的图像尺寸，得到尺寸放大后的待保留区域；
所述生成子模块，用于按照各个待保留区域所在的视频帧时间先后顺序，将各个尺寸放大后的待保留区域生成为视频。
可选地，所述第一确定模块包括目标检测子模块、第四确定子模块和第五确定子模块；
所述目标检测子模块，用于针对每个参考帧，对该参考帧进行目标检测，得到该参考帧中的一个或多个候选目标；
所述第四确定子模块，用于如果得到一个候选目标，确定该候选目标为该参考帧的目标；
所述第五确定子模块，用于如果得到多个候选目标，按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标。
可选地，所述第五确定子模块包括第五确定单元、第六确定单元和筛选单元；
所述第五确定单元，用于针对该多个候选目标中的每个候选目标，确定该候选目标的面积，以及该候选目标的中心点到该参考帧的中心点的距离；
所述第六确定单元，根据所确定的面积和距离，确定该候选目标对应的指标值；其中，所确定的面积越大，指标值越大，所确定的距离越短，指标值越大；
所述筛选单元，用于从该多个候选目标中筛选出所对应的指标值最大的候选目标，作为该参考帧的目标。
第三方面，本发明实施里提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的视频生成方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的视频生成方法。
本发明实施例提供的方案，首先，对待处理视频抽帧得到多个参考帧；然后，检测每个参考帧的目标，确定包含该目标且以该目标为中心的图像区域为该参考帧的待保留区域；进一步，对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间其他视频帧的待保留区域的位置信息，进而确定该视频帧的待保留区域，目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；最后，基于各待保留区域和各待保留区域所在视频帧的时间先后顺序生成视频。
本发明实施例中，首先，对待处理视频进行抽帧，对于抽帧得到的参考帧，以目标为中心确定出待保留区域；然后，对于相邻参考帧之间的每一视频帧，基于按预设运动方式运镜时，前一参考帧的待保留区域位置变化至后一参考帧的待保留区域所经历的移动轨迹，确定出该视频帧的待保留区域。这样，基于所确定的各个待保留区域生成视频后，视频的画面始终以目标为拍摄主体，且视频的画面会随着目标的运动而运动，能够产生移动镜头跟踪拍摄目标的运镜效果。在此过程中，不需要依赖专业的拍摄技巧，而是对拍摄设备处于固定位置时拍摄的视频进行处理，即可得到具有运镜效果的视频。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种视频生成方法的流程图；
图2为本发明实施例提供的另一种视频生成方法的流程图；
图3a为本发明实施例提供的前一参考帧的示意图；
图3b为图3a中前一参考帧和图3d中后一参考帧之间的某一视频帧的示意图；
图3c为图3a中前一参考帧和图3d中后一参考帧之间的另一视频帧的示意图；
图3d为本发明实施例提供的后一参考帧的示意图。
图4为本发明实施例提供的一种视频生成装置的结构图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了解决现有技术中的问题，本发明实施例提供了一种视频生成方法、装置及电子设备。
下面首先对本发明实施例所提供的一种视频生成方法进行介绍。
如图1所示，本发明实施例提供的一种视频生成方法，可以包括如下步骤：
S101，获取待处理视频。
本实施例中，待处理视频可以为在拍摄设备处于固定位置时拍摄的视频，即拍摄设备在拍摄视频时，拍摄机位相对于大地来说是固定不变的。待处理视频还可以为拍摄者手持拍摄设备，针对一固定场景拍摄的视频，拍摄者拍摄该视频时，如果有轻微的移动或抖动，所拍摄的视频也可以作为待处理视频。
当用户需要生成具有运镜效果的视频时，可以将拍摄设备处于固定位置时拍摄的视频，或者将拍摄者手持拍摄设备，针对一固定场景拍摄的视频作为待处理视频，发送至电子设备，进而，电子设备对该待处理视频进行处理。
S102，对待处理视频进行抽帧处理，得到多个参考帧。
获取待处理视频后，为了在待处理视频的基础上，生成具有运镜效果的视频，可以对待处理视频进行抽帧处理，得到多个参考帧。抽取多个参考帧的意义在于：将参考帧中的目标视为跟踪拍摄的目标，实现从前一参考帧中开始跟踪该目标，跟踪至后一参考帧中，产生将镜头画面从前一参考帧中运动至后一参考帧中的运镜效果。
本实施例中，可以按照设定的抽帧方式对待处理视频进行抽帧。一种抽帧方式可以是：每秒抽取N1帧，例如，每秒抽取2帧。另一种抽帧方式可以是：每N2帧抽取一帧，例如，每25帧抽一帧。其中，N1和N2可以结合最终生成的视频的运镜效果进行设置和调整。可以理解的，将镜头从一个位置处运动至另一个位置处来跟踪拍摄目标时，所拍摄的视频在第一帧和最后一帧之间还存在许多其他视频帧，因而，在本实施例中，所抽取的相邻的参考帧之间，还存在其他的视频帧，即所抽取的相邻的参考帧在待处理视频的各个视频帧中并不是相邻的，这样抽取参考帧才能够实现从前一参考帧中跟踪该目标至后一参考帧中，产生将镜头画面从前一参考帧中运动至后一参考帧中的运镜效果。
S103，针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含目标且以目标为中心的图像区域，作为该参考帧的待保留区域。
在抽帧得到多个参考帧后，可以对该参考帧进行目标检测，得到该参考帧的目标。得到该参考帧的目标，即得到该参考帧的目标所在的区域，例如，目标所在的区域可以是参考帧中的人脸区域，或参考帧中的车辆区域。对该参考帧进行目标检测的方式，可以采用现有的任一种目标检测方式，本发明对此并不限定。
可以理解的是，在跟踪拍摄一目标时，通常希望该目标位于视频画面的中心，因而在本实施例中，在检测得到每个参考帧的目标后，可以确定包含目标且以目标为中心的图像区域，作为该参考帧的待保留区域。在后续步骤中，可以基于该待保留区域生成视频，则所生成的视频中以目标为拍摄主体，目标位于所生成视频的画面的中心。
可选地，在一种方式中，在跟踪拍摄一目标时，只是希望以目标作为拍摄主体，而并不是希望拍摄的画面中只包含目标，所以，在确定每个参考帧的待保留区域时，可以在该参考帧中确定一个以该参考帧的目标为中心的、图像尺寸较大的图像区域，作为该参考帧的待保留区域。这里的图像尺寸较大是指：该图像区域的图像尺寸相对于该参考帧的图像尺寸来说较大。例如，一个参考帧的图像尺寸为：500×500，该参考帧的待保留区域为450×450。
在另一种方式中，在跟踪拍摄一目标时，希望拍摄的画面中大部分为目标，所以，在确定每个参考帧的待保留区域时，可以在该参考帧中确定一个以该参考帧的目标为中心的、画面中大部分为目标的图像区域，作为该参考帧的待保留区域。例如，目标所在的区域：200×200，该参考帧的待保留区域为250×250。
当然，在确定参考帧的待保留区域时，该待保留区域的边界不会超出该参考帧的边界，即该待保留区域始终是该参考帧中的某一区域。
S104，针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域。
本实施例中，上述目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹。
在确定出每个参考帧的待保留区域后，可以将参考帧中的目标视为跟踪拍摄的目标，那么，针对相邻的参考帧，可以将前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域的过程视为一个运镜过程，将这一过程所经历的移动轨迹视为运动镜头时的运镜轨迹，即上述目标轨迹。在这一运镜过程中，镜头画面跟随着目标从前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域。而且，在这一运镜过程中，可以按照预设运动方式来运镜。这里，预定运动方式可以指示上述目标轨迹的轨迹形状，以及形成该目标轨迹的运动过程。例如，预设运动方式可以是匀速直线运动。那么，轨迹形状即为直线，且以匀速运动形成该直线轨迹。匀速运动的坐标系可以是参考帧对应的像素坐标系。预定运动方式可以根据经验或需要进行设定，本发明在此对预设运动方式并不限定。
通过上述目标轨迹，可以明确待保留区域在相邻的参考帧之间如何运动，那么，就可以基于所该目标轨迹，确定出该相邻的参考帧之间每一视频帧的待保留区域的位置信息，进而，基于该位置信息，确定该视频帧的待保留区域。当然，该待保留区域始终是该视频帧中的某一区域。
可以理解的，镜头在运动时，不仅镜头画面会运动，而且，镜头画面的大小可能也会发生变化，所以，上述移动轨迹不仅能够反映出待保留区域的位置变化，也能够反映出待保留区域的大小变化。
S105，基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
通过上述S103确定了待处理视频的各个参考帧的待保留区域，以及通过上述S104确定了待处理视频的相邻的参考帧之间其他视频帧的待保留区域，就确定出了待处理视频的各个视频帧的待保留区域。当然，这里的待处理视频的各个视频帧是指：各个参考帧和相邻的参考帧之间的其他视频帧。如果第一个参考帧之前还存在视频帧，那么，第一个参考帧之前的视频帧并不包含在上述的待处理视频的各个视频帧之内。同理，如果最后一个视频帧之后还存在视频帧，那么，最后一个参考帧之后的视频帧也不包含在上述的待处理视频的各个视频帧之内。
确定出待处理视频的各个视频帧的待保留区域之后，可以基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。具体的，可以裁剪待处理视频的各个视频帧的待保留区域，以基于各个待保留区域生成视频。
由于参考帧的待保留区域是以目标为中心的区域，且相邻的参考帧之间其他视频帧的待保留区域是跟踪了参考帧的目标的区域，因此，所生成的视频是以目标为拍摄主体，且视频的画面会随着目标的运动而运动的具有运镜效果的视频。
在实际应用中，所确定的各个待保留区域的图像尺寸可能各不相同，为了便于显示，可以对各个待保留区域的图像尺寸进行调整，调整为统一的一个图像尺寸，然后，按照各个待保留区域所在视频帧的时间先后顺序，将尺寸调整后的各个待保留区域生成为具有运镜效果的视频。
应用图1所示实施例，首先，对待处理视频进行抽帧，对于抽帧得到的参考帧，以目标为中心确定出待保留区域；然后，对于相邻参考帧之间的每一视频帧，基于按预设运动方式运镜时，前一参考帧的待保留区域位置变化至后一参考帧的待保留区域所经历的移动轨迹，确定出该视频帧的待保留区域。这样，基于所确定的各个待保留区域生成视频后，视频的画面始终以目标为拍摄主体，且视频的画面会随着目标的运动而运动，能够产生移动镜头跟踪拍摄目标的运镜效果。在此过程中，不需要依赖专业的拍摄技巧，而是对拍摄设备处于固定位置时拍摄的视频进行处理，即可得到具有运镜效果的视频。
作为一种实施方式，图1实施例中的目标轨迹可以包括：前一参考帧的待保留区域的各个指定角点中的每一角点，在按照预设运动方式进行运镜时，该角点从前一参考帧的位置处，变化至后一参考帧的相应角点的位置处时，所形成的移动轨迹，其中，各个指定角点为能够唯一确定出前一参考帧的待保留区域的各个角点。
也就是说，可以先确定出能够唯一确定出前一参考帧的待保留区域的各个角点作为各个指定角点，然后，将按照预设运动方式进行运镜时，每个指定角点从前一参考帧的位置处，变化至后一参考帧的相应角点的位置处时，所形成的移动轨迹，作为上述目标轨迹。
各个指定角点可以是前一参考帧的待保留区域的四个角点，即左上、左下、右上和右下角点。各个指定角点还可以是前一参考帧的待保留区域的任一对角线上的两个角点，如左上和右下角点，或者左下和右上角点。
当各个指定角点为左上、左下、右上和右下角点时，则上述目标轨迹包括：在按照预设运动方式进行运镜时，前一参考帧的待保留区域的左上角点a从其位置处变化至后一参考帧的左上角点a’的位置处的第一轨迹，前一参考帧的待保留区域的左下角点b从其位置处变化至后一参考帧的左下角点b’的位置处的第二轨迹，前一参考帧的待保留区域的右上角点c从其位置处变化至后一参考帧的右上角点c’的位置处的第三轨迹，以及前一参考帧的待保留区域的右下角点d从其位置处变化至后一参考帧的右下角点d’的位置处的第四轨迹。
当各个指定角点为左上和右下角点时，则上述目标轨迹包括：上述的第一轨迹和第四轨迹。当各个指定角点为左下和右上角点时，则所形成的移动轨迹包括：上述的第二轨迹和第三轨迹。
上述任一角点的位置处是指，该角点在所在参考帧对应的像素坐标系中的位置坐标。例如，前一参考帧的待保留区域的左上角点的位置处为(5,5)，后一参考帧的待保留区域的左上角点的位置处为(10,10)。由于各个参考帧的大小均相同，所以各个参考帧对应的像素坐标系是相同的。
在上述实现方式的基础上，如图2所示，本发明实施例提供了另一种视频生成方法，可以包括如下步骤：
S201，获取待处理视频。
S202，对待处理视频进行抽帧处理，得到多个参考帧。
S203，针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含目标且以目标为中心的图像区域，作为该参考帧的待保留区域。
其中，S201-S203可以分别与S101-S103完全一致，这里不再赘述。
S204，针对该相邻的参考帧之间的每一视频帧，确定该视频帧与前一参考帧之间间隔的第一视频帧数；针对前一参考帧的待保留区域的各个指定角点中的每一角点，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息。
可以理解的，任一指定角点的移动轨迹的起始位置是前一参考帧中该指定角点的位置处，结束位置是后一参考帧中该指定角点的位置处。这样，对于相邻的参考帧之间其他视频帧中的每一视频帧来说，可以基于该视频帧与前一参考帧之间间隔的第一视频帧数和各个指定角点的移动轨迹，确定各个指定角点在该视频帧中的位置信息。
可以理解的，不同的预设的运动方式，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息的方式也不同。下面给出两种示例：
第一种示例：预设运动方式可以为：匀速直线运动，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息，可以包括以下步骤：
步骤11：按照与匀速直线运动对应的轨迹公式，根据该角点的横向移动速度、第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；
步骤12：按照与匀速直线运动对应的轨迹公式，根据该角点的纵向移动速度、第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点的横向移动速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定；
该角点的纵向移动速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定。
本示例中，匀速直线运动对应的轨迹公式可以为：
Figure BDA0002667078190000161
其中，a″x表示该角点在像素坐标系中u轴的坐标，a″y表示该角点在像素坐标系中v轴的坐标，f表示该相邻的参考帧之间的视频帧与前一参考帧之间间隔的视频帧数，vx表示该角点的横向移动速度，vy表示该角点的纵向移动速度，ax表示该角点在前一参考帧的像素坐标系中u轴的坐标，ay表示该角点在前一参考帧的像素坐标系中v轴的坐标。
其中，每一角点的横向移动速度vx和纵向移动速度vy的单位均为像素点/帧，其中，vx＝(a′x-ax)/f1，vy＝(a′y-ay)/f1,其中，a′x表示该角点在后一参考帧的像素坐标系中u轴的坐标，a′y表示该角点在后一参考帧的像素坐标系中v轴的坐标，f1表示后一参考帧与前一参考帧之间间隔的视频帧数。
将第一视频帧数代入上述匀速直线运动对应的轨迹公式，即将f＝第一视频帧数，即可求得该角点在该视频帧的像素坐标系u轴的坐标，以及求得该角点在该视频帧的像素坐标系v轴的坐标。
下面结合上述第一种示例，以左上角点为例，说明确定左上角点在其他视频帧中的位置信息的过程。这里设定：左上角点对应的移动轨迹的起始位置即左上角点a的位置为(5,10)，结束位置即左上角点a’的位置为(9,13)。则横向移动速度vx＝(9-5)/25＝0.16像素点/帧，纵向移动速度vy＝(13-10)/25＝0.12像素点/帧，25表示每25帧抽一帧参考帧，也就是说，每一帧横向移动0.16个像素点，纵向移动0.12个像素点。相邻的参考帧之间某一视频帧与前一参考帧之间的间隔为6，即第一视频帧数为6，则左上角点在该视频帧中的位置为(6×0.16+5,6×0.12+10)。
第二种示例：预设运动方式可以为：N种子运动方式连续组成的运动方式组合；任一种子运动方式为匀速运动、匀加速运动、匀减速运动、变加速运动和变减速运动中的一种；相邻的两种子运动方式不同，或者相邻的两种子运动方式相同且对应的运动参数不同；N为大于1的自然数。
如果一种子运动方式为匀速运动，该子运动方式对应的运动参数可以是移动速度的数值。如果一种子运动方式为匀加速运动或匀减速运动，该子运动方式对应的运动参数可以是匀加速运动或匀减速运动的加速度的数值。如果一种子运动方式为变加速运动或变减速运动，该子运动方式对应的运动参数可以是变加速运动或变减速运动的加速度的变化数值。
在第二种示例中，举例来说，预设运动方式可以为匀加速-匀减速，还可以为匀速-匀加速-匀减速，还可以为匀速-匀速，两次匀速的移动速度的数值不同。
在第二种示例的一种具体示例中，N可以为2，预设运动方式可以为：先匀加速直线运动后匀减速直线运动。这里的先匀加速直线运动后匀减速直线运动的方式指示了：该移动轨迹的轨迹形状为直线，且以先匀加速后匀减速的直线运动方式形成该直线轨迹。匀加速运动和匀减速运动的坐标系可以是参考帧对应的像素坐标系。各个指定角点中的每一角点对应的移动轨迹的包括第一子轨迹和第二子轨迹，第一子轨迹为匀加速直线运动对应的轨迹。相应地，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息，可以包括以下步骤：
步骤21：若该角点位于第一子轨迹中，按照与匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的横向加速度、第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的纵向加速度、第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
步骤22：若该角点位于第二子轨迹中，按照与匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的横向距离、该角点在前一参考帧的像素坐标系u轴的坐标、该角点在第一子轨迹终点处的横向速度、第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的横向加速度，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的纵向距离、该角点在前一参考帧的像素坐标系v轴的坐标、该角点在第一子轨迹终点处的纵向速度、第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的纵向加速度，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点在第一子轨迹终点处的横向速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在第一子轨迹终点处的纵向速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的横向加速度，以及该角点在匀减速时的横向加速度，均根据该角点在第一子轨迹终点处的横向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的纵向加速度，以及该角点在匀减速时的纵向加速度，均根据该角点在第一子轨迹终点处的纵向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定。
本示例中，匀加速直线运动对应的第一轨迹公式可以为：
Figure BDA0002667078190000181
其中，a″x表示该角点在像素坐标系中u轴的坐标，a″y表示该角点在像素坐标系中v轴的坐标，f表示该相邻的参考帧之间的视频帧与前一参考帧之间间隔的视频帧数，Ax表示该角点在匀加速时的横向加速度，Ay表示该角点在匀加速时的纵向加速度，ax表示该角点在前一参考帧的像素坐标系中u轴的坐标，ay表示该角点在前一参考帧的像素坐标系中v轴的坐标。
本示例中，匀减速直线运动对应的第二轨迹公式可以为：
Figure BDA0002667078190000182
其中，f2＝f-t，t表示前一参考帧与后一参考帧之间间隔的视频帧数的一半，-Ax表示该角点在匀减速时的横向减速度，-Ay表示该角点在匀减速时的纵向减速度，Sx表示第一子轨迹对应的横向距离，Sy表示第一子轨迹对应的纵向距离，vxx表示该角点在第一子轨迹终点处的横向速度，vyy表示该角点在第一子轨迹终点处的纵向速度。
其中，vxx＝(a′x-ax)/2t,vyy＝(a′y-ay)/2t,Ax＝vxx/t，Ay＝vyy/t，Sx＝Ax×t2/2，Sy＝Ay×t2/2。
将第一视频帧数代入上述匀加速直线运动对应的第一轨迹公式，即将f＝第一视频帧数，即可求得该角点在该视频帧的像素坐标系u轴的坐标，以及求得该角点在该视频帧的像素坐标系v轴的坐标。
将第一视频帧数代入上述匀减速直线运动对应的第二轨迹公式，即将f＝第一视频帧数，即可求得该角点在该视频帧的像素坐标系u轴的坐标，以及求得该角点在该视频帧的像素坐标系v轴的坐标。
通过先匀加速后匀减速的直线运动方式进行运镜，可以使得所生成视频的动感更强。
下面结合上述第二中示例，以左上角点为例，说确定左上角点在其他视频帧中的位置信息的过程。这里设定：左上角点对应的移动轨迹的起始位置即左上角点a的位置为(5,10)，结束位置即左上角点a’的位置为(9,13)。左上角点a的位置处的速度和左上角点a’的位置处的速度均为0，也就是，从左上角点a以速度为0开始加速，然后减速至0到达左上角点a’。第一子轨迹为从左上角点a开始，进行匀加速得到的直线轨迹，第二子轨迹为从第一部分的终点开始，进行匀减速得到的直线轨迹。
对于相邻的参考之间的某一视频帧来说，可以分别确定左上角点在该视频帧中的横坐标和纵坐标。下以确定横坐标为例进行说明，这里，设定左上角点以加速度Ax进行匀加速，然后以加速度-Ax进行匀减速，那么，第一子轨迹和第二子轨迹对应的帧数均为t，t表示前一参考帧与后一参考帧之间间隔的视频帧数的一半。例如，每20帧抽一帧参考帧，则t＝10。根据加速度-距离的公式可知，第一子轨迹对应的横向距离S1＝Axt2/2，第二子轨迹对应的横向距离S2＝vxxt-(-Ax)t2/2，根据速度-加速度的公式可知，Ax＝vxx/t，将Ax＝vxx/t代入S1和S2的公式，得到S1＝vxx×t/2，S2＝3vxx×t/2。由于S1+S2＝9-5＝4，t＝10，所以计算得到vxx＝0.2，进一步计算得到Ax＝0.02。
若相邻的参考帧之间某一视频帧与前一参考帧之间的间隔为6，即第一视频帧数为6，说明该视频帧包含在第一子轨迹中，根据加速度-距离的公式，计算得到：左上角点在该视频帧中的横坐标为：5+0.02×62/2。
若相邻的参考帧之间某一视频帧与前一参考帧之间的间隔为16，即第一视频帧数为16，说明该视频帧包含在第二子轨迹中，根据加速度-距离的公式，计算得到：左上角点该视频帧中的横坐标为：5+S1+0.2×(16-10)-(-0.02)×(16-10)2/2，其中，S1＝vxxt/2＝1。
以上为确定左上角点在该视频帧中的横坐标的方式，对于左上角点在该视频帧中的纵坐标，可以采用同样的方式来确定。
S205，基于各个指定角点在该视频帧中的位置信息，确定该视频帧的待保留区域。
在确定出各个指定角点在该视频帧中的位置信息后，可以基于该位置信息，生成该视频帧的待保留区域。
当各个指定角点为左上、左下、右上和右下角点时，可以基于左上、左下、右上和右下角点在该视频帧中的位置信息，将左上、左下、右上和右下角点围城的区域确定为该视频帧的待保留区域。
当各个指定角点为左上和右下角点时，先根据左上和右下角点的位置信息，确定左下角点和右上角点的位置信息，然后，基于左上、左下、右上和右下角点在该视频帧中的位置信息，将左上、左下、右上和右下角点围城的区域确定为该视频帧的待保留区域。例如，左上角点的位置为(5,5)，右下角点的位置为(10,10)，则确定左下角点的位置为(5,10)，右上角点的位置为(10,5)。
同理，当各个指定角点为左下和右上角点时，先根据左下和右上角点的位置信息，确定左上角点和右下角点的位置信息，然后，基于左上、左下、右上和右下角点在该视频帧中的位置信息，将左上、左下、右上和右下角点围城的区域确定为该视频帧的待保留区域。
S206，基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
其中，S206可以与S105完全一致，这里不再赘述。
应用图2所示实施例，首先，对待处理视频进行抽帧，对于抽帧得到的参考帧，以目标为中心确定出待保留区域；然后，对于相邻参考帧之间的每一视频帧，基于按预设运动方式运镜时，前一参考帧的待保留区域位置变化至后一参考帧的待保留区域所经历的移动轨迹，确定出该视频帧的待保留区域。这样，基于所确定的各个待保留区域生成视频后，视频的画面始终以目标为拍摄主体，且视频的画面会随着目标的运动而运动，能够产生移动镜头跟踪拍摄目标的运镜效果。在此过程中，不需要依赖专业的拍摄技巧，而是对拍摄设备处于固定位置时拍摄的视频进行处理，即可得到具有运镜效果的视频。而且，通过确定各个指定角点在相邻参考帧之间每一视频帧的位置信息，可以进一步基于该位置信息来确定该视频帧的待保留区域，可以更为简单有效地确定出相邻参考帧之间其他视频帧的待保留区域。
可选地，图1和图2所示实施例中，S103和S203中的确定包含目标且以目标为中心的图像区域，作为该参考帧的待保留区域，可以包括如下步骤：
步骤A1，确定目标图像尺寸；其中，目标图像尺寸与该参考帧的图像尺寸的比值为预定缩小比例；
步骤A2，利用目标的中心点的位置信息和所确定出的图像尺寸，从该参考帧中确定包含目标且以目标为中心的图像区域，作为该参考帧的待保留区域。
在生成具有运镜效果的视频的过程中，为了保持待处理视频的视频画面效果，可以使生成视频的视频画面的长宽比例，与待处理视频的视频画面的查看比例一致。本实施例中，由于基于各个参考帧的待保留区域生成具有运镜效果的视频，而且，每个参考帧的待保留区域始终是该参考帧中的某一区域，因而，可以设定每个参考帧的待保留区域与该参考帧符合一定的缩小比例，也就是，每个参考帧的待保留区域的大小比该参考帧的大小要小，且每个参考帧的待保留区域的长宽比例与该参考帧的长宽比例一致。
基于这一考虑，可以先确定目标图像尺寸，该目标图像尺寸与该参考帧的图像尺寸的比值为预定缩小比例，然后，利用目标的中心点的位置信息和所确定出的图像尺寸，从该参考帧中确定包含目标且以目标为中心的图像区域，作为该参考帧的待保留区域。
其中，各个参考帧对应的预定缩小比例可以在一参考范围内，按照不同的方式进行选择。例如，参考范围为[0.7,0.9]，或者，参考范围为[0.75,0.95]。例如，选择方式为随机选择，或者，选择方式为按照线性增长的方式选择，如第一个、第二个、第三个参考帧…对应的预定缩小比例依次为0.7、0.8、0.9…。本发明对选择方式并不限定。对于参考范围的选择，由于希望待保留区域相对于参考帧来说较大，因而，参考范围的下限可以相对大一些，这样，待保留区域相对于该参考帧的缩小比例相对较大。
在确定出目标图像尺寸后，就将该目标图像尺寸作为该参考帧的待保留区域的图像尺寸，进而，在该参考帧中确定出一个大小为该目标图像尺寸的、以该参考帧的目标为中心的图像区域，作为待保留区域。
这里，需要注意的是，在确定上述图像区域的过程中，如果出现该图像区域的边界超出该参考帧的边界的情况，则需要重新确定上述图像区域。这里，重新确定的图像区域不会超出参考帧的边界，而且仍需满足：以目标为中心，长宽比例与参考帧的长宽比例一致。
可选的，在一种实现方式中，在上述步骤A1-A2的基础上，图1和图2所示实施例中，S105和S206可以包括如下步骤：
步骤B1，针对每个待保留区域，将该待保留区域的图像尺寸调整为所在视频帧的图像尺寸，得到尺寸放大后的待保留区域；
步骤B2，按照各个待保留区域所在的视频帧时间先后顺序，将各个尺寸放大后的待保留区域生成为具有运镜效果的视频。
可以理解的，每个参考帧的待保留区域与该参考帧符合一定的缩小比例，那么，相邻的参考帧之间的其他视频帧的待保留区域与所在视频帧也符合一定的缩小比例。也就是，待处理视频的各个视频帧的待保留区域的大小可能各不相同，在这种情况下，可以将每个待保留区域的图像尺寸调整为所在视频帧的图像尺寸，得到尺寸放大后的待保留区域，然后，按照各个待保留区域所在的视频帧时间先后顺序，将各个尺寸放大后的待保留区域生成为具有运镜效果的视频。这样，所生成的视频的各个视频帧的大小与待处理视频的各个视频帧的大小一致。
可选地，图1和图2所示实施例中，S103和S203中的针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，可以包括如下步骤：
步骤C1，针对每个参考帧，对该参考帧进行目标检测，得到该参考帧中的一个或多个候选目标。
这里，可以采用现有的任一中目标检测方式对该参考帧进行目标检测，得到该参考帧的一个或多个候选目标。每个候选目标可以为一候选目标区域，例如，参考帧中的人脸区域，或车辆区域。
步骤C2，如果得到一个候选目标，确定该候选目标为该参考帧的目标。
如果仅得到一个候选目标，可以将该候选目标确定为该参考帧的目标。
步骤C3，如果得到多个候选目标，按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标。
如果得到多个候选目标，可以按照预设的目标筛选规则从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标。
预设的目标筛选规则可以有多种，本发明对此并不限定。
作为一种示例，按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标，可以包括如下步骤：
步骤C31，针对该多个候选目标中的每个候选目标，确定该候选目标的面积，以及该候选目标的中心点到该参考帧的中心点的距离。
在多个候选目标中进行筛选时，可以将各个候选目标的面积，和各个候选目标的中心点到该参考帧的中心点的距离作为考量因素。其中，每个候选目标可以是一个候选目标区域，那么，每个候选目标的面积就是该候选目标区域的面积。
步骤C32，根据所确定的面积和距离，确定该候选目标对应的指标值。
在确定出每个候选目标的面积和上述距离后，可以根据这两个参数，确定该候选目标对应的指标值，其中，所确定的面积越大，指标值越大，所确定的距离越短，指标值越大。
根据所确定的面积和距离，确定该候选目标对应的指标值的方式可以由多种，本发明对此并不限定。
作为一个示例，一个候选目标的指标值可以通过以下公式来表示：
T＝p1×D+p2/L
其中，T表示该候选目标的指标值，D表示该候选目标的面积，L表示该候选目标的中心点到所在参考帧的中心点的距离，p1和p2分别为面积D和距离L对应的权值。p1和p2可以根据经验或需要进行设定。
步骤C33，从该多个候选目标中筛选出所对应的指标值最大的候选目标，作为该参考帧的目标。
当确定出各个候选目标对应的指标值后，可以将所对应的指标值最大的候选目标作为该参考帧的目标。
为了便于理解，下面结合图3a-图3d来说明前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域的过程。
图3a为相邻参考帧中的前一参考帧，其中，边框11表示该参考帧的完整图像区域，边框13表示该参考帧中的目标，边框12表示该参考帧的待保留区域。图3d为相邻参考帧中的后一参考帧，其中，边框41表示该参考帧的完整图像区域，边框43表示该参考帧中的目标，边框42表示该参考帧的待保留区域。图3b为图3a中前一参考帧和图3d中后一参考帧之间的某一视频帧，其中，边框21表示该视频帧的完整图像区域，边框22表示该视频帧的待保留区域。图3c为图3a中前一参考帧和图3d中后一参考帧之间的另一视频帧，其中，边框31表示该视频帧的完整图像区域，边框32表示该视频帧的待保留区域。其中，图3b的视频帧为图3c的视频帧之前的视频帧，也就是说，在时间序列上，图3b的视频帧早于图3c的视频帧。待保留区域从图3a位置变化至图3d。
本发明实施例还提供了一种视频生成装置，如图4所示，所述装置包括：
获取模块401，用于获取待处理视频；
抽帧模块402，用于对所述待处理视频进行抽帧处理，得到多个参考帧；
第一确定模块403，用于针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域；
第二确定模块404，用于针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域；其中，目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；
生成模块405，用于基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
应用图4所示实施例，首先，对待处理视频进行抽帧，对于抽帧得到的参考帧，以目标为中心确定出待保留区域；然后，对于相邻参考帧之间的每一视频帧，基于按预设运动方式运镜时，前一参考帧的待保留区域位置变化至后一参考帧的待保留区域所经历的移动轨迹，确定出该视频帧的待保留区域。这样，基于所确定的各个待保留区域生成视频后，视频的画面始终以目标为拍摄主体，且视频的画面会随着目标的运动而运动，能够产生移动镜头跟踪拍摄目标的运镜效果。在此过程中，不需要依赖专业的拍摄技巧，而是对拍摄设备处于固定位置时拍摄的视频进行处理，即可得到具有运镜效果的视频。
可选地，所述目标轨迹包括：前一参考帧的待保留区域的各个指定角点中的每一角点，在按照预设运动方式进行运镜时，该角点从前一参考帧的位置处，变化至后一参考帧的相应角点的位置处时，所形成的移动轨迹，其中，所述各个指定角点为能够唯一确定出前一参考帧的待保留区域的各个角点；
所述第二确定模块404包括第一确定子模块，
所述第一确定子模块，用于针对该相邻的参考帧之间的每一视频帧，确定该视频帧与前一参考帧之间间隔的第一视频帧数；针对前一参考帧的待保留区域的各个指定角点中的每一角点，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息。
可选地，所述预设运动方式包括：匀速直线运动，所述第一确定子模块包括第一确定单元和第二确定单元；
所述第一确定单元，用于按照与所述匀速直线运动对应的轨迹公式，根据该角点的横向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；
所述第二确定单元，用于按照与所述匀速直线运动对应的轨迹公式，根据该角点的纵向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点的横向移动速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定；
该角点的纵向移动速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定。
可选地，所述预设运动方式为：N种子运动方式连续组成的运动方式组合；任一种子运动方式为匀速运动、匀加速运动、匀减速运动、变加速运动和变减速运动中的一种；相邻的两种子运动方式不同，或者相邻的两种子运动方式相同且对应的运动参数不同；N为大于1的自然数。
可选地，所述N为2，所述预设运动方式为先匀加速直线运动后匀减速直线运动，各个指定角点中的每一角点对应的移动轨迹的包括第一子轨迹和第二子轨迹，第一子轨迹为匀加速直线运动对应的轨迹，第二子轨迹为匀减速直线运动对应的轨迹，
所述第一确定子模块包括第三确定单元和第四确定单元；
所述第三确定单元，用于若该角点位于第一子轨迹中，按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的横向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的纵向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
所述第四确定单元，用于若该角点位于第二子轨迹中，按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的横向距离、该角点在前一参考帧的像素坐标系u轴的坐标、该角点在第一子轨迹终点处的横向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的横向加速度，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的纵向距离、该角点在前一参考帧的像素坐标系v轴的坐标、该角点在第一子轨迹终点处的纵向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的纵向加速度，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点在第一子轨迹终点处的横向速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在第一子轨迹终点处的纵向速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的横向加速度，以及该角点在匀减速时的横向加速度，均根据该角点在第一子轨迹终点处的横向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的纵向加速度，以及该角点在匀减速时的纵向加速度，均根据该角点在第一子轨迹终点处的纵向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定。
可选地，所述第一确定模块403包括第二确定子模块和第三确定子模块；
所述第二确定子模块，用于确定目标图像尺寸；其中，所述目标图像尺寸与该参考帧的图像尺寸的比值为预定缩小比例；
所述第三确定子模块，用于利用所述目标的中心点的位置信息和所确定出的目标图像尺寸，从该参考帧中确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域。
可选地，所述生成模块405包括调整子模块和生成子模块，
所述调整子模块，用于针对每个待保留区域，将该待保留区域的图像尺寸调整为所在视频帧的图像尺寸，得到尺寸放大后的待保留区域；
所述生成子模块，用于按照各个待保留区域所在的视频帧的时间先后顺序，将各个尺寸放大后的待保留区域生成为视频。
可选地，所述第一确定模块403还包括目标检测子模块、第四确定子模块和第五确定子模块，
所述目标检测子模块，用于针对每个参考帧，对该参考帧进行目标检测，得到该参考帧中的一个或多个候选目标；
所述第四确定子模块，用于如果得到一个候选目标，确定该候选目标为该参考帧的目标；
所述第五确定子模块，用于如果得到多个候选目标，按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标。
可选地，所述第五确定子模块包括第五确定单元、第六确定单元和筛选单元，
所述第五确定单元，用于针对该多个候选目标中的每个候选目标，确定该候选目标的面积，以及该候选目标的中心点到该参考帧的中心点的距离；
所述第六确定单元，用于根据所确定的面积和距离，确定该候选目标对应的指标值；其中，所确定的面积越大，指标值越大，所确定的距离越短，指标值越大；
所述筛选单元，用于从该多个候选目标中筛选出所对应的指标值最大的候选目标，作为该参考帧的目标。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述实施例中任一的视频生成方法，以获得相同的技术效果。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一的视频生成方法，以获得相同的技术效果。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的视频生成方法，以获得相同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质/计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种视频生成方法，其特征在于，所述方法包括：
获取待处理视频；
对所述待处理视频进行抽帧处理，得到多个参考帧；
针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域；
针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域；其中，目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；
基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
2.根据权利要求1所述的方法，其特征在于，所述目标轨迹包括：前一参考帧的待保留区域的各个指定角点中的每一角点，在按照预设运动方式进行运镜时，该角点从前一参考帧的位置处，变化至后一参考帧的相应角点的位置处时，所形成的移动轨迹，其中，所述各个指定角点为能够唯一确定出前一参考帧的待保留区域的各个角点；
所述基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，包括：
针对该相邻的参考帧之间的每一视频帧，确定该视频帧与前一参考帧之间间隔的第一视频帧数；针对前一参考帧的待保留区域的各个指定角点中的每一角点，基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述预设运动方式为：匀速直线运动，所述基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息，包括：
按照与所述匀速直线运动对应的轨迹公式，根据该角点的横向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；
按照与所述匀速直线运动对应的轨迹公式，根据该角点的纵向移动速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点的横向移动速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定；
该角点的纵向移动速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及后一参考帧与前一参考帧之间间隔的视频帧数确定。
4.根据权利要求2所述的方法，其特征在于，所述预设运动方式为：N种子运动方式连续组成的运动方式组合；任一种子运动方式为匀速运动、匀加速运动、匀减速运动、变加速运动和变减速运动中的一种；相邻的两种子运动方式不同，或者相邻的两种子运动方式相同且对应的运动参数不同；N为大于1的自然数。
5.根据权利要求4所述的方法，其特征在于，所述N为2，所述预设运动方式为先匀加速直线运动后匀减速直线运动，各个指定角点中的每一角点对应的移动轨迹的包括第一子轨迹和第二子轨迹，第一子轨迹为匀加速直线运动对应的轨迹，第二子轨迹为匀减速直线运动对应的轨迹，所述基于该角点对应的移动轨迹和所述第一视频帧数，确定该角点在该视频帧中的位置信息，包括：
若该角点位于第一子轨迹中，按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的横向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系u轴的坐标，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀加速直线运动对应的第一轨迹公式，根据该角点在匀加速时的纵向加速度、所述第一视频帧数以及该角点在前一参考帧的像素坐标系v轴的坐标，确定该角点在该视频帧的像素坐标系v轴的坐标；
若该角点位于第二子轨迹中，按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的横向距离、该角点在前一参考帧的像素坐标系u轴的坐标、该角点在第一子轨迹终点处的横向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的横向加速度，确定该角点在该视频帧的像素坐标系u轴的坐标；并按照与所述匀减速直线运动对应的第二轨迹公式，根据第一子轨迹对应的纵向距离、该角点在前一参考帧的像素坐标系v轴的坐标、该角点在第一子轨迹终点处的纵向速度、所述第一视频帧数、前一参考帧与后一参考帧之间间隔的视频帧数的一半、该角点在匀减速时的纵向加速度，确定该角点在该视频帧的像素坐标系v轴的坐标；
其中，该角点在第一子轨迹终点处的横向速度根据该角点在前一参考帧的像素坐标系u轴的坐标、该角点在后一参考帧的像素坐标系u轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在第一子轨迹终点处的纵向速度根据该角点在前一参考帧的像素坐标系v轴的坐标、该角点在后一参考帧的像素坐标系v轴的坐标以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的横向加速度，以及该角点在匀减速时的横向加速度，均根据该角点在第一子轨迹终点处的横向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定；该角点在匀加速时的纵向加速度，以及该角点在匀减速时的纵向加速度，均根据该角点在第一子轨迹终点处的纵向速度以及前一参考帧与后一参考帧之间间隔的视频帧数的一半确定。
6.根据权利要求1-5任一所述的方法，其特征在于，所述确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域，包括：
确定目标图像尺寸；其中，所述目标图像尺寸与该参考帧的图像尺寸的比值为预定缩小比例；
利用所述目标的中心点的位置信息和所确定出的目标图像尺寸，从该参考帧中确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域。
7.根据权利要求6所述的方法，其特征在于，基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频，包括：
针对每个待保留区域，将该待保留区域的图像尺寸调整为所在视频帧的图像尺寸，得到尺寸放大后的待保留区域；
按照各个待保留区域所在的视频帧时间先后顺序，将各个尺寸放大后的待保留区域生成为视频。
8.根据权利要求1-5任一所述的方法，其特征在于，所述针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，包括：
针对每个参考帧，对该参考帧进行目标检测，得到该参考帧中的一个或多个候选目标；
如果得到一个候选目标，确定该候选目标为该参考帧的目标；
如果得到多个候选目标，按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标。
9.根据权利要求8所述的方法，其特征在于，所述按预设的目标筛选规则，从该多个候选目标中筛选出一个候选目标，作为该参考帧的目标，包括：
针对该多个候选目标中的每个候选目标，确定该候选目标的面积，以及该候选目标的中心点到该参考帧的中心点的距离；
根据所确定的面积和距离，确定该候选目标对应的指标值；其中，所确定的面积越大，指标值越大，所确定的距离越短，指标值越大；
从该多个候选目标中筛选出所对应的指标值最大的候选目标，作为该参考帧的目标。
10.一种视频生成装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频；
抽帧模块，用于对所述待处理视频进行抽帧处理，得到多个参考帧；
第一确定模块，用于针对每个参考帧，对该参考帧进行目标检测，得到该参考帧的目标，并确定包含所述目标且以所述目标为中心的图像区域，作为该参考帧的待保留区域；
第二确定模块，用于针对相邻的参考帧，基于目标轨迹确定该相邻的参考帧之间每一视频帧的待保留区域的位置信息，并基于该位置信息，确定该视频帧的待保留区域；其中，目标轨迹为：在按照预设运动方式进行运镜时，前一参考帧的待保留区域，位置变化至后一参考帧的待保留区域所经历的移动轨迹；
生成模块，用于基于各个待保留区域，以及各个待保留区域所在视频帧的时间先后顺序，生成视频。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
CN202010922107.7A 2020-09-04 2020-09-04 一种视频生成方法、装置及电子设备 Active CN112019768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010922107.7A CN112019768B (zh) 2020-09-04 2020-09-04 一种视频生成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010922107.7A CN112019768B (zh) 2020-09-04 2020-09-04 一种视频生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112019768A true CN112019768A (zh) 2020-12-01
CN112019768B CN112019768B (zh) 2023-03-24

Family

ID=73515881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010922107.7A Active CN112019768B (zh) 2020-09-04 2020-09-04 一种视频生成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112019768B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883782A (zh) * 2021-01-12 2021-06-01 上海肯汀通讯科技有限公司 投放行为识别方法、装置、设备及存储介质
CN112929701A (zh) * 2021-02-04 2021-06-08 浙江大华技术股份有限公司 一种视频编码方法、装置、设备及介质
CN113313735A (zh) * 2021-05-25 2021-08-27 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
CN113591644A (zh) * 2021-07-21 2021-11-02 此刻启动(北京)智能科技有限公司 一种运镜视频处理方法、系统、存储介质及电子设备
CN114051110A (zh) * 2021-11-08 2022-02-15 北京百度网讯科技有限公司 视频生成方法、装置、电子设备和存储介质
CN114979785A (zh) * 2022-04-15 2022-08-30 荣耀终端有限公司 视频处理方法和相关装置
WO2022205085A1 (zh) * 2021-03-31 2022-10-06 深圳市大疆创新科技有限公司 视频拍摄方法、装置及系统
US11647294B2 (en) 2021-05-25 2023-05-09 Shanghai Bilibili Technology Co., Ltd. Panoramic video data process

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460689B1 (en) * 2004-09-15 2008-12-02 The United States Of America As Represented By The Secretary Of The Army System and method of detecting, recognizing, and tracking moving targets
CN110189378A (zh) * 2019-05-23 2019-08-30 北京奇艺世纪科技有限公司 一种视频处理方法、装置及电子设备
CN111010590A (zh) * 2018-10-08 2020-04-14 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN111598924A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460689B1 (en) * 2004-09-15 2008-12-02 The United States Of America As Represented By The Secretary Of The Army System and method of detecting, recognizing, and tracking moving targets
CN111010590A (zh) * 2018-10-08 2020-04-14 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN110189378A (zh) * 2019-05-23 2019-08-30 北京奇艺世纪科技有限公司 一种视频处理方法、装置及电子设备
CN111598924A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883782A (zh) * 2021-01-12 2021-06-01 上海肯汀通讯科技有限公司 投放行为识别方法、装置、设备及存储介质
CN112883782B (zh) * 2021-01-12 2023-03-24 上海肯汀通讯科技有限公司 投放行为识别方法、装置、设备及存储介质
CN112929701A (zh) * 2021-02-04 2021-06-08 浙江大华技术股份有限公司 一种视频编码方法、装置、设备及介质
WO2022205085A1 (zh) * 2021-03-31 2022-10-06 深圳市大疆创新科技有限公司 视频拍摄方法、装置及系统
CN113313735A (zh) * 2021-05-25 2021-08-27 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
CN113313735B (zh) * 2021-05-25 2023-04-07 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
US11647294B2 (en) 2021-05-25 2023-05-09 Shanghai Bilibili Technology Co., Ltd. Panoramic video data process
CN113591644A (zh) * 2021-07-21 2021-11-02 此刻启动(北京)智能科技有限公司 一种运镜视频处理方法、系统、存储介质及电子设备
CN114051110A (zh) * 2021-11-08 2022-02-15 北京百度网讯科技有限公司 视频生成方法、装置、电子设备和存储介质
CN114051110B (zh) * 2021-11-08 2024-04-02 北京百度网讯科技有限公司 视频生成方法、装置、电子设备和存储介质
CN114979785A (zh) * 2022-04-15 2022-08-30 荣耀终端有限公司 视频处理方法和相关装置
CN114979785B (zh) * 2022-04-15 2023-09-08 荣耀终端有限公司 视频处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN112019768B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112019768B (zh) 一种视频生成方法、装置及电子设备
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
CN105635588B (zh) 一种稳像方法及装置
US11042991B2 (en) Determining multiple camera positions from multiple videos
CN110691259B (zh) 视频播放方法、系统、装置、电子设备及存储介质
WO2016032681A1 (en) Systems and methods for image scanning
CN107787463B (zh) 优化对焦堆栈的捕获
CN110611767B (zh) 图像处理方法、装置和电子设备
US9686467B2 (en) Panoramic video
US20140132822A1 (en) Multi-resolution depth-from-defocus-based autofocus
CN110379017B (zh) 一种场景构建方法、装置、电子设备及存储介质
CN110245641A (zh) 一种目标追踪拍摄方法、装置、电子设备
CN106454061B (zh) 电子装置及影像处理方法
WO2015039575A1 (en) Method and system for performing image identification
CN109285122B (zh) 一种进行图像处理的方法和设备
CN114390201A (zh) 对焦方法及其装置
US9706121B2 (en) Image processing apparatus and image processing method
CN114125305A (zh) 拍摄方法、装置及设备
CN111724421B (zh) 图像处理方法及装置、电子设备及存储介质
CN104123716B (zh) 检测图像稳定性的方法、装置和终端
WO2018227580A1 (zh) 摄像头标定方法和终端
CN109889736B (zh) 基于双摄像头、多摄像头的图像获取方法、装置及设备
WO2021180294A1 (en) Imaging device and method for efficient capture of stationary objects
CN105467741A (zh) 一种全景拍照方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant