CN114860134A - 视频编辑方法及装置、介质、终端、设备 - Google Patents

视频编辑方法及装置、介质、终端、设备 Download PDF

Info

Publication number
CN114860134A
CN114860134A CN202110159059.5A CN202110159059A CN114860134A CN 114860134 A CN114860134 A CN 114860134A CN 202110159059 A CN202110159059 A CN 202110159059A CN 114860134 A CN114860134 A CN 114860134A
Authority
CN
China
Prior art keywords
video
frame
key frames
angle
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110159059.5A
Other languages
English (en)
Inventor
盛骁杰
凌康
江云鹏
魏开进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202110159059.5A priority Critical patent/CN114860134A/zh
Publication of CN114860134A publication Critical patent/CN114860134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供基于多角度自由视角数据的视频编辑法及装置、介质、终端、设备。其中，所述方法包括：展示多角度自由视角视频；接收用户对所述多角度自由视角视频的操作；根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像，所述关键帧的帧图像的视点选自所述虚拟路径；根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。本申请实施例中的技术方案支持多角度自由视角数据的视频编辑。

Description

视频编辑方法及装置、介质、终端、设备
技术领域
本申请实施例涉及集成电路领域，具体涉及基于多角度自由视角数据的视频编辑法及装置、介质、终端、设备。
背景技术
在视频处理领域，可以接收视频数据，并在向用户播放视频。这种视频播放通常基于固定的视角，对这种视频进行的编辑同样基于固定的视角。而在很多应用场景中，后期制作需要对的多角度的素材进行编辑。
一种可以提供具备多个视角的视频方式是通过多相机拍摄，得到不同拍摄视角的多幅图像，基于该多幅图像进行图像重建，以满足调整待观看画面视角的需求。进行图像重建的数据基础，称为多角度自由视角数据。
但是目前依然缺少对多角度自由视角数据的视频编辑方法。
发明内容
有鉴于此，本申请实施例中提供一种基于多角度自由视角数据的视频编辑方法，包括：
展示多角度自由视角视频，所述多角度自由视角视频基于多角度自由视角数据生成，所述多角度自由视角数据支持从虚拟路径包括的视点对待观看区域进行观看；
接收用户对所述多角度自由视角视频的操作；
根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像，所述关键帧的帧图像的视点选自所述虚拟路径；
根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。
可选的，所述接收用户的操作包括：
确定用户对所述帧时刻的选定；
确定用户对所述选定的帧时刻对应的帧图像中选定区域的指示；
接收用户对所述关键帧的确认指示。
可选的，所述展示多角度自由视角视频包括：展示预选帧图像，所述预选帧图像为所述用户选定的帧时刻对应的帧图像。
可选的，所述根据所述操作确定至少两个关键帧的信息包括：
响应于所述用户对关键帧的确认指示，确定所述选定的帧时刻为所述关键帧的帧时刻，确定所述预选帧图像中选定区域为所述关键帧的帧图像。
可选的，所述确定用户对所述预选帧图像中选定区域的指示包括：
在所述预选帧图像上展示选定框；
接收用户对所述选定框的以下至少一种操作：拖动操作和缩放操作。
可选的，所述确定用户对所述预选帧图像中选定区域的指示包括：接收对所述预选帧图像的视点变换的操作。
可选的，所述确定用户对所述帧时刻的选定包括：接收用户在时间轴上对帧时刻的选定。
可选的，通过关键帧确认组件接收用户对关键帧的确认指示。
可选的，所述接收用户对所述多角度自由视角视频的操作包括：接收用户对所述展示的帧图像的视点变换操作；
所述展示帧时刻以及和所述帧时刻对应的帧图像包括：根据所述变换后的视点，更新展示所述帧图像。
可选的，所述至少两个关键帧之间的视点路径中的视点选自所述虚拟路径。
可选的，所述至少两个关键帧之间的视点路径为平滑的视点路径。
可选的，所述虚拟路径包括基础路径，所述基础路径基于多角度自由视角数据中同步的多个图像的视点得到，所述接收用户对所述多角度自由视角视频的操作包括：接收与所述基础路径中视点的视角一致的视角变换指示。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑方法，包括：
展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
接收用户对所述多角度自由视角视频的操作；
根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
发送所述关键帧的信息至云端；
从云端接收所述至少两个关键帧的帧时刻之间的视频，其中，所述至少两个关键帧的帧时刻之间的视频基于视点路径编辑所述多角度自由视角数据得到，所述视点路径根据所述关键帧的帧图像的视点和所述虚拟路径确定。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑方法，包括：
接收至少两个关键帧的信息，所述关键帧的信息根据用户对多角度自由视角视频的操作确定，所述多角度自由视角视频支持从虚拟路径包括的视点对待观看区域进行观看；
根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；
发送所述至少两个关键帧的帧时刻之间的视频。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑系统，包括：
终端设备，适于展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；接收用户对所述多角度自由视角视频的操作；根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；发送所述关键帧的信息至云端；从云端接收所述至少两个关键帧的帧时刻之间的视频；
云端设备，适于从所述终端设备接收至少两个关键帧的信息；根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；向所述终端设备发送所述至少两个关键帧的帧时刻之间的视频。
本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行所述的视频编辑方法。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行所述的视频编辑方法。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑装置，包括：
展示单元，展示多角度自由视角视频，所述多角度自由视角视频基于多角度自由视角数据生成，所述多角度自由视角数据支持从虚拟路径包括的视
点对待观看区域进行观看；
操作接收单元，接收用户对所述多角度自由视角视频的操作；
关键帧信息生成单元，适于根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像，所述关键帧的帧图像的视点选自所述虚拟路径；
路径确定单元，适于根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
视频生成单元，适于基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑装置，包括：
展示单元，适于展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
操作接收单元，适于接收用户对所述多角度自由视角视频的操作；
关键帧信息生成单元，适于根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
发送所述关键帧的信息至云端；
编辑后视频接收单元，适于从云端接收所述至少两个关键帧的帧时刻之间的视频，其中，所述至少两个关键帧的帧时刻之间的视频基于视点路径编辑所述多角度自由视角数据得到，所述视点路径根据所述关键帧的帧图像的视点和所述虚拟路径确定。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑装置，包括：
操作接收单元，适于接收至少两个关键帧的信息，所述关键帧的信息根据用户对多角度自由视角视频的操作确定，所述多角度自由视角视频支持从虚拟路径包括的视点对待观看区域进行观看；
路径确定单元，适于根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
视频生成单元，适于基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；
编辑后视频发送单元，适于发送所述至少两个关键帧的帧时刻之间的视频。
本申请实施例中的技术方案通过接收用户的操作确定至少两个关键帧的信息，基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频，可以为用户提供对多角度自由视角数据进行编辑的方法，满足不同场景下用户对视频编辑的需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为一种多角度自由视角展示系统的示意图；
图2a和图2b为设备显示进行显示的两种示意图；
图3为本申请实施例中一种视频编辑方法的流程示意图；
图4为本申请实施例中一种时间轴的示意图；
图5a为本申请实施例中一帧时刻下的界的示意图；
图5b为本申请实施例中另一帧时刻下的编辑界面的示意图；
图5c为本申请实施例中另一帧时刻下的编辑界面的示意图；
图6为本申请实施例中一种接收用户的操作的流程示意图；
图7为本申请实施例中一编辑界面的展示示意图；
图8为本申请实施例中另一种编辑界面的示意图；
图9至图11为本申请实施例中编辑界面的对编辑后视频展示的部分帧图像示意图；
图12为本申请实施例中另一种编辑界面的示意图；
图13为本申请实施例中另一种编辑界面的示意图；
图14、图14a、图14b为本申请实施例中编辑后视频展示的部分帧图像示意图；
图15是本申请实施例中一种多角度自由视角数据生成方法的流程示意图；
图16为本申请实施例中图15所示的步骤S153的一种具体实施方式的流程示意图；
图17为本申请实施例中一种映射图像的视点位置至所述虚拟路径中的视点位置的示意图；
图18为本申请实施例中图16所示的步骤S163的一种具体实施方式的流程示意图；
图19为本申请实施例中图15所示的步骤S153的另一种具体实施方式的部分流程示意图；
图20为本申请实施例中一待调整图像的插值前纹理图的示意；
图21为本申请实施例中一待调整图像的插值后纹理图的示意；
图22为本申请实施例中一种插值后空洞区域的示意；
图23为本申请实施例中一种插值后空洞区域的另一示意；
图24为本申请实施例中一种插值后空洞区域的另一示意；
图25为本申请实施例中一种插值后空洞区域的另一示意；
图26为本申请实施例中一种插值后空洞区域的另一示意；
图27为本申请实施例中图22至图26所示的非空洞区域的交集的示意图；
图28为本申请实施例中一种根据图27所示的非空洞区域的交集确定的裁切范围的示意图；
图29为本申请实施例中一种终端设备的播放效果示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
多角度自由视角数据是可以支持用户进行视角切换观看的数据。
多角度自由视角数据中可以包括多摄像机采集来的纹理图，所有的摄像机参数，以及每个摄像机的深度图。多角度自由视角数据的生成过程，通常可以包括多摄像机的视频采集(Multi-camera Video Capturing)，摄像机内外参计算 (Camera ParameterEstimation)，以及深度图计算(Depth Map Calculation)。
基于多角度自由视角数据，结合用户对观看位置和观看视角的指示，用户端可以采用深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行图像重建，得到对应用户指示的重建图像，从而满足用户在不同位置和视角进行观看的需求。
其中，观看位置和观看视角，也可以称作视点，可以通过6个参数表示，其中3个参数表示其观看位置或者称作视点位置，3个参数表示其观看视角或者称作视点视角。拍摄设备的相机参数中的拍摄位置和拍摄视角(与相机姿态对应)也可以表示该6个自由度，一副已被拍摄的图像，其对应的拍摄设备的拍摄位置和拍摄视角，也可以称为该图像的视点。类似的，用户指示的观看位置和观看视角，可以称作虚拟视点，也可以用该6个维度表示。从该角度，前文所述的多角度自由视角数据也可以称作6自由度视频数据(6DoF video data)。
图1是一种多角度自由视角展示系统的示意图。
结合参考图1，在本发明实施例中，可以通过包括多个采集设备的采集系统11，对待观看区域进行数据采集，其中采集设备可以是摄像机CJ1至CJ6；可以由采集系统11或者由服务器12，对获取到的同步的多个图像进行处理，生成能够支持终端设备13进行虚拟视点切换的多角度自由视角数据。终端设备 13可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。例如，结合参考图2a和图2b，终端设备13还可以展示不同视角观看的图像。
继续参考图1，在具体实现中，进行图像重建，得到重建图像的过程可以由终端设备13实施，也可以由位于内容分发网络(Content Delivery Network， CDN)的设备以边缘计算的方式实施，或者也可以有服务器12实施。可以理解的是，图1仅为示例，并非对采集系统、服务器、终端设备以及具体实现方式的限制。
在本申请实施例中，基于多角度自由视角数据，利用终端设备13对多角度自由视角数据进行视频编辑。其中，终端设备13可以是台式机、笔记本电脑、平板电脑、智能手机等可以接收用户指示的设备。进行视频编辑的应用场景可以是竞技体育、舞台场景等多种场景，在此不做限制。
结合参考图3，本申请实施例提供一种视频编辑方法，可以包括如下步骤：
步骤S31，展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
步骤S32，接收用户对所述多角度自由视角视频的操作；
步骤S33，根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
步骤S34，基于所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
步骤S35，基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。
在本发明实施例中，通过接收用户的操作确定至少两个关键帧的信息，基于视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频，可以为用户提供对多角度自由视角数据进行编辑的方法，满足不同场景下用户对视频编辑的需求。
另外，通过从虚拟路径中选择关键帧的图像的视点，可以使得视频剪辑的图像质量更高。
在具体实施中，多角度自由视角视频中可以包括多个图像，这些图像可以称为帧图像，或者视频帧；这些帧图像所在的时刻位置，可以称为帧时刻。
在具体实施中，展示多角度自由视角视频的方式可以是多样的，例如可以通过时间轴上展示帧时刻，结合参见图4，时间轴41上组件42可以对应当帧时刻前展示的帧图像。
在具体实施中，进行展示的帧图像可以是多种场景下的帧图像，例如可以是舞台场景下或者竞技运动场景下。进一步的，进行展示帧图像的区域可以和时间轴位于同一界面，例如，结合参考图5a至图5c，其中示出了编辑界面中对不同帧时刻的帧图像展示。可以理解的是，图5a至5c仅为示意，并非对界面布局及显示内容的。另外，帧时刻也可以通过其它方式展示，在此不做限制。
结合参考图6，在具体实施中，一种展示及接收用户的操作的方式可以包括如下步骤：
步骤S61，确定用户对所述帧时刻的选定；
步骤S62，展示预选帧图像，所述预选帧图像为所述用户选定的帧时刻对应的帧图像；
步骤S63，确定用户对所述预选帧图像中选定区域的指示；
步骤S64，接收用户对关键帧的确认指示。
在具体实施中，用户对帧时刻的选定方式可以是多样的，例如，结合参考图4，可以通过对时间轴41上组件42，以组件42的位置确定待选定的帧时刻的位置，通过确认操作，确认当前时刻组件42的位置为选定的帧时刻。
例如结合参考图5a至图5c，用户可以通过拖时间轴上的动组件选定帧时刻。或者，用户也可以通过直接输入的方式选定帧时刻。
进一步的，在编辑软件界面中，可以包含确认组件，通过确认组件确认对帧时刻的选定。确认组件的具体位置可以是多样的，例如可以位于时间轴的下方。结合参考结合参见图5a至图5c，在编辑软件的界面中时间轴的下方示出了多个组件，其中可以包括确认组件。或者，也可以通过快捷键的方式对选定的帧时刻进行确认。
在具体实施中，可以展示用户选定的帧时刻对应的帧图像。例如结合参考图5a至图5c，在用户拖动时间轴上组件时，可以展示用户拖动过程中每个帧时刻对应的图像。或者，用户可以直接点击对应的帧时刻位置进行选定，则可以展示选定的帧时刻对应的帧图像，也即预选帧图像。
在具体实施中，用户对关键帧的确认指示可以包括前述的对帧时刻的确认一级对选定区域的确认。对二者的确认可以通过同一确认指示完成，例如，可以在已选定帧时刻，并且已接收用户对选定区域的调整后，通过一个组件进行关键帧的标记，从而确认当前选定的帧时刻为该关键帧的帧时刻和确定当前的选定区域该关键帧的帧图像。也即，关键帧的信息可以响应于用户的确认指示生成。
在具体实施中，可以接收用户对预选帧图像中选定区域的指示。接收该指示的方式可以是多样的。例如，结合参考图7，可以通过选定框71对选定区域进行选定。用户可以拖动或者缩放选定框，以确定选定区域。通过提供选定框，可以更加直观的支持用户进行选定操作，提升编辑过程的效率。
另外，通过提供预选框，可以支持在后期制作中通过编辑实现镜头裁剪的过程，可以裁剪掉不需要的部分，从而可以生产出直拍某一个人的镜头效果，或者产生把周围不相关的区域裁切掉的效果
结合参考图7和图8，在具体实施中，在不同的帧时刻用户可以确定不同的选定框的位置，以确认对应不同帧时刻的展示区域。
以用户确定图7和图8所示的帧时刻分别为两个关键帧时刻，分别以图7 和图8中所示的选定框71中区域为选定区域为例，编辑后可以生成的两个关键帧时刻之间的视频。在编辑后的视频中可以包括如图9中帧图像91、图10中帧图像101至图11中所示的帧图像111。可以理解的是，也可以通过其它界面展示编辑后的视频。
在图7至图11所示的示例中，编辑框的大小没有发生变化，通过这种编辑方式可以在后期制作中得到现场直镜拍摄的效果。再具体实施中，用户也可以调整的编辑框大小，以追求更多的后期效果。
在具体实施中，用户可以调节编辑界面中展示的帧图像的视点。帧图像展示的视点的方式可以是多样的，例如可以左滑或者右滑屏幕，可以通过鼠标进行拖动，或者通过快捷键进行视点的调整。
用户对帧图像的指示中，可以包括视点的信息。例如，参考图13，用户可以在调整展示的帧图像为图12中帧图像所示的视点位置后，通过选定框71指示的选定区域，从而选定关键帧的帧图像。
结合前文所述，选定框的大小可以是多样的，结合参见图8和图13，以上述两图中示出的帧时刻为两个关键帧的帧时刻，以上述两图中选定框71的选定区域分别作为两个关键帧的帧图像。则可以生成两个帧时刻之间的视频。其中可以包括如图14、图14a、图14b、图17所示的帧图像。
通过调整选定框的大小，可以在编辑过程中实现现场镜头缩放的效果，可以支持更远或更近的观看效果；通过接收用户对视点调整的指示，在两个关键帧的视点不同的情况下，可以通过后期的编辑实现现场的机位调整的效果。通过采用选定框，可以实现对镜头的裁剪。
通过上述方式，进行编辑的用户可以实现一边播放一边进行虚拟镜头的规划或裁切，得到更多样化的编辑效果。
另外，在接收用户对所述多角度自由视角视频的操作的过程中，用户可以撤销对关键帧的确认指示，重新选定关键帧，进而获取满意的编辑效果。
在具体实施中，展示和编辑所基于的多角度自由视角数据是与虚拟路径对应的，该虚拟路径是预先确定的虚拟路径，其中可以包括一条基础路径，所述基础路径可以基于多角度自由视角数据中同步的多个图像的视点得到，具体可以作为用户进行视角变化操作的基础。
在具体实施中，对不同帧时刻的帧图像的展示，可以是基于该基础路径支持的视角进行的展示。进一步的，接收到的用户的操作可以是针对上述展示的图像进行的。例如，进行编辑的用户在切换视点的视角，也即视点视角时，可以是基于该基础路径进行视角的切换。
如此，可以保障编辑后的视频中每帧图像的图像质量，进而保障编辑后的视频质量。
本申请实施例中前述的多角度自由视角的编辑方法，可以用于终端设备，或者可以由终端设备和云端共同完成。
在具体实施中，展示和对用户指示的接收可以通过终端设备实现，对至少两个关键帧之间的视点路径的计算和至少两个关键帧的帧时刻之间的视频的生成，可以通过云端实现。如此，可以减轻终端设备的计算压力，提升编辑方法效率。其中，云端可以是指与终端设备无线连接的设备。例如，结合参考图1，可以是其中的服务器12或者CDN。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑方法，可以包括如下步骤：
展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
接收用户对所述多角度自由视角视频的操作；
根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
发送所述关键帧的信息至云端；
从云端接收所述至少两个关键帧的帧时刻之间的视频，其中，所述至少两个关键帧的帧时刻之间的视频基于视点路径编辑所述多角度自由视角数据得到，所述视点路径根据所述关键帧的帧图像的视点和所述虚拟路径确定。
在具体实施中，从云端接收到的视频可以是基于高清晰度的多角度自由视角数据生成的视频。在发送所述关键帧的信息至云端之前，还可以基于所述低清晰度的多角度自由视角视频生成所述至少两个关键帧的帧时刻之间的视频；所述低清晰度的多角度自由视角视频的清晰度低于所述高清晰度的多角度自由视角数据的清晰度。
如此，可以减轻终端设备的计算压力，并且，可以使得进行编辑的用户可以预览选定关键帧后进行编辑的视频效果。通过云端设备对高清晰度的多角度自由视角数据进行处理，可以得到对应的高清晰度的多角度自由视角视频，以用于后续为进行观看的用户进行展示，提供更优的视觉效果。
其中，多角度自由视角视频可以是基于多角度自由视角数据生成的视频，其生成方式可以是多样的。例如，可以通过如下方式生成：获取帧同步的多个视频，所述多个视频的拍摄角度不同；对每个视频进行解析得到多个帧时刻的图像组合，所述图像组合包括帧同步的多个帧图像；基于所述多个帧时刻中每个帧时刻的图像组合，确定所述图像组合中每个帧图像的深度数据；生成对应每个帧时刻的拼接图像，所述拼接图像包括存储所述图像组合中每个帧图像的像素数据的第一字段，以及存储所述图像组合中每个帧图像的深度数据的第二字段；基于多个所述拼接图像生成视频数据。
在具体实施中，所述展示基于低清晰度的多角度自由视角视频。与前文所述的有益效果类似，由于进行编辑的用户基于帧图像的展示进行编辑，视觉体验并非其必要的需求，如此，可以减少进行编辑的终端设备的数据量。
上述视频编辑方法可以用于前述的终端设备，其其它的具体实现和有益效果可以参见前文所述，在此不再赘述。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑方法，包括：
接收至少两个关键帧的信息，所述关键帧的信息根据用户对多角度自由视角视频的操作确定，所述多角度自由视角视频支持从虚拟路径包括的视点对待观看区域进行观看；
根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；
发送所述至少两个关键帧的帧时刻之间的视频。
该视频编辑方法可以用于前述的云端，其具体实现和有益效果可以参见前文所述，在此不再赘述。
本申请实施例中所基于的多角度自由视角数据可以是按照如下方式生成的。
结合参考图1，多角度自由视角数据通过采集系统11进行图像采集，这些图像可以是视频中的帧图像。采集系统11中需要设置阵列拍摄的采集设备，例如设置相机或者摄像机的阵列。
现有的基于多角度自由视角数据的多角度观看，图像质量有待提高，并且采集系统的成本较高。
经申请人进一步研究发现，采集系统中采集设备的位置和角度对重建图像的质量影响较大。若重建图像所对应的虚拟视点的位置和角度与采集系统中各采集设备的一致性较差，则该重建图像会产生空洞效应。
本申请实施例进一步提供一种多角度自由视角数据生成方法，结合参见图 15，可以包括如下步骤：
步骤S151，获取同步的多个图像，所述多个图像的视点不同
步骤S152，确定虚拟路径，所述虚拟路径为对待观看区域进行观看的视点
的集合；
步骤S153，根据虚拟路径和所述多个图像中每个图像的视点，对所述多个图像进行预处理，得到符合所述虚拟路径中视点的预处理后图像；
步骤S154，基于所述预处理后图像生成多角度自由视角数据。
其中，同步的多个图像，可以是由采集设备采集得到的图像，具体可以是多个摄像设备采集到的已同步的帧图像，或者也可以是多个相机采集到的同一时刻的图像。该同步的多个图像均是对待观看区域的进行拍摄得到的图像，待观看区域可以是多样的，可以位于多种场景中，例如可以位于竞技体育类场景、舞台表演类场景等。对待观看区域进行观看的视点，可以是用户在其终端进行观看的视点，可以称作前述的虚拟视点。
在本发明实施例中，通过对同步的多个图像进行预处理，得到与虚拟路径具有一致性的预处理后图像集合，进一步基于处理后图像集合得到多角度自由视角数据，可以提升多角度自由视角数据与进行观看的视点的一致性，进而可以提升基于多角度自由视角数据进行图像重建时的图像质量。
在具体实施中，虚拟路径的确定方式可以是多样的。虚拟路径可以是根据指定的观看需求或者历史数据预先设置的。或者，虚拟路径也可以是根据同步的多个图像对应的相机参数拟合的结果得到的。例如，可以根据相机参数进行拟合的结果得到。
相机参数可以包括内部参数数据和外部参数数据，内部参数数据包括图像的拍摄设备的属性数据，例如拍摄设备的光心、焦距等拍摄设备的属性信息。外部参数数据可以包括拍摄位置和拍摄视角。
在具体实施中，可以根据外部参数进行拟合得到基础路径。如前文所述，相机的外部参数可以通过6个参数表示，这里将表示相机位置(与图像的视点位置对应)的三个参数记为(x，y，z)，将表示相机姿态(与图像的视点视角向对应)的三个参数记为(θ，
Figure BDA0002935575900000151
)，该三个参数代表了相机围绕x，y，z 三个轴的旋转角度。虚拟路径包含了虚拟相机在空间中的运动轨迹(x，y，z)，以及在轨迹上每个点的三个旋转方向(θ，
Figure BDA0002935575900000152
)，从而包括每个虚拟位置的 6个自由度的参数。
根据基础路径，可以进一步确定虚拟路径。虚拟路径中可以包括基础路径，以及基于基础路径进行焦距变换的结果所支持的视点。
通过根据对拍摄多个图像的相机参数进行拟合的结果确定虚拟路径，可以使得虚拟路径与同步的多个图像的一致性更好，提升对同步的多个图像的利用率，进而可以进一步提升对待观看区域进行观看时的重建图像质量。
在具体实施中，结合参考图15和图16，图15中步骤S153,对所述多个图像进行预处理，进一步可以包括如下步骤：
如前文所述，视点包括视点位置和视点视角。虚拟路径为对待观看区域进行观看的视点的集合，也即包括多个虚拟视点。进一步地，虚拟路径可以包括多个虚拟视点的视点位置以及与视点位置对应的视点角。结合参考图15和图 16，图15中步骤S153在具体实现中可以进一步包括如下步骤：
步骤S161，映射所述多个图像中每个图像的视点位置至所述虚拟路径中的视点位置；
步骤162，根据所述虚拟路径中视点位置与视点视角的对应关系，确定所述多个图像中每个图像的视点位置对应的目标视角；
步骤S163，根据所述多个图像中每个图像的视点视角和目标视角，得到与相应的目标视角一致的图像。
在具体实施中，可以映射多个图像中每个图像的视点位置至基础路径的视点位置，或者也可以映射多个图像中每个图像的视点位置至所述基础路径上视点位置进行焦距变换后的视点位置。
在具体实施中，映射所述多个图像中每个图像的视点位置至所述虚拟路径的方式可以是多样的。例如，当虚拟视点的视点位置和图像的视点位置均用如前所述的6自由度方式中表达位置的方式时，可以根据二者的坐标位置，将图像的视点位置映射至虚拟路径上的最近的视点位置。或者，也可以先统一二者至同样的坐标系，在进行映射。或者，也可以以其它方式进行映射。
例如，结合参考图17，图中弧形虚线示意了对待观看区域51的基础路径。其中虚线三角形示意了该虚拟路径上部分虚拟视点。图中黑色实心三角形示意了同步的多个图像中一图像的相机参数指示的视点52，将其视点位置表示为(x1， y1，z1)，视点视角表示为(θ1，
Figure BDA0002935575900000161
)。通过向虚拟路径映射，将该图像的视点位置(x1，y1，z1)映射到图中与其部分重合的虚线三角形所示意的虚拟视点53的视点位置(x2，y2，z2)，该虚拟视点53的视点视角表示为(θ2，
Figure BDA0002935575900000162
Figure BDA0002935575900000163
)。则可以将视点视角(θ2，
Figure BDA0002935575900000164
)作为图像的相机参数指示的视点52的目标视角。
可以理解的是，虽然图17示出了一条基础的基础路径，并未示出完整的虚拟路径。但可以理解的是，虚拟路径包括该基础路径上的视点，并且包括通过图像的放大或缩小，所支持相同视角下距离待观看区域更近或更远的视点，例如，如图17中示出了通过对视点55进行焦距短得到的视点54。通过变换焦距，可以支持离舞台更近或更远的观看效果。
另外，可以理解的是，图17仅为示意，并非对虚拟路径、映射方式等具体实现方式的限制。
在具体实施中，结合参考图18，可以通过如下步骤得到与相应的目标视角一致的图像：
步骤S181，确定所述多个图像中图像的视点视角与所述目标视角不同的待调整图像；
步骤S182，根据对应的目标视角对所述待调整图像进行插值。
具体实施中，多个图像中图像每一待调整图像的目标视角的确定方式见前文所述，在此不再赘述。在根据对应的目标视角对所述待调整图像进行插值的算法可以是多样的，对多个图像中每一待调整图像进行插值的算法可以是相同或者不同的，在此不做限制。
在具体实施中，可以分别对待调整图像的文理图和深度图进行插值。这里的插值操作用于扭曲(warping)图像，以使得调整后的图像与目标视角具有一致性。
进一步的，在对待调整图像的文理图进行插值时，可以选择具有滤波模板的插值算法，以保证矫正纹理图的平滑性。在对待调整图像的深度图进行插值时，可以选择最近邻的插值算法以保证深度值不会在矫正的过程中发生改变。
结合参考图16和图19，在具体实施中，在步骤S163，根据所述多个图像中每个图像的视点视角和目标视角，得到与相应的目标视角一致的图像后，还可以包括如下步骤：
步骤S191，根据每个所述与相应的目标视角一致的图像中有效像素范围的交集确定裁切范围，所述有效像素范围为无空洞区域；
步骤S192，按照所述裁切范围对所述与相应的目标视角一致的图像进行裁切。
结合参考图20和图21，以舞台场景为例，图20示出了一舞台场景下待调整图像的插值前的纹理图，图21示出了对应的插值后的纹理图。可以看出，经过了对应于视点视角变换的插值处理后，图像边缘会产生空洞，也即图21中图像边缘黑色区域。
可以理解的是，图20和图21仅为示意，并非对实际差值前后形状变换的限制。并且，本申请实施例可以适用的场景是多样的，不限于舞台场景。
另外，图20和图21为了更清晰的示意，示出了较大的空洞区域。在实际应用的场景中，空洞区域的范围可能更小。在实际应用的场景中，空洞区域的范围可以是多样的。例如参见图22至图26，其中黑色区域示意出了部分在差值处理后的空洞区域。可以理解的是，图20至图26仅为示意，并非对本申请实施例中具体实现方式或呈现形式的限制。
由于空洞区域中并不包含有效像素。通过裁切掉并不包含有效像素的部分，可以节省后续处理、存储和传输的资源。
在具体实施中，裁切范围可以根据各个差值后图像中无空洞区域的交集确定。例如图22至图26中白色区域的交集，如图27中白色区域所示。
在具体实施中，可以围绕图像的中心，结合上述交集确定裁切区域。例如，结合参考图28，可以以其中虚线框示意的范围作为裁切区域。如此，可以使得图像的中心与裁切前保持一致，保障视觉效果。
可以理解的是，图22至图28仅为示意，并非对多个同步的图像数量、空洞区域形状、具体裁切方式等具体实现的限制。
在具体实施中，所述同步的多个图像可以是多个采集设备采集到的视频数据中对应同一帧时刻的图像；基于所述预处理后图像集合生成多角度自由视角数据可以包括：按照帧时刻顺序存储所述处理后图像对应的深度图以及纹理图。生成的多角度自由视角数据可以是多角度自由视角视频数据。
生成多角度自由视角数据的具体实现方式在此不做限定，调整预处理后图像集合中图像分辨率、降采样、对图像进行拼接、对拼接后的数据进行封装等具体实现方式，以及本领域技术人员可以实现的其它实现方式，均可以结合本申请中其它步骤结合使用。
在具体实施中，通常会将多角度自由视角数据进行压缩后传输至用户。通过在对多角度自由视角数据压缩前，先确定虚拟路径，基于虚拟路径对同步的多幅图像进行预处理，可以使得最终进入压缩环节的多角度自由视角数据的各个视角的纹理和深度图像具有与虚拟路径较高的一致性，从而可以明显降低自由视角数据在用户切换视角时在图像边缘的空洞效应，也可以将现场搭建的相机调试要求降低到实用的水平，从而可以在无电动云台等相机位置调整设备的低成本场景中，也可以达到较高的自由视角体验。
本领域技术人员可以理解的是，本申请中的“在具体实施中”“一实施例中”“例如”等描述意指结合该实施例或示例描述的具体特征、结构或者特点包括于本申请的至少一种实施例或示例中。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
另外，前述实施例中的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑系统，包括：
终端设备，适于展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；接收用户对所述多角度自由视角视频的操作；根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；发送所述关键帧的信息至云端；从云端接收所述至少两个关键帧的帧时刻之间的视频；
云端设备，适于从所述终端设备接收至少两个关键帧的信息；根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；向所述终端设备发送所述至少两个关键帧的帧时刻之间的视频。
在具体实施中，所述终端设备从云端接收到的视频可以是基于高清晰度的多角度自由视角数据生成的视频；
发送所述关键帧的信息至云端之前，所述终端设备还适于：基于所述低清晰度的多角度自由视角视频生成所述至少两个关键帧的帧时刻之间的视频；所述低清晰度的多角度自由视角视频的清晰度低于所述高清晰度的多角度自由视角数据的清晰度。
进一步的，所述终端设备适于基于低清晰度的多角度自由视角视频进行展示。
如此，可以减轻终端设备的计算压力，并且，可以使得进行编辑的用户可以预览选定关键帧后进行编辑的视频效果。通过云端设备对高清晰度的多角度自由视角数据进行处理，可以得到对应的高清晰度的多角度自由视角视频，以用于后续为进行观看的用户进行展示，提供更优的视觉效果。
另外，由于进行编辑的用户基于帧图像的展示进行编辑，视觉体验并非其必要的需求，如此，可以减少进行编辑的终端设备的数据量。
其中，云端设备即为前述的云端，该基于多角度自由视角数据的视频编辑系统的其它具体实现方法和有益效果，可以参见前文所述，在此不再赘述。
在具体实施中，接收用户的操作的实现方式可以是多样的，在此不做限制。例如，可以接收用户对终端设备的触屏的操作，或者可以是接收用户对快捷键的操作，或者可以是通过装载于终端设备的其它传感器，例如重力感应传感器、声音传感器接收用户的操作，或者，也可以通过可穿戴设备接收用户的动作指令。
在具体实施中，根据所述用户的操作基于多角度自由视角数据进行图像展示的方式可以是多样的。例如，可以根据用户的操作确定虚拟视点，进行基于虚拟视点的展示。
在具体实施中，用户的操作所指示的信息可以是多样的，可以包括前述的虚拟视点，或者也可以包括对画面展示范围的指示，或者还可以用户对基于所述多角度自由视角数据展示的图像中目标对象的选定。
相应的，根据所述用户的操作基于多角度自由视角数据进行图像展示可以与操作所指示的信息相对应。例如，当用户操作所指示的信息包括对目标对象的选定时，对图像进行图像展示可以包括：获取基于所述目标对象的增强现实特效输入数据所生成的虚拟信息图像；将所述虚拟信息图像与对应的所述图像进行合成处理并展示。
例如，结合参考图29目标对象可以是图29画面中人物，虚拟信息图像可以是皇冠M3，将所述虚拟信息图像与对应的所述图像进行合成处理并展示可以是将皇冠展示至人物上方。虚拟信息图像还可以是虚拟生成的脚印M2、基本信息板M1，或者其它与场景匹配的图像。
可以理解的是，目标对象在不同的场景下可以是多样的，虚拟图像信息也可以是与场景匹配的多样的信息，在此不做限制。
在具体实施中，可以通过终端设备接收所述用户的操作，并且可以在展示器上进行所述图像展示，所述展示器的屏幕大于所述终端设备的屏幕。终端设备也可以进行对应图像的展示，以方便用户进行操作，或者，也可以不显示图像。如此，从而可以为进行编辑的用户带来更好的视觉体验，帮助用户更好的完成编辑操作。
进一步的，终端设备所展示的图像可以是低清晰度的图像，从而可以提升用户的操作体验和进行观看时的视觉体验。
可以理解的是，前述图像可以是多角度自由视角视频中的帧图像，也可以称作视频帧。其中，多角度自由视角视频是根据多角度自由视角数据生成的视频数据，支持多视点观看。
在本申请的具体实现方式中，前述的编辑交互方法，也可以用于各类直播。例如，结合参考1，可以用于体育赛事的直播，通过采集系统11对体育赛事进行拍摄，进行显示的设备13可以对体育赛事进行实时观看，并在观看过程中进行编辑。进一步地，在图像展示过程中，用户可以进行视点的调整、在观看界面上展示虚拟信息图像，或者也可以切换背景等。
可以理解的是，直播的内容可以是多样的，在此不做限制。例如，也可以是对教育课堂现场的直播，进行观看的学员用户可以进行视点的调整、在观看界面上展示虚拟信息图像，或者也可以切换背景等。在该种场景下，展示的虚拟信息图像可以是与课堂内容相关的。
本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行所述的视频编辑方法。
所述计算机设备包括但不限于：服务器、台式机、智能手机、笔记本电脑、平板电脑、智能手环、智能手表、其它智能设备或其中任意一种或多种的多个设备通信连接构成的分布式处理系统。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行所述的视频编辑方法。
即，上述本申请实施例中的视频编辑方法可被实现为可存储在记录介质(诸如CDROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的视频编辑方法。此外，当通用计算机访问用于实现在此示出的视频编辑方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的视频编辑方法的专用计算机。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑装置，可以包括如下单元：
展示单元，展示多角度自由视角视频，所述多角度自由视角视频基于多角度自由视角数据生成，所述多角度自由视角数据支持从虚拟路径包括的视点对待观看区域进行观看；
操作接收单元，接收用户对所述多角度自由视角视频的操作；
关键帧信息生成单元，适于根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像，所述关键帧的帧图像的视点选自所述虚拟路径；
路径确定单元，适于根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
视频生成单元，适于基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。
该视频编辑装置的具体实现和有益效果可以参见前文所述，在此不再赘述。
本申请实施例还提供另一种基于多角度自由视角数据的视频编辑装置，包括：
展示单元，适于展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
操作接收单元，适于接收用户对所述多角度自由视角视频的操作；
关键帧信息生成单元，适于根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
发送所述关键帧的信息至云端；
编辑后视频接收单元，适于从云端接收所述至少两个关键帧的帧时刻之间的视频，其中，所述至少两个关键帧的帧时刻之间的视频基于视点路径编辑所述多角度自由视角数据得到，所述视点路径根据所述关键帧的帧图像的视点和所述虚拟路径确定。
该视频编辑装置可以用于终端设备，其具体实现和有益效果可以参见前文所述，在此不再赘述。
本申请实施例还提供一种基于多角度自由视角数据的视频编辑装置，包括：
操作接收单元，适于接收至少两个关键帧的信息，所述关键帧的信息根据用户对多角度自由视角视频的操作确定，所述多角度自由视角视频支持从虚拟路径包括的视点对待观看区域进行观看；
路径确定单元，适于根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
视频生成单元，适于基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；
编辑后视频发送单元，适于发送所述至少两个关键帧的帧时刻之间的视频。
该视频编辑装置可以用于云端，其具体实现和有益效果可以参见前文所述，在此不再赘述。
本申请实施例中的视频编辑装置所描述的各个单元，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
并且，所述的各个功能模块可以集成在一个处理部件中，也可以是各个模块单独物理存在，也可以两个或两个以上功能模块集成在一个部件中。上述集成的部件既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的部件如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
虽然本申请实施例披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请实施例的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

Claims (24)

1.一种基于多角度自由视角数据的视频编辑方法，包括：
展示多角度自由视角视频，所述多角度自由视角视频基于多角度自由视角数据生成，所述多角度自由视角数据支持从虚拟路径包括的视点对待观看区域进行观看；
接收用户对所述多角度自由视角视频的操作；
根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像，所述关键帧的帧图像的视点选自所述虚拟路径；
根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。
2.根据权利要求1所述的视频编辑方法，其特征在于，所述接收用户的操作包括：
确定用户对所述帧时刻的选定；
确定用户对所述选定的帧时刻对应的帧图像中选定区域的指示；
接收用户对所述关键帧的确认指示。
3.根据权利要求2所述的视频编辑方法，其特征在于，所述展示多角度自由视角视频包括：展示预选帧图像，所述预选帧图像为所述用户选定的帧时刻对应的帧图像。
4.根据权利要求3所述的视频编辑方法，其特征在于，所述根据所述操作确定至少两个关键帧的信息包括：
响应于所述用户对关键帧的确认指示，确定所述选定的帧时刻为所述关键帧的帧时刻，确定所述预选帧图像中选定区域为所述关键帧的帧图像。
5.根据权利要求3所述的视频编辑方法，其特征在于，所述确定用户对所述预选帧图像中选定区域的指示包括：
在所述预选帧图像上展示选定框；
接收用户对所述选定框的以下至少一种操作：拖动操作和缩放操作。
6.根据权利要求3所述的视频编辑方法，其特征在于，所述确定用户对所述预选帧图像中选定区域的指示包括：接收对所述预选帧图像的视点变换的操作。
7.根据权利要求2所述的视频编辑方法，其特征在于，所述确定用户对所述帧时刻的选定包括：接收用户在时间轴上对帧时刻的选定。
8.根据权利要求2所述的视频编辑方法，其特征在于，通过关键帧确认组件接收用户对关键帧的确认指示。
9.根据权利要求1所述的视频编辑方法，其特征在于，所述接收用户对所述多角度自由视角视频的操作包括：接收用户对所述展示的帧图像的视点变换操作；
所述展示多角度自由视角视频包括：根据所述变换后的视点，更新展示所述帧图像。
10.根据权利要求1所述的基于多角度自由视角数据的视频编辑方法，所述至少两个关键帧之间的视点路径中的视点选自所述虚拟路径。
11.根据权利要求1所述的基于多角度自由视角数据的视频编辑方法，其特征在于，所述至少两个关键帧之间的视点路径为平滑的视点路径。
12.根据权利要求1所述的基于多角度自由视角数据的视频编辑方法，其特征在于，所述虚拟路径包括基础路径，所述基础路径基于多角度自由视角数据中同步的多个图像的视点得到，所述接收用户对所述多角度自由视角视频的操作包括：接收与所述基础路径中视点的视角一致的视角变换指示。
13.一种基于多角度自由视角数据的视频编辑方法，其特征在于，包括：
展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
接收用户对所述多角度自由视角视频的操作；
根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
发送所述关键帧的信息至云端；
从云端接收所述至少两个关键帧的帧时刻之间的视频；其中，所述至少两个关键帧的帧时刻之间的视频基于视点路径编辑所述多角度自由视角数据得到，所述视点路径根据所述关键帧的帧图像的视点和所述虚拟路径确定。
14.根据权利要求13所述的编辑方法，其特征在于，所述从云端接收到的视频为基于高清晰度的多角度自由视角数据生成的视频；
发送所述关键帧的信息至云端之前还包括：基于低清晰度的多角度自由视角视频生成所述至少两个关键帧的帧时刻之间的视频；所述低清晰度的多角度自由视角视频的清晰度低于所述高清晰度的多角度自由视角数据的清晰度。
15.根据权利要求13所述的编辑方法，其特征在于，所述展示多角度自由视角视频包括展示低清晰度的多角度自由视角视频。
16.一种基于多角度自由视角数据的视频编辑方法，其特征在于，包括：
接收至少两个关键帧的信息，所述关键帧的信息根据用户对多角度自由视角视频的操作确定，所述多角度自由视角视频支持从虚拟路径包括的视点对待观看区域进行观看；
根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；
发送所述至少两个关键帧的帧时刻之间的视频。
17.一种基于多角度自由视角数据的视频编辑系统，其特征在于，包括：
终端设备，适于展示多角度自由视角视频，所述多角度自由视角视频中帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；接收用户对所述多角度自由视角视频的操作；根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；发送所述关键帧的信息至云端；从云端接收所述至少两个关键帧的帧时刻之间的视频；
云端设备，适于从所述终端设备接收至少两个关键帧的信息；根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；向所述终端设备发送所述至少两个关键帧的帧时刻之间的视频。
18.根据权利要求17所述的基于多角度自由视角数据的视频编辑系统，其特征在于，所述终端设备从云端接收到的视频为基于高清晰度的多角度自由视角数据生成的视频；
发送所述关键帧的信息至云端之前，所述终端设备还适于：基于低清晰度的多角度自由视角视频生成所述至少两个关键帧的帧时刻之间的视频；所述低清晰度的多角度自由视角视频的清晰度低于所述高清晰度的多角度自由视角数据的清晰度。
19.根据权利要求17所述的基于多角度自由视角数据的视频编辑系统，其特征在于，所述终端设备适于基于低清晰度的多角度自由视角视频进行展示。
20.一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行如权利要求1至12中任一项所述的视频编辑方法或者如权利要求13所述的视频编辑方法，或者如权利要求16所述的视频编辑方法，或者如权利要求17所述的视频编辑方法。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序运行时执如权利要求1至12中任一项所述的视频编辑方法或者如权利要求13所述的视频编辑方法，或者如权利要求16所述的视频编辑方法，或者如权利要求17所述的视频编辑方法。
22.一种基于多角度自由视角数据的视频编辑装置，其特征在于，包括：
展示单元，适于展示多角度自由视角视频，所述多角度自由视角视频基于多角度自由视角数据生成，所述多角度自由视角数据支持从虚拟路径包括的视点对待观看区域进行观看；
操作接收单元，适于接收用户对所述多角度自由视角视频的操作；
关键帧信息生成单元，适于根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像，所述关键帧的帧图像的视点选自所述虚拟路径；
路径确定单元，适于根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
视频生成单元，适于基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频。
23.一种基于多角度自由视角数据的视频编辑装置，其特征在于，包括：
展示单元，适于展示多角度自由视角视频，所述多角度自由视角视频的帧图像的视点选自虚拟路径，所述虚拟路径为对待观看区域进行观看的视点的集合；
操作接收单元，适于接收用户对所述多角度自由视角视频的操作；
关键帧信息生成单元，适于根据所述操作确定至少两个关键帧的信息，所述关键帧的信息包括所述关键帧的帧时刻以及所述关键帧的帧图像；
发送所述关键帧的信息至云端；
编辑后视频接收单元，适于从云端接收所述至少两个关键帧的帧时刻之间的视频，其中，所述至少两个关键帧的帧时刻之间的视频基于视点路径编辑所述多角度自由视角数据得到，所述视点路径根据所述关键帧的帧图像的视点和所述虚拟路径确定。
24.一种基于多角度自由视角数据的视频编辑装置，其特征在于，包括：
操作接收单元，适于接收至少两个关键帧的信息，所述关键帧的信息根据用户对多角度自由视角视频的操作确定，所述多角度自由视角视频支持从虚拟路径包括的视点对待观看区域进行观看；
路径确定单元，适于根据所述至少两个关键帧的帧图像的视点和所述虚拟路径，确定所述至少两个关键帧之间的视点路径；
视频生成单元，适于基于所述视点路径编辑所述多角度自由视角数据，得到所述至少两个关键帧的帧时刻之间的视频；
编辑后视频发送单元，适于发送所述至少两个关键帧的帧时刻之间的视频。
CN202110159059.5A 2021-02-05 2021-02-05 视频编辑方法及装置、介质、终端、设备 Pending CN114860134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110159059.5A CN114860134A (zh) 2021-02-05 2021-02-05 视频编辑方法及装置、介质、终端、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110159059.5A CN114860134A (zh) 2021-02-05 2021-02-05 视频编辑方法及装置、介质、终端、设备

Publications (1)

Publication Number Publication Date
CN114860134A true CN114860134A (zh) 2022-08-05

Family

ID=82622850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110159059.5A Pending CN114860134A (zh) 2021-02-05 2021-02-05 视频编辑方法及装置、介质、终端、设备

Country Status (1)

Country Link
CN (1) CN114860134A (zh)

Similar Documents

Publication Publication Date Title
US10805530B2 (en) Image processing for 360-degree camera
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
JP6894962B2 (ja) 自由視点映像用画像データのキャプチャ方法及び装置、プログラム
CN110177211B (zh) 图像处理装置、图像处理方法以及计算机可读存储介质
US20080253685A1 (en) Image and video stitching and viewing method and system
US20030137506A1 (en) Image-based rendering for 3D viewing
CN110401795A (zh) 图像处理装置、图像处理方法和程序
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
WO2022002181A1 (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
JP2014529930A (ja) ネイティブ画像の一部の選択的キャプチャとその表示
CN113382177A (zh) 一种多视角环绕拍摄方法及系统
CN111669518A (zh) 多角度自由视角交互方法及装置、介质、终端、设备
CN114845147B (zh) 屏幕渲染方法、显示画面合成方法装置及智能终端
CN111669561A (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US20090153550A1 (en) Virtual object rendering system and method
WO2022001865A1 (zh) 深度图及视频处理、重建方法、装置、设备及存储介质
JP7020024B2 (ja) 情報処理装置およびプログラム
CN117278731A (zh) 多视频与三维场景融合方法、装置、设备及存储介质
CN114500849B (zh) 一种多视角环绕拍摄矫正方法及系统
CN114860134A (zh) 视频编辑方法及装置、介质、终端、设备
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
CN111669570B (zh) 多角度自由视角视频数据处理方法及装置、介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination