CN115174993B - 用于视频制作的方法、装置、设备和存储介质 - Google Patents

Abstract

根据本公开的实施例，提供了用于视频制作的方法、装置、设备和存储介质。在此描述的方法包括：获取由终端设备在一个场景中采集的视频以及与视频相关联的设置数据，该场景为虚拟现实或者增强现实场景；以及响应于该视频的回放，使设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于场景的制作。通过借助在虚拟现实或增强现实场景中捕获的场景视频来可视化地调整场景参数，可以准确定位场景中需优化或修改的部分，从而促进场景制作过程。

Description

用于视频制作的方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体上涉及计算机领域，并且特别地，涉及用于视频制作的方法、装置、设备和计算机可读存储介质。

背景技术

虚拟现实(VR)和增强现实(AR)是三维场景制作中广泛采用的技术。VR用于构建与现实世界完全隔离的虚拟场景，通过模拟视觉、听觉、触觉等感官体验为用户提供身临其境的沉浸感。AR能够在现实内容上叠加呈现虚拟内容，以实现对现实世界的增强。在一些情况下，可以参考现实世界中的场景来制作VR或AR场景。在制作完成之后，有时需要针对交互不顺畅、仿真效果差、特效渲染等方面对场景进行调整或优化。

发明内容

在本公开的第一方面，提供了一种视频制作的方法。该方法包括：获取由终端设备在一个场景中采集的视频以及与视频相关联的设置数据，场景为虚拟现实VR或者增强现实AR场景；以及响应于视频的回放，使设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于场景的制作。

在本公开的第二方面，提供了一种视频制作的装置。该装置包括：视频获取模块，被配置为获取由终端设备在一个场景中采集的视频以及与视频相关联的设置数据，场景为虚拟现实VR或者增强现实AR场景；以及数据显示模块，被配置为响应于视频的回放，使设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于场景的制作。

在本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的视频制作过程的流程图；

图3示出了根据本公开的一些实施例的算法数据的示例性结构的示意图；

图4示出了根据本公开的一些实施例的用于视频制作的用户界面的示意图；

图5示出了根据本公开的一些实施例的用于视频制作的过程的流程图；

图6示出了根据本公开的一些实施例的用于视频制作的装置的示意性结构框图；以及

图7示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

目前，在VR或AR场景制作完成之后，如果遇到用户与场景中的虚拟对象交互不顺畅、仿真和特效渲染效果差等问题，开发人员仅能够依据经验和简单判断来进行调整或优化。这样，可能无法快速定位导致问题的原因，使开发人员不必要地反复修改、调试场景参数，增加了场景制作的难度。

根据本公开的实施例，能够由终端设备捕获VR或AR场景的视频及相关联的传感器数据和算法数据，并提供给编辑设备。编辑设备在回放视频时，将传感器数据和算法数据与各视频帧关联地显示。以此方式，可以简化VR或AR渲染过程，提高视频制作效率。

在下文中将结合示例性应用场景来描述本公开的实施例。但是，应当理解，所提供的视频制作方案适用于各种涉及三维模型制作的场景，包括但不限于影视动画、医疗应用、地图绘制，等等。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。示例环境100可以包括终端设备110、编辑设备120以及渲染引擎130。应当理解，在一些实施例中，编辑设备120和渲染引擎130可以如图1所示被实现为独立的设备。但是，在另一些实施例中，编辑设备120和渲染引擎130可以被集成为单个电子设备。因此，本公开的实施例在此方面不受限制。

终端设备110可以采集场景102中的视频以及与视频相关联的设置数据。如图1所示，场景102包括人物对象104和物体对象106。在一些实施例中，场景102可以是VR或AR场景，并且人物对象104和物体对象106中的至少一者可以是基于VR或AR技术制作的虚拟对象。作为示例，人物对象104为AR虚拟人物，而物体对象106为现实世界中的真实物体，并且人物对象104可以与物体对象106进行交互。在一些情况下，用户可以通过终端设备110操纵虚拟人物104来与物体对象106交互，例如，做出敲打物体对象106的动作，站在物体对象106上，等等。

终端设备110可以录制场景102的视频，并记录每个视频帧的设置数据。在本公开的实施例中，设置数据可以包括但不限于，与终端设备110关联的传感器的数据，用于VR或者AR的算法数据，终端设备110的日志，场景102中发生的事件的信息，由终端设备110采集的音频数据，等等。

与终端设备110关联的传感器可以是物理传感器或算法传感器，包括但不限于陀螺仪传感器、加速度传感器、方向传感器、磁力传感器、光线感应传感器、压力传感器、温度传感器、重力传感器、接近度传感器、旋转矢量传感器、线性加速度传感器，等等。相应地，传感器的数据可以包括指示终端设备110的姿态(例如，朝向、位置、方向等等)的数据、光照强度、压力、温度、物体与终端设备110的距离，等等。

在本公开的实施例中，用于VR或者AR的算法数据可以包括例如，终端设备110利用基于同步定位与地图构建(SLAM)技术采集的数据。终端设备110的日志可以包括例如，终端设备110的操作记录。

在一些实施例中，场景102中发生的事件的信息可以指示用户通过操纵终端设备110在场景102中进行的交互事件，例如人物对象104对物体对象106做出的交互动作。附加地或备选地，在一些实施例中，场景102中发生的事件的信息还可以指示针对用户交互的响应事件，例如，响应于交互动作，物体对象106被移动。

在一些实施例中，由终端设备110采集的音频数据可以包括例如场景102中的音频数据。附加地或备选地，在一些实施例中，音频数据还可以包括用户通过终端设备110输入的音频数据等等。

终端设备110可以与编辑设备120通信，以提供所采集的视频及相关联的设置数据。编辑设备120可以回放视频，并使设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于场景102的制作。在本公开的实施例中，视频帧的数据部分是指多媒体数据，包括但不限于，音频数据、视频数据、等等。例如，编辑设备120可以进一步基于修改所呈现的数据部分的输入来更新场景102。作为另一示例，编辑设备120可以接收添加另一数据部分的输入，该另一数据部分在时间上对应于当前呈现的视频帧。基于该输入，编辑设备120可以添加另一数据部分，以用于生成场景102的至少一部分。

作为示例性实现方式，编辑设备120可以包括桌面端编辑器和编辑器插件。桌面端编辑器可以用于回放和呈现视频以及设置数据、接收针对设置数据的用户输入等等。编辑器插件与桌面端编辑器相适配，并且通过调用接口来读取终端设备110录制的视频和设置数据。当然，在实践中，编辑设备120可以具有更多或更少的组件，或者采用不同的结构来实现。因此，本公开的实施例在此方面不受限制。

针对场景102的渲染可以由渲染引擎130实现。在一些实施例中，在获取视频和设置数据之后，编辑设备120客户可以对设置数据中的至少部分进行格式转换，并将经格式转换的设置数据输入渲染引擎130以渲染场景102。在本公开的实施例中，渲染引擎130可以是能够实现基于AR或VR的模型制作、场景或特效渲染的任何计算与渲染引擎，因此，本公开的实施例在此方面不受限制。

终端设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，终端设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。编辑设备120和渲染引擎130是能够提供计算能力的各种类型的计算系统/服务器，包括但不限于大型机、边缘计算节点、云环境中的电子设备，等等。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。

在下文的描述中将参考若干用户界面(UI)的示例状态来描述实施例。应当理解，这些UI及交互仅仅是说明性的，实际可以存在各种界面设计和交互方式。另外，这些UI中包括的控件可以用任何目前已知或者将来开发的UI元素和技术来实现。此外，这些控件的类型、形式、操作方式、在UI中的布局、排列等均是示意性的，并且无意以任何形式限制本公开的范围。

图2示出了根据本公开的一些实施例的视频制作过程200的流程图。过程200可以涉及图1所示的终端设备110、编辑设备120以及渲染引擎130。当然，过程200也可以涉及任何其他适当的设备。为了便于讨论，下面将参考图1的环境100并结合图3和图4来描述过程200。

在过程200中，终端设备110可以采集(202)场景102的视频以及与该视频相关联的设置数据。如前所述，场景102为VR或者AR场景。因此，场景102的视频可以记录用户操纵终端设备110在场景102中漫游的体验，并识别和追踪场景102中的各种AR对象。

作为示例，在一些实施例中，人物对象104可能作为用户在场景102中的化身，并且用户可以通过操纵终端设备110与物体对象106进行交互，例如，敲打物体对象106，等等。这些漫游体验以及交互事件可以由设置数据指示。设置数据可以包括但不限于，与终端设备110关联的传感器的数据，用于VR或者AR的算法数据，终端设备110的日志，场景中发生的事件的信息，由终端设备110采集的音频数据等等。

与终端设备110关联的传感器可以是物理传感器或算法传感器，包括但不限于陀螺仪传感器、加速度传感器、方向传感器、磁力传感器、光线感应传感器、压力传感器、温度传感器、重力传感器、接近度传感器、旋转矢量传感器、线性加速度传感器，等等。相应地，传感器的数据可以包括指示终端设备110的姿态(例如，朝向、位置、方向等等)的数据、光照强度、压力、温度、物体与终端设备110的距离，等等。用于VR或者AR的算法数据可以包括，例如，SLAM数据。终端设备110的日志可以包括例如，终端设备110的操作记录，等等。

作为示例性实现方式，终端设备110可以通过道具包的形式来录制传感器数据和算法数据。附加地，终端设备110可以将每个视频帧与对应的设置数据关联地记录。例如，终端设备110可以利用时间戳、视频帧的帧号等时间信息对设置数据进行索引。

在一些实施例中，可以在软件开发工具包(SDK)层创建用于对算法结果进行序列化或反序列化的接口，并暴露给脚本层。在下文中，该接口也可以称为脚本接口。作为示例性实现方式，终端设备110可以通过数据回放类(例如，DataPlaybackCenter)暴露的接口在脚本中获取数据，并利用接口对数据进行序列化(例如，Protocol Buffer)。在录制视频时，终端设备110针对每个视频帧保存经序列化的传感器数据和算法结果。在录制结束之后，终端设备110将视频数据以及传感器数据和算法结果保存为文件。

图3示出了根据本公开的一些实施例的算法数据的示例性结构300。如图3所示，所录制的算法结果或算法数据可以包括头字段310和数据段320。头字段可以指示，例如，用于标识当前使用的算法的算法类型312、用于标识当前使用的算法的结果类型的算法数据类型314、用于指示所录制的视频帧的数据量的算法数据数量316。附加地，头字段可以包括保留空间318，以用于兼容后续更改。数据段320可以指示当前算法结果的大小，例如当前算法数据大小322-1至322-N，以及经序列化的算法数据，例如算法数据324-1至324-N。当前算法数据大小可以用于指示紧随其后的算法数据的大小。作为示例，上述信息可以以字节为单位。应当理解，算法数据的结构300中各信息的大小、数量、单位、顺序仅出于说明性目的被给出。在实践中，可以根据需要，采用具有任何适当结构的算法数据。因此，本公开的实施例在此方面不受限制。

终端设备110可以将视频及关联的设置数据提供(204)给编辑设备120。例如，在录制结束之后，视频数据以及传感器数据和算法结果可以被保存在编辑设备120的指定文件夹中。应当理解，在本公开的实施例中，术语“文件”或“文件夹”是指以电子设备的存储介质为载体存储在电子设备上的信息集合，并且文件可以具有任何适当的文件类型和采用任何格式，包括但不限于文本文档、图片、视频、程序，等等。

相应地，在获取由终端设备110在场景102中采集的视频以及与视频相关联的设置数据之后，编辑设备120可以回放(206)视频，并且相应地，编辑设备120可以呈现(208)设置数据中与当前呈现的视频帧在时间上对应的数据部分，以用于场景102的制作。

在上面的示例中，编辑设备120可以选择相应的视频，并在回放视频的同时，随每个视频帧呈现所录制的在时间上对应的设置数据。作为示例性实现，对视频的回放和对设置数据的呈现可以由编辑设备120的数据回放类。例如，数据回放类可以为DataPlaybackCenter类，编辑设备120可以调用DataPlaybackCenter类的接口来读取终端设备110录制的视频和设置数据。

数据回放类负责对外提供结构，并且可以管理至少如下三个类：适配器(Adapter)类、源(Source)类以及分发器(Dispatcher)类。适配器类用于实现数据格式的转换，以适应不同的数据源或系统。源类用于持有当前数据，并根据时间戳、当前帧的帧号等信息来索引对应的数据。分发器类用于分发、注入数据，以适应不同的系统，例如，将算法结果、传感器数据等注入系统，或者将传感器数据注入渲染引擎130等等。当然，在实践中，编辑设备120可以具有更多或更少的类，以实现相应的模式或功能。因此，本公开的实施例在此方面不受限制。

图4示出了根据本公开的一些实施例的用于视频制作的用户界面400的示意图。在用户界面400中，在场景回放区域410中呈现由终端设备110采集的场景102的视频。在场景编辑区域412中呈现与当前呈现的视频帧对应的矢量表示。在区域420中呈现与当前呈现的视频帧对应的设置数据。以此方式，用户可以基于当前呈现的帧并参考对应的设置数据来判断场景102中是否存在需要更新或优化的问题。附加地，用户可以通过用户界面400来修改或添加设置数据。

在一些实施例中，编辑设备120可以接收(210)修改所呈现的数据部分的输入。例如，修改所呈现的数据部分的输入可以包括针对设置数据中的一个或多个数据的调试，包括但不限于，修改、更新、删除、增大、减小，等等。在这样的实施例中，编辑设备120可以基于该输入来修改(212)数据部分以用于更新场景102的至少一部分的生成。

作为上述实施例中的动作210和212的备选实施方式，在其他实施例中，编辑设备120可以接收(210)添加另一数据部分的输入，该另一数据部分在时间上对应于当前呈现的视频帧。相应地，编辑设备120可以基于该输入来添加(212)另一数据部分，以用于生成场景102的至少一部分。例如，在这样的实施例中，可以根据视频的呈现效果，向场景102添加更多AR特效。

在一些实施例中，编辑设备120可以将设置数据输入(214)渲染引擎以渲染场景102。在编辑设备120与渲染引擎130集成为单个电子设备的实施例中，进一步增强了渲染引擎130的能力，使其能够回放AR或VR场景视频、对应的算法结果和传感器数据。以此方式，可以提高系统性能、简化视频制作流程。

根据本公开的实施例，通过在VR或AR场景中捕获的场景视频来可视化地调整场景参数，可以准确定位场景中需优化或修改的部分，从而促进视频制作过程。

图5示出了根据本公开的一些实施例的用于视频制作的过程500的流程图。过程500可以在编辑设备120处实现或在任何适当的设备处实现。为了便于讨论，将参考图1的环境100来描述过程500。但是，应当理解，过程500同样适用于编辑设备120与渲染引擎130集成为单个电子设备的场景。

在框510中，编辑设备120获取由终端设备110在一个场景102中采集的视频以及与视频相关联的设置数据，场景102为虚拟现实VR或者增强现实AR场景。

在一些实施例中，编辑设备120可以通过调用脚本接口从终端设备110获取视频和设置数据中的至少一者。

在一些实施例中，设置数据可以包括如下至少一类：与终端设备110关联的传感器的数据，用于VR或者AR的算法数据，终端设备110的日志，场景102中发生的事件的信息，由终端设备110采集的音频数据，等等。

在一些实施例中，传感器的数据可以包括指示终端设备110的姿态的数据。

在一些实施例中，算法数据可以包括终端设备110利用基于同步定位与地图构建(SLAM)技术采集的数据。

在框520中，编辑设备120针对视频的回放进行检测。

响应于视频的回放，在框530中，编辑设备120使设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于场景102的制作。

在一些实施例中，编辑设备120可以获取指示视频102与设置数据的时间对应性的索引，索引在视频102的采集中被生成。编辑设备120可以基于该索引来确定与当前呈现的视频帧对应的数据部分。

在一些实施例中，编辑设备120可以接收修改所呈现的数据部分的输入。编辑设备120基于输入来修改数据部分以用于更新场景102的至少一部分的生成。

附加地或备选地，在另一些实施例中，编辑设备120可以接收添加另一数据部分的输入，该另一数据部分在时间上对应于当前呈现的视频帧。相应地，编辑设备120可以基于该输入来添加另一数据部分，以用于生成场景102的至少一部分。

在一些实施例中，编辑设备120可以对与视频相关联的设置数据中的至少部分进行格式转换。然后，编辑设备120可以将经格式转换的设置数据输入渲染引擎130以渲染场景102。

图6示出了根据本公开的一些实施例的用于视频制作的装置600的示意性结构框图。装置600可以被实现为或者被包括在编辑设备120中，或者将编辑设备120与渲染引擎130集成在一起的单个电子设备中。装置600中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置600包括视频获取模块610，视频获取模块610被配置为获取由终端设备110在一个场景102中采集的视频以及与该视频相关联的设置数据，场景102为虚拟现实VR或者增强现实AR场景。装置600还包括数据显示模块620，数据显示模块620被配置为响应于视频的回放，使设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于场景102的制作。

在一些实施例中，数据显示模块620包括：索引获取模块，被配置为获取指示视频与设置数据的时间对应性的索引，索引在视频的采集中被生成；以及数据确定模块，被配置为基于索引来确定与当前呈现的视频帧对应的数据部分。

在一些实施例中，装置600还包括：第一接收模块，被配置为接收修改所呈现的数据部分的输入；以及数据修改模块，被配置为基于输入来修改数据部分以用于更新场景102的至少一部分的生成。

在一些实施例中，装置600还包括：第二接收模块，被配置为接收添加另一数据部分的输入，该另一数据部分在时间上对应于当前呈现的视频帧；以及数据添加模块，被配置为基于该输入来添加另一数据部分，以用于生成场景102的至少一部分。

在一些实施例中，设置数据包括如下至少一类：与终端设备110关联的传感器的数据，用于VR或者AR的算法数据，终端设备110的日志，场景102中发生的事件的信息，由终端设备110采集的音频数据。

在一些实施例中，传感器的数据包括指示终端设备110的姿态的数据。

在一些实施例中，算法数据包括终端设备110利用基于同步定位与建图SLAM技术采集的数据。

在一些实施例中，装置600还包括：格式转换模块，被配置为对与视频相关联的设置数据中的至少部分进行格式转换；以及数据输入模块，被配置为将经格式转换的设置数据输入渲染引擎130以渲染场景102。

在一些实施例中，视频获取模块610被配置为：通过调用脚本接口从终端设备110获取视频和设置数据中的至少一者。

图7示出了示出了其中可以实施本公开的一个或多个实施例的电子设备700的框图。应当理解，图7所示出的电子设备700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图7所示出的电子设备700可以用于实现图1的编辑设备120。

如图7所示，电子设备700是通用电子设备的形式。电子设备700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备700的并行处理能力。

电子设备700通常包括多个计算机存储介质。这样的介质可以是电子设备700可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备700内被访问。

电子设备700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元740实现通过通信介质与其他电子设备进行通信。附加地，电子设备700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备700可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备760可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备700交互的设备进行通信，或者与使得电子设备700与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (13)

1.一种视频制作的方法，包括：

获取由终端设备在一个场景中采集的视频以及与所述视频相关联的设置数据，所述场景为虚拟现实或者增强现实场景；

响应于所述视频的回放，使所述设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于所述场景的制作；

接收修改所呈现的所述数据部分的输入；以及

基于所述输入来修改所述数据部分，以用于更新所述场景的至少一部分的生成。

2.根据权利要求1所述的方法，其中使所述设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示包括：

获取指示所述视频与所述设置数据的时间对应性的索引，所述索引在所述视频的采集中被生成；以及

基于所述索引来确定与所述当前呈现的视频帧对应的所述数据部分。

3.根据权利要求1所述的方法，还包括：

接收添加另一数据部分的输入，所述另一数据部分在时间上对应于当前呈现的视频帧；以及

基于所述输入来添加所述另一数据部分，以用于生成所述场景的至少一部分。

4.根据权利要求1所述的方法，其中所述设置数据包括如下至少一类：

与所述终端设备关联的传感器的数据，

用于所述虚拟现实或者所述增强现实的算法数据，

所述终端设备的日志，

所述场景中发生的事件的信息，

由所述终端设备采集的音频数据。

5.根据权利要求4所述的方法，其中所述传感器的所述数据包括指示所述终端设备的姿态的数据。

6.根据权利要求4所述的方法，其中所述算法数据包括：所述终端设备利用基于同步定位与地图构建技术采集的数据。

7.根据权利要求1所述的方法，还包括：

对与所述视频相关联的所述设置数据中的至少部分进行格式转换；以及

将经格式转换的所述设置数据输入渲染引擎以渲染所述场景。

8.根据权利要求1所述的方法，其中获取所述视频以及与所述视频相关联的设置数据包括：

通过调用脚本接口从所述终端设备获取所述视频和所述设置数据中的至少一者。

9.一种视频制作的装置，包括：

视频获取模块，被配置为获取由终端设备在一个场景中采集的视频以及与所述视频相关联的设置数据，所述场景为虚拟现实或者增强现实场景；

数据显示模块，被配置为响应于所述视频的回放，使所述设置数据中与当前呈现的视频帧在时间上对应的数据部分被显示，以用于所述场景的制作；

第一接收模块，被配置为接收修改所呈现的所述数据部分的输入；以及

数据修改模块，被配置为基于所述输入来修改所述数据部分以用于更新所述场景的至少一部分的生成。

10.根据权利要求9所述的装置，其中所述数据显示模块包括：

索引获取模块，被配置为获取指示所述视频与所述设置数据的时间对应性的索引，所述索引在所述视频的采集中被生成；以及

数据确定模块，被配置为基于所述索引来确定与所述当前呈现的视频帧对应的所述数据部分。

11.根据权利要求9所述的装置，其中所述装置还包括：

第二接收模块，被配置为接收添加另一数据部分的输入，所述另一数据部分在时间上对应于当前呈现的视频帧；以及

数据添加模块，被配置为基于所述输入来添加所述另一数据部分，以用于生成所述场景的至少一部分。

12.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至8中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至8中任一项所述的方法。