CN113711575A

CN113711575A - 用于基于表现即时组装视频剪辑的系统和方法

Info

Publication number: CN113711575A
Application number: CN202080026562.7A
Authority: CN
Inventors: 马里奥·阿穆拉
Original assignee: Ma LiaoAmula
Current assignee: Ma LiaoAmula
Priority date: 2019-04-01
Filing date: 2020-03-31
Publication date: 2021-11-26
Anticipated expiration: 2040-03-31
Also published as: US20220180901A1; US11551724B2; IT201900004823A1; EP3949369A1; WO2020201297A1; CN113711575B

Abstract

一种用于通过用户的交互表现即时组装视频剪辑的系统，包括由用户操作的设备100，其中，该设备(100)包括：用户界面装置(101)，被配置为用于与用户进行输入和输出交互；‑处理单元(103)和存储器(104)，被配置为用于创建新视频(301)，该新视频(301)被组装成附加从多个视频剪辑(321‑325、351‑352)中提取的多个视频剪辑片段；以及‑I/O单元(105)，被配置为用于通过远程通信网络访问多个视频剪辑(321‑325、351‑352)；用户界面装置(101)被配置为检测由用户操作的手动组装命令序列(401‑408、501‑505)，并显示从多个视频剪辑(321‑325)中提取的多个视频剪辑片段，视频片段的显示顺序由手动级联命令(401‑408、500‑505)的序列定义；处理单元(103)和存储器(104)被配置为记录从多个视频剪辑(321‑325)中提取的视频片段的附加处理；从而生成最终组装的视频(301)，并且视频剪辑片段的附加逻辑由手动级联命令(401‑408、501‑505)的序列定义。

Description

用于基于表现即时组装视频剪辑的系统和方法

技术领域

本发明涉及一种通过用户的交互表现即时组装视频剪辑的系统和方法。

具体地，本发明涉及以听音乐为灵感的原始视听内容的交互式创建，并且通过许多新颖的组装方法(也被设计为保持视频剪辑与公共声道的同步)的预先同步的视频剪辑的即时组装来实现；其中，视频剪辑的可用性除了取决于先前的创作进程之外，还可以取决于奖励标准，可以基于对用户的交互表现和识别关键图像的能力的实时分析。因此，本发明不仅在视频编辑应用领域有用且实用，而且最重要的是在提供游戏体验的视听应用领域有用且实用。

背景技术

在过去的二十年里，非线性视频剪辑的概念以及底层支持技术的不断进步，已经彻底改变了专业和业余视频制作的世界，提供了强大和可靠的工具来选择、组装、优化、添加效果、预可视化和完成视频剪辑。因此，当今有大量的移动和桌面硬件平台和软件应用程序可用，在许多应用程序环境中为广大用户提供了先进的视频编辑工具和功能。

大多数这些已知的解决方案通过统一的操作范例来实现可用内容的离线编辑(即不与内容的创建同时执行的编辑类型)，根据该操作范例，可以在时间线内以所需的顺序自由地组装视频剪辑的某些选择(可能地，受制于纵横比的规范化和持续时间的适当重新定义)，或者通过使用各种转换效果。

临时结果可以以所需的帧速率预可视化(通常以降低的分辨率和质量)，并通过进一步的处理步骤或各种参数的调整来细化，最后，该处理的结果可以最终确定，获得各种数字格式(压缩和未压缩)全质量视频。

一些已知的视频编辑系统还提供实时(通常有限的)编辑能力，例如即时插入剪辑，或者可以提供记录和插入实况内容的可能性。

已知视频编辑系统的简化版本还用于创建幻灯片放映，其中，作者可以指定要包括哪些图像以及要再现为音轨的音频文件。在这种类型的应用中，每个图像的可视化顺序和持续时间可以由用户在视频编辑会话期间预先确定、随机分配或指定，这通常需要长时间和重复的处理。

一些已知的用于对音频音乐背景音轨进行采样的系统和方法(例如US 9 176610B1 Kruge Nick[Us]等人)能够通过手动连接各种音乐视频剪辑来实时地组装它们。在这种情况下，视频剪辑组装方法不提供任何基于用户表现的奖励机制，也不支持任何基于视频剪辑彼此之间和与音轨的预先同步的组装方法，也不支持任何基于与标签相关联的视频剪辑的预索引片段的非同步插入的组装方法。

一些已知的系统和方法(例如US B 745 500 B1)能够通过轻敲缩略图来记录多个视频剪辑，每个视频剪辑与相应的缩略图相关联，以用于动态组装进程。即使在这种情况下，视频剪辑组装方法也不提供任何基于用户表现的奖励机制，也不支持任何基于视频剪辑彼此之间和与音轨的预先同步的组装方法。

一些已知的系统和方法(例如US 2015/058733 A1)能够通过显示所产生的正在进行的视频的预览显示来进行基于手势的视频剪辑编辑。然而，这些系统依赖于传统的非线性编辑方法，这些方法不提供任何基于用户表现的奖励机制，也不支持任何基于视频剪辑彼此之间和与音轨的预先同步的组装方法，和基于与标签相关联的预索引视频剪辑片段的非同步插入的组装方法。鉴于上述情况，上述已知系统中没有一个旨在实现基于与游戏体验相当的即兴用户表现的视频创建进程。

发明内容

本发明的目标是通过设计用于通过用户表现即时组装视频剪辑的原始系统和方法来克服上述现有技术的限制，该系统和方法允许以更低的成本和更高表现获得比用已知解决方案和/或类似结果所能获得的结果更好的结果。

在该目标中，本发明的目的是通过提供用于根据用户表现实时创建视听序列的原始组装方法和交互范例，设计一种用于通过表现即时组装视频剪辑的系统和方法。

本发明的另一个目的是设计一种用于基于表现的视频剪辑的即时组装的系统和方法，该系统和方法使得能够并促进以音乐为灵感的视频制作方法，为此目的而设计的提供视频剪辑组装特征、操作范例和用户界面。在这方面，本发明的一个关键方面是通过专门设计的组装系统和方法保证在整个交互创建进程中n个视频剪辑和主音轨之间一致同步的能力。

本发明的进一步目的是设计一种用于通过用户表现即时组装视频剪辑的系统和方法，其中，可以实时分析用户表现，并且基于该分析，奖励方法可以解锁对附加视频剪辑的访问，甚至建议附加视频剪辑。

此外，本发明的另一目的是设计一种用于通过用户的交互表现即时组装视频剪辑的系统和方法，其中，每个单个视频制作会话的结果是唯一的，完全基于用户的即时视觉-听学感知和随后的手势交互，以及特定视频剪辑的可用性，这反过来又可以取决于用户执行的唯一交互模式。

本发明的进一步目的是提供一种用于通过用户表现即时组装视频剪辑的系统和方法，与现有技术相比，产生高效、直观的使用和经济竞争力。

通过一种用于通过用户表现即时组装视频剪辑的系统来实现该目标以及将在下文中变得更明显的这些和其他目的，该系统包括由用户操作的设备，其中，所述设备包括：

-用户界面装置，被配置为用于与所述用户进行输入和输出交互；

-处理单元和存储器，被配置为(运行计算机程序以适用于)通过一个接一个地附加所述视频剪辑的多个片段创建组装视频；

-I/O单元，被配置为本地或通过计算机网络访问所述多个视频剪辑；

所述用户界面装置被配置为检测由所述用户操作的手动组装命令序列，并一个接一个地再现从所述多个视频剪辑中提取的所述多个视频剪辑片段，视频剪辑的显示顺序由所述手动组装命令序列和附加信息350中的数据包中指示的相关的视频剪辑组装算法集定义；

所述处理单元和所述存储器被配置为一个接一个地记录从所述多个视频剪辑提取的所述多个视频剪辑片段，从而产生最终的组装视频301，视频剪辑的组装顺序由所述手动组装命令序列定义；

其中，手动组装命令的检测触发从当前显示的给定视频剪辑到另一视频剪辑的转换。

所有可用的视频剪辑、任何音频内容、任何已经准备好的表现和各种附加信息都由数据包指定，数据包可以通过多种模式(包括但不限于到计算机网络或通过本地创作进程)传输到本发明的目的设备。上述数据包符合被称为基于表现的视频格式(PBVF)的多媒体表示格式，该格式正式定义了支持用于再现、记录和共享视听内容的该系统和方法的功能所必需的类型和数据结构。

在用于通过用户表现即时组装视频剪辑的系统的实施方式中，所述设备还包括扩音器，该扩音器被配置为再现任何音频内容，所述I/O单元被配置为在本地或通过所述计算机网络访问所述音频内容，所述处理单元和所述存储器被配置为与所述视频剪辑相结合地记录所述音频内容，该视频剪辑包括从所述多个视频剪辑提取的所述多个视频剪辑片段。

在本发明的一个实施方式中，用于通过表现即时组装视频剪辑的系统还包括：

-云服务器上的存储单元，被配置为用于存储所述多个视频剪辑和可选的所述音频内容；以及

-云服务器上的视频处理和生成单元，被配置为用于将所述多个视频剪辑和可选的所述音频内容朝向所述设备流式传输。

在本发明的一个实施方式中，用于通过用户表现即时组装视频剪辑的系统还包括云服务器上的进行创作及发布的网络平台，该网络平台被配置为用于创建定义所述多个视频剪辑、所述可能的音频内容、所述手动组装命令序列和其他功能的数据包，并用于所述数据包的发布。

在本发明的一个实施方式中，用于通过用户表现即时组装视频剪辑的系统还包括在所述设备上的本地创作进程，该进程被配置为用于创建定义所述多个视频剪辑320、所述任何音频内容330、所述手动组装命令序列340、350、390和其他功能的数据包。

在本发明的一个实施方式中，用于通过用户表现即时组装视频剪辑的系统还包括用于启用所述多个视频剪辑和所述音频内容的隐藏部分351、352的方法，其中，根据基于对所述手动组装命令序列的实时分析的奖励标准使隐藏部分351、352可访问。

在根据本发明的用于通过用户表现即时组装视频剪辑的系统的实施方式中，该设备的用户界面装置根据称为基于标签模式的操作模式配置，具有相关的命令和相关联的自然用户界面，该标签模式允许从所述多个视频剪辑中提取的视频剪辑片段的选择性插入，所述视频剪辑片段之前在数据包创作进程中通过手动注释或通过自动图像分析方法进行索引。

在根据本发明的用于通过用户表现即时组装视频剪辑的系统的实施方式中，所述设备的所述用户界面装置根据被称为尾部重复模式的操作模式配置，具有相关的命令和相关联的图形布局，该尾部重复模式允许重复当前显示和记录的视频剪辑的尾部片段，可以改变帧的顺序。

在本发明的一个实施方式中，用于通过用户表现即时组装视频剪辑的系统可以在没有任何音频内容的情况下操作，以便通过用户表现组装从所述多个视频剪辑中提取的所述多个视频剪辑，视频剪辑的显示顺序由所述手动组装命令序列定义。

本发明的目标还通过一种用于通过用户表现即时组装视频剪辑的方法来实现，该方法通过由用户操作的设备，包括以下步骤：

-经由所述设备的I/O单元，本地或通过计算机网络访问多个视频剪辑；

-经由所述设备的用户界面装置，检测由所述用户操作的手动组装命令序列；

-通过所述设备的所述用户界面装置，一个接一个地再现从所述多个视频剪辑中提取的多个视频剪辑片段，视频剪辑片段的显示顺序由所述手动组装命令序列定义；以及

-一个接一个地记录从所述多个视频剪辑提取的所述多个视频剪辑片段321-325，从而产生最终的组装视频301，视频剪辑片段的注册顺序由所述手动组装命令序列定义；

在本发明的一个实施方式中，用于通过用户表现即时组装视频剪辑的方法还包括以下步骤：

-通过所述设备的所述I/O单元，本地或通过所述计算机网络访问音频内容；

-通过所述设备的扩音器再现所述音频内容；以及通过所述设备的所述处理单元和所述存储器，与所述视频剪辑相结合地记录所述音频内容，所述视频剪辑包括从所述多个视频剪辑中提取的所述多个视频剪辑片段。

在本发明的一个实施方式中，用于通过表现即时组装视频剪辑的方法还包括以下步骤：

-经由云服务器上的存储单元存储所述多个视频剪辑和可选的所述音频内容；并且

-通过云服务器上的视频处理和渲染单元，将所述多个视频剪辑321-325、351-352和可选的所述音频内容朝向所述设备流式传输。

在本发明的一个实施方式中，用于通过用户表现即时组装视频剪辑的方法基于先前创作的数据结构(以下称为数据包)，以确定可用视频剪辑的数量和种类以及这些视频剪辑与之同步的音轨、可用的组装算法的数量和类型以及相关的接口布局，根据以下步骤：

-通过云服务器上的进行创作及发布的网络平台，创建定义所述多个视频剪辑320内容、所述可能的音频内容、所述手动组装命令序列和其他功能的数据包；以及

-通过所述云服务器上的网创作及发布平台，发布所述数据包。

-借助所述设备上的本地创作进程，创建定义所述多个视频剪辑320、所述音轨(如果有的话)、手动组装命令序列和其他功能的数据包；以及-经由所述云服务器上的创作和发布网络平台，发布所述数据包。

在本发明的一个实施方式中，用于通过表现即时组装视频剪辑的方法还包括用于使所述多个视频剪辑和所述音轨的隐藏部分能够根据基于对所述手动组装命令序列的实时分析的奖励标准可访问的进程。

附图说明

通过对根据本发明的用于通过用户表现即时组装视频剪辑的系统和方法的一些优选但非排他性实施方式的描述，本发明的进一步特征和优点将变得更加明显，这些实施方式借助附图作为非限制性示例示出，其中：

图1A是示意性地描绘根据本发明的用于即时组装视频剪辑的系统的实施方式的主要硬件组件的框图；

图1B是示意性地描绘根据本发明的用于即时组装视频剪辑的系统的实施方式的主要软件组件的框图；

图2是示出在根据本发明的即时组装视频剪辑方法的实施方式中，通过即时组装PBVF数据包中可用的多个视频剪辑来创建最终组装视频所需的操作序列的通用流程图，该视频剪辑由用户在收听音频内容时操作；

图3是示出在根据本发明的即时组装视频剪辑方法的实施方式中，基于PBVF数据包中指定的预定义表现，通过自动组装多个视频剪辑321-325的“表现再现”所需的操作序列的总体流程图；

图4是在根据本发明的即时组装视频剪辑方法的实施方式中，“表现再现”操作配置中的自然用户界面的示意图；

图5A是在根据本发明的即时组装视频剪辑方法的实施方式中，“基本操作配置”中的表现记录自然用户界面的示意图；

图5B是在根据本发明的即时组装视频剪辑方法的实施方式中，“奖励操作模式”中的表现记录自然用户界面的示意图；

图5C是在根据本发明的即时组装视频剪辑方法的实施方式中，在表现记录模式中处于第三操作配置“尾部重复模式”的自然用户界面的示意图；

图6A是在本发明的实施方式中，“基本”视频剪辑组装方法的示意图，根据该方法，用户通过基本的下一个剪辑/上一个剪辑命令，交互选择哪些可用视频剪辑必须附加到当前视频剪辑；

图6B是在本发明的实施方式中，基于奖励的视频剪辑组装方法的示意图，该方法操作根据用户交互的实时评估解锁的隐藏视频剪辑；

图6C是在本发明的实施方式中，对通过先前索引和标签操作定义的视频剪辑500的片段进行操作的基于标签的视频剪辑组装方法的示意图；

图6D是在本发明的实施方式中，尾部重复(循环)模式视频剪辑组装方法的示意图，根据该方法，所显示的视频剪辑的最后n秒被附加到同一视频剪辑；

图6E是在本发明的实施方式中，反转视频剪辑组装方法的示意图，根据该方法，当前视频剪辑的帧以反向顺序附加到同一视频剪辑上；

图7A是示出本地数据包创作进程所需的操作序列的总体流程图；

图7B是示出在本发明的实施方式中，在本地数据包创作进程中选择源视频片段802以组装视频剪辑所需的操作序列的总体流程图；

图7C是在本发明的实施方式中，数据包本地创作进程中的源视频片段组装方法的示意图；

图8描绘了在本发明的实施方式中，本地数据包创作进程中的源视频片段组装进程的图形用户界面的示意性表示；

图9A是描绘在本发明的实施方式中，客户端设备与远程云服务器之间的数据包交换序列的示意性表示，该序列交换允许访问由用户通过链接记录的表现产生的视频剪辑；

图9B是描绘在本发明的实施方式中，客户端设备与远程云服务器之间的数据包交换序列的示意性表示，该序列允许您将PBVF格式的数据包远程转换为常规格式(MPEG、AVI等)的视频剪辑；

图9C是示出在本发明的实施方式中，客户端设备与远程云服务器之间的数据包交换序列的示意图，该序列与PBVF数据包中包括的表现380的再现相关。

具体实施方式

本发明涉及一种通过一组手动控制器组装多个视频剪辑的系统和方法，该手动控制器允许用户在再现可选音轨的同时即时选择可用视频剪辑321-325、351-352和视频剪辑片段500中的哪一个将被附加。视频剪辑的可用性可以取决于基于实时用户表现评估的特定算法的奖励标准。

在该系统和方法中，构成由用户执行的交互的手动组装命令序列通过索引序列被唯一地表示，该索引序列允许在用户表现和再现所述最终组装视频301期间显示的帧序列的完全重建，以及将该最终组装视频导出为最流行的数字视频格式以供共享。

组装手动命令的序列的这种唯一表示(即，由用户执行的交互)符合原始多媒体格式的规范，也是本发明的一部分，该规范正式定义了视频剪辑的数量和类型、音轨、任何先前定义的表现、用户界面及其外观、适用于图像流的视听效果、以及基于用户交互模式的评估的任何奖励标准和下面详述的其他机制，其确定额外视频剪辑的可用性(否则无法查看)。

在该系统和方法中，由用户执行的产生新的和唯一的帧序列301的交互是通过自然用户界面进行的，该用户界面允许从通过图形界面显示的一系列选项开始，在任何给定时间即时选择要显示的视频剪辑，以促进创作进程。

可用的视频剪辑、内容或音轨以及用户界面中存在的一些命令的效果由数据包定义，该数据包可以通过多种模式传输到根据本发明的设备，该模式可以包括到Wi-Fi或移动网络的连接、蓝牙或电缆点对点连接。

上述数据包符合被称为PBVF(基于表现的视频格式)的多媒体表示格式，如本发明的之前部分所描述，该格式正式定义了支持用于再现、记录和共享视听内容提供的特征所必需的类型和数据结构。

通常，表现记录阶段开始于显示可用视频剪辑321-325 351-352中的一个，以及可选的相关联的音轨的同时再现。

系统架构

根据本发明的用于通过用户表现即时组装视频剪辑的系统被配置为允许再现以PBVF多媒体格式定义的视听内容，这在本文后面将更详细地描述，即，通过基于使用自然用户界面的用户表现生成原始视频剪辑和同时收听可选的音轨，这确定了PBVF数据包中可用的多个视频剪辑的即时组装。

参考图1A，根据本发明的用于即时组装视频剪辑的系统包括本地电子设备100，由执行该表现的用户操作，至少包括以下本地硬件组件：

-屏幕和手势图形用户界面或基于显示和手势的图形用户界面101(简而言之，用户界面装置101)被配置为用于与用户进行输入和输出交互。屏幕为所有可用的视觉内容(例如静态图像、导入的视频剪辑、系统本身创建的视频等)提供显示区域。手势图形用户界面为自然用户-系统接口提供终端，该终端允许用户控制系统提供的每个功能，并接收对每个命令的执行的视觉和/或声学确认。在一个实施方式中，该组件101包括触摸屏；

-扩音器或扬声器102(可选)，再现所有可用的音频内容(例如导入的音频内容、音轨、音频效果等)；

-处理单元(processing unit)或处理单元(Processing Unit)103，包括CPU和可选的GPU，用于执行由系统提供的每个功能或每个所需操作步骤需要的所有进程；

-存储器(memory)或存储器(Memory)104，用作上述处理单元103的工作存储器；以及

-I/O单元(I/O unit)或I/O单元(I/O Unit)105，提供输入和输出接口(带或不带导线)，以通过计算机网络(例如互联网)与远程云服务器通信。

在一个实施方式中，根据本发明的用于即时组装视频剪辑的系统可以还包括以下远程硬件组件：

-云服务器上的存储单元108，被配置为存储视频剪辑321-325和可选的音轨330，并经由下载到设备100的数据包所引用的流来提供对所述视频剪辑和音轨的访问；以及

-云服务器上的视频处理和生成单元109，被配置为用于将所述视频剪辑321-325和可选的内容或音轨330朝向设备100同时流式传输。该单元109可以进一步被配置为用于由表现产生的内容视频的再现、以及其的上传和远程存储。

-云服务器上的网创作及发布平台107，被配置为用于由第三方创建数据包(优选地以PBVF格式)并用于该数据包的发布。

参照图1B，根据本发明的用于即时组装视频剪辑的系统的设备100包括以下软件模块：

-数据包创建器110，被配置为提供用于从本地可用的视频剪辑321-325和音频330内容创建PBVF格式的数据包的功能；

-数据包浏览器111，被配置为用于通过连接到网服务或以本地模式选择和上传PBVF格式的数据包；

-表现播放器112，被配置为提供特定功能以执行从所选数据包的音频和视频剪辑开始而可用的表现当中的一表现，即时组装这些视频剪辑或自动应用表现中显示的手动命令序列；

-表现记录器113，被配置为提供特定功能以执行原始表现，在同时播放可选的音频内容的同时，以优选地顺序即时组装在所选数据包中指定的视频剪辑；以及

-视频导出器114，被配置为以标准视频格式提供由用户执行并同时以PBVF格式被编码的表现渲染功能。

工作原理

作为本发明的一部分，再现或创建新的最终组装视频301的处理严格要求通过计算机网络(例如互联网)以PBVF格式的数据包的可用性。

可替代地，该数据包可以通过在图7A和图7B中示意性地示出的进程来创建，并且在本文档后面更详细地描述，具体地，在“PBVF数据包的本地创作”一节中。

每个数据包通常包括其内容的一个或多个预览或预览图像、一个或多个表现，即，与确定最终组装视频301、可变数量的视频剪辑321-325和可选内容或音轨330的视频剪辑列表相关的定义命令序列，可以在网远程服务器上流式模式下可用。从数据包开始，用户可以选择是经由图4所示的命令接口在表现播放器112操作模式下播放视听内容，还是通过图5A、图5B和图5C所示的命令接口在表现记录器113操作模式下记录原始PBVF视频。

图4中所示的与操作模式表现播放器112相关的命令接口包括屏幕或显示器101、命令201(例如具有“播放”或“开始”标签，以开始视频表现的回放)、以及视频表现521本身。

该操作模式仅允许最终组装视频301的被动再现，这是根据数据包中先前定义的不需要任何用户交互的表现组装多个视频剪辑321-325351-352而产生的。可访问或隐藏的所有所述视频剪辑321-325和音频330可以通过在图9A、图9B和图9C中示意性地表示的特殊处理和网络架构以流模式管理。

如果您选择播放PBVF格式的视频，以下列表包括该进程所需的与表现播放器112操作模式相关的主要操作步骤，如图3中的示意图所示：

a3)执行“开始”命令以开始回放；

b3)PBVF数据包中可用的“表现”380中可用的表现当中的表现的可能选择234；

c3)加载PBVF数据包中可用的表现380当中的选定表现，或者，在没有明确选择的情况下，加载PBVF数据包中可用的默认表现371；

d3)从表现中提取第一(源、持续时间、过滤器)三元组237；

e3)再现由表现指定的音频内容238；

f3)在第二个元素指定的时间内，同时再现由三元组的第一个元素指定的视频剪辑239，并应用由三元组的第三个元素指定的效果；

g3)验证在表现中存在另一三元组(源-持续时间-过滤器)240；

h3)提取随后的三元组并返回步骤f3或239，直到三元组结束241。

图5A、图5B和图5C中示出的与表现记录器113操作模式相关的命令接口包括屏幕或显示器101、命令200(例如具有“开始”标签，用于开始记录视频表现)、相同视频表现的预览520、以及与其各个功能相关的一组附加命令。

始终出现在用户界面(图5A、图5B和图5C)中的与基本操作模式401和402相关的命令被配置为通过即时切换到下一个视频或上一个视频来改变当前显示，与每个新的控制同时存储与最近观看的视频剪辑相关联的索引、该内容的回放持续时间和所应用的任何音频/视觉效果，例如视频的特定部分上的缩放530。

要即时连接的新内容的选择也可以通过一系列附加命令403-408、500-505进行，这些命令存在于上述设备的用户界面的不同配置中，并且涉及三种不同类型的特殊功能。

与第一类型的特殊功能403-404(图5B)、407-408(图5A)相关的命令与隐藏视频剪辑相关联，以PBVF格式在数据包中指定，并且根据基于对用户当前执行的表现的实时评估的奖励标准(例如由用户交互操作的命令的时间与音轨的节奏之间的时间一致性、或者甚至所选剪辑的序列与在数据包本身上定义的参考序列之间的对应性)针对用户可访问。

其他奖励标准可以考虑用户在创作及发布的网络平台107支持的活动期间的先前表现或获得的分数、或者由启用作弊模式的数据包的创建者提供的密码的了解。

另一奖励标准(图6B)可以包括可视化视频剪辑321-325的特定片段或隐藏视频剪辑351-352的特定片段或在可用视频剪辑中的记录表现期间要在436-437上搜索和点击的音频段。进一步的奖励标准可用、或者可以定义，从而扩展前面提到的示例。

始终出现在用户界面中的与第二类型的特殊功能500-505相关的命令(图5A、图5B和图5C)与先前在数据包创作阶段通过手动进程或通过分析图像的自动方法索引的视频剪辑321-325的特定片段相关联，这不是本发明的主题，并且可以在多个桌面和移动处理设备上实施。

与第三类型的特殊功能405-406(图5C)相关的命令参照最后显示的片段来改变当前视频剪辑321-325的显示顺序。

如果选择通过用户表现生成原始PBVF视频，以下列表包括该进程所需的与表现记录器113操作模式相关的主要操作步骤，如图2中的示意图所示：

a2)执行“开始”命令以开始记录表现220；

b2)在PBVF数据包中指定的视频剪辑列表320中存在的第一视频剪辑成为当前视频剪辑223；

c2)回放由表现指定的音频内容224；

d2)回放当前视频剪辑225；

e2)检查是否达到音频结束导致记录的立即终止226；

f2)如果执行手势或触摸命令227，即命令401-408、501-505或530中的一个，则创建新的三元组228，该三元组228包含与当前视频剪辑相关联的索引、在当前命令与前一个命令之间经过的时间以及与可能应用的效果相关联的索引；

g2)将新的三元组附加到用户表现229、基于执行的命令更新当前视频剪辑的索引；

h2)相反，如果执行记录结束231命令，则将新的三元组附加到用户表现，其包含与当前视频剪辑相关联的索引、当前命令与前一命令之间经过的时间以及与所应用的任何效果相关联的索引，停止用户表现的记录，然后自动执行所记录的表现的回放232；

i2)如果未执行手势或触摸命令，则如果音频内容仍在播放，则当前视频剪辑的回放继续到该视频剪辑的结束，或者如果音频内容结束则停止。在第一种情况下，将新的三元组添加到用户表现，其包含与刚刚结束的视频剪辑相关联的索引、其持续时间以及与可能应用的效果相关联的索引。随机索引的生成确定新的当前视频剪辑，并且进程返回到步骤d2或225。

用户界面及相关功能

根据PBVF数据包中的特定规范，本发明的用户界面装置101属于自然接口的类别，该用户界面装置101包括但不限于触摸屏设备、手势识别系统以及类似于可用功能和图形布局的可变配置。

这些不同的命令和控制配置针对在表现期间即时选择要组装的视频剪辑启用替代方法，该代替方法属于四种基本类型的用户界面装置101：

-基本模式，包括本发明一般工作原理所共有的基本功能；

-奖励模式，实施奖励和游戏化机制，以扩展可用的视听内容和视频剪辑组装方法；

-基于标签模式，被配置为基于非同步组装方法选择性地插入所述视频剪辑321-325的先前索引片段；

-重复模式，被配置为重复当前视频剪辑的最后部分，从而可能改变帧的顺序；以及

-音频/视频处理模式，旨在通过特定命令实时修改预览窗口中显示的内容的视频和/或音频组件的特征(包括所录制的表现中的这些变化)。

用户界面装置101的所有配置共同具有一组功能和相关的基本命令，在该组功能和相关的基本命令当中，命令200、401、402、551、552、520、530对应于基本模式。除此之外，根据PBVF数据包中包含的规范，可以以各种组合形式提供启用其他模式特定功能的附加命令。下面详细描述了与上述模式中的每一种模式相关的所有功能，以及用户界面中与它们相关联的各个命令。

基本模式

如图5A、图5B和图5C所示，基本视频剪辑组装方法包括用户界面装置101的命令200、401、402、551、552、520。

开始/停止200：开始回放或录制/结束回放或录制；

前一个401：从当前视频剪辑j的当前帧i到可用视频剪辑列表320中的视频剪辑j-1的帧i+1(图6A)，其中，如果j＝1，则j-1＝(列表中的最后一个视频)；

下一个402：从当前视频剪辑j的当前帧i到可用视频剪辑列表320中的视频剪辑j+1的帧i+1(图6A)，其中，如果j＝(列表中的最后一个视频)，则j+1＝1；

视频剩余551：当前视频剪辑的剩余持续时间的图形/数字指示器；

音频剩余552：音频内容的剩余持续时间的图形/数字指示器；

预览520：正在进行的表现预览。

奖励方式

如图5A、图5B和图6B所示，奖励操作模式包括用户界面装置101的命令403、404、407、408、436-437。

奖励类型1 403：基于正在进行的用户表现的自动评估标准的可用性，例如，改变当前可视化的命令的时间与音轨的节奏之间的时间一致性，或者由用户组装的视频剪辑序列与在数据包中定义的参考序列之间的对应性；从当前视频剪辑j的当前帧i跳转到可用隐藏视频列表中的隐藏视频剪辑k的帧l(如图6B中例示的操作，参考SA1)，因此，如果(k+1)<＝(可用隐藏视频的数量)，则k＝k+1，否则k＝(列表中的第一个隐藏视频)；

奖励类型2 404：基于正在进行的用户表现的自动评估标准的可用性，例如，改变当前可视化的命令的时间与音轨的节奏之间的时间一致性，或者由用户组装的视频剪辑序列与在数据包中定义的参考序列之间的对应性；从当前视频剪辑j的当前帧i跳转到可用隐藏视频列表中的隐藏视频剪辑k的帧l(如图6B中例示的操作，参考SB1)，因此，如果(k+1)<＝(可用隐藏视频的数量)，则k＝k+1，否则＝(列表中的第一个隐藏视频)；

奖励类型3：基于用户发现和选择图标图像436-437(其可能覆盖在当前视频剪辑上)的能力的可用性；导致赢得奖励。提供了用于图标图像436-437显示的两个标准。第一个标准：在当前视频剪辑中的图标图像的显示完全是随机的，只要求当前视频剪辑不是第一个可视化的视频剪辑。第二个标准：每当用户到达PBVF数据包中指定的特定视频剪辑中的特定时间位置时，就会显示图标图像。

前N个407：从当前视频剪辑j的当前帧i跳转到可用视频剪辑列表320中的视频剪辑j-N(其中N<列表中的视频数量)的帧i+1(如图6A中例示的操作)，其中，如果(j-N)<1，则(j-N)＝(列表中的最后一个视频)；

下N个408：从当前视频剪辑j的当前帧i跳转到可用视频剪辑列表320中的视频剪辑j+N(其中N<可用的视频数量)的帧i+1，其中，如果(j+N)>(可用的视频数量)，则j+N＝1。

基于标签的模式

基于非同步组装方法的基于标签的操作模式，使得能够在预先同步视频剪辑的基本视频剪辑组装流程中插入根据其内容选择的视频剪辑的预索引片段。

如图5A、图5B和图5C所示，基于标签的操作模式包括用户界面装置101的命令501、502、503、504、505(简而言之，50X，其中X＝1、2、3、4、5)。

到标签X(GOTO_TAG_X)50X：从当前视频剪辑j的当前帧i跳转到与50X命令(图6C中例示的操作)和相关说明图标相关联的第一视频摘录的帧1。之前通过手动注释技术或通过视觉内容分析的自动逻辑索引的视频摘录由示例显示在界面上的视频剪辑索引、片段开始索引、片段结束索引和内容的图标统一定义，其中所有这些数据都在PBVF数据包中指定。在可用于同一命令50X和相关说明图标的多个视频摘录的情况下，每次通过同一内容图标操作命令50X时，该动作触发从当前视频剪辑j的当前帧i到与该图标相关联的下一可用视频片段的帧1。每当已经显示了与同一内容图标相关的所有视频摘录，下一个可用的视频摘录将是PVFB数据包中指定的列表中的第一个。如果与50X命令相对应的视频摘录已经结束，但没有结束主音轨，则从与在50X命令执行期间所经过的时间相对应的当前帧i+1+(以帧为单位的摘录持续时)恢复先前视频剪辑的可视化，从而保持视听同步。

尾部重复模式

尾部重复操作模式将当前视频剪辑的尾部附接到视频剪辑本身。

如图5C所示，被称为尾部重复的模式包括用户界面装置101的控件405和406。

循环405：从当前视频剪辑j的当前帧i跳转到帧i-(n x视频剪辑帧率)，重复当前视频剪辑的最后n秒(图6D中例示的操作)，其中，参数“n”由PBVF数据包指定；

反转406：将当前视频剪辑j的最后n秒以相反的顺序附加到当前帧i(图6E中例示的操作)，然后从帧i+1以正确的顺序恢复当前视频剪辑j的再现；其中，参数“n”由PBVF数据包指定。可选地，反转命令可以被配置为以反向顺序将视频剪辑j中的每个先前帧附加到当前视频剪辑j的当前帧i上，直到操作另一命令，或者第一帧的实现从第帧i+1恢复视频剪辑j的再现。

音频/视频处理模式

如图5A、图5B和图5C所示，音频/视频处理模式包括用户界面装置101的命令530。

特写或缩放530-基于用户选择的点的屏幕坐标(x，y)，与视频格式的约束兼容，执行当前视频剪辑的裁剪缩放。这些坐标成为矩形区域的几何中心，该矩形区域具有与当前视频剪辑相同的纵横比，但其侧边大小等于该矩形区域的50％。通过用细节替换整个图像，通过插值扩大该区域。如果基于选择的点，要放大的矩形区域部分地在帧外，则将其在适当的方向上平移，使其落入同一帧的限制范围内。

PBVF数据包和PBVF多媒体格式

基于表现的视频格式(PBVF)多媒体格式，也如本发明的一部分所述，是能够指定本发明的操作所需的一组信息的数据结构。

这些信息以PBVF格式通过有序列表表示，该列表可以包括各种数据类型，包括：

1)动态和静态视频剪辑321-325的有序列表，被称为资源320(以各种编码和流格式，例如mp4、avi、wmv、mms、rtsp、hls、m3u8、jpg、bmp、png等(必填数据))；

2)音轨330，被称为音频，以各种格式(例如mp3、wma、wav等(可选数据))；

3)预览图像文件，称为封面，具有各种格式(例如jpg、bmp、png、gif、动画gif等(可选数据))；

4)默认表现，被称为默认表现(可选数据)；

5)一组默认之外的其他表现，被称为表现(可选数据)；

6)从视频剪辑(321-325)和隐藏视频剪辑(351-352)开始提取的视频剪辑片段(340)的有序列表，前者可与501-505命令相关联地查看，并且后者基于奖励和/或游戏化机制(可选数据)；

7)一组图形、数字和触摸控件，被称为UI布局，可以用于修改和/或扩展基本功能(可选数据)。

下面是PBVF多媒体格式的有序列表的示例表，如上所述，该示例表是本发明的一部分。

下面是PBVF多媒体格式的有序列表的正式定义，如上所述，该正式定义是本发明的一部分。

PBVFFormat::＝SET{

sources SEQUENCE OF Source,

audio OPTIONAL Audio,

cover OPTIONAL Content,

performances OPTIONAL SEQUENCE OF Performance,

defaultPerformance OPTIONAL INTEGER,

videoSegments OPTIONAL SEQUENCE OF VideoSegment,

specialKeys OPTIONAL SEQUENCE OF SpecialKey

}

Source::＝SEQUENCE{

sourceType SourceType,

content Content,

offset OPTIONAL INTEGER

}

SourceType::ENUMERATED{

jpg (0),

png (2),

gif (3),

mp4 (4),

avi (5),

m3u8 (6),

ts (7)

}

Audio::＝SEQUENCE{

content Content

offset OPTIONAL INTEGER

}

Content::＝CHOICE{

local OCTET STRING,

remote IA5String

}

Performance::＝SEQUENCE{

sourceIndex INTEGER,

duration INTEGER,

filter OPTIONAL Filter

}

Filter::＝ENUMERATED{

steel (0),

zoomIn (1),

zoomOut (2),

tilt (3),

blur (4),

overexpose (5),

underexpose (6)

}

VideoSegment::＝SEQUENCE{

Tag UTF8String,

source Source,

start OPTIONAL INTEGER,

end OPTIONAL INTEGER

}

SpecialKey::＝SEQUENCE{

icon Content

index INTEGER

threshold INTEGER

}

作为此PBVF格式的一部分，“Performance”被定义为三元组的有序列表(sequenceOf)，其中：

-第一个被称为“SourceIndex”的元素是整数，表示“Sources”集中的索引；

-第二个被称为“duration”的元素是持续时间，以毫秒表示；

-第三个被称为“效果(effect)”的元素对视频剪辑的即时处理效果进行编码，例如，特写、倾斜、模糊、空、过度曝光、曝光不足等。

PBVF数据包构成了由格式本身定义的数据结构的单个实例，它既可以用作记录新的原始表现的基础，也可以用作被动再现的视听内容特征的正式描述。因此，PBVF数据包可以由第三方通过网络平台上的创作进程来创建，或者通过以下部分中描述的该系统和方法在根据本发明的设备100上本地生成。

PBVF数据包的本地创作

如图7A所示，本发明的本地创作软件组件数据包创建器110被配置为用于直接在设备100上创建符合PBVF格式的数据包，从本地可用的源视频和音轨的列表开始，并通过原始进程，该原始进程包括以下步骤：

-主要音轨(主要音轨)的选择260和可能的修剪261、262，其持续时间还定义了要添加到数据包中的视频剪辑的持续时间；

-在PBVF数据包中选择和添加新视频剪辑321-325的264、265、266、267、268、269、270、271，该操作可以根据需要重复。从源视频266提取片段以组装新的视频剪辑是基于图7B中示意性示出的进程的原始组装方法。该方法从尚未插入到数据包中的视频开始，或者在已经用相机设备记录了视频之后，使得能够组装新的视频剪辑，该新的视频剪辑持续时间与主要音轨的持续时间相对应，以包括在数据包的源320视频剪辑列表中；

-选择和添加可选元素272，273，例如封面、预览等，这可以丰富数据包；

-在PBVF数据包或者能够封装并以PBVF格式274编码，这允许数据包用于从数据包320中指定的所述视频剪辑321-325开始，通过表现(图2)创建新的原始视听内容301。

由此获得的数据包可以用于再现默认表现380，或者用于从添加了该PBVF数据包创作进程的视频剪辑321-325开始记录新的唯一表现。

图8示出在PBVF数据包的本地创作期间源视频的片段的组装阶段(也在图7B中示出)中的可能的控制接口的示意图，包括屏幕或显示器101、用于开始回放所选源视频的命令250、命令251(例如具有“开始选择”标签)用于在当前源视频的回放期间开始/停止主要音轨回放801和当前视频片段入点/结束点设置。

如上所述，要添加到PBVF数据包的新视频剪辑的选择和添加基于原始进程，该进程包括图7B中所示的以下步骤：

-用户通过手势或触摸界面命令开始源视频再现264、284；

-您一旦按下另一个手势或触摸命令，主要音轨285、286的再现就开始并继续，只要按下该命令，并且开始视频片段的入点选择，以附加到结果视频；

-通过释放按钮开始/停止，停止主要音轨再现，并设置分段视频结束点。在继续源视频288再现的同时，如果还没有到达结尾，则入点与结束点之间的源视频的片段成为要插入287到PBVF数据包中的新视频剪辑的第一段；

-使用相同的命令251，可以恢复主要音轨285、286的再现，同时定义当前视频剪辑段的入点/结束点设置，并将所选的源视频片段附加到前一段，其入点和结束点由最后两个开始/停止命令的连续定义；

-进程继续，直到主要音轨或源视频已经结束289、290。在主要音轨未结束的情况下，通过从开始重复帧并将其级联，直到达到主要音轨的确切持续时间从而延长组装视频的潜在不足的持续时间；

-可选地，如图7C所示，如果源视频也包含其自己的音轨，则可以选择与主要音轨相同的混合模式，而不是删除第一个。

总之，本发明的本质在于向用户提供一种工具，用于通过在收听音轨的同时即时组装视频剪辑来生成原始最终组装的视频301。最终组装的视频是从数据包中可用的各种视频剪辑中提取的视频剪辑片段的交互选择的结果，由用户通过用户界面中可用的命令进行操作，其确定视频剪辑片段301的最终组装的视频序列，被命名为表现。

在实践中，已经发现本发明完全实现了预期的目的和目标。具体地，已经看到用于通过用户表现即时组装视频剪辑的系统和方法因此如何允许克服已知技术的定性限制，因为它们允许以更低的成本和更高的性能获得比使用已知解决方案所能获得的结果更好的结果和/或类似结果。

根据本发明的用于通过用户表现即时组装视频剪辑的系统和方法的优点在于，它们促进并允许创造性的和受音乐启发的方法来制作视频，被设计用于这一目的涉及提供的功能、操作范例和用户界面。

根据本发明的用于通过用户表现即时组装视频剪辑的系统和方法的另一优点在于，它们提供了通过由用户表现操作的视频剪辑的实时组装来创建原始视频的特定手段和方法。

根据本发明的用于通过用户表现即时组装视频剪辑的系统和方法的进一步优点在于，可以根据奖励方法评估用户表现，可能允许访问额外的视听内容。

此外，根据本发明的用于通过用户表现即时组装视频剪辑的系统和方法的优点在于，用户进行的每一个单独的记录会话都是唯一的，完全基于由同一用户进行的即时视觉-声学感知，基于手势交互，该手势交互永远无法完全重复，并且这可能会影响视听内容的可用性。

尽管根据本发明的用于通过用户表现即时组装视频剪辑的系统和方法已经特别针对提供游戏体验的视听应用领域而设计，但它们仍然可以更普遍地用于现场视频编辑和数字广告应用领域，将PBVF配置为一种新型的交互式视频广告格式。

如此构思的本发明可以进行多种修改和变型，所有这些修改和变型都在所附权利要求的范围之内。此外，所有细节都可以用其他技术上等效的元素代替。

在实践中，所使用的材料，只要它们与具体用途以及偶然的形状和尺寸相适应，就可以根据需要和最新技术的任何材料。

综上所述，权利要求的保护范围不应受到描述中以示例形式示出的优选说明或实施方式的限制，而是权利要求必须包括本发明中的所有可申请专利的新颖性特征，包括本领域专家将视为等效的所有特征。

本申请要求优先权的意大利专利申请号102019000004823中的公开通过引用并入本文。

权利要求书中记载的技术特征后附有附图标签的，包括这些参考符号的唯一目的是增加权利要求的可理解性，因此，这些参考符号对通过这些参考符号作为示例识别的每个元素的解释没有任何限制作用。

Claims

1.一种用于通过表现即时级联视频内容项的系统，包括由用户操作的设备(100)，其中，所述设备(100)包括：

-用户界面装置(101)，被配置用于与所述用户进行输入和输出交互；

-处理单元(103)和存储器(104)，被配置用于通过将从多个源视频内容项(321-325)中提取的多个视频片段一个接一个地级联，来创建视频内容项(301)；以及

-I/O单元(105)，被配置用于本地或经由远程通信网络访问所述多个源视频内容项(321-325)；

所述用户界面装置(101)被配置为检测由所述用户执行的手动级联命令(401-408、500-505)的序列，并且一个接一个地播放从所述多个源视频内容项(321-325)中提取的所述多个视频片段，视频片段的显示顺序由所述手动级联命令(401-408、500-505)的序列定义；

所述处理单元(103)和所述存储器(104)被配置为一个接一个地记录从所述多个源视频内容项(321-325)中提取的所述多个视频片段，从而产生所述视频内容项(301)，所述视频片段的记录顺序由所述手动级联命令(401-408、500-505)的序列定义；

其中，所述手动级联命令(401-408、500-505)的检测导致从当前显示和记录的第一源视频内容项(321-325)转换到第二源视频内容项(321-325)。

2.根据权利要求1所述的用于通过表现即时级联视频内容项的系统，其中，所述设备(100)还包括扩音器(102)，所述扩音器(102)被配置为播放音频内容项(330)，所述I/O单元(105)被配置用于本地或经由所述远程通信网络访问所述音频内容项(330)，所述处理单元(103)和所述存储器(104)被配置为与所述视频内容项(301)相结合地记录所述音频内容项(330)，所述视频内容项包括从所述多个源视频内容项(321-325)中提取的所述多个视频片段。

3.根据前述权利要求中任一项所述的用于通过表现即时级联视频内容项的系统，还包括：

-云服务器上的存储单元(108)，被配置用于存储所述多个源视频内容项(321-325)和可选的所述音频内容项(330)；以及

-云服务器上的视频处理和生成单元(109)，被配置用于将所述多个源视频内容项(321-325)和可选的所述音频内容项(330)朝向所述设备(100)流式传输。

4.根据前述权利要求中任一项所述的用于通过表现即时级联视频内容项的系统，还包括用于在云服务器上进行创作及发布的网络平台(107)，所述网络平台(107)被配置用于创建数据包、并且用于发布所述数据包，所述数据包定义所述多个源视频内容项(321-325)、可选的所述音频内容项(330)、所述手动级联命令(401-408、500-505)的序列和其他功能。

5.根据前述权利要求中任一项所述的用于通过表现即时级联视频内容项的系统，还包括用于在所述设备(100)上进行本地创作的进程，所述进程被配置为创建数据包，所述数据包定义所述多个源视频内容项(321-325)、可选的所述音频内容项(330)、所述手动级联命令(401-408、500-505)的序列和其他功能。

6.根据权利要求4和5中任一项所述的用于通过表现即时级联视频内容项的系统，其中，所述数据包根据被命名为基于表现的视频格式PBVF的多媒体呈现格式定义，所述数据包的形式如下：

7.根据前述权利要求中任一项所述的用于通过表现即时级联视频内容项的系统，还包括逻辑系统，所述逻辑系统用于使所述多个源视频内容项(321-325)和可选的所述音频内容项(330)的隐藏部分能够根据基于对所述手动级联命令(401-408、500-505)的序列的评估的奖励标准而被访问。

8.根据前述权利要求中任一项所述的用于通过表现即时级联视频内容项的系统，其中，所述设备(100)的所述用户界面装置(101)根据被称为标签模式的操作模式通过相应的命令(501，502，503，504，505)和相关联的图形布局而配置，所述标签模式允许选择性地插入从所述多个源视频内容项(321-325)中提取的视频片段，所述视频片段之前在用于数据包的创作进程期间通过手动注释或通过用于帧分析的自动方法来进行索引。

9.根据前述权利要求中任一项所述的用于通过表现即时级联视频内容项的系统，其中，所述设备(100)的所述用户界面装置(101)根据被称为重复模式的操作模式通过对应的命令(405、406)和相关联的图形布局而配置，所述重复模式允许重复当前所显示和记录的源视频内容(321-325)的最后部分，所述重复模式可选地改变帧的顺序。

10.一种用于通过表现即时级联视频内容项的方法，所述方法通过由用户操作的设备(100)，所述方法包括以下所述步骤：

-通过所述设备(100)的I/O单元(105)，本地或经由远程通信网络访问多个源视频内容项(321-325)；

-通过所述设备(100)的用户界面装置(101)检测由所述用户执行的手动级联命令(401-408、500-505)的序列；

-借助于所述设备(100)的所述用户界面装置(101)，一个接一个地播放从所述多个源视频内容项(321-325)中提取的多个视频片段，视频片段的显示顺序由所述手动级联命令(401-408、500-505)的序列定义；并且

-通过所述设备(100)的处理单元(103)和存储器(104)，一个接一个地记录从所述多个源视频内容项(321-325)中提取的所述多个视频片段，从而产生视频内容(301)，所述视频片段的记录顺序由所述手动级联命令(401-408、500-505)的序列定义；

11.根据权利要求7所述的用于通过表现即时级联视频内容项的方法，还包括以下所述步骤：

-通过所述设备(100)的所述I/O单元(105)，本地或经由所述远程通信网络访问音频内容项(330)；

-通过所述设备(100)的扩音器(102)，播放所述音频内容项(330)；并且

-通过所述设备(100)的所述处理单元(103)和所述存储器(104)，与所述视频内容项(301)相结合地记录所述音频内容项(330)，所述视频内容项包括从所述多个源视频内容项(321-325)中提取的所述多个视频片段。

12.根据权利要求7和8中任一项所述的用于通过表现即时级联视频内容项的方法，还包括以下所述步骤：

-通过云服务器上的存储单元(108)，存储所述多个源视频内容项(321-325)和可选的所述音频内容项(330)；并且

-通过云服务器上的视频处理和生成单元(109)，将所述多个源视频内容项(321-325)和可选的所述音频内容项(330)朝向所述设备(100)以流模式进行传输。

13.根据权利要求7至9中任一项所述的用于通过表现即时级联视频内容项的方法，还包括以下所述步骤：

-通过用于在云服务器上进行创作及发布的网络平台(107)，创建数据包，所述数据包定义所述多个源视频内容项(321-325)、可选的所述音频内容项(330)、所述手动级联命令(401-408、500-505)的序列和其他功能；并且

-通过所述用于在云服务器上进行创作及发布的网络平台(107)，发布所述数据包。

14.根据权利要求7至10中任一项所述的用于通过表现即时级联视频内容项的方法，还包括以下所述步骤：

-通过用于在所述设备(100)上进行本地创作的进程，创建数据包，所述数据包定义所述多个源视频内容项(321-325)、可选的所述音频内容项(330)、所述手动级联命令(401-408、500-505)的序列和其他功能；并且

-经由所述用于在云服务器上进行创作及发布的网络平台(107)，发布所述数据包。

15.根据权利要求4和5中任一项所述的用于通过表现即时级联视频内容项的方法，其中，所述数据包根据被命名为基于表现的视频格式PBVF的多媒体呈现格式定义，所述数据包的形式如下：

Audio::＝SEQUENCE{

content Content

offset OPTIONAL INTEGER

}

16.根据权利要求7至11中任一项所述的用于通过表现即时级联视频内容项的方法，还包括逻辑系统，所述逻辑系统用于使所述多个源视频内容项(321-325)和可选的所述音频内容项(330)的隐藏部分能够根据基于对所述手动级联命令(401-408、500-505)的序列的评估的奖励标准而被访问。