CN114746941A - 用于向视频添加虚拟音频标签的系统和方法 - Google Patents

Abstract

公开了用于向视频添加虚拟音频标签的系统和方法。一般而言，公开的一个方面特征在于一种方法，该方法包括：编辑视频以创建编辑后的视频，该编辑包括：在电子设备的显示屏的视频面板中播放视频，当视频在视频面板中播放时，接收在视频中的特定时间的用户输入，其中用户输入包括在视频面板中的特定位置处的触摸，以及响应于用户输入，向视频添加虚拟音频标签，其中该虚拟音频标签包括：图像和音频剪辑。

Description

用于向视频添加虚拟音频标签的系统和方法

相关技术的描述

本公开总体上涉及视频编辑。

概述

一般而言，公开的一个方面特征在于一种系统，该系统包括：硬件处理器；以及非暂时性机器可读存储介质，该机器可读存储介质编码有能够由硬件处理器执行以执行一种方法的指令，该方法包括：编辑视频以创建编辑后的视频，该编辑包括：在电子设备的显示屏的视频面板中播放视频，当该视频在视频面板中播放时，接收在视频中的特定时间的用户输入，其中用户输入包括在视频面板中的特定位置处的触摸，以及响应于用户输入，向视频添加虚拟音频标签，其中该虚拟音频标签包括：图像和音频剪辑。

系统的实施例可以包括下列特征中的一个或更多个。一些实施例包括播放编辑后的视频，包括：在视频中的特定时间开始显示图像，其中图像在视频面板中的特定位置处叠加在视频上，以及在视频中的特定时间开始播放音频剪辑。在一些实施例中，播放编辑后的视频还包括：响应于音频剪辑结束从视频中移除图像。在一些实施例中，该方法还包括以下项之一：播放音频剪辑而不是视频的音频轨道；或者播放音频剪辑和视频的音频轨道。在一些实施例中，编辑视频还包括：接收在视频中的第二特定时间的附加的用户输入；以及响应于附加的用户输入，在视频中的第二特定时间从视频中移除虚拟音频标签。在一些实施例中，编辑视频还包括：在显示屏的虚拟音频标签面板中显示虚拟音频标签和多个另外的虚拟音频标签，其中用户输入包括在虚拟音频标签面板中的虚拟音频标签的位置处的附加触摸；以及响应于在虚拟音频标签的位置处的附加触摸，选择虚拟音频标签。在一些实施例中，编辑视频还包括：响应于虚拟音频标签被选择，播放虚拟音频标签的音频剪辑。

一般而言，公开的一个方面的特征在于一种非暂时性机器可读存储介质，其编码有能够由计算部件的硬件处理器执行的指令，该机器可读存储介质包括用于使硬件处理器执行包括以下步骤的方法的指令：编辑视频以创建编辑后的视频，该编辑包括：在电子设备的显示屏的视频面板中播放视频，当视频在视频面板中播放时，接收在视频中的特定时间的用户输入，其中用户输入包括在视频面板中的特定位置处的触摸，以及响应于用户输入，向视频添加虚拟音频标签，其中该虚拟音频标签包括：图像和音频剪辑。

介质的实施例可以包括下列特征中的一个或更多个。在一些实施例中，该方法还包括：播放编辑后的视频，包括：在视频中的特定时间开始显示图像，其中图像在视频面板中的特定位置处叠加在视频上，以及在视频中的特定时间开始播放音频剪辑。在一些实施例中，播放编辑后的视频还包括：响应于音频剪辑结束从视频中移除图像。在一些实施例中，方法还包括以下项之一：播放音频剪辑而不是视频的音频轨道；或者播放音频剪辑和视频的音频轨道。在一些实施例中，编辑视频还包括：接收在视频中的第二特定时间的附加的用户输入；以及响应于附加的用户输入，在视频中的第二特定时间从视频中移除虚拟音频标签。在一些实施例中，编辑视频还包括：在显示屏的虚拟音频标签面板中显示虚拟音频标签和多个另外的虚拟音频标签，其中用户输入包括在虚拟音频标签面板中的虚拟音频标签的位置处的附加触摸；以及响应于在虚拟音频标签的位置处的附加触摸，选择虚拟音频标签。在一些实施例中，编辑视频还包括：响应于虚拟音频标签被选择，播放虚拟音频标签的音频剪辑。

一般而言，公开的一个方面特征在于一种方法，该方法包括：编辑视频以创建编辑后的视频，该编辑包括：在电子设备的显示屏的视频面板中播放视频，当视频在视频面板中播放时，接收在视频中的特定时间的用户输入，其中用户输入包括在视频面板中的特定位置处的触摸，以及响应于用户输入，向视频添加虚拟音频标签，其中该虚拟音频标签包括：图像和音频剪辑。

方法的实施例可以包括下列特征中的一个或更多个。一些实施例包括播放编辑后的视频，包括：在视频中的特定时间开始显示图像，其中图像在视频面板中的特定位置处叠加在视频上，以及在视频中的特定时间开始播放音频剪辑。一些实施例包括播放编辑后的视频，还包括：响应于音频剪辑结束从视频中移除图像。一些实施例包括播放音频剪辑而不是视频的音频轨道；或者播放音频剪辑和视频的音频轨道。在一些实施例中，编辑视频还包括：接收在视频中的第二特定时间的附加的用户输入；以及响应于附加的用户输入，在视频中的第二特定时间从视频中移除虚拟音频标签。在一些实施例中，编辑视频还包括：在显示屏的虚拟音频标签面板中显示虚拟音频标签和多个另外的虚拟音频标签，其中用户输入包括在虚拟音频标签面板中的虚拟音频标签的位置处的附加触摸；以及响应于在虚拟音频标签的位置处的附加触摸，选择虚拟音频标签。

附图简述

参考以下附图详细描述了根据一个或更多个不同实施例的本公开。提供这些图仅用于说明的目的并且仅描绘典型的或示例的实施例。

图1示出了根据所公开技术的实施例的在视频编辑过程开始时可以显示在显示屏上的初始显示内容(display)。

图2示出了根据所公开技术的实施例的在编辑所选择的视频时可以生成的两个显示内容。

图3示出了根据所公开技术的实施例的当用户操作标签标记(tab)204时可以生成的显示内容。

图4示出了根据所公开技术的实施例的在用户向视频添加虚拟音频标签时可以生成的显示内容。

图5示出了根据所公开技术的实施例的在播放编辑后的视频时可以生成的显示内容。

图6示出了根据所公开技术的实施例的在播放编辑后的视频时可以在图5的显示内容之后生成的显示内容。

图7示出了根据所公开技术的实施例的在编辑视频期间可以生成的显示内容。

图8示出了根据所公开技术的实施例的在分享编辑后的视频期间可以生成的显示内容。

图9示出了根据所公开技术的实施例的在编辑、播放和分享视频的同时可以执行的过程。

图10示出了根据所公开技术的实施例的用于编辑视频以添加虚拟音频标签的过程。

图11示出了根据所公开技术的实施例的用于播放已被编辑以包括虚拟音频标签的视频的过程。

图12示出了根据所公开技术的实施例的内部时间线。

图13示出了根据所公开技术的一些实施例的虚拟音频标签的示例属性。

图14描绘了其中可以实现本文描述的各种实施例的示例计算机系统的框图。

附图不是详尽的且不将本公开限于所公开的精确形式。

详细描述

视频分享是一种越来越流行的虚拟交互形式，如在社交媒体平台上最近出现和传播的内容(例如GIF、表情包(meme)和相关特征)就证明了这一点。并且人们一直在寻找使他们的内容更具娱乐性的方法(例如通过向他们的视频添加附件)。

一种类型的视频附件是虚拟标签。虚拟标签是可以叠加在部分或全部视频上的图形图像。可以使用任何种类的图像，例如包括图画、卡通图像、照片、视频等。一种类型的虚拟标签是虚拟音频标签，其包括图形图像和音频剪辑。虚拟音频标签可以在视频中的选定时间和视频显示中的选定位置添加到视频。当播放编辑后的视频并到达选定的时间时，图形图像显示在选定的位置，并且音频剪辑被播放。

虽然虚拟音频标签已经被证明是非常流行的，但是目前可用于向视频添加虚拟音频标签的工具通常是复杂的、昂贵的和/或繁琐的。特别地，这些工具通常在编辑过程期间生成并与视频一起显示视频时间线。为了向视频添加虚拟音频标签，用户需要操作视频时间线，例如以选择视频中的特定帧。当视频在选定的视频帧处暂停时，用户可以向视频轨道添加虚拟音频标签，并且可以向视频的音频轨道添加音频剪辑。这类工具的复杂性需要专家知识和大量时间来完成将虚拟音频标签添加到短视频以与朋友分享的过程。这种复杂性构成了入门的障碍，其高到足以阻止许多用户享受这些表达自己并娱乐他们的朋友的愉快方式。

所公开技术的实施例通过提供简单且快速使用的轻量级视频编辑工具来解决上述问题。在一些实施例中，该工具允许用户在视频播放时向视频添加虚拟音频标签，而不使用时间线。根据这些实施例，用户在其选择的时间和位置将虚拟音频标签拖动到视频的显示上。在一些实施例中，视频连续循环。随着视频循环，用户可以继续编辑视频。例如，用户可以将虚拟音频标签拖动到视频中的不同时间或位置。作为另一示例，用户可以在特定时间从视频中移除虚拟音频标签，从而定义虚拟音频标签的持续时间。在其他实施例中，一旦虚拟音频标签的音频剪辑结束，则该虚拟音频标签可以自动消失。

在一些实施例中，虚拟音频标签的音频剪辑可以替换视频的音频轨道。在其他实施例中，音频剪辑和音频轨道可以一起播放。在一些实施例中，当虚拟音频标签的音频剪辑播放时，视频的音频轨道的音频电平可以降低。在另外的其他实施例中，虚拟音频标签可以包括音频效果，其修改视频的音频。例如，音频效果可以导致视频中的语音发出回声、听起来像机器人等。

在一些实施例中，可以在音频标签面板中显示预定义虚拟音频标签的集合。在一些实施例中，用户可以通过简单地选择(例如，触摸)该虚拟音频标签来收听虚拟音频标签面板中的虚拟音频标签的音频剪辑。用户可以通过配对图像和音频剪辑(这两者都可以由用户预定义或提供)来定义他们自己的定制虚拟音频标签。

这些特征提供了简单且容易使用的视频编辑工具。通过消除视频编辑时间线的使用，该工具降低了操作该工具所需的复杂性和知识。并且通过允许用户在视频播放时编辑该视频，该工具减少了编辑视频所需的时间。

图1-图9示出了根据所公开技术的实施例的在编辑视频以添加虚拟音频标签时和播放编辑后的视频时电子设备可能产生的显示内容。该电子设备可以被实现为能够执行这些过程并具有能够产生这些显示内容的显示屏的任何设备。例如，电子设备可以被实现为智能手机、平板计算机、膝上型计算机、台式计算机等。在所描述的实施例中，电子设备被描述为具有触摸屏，并且用户输入被描述为手势。然而，应当理解，对于不具有触摸屏的电子设备，所描述的用户输入可以使用其他输入/输出设备(例如，包括鼠标、轨迹球、触摸板、操纵杆、键盘等)来提供。

图1示出了根据所公开技术的实施例的在视频编辑过程开始时可以显示在显示屏102上的初始显示内容100。参考图1，显示内容100可以包括诸如“选择或记录视频”的消息104，其提示用户选择用于编辑的视频。显示内容100还可以包括多个图标106a和106b。相机图标106a可以被选择来记录新视频以用于立即编辑。可以选择花图标106b以选择先前记录的视频用于编辑。先前记录的视频不仅可以包括由电子设备记录的视频，而且可以包括由朋友分享的视频等。但是，尽管在图1中示出了消息104和图标106的特定布置，但是应该理解，可以采用这些和/或其他显示元素的任何合适的布置。

图2示出了根据所公开技术的实施例的在编辑选定的视频时可以生成的两个显示内容200a和200b。在图2的示例中，视频描绘了一个人在显示内容200a中奔跑，然后在显示内容200b中在香蕉皮上滑倒。视频在视频面板202中播放。应当注意的是，未示出或不需要视频时间线。视频自动重复，例如在循环模式下，通过在到达其结尾时从开头自动重放该视频重复，如206处的箭头一般所示。显示内容200可以包括标签标记204，标签标记204可以被选择以暴露一个或更多个虚拟音频标签。

图3示出了根据所公开技术的实施例的当用户操作标签标记204时可以生成的显示内容300。例如，当使用智能手机编辑视频时，用户可以向上滑动标签标记204。响应于该手势，可以显示标签面板302。标签面板302可以显示为半透明，使得可以通过标签面板看到视频。

标签面板302可以包括虚拟音频标签库，例如如图3所示。虚拟音频标签库可以包括视频编辑工具附带的虚拟音频标签，以及由用户创建的虚拟音频标签。一些实施例可以以访问网络库为特征，其中用户可以在网络库上分享其虚拟音频标签，并获得由其他人创建的虚拟音频标签。在一些实施例中，标签面板302可以包括“复位”按钮304，当被触摸时，该按钮304移除用户添加的所有虚拟音频标签，从而将视频恢复到其原始状态。

图4示出了根据所公开技术的实施例的在用户向视频添加虚拟音频标签时可以生成的显示内容400。在该示例中，用户已经选择了具有闪电图像的虚拟音频标签402，并且已经将该标签402移动到显示内容400中的选定位置，如在404处一般所示。在一些实施例中，该编辑可以在视频正在播放时进行。在这样的实施例中，用户可以用单个手势选择虚拟音频标签的开始时间和显示位置。例如，手势可以是简单的向上滑动(或拖放)，如图4的示例中一样。在一些实施例中，标签面板302可以在添加虚拟音频标签的同时保持可见和半透明。在其他实施例中，当添加虚拟音频标签时，标签面板302可以变得甚至更加半透明，或者可以完全消失(如图4所示)，例如以便于将虚拟音频标签放置在原本可能被标签面板302以某种程度遮挡的视频部分中。在其他实施例中，可以在添加虚拟音频标签时减小视频的大小，使得视频显示在标签面板302上方。

图5示出了根据所公开技术的实施例的在播放编辑后的视频时可以生成的显示内容500。特别地，显示内容500示出了在虚拟音频标签402被添加到视频的时刻的编辑视频。此刻，虚拟音频标签402出现在选定位置，并且其音频剪辑开始播放。例如，音频剪辑可以包括悲伤的长号声音。在该示例中，虚拟音频标签402通过预示令人感兴趣的发展来增强视频。

图6示出了根据所公开技术的实施例的在播放编辑后的视频时可以在图5的显示内容500之后生成的显示内容600。特别地，图6的显示内容600示出了虚拟音频标签402的音频剪辑结束时刻的编辑后的视频。在所描绘的实施例中，当音频剪辑结束时，虚拟音频标签402被自动移除。然而，在其他实施例中，可以使用其他技术来移除虚拟音频标签402。

在图5和图6的示例中，标签面板302保持可见和半透明，因此用户可以向视频添加另外的虚拟音频标签。在其他实施例中，在添加虚拟音频标签之后，可以最小化标签面板302。在这样的实施例中，图2的标签标记204可以在标签面板302被最小化时出现，并且用户可以通过选择标签标记204再次打开标签面板。

图7示出了根据所公开技术的实施例的在编辑视频期间可以生成的显示内容700。在该示例中，用户手动移除虚拟音频标签402，如在702处一般所示。在一些实施例中，该编辑可以在视频正在播放时进行。在这样的实施例中，用户可以用单个手势来选择移除虚拟音频标签的时间。例如，手势可以是向下滑动，如图7所示。然而，应当理解，可以使用其他手势来从视频中手动移除虚拟音频标签。

在一些实施例中，标签面板302可以在移除或编辑虚拟音频标签时保持可见和半透明。在其他实施例中，当移除或编辑虚拟音频标签时，标签面板302可以变得甚至更加半透明，或者如图7所示可以完全消失。在其他实施例中，可以在移除或编辑虚拟音频标签时减小视频的大小，使得视频显示在标签面板302上方。

图8示出了根据所公开技术的实施例的在分享编辑后的视频期间可以生成的显示内容800。参考图8，显示内容800可以包括表示分享编辑后的视频的不同方式的多个图标。在图8的示例中，图标包括下载图标802，该下载图标802可以被选择以将编辑后的视频下载到电子设备的本地储存器中。然而，可以采用任何分享方法。例如，分享方法可以包括将编辑后的视频发布到社交媒体站点、例如通过文本消息或电子邮件将编辑后的视频直接传送给一个或更多个其他用户等。

图9-图11示出了根据所公开技术的实施例的过程。尽管在所公开的实施例中，以特定顺序描绘和描述了这些过程的元素，但应当理解，各种过程元素可以以其他顺序执行，可以并行执行，可以省略，以及它们的组合。此外，各种过程元素可以由电子设备本地执行，可以相对于电子设备远程执行(例如在云计算系统中执行)，并且可以通过这些技术的组合来执行。

图9示出了根据所公开技术的实施例的可以在编辑、播放和分享视频时执行的过程900。参考图9，在902，过程900可以从选择或记录用于编辑的视频开始。例如，参考图1，用户可以通过在视频选择显示内容100中选择对应的图标106来选择或记录用于编辑的视频。

再次参考图9，响应于视频的选择，在904处可以播放该视频。例如，再次参考图1，视频可以在电子设备的视频面板202中播放。在一些实施例中，视频可以以重复模式播放。可以使用任何重复模式。例如，视频可以在诸如正向循环或反向循环的循环中播放。在另一示例中，视频可以以“回旋镖(boomerang)”模式播放，在该“回旋镖”模式中，视频正向播放，然后反向播放，然后正向播放，以此类推。

再次参考图9，在906，用户可以编辑视频以创建编辑后的视频，如下面参考图10详细描述的那样。然后，在908，用户可以播放编辑后的视频，如下面参考图11详细描述的那样。在910，用户还可以保存和/或分享编辑后的视频。例如，再次参考图8，用户可以通过选择显示内容800中的下载图标802来下载编辑后的视频。

图10示出了根据所公开技术的实施例的关于通过添加虚拟音频标签来编辑视频的过程1000。参考图10，过程1000可以包括在1002在电子设备的显示屏的视频面板中播放视频。例如，参考图2，视频可以以重复模式播放，例如如上所述。

再次参考图10，过程1000可以包括在1004在显示屏的虚拟音频标签面板中显示多个虚拟音频标签。例如，参考图3，虚拟音频标签面板302可以响应于用户选择标签标记204而被显示。在一些实施例中，虚拟音频标签面板302可以包含比一次能够示出的虚拟音频标签更多的虚拟音频标签。在这样的实施例中，用户可以滚动虚拟音频标签面板302以揭示附加的虚拟音频标签。

再次参考图10，过程1000可以包括：在1006，当视频在视频面板中播放时，响应于在虚拟音频标签面板中所示的虚拟音频标签之一的位置处的触摸，选择虚拟音频标签之一。在一些实施例中，响应于对虚拟音频标签之一的选择，可以播放与该虚拟音频标签相关联的音频剪辑。例如，用户可以轻击(tap)特定的虚拟音频标签以听到其音频剪辑。以这种方式，用户可以根据虚拟音频标签的音频剪辑来选择虚拟音频标签。

再次参考图10，过程1000可以包括当视频在视频面板中播放时，接收在视频中的特定时间的第一用户输入。在1008，用户输入可以包括在视频面板中的特定位置处的触摸。例如，参考图4，触摸可以是用于选择虚拟音频标签的手势(例如在404处一般示出的向上滑动手势)的一部分。在另一示例中，触摸可以独立于用于选择虚拟音频标签的触摸。也就是说，用户可以轻击虚拟音频标签面板302中的虚拟音频标签402以选择该虚拟音频标签402，然后可以轻击视频面板中的位置以将虚拟音频标签402放置在视频中。然而，任何手势或手势的组合可以用于选择虚拟音频标签并且将该虚拟音频标签放置在视频中。

再次参考图10，过程1000可以包括在1010响应于第一用户输入将所选择的虚拟音频标签添加到视频中。例如，再次参考图5，响应于第一用户输入，已将虚拟音频标签402添加到视频中。特别地，虚拟音频标签402已经在由用户输入指示的时间和位置添加到视频中。如上所述，每个虚拟音频标签包括图像和音频剪辑。

在一些实施例中，用户可以选择从视频中移除虚拟音频标签的时间。再次参考图10，过程1000可以包括在1012接收在视频中的第二特定时间的第二用户输入，以及响应于第二用户输入，在1014在视频中的第二特定时间从视频中移除虚拟音频标签。例如，再次参考图7，用户输入导致先前添加到视频中的虚拟音频标签402从视频中被移除。在图7的示例中，用户输入是向下滑动手势。但是，可以采用任何手势。例如，用户可以通过简单地轻击虚拟音频标签一次来从视频中移除虚拟音频标签。

在一些实施例中，在用户输入开始时从视频中移除虚拟音频标签。例如，在向下滑动手势的情况下，虚拟音频标签可以在手势开始时从视频中移除。在其他实施例中，虚拟音频标签可以在用户输入结束时从视频中移除。例如，在触摸手势的情况下，当用户将其手指从显示内容上抬起时，可以从视频中移除虚拟音频标签。考虑了其他手势、手势定时及其组合。

在一些实施例中，可以选择各种效果来添加和/或移除虚拟音频标签的图像。例如，图像可以淡入、淡出、展开、收缩、弹出等。可以例如通过在虚拟音频标签已经被添加到视频之后对该虚拟音频标签施加长按手势来选择这些特征。

在一些实施例中，可以选择各种效果来显示与虚拟音频标签相关联的图像。例如，在图像显示期间的任何时间，用户可以对图像施加摆动手势，从而导致图像在该时间期间摆动。作为另一示例，用户可以例如通过使用两指放大或缩小手势来改变图像的大小。用户可以在将音频标签添加到视频时或在将音频标签添加到视频后进行这些改变。

所公开技术的实施例不限于用于虚拟音频标签的二维视频或二维图像。例如，可以在虚拟现实或增强现实环境中实现上述技术。在这样的实施例中，与虚拟音频标签相关联的图像可以被实现为三维对象。

在一些实施例中，用户可以独立于图像的持续时间来控制音频剪辑的播放。例如，用户可以使音频淡入、淡出、晚开始、早结束等。用户可以在将虚拟音频标签添加到视频时或在将虚拟音频标签添加到视频后控制音频剪辑的播放。例如，用户可以采用三指放大或缩小手势来改变音频剪辑。

在一些实施例中，用户可以选择从视频中移除与虚拟音频标签相关联的图像的方式。例如，用户可以轻击虚拟音频标签以使图像简单地消失。作为另一示例，用户可以沿着滑动的路径将虚拟音频标签从显示内容滑出以使图像从显示面板滑出。在一些实施例中，用户可以重新定位虚拟音频标签，使得当播放编辑后的视频时，图像将改变位置，在视频中四处移动等。例如，再次参考图6，用户可以使图像：在人在香蕉皮上滑倒之前跟随该人，向香蕉皮移动，围着香蕉皮转圈等。可以应用类似的技术来选择将与虚拟音频标签相关联的图像添加到视频的方式。

图11示出了根据所公开技术的实施例的用于播放已经被编辑以包括虚拟音频标签的视频的过程1100。参考图11，过程1100可以包括在1002在电子设备的显示屏的视频面板中播放视频。例如，再次参考图2，视频可以以重复模式播放，例如如上所述。

如上所述，虚拟音频标签包括图像和音频剪辑。再次参考图11，过程1100可以包括在1104显示图像和在1106播放音频剪辑，两者都在由编辑视频的用户选择的开始时间开始。例如，参考图5，与虚拟音频标签402相关联的图像恰好在人在香蕉皮上滑倒之前出现。与虚拟音频标签402相关联的音频剪辑在同一时间开始播放。

再次参考图11，过程1100可以包括响应于与音频标签相关联的音频剪辑结束，从视频中移除与音频标签相关联的图像。例如，再次参考图6，当人在香蕉皮上滑倒时，当相关联的音频剪辑结束，与虚拟音频标签402相关联的图像消失。

但是如上所述，用户可以手动移除虚拟音频标签。在一些实施例中，用户可以允许在移除虚拟音频标签之后继续播放音频剪辑。在一些实施例中，当移除虚拟音频标签时，用户可以停止播放音频剪辑。在一些实施例中，用户可以通过使用用于移除虚拟音频标签的适当手势来选择这些选项中的一个。例如，用户可以在图像被移除时在虚拟音频标签的图像上向右滑动以停止音频剪辑，并且可以在图像被移除后向左滑动以允许音频剪辑继续播放。

在一些实施例中，音频标签的定时和/或放置可以由工具自动选择。例如，该工具可以包括“审查(censorship)”特征，该“审查”特征扫描视频的音频并在检测到该音频中的特定关键词时，自动向视频添加虚拟音频标签。在一些实施例中，该特征可以识别关键词的说话者，并且可以自动地将虚拟音频标签的图像放置在视频中的说话者的图像上。例如，图像可以包括单词“censored(被审查的)”，并且可以被放置以便使说话者的嘴模糊。音频剪辑可能是“哔哔(bleep)”声，随后是零星的然后热烈的掌声。

该特征可以对音频剪辑进行定时以完全使音频中的关键词模糊，或者可以仅使音频中的关键词的一部分模糊，例如，仅使关键词的中间部分模糊，同时允许听到关键词的起始部分和结束部分。这个特征可以用来审查顽皮的单词，这样视频可能会被年轻观众喜欢。这个特征还可以用来审查常见的单词，这样它们看起来像是调皮的单词，以娱乐成年人。

在一些实施例中，该特征可以根据视频中的视觉元素自动选择虚拟音频标签的定时。例如，该特征可以用于定位伸出其舌头的人的视觉元素，并在视觉元素出现时自动地将虚拟音频标签放置在视频中。用户可以将特定的虚拟音频标签分配给特定的视觉元素。例如，当检测到伸出其舌头的人的视觉元素时，该特征可以在视频中自动放置包括单词“brat(顽童)”的虚拟音频标签。

在一些实施例中，该特征可以根据视频中的视觉元素和音频元素来选择虚拟音频标签的定时。例如，当检测到在尖叫的同时还伸出其舌头的人的视觉元素和音频元素时，该特征可以在视频中自动放置尖叫山羊的虚拟音频标签。

在一些实施例中，虚拟音频标签中的一个或更多个对于编辑后的视频的观看者可以是交互式的。例如，编辑后的视频可以包括虚拟音频标签，该虚拟音频标签具有可见的图像，但具有只有观看者轻击图像时才播放的音频轨道。在该示例中，视频可以在一个人尖叫同时伸出其舌头时示出尖叫山羊的图像，但是可能只有在观看者轻击图像时才播放尖叫山羊的声音。

如上所述，所公开的实施例不向用户显示视频时间线，并且不需要时间线来编辑视频。然而，该工具可以保持内部时间线以记录与音频标签相关联的定时。图12示出了根据所公开技术的实施例的内部时间线1200。参考图12，时间从左向右推移，如大体以t所示。并且如上所述，视频可以重复，如大体以r所示。

在一些实施例中，可以编辑视频以包括多个虚拟音频标签，并且虚拟音频标签中的两个或更多个可以在时间上重叠。在图12的示例中，由时间线1200表示的视频包括三个虚拟音频标签vas1、vas2和vas3。视频从时间t0开始。第一虚拟音频标签vas1首先播放，从时间t1开始并在时间t2结束。第二虚拟音频标签vas2接下来播放，从时间t3开始并在时间t6结束。第三虚拟音频标签vas3最后开始，从时间t4开始并在时间t5结束。视频在时间t7结束。但是如上所述，视频可以(例如在可以由用户选择的多个重复注释中的任何一个中)重复。

在一些实施例中，视频编辑工具可以通过再现图12的时间线1200来生成编辑后的视频。在其他实施例中，所公开的视频编辑工具可以通过简单地记录电子设备的屏幕来生成编辑后的视频。在另外的其他实施例中，视频编辑工具可以以其他方式生成编辑后的视频。

图13示出了根据所公开技术的一些实施例的虚拟音频标签的示例属性1300。参考图13，示例属性1300可以包括固定属性1302和可变属性1304两者。例如，固定属性1302可以包括ID 1306、图像文件1308和音频文件1310。ID 1306可以是用于由工具在参考特定虚拟音频标签时内部使用的文本字符串。图像文件1308和音频文件1310可以由指向虚拟音频标签的图像和音频剪辑的文件的指针来表示。

可变属性1304可以包括当虚拟音频标签被使用时改变的属性。例如，可变属性1304可以包括指示显示内容中拖动手势开始的位置的开始拖动位置1312。当开始拖动位置1312在虚拟音频标签面板中时，工具可以推断用户正在将虚拟音频标签添加到视频中。当开始拖动位置1312在视频面板中时，工具可以推断用户正在从视频中移除音频标签，或者正在将标签移动到视频中的新位置。

可变属性1304可以包括指示显示内容中拖动手势已经结束的位置的停止拖动位置1314。当停止拖动位置1314在视频面板中时，工具可以推断用户已经将虚拟音频标签添加到视频中，或者已经在视频中重新定位了虚拟音频标签。当停止拖动位置1314在虚拟音频标签面板中时，工具可以推断用户已从视频中移除了虚拟音频标签。

可变属性1304可以包括指示虚拟音频标签当前是否是正在被编辑的视频的一部分的活动/非活动标志1316。例如，如果标志1316为真，则虚拟音频标签是正在被编辑的视频的一部分。

可变属性1304可以包括触发标志1318，该触发标志1318指示虚拟音频标签当前是否在正在被编辑的视频中播放。例如，在图5的显示内容500中，触发标志1318将为真，因为虚拟音频标签当前正在播放视频。

可变属性1304可以包括大小属性1320，该大小属性1320指示与虚拟音频标签相关联的图像的大小。例如，大小属性1320可以指示图像的高度和宽度。

可变属性1304可以包括指示与虚拟音频标签相关联的图像的旋转角度的旋转属性1322。可变属性1304可以包括描述与虚拟音频标签相关联的图像的动画特性的动画属性1324。

这些虚拟音频标签属性1300仅通过示例的方式而不是通过限制的方式来描述。在一些实施例中，可以省略属性1300中的一个或更多个。在一些实施例中，可以包括其他属性。

图14描绘了示例计算机系统1400的框图，在该示例计算机系统1400中可以实现本文描述的各种实施例。计算机系统1400包括用于传送信息的总线1402或其他通信机制，以及与总线1402耦合的用于处理信息的一个或更多个硬件处理器1404。硬件处理器1404可以是例如一个或更多个通用微处理器。

计算机系统1400还包括主存储器1406(例如随机存取存储器(RAM)、缓存和/或其他动态储存设备)，主存储器1406耦合到总线1402，用于存储将由处理器1404执行的信息和指令。主存储器1406还可以用于在将由处理器1404执行的指令的执行期间存储临时变量或其他中间信息。这样的指令当存储在处理器1404可访问的存储介质中时，将计算机系统1400呈现为被定制以执行指令中指定的操作的专用机器。特别地，指令可实现所公开的视频编辑工具。

计算机系统1400还包括耦合到总线1402来存储用于处理器1404的静态信息和指令的只读存储器(ROM)1408或其他静态储存设备。储存设备1410(例如磁盘、光盘或USB拇指驱动器(闪存驱动器)等)被提供并耦合到总线1402，用于存储信息和指令。

计算机系统1400可以经由总线1402耦合到显示器1412(例如液晶显示器(LCD)(或触摸屏))，用于向计算机用户显示信息。输入设备1414(包括字母数字和其他键)耦合到总线1402用于向处理器1404传送信息和命令选择。另一种类型的用户输入设备是光标控件1416，例如用于向处理器1404传送方向信息和命令选择以及用于控制光标在显示器1412上的移动的鼠标、轨迹球或光标方向键。在一些实施例中，可以在没有光标的情况下经由接收触摸屏上的触摸来实现与光标控制相同的方向信息和命令选择。

计算系统1400可以包括用户接口模块，以实现GUI，该GUI可以作为由计算设备执行的可执行软件代码存储在大容量储存设备中。作为示例，该模块和其他模块可以包括部件，例如软件部件、面向对象的软件部件、类部件和任务部件、过程、函数、属性、规程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。

一般而言，如本文所使用的单词“部件”、“引擎”、“系统”、“数据库”、“数据储存器”等可以指硬件或固件中体现的逻辑，或者指可能具有入口点和出口点的软件指令的集合，该软件指令是以编程语言(诸如例如Java、C或C++)编写的。软件部件可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言(诸如例如BASIC、Perl或Python)编写。应当理解，软件部件可以从其他部件或从它们自身调用，和/或可以响应于检测到的事件或中断而调用。被配置为在计算设备上执行的软件部件可以在计算机可读介质(例如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质)上提供，或者作为数字下载提供(并且可以最初以需要在执行之前安装、解压缩或解密的压缩或可安装格式存储)。这样的软件代码可以部分地或全部地存储在执行计算设备的存储器设备上，以供计算设备执行。软件指令可以嵌入固件(例如EPROM)中。还将理解，硬件部件可以由连接的逻辑单元(例如门和触发器(flip-flop))组成，和/或可以由可编程单元(例如可编程门阵列或处理器)组成。

计算机系统1400可以使用定制的硬连线逻辑、一个或更多个ASIC或FPGA、固件和/或程序逻辑来实现本文所述的技术，该定制的硬连线逻辑、一个或更多个ASIC或FPGA、固件和/或程序逻辑与计算机系统结合，使得计算机系统1400成为或将计算机系统1400编程成为专用机器。根据一个实施例，计算机系统1400响应于处理器1404执行包含在主存储器1406中的一个或更多个指令的一个或更多个序列来执行本文的技术。这样的指令可以从另一储存介质(例如储存设备1410)读入主存储器1406。主存储器1406中包含的指令序列的执行使得处理器1404执行本文描述的过程步骤。在可替代的实施例中，可以使用硬连线电路代替软件指令或可以将硬连线电路与软件指令结合使用。

如本文使用的术语“非暂时性介质”和类似术语是指存储数据和/或指令的任何介质，这些数据和/或指令导致机器以特定方式操作。这样的非暂时性介质可以包括非易失性介质和/或易失性介质。例如，非易失性介质包括光盘或磁盘，例如储存设备1410。易失性介质包括动态存储器，诸如主存储器1406。非暂时性介质的常见形式包括，例如，软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据储存介质、CD-ROM、任何其他光学数据储存介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其他存储器芯片或盒式存储器以及它们的网络版本。

非暂时性介质不同于传输介质，但可以与传输介质结合使用。传输介质参与在非暂时性介质之间传送信息。例如，传输介质包括同轴电缆、铜导线和光纤，包括构成总线1402的导线。传输介质还可以采用声波或光波(例如在无线电波和红外数据通信期间生成的声波或光波)的形式。

计算机系统1400还包括耦合到总线1402的通信接口1418。网络接口1418提供耦合到一个或更多个网络链路的双向数据通信机制，该一个或更多个网络链路连接到一个或更多个本地网络。例如，通信接口1418可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或用于提供到相应类型的电话线的数据通信连接的调制解调器。作为另一示例，网络接口1418可以是局域网(LAN)卡，以提供到兼容LAN(或与WAN通信的WAN部件)的数据通信连接。也可以实现无线链路。在任何这样的实施方式中，网络接口1418发送和接收承载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路通常通过一个或更多个网络向其他数据设备提供数据通信。例如，网络链路可以通过局部网络提供到主机或到由互联网服务提供商(ISP)操作的数据设备的连接。ISP转而通过现在通常被称为“互联网”的全球分组数据通信网络提供数据通信服务。局部网络和互联网都使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和网络链路上以及通过通信接口1418的信号(它们承载到计算机系统1400的数字数据和来自计算机系统1400的数字数据)是传输介质的示例形式。

计算机系统1400可以通过网络、网络链路和通信接口1418发送消息和接收数据(包括程序代码)。在互联网示例中，服务器可以通过互联网、ISP、局部网络和通信接口1418传输应用程序的请求代码。

当接收到的代码被接收和/或存储在储存设备1410或其他非易失性储存器中以供以后执行时，处理器1404可以执行接收到的代码。

前面部分中描述的过程、方法和算法中的每一个都可以体现在由一个或更多个计算机系统或包括计算机硬件的计算机处理器执行的代码部件中，并且完全或部分地由该代码部件自动化。一个或更多个计算机系统或计算机处理器还可以操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)的相关操作的执行。过程和算法可以部分地或全部地在特定于应用的电路中实现。上面描述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。不同的组合和子组合意在落入本公开的范围内，并且在一些实施方式中可以省略某些方法或过程块。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的块或状态可以以适当的其他顺序执行，或者可以并行地执行，或者以某种其他方式执行。块或状态可以添加到所公开的示例实施例中或从所公开的示例实施例中移除。某些操作或过程的执行可能分布在计算机系统或计算机处理器之间，该计算机处理器不仅驻留在单个机器内，而且跨多个机器部署。

如本文中所使用的，可以利用任何形式的硬件、软件或其组合来实现电路。例如，可以实现一个或更多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑部件、软件例程或其他机制以组成电路。在一些实施方式中，本文中所描述的各种电路可以被实现为离散电路或者所描述的功能和特征可以部分地或全部地在一个或更多个电路之间共享。即使功能的各种特征或元素可以被单独描述或声称为单独的电路，这些特征和功能也可以在一个或更多个公共电路之间共享，并且这种描述不应需要或暗示需要单独的电路来实现这样的特征或功能。在电路全部或部分使用软件实现的情况下，这样的软件可以被实现为与能够执行关于其描述的功能的计算或处理系统(例如计算机系统1400)一起操作。

如本文所使用的，术语“或”可以以包含或排他的意义来解释。此外，单数的资源、操作或结构的描述不应被理解为排除复数。诸如除了其他之外的“能够(can)”、“可能(could)”、“可以(might)”、“可以(may)”的条件语言，除非另有明确说明或在所使用的上下文中以其他方式理解，其通常旨在传达某些实施例包括某些特征、元素和/或步骤，而其他实施例不包括某些特征、元素和/或步骤。

除非另有明确说明，否则本文档中使用的术语和短语及其变体应解释为开放式而不是与此相对的限制性的。诸如“常规”、“传统”、“正常”、“标准”、“已知”的形容词和类似含义的术语不应被解释为将所描述的项目限制在给定的时间段或截至给定时间可用的项目，但是相反应被理解为包括现在或将来任何时间可能可用或已知的常规、传统、正常或标准技术。在某些情况下，扩展单词和短语如“一个或更多个”、“至少”、“但不限于”或其他类似短语的存在不应被解读为意指在这样的扩展短语可能不存在的较窄的情况是意图或需要的。

Claims (15)

1.一种系统，包括：

硬件处理器；和

非暂时性机器可读存储介质，该非暂时性机器可读存储介质编码有能够由所述硬件处理器执行以执行一种方法的指令，所述方法包括：

编辑视频以创建编辑后的视频，所述编辑包括：

在电子设备的显示屏的视频面板中播放视频，

当所述视频在所述视频面板中播放时，接收在所述视频中的特定时间的用户输入，其中，所述用户输入包括在所述视频面板中的特定位置处的触摸，和

响应于所述用户输入，向所述视频添加虚拟音频标签，其中，所述虚拟音频标签包括：

图像，和

音频剪辑。

2.根据权利要求1所述的系统，所述方法还包括：

播放所述编辑后的视频，包括：

在所述视频中的所述特定时间开始显示所述图像，其中，所述图像在所述视频面板中的所述特定位置处叠加在所述视频上，和

在所述视频中的所述特定时间开始播放所述音频剪辑。

3.根据权利要求2所述的系统，其中，播放所述编辑后的视频还包括：

响应于所述音频剪辑结束，从所述视频中移除所述图像；和/或优选地，所述方法还包括以下项之一：

播放所述音频剪辑而不是所述视频的音频轨道；或者

播放所述音频剪辑和所述视频的音频轨道。

4.根据权利要求1、权利要求2或权利要求3所述的系统，其中，编辑所述视频还包括：

接收在所述视频中的第二特定时间的附加的用户输入；和

响应于所述附加的用户输入，在所述视频中的所述第二特定时间从所述视频中移除所述虚拟音频标签。

5.根据权利要求1至4中任一项所述的系统，其中，编辑所述视频还包括：

在所述显示屏的虚拟音频标签面板中显示所述虚拟音频标签和多个另外的虚拟音频标签，其中，所述用户输入包括在所述虚拟音频标签面板中的所述虚拟音频标签的位置处的附加的触摸；和

响应于在所述虚拟音频标签的位置处的所述附加的触摸，选择所述虚拟音频标签；并且优选地，其中，编辑所述视频还包括：

响应于所述虚拟音频标签被选择，播放所述虚拟音频标签的音频剪辑。

6.一种编码有能够由计算部件的硬件处理器执行的指令的非暂时性机器可读存储介质，所述机器可读存储介质包括用于使所述硬件处理器执行一种方法的指令，所述方法包括：

编辑视频以创建编辑后的视频，所述编辑包括：

在电子设备的显示屏的视频面板中播放视频，

当所述视频在所述视频面板中播放时，接收在所述视频中的特定时间的用户输入，其中，所述用户输入包括在所述视频面板中的特定位置处的触摸，和

响应于所述用户输入，向所述视频添加虚拟音频标签，其中，所述虚拟音频标签包括：

图像，和

音频剪辑。

7.根据权利要求6所述的介质，所述方法还包括：

播放所述编辑后的视频，包括：

在所述视频中的所述特定时间开始显示所述图像，其中，所述图像在所述视频面板中的所述特定位置处叠加在所述视频上，和

在所述视频中的所述特定时间开始播放所述音频剪辑。

8.根据权利要求7所述的介质，其中，播放所述编辑后的视频还包括：

响应于所述音频剪辑结束，从所述视频中移除所述图像；和/或优选地，所述方法还包括以下项之一：

播放所述音频剪辑而不是所述视频的音频轨道；或者

播放所述音频剪辑和所述视频的音频轨道。

9.根据权利要求6、权利要求7或权利要求8所述的介质，其中，编辑所述视频还包括：

接收在所述视频中的第二特定时间的附加的用户输入；和

响应于所述附加的用户输入，在所述视频中的所述第二特定时间从所述视频中移除所述虚拟音频标签。

10.根据权利要求6至9中任一项所述的介质，其中，编辑所述视频还包括：

在所述显示屏的虚拟音频标签面板中显示所述虚拟音频标签和多个另外的虚拟音频标签，其中，所述用户输入包括在所述虚拟音频标签面板中的所述虚拟音频标签的位置处的附加的触摸；和

响应于在所述虚拟音频标签的位置处的所述附加的触摸，选择所述虚拟音频标签；并且优选地，其中，编辑所述视频还包括：

响应于所述虚拟音频标签被选择，播放所述虚拟音频标签的音频剪辑。

11.一种方法，包括：

编辑视频以创建编辑后的视频，所述编辑包括：

在电子设备的显示屏的视频面板中播放视频，

当所述视频在所述视频面板中播放时，接收在所述视频中的特定时间的用户输入，其中，所述用户输入包括在所述视频面板中的特定位置处的触摸，和

响应于所述用户输入，向所述视频添加虚拟音频标签，其中，所述虚拟音频标签包括：

图像，和

音频剪辑。

12.根据权利要求11所述的方法，还包括：

播放所述编辑后的视频，包括：

在所述视频中的所述特定时间开始显示所述图像，其中，所述图像在所述视频面板中的所述特定位置处叠加在所述视频上，和

在所述视频中的所述特定时间开始播放所述音频剪辑。

13.根据权利要求12所述的方法，其中，播放所述编辑后的视频还包括：

响应于所述音频剪辑结束，从所述视频中移除所述图像；和/或优选地，所述方法还包括以下项之一：

播放所述音频剪辑而不是所述视频的音频轨道；或者

播放所述音频剪辑和所述视频的音频轨道。

14.根据权利要求11、权利要求12或权利要求13所述的方法，其中，编辑所述视频还包括：

接收在所述视频中的第二特定时间的附加的用户输入；和

响应于所述附加的用户输入，在所述视频中的所述第二特定时间从所述视频中移除所述虚拟音频标签。

15.根据权利要求11至14中任一项所述的方法，其中，编辑所述视频还包括：

在所述显示屏的虚拟音频标签面板中显示所述虚拟音频标签和多个另外的虚拟音频标签，其中，所述用户输入包括在所述虚拟音频标签面板中的所述虚拟音频标签的位置处的附加的触摸；和

响应于在所述虚拟音频标签的所述位置处的所述附加的触摸，选择所述虚拟音频标签。

Images