CN102214225A - 记录数据的上下文标记 - Google Patents

Abstract

公开了关于记录的内容的自动标记的实施例。例如，一个被公开的实施例提供了一种计算设备，包括处理器和存储器，存储器具有可由处理器执行的指令用于接收输入数据，在输入数据中标识基于内容的输入信号，以及应用一个或多个过滤器来确定输入信号是否包括被认可的输入，输入数据包括深度数据、视频数据、以及定向音频数据中一个或多个。进一步地，如果输入信号包括被认可的输入，则指令可被执行以用与被认可的输入相关联的上下文标签来标记输入数据，并且将上下文标签与输入数据一起记录。

Description

记录数据的上下文标记

技术领域

本发明涉及数据处理技术，更具体的，涉及内容的自动标记技术。

背景技术

当记录诸如音频和视频之类的媒体时，媒体记录系统的用户可能希望通过基于记录中的内容来用评论、可搜索的元数据、或其它这样的标记对视频记录中的特定时刻进行标记来记住这些时刻。诸如音频和视频编辑软件之类的许多当前技术允许这些用户在内容被记录之后手动地向所记录的媒体添加这些标记。

发明内容

此处公开了关于内容的自动标记的各种实施例，使得上下文标签被添加到内容中而无需手动的用户干预。例如，一个被公开的实施例提供了一种计算设备，包括处理器和存储器，存储器具有可由处理器执行的指令用于接收输入数据，输入数据包括深度数据、视频数据、以及定向音频数据中一个或多个，在输入数据中标识基于内容的输入信号，以及应用一个或多个过滤器来确定输入信号是否包括被认可的输入。进一步地，如果输入信号包括被认可的输入，则指令可被执行以用与被认可的输入相关联的上下文标签来标记输入数据，并且将上下文标签与输入数据一起记录以形成记录的标记数据。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的概念精选。本发明内容并不旨在标识出所要求保护主题的关键特征或必要特征，也不旨在用于限定所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图说明

图1显示了计算系统的示例性实施例，计算系统被配置成记录人的动作并且将上下文标签应用到动作的记录中，并且图1还示出两个用户在输入设备的实施例之前执行动作。

图2显示了用户正在观看如图1的实施例所记录和标记的图1的动作的回放。

图3显示了根据本公开的计算系统的实施例的框图。

图4A和4B显示了描绘根据本公开的标记记录的图像数据的方法的实施例的流程图。

具体实施方式

如上所述，当前的用上下文标签来标记记录的内容的方法涉及手动的用户步骤，以定位用于标记的视频数据、音频数据等的帧或系列帧，以及指定将应用在所选择的一帧或多帧处的标签。这些步骤包含用户所付出的时间和精力，并因此可能无法满足内容在记录之后被马上观看的使用环境，和/或用户不希望执行这些手动步骤的场合。

因此，此处公开了关于自动生成记录的媒体的上下文标签的各个实施例。此处所公开的实施例可被用于例如计算设备环境，其中用户动作通过包含诸如深度传感相机和/或传统相机(例如摄像机)之类的允许图像被记录以供回放的图像传感器的用户界面被捕捉。此处所公开的实施例还可被与包含定向麦克风系统的用户界面一起使用。上下文标签可被生成为图像(以及，在一些实施例中，音频)数据被收集并记录，并因此可被供记录之后的立刻使用和回放，无需涉及在记录之后生成标签的任何额外的手动用户步骤。虽然此处所描述的标记数据的上下文中数据是从输入设备处接收的，但可以理解的是此处所公开的实施例也可用适当的预记录数据来使用。

图1和2示出了计算系统的示例使用环境的实施例，所述计算系统被配置成用根据包含在记录的数据中的内容自动生成的标签来标记记录的数据。具体地，这些图描绘了交互性娱乐环境100，其包括计算设备102(例如，视频游戏控制台、台式或膝上型计算机、或其它适当设备)、显示器104(例如，电视机、监视器等等)、以及被配置成检测用户输入的输入设备106。

如以下将更详细描述的，输入设备106可包括被配置成向计算设备102提供输入数据的各种传感器。可被包含在输入设备106中的传感器的示例包括但不限于深度传感相机、摄像机、和/或诸如定向麦克风阵列的定向音频输入设备。在包括深度传感相机的实施例中，计算设备102可被配置成在从深度传感相机跟踪中获取的图像数据中定位人，并跟踪所标示的人的动作来确定是否有任何动作对应于被认可的输入。被认可的输入的标识可触发将与该被认可的输入相关联的标签自动添加到记录的内容中。类似的，在包括定向麦克风的实施例中，计算设备102可被配置成通过定向音频数据将语音输入与图像数据中的人相关联。计算设备102可随后记录输入数据以及一个或多个上下文标签来形成记录的标记数据。随后在记录的标记数据的回放期间上下文标签可被显示，被用于在记录的标记数据中搜索想要的片段，或以任何其他适当方式使用。

图1和2还示出了通过视频游戏的两个玩家的被认可动作的输入而生成的上下文标签的实施例的示例。首先，图1示出了两个用户108、110，各自在输入设备106之前进行一次跳跃。接着，图2示出了稍后的呈现出这两个玩家跳跃的视频回放，其中用包含文本“令人惊奇的双人跳！”的自动生成的标签200标记了该回放。在一些实施例中，视频回放可以是记录的视频的直接回放，而在另一些实施例中，视频回放可以是记录的视频的动画化呈现。将理解，示出的标签200是出于示例的目的而描述的，而不旨在以任何方式进行限制。

在讨论自动生成记录的数据的上下文标签的实施例之前，图3示出了计算系统环境300的示例性实施例的方框图。计算系统环境300将计算设备102显示为客户机计算设备1。计算系统环境300还包括显示器104和输入设备106，以及计算设备102通过网络304连接的娱乐服务器302。此外，连接到网络的其他客户机计算设备被显示在306和308作为任何数量n个其它客户机计算设备。可以理解的是图3的实施例仅为了示例的目的而呈现，可使用任何其它合适的计算系统环境，包括非联网环境。

计算设备102被示出为包括逻辑子系统310和数据保持子系统312。逻辑子系统310可以包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可以被配置成执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构或其它逻辑构造的一部分。可以实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可以任选地包括分布在两个或多个设备上的独立组件，这些独立组件在某些实施例中可远程放置。

数据保持子系统312可以包括一个或多个物理的设备，该设备可以是非瞬态的，并被配置为保持可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现了此类方法和过程时，可以变换数据保持子系统312的状态(例如，保持不同数据)。数据保持子系统312可以包括可移动介质和/或内置设备。除此之外，数据保持子系统312还可以包括光学存储器设备、半导体存储器设备、和/或磁存储器设备。数据保持子系统312可以包括具有以下一个或多个特性中的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统310和数据保持子系统312集成到一个或多个常见设备中，如专用集成电路或片上系统。

图3还示出使用计算机可读可移动介质314形式的数据保持子系统312的一方面，该方面可以用于存储和/或传送可执行以实现此处所述的方法和过程的数据和/或指令。

显示器104可被用于呈现由数据保存子系统312保存的数据的可视表示。由于此处所描述的方法和过程改变了由数据保持子系统312保持的数据，并由此变换数据保持子系统312的状态，因此可以同样变换显示器104的状态以视觉地表示底层数据中的改变。显示器104可包括利用几乎任何类型的技术的一个或多个显示设备。可将该显示设备与逻辑子系统310和/或数据保存子系统312组合在共享封装中，或如图1-2所示，该显示设备可以是计算设备102的外围设备。

描绘的输入设备106包括诸如深度传感相机之类的深度传感器320、诸如摄影机之类的图像传感器322、以及定向麦克风阵列324。从深度传感器320接收的输入允许计算设备102在深度传感器320的视野范围内定位任何人，并且还在时间上跟踪任何这些人的动作。图像传感器322被配置成捕捉与深度传感器320相同的视野范围、或重叠的视野范围内的可视图像以允许将深度数据与记录供回放的可视图像数据相匹配。

定向麦克风阵列324允许确定接收到的语音数据所来自的方向，并因此可被用于与其他输入(例如，来自深度传感器320和/或图像传感器322的输入)组合在一起以将接收到的语音输入与在深度数据和/或图像数据中标识的特定人相关联。这可允许根据语音输入生成的上下文标签被关联于特定用户，如以下将更详细描述的。可以理解的是图3中示出的特定输入设备仅为示例的目的而出现，并不意在以任何方式进行限制，因为任何其它适当的输入设备可被包含在输入设备106中。此外，虽然图1-3将深度传感器320、图像传感器322、以及定向麦克风阵列324示出为包含在共同的外壳中，但可以理解的是这些组件的一个或多个可以位于与其它组件物理地分开的外壳中。

图4A和4B示出了根据从一个或多个输入设备接收的输入自动生成记录的媒体的上下文标签的方法400。首先，方法400包括在402接收来自输入设备的输入数据。合适的输入的示例包括但不限于包括场景的多个深度图像的深度数据输入404、诸如包括场景的多个可视图像的视频图像数据之类的图像输入406、以及定向音频输入408。输入数据可直接从传感器接收，或者在一些实施例中，输入数据可以是从大规模存储、从通过网络连接的远程设备、或以任何其它合适的方式接收的预记录数据。

方法400随后包括在410在输入数据中标识基于内容的用户输入信号，其中术语“基于内容”表示输入信号在由输入所表示的内容中被找到。这类输入信号的示例包括用户作出的姿势和语音输入。在412-418显示了描述在输入数据中标识用户输入信号的一个示例性实施例。首先，在412，在深度数据和/或其它图像数据中标识一个或多个人。接着，在414，每个被标识的人的动作被追踪。进一步，在416，可在定向音频输入中标识一个或多个语音输入。接着，在418，其语音输入被接收的人被标识，并且将语音输入与被标识的人相关联。

可用任何适当的方法来标识输入数据中的用户输入信号。例如，可通过诸如骨架跟踪、肢体分析、以及背景减除或去除之类的技术在深度数据中标识人的动作。此外，面部识别方法、骨架识别方法之类的可被用于更详细地标识在深度数据中标识的人。类似的，语音输入信号可被标识，例如，通过使用定向音频信息来将语音输入与特定方向分离(例如，通过基于定向信息的非线性降噪技术)，并且还将音频数据所接收自的位置与正被骨架跟踪的用户相关联。此外，通过定向音频数据还可跟踪用户语音的音量。可以理解，用户输入的标识的这些具体示例是出于示例的目的而示出的，且不旨在以任何方式进行限制。例如，其它实施例可包括仅标识动作输入(排除音频输入)。

方法400接着包括在420处确定标识的用户输入是否是被认可的输入。这可包括，例如，将一个或多个过滤器应用于在输入数据中通过骨架跟踪所标识的动作，以确定该动作是否是被认可的动作，如422所示。如果在深度数据和/或图像数据中标识了多个人，则422可包括确定是否每个人执行了被认可的动作。

另外，如果确定两个或多个人在预定时间内相对于彼此做了被认可的动作(例如，其中动作在时间上重叠或者发生在预定的时间附近内)，则方法400可包括在424应用一个或多个组动作过滤器来确定所标识的个人动作放在一起是否包含被认可的组动作。组动作的一个示例被示出在图1-2中，其中首先确定每个用户都在跳跃，并且随后确定两个时间上重叠的跳跃是一个被认可的“组跳跃”动作。确定输入信号是否包括被认可的输入还可包括在426确定语音输入是否包含被认可的语音片段，诸如被认可的词或短语。

接着，方法400包括在432用与被认可的输入相关联的上下文标签来标记输入数据，并记录被标记的数据以形成记录的标记数据。例如，当被认可的输入是被认可的动作输入，则上下文标签可与被认可的动作有关，如434所示。这种标签可包括将在动作的视频图像的回放中被显示的文字评论，或者可包括在回放中不显示的可搜索的元数据。作为在回放期间不被显示的可搜索元数据的一个示例，如果用户作出踢的动作，可将标识该动作为踢的元数据标签应用到输入数据。接着，用户稍后可通过执行对“踢”元数据标签所标识的片段的元数据搜索来容易地定位该踢。此外，当使用面部识别方法来标识位于深度数据和/或图像数据中的用户时，上下文标签可包括标识图像数据的帧中的(例如，如通过面部识别确定的)每个用户的元数据。这可允许在回放期间将记录和被记录的场景中的用户的名字一起回放。这一标签可被添加到图像数据的每一帧中，或者可以任何适当的方式被添加到图像数据中。

类似的，响应于被认可的组动作可添加组动作相关标签，如436所示。在图1-2中示出的组动作相关标签的一个实例被显示为在组动作的视频记录的回放期间显示的评论。

此外，可为被认可的语音输入应用语音相关标签，如438所示。这一语音相关标签可包括，例如，文本或音频版本的被认可的词或短语、将接收的语音输入与其语音被接收的用户的身份相关联的元数据、或者其他关于语音输入的内容的任何其它适当的信息。此外，语音相关标签还可包括关于语音输入的音量的元数据，和/或与回放期间语音输入的音频呈现有关的任何其它合适的信息。

以此方式，记录场景的图像的计算设备可用基于正出现在场景上的事务的评论来标记该记录，由此允许具有对于该记录的场景有意义的当场评论的场景回放。此外，元数据标签还可被自动添加到记录中，以允许用户快速搜索记录中的特定时刻。

此外，在一些实施例中，用户的视频和定向音频记录可由足够的元数据来标记，以允许根据输入数据生成动画版本的输入数据。这示出在图4A和4B中的440。例如，当用户可通过面部识别标识时，可为每个用户生成化身或其它角色，并且每个用户的角色的移动和语言输入可基于指定图像数据中每个用户的被标识的位置的元数据以及记录的语音输入与每个用户的关联来调整。以此方式，计算系统可产生记录标记数据的动画表示，其中所选择的用户的移动和语音输入可基于语音输入与所选择的用户的关联来调整，使得每个用户的角色以与用户在场景的记录过程中相同的方式说话和移动。此外，记录的场景的这一动画描述可在场景的记录期间生成，这可允许在记录场景之后能够几乎马上回放。

应该理解，此处所述的配置和/或方法在本质上示例性的，且这些具体实施例或示例不是局限性的，因为多个变体是可能。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。

本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.一种计算设备(102)，包括：

处理器(310)；以及

包括可由所述处理器执行的指令的存储器(312)，所述指令用于：

接收(402)包括深度数据、视频数据、以及定向音频数据中的一个或多个的输入数据；

标识(410)所述输入数据中的基于内容的输入信号；

确定(420)所述输入信号是否包括被认可的输入；以及

如果所述输入信号包括被认可的输入，则用与所述被认可的输入相关联的上下文标签来标记(432)所述输入数据，并且将所述上下文标签与所述输入数据一起记录以形成记录的标记数据。

2.如权利要求1所述的计算设备，其特征在于，所述指令可被执行以接收视频数据和深度数据形式的输入数据，其中所述输入信号包括在深度数据中被标识的人的动作，并且其中所述被认可的输入包括被认可的动作。

3.如权利要求2所述的计算设备，其特征在于，所述上下文标签包括与被认可的动作有关的、将要在所述记录的标记数据的回放期间被显示的文本。

4.如权利要求2所述的计算设备，其特征在于，所述上下文标签包括不会在所述记录的标记数据的回放期间被显示的可搜索元数据。

5.如权利要求1所述的计算设备，其特征在于，所述指令可被执行以接收定向音频数据形式的输入数据，其中所述输入信号包括语音输入，并且其中所述被认可的输入包括被认可的语音片段。

6.如权利要求5所述的计算设备，其特征在于，所述指令可被执行以接收视频数据、深度数据、以及定向音频数据形式的输入数据以标识视频数据和深度数据中的一个或多个人，并且在视频数据和深度数据中标识其语音输入被接收的人，以及

其中，所述上下文标签包括其语音输入被接收的人的身份。

7.如权利要求1所述的计算设备，其特征在于，所述指令可被执行以接收视频数据和深度数据形式的输入数据以标识由位于视频数据和深度数据中的多个人所作的动作形式的输入信号，并且应用一个或多个组动作过滤器来确定所述多个人是否作出了被认可的组动作。

8.如权利要求7所述的计算设备，其特征在于，所述指令可被执行以应用一个或多个个人动作过滤器来确定在视频数据和深度数据中被标识的每个人是否作出了被认可的个人动作，并随后应用一个或多个组动作过滤器来确定被认可的个人动作放在一起是否包括被认可的组动作。

9.如权利要求1所述的计算设备，其特征在于，所述指令还可被执行以通过形成供回放的记录的标记数据的动画呈现来形成所述记录的标记数据。

10.一种计算机可读介质(310，314)，包括存储在其上的指令，所述指令可由计算设备执行以执行一种用于自动标记记录的媒体内容的方法(400)，所述方法包括：

接收(402)输入数据，所述输入数据包括

来自图像传感器的图像数据(406)，所述图像数据包括场景的多个图像，

来自深度传感相机的深度数据(404)；以及

来自定向麦克风的定向音频数据(408)，所述定向音频数据包括语音输入；

通过深度数据定位(412)场景中的一个或多个人；

通过所述定向音频数据标识(418)其语音输入被接收的被选择的人；以及

用上下文标签来标记和记录(432)所述输入数据，以形成记录标记数据，所述上下文标签包括将所述被选择的人与所述语音输入相关联的信息。

11.如权利要求10所述的计算机可读介质，其特征在于，所述指令还可被执行以形成记录的标记数据的动画呈现供回放，其中所选择的人的角色的移动和语音输入可基于将所述语音输入与所选择的用户相关联的信息来调整。

12.如权利要求11所述的计算机可读介质，其特征在于，所述指令还可被执行以标识场景中的人的被认可的动作，以及用包括与被认可的动作相关的文本的第二上下文标签来标记所述输入数据。

13.如权利要求12所述的计算机可读介质，其特征在于，所述指令还可被执行以在所述记录的标记数据的回放期间显示所述第二上下文标签。

14.如权利要求10所述的计算机可读介质，其特征在于，所述指令可被执行以标识由位于场景中的多个人所作的动作，应用一个或多个组动作过滤器来确定所述多个人是否作出了被认可的组动作，并且如果所述多个人作出了被认可的组动作，则用组动作上下文标签来标记所述输入数据。

15.如权利要求14所述的计算机可读介质，其特征在于，所述指令可被执行以应用一个或多个动作过滤器来确定在视频数据和深度数据中被标识的每个人是否作出了被认可的个人动作，并随后应用一个或多个组动作过滤器来确定被认可的个人动作放在一起是否包括被认可的组动作。

Images