CN105051702A - 对来自场地中多个个体的运动表演的视频数据及传感器数据进行存储和编辑 - Google Patents

Abstract

存储并且编辑来自其中多个个体进行运动表演的场地中的多个位置的视频数据及传感器数据，以创建各个个体的运动表演的个性化视频程序。每个相机提供连续存储的视频馈送。每个视频馈送被存储在计算机存储器中的一系列数据文件中。这些数据文件以规律的时间间隔被创建。使用相机的标识符以及时间间隔能够访问每个文件。类似地，来自传感器的数据被连续不断地接收并且存储在数据库中。对于每个传感器，数据库存储在传感器附近所检测到的每个个体的标识符以及个体被检测到的时间。每个传感器与一个或多个相机相关联。

Description

对来自场地中多个个体的运动表演的视频数据及传感器数据进行存储和编辑

背景技术

参加各种运动以及其他活动的个体越来越需要访问关于他们的表演的视频或其他数据。对于有很多人的大型场地的活动如滑雪、单板滑雪、自行车、跑步等，这种需求尤其增加。创建参加这样的活动的各个个体的编辑的视频是耗费时间的。对于这样的活动难以有效地捕捉并且存储视频数据，并且难以编辑这样的活动中的多个个体中的每个个体的编辑的视频程序，尤其考虑到有多个视频馈送、数据馈送以及参与者。

发明内容

发明内容介绍了在具体实施方式中下面进一步描述的以简化形式的概念的选择。发明内容即不意图识别所要求保护的主题的关键或基本特征，也不意图限制所要求保护的主题的范围。

存储并且编辑来自其中多个个体进行运动表演的场地中的多个位置的视频数据及传感器数据，以创建被选择的个体的运动表演的个性化视频程序。每个相机提供连续存储的视频馈送，相机可以在运动项目开始时开始记录或者通过接近或运动检测被触发记录。每个视频馈送被存储在计算机存储器中的一系列数据文件中，这些数据文件以规律的时间间隔被创建。使用从其中接收视频馈送的相机的标识符，以及代表来自相机的文件存储视频数据的时间间隔，能够访问每个文件。类似地，来自传感器的数据被连续不断地接收并且存储在数据库中。对于每个传感器，数据库存储在传感器附近所检测到的每个个体的标识符以及个体被检测到的时间。每个传感器与一个或多个相机相关联。为了生成个体的视频程序，给定个体的标识符，访问传感器数据以识别个体何时在传感器中的任一个传感器附近。该数据可为传感器标识符以及时间戳的形式。传感器标识符映射至一个或多个相机。使用对应的相机来识别对应该相机的数据文件。使用时间戳来指定时间间隔，时间间隔继而识别对应相机的一个或多个数据文件。给定所识别的时间文件，继而可以使用来自传感器数据的时间戳来选择来自每个视频文件的剪辑(文件中的视频数据的时间间隔)。可以使用来自传感器数据的给定时间戳的之前及之后的时间量，通过入点和出点来定义时间间隔。然后根据时间戳的顺序依次放置剪辑，从而为个体的表演的视频程序提供剪辑的初始顺序。

可以以高分辨率和低分辨率二者存储视频数据。可以选择任一种分辨率用于输出编辑的视频程序。替选地，可以仅以高分辨率存储视频数据，并且根据需要动态地生成低分辨率版本。还可以使用高分辨率文件来根据需要生成静态图像和/或合成图像。低分辨率图像更适合于例如通过网络串流。

在下面的描述中，参考附图，附图构成本发明的一部分并且其中以举例说明的方式示出了具体示例的实现方式。在不背离本发明的范围的情况下可以做出其他实现方式。

附图说明

图1是从场地中的多个相机和传感器捕获视频数据和传感器数据的系统的框图；

图2是可以在图1的系统的示例实现方式中使用的示例数据库的图示；

图3是示出了权利要求1所保护的系统的示例实现方式的数据流程图；

图4是描述了图2中的系统的示例操作的流程图；

图5是描述了图2中的系统的示例操作的流程图；

图6是其中能够实现这种系统的示例计算机设备的框图；

图7是用于编辑来自运动项目的视频的示例图形用户界面；

图8是用于选择静态图像的示例图形用户界面。

具体实施方式

以下部分提供了其中能够实现该视频系统的示例操作环境。

该系统允许在网页上播放视频并且从视频流中选择全分辨率剪辑和静态图像。该方法是高效的并且可扩展至数千用户，并且具有高分辨率。该技术能够应用于原始源视频文件或者分辨率降低和/或较高压缩的“代理”视频文件。

该系统对于需要由很多人的大量访问的视频的实际应用尤其有用。这种实际应用的一个示例是赛跑，其中会有成千上万的人访问来自整天拍摄该运动项目的很多相机的视频。每个人只想要看他或她自己的视频剪辑，并且可能想要能够调整视频剪辑的持续时长。该系统使他们能够查看并且调整他们自己的视频剪辑，并且以高效的方式与其他人分享他们的视频剪辑。另外，该系统使他们能够选择(可以是短至为单帧的)剪辑以全分辨率下载。

视频和图像由大量相机在场地捕获。每个视频剪辑或静态图像被加有时间戳和位置的标签。对于系统的每个用户，带时间戳的位置信息(经由RFID、GPS或者识别在特定位置处的个体的任何其他手段)被记录，并且使用这些信息为用户创建“虚拟剪辑”的列表。这些“虚拟剪辑”指的是用于在网站上重放的较低分辨率的代理视频。剪辑的入点和出点能够根据来自传感器数据的时间戳、在时间戳之前的时间的可变量以及在时间戳之后的时间的可变量而被计算。对于在之前的数值及之后的数值，这些可变量可以是不同的，并且可以对于每个相机是不同的。用户可以调整虚拟剪辑的入点和出点，并且使它们能够改变剪辑的持续时长。还可以使用同样的信息来选择并且下载全分辨率的视频文件。如果虚拟剪辑的入点和出点汇集在一起而仅包括单帧，则全分辨率帧可以被认为是“静态图像”或“照片”，并且该全分辨率帧可以被下载或者用于冲印图案(例如，3×5、4×6、8×10、墙面尺寸等)。

因此，参考图1，个人视频编辑系统100访问视频存储系统102和传感器数据存储系统104以使用户能够访问个体的表演的编辑的视频程序106。在美国专利公开号20110071792(“相关公开”)中详细描述了可以使用这种系统的环境。通常，提供了其中多个个体参加的体育运动的场地110，如可以沿路径113或圈或者在一定空间内举行的竞走、自行车竞赛、三项全能运动、高山滑雪、单板滑雪、越野滑雪等。在场地中，设置了多个相机112和相关联的传感器114。传感器可以访问来自其相关联的相机的可用的任何时间码。

相机112提供连续不断的视频馈送。传感器114提供连续不断的数据馈送，并且在传感器附近检测到个体时提供有用的数据。可以使用任何传感器技术，只要传感器能够及时提供在传感器附近的给定点处的个体的标示。例如，传感器可以使用RFID检测器来检测个体的RFID标签的存在，并且从其相关联的相机上的定时器接收时间戳数据。可以使用各种其他传感器，如在相关公开中所描述的那样。

视频存储系统102从多个相机接收包括视频数据的视频馈送并且将视频数据存储到计算机存储器上的数据文件中。通常，通过界面(未示出)使用接收并且存储来自多个远程相机的视频数据的服务器计算机来实现视频存储系统。

传感器数据存储系统104从多个传感器接收包括传感器数据的传感器数据馈送并且将传感器数据存储到数据库中。通常，通过界面(未示出)使用接收并且存储来自多个远程传感器的传感器数据的服务器计算机来实现传感器数据存储系统。

在该运动项目期间，视频存储系统和传感器数据存储系统持续不断地记录来自场地中的相机和传感器的视频数据和传感器数据。在数据被记录之后的任一点处，个人视频编辑系统可以访问所记录的视频数据和传感器数据，以检索个体的视频数据。

具体地，响应于用户输入120，个人视频编辑系统使用个体的标识符122来访问传感器数据存储系统。编辑系统从传感器数据存储系统接收传感器以及标示所选择的个体何时在所识别的传感器附近的时间124。传感器映射至相机标识符，并且使用相机标识符和时间戳126来访问存储在视频存储系统中的视频数据文件。可以由视频存储系统返回视频剪辑128(例如文件名以及关于该文件名的时间跨度)。编辑系统100可以基于所检索到的视频剪辑128提供剪辑的列表130、编辑的视频106或者其他输出。

在此上下文中，结合图2至图5详细描述该系统的示例实现方式。

在图2中，现在描述传感器数据的数据库的示例实现方式。每个传感器提供包括个体的标识符和个体在传感器的附近的时间的数据对。数据可以被存储在如图2所示出的数据库。数据库表200可以包括针对每个传感器事件的行202。可以针对每个传感器提供数据库表，或者传感器标识符可以被包括作为数据库表中的列(例如206)。每行202具有个体标识符204和个体在传感器附近的时间208。另一表格210包括将传感器标识符214与相机标识符216关联的行212。可以使用其他机制来追踪传感器与相机之间的关系，包括但不限于使用数据库或其他明确的记录并且依靠命名习惯。

还可以使用时间戳和日期戳。代替针对运动项目持续不断地运行相机，可以使用来自与相机相关联的传感器的输出来触发在运动项目期间的记录。还可以由相机存储带时间戳的数据文件的列表，其中，相应的视频的时间戳和日期戳以及相机标识符用作为文件名的一部分。

作为另一种示例实现方式，数据库可以包括针对每个个体标识符的行以及针对每个传感器的列，用于存储个体在传感器附近的时间。可以以多种方式实现数据库，包括但不限于电子表格数据文件或关系数据库。

结合图3，描述了系统的更详细的数据流程图。用户选择模块300接收标示待选个体的用户输入302。将该个体的标识符304提供给传感器数据访问模块306，传感器数据访问模块306访问传感器数据存储系统308。从传感器数据存储系统输出传感器标识符和在附近的时间310。由视频访问模块312使用所述标识符和时间来访问关于在视频数据存储系统316中可用的各种视频文件的数据314。数据314包括在这些文件内的视频剪辑标识符和时间跨度。将这些信息提供给视频定序器320用于编辑。可用使用能够使用数据文件内的视频数据的时间跨度编辑视频程序的任一种视频编辑系统来实现视频定序器320。视频定序器320根据编辑输入322对视频进行编辑并且提供视频输出324。编辑输入取决于视频编辑系统的性质。视频输出可以是任何格式，包括文件或流输出或显示。视频定序器320还可以使用传感器数据用于分类并且提供视频剪辑的初始序列。

现在参考图4，描述了该系统的一个示例实现方式的流程图。该系统获得用户的标识符400。检索与用户标识符对应的传感器数据402。可以识别与传感器数据匹配的视频剪辑404。可以将针对所识别的视频剪辑的指针或其他参考附注存储在例如数据库中406。因此，对于每个用户，可以存储并且检索针对视频剪辑的传感器数据和参考附注。随后，可以按时间的先后顺序例如根据传感器数据中的时间戳来组合剪辑。

为获取该操作的更多细节，现在参考图5。给定用户标识符，针对与用户标识符匹配的输入条目，搜索传感器数据存储器500。可按传感器标识符和时间对这些输入条目进行排序502。识别与每个传感器标识符相关联的相机504。识别关于给定时间的每个相机的文件506。返回文件内的文件标识符和时间间隔508。

在个体的视频文件片段被识别时可以将各种其他操作提供给该个体。个体可以被允许编辑视频，下载编辑的视频或选择的视频剪辑的版本，生成并且下载来自视频剪辑的静态图像，并且与其他人分享这些信息。还可以提供各种视频编辑工具，用于修剪剪辑(即改变剪辑的入点和/或出点)，用于按顺序重新排序剪辑，用于添加滤镜、过渡、视频效果、音乐、其他音频等。

在一些环境下，相机和/或传感器可以是移动的。在相机是移动的并且传感器是静止的情况下，可以使用来自相机的可用的位置信息和/或由传感器对相机接近的检测，在给定的时间段内将相机与传感器相关联。在相机和传感器二者都是移动的情况下，可以使用相机和传感器的位置信息和/或传感器对相机接近的检测，在给定的时间段内将相机与传感器相关联。考虑到在一定时间段内相机和传感器的关联关系以及来自传感器的具有时间和日期的事件，可以自动将随时间变化的来自传感器的一系列事件转换成对应的随时间变化的一系列视频剪辑。

参考图7和图8，描述了用于编辑视频的图形用户界面的示例实现方式。可以由例如计算机设备上的应用程序或者在计算机设备上运行的网页浏览器中的应用程序来提供这样的界面。该界面包括在显示区域700中的视图区域702、序列区域704以及剪辑收集区域706，被定义为在显示区域700内的不重叠面板。还可以提供这些区域的其他布置。

在视图区域702内，在视频区域708中显示视频。在该视图区域中可以设置各种视频播放控制按钮(未示出)，通常例如播放、停止、暂停、快进、倒带、循环播放、回到开始、位置条等。在视频区域708中所显示的视频是基于针对该用户当前定义的视频剪辑的顺序的。

在视图区域702中还设置了两个用户输入按钮。一个按钮710使用户能够选择当前查看的画面作为用户要提取的静态图像。响应于用户选择按钮710，可以显示另一个用户界面以使用户能够为要创建的静态图像设置和/或选择各种参数。

参考图8，示出了示例静态图像选择界面。在该界面中，视频区域800显示来自暂停的视频的当前所选择的图像。设置有控制按钮例如上一步按钮802和下一步按钮804。可以设置各种其他控制按钮以允许不同种类的导航。当用户操纵上一步按钮802时，系统后退一帧视频。当用户操纵下一步按钮804时，系统前进一帧视频。当用户对该图像满意时，用户可以操纵选择图像按钮806来选择该图像以分配给用户。

在视图区域702中的另一个按钮712使用户能够分享编辑的视频。响应于用户选择按钮712，可以显示另一个用户界面以使用户能够关于如何分享视频设置和/或选择各种参数。

在序列区域704中，系统显示编辑的视频程序中的每个视频剪辑714的标示。图7中示出了一系列视频剪辑的示例表示，但是本发明不限于此。可以提供惯常的用于编辑视频的各种编辑操作以及经编辑的序列的视频的直观表示。这样的编辑操作可以包括添加、删除、修改视频剪辑(即修剪)的持续时长以及重新排序视频剪辑。

类似地，在剪辑收集区域706中，系统显示包含当前用户或选定用户的图像的每个视频剪辑的标示716。可以从剪辑收集区域706选择剪辑并且将剪辑添加至序列区域704中所示出的编辑的序列中。

通过，基于用户登录或基于选定用户，对从与当前用户相关的视频存储器中检索到的剪辑按时间进行排序，来生成序列区域704中的序列的初始表示。类似地，通过，基于用户登录或基于选定用户，对从与当前用户相关的视频存储器中检索到的剪辑进行选择，来提供剪辑收集区域706中的剪辑的收集。在剪辑收集区域704中，可以提供各种排序和搜索工具以使用户能够基于剪辑元数据或视频数据的各种属性来搜索并且识别剪辑。

现已描述了示例实现方法，图6示出了利用其可以实现这种技术的示例计算机。以下描述意图提供这种计算机的简要常规描述。该计算机可以是各种通用或专用计算机硬件配置中的任一种。可以使用的计算机示例包括但不限于个人计算机、服务器计算机、手持设备或膝上型设备(例如媒体播放器、笔记本电脑、手机、个人数据助理，录音机)、多处理器系统、基于微处理器的系统、机顶盒、游戏机、可编程电子消费品、网络PC、迷你计算机、大型计算机、包括上述类型的计算机或设备中的任一种的分布式计算机环境等。

图6示出了合适的计算机系统环境的示例。计算机系统环境仅仅是合适的计算机环境的一个示例，并且不意图暗示对这样的计算机环境的用途或功能性的范围的任何限制。不应该认为计算机环境具有与示例操作环境中所示出的组件的任一个或任意组合相关的任何依赖或需求。

参考图6，基本配置中的示例计算机包括至少一个处理单元602和存储器604。该计算机可以具有多个处理单元602。处理单元602可以包括彼此独立工作的一个或多个处理核(未示出)。在计算机中还可以存在另外的协同处理单元如图形处理单元620。存储器604可以是易失性的(如RAM)、非易失性的(如ROM、闪速存储器等)或者这两种存储器的一些组合。由虚线606在图6中示出了该基本配置。计算机600可以包括另外的存储器(可移除的和/或不可移除的)，磁盘、光盘或磁带等。由可移除存储器608和不可移除存储器610在图6中示出了这样的另外的存储器。

计算机存储介质是其中可以存储数据并且可以由计算机从可访问的物理存储位置中检索数据的任何介质。计算机存储介质包括易失性介质和非易失性介质、可移除介质和不可移除介质。存储器604、可移除存储器608和不可移除存储器610都是计算机存储介质的示例。计算机存储介质的一些示例是RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学记录存储设备或磁光盘记录存储设备、磁盒、磁带、磁盘存储器或其他磁存储设备。计算机存储介质和通信介质是相互排除的介质种类。

计算机600还可以包括使计算机能够经由通信介质与其他设备通信的通信连接件612。通信介质通常通过传播调制的数据信号如载波或经由物质的其他传送机制，经由有线物质或无线物质传输计算机程序指令、数据结构、程序模块或其他数据。术语“调制的数据信号”指的是具有以编码信号中的信息的方式设置或改变的信号的特征中的一个或多个特征的信号，从而改变信号的接收设备的配置或状态。例如但并不限于此例，通信介质包括有线介质如有线网络或直接有线连接，以及无线介质如声音无线介质、RF无线介质、红外无线介质或其他无线介质。通信连接件612是例如网络接口或无线发射机的设备，具有通信介质的接口经由通信介质传输数据并且从通信介质接收数据。

计算机器600可以具有各种输入设备614如键盘、鼠标、笔、相机、触摸输入设备等。还可以包括输出设备616如显示器、扬声器、打印机等。所有这些设备都是本领域熟知的并且不需要在此详细讨论。

图6中的各种组件通常由互联机制如一个或多个总线630互相连接。

在计算机上工作的本文所描述的这样的系统的每个组件通常使用由计算机中的一个或多个处理单元处理的一个或多个计算机程序而实现。计算机程序包括计算机可执行的指令和/或计算机编译的指令，如程序模块，这些指令由计算机中的一个或多个处理单元进行处理。通常，这些指令定义了例程、程序、目标、组件、数据结构等，这些指令在由处理单元处理时指示处理单元对数据进行操作或者将计算机配置成包括各种设备或数据结构。该计算机系统可以在其中由通过通信网络链接的远程计算机执行任务的分布式计算机环境中实现。在分布式计算机环境，计算机程序可以位于本地计算机存储介质和远程计算机存储介质二者中。

应当理解的是所附权利要求所限定的主题不一定限于以上所描述的具体实现方式。以上所描述的具体实现方式仅仅作为示例被公开。

Claims (2)

1.一种用于生成参加场地中的运动项目的一组个体中的个体的编辑的视频程序的由计算机实现的方法，其中，所述场地包括捕获各个个体的视频的多个相机以及多个传感器，每个传感器与相机相关联，所述传感器至少检测在相机附近的个体的存在，所述方法包括：

在所述运动项目持续的时间段期间连续不断地从所述多个相机接收视频数据；

将针对每个相机所接收到的视频数据存储在一个或多个数据文件中，每个数据文件包括在所述运动项目持续的时间段内来自所述相机的视频数据；

在所述运动项目持续的时间段期间连续不断地从所述多个传感器接收数据，每个传感器的所述数据标示各个个体以及由所述传感器检测到所述个体存在的时间；

将从每个传感器所接收到的数据存储在数据库中；

接收个体的标示；

使用所述个体的标示访问所存储的来自所述传感器的数据，以检索所述个体在每个相机附近被检测到的时间；

访问所存储的针对每个相机的视频数据，以根据所检索到的所述个体在每个相机附近被检测到的时间来检索所存储的视频数据的剪辑。

2.一种用于使用多个相机所捕获的视频以及多个传感器所捕获的数据针对个体生成编辑的视频程序的计算机实现的方法，包括：

在多个时间段期间从所述多个相机接收并且存储视频数据，将所接收到的针对每个相机的视频数据存储在一个或多个数据文件中，每个数据文件包括在一时间段内来自所述相机的视频数据；

在多个时间段期间从所述多个传感器接收并且存储传感器数据，将所接收到的针对每个传感器的传感器数据存储在数据库中，所述传感器数据标示在所述传感器附近的个体被检测到的时间；

使用所述个体的标示访问所存储的传感器数据，以检索所述个体在每个传感器附近的时间；

识别在每个传感器附近并且具有在包括所检索到的所述个体在所述传感器附近的时间的时间段内的视频数据的相机；以及

访问所存储的针对所识别的相机的视频数据，以根据所检索到的所述个体在所识别的相机附近的所述传感器附近的时间，来检索所存储的来自所识别的相机的视频数据的剪辑。