CN104335594A - 动作视频的自动数字管理和标记 - Google Patents

动作视频的自动数字管理和标记 Download PDF

Info

Publication number
CN104335594A
CN104335594A CN201380020481.6A CN201380020481A CN104335594A CN 104335594 A CN104335594 A CN 104335594A CN 201380020481 A CN201380020481 A CN 201380020481A CN 104335594 A CN104335594 A CN 104335594A
Authority
CN
China
Prior art keywords
data
video
equipment
event
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380020481.6A
Other languages
English (en)
Inventor
D·J·洛克欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ALPINE REPLAY Inc
Original Assignee
ALPINE REPLAY Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ALPINE REPLAY Inc filed Critical ALPINE REPLAY Inc
Publication of CN104335594A publication Critical patent/CN104335594A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Abstract

一种用于动作视频的自动数字管理、注释以及标记的系统和方法，在处理系统中，接收来自在体育活动期间由运动员携带的基于传感器的设备的GPS数据，并且在一些实施例中是惯性数据。如果呈现为识别至少一个运动员事件，则该处理系统处理GPS数据和惯性数据，并且将识别运动员事件的数据存储在性能数据库中。来自视频摄像机的视频数据被存储在视频数据库中，该视频数据包括与视频的各帧相关的定位、时间和方向信息。视频数据库中的时间代码数据是与性能数据库中的时间代码数据同步的，并且识别运动员事件的数据被用于自动地选择、注释、标记或编辑所述视频数据。

Description

动作视频的自动数字管理和标记
本申请要求2012年6月11日申请的美国临时专利申请号为61/689,654、名称为“Auto Digital Curation And Tagging OfAction Videos”的申请以及2013年1月4日申请的美国专利申请号13/734,818、名称为“Automatic Digital CurationAnd Tagging OfAction Videos”的申请的优先权，通过引用将它们的全部内容并入本文。
本申请包括受版权保护的素材。当由任何人对本专利公开的拓制出现在专利和商标局文件或者记录中时，版权拥有者对其没有异议，但是在其它情况下版权拥有者保留全部版权权利。
技术领域
本发明一般涉及用于记录视频的设备的领域，并且特别地涉及一种用于动作视频的自动数字管理和标记的方法和装置。
背景技术
便携摄像机的广泛可用性引起了短的自制和专业视频的激增。很多这些视频，尤其是利用POV(Point OfView：视点)动作摄像机制作的，都涉及极限动作，例如高山滑雪、单板滑雪、冲浪、山地自行车等等。例如，YouTube网站上包含成千上万个这样的视频。
同时，这些视频的巨大数量以及流行度产生了自身的问题。首先，当创作者没有将感兴趣的事件与视频明确地关联时，找到感兴趣的视频就变得非常困难。其次，由于大部分视频都是由业余爱好者制作并且是没有被编辑过的，所以即使用户仅仅对视频的某些特定部分(例如当单板滑雪者跳起或者滑雪者有跑动的特别快的部分时，或者在更大的视频中的任何其它特定事件)感兴趣，他们也不得不观看整个视频。
同时，具有GPS和其他传感器的便携设备的广泛流行允许精确地测量、存储以及分类极限体育活动。因此，如果视频和性能数据可以在时间和空间上同步，则可以基于拍摄的特定活动的性能矩阵来注释、编辑、选择以及标记视频镜头(video footage)。
搜索或者观看这样的视频的人可能期望找到特定视频或者视频的一部分。例如，这样的人可能想搜索显示空中时间超过一秒种的单板滑雪跳跃的视频。但是，对典型地仅使用语义和文本视频描述的视频标记使用当前可用的装置是不切实际或者不可能的。
另一个与很多动作视频相关的问题是它们是由一个人制作的，而针对视频“主体”的性能数据是通过与作为不同的人的视频主体并列(collocated)的传感器收集的。
已经尝试在获取期间标示视频以用于快速选择。但是，这样的方案典型地使用基于由其他人创建或者在视频中找到的文本的标签。
美国专利7,624,337和美国专利7,823,055公开了一种使用文本(包括视频中的文本)来创建标签和元数据用于此后视频搜索的使用的方案。
Heist等人的美国专利5,832,171描述了视频和文本的同步，其中文本是针对视频创建的。
Blanton等人的美国专利4,873,585教导了允许从视频选择特定运动的图像以允许容易地访问这些图像的系统。但是，这需更操作者介入和决策。
Aman等人的美国专利7,483,049公开了体育运动的视频的数据库的创建。但是，该视频必须在运动员被视频中能够被识别的可见或者不可见的标志标示的严格控制的环境中通过多台摄像机创建。
还有一种通过特定事件(大部分是交通违章)触发视频的研究成果。Higgins的美国专利7,986,339描述了一种能够记录和分析交通违章的静止和视频图像的系统。但是，该视频记录是通过由车辆产生的外部物理信号(例如激光或者多普勒雷达)触发的。Lock的美国专利6,919,823以及Behrens的美国专利7,633,433是类似的，采用通过红灯变化或者在红灯变化后的激光束中断产生的触发信号。
此外，在上述情况中，摄像机和视频主体的相对位置是提前知道的，因此该方案不提供任意时间和空间域搜索以匹配事件和视频镜头。
发明内容
在一个实施例中，本公开提供了一种方法和系统，其允许视频和相应的性能数据的同步，并且随后基于该性能数据标记和/或编辑视频。可以通过并列的设备(也就是相同的设备)或者不同的设备以及不同的用户来收集该视频和性能数据。视频和性能数据还可以存储在相同的设备中或者存储在不同的设备或者数据库中。本发明因此能够提供来自不同数据组或者不同数据库的视频和性能数据的匹配以及随后视频的自动编辑、注释和标记。即使视频和性能数据被独立记录并且不具有其它活动的明确知识，本发明也可以实现。
本发明在处理系统中接收来自由用户(其在一些实施例中是处于体育活动期间的运动员)携带的基于传感器的设备的GPS数据，并且在一些实施例中是惯性数据。该GPS数据可以是位置数据或者时间数据，或者是位置数据和时间数据两者。该处理系统处理GPS和可选的传感器数据以识别至少一个事件，例如运动事件，并且将识别事件的数据存储到性能数据库中。来自视频摄相机的视频数据被存储在视频数据库中，该视频数据包括与视频的各帧相关的定位、时间以及方向信息。视频记录中的时间代码数据是与性能记录中的时间代码数据同步的，并且识别事件的数据被用于自动地选择、注释、标记或编辑所述视频数据。
附图说明
通过下文的如附图所示的优选实施例的更为详细的描述，本发明的前述和其他的目的、特征以及优点将是清楚的，在附图中，参考字符表示相同的部分贯穿各个视图。附图不必按照比例绘制，而是将重点放在示出本发明的原理。
图1示出了一个流程图，其说明了当传感器与视频摄像机并列时，用于从动作视频中自动选择视频镜头的期望的部分的方法的实施例。
图2示出了三维图解视图，其说明了一个情景，其中滑雪者的轨迹穿过摄像机A的视场但不穿过摄像机B的视场。
图3示出了一个流程图，其说明了搜索活动的摄像机的数据库的合适的算法的实施例。
图4示出了一个框图，其说明了根据本发明的实施例的视频和性能数据库的组织结构。
图5示出了一个流程图，其说明了为了搜索简化而使用性能元数据的处理。
具体实施方式
下面将会对本发明的优选实施例进行详细参考，优选实施例的例子在附图中说明。
下面通过参考用于动作视频的自动数字管理和标记的系统和方法的框图和操作说明图来描述本发明。应当理解，框图或者操作说明图的每一个框，以及框图或者操作说明图中的框的组合都可以通过模拟或者数字硬件以及计算机程序指令来实现。这些计算机程序指令可以存储在计算机可读介质中并且被提供给通用目的计算机、专用目的计算机、ASIC或者其他可编程数据处理装置的处理器，使得通过计算机或者其他可编程数据处理装置的处理器执行的指令实现框图或者一个或多个操作框中指定的功能/动作。在一些可选择的实现中，框中标注的功能/动作可以不以操作说明图中标注的顺序进行。例如，连续示出的两个框事实上可以大致同时执行，或者框有时可以以相反的顺序执行，这取决于涉及的功能/动作。
在一个实施例中，用户配备有记录他/她的运动的基于传感器的设备。该基于传感器的设备可以是例如包括GPS和惯性传感器的便携设备。同样，提供了一种处理系统，其可以嵌入该基于传感器的设备，可以是独立设备，或者可以是基于服务器的，该设备能够检测事件，例如跳跃、翻转、旋转、高速、急转弯等等。结果，具有详细的轨迹、速度、加速度、跳跃、技巧等等的运动的详细记录被创建并且存储在性能数据库中。同样提供的还有视频摄像机，已知该视频摄像机在拍摄视频时的定位、时间以及可选地方向信息。该摄像机可以与传感器并列，或者可以是独立的设备。
下面是根据本发明的实施例的系统和方法的操作的非限制性例子。视频摄像机记录在时间t＝Tstart和t＝Tend之间发生的体育活动。在这个例子中，还使用一组传感器来记录相同的活动性能参数。使用在时间t＝tk，Tstart＜tk＜Tend的传感数据来检测特定的感兴趣的事件，例如跳跃。随后，如果传感数据和视频是时间同步的，则在时间tk-T和tk+T之间感兴趣的事件的视频镜头可以被剪出来，其中T是期望的视频镜头的半个周期。在实施例中，如果视频短于期望的时间2T，则使用整个视频。视频和传感器数据之间的时间同步可以使用GPS时间戳，或者无线网络时间戳，或者任意其他本领域技术人员熟知的方法来执行。
图1示出了一个流程图，其说明了当传感器与视频摄像机并列时，用于从动作视频中自动选择视频镜头的期望的部分的方法的实施例。时间和位置坐标允许系统自动将视频镜头和运动性能关联。如果摄像机位置、方向以及焦距是已知的，则可以在视频和传感数据之间进行更为复杂的配对。该方法从步骤101开始，其中时间在视频和传感器记录之间被同步。在步骤103中，基于传感器数据选择感兴趣的事件。这一事件可以是，例如跳跃、翻转、旋转、高速部分、转弯、急转弯或者可能感兴趣的用户的性能的任何其他有限的部分。在步骤105中，处理设备通过t＝Tsns自动确定在传感器数据中感兴趣的事件出现在哪里。已经教导了用于识别传感器数据中的感兴趣的事件的各种系统和方法，例如在2012年9月12日申请的美国专利申请号13/612,470、名称为“Method andApparatus for Determining Sportsman Jumps Using Fuzzy Logic”的申请中，其全部公开内容通过引用并入本文。
继续参考图1，在步骤107中，在上述步骤105中确定的时间被转换为视频数据库中的视频的时间帧，使得Tv＝Sync(Tsns)。随后，在步骤109中，在Tv-T：Tv+T之间的视频被选择。随后，在步骤111中，将性能数据嵌入(显示、注释)到视频数据中。在步骤113中，可以采用性能数据自动标记视频数据。自动的标记可以包括用户姓名、事件时间和定位以及关键性能特征，例如速度、坡度值、跳跃时间和/或高度、翻转角度或者商标名称等等。可选地或者附加地，在步骤111完成时，视频可以随后被自动编辑。
本领域技术人员将理解，当视频较短并且性能记录覆盖长得多的重叠时间段时，通过选择合适的性能段来完成类似的操作。
图2示出了三维图解视图，其说明了一个情景，其中滑雪者的轨迹穿过摄像机A的视场但不穿过摄像机B的视场。如果在摄像机A的可操作时间期间发生感兴趣的事件，则可以识别和选择合适的镜头。事件B的轨迹不穿过任何摄像机视场，无法被同步。这一实现说明可能的情况，其中多个无人看管的摄像机持续不断地记录着它们的视场中的任意活动，并且随后基于分别收集的性能、时间以及定位数据自动地选择感兴趣的视频。
图3示出了一个流程图，其说明了搜索活动的摄像机的数据库的合适的算法的实施例。在步骤301中，使用传感器数据来识别感兴趣的事件。如上所述，这样的事件可以是跳跃、翻转、旋转、高速部分、转弯、急转弯或者任意其他可能感兴趣的用户的性能的有限的部分。一旦识别了该事件，在步骤303中，处理系统确定事件的地理位置和持续时间。在步骤305中，处理系统找到在时间Tk可以操作的所有摄像机(在上述步骤303中确定的)。如果没有摄像机可以操作，如在步骤307中确定的，则处理结束。否则，处理进行到步骤309，其中可以操作的摄像机或者摄像机数据与传感器或者传感器数据时间同步。一旦可以操作的摄像机或者其数据与传感器或者传感器数据时间同步，则处理进行到步骤311以选择摄像机的子组，该摄像机的子组具有在它们的视场中的事件的位置(如在上述步骤303中确定的)。如果没有这样的摄像机，如在步骤313中确定的，则处理结束。在步骤315中，在先前选择的摄像机的子组中，选择摄像机的另一个子组，该另一个子组是符合其他准则的摄像机或者摄像机数据。这样的其他准则的例子包括，例如具有最佳焦点的摄像机。在步骤317中，从摄像机的另一个子组中选择在时间Tk-T：Tk+T记录的视频镜头。在步骤319中，针对感兴趣的事件或者针对所有性能的性能数据被嵌入到视频数据中。最后，在步骤321中，采用性能数据以及其他信息(时间、定位、用户)来标记视频数据。
图4示出了一个框图，其说明了根据本发明的实施例的视频和性能数据库的组织结构的例子。图5示出了一个流程图，其说明了为了搜索简化而使用性能元数据的处理。
因此，当前公开的系统和方法的实施例允许通过性能特征对独立的视频或者视频库进行编辑、注释以及搜索。通过从属于特定子群(例如“朋友”)中的用户选择性能数据，主体选择可以更加精确。假设多个用户具有对应于特定视频剪辑的性能数据轨迹。但是，他们中只有一个用户属于制作视频的人的“朋友”子群。于是，该“朋友”的性能数据可以被自动地选择为与视频同步。这解决了一种常见的情况，其中一个人记录他或者她的朋友的视频，而其他人的活动也被记录在该帧中。根据本发明的各种实施例的自动选择可以进一步改进系统的性能并简化视频创建的处理。
在此描述的处理步骤可以在一个或者多个计算设备上执行。例如，可以在以下任意组合上执行步骤：(a)用户携带的便携数据收集设备，(b)由体育事件的观众或者参与到事件中的用户携带的便携视频记录计算设备，或者(c)远程服务器计算设备。便携数据收集设备的例子是其中具有加速度计和GPS性能的便携计算设备或者智能电话。便携视频记录计算设备的例子包括具有处理能力的视频摄像机，或者具有视频记录硬件和软件的智能电话。每一个这样的计算设备可以包括例如：执行指令的处理器；用于存储计算机程序指令的计算机可读介质，例如静态存储器和/或动态存储器；输入装置，例如触摸屏幕、键盘、语音输入、鼠标等；用于在无线和/或有线网络上通信的网络接口，以及用户接口，例如显示器、扬声器以及硬或软按钮。便携数据收集设备可以进一步包括加速度计，例如三轴加速度计，并且也可以包括GPS接收器以及利用GPS接收器来确定其位置的能力。远程服务器计算设备可以是远离便携数据收集设备的设备。例如，服务器或者台式计算机可以被提供，并且其处理来自便携数据收集设备的原始或预处理的加速度计数据。可以通过与便携数据收集设备相关的无线和/或有线网络接口以及与远程服务器或者远程台式计算机相关的无线和/或有线网络接口，来执行从便携数据收集设备向计算设备或者远程服务器计算设备传输数据。
上述实施例和优先选择是本发明的说明。既不需要也没有意图对本专利概括或者定义每一个可能的组合或者实施例。发明人已经公开了足够的信息以允许本领域技术人员来实现本发明的至少一个实施例。上述描述和附图仅仅是本发明的说明，并且在不背离下面的权利要求限定的本发明的范围的情况下，组件、结构和步骤的改变是可以的。例如，上述和/或在下面的权利要求中的以特定顺序描述的元件和/或步骤可以以不同顺序实现而不背离本发明。因此，当参考在此的实施例具体地示出并描述本发明时，本领域技术人员将可以理解在不背离本发明的精神和范围的情况下，可以做出各种形式和细节上的改变。

Claims (33)

1.一种方法，包括：
在处理系统中，接收来自在体育活动期间由用户携带的或者附于体育装备的设备的GPS数据，所述GPS数据包括位置数据和时间数据的至少一个；
在所述处理系统中处理所述GPS数据以识别由用户参加的至少一个事件；
将识别所述至少一个事件的数据存储到性能记录中；
将视频数据存储到视频记录中，该视频数据具有元数据，所述元数据至少包括与视频的各帧相关的时间和定位信息；
使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步；以及
使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据。
2.根据权利要求1的方法，其中由用户携带的所述设备包括基于传感器的设备，其中所述接收步骤包括接收来自该基于传感器的设备的惯性数据，并且其中所述处理步骤包括处理所述惯性数据。
3.根据权利要求1的方法，其中该用户是运动员并且该事件是体育事件。
4.根据权利要求1的方法，其中所述性能记录包括性能数据库。
5.根据权利要求1的方法，其中所述视频记录包括视频数据库。
6.根据权利要求1的方法，其中所述元数据还包括方向信息。
7.根据权利要求1的方法，其中所述使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步的步骤是使用GPS时间戳执行的。
8.根据权利要求1的方法，其中所述使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步的步骤是使用无线网络时间戳执行的。
9.根据权利要求1的方法，其中通过所述处理系统识别的所述至少一个事件包括从由下列各项组成的组中选择出的事件：跳跃、翻转、旋转、高速部分、转弯或者急转弯。
10.根据权利要求1的方法，其中该设备是包括至少一个GPS传感器和至少一个惯性传感器的便携设备。
11.根据权利要求1的方法，其中所述处理系统嵌入到所述设备中。
12.根据权利要求1的方法，其中所述处理系统是与所述设备分开的设备。
13.根据权利要求1的方法，其中所述处理系统是服务器。
14.根据权利要求2的方法，其中所述GPS数据以及所述惯性数据存储在所述性能数据库中。
15.根据权利要求1的方法，其中所述设备是与产生所述视频数据的摄像机协同定位的。
16.根据权利要求1的方法，其中所述设备是与产生所述视频数据的摄像机分开并且独立的。
17.根据权利要求1的方法，其中所述性能数据库和所述视频数据库是相同的数据库，该相同的数据库具有针对性能数据和针对视频数据的分开的记录。
18.根据权利要求1的方法，还包括使用附加的元数据来加速性能和视频数据的匹配。
19.根据权利要求16的方法，其中所述使用附加的元数据的步骤包括使用用户姓名或者ID来简化搜索。
20.一种系统，包括：
配置为在体育活动期间由用户携带的设备，所述设备具有产生GPS数据的至少一个GPS传感器；
视频摄像机，配置为产生视频数据；以及，
处理系统，配置为：
(a)处理所述GPS数据以识别由用户参加的至少一个事件；
(b)将识别所述至少一个事件的数据存储到性能数据库中；
(c)访问视频数据库中的视频数据，该视频数据包括与视频的各帧相关的定位、时间以及方向信息；
(d)使所述视频数据库中的时间代码数据与所述性能数据库中的时间代码数据同步；以及
(e)使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据。
21.根据权利要求20的系统，其中由用户携带的所述设备包括基于传感器的设备，其中所述接收步骤包括接收来自该基于传感器的设备的惯性数据，并且其中所述处理步骤包括处理所述惯性数据。
22.根据权利要求20的系统，其中该用户是运动员并且该事件是体育事件。
23.根据权利要求20的系统，其中所述设备配置为附于用户的装备或者服装而被携带。
24.根据权利要求20的系统，其中通过所述处理系统识别的所述至少一个事件包括从由下列各项组成的组中选择出的事件：跳跃、翻转、旋转、高速部分、转弯或者急转弯。
25.根据权利要求20的系统，其中所述设备是包括至少一个GPS传感器以及至少一个惯性传感器的便携设备。
26.根据权利要求20的系统，其中所述处理系统嵌入到所述基于传感器的设备中。
27.根据权利要求20的系统，其中所述处理系统是与所述基于传感器的设备分开的设备。
28.根据权利要求20的系统，其中所述处理系统是服务器。
29.根据权利要求20的系统，其中所述GPS数据以及所述惯性数据存储在所述性能数据库中。
30.根据权利要求20的系统，其中所述设备是与所述视频摄像机协同定位的。
31.根据权利要求20的系统，其中所述设备是与所述视频摄像机分开且独立的。
32.根据权利要求20的系统，其中所述性能数据库和所述视频数据库是相同的数据库，该相同的数据库具有针对性能数据和针对视频数据的分开的记录。
33.一种计算机程序产品，包括非临时的计算机可读存储介质，该计算机可读存储介质具有嵌入在该介质中用于实现方法的计算机可读程序代码，该计算机程序产品包括：
用于在处理系统中接收来自在体育活动期间由用户携带的设备的GPS数据的程序代码，所述GPS数据包括位置数据和时间数据的至少一个；
用于在所述处理系统中处理所述GPS数据以识别由用户参加的至少一个事件的程序代码；
用于将识别所述至少一个事件的数据存储到性能数据库中的程序代码；
用于将视频数据存储到视频数据库中的程序代码，该视频数据包括与视频的各帧相关的定位、时间和方向信息；
用于使所述视频数据库中的时间代码数据与所述性能数据库中的时间代码数据同步的程序代码；以及
用于使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据的程序代码。
CN201380020481.6A 2012-06-11 2013-01-11 动作视频的自动数字管理和标记 Pending CN104335594A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261689654P 2012-06-11 2012-06-11
US61/689,654 2012-06-11
US13/734,818 2013-01-04
US13/734,818 US8929709B2 (en) 2012-06-11 2013-01-04 Automatic digital curation and tagging of action videos
PCT/US2013/021122 WO2013187937A1 (en) 2012-06-11 2013-01-11 Automatic digital curation and tagging of action videos

Publications (1)

Publication Number Publication Date
CN104335594A true CN104335594A (zh) 2015-02-04

Family

ID=49715399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380020481.6A Pending CN104335594A (zh) 2012-06-11 2013-01-11 动作视频的自动数字管理和标记

Country Status (7)

Country Link
US (3) US8929709B2 (zh)
EP (1) EP2859734A4 (zh)
JP (1) JP2015523010A (zh)
KR (1) KR20150020526A (zh)
CN (1) CN104335594A (zh)
RU (1) RU2617691C2 (zh)
WO (1) WO2013187937A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569449A (zh) * 2016-06-13 2017-04-19 北京动量科技有限责任公司 一种复合定位的运动实时监控方法及其设备
CN106993209A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种基于移动端技术进行短视频剪辑的方法
CN107623838A (zh) * 2016-07-15 2018-01-23 索尼公司 信息处理设备、方法和计算机程序产品
CN107734303A (zh) * 2017-10-30 2018-02-23 北京小米移动软件有限公司 视频标识方法及装置
CN107810531A (zh) * 2015-04-29 2018-03-16 通腾科技股份有限公司 数据处理系统
CN108028968A (zh) * 2015-06-10 2018-05-11 雷蛇(亚太)私人有限公司 视频编辑器服务器、视频编辑方法、客户端装置及控制客户端装置的方法
CN110187367A (zh) * 2019-05-23 2019-08-30 哈尔滨工业大学 一种越野滑雪运动轨迹跟踪与视频采集方法及系统

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US9607652B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9401178B2 (en) 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US9646209B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
US9396385B2 (en) 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9626554B2 (en) 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9406336B2 (en) 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US9604142B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US10408857B2 (en) 2012-09-12 2019-09-10 Alpinereplay, Inc. Use of gyro sensors for identifying athletic maneuvers
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US10089633B2 (en) 2013-08-13 2018-10-02 Amazon Technologies, Inc. Remote support of computing devices
CH709324A2 (fr) 2014-01-06 2015-08-28 Cédric Mangaud Dispositif de création de vidéos augmentées.
US9456174B2 (en) * 2014-01-20 2016-09-27 H4 Engineering, Inc. Neural network for video editing
US9374477B2 (en) 2014-03-05 2016-06-21 Polar Electro Oy Wrist computer wireless communication and event detection
US9361469B2 (en) 2014-03-26 2016-06-07 Amazon Technologies, Inc. Electronic communication with secure screen sharing of sensitive information
US10445051B1 (en) * 2014-03-27 2019-10-15 Amazon Technologies, Inc. Recording and replay of support sessions for computing devices
FI20145643A (fi) 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
US10362263B2 (en) 2014-07-02 2019-07-23 Amer Sports Digital Services Oy System and method for remote activation of a storage operation of pictorial information
US9928878B2 (en) 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
US10192583B2 (en) * 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters
WO2016073992A1 (en) * 2014-11-07 2016-05-12 H4 Engineering, Inc. Editing systems
JPWO2016111069A1 (ja) * 2015-01-05 2017-10-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10918924B2 (en) 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
WO2016134031A1 (en) 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US10075623B2 (en) 2015-03-30 2018-09-11 Myriad Sensors, Inc. Synchronizing wireless sensor data and video
DE102015207415A1 (de) * 2015-04-23 2016-10-27 Adidas Ag Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis
WO2016179652A1 (en) * 2015-05-08 2016-11-17 Guided Knowledge Ip Pty Ltd Frameworks, devices and methodologies configured to enable automated categorisation and/or searching of media data based on user performance attributes derived from performance sensor units
US10244031B1 (en) 2015-06-16 2019-03-26 Amazon Technologies, Inc. Navigation assistance from a trusted device
US11368540B1 (en) 2015-06-16 2022-06-21 Amazon Technologies, Inc. Remote assistance for a computing device from a trusted device
JP7005482B2 (ja) * 2015-07-16 2022-01-21 ブラスト モーション インコーポレイテッド 多センサ事象相関システム
US11577142B2 (en) 2015-07-16 2023-02-14 Blast Motion Inc. Swing analysis system that calculates a rotational profile
US10974121B2 (en) 2015-07-16 2021-04-13 Blast Motion Inc. Swing quality measurement system
US11565163B2 (en) 2015-07-16 2023-01-31 Blast Motion Inc. Equipment fitting system that compares swing metrics
US9694267B1 (en) 2016-07-19 2017-07-04 Blast Motion Inc. Swing analysis method using a swing plane reference frame
AU2016293616B2 (en) * 2015-07-16 2020-03-12 Blast Motion Inc. Integrated sensor and video motion analysis method
US10124230B2 (en) 2016-07-19 2018-11-13 Blast Motion Inc. Swing analysis method using a sweet spot trajectory
KR101748036B1 (ko) 2015-10-05 2017-06-15 주식회사 엘지유플러스 영상컨텐츠 제공 시스템, 큐레이션제어서버 및 그 영상컨텐츠 서비스 방법
US10321208B2 (en) * 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
US11074826B2 (en) 2015-12-10 2021-07-27 Rlt Ip Ltd Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance via performance monitoring hardware
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10265602B2 (en) 2016-03-03 2019-04-23 Blast Motion Inc. Aiming feedback system with inertial sensors
US10853435B2 (en) 2016-06-17 2020-12-01 Axon Enterprise, Inc. Systems and methods for aligning event data
US10786728B2 (en) 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
JP2019050444A (ja) * 2017-09-07 2019-03-28 オリンパス株式会社 データ編集のためのインターフェイス装置、キャプチャ装置、画像処理装置、データ編集方法及びデータ編集プログラム
US10545578B2 (en) 2017-12-22 2020-01-28 International Business Machines Corporation Recommending activity sensor usage by image processing
CN108900905A (zh) * 2018-08-08 2018-11-27 北京未来媒体科技股份有限公司 一种视频剪辑方法及装置
IT202000025888A1 (it) * 2020-10-30 2022-04-30 Gobee S R L Metodo e sistema per comporre automaticamente un filmato
TWI791402B (zh) * 2022-01-24 2023-02-01 光禾感知科技股份有限公司 自動影片剪輯系統及方法
US20230274549A1 (en) * 2022-02-28 2023-08-31 Samsung Electronics Company, Ltd. Systems and Methods for Video Event Segmentation Derived from Simultaneously Recorded Sensor Data

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317959A (ja) * 2000-05-10 2001-11-16 Sony Corp 情報処理装置および情報処理方法、情報処理システム、並びにプログラム格納媒体
CN1533672A (zh) * 2002-02-20 2004-09-29 松下电器产业株式会社 记忆辅助系统
JP2005286377A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd シーン抽出システムおよびシーン抽出方法
US20060291840A1 (en) * 2005-06-09 2006-12-28 Sony Corporation Information processing device and method, photographing device, and program
US20080246841A1 (en) * 2007-04-03 2008-10-09 Taiming Chen Method and system for automatically generating personalized media collection for participants
US20100268459A1 (en) * 2009-04-15 2010-10-21 Abalta Technologies, Inc. System and method for testing of navigation systems
WO2011101858A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod A system and method for social networking for managing multidimensional life stream related active note(s) and associated multidimensional active resources & actions
CN102318341A (zh) * 2008-12-17 2012-01-11 斯凯霍克技术有限责任公司 为视频重放路线行为表现对加入时间戳的影像的组合
WO2012027626A2 (en) * 2010-08-26 2012-03-01 Trx Sports, Inc. Creating and viewing multimedia content from data of an individual's performance in a physical activity

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873585A (en) 1984-09-07 1989-10-10 Ivex Corporation Method of selectively retrieving video images from a video reproducer for simulating movement
US7386401B2 (en) 1994-11-21 2008-06-10 Phatrat Technology, Llc Helmet that reports impact information, and associated methods
US5832171A (en) 1996-06-05 1998-11-03 Juritech, Inc. System for creating video of an event with a synchronized transcript
US7483049B2 (en) 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
AUPQ281299A0 (en) 1999-09-14 1999-10-07 Locktronic Systems Pty. Ltd. Improvements in image recording apparatus
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US7986339B2 (en) 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
JP4121974B2 (ja) 2004-03-26 2008-07-23 富士フイルム株式会社 画像撮影システムおよび画像撮影方法
US20050223799A1 (en) 2004-03-31 2005-10-13 Brian Murphy System and method for motion capture and analysis
NO323521B1 (no) * 2004-09-10 2007-06-04 Telenor Asa Lokasjonsbildekommentering pa kameratelefoner
ATE413216T1 (de) * 2005-07-12 2008-11-15 Dartfish Sa Verfahren zur analyse der bewegung einer person während einer aktivität
JP2009038451A (ja) * 2007-07-31 2009-02-19 Toshiba Corp 動画編集再生システムおよび装置
US8711224B2 (en) 2007-08-06 2014-04-29 Frostbyte Video, Inc. Image capture system and method
JP4755156B2 (ja) 2007-09-05 2011-08-24 日本電信電話株式会社 画像提供装置及び画像提供プログラム
EP2048515B1 (de) 2007-10-11 2012-08-01 JENOPTIK Robot GmbH Verfahren zur Erfassung und Dokumentation von Verkehrsverstössen an einer Verkehrsampel
US9037583B2 (en) * 2008-02-29 2015-05-19 Ratnakar Nitesh Geo tagging and automatic generation of metadata for photos and videos
US8187182B2 (en) * 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
CN102422286A (zh) * 2009-03-11 2012-04-18 香港浸会大学 利用图像获取参数和元数据自动和半自动的图像分类、注释和标签
US20120130514A1 (en) 2009-04-16 2012-05-24 Nike International Ltd. Athletic performance rating system
US8331611B2 (en) 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
WO2011069291A1 (en) 2009-12-10 2011-06-16 Nokia Corporation Method, apparatus or system for image processing
US20110208822A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine
JP5437928B2 (ja) 2010-06-23 2014-03-12 日本電信電話株式会社 メタデータ付与装置、映像検索装置、方法およびプログラム
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9940508B2 (en) * 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US20120113145A1 (en) 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
WO2012070010A1 (en) 2010-11-24 2012-05-31 Stergen High-Tech Ltd. Improved method and system for creating three-dimensional viewable video from a single video stream
JP2013130808A (ja) 2011-12-22 2013-07-04 Nikon Corp 電子機器
US9167228B2 (en) * 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
EP2618566A1 (en) 2012-01-23 2013-07-24 FilmMe Group Oy Controlling controllable device during performance
JP2015514339A (ja) 2012-03-13 2015-05-18 エイチ4 エンジニアリング, インコーポレイテッドH4 Engineering, Inc. スポーツイベントをビデオ録画し、ウェブキャストするシステム及び方法
JP2013219541A (ja) 2012-04-09 2013-10-24 Seiko Epson Corp 撮影システムおよび撮影方法
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US9566021B2 (en) 2012-09-12 2017-02-14 Alpinereplay, Inc. Systems and methods for synchronized display of athletic maneuvers
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
JP6299604B2 (ja) 2012-11-09 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US9769387B1 (en) 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
FI20145643A (fi) 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
US20160045785A1 (en) 2014-08-12 2016-02-18 Board Tracking Technologies, Llc Action sports tracking system and method
US20160225410A1 (en) 2015-02-03 2016-08-04 Garmin Switzerland Gmbh Action camera content management system
WO2016134031A1 (en) 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317959A (ja) * 2000-05-10 2001-11-16 Sony Corp 情報処理装置および情報処理方法、情報処理システム、並びにプログラム格納媒体
CN1533672A (zh) * 2002-02-20 2004-09-29 松下电器产业株式会社 记忆辅助系统
JP2005286377A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd シーン抽出システムおよびシーン抽出方法
US20060291840A1 (en) * 2005-06-09 2006-12-28 Sony Corporation Information processing device and method, photographing device, and program
US20080246841A1 (en) * 2007-04-03 2008-10-09 Taiming Chen Method and system for automatically generating personalized media collection for participants
CN102318341A (zh) * 2008-12-17 2012-01-11 斯凯霍克技术有限责任公司 为视频重放路线行为表现对加入时间戳的影像的组合
US20100268459A1 (en) * 2009-04-15 2010-10-21 Abalta Technologies, Inc. System and method for testing of navigation systems
WO2011101858A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod A system and method for social networking for managing multidimensional life stream related active note(s) and associated multidimensional active resources & actions
WO2012027626A2 (en) * 2010-08-26 2012-03-01 Trx Sports, Inc. Creating and viewing multimedia content from data of an individual's performance in a physical activity

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107810531A (zh) * 2015-04-29 2018-03-16 通腾科技股份有限公司 数据处理系统
CN107810531B (zh) * 2015-04-29 2020-11-27 通腾科技股份有限公司 数据处理系统
CN108028968A (zh) * 2015-06-10 2018-05-11 雷蛇(亚太)私人有限公司 视频编辑器服务器、视频编辑方法、客户端装置及控制客户端装置的方法
CN108028968B (zh) * 2015-06-10 2021-01-01 雷蛇(亚太)私人有限公司 视频编辑器服务器、视频编辑方法、客户端装置及控制客户端装置的方法
US11019378B2 (en) 2015-06-10 2021-05-25 Razer (Asia-Pacific) Pte. Ltd. Methods and apparatuses for editing videos from multiple video streams
CN106993209A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种基于移动端技术进行短视频剪辑的方法
CN106569449A (zh) * 2016-06-13 2017-04-19 北京动量科技有限责任公司 一种复合定位的运动实时监控方法及其设备
CN107623838A (zh) * 2016-07-15 2018-01-23 索尼公司 信息处理设备、方法和计算机程序产品
CN107734303A (zh) * 2017-10-30 2018-02-23 北京小米移动软件有限公司 视频标识方法及装置
US10810439B2 (en) 2017-10-30 2020-10-20 Beijing Xiaomi Mobile Software Co., Ltd. Video identification method and device
CN110187367A (zh) * 2019-05-23 2019-08-30 哈尔滨工业大学 一种越野滑雪运动轨迹跟踪与视频采集方法及系统

Also Published As

Publication number Publication date
EP2859734A1 (en) 2015-04-15
EP2859734A4 (en) 2015-12-23
JP2015523010A (ja) 2015-08-06
US10419715B2 (en) 2019-09-17
US20130330054A1 (en) 2013-12-12
RU2014138631A (ru) 2016-04-10
US8929709B2 (en) 2015-01-06
US20170026608A1 (en) 2017-01-26
US20150098688A1 (en) 2015-04-09
KR20150020526A (ko) 2015-02-26
RU2617691C2 (ru) 2017-04-26
US9497407B2 (en) 2016-11-15
WO2013187937A1 (en) 2013-12-19

Similar Documents

Publication Publication Date Title
US10419715B2 (en) Automatic selection of video from active cameras
US10277861B2 (en) Storage and editing of video of activities using sensor and tag data of participants and spectators
KR102025334B1 (ko) 검출된 물리적 표시를 통한 사용자 관심 결정
RU2597232C1 (ru) Способ предоставления видео в режиме реального времени и устройство для его осуществления, а также сервер и терминальное устройство
CN107111740A (zh) 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
US20220201059A1 (en) Method and system for aggregating content streams based on sensor data
US11315340B2 (en) Methods and systems for detecting and analyzing a region of interest from multiple points of view
US20180132006A1 (en) Highlight-based movie navigation, editing and sharing
US11676389B2 (en) Forensic video exploitation and analysis tools
ES2914124T3 (es) Focalización multimedia
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
CN104904195A (zh) 增强现实的设备和方法
JPWO2018131238A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109219825A (zh) 装置和相关联方法
US20110179003A1 (en) System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same
WO2014179749A1 (en) Interactive real-time video editor and recorder
KR20160087284A (ko) 영상 처리 장치, 영상 처리 장치가 수행하는 영상 저장 방법 및 영상 검색 방법
WO2017056387A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
CN112437270B (zh) 一种监控视频播放方法、装置和可读存储介质
Saini et al. Automated Video Mashups: Research and Challenges
KR20180053221A (ko) 전자 장치 및 그의 제어 방법
JP4177820B2 (ja) データ入力装置及びデータ入力システム
KR20200017466A (ko) 비디오 항목의 제공을 위한 장치 및 관련된 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150204

WD01 Invention patent application deemed withdrawn after publication