CN108369646B - 多传感器事件检测和标记系统 - Google Patents

多传感器事件检测和标记系统 Download PDF

Info

Publication number
CN108369646B
CN108369646B CN201680053853.9A CN201680053853A CN108369646B CN 108369646 B CN108369646 B CN 108369646B CN 201680053853 A CN201680053853 A CN 201680053853A CN 108369646 B CN108369646 B CN 108369646B
Authority
CN
China
Prior art keywords
event
data
computer
video
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053853.9A
Other languages
English (en)
Other versions
CN108369646A (zh
Inventor
B·博斯
M·本特利
R·卡普斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blast Motion Inc
Original Assignee
Blast Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/801,428 external-priority patent/US9406336B2/en
Priority claimed from US15/184,926 external-priority patent/US9607652B2/en
Application filed by Blast Motion Inc filed Critical Blast Motion Inc
Publication of CN108369646A publication Critical patent/CN108369646A/zh
Application granted granted Critical
Publication of CN108369646B publication Critical patent/CN108369646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/34—Angular speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A63B2220/44—Angular acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
    • A63B2230/06—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations heartbeat rate only
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals

Abstract

一种传感器事件检测和标记系统，其分析来自多个传感器的数据以检测事件并自动选择或产生针对事件的标记。传感器可以包括例如运动捕获传感器和一个或多个附加传感器，其测量数值(诸如温度、湿度、风或高度)。标记和事件检测可以由微处理器执行，微处理器与传感器相关联或整合有传感器，或者由计算机执行，计算机从微处理器接收数据。标记可以表示例如活动类型、运动员、表现水平或得分结果。系统可以分析社交媒体发布以确认或扩大事件标记。用户可以基于所分配的标记过滤并分析所存储的事件。系统可以创建根据度量和标记过滤的高光和失败时刻。

Description

多传感器事件检测和标记系统
技术领域
一个或更多实施例涉及包括环境、生理传感器和运动捕获传感器以及相关数据分析的领域，以及基于在环境、生理和/或运动捕获数据内或者在与用户或装备相关联的运动分析数据内辨识出的事件并且/或者基于来自所述用户或者其他(多位)用户和/或装备的先前运动分析数据来显示信息。更具体来说(但是并非限制)，一个或更多实施例实现了一种多传感器事件检测和标记系统，其允许与来自动作捕捉传感器的运动数据同步地智能分析、同步并且传送一般简明事件的视频，其中动作捕捉传感器与用户或设备耦合。事件数据包括视频和运动捕获数据，保存至数据库。事件包括运动事件，当它们发生时进行分析，并且对存储在数据库中的事件的分析识别运动事件数据中的趋势、相关性、模型和模式。通过上传事件视频并且避免上传大视频的不相关部分，大量节省存储并提高上传速度。创建按度量过滤的高光时刻，并且能够按度量排序。即使其他传感器不检测该事件，也结合多个传感器以保存事件数据。事件可以通过多传感器和/或社交媒体或其他网页上的文本/视频来相关联并确认，和/或以其他方式与(多幅)图像或视频同步，这可以在事件发生时或者在后来的某一时间基于事件的位置和/或时间或者全部二者例如在移动设备或远程服务器上进行，并且是捕获自(多台)内部/外部摄影机或保姆摄像头，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，体育、军事或者包括脑震荡在内的其他运动事件，或者与老年人相关联的摔倒事件，并且例如丢弃非事件相关的视频数据，从而大大减少针对事件视频的存储需求。该系统可以基于传感器数据的分析自动针对事件产生标记；标记还可以基于描述事件的社交媒体网站发布的分析而产生。
背景技术
现有的运动捕获系统处理并且潜在地存储关于实际感兴趣事件的大量数据。举例来说，已知的系统捕获来自耦合到用户或装备的加速度计数据，并且分析或监测移动。这些系统不会使用多个不同类型的传感器或社交媒体或其他基于非传感器的信息(包括用于确认事件实际上是否已经发生的发布或者已经进行什么类型的设备或已经发生什么类型的活动)来智能确认事件。
在这些情形中，数以千计或者数以百万计的运动捕获样本与静止中的或者未在移动的用户相关联，其方式与现有系统正在尝试分析的特定事件有关。举例来说，如果正在监测美式足球运动员，则大量运动数据与脑震荡事件无关，对于婴儿，大量运动数据通常与抖动事件或者例如婴儿猝死综合症(SIDS)之类的非运动事件无关，对于高尔夫球手，由安放在运动员的高尔夫球杆上的传感器捕获的大量运动数据的加速度数值较低，也就是说例如与运动员站立或等待另一位运动员或者在其他方面没有按照感兴趣的方式移动或加速度相关联。因此，对于非事件相关的数据的捕获、传输和存储增加了对于电力、带宽和存储器的需求。
此外，对于实施某种类型的运动的视频捕获可能包括甚至更大量的数据，其中的许多与例如棒球棒的挥击或本垒打之类的实际事件无关。没有已知的系统能够自动修剪视频，例如保存事件相关的视频乃至丢弃非事件相关的视频，例如通过上传例如仅仅是由动作捕捉传感器确定的相关事件视频，而不上传整个原始视频，以便生成对应于在视频中发生并且例如通过运动捕获数据的分析所检测到的事件的更小的视频片段。
与监测碰撞有关的一些系统专注于线性加速度相关的碰撞。这些系统无法监测旋转加速度或速度，并且因此无法检测可能产生脑震荡的特定类型的事件。此外，出于低功率和耐久性考虑，许多这些类型的系统并不产生事件相关的无连接消息。因此，这些系统基于其缺少鲁棒特性而在其使用方面受到限制。
已知的系统也没有设想到在运动数据内进行关于事件的数据挖掘，以便基于在先前存储的运动数据内辨识出的事件的功能形成特定移动的表示，例如普通运动员或普通职业运动员等级或者任何运动员等级的挥击。因此，找到、修剪并且指定特定运动相关的事件以便例如使用在虚拟现实中是非常困难和耗时的，并且需要人工劳动。因此，当前的系统无法很容易地允许特定用户以相同用户或其他用户以及例如历史运动员的先前存储的运动事件为对手进行比赛。此外，已知的系统没有考虑到累积的碰撞，以及例如针对与脑震荡有关的数据挖掘的信息来确定一系列碰撞是否可能导致脑部功能随着时间受损。
其他类型的运动捕获系统包括针对分析和教导身体技术细节 (mechanics)的视频系统。这些系统是基于对运动员进行视频记录以及对所记录的运动员的视频进行分析。这种技术存在限制，其中包括例如基于视频的不尽准确并且不尽一致的主观分析。另一种技术包括运动分析，其中例如使用至少两台摄影机来捕获与运动员相关联的移动的三维点。已知的实现方式利用静止的多摄影机系统，所述系统不够便携并且因此无法在系统的安装环境之外被利用，例如在高尔夫球巡回赛、美式足球比赛之类的体育事件期间被利用或者被利用来监测儿童或老年人。一般来说，基于视频的系统也不利用来自正在经历运动的对象上的传感器的数字运动捕获数据，这是因为基于视频的系统是针对获得并且分析具有视觉标记的图像而不是电子传感器。此外，这些固定的装置还极为昂贵。这样的现有技术在2006 年1月26日提交的美国专利序列号7,264,554中进行了概述，其要求2005年1 月26日提交的美国临时专利申请序列号60/645,751的权益，二者的说明书都被合并在此以作参考。全部两项公开内容都属于本申请的主题内容的相同发明人。
不管所获得的运动捕获数据如何，通常在每位用户或每次挥击的基础上对数据进行分析，其中并没有设想到移动电话上的处理，因此用户对于已有的移动电话只能购买运动捕获传感器和“应用(app)”。此外，现有的解决方案没有设想到移动使用、分析和消息传送和/或比较，或者使用来自该用户或其他用户的先前存储的运动捕获数据，或者对运动捕获数据的大型数据集合进行数据挖掘，以便例如获得或创建与一组用户相关联的运动捕获数据，比如直接高尔夫球手、网球运动员、篮球运动员或者任何其他体育运动的运动员，从而提供与“专业等级”普通或杰出虚拟现实对手相关联的事件。总而言之，运动捕获数据通常被用于即时监测或体育运动表现反馈，并且在其他领域中通常具有受限制和/或原始的使用。
已知的运动捕获系统通常利用几个被动或主动标记或者几个传感器。没有已知的系统能够利用少至一个视觉标记或传感器以及例如在用户已经拥有的移动设备上执行的应用来分析和显示与用户和/或装备相关联的运动捕获数据。所述数据通常是在实验室中并且在每位用户或每次挥击的基础上被分析的，并且除了该特定用户的运动分析或运动表示之外没有被用于任何其他目的，并且通常没有受到数据挖掘。
没有已知的系统允许例如无线传感器之类的运动捕获元件与用户或鞋具、手套、衬衫、裤子、腰带或其他装备(比如棒球棒，网球拍，高尔夫球杆，拳击手、美式足球或英式足球运动员的牙套，或者在任何其他接触性体育运动中所利用的保护性牙套)无缝集成或者通过其他方式耦合，以便在非常小的格式中进行本地分析或后来分析，从而使得用户不知道所述传感器被放置在这些项目之中或之上。没有已知的系统能够例如在高尔夫球杆的配重部(weight port)中或者在靠近把手的末端杆身处提供无缝安放装置，以便提供被配置成捕获运动数据的无线高尔夫球杆。从现有传感器导出的数据没有被保存在对应于大量事件的数据库中，并且除了运动捕获数据被采集的表现之外没有相对于任何其他事项被使用。
此外，对于利用装备和球的体育运动，没有已知的便携式系统允许用户获得关于球的飞行距离、挥击速度、装备的挥击效率或者撞击球的居中程度(也就是球的碰撞在装备上发生的位置)的即时视觉反馈。这些系统不允许用户与采集自其他用户或历史运动员或者采集自其自身的先前表现的运动捕获数据进行比赛。已知的系统不允许对来自大量挥击的运动捕获数据进行数据挖掘以便建议或允许搜索更好的或最优的装备以匹配用户的运动捕获数据，并且不允许原始装备制造商 (OEM)作出商业决定，例如改进其产品、将其产品与其他制造商进行比较、超额促销产品或者联系可能购买不同的或利润更多的产品的用户。
此外，没有已知的系统利用运动捕获数据挖掘来进行装备调试，以及关于即刻购买适合运动员的装备的后续销售点决策制定。此外，没有已知的系统允许定制订单履行，比如针对体育装备的定制订单履行的面向订单装配(ATO)，例如按照基于运动捕获数据挖掘的顾客规范建立并且例如在比赛或虚拟现实比赛期间被装运给顾客以完成销售点处理的装备。
此外，没有已知的系统对于被动遵从性和监测应用使用移动设备和 RFID标签。
没有已知的系统允许针对大量用户关于其运动或者相关联的装备的运动进行数据挖掘以便找到数据中的模式，从而允许基于到目前为止尚未发现的与运动有关的模式来决定商业策略。没有已知的系统允许从OEM、医疗专业人员、游戏公司或其他末端用户获得付款以允许对运动数据进行数据挖掘。
没有已知的系统能够针对事件创建包含视频捕获和运动传感器数据的同步事件视频，在数据库中存储这些同步事件视频，并且使用数据库分析以从数据库产生模型、度量、报告、警告和图形。至少出于前述的限制，需要一种运动事件分析系统。
诸如归属于Lokshin，于2013年12月26日公开的、美国专利公开号 20130346013以及于2013年12月12日公开的、美国专利公开号2013033054的已知系统没有考虑过仅仅上传在事件期间发生的相关视频，更确切地说是上传随后同步化的大视频。Lokshin的两个参考文献没有考虑过动作捕捉传感器以基于事件来命令摄影机变更运行中的摄影机参数、例如在事件视频采集期间对慢动作提供提高的帧频，并且没有考虑过在对应于事件的视频部分期间改变重播参数。参考文献也没有考虑过生成高光或失败时刻，其中多台摄影机可能例如从不同角度捕捉事件，也没有考虑过对于给定事件选择最好的视频。此外，参考文献没有考虑过多传感器环境，其中其他传感器可以不观察或以其他方式检测事件，而传感器数据对于获取度量而言仍然是有用的，因此，参考文献没有教导在一个传感器已经识别到事件之后，保存其他传感器的事件数据。
将一个或多个标记与事件相关联通常对于事件分析、过滤和分类是有用的。标记可以例如指示事件所牵涉的运动员、动作类型和动作结果(诸如得分)。已知系统依赖于回顾事件视频和事件数据的人类操作员的事件手动标记。例如，存在供教练使用的现存系统，以标记体育赛事或练习的视频，例如用于回顾队伍表现或用作球探报告。还存在用于体育转播的系统，其利用运动员或动作手动标记视频事件。没有已知的系统能够分析来自运动传感器、视频、雷达或其他传感器的数据，从而基于该数据自动选择一个或多个针对事件的标记。自动事件标记系统比起当前的手动标记方法将会提供显著的人力节约，并且将会为随后的事件检索和分析提供有价值的信息。
发明内容
本发明的实施例涉及一种多传感器事件检测和标记系统，其实现来自各种传感器和/或非传感器数据(例如博客、聊天或社交媒体发布)的事件数据的智能分析，以产生事件、并且公布事件和/或产生事件视频。实现与来自动作捕捉传感器的运动数据同步地智能分析、同步和传送一般简明事件的视频，其中动作捕捉传感器与用户或设备耦合。事件数据包括视频和运动捕获数据，保存至数据库。当事件发生时进行分析，并且例如从各种传感器相关联。存储在数据库中的事件分析识别事件数据中的趋势、相关性、模型和模式。通过上传事件视频并且避免上传大视频的不相关部分，大量节省存储并提高上传速度。提供多个视频的智能选择，例如选择具有抖动最小的一个，其中多个视频来自在给定时间覆盖某一事件的多台摄影机。描述事件的视频或其他媒体可以获取自服务器，诸如社交媒体网站。在由动作捕捉传感器确定的事件期间允许摄影机参数的近似实时变更以及重播参数和特殊效果的变更，以同步事件视频。创建按度量过滤的高光时刻，并且能够按度量排序。一种类型的高光时刻可以包括正面事件，同时另一类型可以包括负面事件，诸如“失败”，其一般是猛撞、倾翻或其他无意识事件，在某些情况下可以例如示出在许多情况下老年和变节击败了青春和兴高采烈。即使其他传感器不检测该事件，也结合多个传感器以保存事件数据。还允许分析或比较与同一用户、其他用户、历史用户或用户群相关的运动。至少一个实施例提供对于运动数据内的事件的智能辨识，其中包括但不限于从例如视觉标记和传感器、射频标识标签以及移动设备计算机系统之类的便携式无线运动捕获元件获得的运动捕获数据，或者所述运动捕获数据是基于与相同用户相关联的经过分析的移动而计算的，或者是与所述用户或其他用户、历史用户或用户群组进行比较。通过修剪运动数据和视频，实现针对运动数据和视频数据的低存储应用，以对应于检测到的事件。这可以在移动设备或远程服务器上执行，并且基于事件的位置和/或时间以及基于视频的位置和/或时间，并且可选地包括摄像机的朝向，以进一步限制可能包括运动事件的视频。一些实施例允许基于事件的观看和低功率事件传送以及与执行在移动设备上的应用和/或与外部摄影机的通信，以便指定用以定义事件的窗口。允许运动事件的辨识，以及图像或视频内的事件指定,比如运动员的击球、移动或挥击，运动员、拳击手、骑手或车手的脑震荡，或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作，或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或多幅图像或视频进行相关，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，包括脑震荡在内的体育事件，或者与老年人相关联的摔倒事件。可以针对线性加速度阈值和/或模式以及旋转加速度和速度阈值和/或模式来监测脑震荡相关事件和其他事件，并且/或者在事件的基础上对其进行保存和/或通过轻量型无连接协议对其进行传输，或者前述各项的任意组合。
本发明的实施例允许用户购买应用或“app”和运动捕获元件，并且立即将所述系统与其现有的移动计算机(例如移动电话)一起使用。本发明的实施例可以向监测用户或者与运动捕获元件或装备相关联的用户显示运动信息。一些实施例还可以基于与某一用户或装备相关联的先前存储的运动捕获数据或运动分析数据或者与至少一位其他用户相关联的先前存储的运动捕获数据或运动分析数据(通过例如(而不限于)比较之类的功能)来显示基于与所述用户或装备相关联的运动分析数据的信息。这就允许精密的监测、遵从性、与从(多位)其他用户获得的运动捕获数据或模式的交互，以便例如利用从用户获得的真实运动数据来进行虚拟比赛，并且以此为基础利用先前来自该用户或者来自其他用户(或装备)的真实运动数据捕获生成响应。这种能力提供了以历史运动员为对手的比赛，例如虚拟网球比赛，或者以“普通”专业体育运动员为对手的比赛，并且直到现在为止在本领域内是未知的。
举例来说，一个或更多实施例包括至少一个运动捕获元件，其可以与用户、装备或者与用户耦合的移动设备相耦合，其中所述至少一个运动捕获元件包括：存储器，诸如传感器数据存储器；以及可以捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度(线性和/或旋转)、角速度和角加速度相关联的数值的任意组合的传感器。在至少一个实施例中，所述至少一个运动捕获元件可以包括第一通信接口或至少一个其他传感器，以及与存储器、传感器和第一通信接口耦合的微控制器。
根据本发明的至少一实施例，所述微控制器可以是微处理器。通过一个或多个实施例，第一通信接口可以接收一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合的其他值。在至少一个实施例中，至少一个其他传感器可以本地捕获一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合的其他值。本发明的至少一个实施例可以包括第一通信接口和至少一个其他传感器，以获取运动数据和 /或环境或生理数据的任意组合。
在一个或多个实施例中，所述微处理器可以是收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据中的一种或多种。在至少一个实施例中，所述微处理器可以将一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合的其他值与数据或事件数据相关。如此在至少一个实施例中，所述微处理器可以将一个或多个其他值与数据或事件数据相关，以确定一个或多个假阳性事件、至少一个运动捕获元件所耦合的设备类型以及由数据或事件数据所指示的活动类型。
在一个或多个实施例中，所述微处理器可以通过第一通信接口传送与事件相关联的一个或多个数据和事件数据。所述系统的实施例还可以包括在移动设备上执行的应用，其中移动设备包括计算机、与运动捕获元件的通信接口进行通信以便获得与事件相关联的事件数据的通信接口。在至少一个实施例中，所述计算机可以与通信接口耦合，诸如第一通信接口，其中计算机执行应用或“app”以便配置该计算机：从通信接口接收一个或多个数据和事件数据，分析数据和事件数据以形成运动分析数据，存储数据和事件数据，或运动分析数据或者事件数据和运动分析数据全部二者，并且在显示器上显示包括与至少一位用户相关联的事件数据或运动分析数据或全部二者的信息。
在一个或多个实施例中，所述微处理器可以通过相关性，检测至少一个运动捕获传感器所耦合的设备类型或者至少一个运动传感器正在感测的活动类型，以相对于第二类型活动为第一类型活动区分相似运动。在至少一个实施例中，所述至少一个运动捕获传感器可以基于一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合的其他值来区分相似运动。
通过一个或多个实施例，所述微处理器可以通过相关性检测设备类型或活动类型，以相对于第二类型活动(包括单板滑雪)为第一类型活动(包括冲浪)区分相似运动。在至少一个实施例中，所述微处理器可以基于温度或高度或温度与高度二者来区分相似运动。在至少一个实施例中，所述微处理器可以基于数据或事件数据识别传感器在一台设备或用户上的位置。在一个或多个实施例中，所述微处理器可以基于选自多个传感器个性设置的传感器个性设置来收集数据，该数据包括来自传感器的传感器值。在至少一个实施例中，所述传感器个性设置可以控制传感器设定，以相对于具体运动类型或活动类型以优化方式收集数据，其中具体运动类型或活动类型与具体设备或服装类型相关联。
通过一个或多个实施例，当在时窗内从具有第一阈值的传感器值中检测到第一值并且从具有第二阈值的传感器值中检测到第二值时，所述微处理器可以确定假阳性事件。在至少一个实施例中，然后所述微处理器可以预示未来事件、将未来事件与跟典型事件相关联的特征信号进行比较并且消除任何假阳性事件、如果未来事件不是假阳性事件则预示有效事件、并且在传感器数据存储器中存储有效事件(包括在事件时窗内的信息)作为数据。
在至少一个实施例中，所述至少一个运动捕获元件可以包含在运动捕获元件安装座、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、服务器计算机或其任意组合内。
在一个或多个实施例中，所述微处理器可以在所述至少一个运动捕获元件从设备移除之后，利用最新分配的位置识别所述至少一个运动捕获元件，并且基于数据或事件数据以与不同类型的第二台设备耦合。
在至少一个实施例中，所述系统可以包括计算机，其中所述计算机可以包括计算机存储器、可以与第一通信接口通信以获取与事件相关联的数据或事件数据或数据与事件数据二者的第二通信接口。在一个或多个实施例中，所述计算机可以与计算机存储器和第二通信接口耦合，其中所述计算机可以接收来自第二通信接口的数据并且分析所述数据并且在所述数据内识别事件，以确定事件数据。在至少一个实施例中，所述计算机可以接收来自第二通信接口的事件数据，或者可以接收来自第二通信接口的数据和事件数据二者。
在一个或多个实施例中，所述计算机可以分析事件数据，以在计算机存储器中形成运动分析数据、存储事件数据或运动分析数据、或者事件数据与运动分析数据二者、从事件数据获取事件起始时间和事件停止时间、并且获取与至少一个视频相关联的至少一个视频起始时间和至少一个视频停止时间。在至少一个实施例中，所述计算机可以将事件数据、运动分析数据或其任意组合与至少一个视频同步。在一个或多个实施例中，所述计算机可以基于与数据或事件数据相关联的第一时间以及与至少一个视频相关联的至少一个时间同步，其中数据或事件数据获取自与用户或设备或与用户耦合的移动设备耦合的所述至少一个运动捕获元件，以创建至少一个同步事件视频。在至少一个实施例中，所述计算机可以在计算机存储器中存储至少一个同步事件视频，而不会所述至少一个视频的一部分处于所述事件起始时间至所述事件停止时间之外。
通过一个或多个实施例，所述计算机可以在移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、服务器计算机或任意数量的移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、服务器计算机的任意组合中包括至少一个处理器。
根据至少一个实施例中，所述计算机可以显示同步事件视频，包括事件数据与运动分析数据二者或其任意组合，这在从事件起始时间至事件停止时间之间的时间跨度期间发生，还可以显示在从事件起始时间至事件停止时间之间的时间跨度期间捕获的视频。
在一个或多个实施例中，所述计算机可以传送至少一个同步事件视频或所述至少一个同步事件视频的一部分到资源库、查看器、服务器、另一计算机、社交媒体网站、移动设备、网络和应急服务中的一个或多个。
在至少一个实施例中，所述计算机可以接受与至少一个同步事件视频相关联的度量，并且针对所述度量接受选择标准。在一个或多个实施例中，所述计算机可以确定同步事件视频的匹配组，其具有与通过所述选择标准的所述度量相关联的值，并且与跟所述度量相关联的值一起显示同步事件视频或其相应缩略图的匹配组，其中所述度量针对同步事件视频或相应缩略图的匹配组的每一个。
在本发明的至少一个实施例中，传感器或计算机可以包括记录音频信号的麦克风。在一个或多个实施例中，识别事件可以包括基于数据确定未来事件，并且将所述数据与所述音频信号相关，以确定未来事件是有效事件还是假阳性事件。在至少一个实施例中，如果未来事件是有效事件，所述计算机可以在计算机存储器中与至少一个同步事件视频一起存储所述音频信号。
一个或更多实施例包括至少一个运动捕获传感器，其被配置成放置在用户的头部附近，其中所述微控制器或微处理器计算用户头部上的撞击位置。所述至少一个运动捕获传感器的实施例可以利用任何类型的安放、封装或耦合机制而被耦合在帽子或球帽上、耦合在保护性牙套内。所述至少一个运动捕获传感器的一个或更多实施例可以与用户头部上的头盔耦合，并且其中关于用户头部上的撞击位置的计算是基于用户头部和/或头盔的物理几何结构。一些实施例可以包括例如与所述至少一个运动捕获传感器或者与微控制器或微处理器耦合的温度传感器。
本发明的实施例还可以利用围绕所述至少一个运动捕获元件的隔离器以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼，从而最小化事件数据的线性加速度和旋转加速度的变换，以便获得用户脑部的观测线性加速度和观测旋转加速度。因此，一些实施例可以消除用以把来自基于头盔的加速度的力或加速度数值或者任何其他数值变换到所观测到的脑部加速度数值。因此，一些实施例利用更少的电力和存储来提供特定于事件的数据，从而又最小化数据传输的数量，从而导致更低的传输功率利用以及甚至更低的总功率利用。基于头盔中的内在衬垫的类型，在美式足球/冰球/ 长柄曲棍球运动员的头盔上可以利用不同的隔离器。在其中不佩戴头盔或者偶尔佩戴头盔的体育运动中所利用的其他实施例还可以利用球帽或帽子上(例如棒球运动员的帽子上)的至少一个运动捕获传感器，连同安放在击球头盔上的至少一个传感器。在其中不利用球帽的体育运动(比如英式足球)中还可以利用头带安放装置来同样确定脑震荡。在一个或更多实施例中，利用在头盔上的隔离器可以在封装中保持附着到头盔，并且传感器可以被移除并且放置在不利用匹配用户脑液的阻尼的隔离器的另一件装备上。一些实施例可以基于与特定类型的装备(也就是冲浪板相比于棒球棒、滑雪板和滑板等)相关联的特性运动模式自动检测运动类型，并且确定运动捕获传感器当前所附着到的装备的类型。
本发明的实施例可以获得/计算线性加速度数值或旋转加速度数值或者全部二者。这就允许对于脑震荡以及线性加速度监测旋转事件。在一个或多个实施例中，其他事件可以利用线性和/或旋转加速度和/或速度，例如与模式或模板进行比较，从而不仅在事件期间切换传感器个性以便动态地改动捕获特性，而且还表征正在与当前的运动捕获传感器一起利用的装备的类型。如此在至少一个实施例中，可以通过用户的单次运动捕获元件购买而使得多件装备或衣物工具化，这是通过允许传感器基于由该传感器捕获的运动与特性运动模式或模板的比较自动确定该传感器所耦合到的装备或衣物的类型。
本发明的实施例可以利用无连接广播消息来传送与事件相关联的事件数据。在一个或更多实施例中，取决于所采用的通信协议，广播消息可以包括具有有限数量的数据的有效载荷，其可以被利用来避免基于连接的协议的握手和开销。在其他实施例中，可以通过任意组合来利用无连接或基于连接的协议。
在一个或更多实施例中，计算机可以访问与至少一个其他用户、或用户、或至少一台其他设备或装备相关联的先前存储的事件数据或运动分析数据，以便例如确定脑震荡或摔倒或其他挥击或者任何其他运动事件的数目。一些实施例还可以把信息(包括与至少一位用户相关联的事件数据展示)显示在显示器上，这是基于与所述用户或装备相关联的事件数据或运动分析数据以及与所述用户或装备或者与所述至少一位其他用户或所述至少一台其他装备相关联的先前存储的事件数据或运动分析数据。这就允许在数目或定量数值方面对运动事件进行比较，例如由所述用户或其他用户在特定比赛中或者在历史上观测到的最大旋转加速度。此外在至少一个实施例中，定义对应于典型事件的特定装备的特性运动的模式或模板可以被动态地更新，例如在中央服务器上或者在本地更新，以及在一个或更多实施例中通过通信接口在运动捕获传感器中动态地更新。这就允许传感器随着时间改进。
本发明的实施例可以例如通过广播电视或因特网传送信息以便在与计算机或远程计算机耦合的视觉显示器上进行显示。所述显示器的实施例还可以接受子事件时间位置，以便提供沿着整个事件的时间线的离散滚动。举例来说，高尔夫球挥击可以包括例如瞄准(address)、向后挥动、向前挥动、击打、保持姿势(follow through) 之类的子事件。系统可以显示对应于子事件的时间位置并且接受所述位置附近的用户输入，以便确定视频应当在该时间点处开始或停止，或者例如滚动到或者回到该时间点以易于观看子事件。
本发明的实施例还可以包括与所述至少一个运动捕获传感器或用户或装备耦合的标识符。在一个或更多实施例中，所述标识符可以包括团队和队服号码或者学生标识符号码或证件号码或者任何其他标识符，其允许相对唯一地标识来自特定用户或装备的特定事件。这就允许关于可以接收与特定运动员或用户相关联的数据的应用(app)标识具有多位运动员或用户的团队体育运动或位置。一个或更多实施例接收标识符，例如与运动员或用户相关联的被动RFID标识符或MAC地址或其他序列号，并且把标识符与事件数据和运动分析数据相关联。
所述至少一个运动捕获传感器的一个或更多实施例还可以包括在事件发生的情况下可以输出光的发光元件。这可以被利用来在头盔的外侧部分显示潜在、轻度或重度脑震荡，而无需例如针对任何外部设备的任何通信。还可以利用不同的颜色或闪光间隔来传达与事件有关的信息。替换地或者与之相组合，所述至少一个运动捕获元件还可以包括音频输出元件，其在事件发生的情况下或者在所述至少一个运动捕获传感器处于计算机的范围之外的情况下可以输出声音，或者其中所述计算机可以在所述至少一个运动捕获传感器处于计算机的范围之外的情况下显示警告，或者前述各项的任意组合。传感器的实施例还可以利用LCD，其例如在快速响应(QR)代码或条形码中输出当前事件的已编码分析，从而例如使得裁判员可以在移动设备上本地获得分析代码的快照，并且使得事件不会在传感器上以可读形式被观看或者被传送并且被其他任何人拦截。
在一个或更多实施例中，所述至少一个运动捕获元件还包括与微控制器耦合的位置确定元件。这例如可以包括GPS(全球定位系统)设备。替换地或者与之相组合，所述计算机可以协同另一台计算机对位置进行三角定位，或者从任何其他三角定位类型的接收器获得位置，或者基于通过与所述计算机耦合并且已知指向特定方向的摄影机捕获的图像来计算位置，其中所述计算机例如基于图像内的对象的方向和尺寸来计算与移动设备的偏移量。
在一个或更多实施例中，所述计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频。这可以包括从特定的邻近摄影机或者指向事件方向的摄影机请求视频的广播消息。在一个或更多实施例中，所述计算机可以广播针对邻近事件或者被指向来观看事件的摄影机位置的请求，并且可选地对于围绕感兴趣事件的持续时间显示可用的摄影机或者来自该处的视频。在一个或更多实施例中，所述计算机可以显示事件发生的一个或更多时间的列表，从而允许用户通过所述计算机获得所期望的事件视频，并且/或者从具有所期望的事件时间的第三方独立地请求视频。例如，一个或多个实施例可以从社交媒体服务器获取视频或其他媒体，诸如图像、文本或音频。
在一个或更多实施例中，所述至少一个运动捕获传感器与移动设备耦合，并且例如使用处于移动设备内或者与移动设备耦合的内部运动传感器。这就允许利用普遍存在的最低程度的硬件来进行运动捕获和事件辨识，例如使用具有内建加速度计的移动设备。在一个或更多实施例中，第一移动设备可以与记录运动数据的用户耦合，第二移动设备则被利用来记录运动的视频。在一个或更多实施例中，正在经历运动的用户可以给出手势，例如在移动设备上敲击N次，从而表明第二用户的移动设备应当开始记录视频或停止记录视频。可以利用任何其他手势在移动设备之间传送事件相关或运动相关的指示。
所述至少一个运动捕获传感器的实施例可以包括温度传感器，或者所述微控制器可以通过其他方式与温度传感器耦合。在这些实施例中，微控制器或微处理器可以传送获得自温度传感器的温度以作为温度事件，例如作为中暑或体温过低的潜在指示。可以使用任意其他类型的生理传感器以及任意类型的环境传感器。
因此，本发明的实施例可以辨识任何类型的运动事件，其中包括与用户、装备或移动设备的任意组合相耦合的至少一个运动捕获传感器的相关联的运动有关的事件，或者与表明站立、行走、摔倒、中暑、疾病突发、剧烈抖动、脑震荡、碰撞、步态异常、呼吸异常或没有呼吸或者其任意组合的运动有关的事件，或者具有期间发生运动的持续时间的任何其他类型的事件。例如，一个或多个实施例可以在运动捕获元件中包括加速计，并且当来自加速计的加速度读数超过预定义阈值时可以识别事件。这种事件可以对应于运动捕获元件正在承受显著的力，这在某些实施例中可以指示感兴趣的事件。一个或多个实施例可以例如额外或替代地使用加速度变化作为事件指示符，因为加速度的快速变化可以指示震动或冲击事件。实施例可以使用任何传感器和任意传感器数据功能来检测事件。
本发明的实施例可以利用运动捕获数据上的数据挖掘来获得对应于用户、装备的模式，或者在本发明的特定实施例中使用给定用户或其他用户的运动捕获数据或事件。数据挖掘涉及在大型数据库中发现新的模式，其中所述模式是先前所不知道的。可以对数据应用许多方法以便发现新的模式，其中例如包括统计分析、神经网络以及人工智能。由于存在大量的数据，因此可以由一台或更多台计算机实施自动化数据挖掘以便找到数据中的未知的模式。未知的模式可以包括相关数据的分组、数据中的异常、数据元素之间的相关性、以最小的误差对数据进行建模的分类和功能或者任何其他类型的未知模式。数据挖掘结果的显示可以包括与大量纯粹未经处理的数据相比按照用户更容易理解的方式概括新发现的模式的显示。数据挖掘处理的其中一项结果是改进的市场研究报告、产品改进、消费勘察(lead generation)以及目标化销售。通常来说，将受到数据挖掘的任何类型的数据必须被清理(cleanse)、数据挖掘，并且其结果通常被验证。企业通过使用数据挖掘可以增加收益。本发明的实施例的益处的实例包括基于在数据中发现的模式针对高度目标个人的顾客关系管理。此外，购物篮分析数据挖掘允许识别由相同的个人购买或拥有的产品，其可以被利用来向拥有一项产品但是不拥有通常由其他用户所拥有的另一项产品的用户推销产品。
数据挖掘的其他领域包括对来自不同用户的大型运动数据集合进行分析，以便基于来自其他用户的表现数据建议用以改进表现的练习。举例来说，如果一位用户相比于普通用户在挥击期间的臀部旋转更少，则可以由系统建议用以改进柔韧性或力量的练习。在高尔夫球场实施例中，高尔夫球场规划者可以通过高尔夫球场上的大量用户来确定哪些球洞的长度或难度应当被调节，以便获得对应于每个球洞的平均杆数的更加离散的数值，或者用于确定高尔夫球手之间的时间量，例如特定日间时或者对应于特定年龄的高尔夫球手的时间量。此外，数据挖掘的体育和医疗应用包括确定用户表现随着时间的形态改变，例如相比于食谱或练习改变来确定什么对于表现的改进最多，或者例如什么日间时、温度或其他条件所产生的挥击事件会导致最远的发球或最低的分数。通过对于特定用户或者关于其他用户使用运动捕获数据允许健康护理遵从性，从而例如确保患有糖尿病的人在一天当中移动特定数量，并且还允许形态分析以便确定用户的运动或运动范围随着时间如何改变。可以利用运动捕获数据进行比赛，从而允许以历史上的伟大运动员或其他用户为对手进行虚拟现实比赛。举例来说，某人可以针对同一人的先前表现进行比赛，或者可以针对朋友的运动捕获数据进行比赛。这就允许用户在虚拟现实环境中的历史体育场或场所中进行比赛，但是运动捕获数据例如是先前从该用户或其他用户采集的。军事规划者可以利用运动捕获数据来决定哪些士兵最为适合并且因此有资格参加特殊行动或者哪些士兵应当退役，或者由教练例如基于运动员所经受的脑震荡事件及其严重性来决定运动员何时应当休息，并且潜在地基于其中其他用户在脑震荡相关事件之后提升了表现的所挖掘的时间段作出决定。
所述系统的实施例通过例如执行在移动设备上的应用来实施运动捕获和 /或显示，所述移动设备可以包括视觉显示器和可选的摄影机，并且能够从例如视觉标记和/或无线传感器之类的至少一个运动捕获元件获得数据。所述系统还可以与独立式摄影机或者多台移动设备上的摄影机集成在一起。所述系统还允许用户通过多种方式来分析和显示运动捕获数据，从而提供与运动捕获数据相关联的即时并且容易理解的图形信息。在所述系统中所利用的运动捕获元件智能地存储例如与击球、滑雪回转、跳跃等等相关联的事件有关的数据，并且消除错误事件，从而显著改进存储器使用并且最小化存储需求。此外，例如可以对于与体育装备相关联的多于一个事件存储数据，例如必要的话存储多次挥棒或者对应于整轮高尔夫球比赛的数据，至少直到数据被下载到移动设备或因特网为止。还可以利用对于所捕获数据的数据压缩，以便在给定数量的存储器中存储更多运动捕获数据。在所述系统中所利用的运动捕获元件可以智能地将其电路的某些部分断电以便节省电力，例如将收发器断电直到检测到特定类型的运动为止。本发明的实施例还可以利用灵活电池连接器以便并行地耦合两块或更多块电池，从而增加在更换电池之前可以利用系统的时间。运动捕获数据通常被存储在例如本地数据库之类的存储器中或者被存储在网络可访问的数据库中，其中的任一项都允许前面所描述的数据挖掘。利用本发明的实施例可以实施任何其他类型的数据挖掘，其中包括搜索与一位或更多位用户有关的数据的时间改变，或者简单地搜索与特定用户或装备有关的数据。
其他实施例可以基于运动相关数据显示例如音乐选择或者将要播放的音乐列表之类的信息。这例如允许将表现与另一位用户的表现进行比较并且选择另一位用户所播放的音乐类型，或者相对于阈值来比较表现，所述阈值确定将要建议或显示何种类型的音乐选择。
针对体育运动的本发明的实施例例如允许将RFID或被动RFID标签放置在用户所移动的物品上，其中所述系统的实施例跟踪运动。举例来说，通过把被动 RFID标签放置在特定的头盔或球帽或者用于拳击、美式足球、英式足球或其他接触性体育运动的保护性牙套上并且特别是放置在健身房中的哑铃上，并且通过佩戴例如手套之类的运动捕获元件以及利用例如
Figure GDA0003101490190000141
之类的已有的移动设备，本发明的实施例提供了自动安全遵从性或适合度以及/或者健康护理遵从性。这是通过跟踪运动并且通过RFID或被动RFID跟踪用户所举的重量而实现的。因此，本发明的实施例可以加上重复次数乘以由每一个RFID标签所表明的重量，从而计算用户所燃烧的卡路里数。在另一个实例中，RFID标签与固定自行车耦合，或者其中固定自行车可以模拟标识符并且/或者无线通信以便提供表现数据，并且其中移动计算机包括RFID读取器，并且可以对用户腿部的旋转次数进行计数。对于RFID或被动RFID的任何其他使用都符合本发明的精神。这就允许医生远程确定用户是否遵从其医疗建议，或者超出例如表明脑震荡的线性或旋转加速度。一些实施例因此可以由用户利用来确保遵从性，并且由医生利用来降低其职业过失保险费率，这是因为医生正在确保其患者遵从其推荐，尽管是通过远程方式。本发明的实施例对于医疗遵从性并不要求RFID标签，但是可以利用RFID标签。针对高尔夫球的本发明的实施例还允许通过使用每一根球杆上的例如RFID标签之类的标识符(或者可选地通过与高尔夫球杆上的运动捕获电子装置相关联或者通过无线电装置远程获得的标识符)以及移动计算机对与高尔夫球手相关联的每一根球杆的高尔夫球击球进行计数，所述移动计算机例如是配备有RFID 读取器的
Figure GDA0003101490190000151
其把对于高尔夫球击球计数的处理集中在移动计算机上而不是每一根高尔夫球杆上。本发明的实施例还可以允许利用惯性测量单元或加速度计和/或磁力计以及/或者陀螺仪来测量指向(北/南，以及/或者两个水平轴和垂直轴)。对于高尔夫球击球计数并不要求这一点，但是一个或更多实施例可以例如通过振动分析确定高尔夫球杆何时打中高尔夫球，并且随后向高尔夫球手询问是否计数击球。这一功能例如可以与速度或加速度阈值或者范围检测相组合，以便确定高尔夫球杆是否在可接受的速度或范围内行进，或者是否处于对应于应当计数的“击中”的加速度或范围内。还可以利用小波来与有效挥击签名进行比较，从而例如消除计数击球或者消除错误击打。该范围在不同的球杆之间可以有所不同，例如开球杆速度范围可以是“高于 30mph”，推杆速度范围则可以是“低于20mph”，对于任何球杆可以按照期望利用任何范围，或者例如可以忽略所述速度范围。替换地或者与之相组合，移动计算机可以只在高尔夫球手没有在侧向移动(也就是处于高尔夫球车中或者正在行走)时才向高尔夫球手询问是否计数击球，并且/或者其中高尔夫球手可能进行了旋转或者进行了击球，正如与移动计算机耦合的指向或陀螺仪传感器所确定的那样。例如可以在移动计算机上的地图上示出击球的位置。此外，可以把具有无线电装置的GPS接收器放置在球座标记内和球穴(cup)中以便给出关于距离的每日更新，并且例如帮助读取推杆和果岭。高尔夫球手还可以佩戴虚拟眼镜，其允许高尔夫球手看到高尔夫球场地图、当前位置、到球洞的距离、当前球洞的击球次数、击球总数以及任何其他所期望的量度。如果例如通过GPS所确定的那样，用户从击球处移动了特定距离而没有计数击球，系统可以提示用户是否计数击球。所述系统不需要用户启动球杆上的开关以计数击球，并且不需要每一根球杆上的LED或者有源或电池供电的电子装置来计数击球。移动计算机还可以接受来自用户的手势以便计数击球或不计数击球，因此高尔夫球手不必取下任何手套以操作移动计算机。对于利用位置/指向传感器的实施例，系统可以只有在球杆处于垂直指向时并且例如在检测到撞击时才计数击球。所述装置还可以包括允许标识特定装置的标识符。所述标识符例如可以是序列号。所述标识符例如可以是源自每一根高尔夫球杆上的RFID标签，或者可选地可以包括与高尔夫球杆的相关联的运动捕获元件相关联的序列号或其他标识符。通过利用该装置允许标识特定高尔夫球手、特定球杆，并且还允许与包括电视和/或移动设备的系统一起进行运动捕获和/或显示，其中所述移动设备具有视觉显示器和可选的摄影机，并且能够从例如视觉标记和/或无线传感器之类的至少一个运动捕获元件获得数据。所述系统还可以与独立式摄影机或者多台移动设备上的摄影机集成在一起。所述系统还允许用户通过多种方式来分析和显示运动捕获数据，从而提供与运动捕获数据相关联的即时并且容易理解的图形信息。所述装置还允许系统确定撞击关于球和装备(例如高尔夫球杆)的“居中”程度。所述系统还允许包括鞋具、球杆等装备的调试，并且即使装备需要来自销售商的定制面向订单装配请求也允许即刻购买装备。一旦由所述系统获得了运动捕获数据、视频或图像以及击球计数指示，可以将其例如本地存储在本地数据库中，或者例如通过有线或无线接口发送到远程数据库。一旦处于数据库中，包括与用户相关联的任何数据的各种元素(比如年龄、性别、身高、体重、地址、收入或者任何其他相关信息)就可以被利用在本发明的实施例中并且/或者受到数据挖掘。一个或更多实施例允许用户或OEM例如针对所述系统的数据挖掘能力的访问进行付费。
举例来说，利用运动捕获元件的实施例允许分析从所述装置获得的数据，并且允许把与用户相关联的独有显示(比如3D叠加)呈现到用户身体的图像上，以便通过视觉方式描绘所捕获的运动数据。此外，这些实施例还可以利用对于高达50 米的范围使用例如
Figure GDA0003101490190000161
低能量之类的主动无线技术，以便与高尔夫球手的移动计算机进行通信。例如作为接收到高尔夫球杆ID的结果(例如通过RFID读取器或者替换地通过例如使用
Figure GDA0003101490190000162
低能量或IEEE 802.11的无线通信)，本发明的实施例还允许显示针对计数击球的询问。通过使用
Figure GDA0003101490190000163
低能量芯片允许球杆利用标准的硬币单元电池处于睡眠模式长达3年，从而减少了所需的维护。本发明的一个或更多实施例例如可以利用多于一种技术的多于一个无线电装置。这就允许提高系统鲁棒性的一定程度的冗余性。举例来说，如果一个无线电装置(例如
Figure GDA0003101490190000164
无线电装置)不再工作，则IEEE 802.11无线电装置可以被利用来传输数据并且向高尔夫球手警告其中一个无线电装置不再工作，同时仍然允许高尔夫球手记录运动数据并且对于特定球杆相关联的击球进行计数。对于利用不具有(多台)摄影机的移动设备(或者多于一台移动设备)的本发明的实施例，可以利用传感器数据生成所捕获的运动数据的显示，同时所述移动设备可以可选地从其他摄影机或者具有摄影机的其他移动设备获得图像。举例来说，可以利用或者不利用用户的图像的显示类型可以包括评定、所计算的数据以及时间线数据。还可以通过具有或不具有用户图像的数字或图形数据的形式向用户显示与所捕获的运动相关联的评定，例如“效率”评定。其他评定可以包括例如用于确定脑震荡和其他事件的线性加速度和/或旋转加速度数值。可以在利用或不利用用户身体的图像的情况下在移动设备上计算并且显示所计算的数据，比如预测球飞行路径数据。还可以在具有或不具有用户的图像的情况下显示描绘在时间线上的数据，以便例如显示出对应于装备或用户身体的各个部分的相对速度峰值。来自多台摄影机(包括多台移动设备)并且例如是来自高尔夫球迷群体的图像可以被组合到BULLET
Figure GDA0003101490190000171
视觉效果中，所述视觉效果是通过在正常速度下并且在各个角度下围绕高尔夫球手示出的高尔夫球挥击的慢动作来表征的。全部所分析的数据可以在本地被显示，或者连同运动捕获数据、图像/视频、击球计数和位置数据一起被上传到数据库并且可以在其中经历数据挖掘处理，其中所述系统例如可以针对结果的访问收取费用。
在一个或更多实施例中，用户例如可以在某一高尔夫球场上打球或者打网球或者简单地进行挥击以生成运动捕获数据，并且在佩戴虚拟现实眼镜时看到另一位用户的化身，不管是虚拟的还是增强现实环境中的真实化身。在其他实施例中，用户移动与任何体育运动相关联的装备或者简单地移动与运动捕获传感器耦合的该用户自己的身体，并且观看显示在虚拟现实眼镜中的该用户的移动或如此工具化的装备的移动的虚拟现实环境。替换地或者与之相组合，可以利用虚拟现实房间或其他环境来投影虚拟现实化身和运动数据。因此，所述系统的实施例可以允许真实高尔夫球场上的用户与不同位置处的并没有在实际击球的另一位用户进行比赛，以及与其运动数据已被分析的历史运动员或者基于一个或更多运动捕获数据序列的数据挖掘构造的用户进行比赛，并且由所述系统的一个实施例利用来投影历史运动员的化身。所述三位运动员当中的每一位可以依次比赛，就如同其身处相同的地点一样。
可以通过许多方式来显示运动捕获数据和/或事件，例如在运动捕获期间或之后发推文到社交网络。举例来说，如果进行了特定数量的练习或运动或者消耗了特定数量的卡路里，或者获得了新的体育运动能力指数最大值，则所述系统可以自动把新的信息发推文到社交网站，从而可以通知连接到因特网的任何人。在一个或多个实施例中，运动捕获数据、运动分析和视频可以传送到一个或多个社交媒体网站、资源库、数据库、服务器、其他计算机、查看器、显示器、其他移动设备、应急服务或公共机构。上传到因特网(也就是远程数据库或远程服务器或者远离系统的存储)的数据可以由获得对于数据的访问的任何计算机观看、分析或进行数据挖掘。这就允许远程遵从性推文发送(tweeting)和/或遵从性和/或原始装备制造商对于给定用户确定什么用于遵从性的装备或者用于体育运动相关的实施例的体育装备工作得最好，以及/或者将要建议什么装备。数据挖掘还允许基于与用户相关联的数据和/或元数据建议用户改进其遵从性和/或体育运动场所(包括高尔夫球场)的规划，比如年龄或者可以被输入到系统中的任何其他人口统计信息。数据的远程存储还允许医疗应用，比如形态分析、随着时间的运动范围和糖尿病防治，以及如前所述的练习监测和遵从性应用。其他应用还允许使用来自其他用户或历史运动员的真实运动捕获数据进行比赛 (例如在分析历史运动员的视频之后，不管所述历史运动员是否在世)。虚拟现实和增强虚拟现实应用还可以利用运动捕获数据或历史运动数据。例如指挥官和/或医生之类的军事人员可以利用运动和/或图像来确定人在简易爆炸装置附近的爆炸下经历了什么类型的重力，并且自动把最佳类型的医疗救助安排到运动捕获传感器的位置。所述系统的一个或更多实施例可以例如通过无线通信链接把超出重力或速度阈值的运动捕获数据中继到其上级指挥官或者最近的医疗人员处。或者，本发明的实施例可以向正在侦听的任何移动设备(例如裁判员的移动电话)广播轻量型无连接脑震荡相关消息，以便帮助对受伤运动员进行救助，其中所述轻量型消息包括可选的团队/队服号码以及加速度相关数字，比如潜在的/可能的脑震荡警告或指标。
在本发明的一个或更多实施例中，比如网球巡回赛、美式足球比赛、棒球比赛、汽车或摩托车竞赛、高尔夫球巡回赛或者其他体育事件处的固定摄影机可以与位于具有运动捕获元件的运动员/装备附近的通信接口一起被利用，以便获得、分析和显示运动捕获数据。在该实施例中，可以在视频上显示实时或接近实时的运动数据以用于增强视频重放。因此，通过以视觉方式显示装备在击球期间移动得有多快而导致娱乐程度的提升，例如围绕运动员的臀部和肩部画出圆圈。本发明的实施例还允许在与另一位用户有关的移动设备上利用来自其他具有移动设备的运动员的图像或视频，从而使得用户例如不需要交换移动电话。在一个实施例中，当由第一用户针对不与具有配备视频摄影机的移动电话的第二用户相关联的运动中的体育装备获得视频时，可以将所述视频自动传输到第一用户，以便利用与第一用户相关联的运动捕获数据进行显示。视频和图像可以被上传到数据库中并且通过图像分析被数据挖掘，以便例如确定用户正在穿戴的衣物或鞋具的类型/颜色。
基于数据的显示，用户可以确定最适合的装备，并且即刻通过移动设备购买装备。举例来说，当要在两副雪橇之间作出决定时，用户可以试用通过运动捕获元件工具化的全部两副雪橇，其中对运动捕获数据进行分析以便确定哪一副雪橇允许更加高效的移动。对于高尔夫球实施例，当要在两根高尔夫球杆之间作出决定时，用户可以利用不同的球杆进行挥击，并且基于对所捕获的运动数据的分析定量地确定哪一根球杆的性能更好。可以通过移动设备上的界面从销售商处订购定制装备，销售商可以面向订单装配定制装备并且例如将装备托运到用户处。例如可以基于随着用户利用可调节长度的杆身进行推杆时所捕获的运动数据，针对特定用户定制例如具有标准长度的推杆的杆身长度。例如基于对运动捕获数据以及击球计数数据和距离的数据挖掘，允许把具有类似挥击特性的用户与当前用户进行比较，其中例如可以为用户建议或搜索对于具有特定身材和年龄的用户的给定挥击速度给出更长的击球的装备，以便改进表现。对于给定的挥击速度，OEM还可以确定哪种牌子和型号的球杆给出最佳的总体表现。本领域技术人员将认识到，这适用于涉及运动的所有活动而不仅是高尔夫球。
所述系统的实施例可以利用多种传感器类型。在本发明的一个或更多实施例中，主动传感器可以与允许利用被动或主动视觉标记的系统集成在一起，以便捕获用户身体或装备上的特定点的运动。这可以简单地按照二维方式来实施，或者如果移动设备包括两台或更多台摄影机，或者如果多台摄影机或移动设备被利用来捕获图像(比如视频)并且共享所述图像以便从获得自每一台摄影机的二维图像的集合创建三角定位的三维运动数据，则也可以按照三维方式来实施。本发明的另一个实施例可以利用惯性测量单元(IMU)或者可以为移动设备产生重量、平衡、姿势、指向、位置、速度、摩擦、加速度、角速度和/或角加速度信息的任意组合的任何其他传感器。因此，所述传感器可以获得的数据可以包括与指向(垂直或北/南或全部二者)、位置 (通过全球定位系统(也就是“GPS”)或者通过三角定位)、线速度(全部三个轴中)、角速度(例如来自陀螺仪)、线加速度(全部三个轴中)(例如来自加速计)以及角加速度相关联的一个或更多数值的任意组合。从各种传感器类型获得的所有运动捕获数据都可以被保存在数据库中以用于分析、监测、遵从性、比赛或其他用途以及/或者数据挖掘，而不管传感器类型如何。
在本发明的一个或更多实施例中，可以利用在传感器的外侧表面上包括被动标记或主动标记的传感器，从而使得传感器还可以被利用与视觉跟踪(二维或三维)以及用于指向、位置、速度、加速度、角速度、角加速度或者由传感器产生的任何其他物理量。(多个)运动捕获元件的视觉标记实施例可以是被动的或主动的，这意味着其或者可以具有能够被视觉跟踪的视觉部分，或者可以包括允许在低光条件下进行图像跟踪的发光元件，比如发光二极管(LED)。这例如可以通过把手附近的杆身末端处或者球杆头部处的高尔夫球杆的相对末端处的图形符号或有色标记来实施。标记的图像或视频可以在本地被分析，或者被保存在数据库中并且分析，并且随后被利用在数据挖掘中。此外，对于脑震荡相关的实施例，视觉标记可以发出表明脑震荡的光，例如对应于中度脑震荡的黄色闪光或者对应于重度脑震荡的快速红色闪光，或者任何其他视觉或可选的音频事件指标或全部二者。正如前面所讨论的那样，LCD可以输出本地视觉已编码消息，从而使其不会被不具有被装备成能够读取所述代码的本地移动设备的任何人拦截或者通过其他方式读取。例如对于脑震荡或瘫痪相关的事件，这就允许仅由裁判员或本地医疗人员读取敏感的医疗消息。
运动捕获传感器的实施例通常可以被安放在体育装备(比如高尔夫球杆) 的一个或更多末端或相对末端上或其附近以及/或者其间的任何位置(用于EI测量)，并且可以与耦合到装备的其他传感器集成在一起，比如武器、医疗装备、腕带、鞋具、裤子、衬衫、手套、球杆、球棒、球拍、球、头盔、球帽、牙套等等，并且/或者可以通过任何可能的方式附着到用户身上。例如附着到步枪上，以便确定当由运动捕获传感器检测到后坐力时步枪正指向何处。该数据例如可以利用移动计算机(比如移动电话)或其他设备被传送到中央服务器并且被分析，以用于军事演习实践。此外，所述传感器的一个或更多实施例可以装配到高尔夫球杆的配重部中以及/或者装配在高尔夫球杆的把手末端中。其他实施例例如可以装配到网球拍或棒球棒的把手或末端中。与安全或健康监测有关的实施例可以与球帽、头盔和/或牙套耦合，或者处于任何其他类型的封装中。本发明的一个或更多实施例还可以利用集成有传感器的球进行操作。移动设备的一个或更多实施例可以包括小型可安放计算机，比如
Figure GDA0003101490190000201
Figure GDA0003101490190000202
或
Figure GDA0003101490190000203
其可以具有或者不具有集成的显示器，并且小到足以安放在体育装备的杆身上并且不会影响用户的挥击。或者，所述系统可以计算与由运动员移动的装备发生接触的球的虚拟飞行路径。例如对于棒球棒或网球拍或者高尔夫球杆，其中高尔夫球杆具有集成到球杆击打高尔夫球的末端的另一部分的配重部中的传感器，并且具有位于高尔夫球杆的把手尖部处或者由运动员佩戴的一只或更多只手套中的第二传感器，可以对于球杆计算撞击角度。通过知道球杆击球面的倾斜角度(loft)，可以对于高尔夫球计算飞行角度。此外，通过以足够高的速度对球杆末端处的传感器进行采样以便确定表明高尔夫球在何处打中球杆的击球面的振荡，可以确定撞击的质量。这些类型的测量及其分析帮助运动员作出改进，并且出于调试的目的允许运动员即刻购买合适的装备。居中(centering)数据可以被上传到数据库并且被数据挖掘，以便例如在制造商的基础上找到与具有最佳平均居中或最低扭矩数值的球棒、球拍或球杆有关的模式，以用于产品改进。在数据中所发现的任何其他未知的模式也可以被呈现或建议给用户或者由用户进行搜索，或者例如由制造商或用户为之付费。
传感器的一个或更多实施例可以包含例如机械偏心配重之类的充电特征，正如在被称作“自动”或“自动上发条”手表的一些手表中所利用的那样，其中可选地包括小型发电机或者用于传感器供电装置的间接电机械充电的感应充电线圈。其他实施例可以利用用于传感器供电装置的直接充电的插头或者基于电机械或微机电的充电元件。在本发明的一个或更多实施例中可以利用任何其他类型的电力微采集技术。传感器的一个或更多实施例可以利用电力节省特征，其中包括使得传感器通电或断电的手势。这样的手势可以包括运动、物理开关、与传感器的接触、例如从与特定传感器相关联的移动设备去到传感器的有线或无线命令。可以与传感器耦合的其他元件例如包括电池、低功率微控制器、天线和无线电装置、热同步(heat sync)、再充电器以及过充电传感器。此外，本发明的实施例允许将系统的一部分或全部组件断电，例如直到来自加速度计的电子信号或机械开关确定球杆已移动为止。
本发明的一个或更多实施例例如允许体育装备以及甚至身体的弹性惯性或EI测量。传感器的实施例沿着高尔夫球杆的杆身、网球拍、棒球棒、冰球棍、鞋具、人的手臂或者并非完全坚硬的任何其他物品的放置允许测量传感器所处的点或者传感器之间的点处的屈曲的数量。每一个传感器随着时间的角度差异不仅允许计算屈曲分布，而且还允许计算取决于时间或力的屈曲分布。举例来说，已知的EI机器使用支撑点之间的静态配重来确定EI分布。因此这些机器无法检测EI分布是取决于所施加的力还是取决于施加力的时间，例如EI分布关于力或时间可以是非线性的。已知关于时间具有不同物理属性的示例性材料包括麦克斯韦材料以及非牛顿流体。
用户还可以在移动设备的显示器上以图形形式观看所捕获的运动数据，或者例如在包含视频显示器的一副眼镜上观看。从运动捕获元件的实施例获得的所捕获的运动数据还可以被利用来增强虚拟环境中的对于用户的虚拟现实显示。通过数据挖掘在数据库中找到的模式的虚拟现实或增强现实视图也符合本发明的精神。用户还可以看到例如瞄准辅助或瞄准引导之类的增强信息，其例如基于现有的风力条件或者考虑到危险(例如挡在对于球所期望的目的地(比如高尔夫球洞)中途的树)显示出应当尝试在何处击球。
本发明的一个或更多实施例包括运动事件辨识和视频同步系统，其包括可以与用户或装备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件。所述至少一个运动捕获元件可以包括：存储器；可以捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度、角速度和角加速度相关联的数值的任意组合的传感器；通信接口；与存储器、传感器和通信接口耦合的微控制器。在至少一个实施例中，所述微处理器或所述微控制器可以收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，通过通信接口传送与事件相关联的事件数据。所述系统还可以包括移动设备，所述移动设备包括计算机、与运动捕获元件的通信接口进行通信以便获得与事件相关联的事件数据的通信接口，其中所述计算机与计算机的通信接口耦合，其中所述计算机可以从计算机的通信接口接收事件数据。所述计算机还可以分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，从事件获得事件起始时间和事件停止时间，从摄影机请求包括至少在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频的图像数据，并且在显示器上显示事件视频，其中包括全部以下两项：在从事件起始时间到事件停止时间的时间跨度期间所发生的事件数据、运动分析数据或者其任意组合；以及在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频。
一些实施例可以使用任何类型的同步方法来同步系统中的时钟，并且在一个或更多实施例中，移动设备上的计算机可以确定运动捕获元件与移动设备之间的时钟差异，并且把运动分析数据与视频同步。举例来说，本发明的一个或更多实施例提供用于使得多台记录设备同步关于每一台设备的时间、位置或指向的信息的规程，从而可以组合来自不同设备的关于事件所记录的数据。这样的记录设备可以是嵌入式传感器、具有摄影机或麦克风的移动电话，或者更一般来说是可以记录与感兴趣的活动相关的数据的任何设备。在一个或更多实施例中，这一同步是通过在设备之间交换信息来实现的，从而使得各台设备可以在针对时间、位置或指向的共同测量方面达成一致。举例来说，移动电话和嵌入式传感器可以交换带有其内部时钟的当前时间标记的消息；这些消息允许发生协商，其中两台设备在共同时间方面达成一致。这样的消息可以按照需要周期性地交换，以便解决前一次同步之后的设备的时钟漂移或运动。在其他实施例中，多台记录设备可以使用共同的服务器或服务器集合以获得时间、位置或指向的标准化度量。举例来说，设备可以使用GPS系统来获得对应于每一台设备的绝对位置信息。GPS系统还可以被用来获得标准化时间。NTP(网络时间协议)服务器还可以被用作标准化时间服务器。通过使用服务器允许各台设备在共同测量方面达成一致，而不必总是被配置来彼此通信。
在本发明的一个或更多实施例中，其中一些记录设备可以检测各种感兴趣事件的发生。一些此类事件可能在特定时刻发生；其他此类事件可能在一段时间间隔内发生，其中所述检测包括检测事件的起始和事件的结束。这些设备可以利用前面所描述的对应于时间、位置和指向的同步测量基础对记录设备的时间、位置或指向的任意组合连同事件数据进行记录。
移动设备上的计算机的实施例可以丢弃落在事件起始时间到事件停止之外的至少一部分视频。在一个或多个实施例中，所述计算机可以命令或指令其他设备(包括计算机或其他计算机、或另一摄影机、或捕获视频的(多台)摄影机)丢弃所述视频位于事件起始时间至事件停止时间期间以外的至少一部分。举例来说，在本发明的一个或更多实施例中，其中一些记录设备在等待检测事件的同时持续地把数据捕获到存储器。为了节省存储器，一些设备可以只有当数据在时间上邻近所检测到的事件时才把该数据存储到更加永久性的本地存储介质或者存储到服务器。例如在没有检测到事件的情况下，新记录的数据可以最终在存储器中覆写先前记录的数据。在一些实施例中可以把循环缓冲器用作此类覆写方案的一种典型实现方式。当事件检测发生时，除了存储在事件本身期间捕获的数据之外，记录设备可以存储事件起始之前的某一所配置的数据量以及事件结束之后的某一所配置的数据量。任何在前或在后的时间间隔都被视为事件起始时间和事件停止时间的一部分，从而使得例如在视频中示出事件的情境。在具有摄影机的移动设备或摄影机本身上仅仅保存对应于事件的视频，节省大量的空间并且彻底减少上传时间。
所述系统的实施例可以包括远离移动设备的服务器计算机，其中服务器计算机丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且把在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频返回到移动设备中的计算机。
在一个或多个实施例中，例如对于所述至少一个运动捕获元件，所述微处理器可以把事件传送到至少另一个所述至少一个运动捕获传感器或元件、或计算机、或者至少另一台移动设备或者其任意组合，并且其中所述至少另一个运动捕获传感器或元件或至少另一台移动设备或者其任意组合可以保存或传送或同时保存并且传送与所述事件相关联的数据，即使所述至少另一个运动捕获元件没有检测到事件。例如在具有同时操作的多台记录设备的实施例中，一台此类设备可以检测到事件，并且向其他记录设备发送表明这样的事件检测已经发生的消息。该消息可以包括事件的起始和/或停止的时间标记，其中对于各台设备的时钟使用同步时间基础。接收设备 (例如其他运动捕获传感器和/或摄影机)可以使用事件检测消息把与事件相关联的数据存储到非易失性存储装置或者存储到服务器。除了与事件直接相关联的数据之外，所述设备可以存储事件起始之前的一定数据量以及事件结束之后的一定数据量。通过这种方式，所有设备可以同时记录数据，但是使用来自仅仅其中一台设备的事件触发以发起对于来自多个来源的分布式事件数据的保存。
计算机的实施例可以保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据，或者可以利用远程服务器来保存视频。在本发明的一个或更多实施例中，其中一些记录设备在其中可能发生事件的时间段内可能无法始终都彼此直接通信。在这些情况下，设备可以将其已记录的所有数据的完整记录保存到永久性存储装置或者保存到服务器。仅仅保存与事件相关联的数据在这些情况下可能无法做到，这是因为一些设备可能无法接收到事件触发消息。在这些情况下，可以在事后对所保存的数据进行处理，以便提取出与一项或更多项所检测到的事件相关联的仅仅是相关的部分。举例来说，多台移动设备可能记录运动员或表演者的视频，并且持续地将该视频上传到服务器以进行存储。所述运动员或表演者可能单独配备有能够检测例如特定运动或动作之类的事件的嵌入式传感器。嵌入式传感器数据可以被持续地或者在后来的某一时间上传到相同的服务器。由于包括视频流以及嵌入式传感器数据在内的所有数据通常都加有时间标记，因此与通过嵌入式传感器检测到的事件相关联的视频可以在服务器上被提取和组合。
服务器或计算机的实施例可以当所述至少一个运动捕获传感器与移动设备之间的通信链接开放时，丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。或者，如果通信链接不开放，所述计算机的实施例可以保存视频，并且在通信链接开放之后接收到事件之后，随后丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。例如在本发明的一些实施例中，数据可以如前所述地被上传到服务器，并且与每一台设备的数据流相关联的位置和指向数据可以被用来提取对于所检测到的事件相关的数据。举例来说，一个较大的移动设备集合可以被用来在整个高尔夫球巡回赛期间在各个位置处记录视频。该视频数据可以被持续地或者在巡回赛之后上传到服务器。在巡回赛之后，具有事件检测的传感器数据也可以被上传到相同的服务器。对于这些各种数据流的后处理可以识别出在所发生的事件的物理邻近处同时记录的特定视频流。附加的过滤器可以选择其中摄影机正指向正确的方向以观察事件的视频流。所选择的这些流可以与传感器数据相组合，从而形成具有示出事件的多个视频角度的聚合数据流。
所述系统可以从与移动设备耦合的摄影机或者与移动设备分开或者通过其他方式远离移动设备的任何摄影机获得视频。在一个或更多实施例中，从远离移动设备的服务器获得视频，例如在针对某一位置和时间间隔处的视频的查询之后获得。
服务器或计算机的实施例可以通过图像分析同步所述视频和所述事件数据或者所述运动分析数据，以便更加准确地确定视频中的与事件起始时间或事件停止时间或全部二者最紧密地相关联的起始事件帧或停止事件帧或全部二者。在本发明的一个或更多实施例中，记录设备之间的时钟同步可以是近似的。可能希望基于观看来自每一台设备的事件改进同步来自多台记录设备的数据馈送的准确性。在一个或更多实施例中，对于多个数据流的处理被用来观察不同的流中的事件的签名，以便帮助细粒度同步。举例来说，可以把嵌入式传感器与包括视频摄影机的移动设备同步，但是时间同步可能仅仅准确到100毫秒以内。如果视频摄影机以每秒30帧记录视频，则对应于嵌入式传感器上的事件检测的视频帧单独基于同步时间标记只能被确定在3 帧以内。在所述设备的一个实施例中，可以使用视频帧图像处理来确定最紧密地对应于所检测到的事件的精确帧。举例来说，可以把通过惯性传感器检测到的滑雪板击中地面的震动与其中滑雪板的几何边界和地面发生接触的帧相关。其他实施例可以使用检测事件签名的其他图像处理技术或方法来改进多个数据馈送的同步。
所述至少一个运动捕获元件的实施例可以包括与微控制器耦合的、可以确定位置的位置确定元件，其中微控制器可以向移动设备上的计算机传送位置。在一个或更多实施例中，所述系统还包括服务器，其中微控制器可以直接或通过移动设备向服务器传送位置，并且其中计算机或服务器可以基于位置以及事件起始时间和事件停止时间从视频的各个部分形成事件视频。举例来说，在一个或更多实施例中，可以把事件视频修剪到特定长度的事件，并且将其转码到任何视频质量，并且按照任何方式叠加上运动分析数据或事件数据(例如速度或加速度数据)或者通过其他方式与之整合。视频可以按照用以存储视频的任何分辨率、深度或者图像质量或压缩类型或者任何其他技术被本地存储，以便最大化存储容量或帧率，或者利用任何压缩类型以便最小化存储，而不管移动设备、至少一个运动捕获传感器和/或服务器之间的通信链接是否开放。在一个或更多实施例中，速度或其他运动分析数据可以例如被叠加或者通过其他方式组合在视频下方的某一部分上，其中包括事件起始和停止时间，所述事件起始和停止时间可以包括实际事件之前和/或之后的任意秒数，以便例如提供击球事件之前的挥击的视频。在一个或更多实施例中，所述至少一个运动捕获传感器和/ 或(多台)移动设备可以把事件和视频传送到服务器，其中服务器可以确定特定视频和传感器数据发生在特定位置和特定时间，并且从几个视频和几个传感器事件构造事件视频。传感器事件例如可以是来自与用户和/或装备耦合的一个传感器或多个传感器。因此，所述系统可以构造对应于事件的短视频，从而例如大大减少了视频存储需求。
在一个或更多实施例中，所述微控制器或计算机可以确定事件的位置，或者所述微控制器和计算机可以确定事件的位置并且对位置进行相关，这例如是通过对位置进行相关或平均以便提供事件的中心点，并且/或者可以最小化来自初始化GPS 传感器的错误位置数据。通过这种方式，具有移动设备的一组用户可以生成高尔夫球手开球的视频，其中可以利用至少一台运动捕获设备的事件位置，并且其中服务器可以从观众处获得视频并且生成职业高尔夫球手的挥击和击球的事件视频，其中事件视频可以利用来自不同摄影机的各帧生成高尔夫球手挥击时的围绕高尔夫球手的 BULLET
Figure GDA0003101490190000261
视频。所得到的一个或多个视频可以被修剪到事件的持续时间，例如从事件起始时间到事件停止时间，并且/或者具有围绕事件的任何在前或在后的预定时间数值，从而确保捕获到包括对应于挥击或其他事件的任何准备时间和任何保持姿势时间在内的整个事件。
在至少一个实施例中，计算机可以基于邻近事件或者被指向来观看事件的摄影机位置来请求或广播请求，或者同时请求和广播请求，并且根据邻近事件的至少一台摄影机来请求视频，其中视频包括事件。例如在一个或更多实施例中，移动设备上的计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频，这是通过直接广播针对由任何摄影机在所述区域内拍摄的任何视频的请求，其可选地可以包括关于所述摄影机是否不仅位于事件附近而且还指向或者通过其他方式朝向事件的指向信息。在其他实施例中，可以由移动设备上的计算机从远程服务器请求视频。在这种情形中，与事件相关联的任何位置和/或时间可以被利用来返回事件附近的图像和/或视频或者在接近事件的时间拍摄的图像和/或视频或者全部二者。在一个或更多实施例中，计算机或服务器可以修剪视频以对应于事件持续时间，并且同样地可以利用图像处理技术进一步同步事件的各个部分，比如具有视频中的相应帧的击球，其与对应于装备上的击球的加速度数据相匹配。
移动设备或服务器上的计算机的实施例可以显示某一事件发生或者其中一个或更多事件发生的一个或更多时间的列表。通过这种方式，用户可以从列表中找到事件以便快速地访问事件视频。
本发明的实施例可以包括与移动设备物理地耦合的至少一个运动捕获传感器。这些实施例允许具有集成传感器的任何类型的移动电话或摄影机系统(比如任何类型的头盔安放的摄影机或者包括摄影机和运动捕获传感器全部二者的任何安放装置)生成事件数据和视频数据。
在一些实施例中，所述系统还可以包括一个或多个具有通信接口的计算机，无线通信接口能够与一个或多个动作捕捉元件的通信接口通信，以接收与运动事件相关的事件数据。计算机可以接收原始运动数据，并且可以分析此数据以确定事件。在其他实施例中，事件的确定可以在动作捕捉元件中进行，而计算机可以接收事件数据。这两种方法的组合在一些实施例中也是可行的。
在一些实施例中，计算机或多台计算机可以从事件数据确定运动事件的起始时间和终止时间。然后它们可以请求来自摄影机的图像数据，该摄影机已经采集了视频或在此事件起始时间与事件终止时间之间的至少某一部分时间内的一些时间间隔的一个或多个图像。本说明书中的术语“视频”将包括各种图像以及连续视频，包括摄影机在事件间隔期间拍下单次快摄图像的情况。然后此视频数据可以与运动数据相关联，构成同步事件视频。事件例如可以由用户通过以固定次数摇晃或轻拍动作捕捉传感器来进行动作表示。任意类型的预定义事件包括用户姿势事件，可以用于控制至少一个摄影机来传送一般简明事件的视频，而不需要传送巨大的原始视频文件。
在一些实施例中，请求来自摄影机的视频可以与采集或分析运动数据同时进行。在这类实施例中，所述系统将会获得或生成事件已经开始的通知，并且随后将会请求将视频从一台或多台摄影机流到计算机，直至检测到事件结束。在其他实施例中，视频请求可以在摄影机已经上传其视频记录到诸如服务器的另一计算机之后进行。在此情况下，计算机将会从服务器请求视频，而不是直接从摄影机请求。
各种技术可以用于执行运动数据和视频数据的同步。这类技术包括本领域公知的时钟同步方法，诸如网络时间协议，这样确保所有设备——动作捕捉元件、计算机和摄影机——使用共同的时基。在另一技术中，计算机可以通过交换包含由每一个设备登记的当前时间的数据包，将其时钟与动作捕捉元件的内部时钟以及摄影机的内部时钟比较。其他技术分析运动数据和视频数据来对齐它们不同的时基，以进行同步。例如，显示与球接触的特定视频帧可以对齐来自显示加速计震动的运动数据的特定数据帧，然后这些帧能够有效地用作关键帧，以同步运动数据和视频数据。组合的视频数据和运动数据构成同步事件视频，具有事件集成记录。
在一个或多个实施例中，可以接收或处理运动数据或视频数据的计算机可以是移动设备，包括但不限于移动电话、智能电话、智能手表(诸如Apple
Figure GDA0003101490190000271
Figure GDA0003101490190000272
)、平板计算机、PDA、膝上型计算机、笔记本电脑或能够轻易运输或重新布置的任意其他设备。在其他实施例中，这种计算机可以集成到摄影机中，尤其是可以集成到可以从其获得视频数据的摄影机中。在其他实施例中，这种计算机可以是台式计算机或服务器计算机，包括但不限于在数据中心或基于云的服务中作为虚拟机器运行的虚拟计算机。在一些实施例中，所述系统可以包括任一种上述类型的多种计算机，并且这些计算机可以共同执行本说明书所述的操作。对于本领域技术人员显而易见的是，这种计算机分布式网络能够以多种可行的方式划分任务，并且如有需要，能够协调它们的动作来重复单个中央计算机的动作。本说明书中的术语“计算机”旨在表意为任一种或所有上述类型计算机，并且包括多台这类计算机共同作用的网络。
在一个或多个实施例中，计算机可以获取或创建一系列同步事件视频。计算机可以为用户显示此系列的综合概述，以查看事件历史。在一些实施例中，对于与每一个事件相关的视频，此概述可以包括一个或多个从视频生成的极小图像。在其他实施例中，概述可以包括来自整个事件视频中的较小选择。综合概述还可以包括显示运动分析或与每一个同步事件视频相关的事件数据。在一些实施例中，计算机可以获取度量并针对每一个事件显示此度量的值。这些度量值的显示在不同实施例中可以变化。在一些实施例中，度量值的显示可以是条形图、线图或其他图形技术，以显示绝对值或相对值。在其他实施例中，可以使用标上色标或其他视觉效果。在其他实施例中，可以显示度量数值。一些实施例可以使用这些方法的组合。
在一个或多个实施例中，计算机可以接受所涉及的度量的选择标准，所涉及的度量与系列事件的运动分析数据或事件数据相关联。例如，用户可以提供诸如超过阈值的度量、或者在范围内的度量或在范围外的度量的标准。可以使用任意标准，该标准可以应用于事件的度量值。响应于标准的选择，计算机可以仅仅显示符合所选择标准的同步事件视频或它们的概述(诸如缩略图)。作为示例，采集高尔夫挥杆事件数据的用户可有望仅仅看见那些挥杆速度超过100mph的挥杆。
在本发明的一些实施例中，计算机可以基于所选度量值排序并排名用于显示的同步事件视频，此外基于上述所选择标准进行过滤。紧接上述示例，采集高尔夫挥杆数据的用户可有望仅仅看见那些挥杆速度超过100mph的挥杆，以具有最高挥杆速度优先显示来排序。
在一个或多个实施例中，计算机可以生成组合了满足所选择标准的事件视频的、同步事件匹配组的高光时刻或失败时刻或此二者。可以采用其他标准来创建失败时刻，例如包括负性事件、猛撞、倾翻或其他意外事件。在至少一个实施例中，高光时刻或失败时刻可以包括所选择事件的整个视频，或者对应于由运动分析确定的事件重要时刻的视频部分。在一些实施例中，高光时刻或失败时刻可以包括在视频上或所选帧上或其附近的数据或图形展示或覆盖物，以显示来自运动分析的度量值。一旦用户通过指定所选择标准来指示需要包括何种事件，这种高光时刻或失败时刻可以为用户自动生成。在一些实施例中，计算机可以允许用户编辑高光时刻或失败时刻以添加或移除事件、延长或缩短针对每一个事件显示的视频、针对运动数据添加或移除图形覆盖物或添加特殊效果或音轨。
在具有多台摄影机的实施例中，运动数据和多个视频流可以组合成单个同步事件视频。来自多台摄像机的视频可以提供某一事件的不同角度或视野，全部同步到运动数据和共同时基。在一些实施例中，一个或多个视频在一台或多台计算机(诸如服务器或云服务)上可用，并且随后可以与事件数据相关联。在这些实施例中，计算机可以检索位于正确位置和朝向以观察到事件的所存储视频。然后计算机能够取回合适的视频并将它们与事件数据组合，以利用来自多个位置和角度的视频来形成事件的综合观察。
在一些实施例中，计算机可以从与事件相关的可能视频组中选择特定视频。所选择的视频可以基于各种可能的标准最佳地或最完整地观察事件。在一些实施例中，计算机可以使用对每一个视频进行图像分析，以确定最佳选择。例如，一些实施例可以使用图像分析来确定哪一个视频最完整，其中最少地遮挡所涉及的设备或人，或者设备或人是最清晰可见的。在一些实施例中，这种图像分析可以包括在录制视频期间摄影机抖动度的分析，以及具有最稳定图像的视频的选择。在一些实施例中，用户可以作出优选视频的选择，或者用户可以通过指定最重要的标准来协助计算机作出选择。
在一些实施例中，来自动作捕捉元件的事件数据可以用于向录制事件视频的摄影机发送控制信息。在至少一个实施例中，计算机可以发送控制消息至本地计算机或计算机外部的至少一台摄影机。在一个或多个实施例中，诸如具有多台摄影机的实施例中，控制信息可以在事件期间广播或发送到摄影机组。这些控制信息可以基于事件或事件数据的数据来修改视频记录至少一个视频的参数，包括运动分析数据。例如在至少一个实施例中，当不存在进行中的感兴趣事件时，摄影机可以待机且不录制。在一个或多个实施例中，计算机可以等待事件数据，并且一旦事件开始，可以向摄影机发送命令以开始录制。在至少一个实施例中，一旦事件结束，那么计算机可以向摄影机发送命令以停止录制，这种技术可以保留摄影机电力以及视频存储空间。
在更概括的一个或多个实施例中，计算机可以向摄影机或多台摄影机发送控制信息，以响应于数据、事件数据或运动分析数据来修改任意相关的视频记录参数。在至少一个实施例中，记录参数例如可以包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制中的一个或多个。作为可以使用的示例，运动分析数据可以指示用户或设备何时快速移动；作为响应，视频录制的帧频可以在快速运动期间提高，并且可以在相对慢动作期间降低。通过在快速运动期间使用更高帧频，用户能够在重播期间放慢动作，以更详尽地观察高运动事件。这些技术可以允许摄影机保留视频存储空间，并且针对最感兴趣的事件有效地使用可用的存储空间。
在一些实施例中，计算机可以接受例如来自用户的音轨，并且将此音轨结合到同步事件视频中。例如这种结合将会在重播事件视频或高光时刻或失败时刻期间添加音频音轨。一些实施例可以使用事件数据或运动分析数据，以将音轨智能结合到同步事件视频中。例如，一些实施例可以分析音轨，以便例如基于高音频幅度的时间点来确定音轨的节拍。然后音轨的节拍可以利用事件数据或运动分析数据与事件同步。例如随着用户或对象的运动提高或降低，这种技术可以自动加速或放慢音轨。这些技术提供了丰富的媒体体验，伴随有与事件相关的音频或视觉线索。
在一个或多个实施例中，计算机可以在一个或多个显示器上重播同步事件视频。这些显示器可以直接附接到计算机，或者可以远程位于其他设备上。使用事件数据或运动分析数据，计算机可以修改重播，以添加或改变各种效果。这些修改可以在重播期间多次出现，甚至在重播期间随着事件数据改变连续出现。例如，在低运动期间重播可以以正常速度进行，而在高运动期间重播可以切换到慢动作，以突出运动细节。对重播速度的修改可以基于任何观察到的或计算得到的事件或运动特征来作出。例如，事件数据可以识别特定的感兴趣事件，诸如击球、跳跃的开始或结束或者任意其他感兴趣的时刻。随着同步事件视频涉及到这些子事件，计算机可以修改重播速度以放慢重播。这种减速会持续增加，以精致细节突出子事件。甚至可以在子事件中停止重播并且等待来自用户的输入以继续。也可以基于来自运动分析数据或事件数据的一个或多个度量值放慢重播。例如，运动分析数据可以表示正在移动的棒球棍或高尔夫球杆的速度，并且随着这种对象的速度提高，可以持续调节重播速度为更慢。重播速度在这种度量峰值附近可以进行得非常慢。
在其他实施例中，可以对不限于重播速度的其他重播参数进行修改。例如，计算机可以修改重播速度、图像亮度、图像颜色、图像焦距、图像分辨率、闪烁特殊效果或者图形覆盖物或边框的使用的全部或任一者。这些修改可以基于运动分析数据、事件数据、子事件或其他同步事件视频的任意特征来进行。作为示例，随着重播涉及到感兴趣的子事件，可以添加闪烁特殊效果，并且可以在视频中感兴趣的对象周围添加边框，感兴趣的对象诸如是将要被设备击中的球。
在包括音轨的实施例中，对重播特征的修改可以包括对音轨重播特征的修改。例如，这类修改可以包括对音量、拍子、音调或音轨的音频特殊效果的修改。例如，音轨的音量和拍子可以随着重播涉及到感兴趣的子事件而增强，以突出子事件并为用户观看和倾听重播提供更动态的体验。
在一个或多个实施例中，计算机可以使用视频图像分析来生成自视频中的对象开始的度量。此度量可以例如测量对象运动的某些方面。这种度量源自于图像分析，可以附加于从来自运动传感器的数据运动分析获得的度量使用或与其联用。在一些实施例中，图像分析可以使用本领域已知的若干技术的任一种来定位与感兴趣的对象相关的像素点。例如，已知某些对象可以具有特定的颜色、纹理或形状，并且这些特征可以用于定位视频帧中的对象。作为示例，已知网球可以近似为圆形、黄色以及与具有球材料相关的纹理。图像分析能够使用这些特征来定位视频帧中的网球。使用多个视频帧可以计算网球的大约速度。例如，假设静止或几乎静止的摄影机，三维空间中网球的定位可以基于视频帧中球的位置且基于其大小来估算。帧中的定位给出了球的位置在图像平面上的投影，而大小提供了球相对于摄影机的景深。通过使用球在多个帧中的位置，并且通过使用给出了帧间时间差的帧频，可以估算球速。
在一个或多个实施例中，微控制器耦合至动作捕捉元件，可以与其他动作捕捉元件通信，以协调事件数据的采集。微控制器可发送事件开始的通知到另一动作捕捉传感器，以触发其他传感器也采集事件数据。其他传感器可以本地保存其数据以作随后上传，或者当事件发生时，其可以通过开放式通信链路向计算机发送其事件数据。这些技术提供了主从架构类型，其中一个传感器充当主机并且可以调整从传感器网络。
在一个或多个实施例中，计算机除了从动作捕捉传感器以外，还可以从其他传感器(诸如至少另一个传感器)获取传感器值，其中这些其他传感器接近事件并且提供与事件相关的其他有用数据。例如，这类其他传感器可以感测温度、湿度、风、海拔、光、氧气水平、声音和生理度量(像心跳或心率)的各种组合。计算机可以取回这些其他值，并且与事件数据以及运动分析数据一起保存它们，以在从事件开始到事件停止的时间跨度期间生成事件的扩展记录。
在一个或多个实施例中，系统可以包括一个或多个测量运动或任意所需传感器值的传感器元件。传感器值可以包括例如但不限于：指向、位置、速度、加速度、角速度、角加速度、电磁场、温度、湿度、风、压力、海拔、光、声或心率中的一个或多个。
在一个或多个实施例中，系统的任何(多台)计算机可以从一个或多个服务器访问或接收媒体信息，并且它们可以结合传感器数据使用这种媒体信息以检测和分析事件。媒体信息可以包括例如但不限于文本、音频、图像和视频信息。(多台) 计算机可以分析传感器数据以识别事件，并且它们可以使用分析媒体信息以确认事件。或者在一个或多个实施例中，(多台)计算机可以分析媒体信息以识别事件，并且它们可以分析传感器数据以确认事件。一个或多个实施例可以分析来自传感器元件的传感器数据与来自服务器的媒体信息的组合，以检测、确认、拒绝、表征、测量、监控、分配概率或分析任意类型的事件。
媒体信息可以包括例如但不限于邮件信息、语音电话、语音邮件、录音、视频通话、视频信息、录像、
Figure GDA0003101490190000311
短信、聊天信息、社交媒体网站发布、博客帖或wiki帖中的一个或多个。提供媒体信息的服务器可以包括例如但不限于邮件服务器、社交媒体网站、照片共享网站、视频共享网站、博客、wiki、数据库、新闻组、RSS服务器、多媒体资源库、文件资源库、短信服务器和
Figure GDA0003101490190000321
服务器中的一个或多个。
一个或多个实施例可以将获取自服务器的媒体信息(诸如视频、文本、图像或音频)与传感器数据或其他信息结合以产生事件集成记录。例如，捕获事件的图像或视频或者对事件的评论可以从社交媒体网站检索得到、过滤、概括并且与传感器数据和分析结合；然后结合的信息可以作为事件集成记录重新发布到社交媒体网站。集成事件记录可以策划成仅包含高光或所选媒体，或者它们可以是包含所有检索到的媒体的综合记录。
一个或多个实施例可以通过针对与事件相关的关键词或关键短语检索文本、通过针对对象在那些与事件相关的图像中检索图像、或者通过针对与事件相关的声音检索音频，来分析媒体信息。
系统的一个或多个实施例可以从传感器元件获取传感器数据，并且可以从附加传感器或附加计算机获取附加传感器数据。这种附加的传感器数据可以用于检测事件或确认事件。一个或多个实施例可以采用多级事件检测程序，其使用传感器数据来检测未来事件，并且然后利用附加传感器数据或媒体信息或此二者，以确认未来事件是有效事件还是假阳性。
一个或多个实施例可以使用来自附加传感器的信息来确定活动类型或用于活动的设备。例如，一个或多个实施例可以使用来自附加传感器的温度或高度数据以确认运动数据是与冲浪板上的冲浪活动(高温且低的高度)相关联还是与滑雪板上的单板滑雪活动(低温且高的高度)相关联。
系统的一个或多个实施例可以从传感器接收传感器数据，其中传感器与多个用户或多台设备耦合。这些实施例可以检测到例如涉及多个用户在相关时间、在相关位置或此二者进行的动作的事件。例如，一个或多个实施例可以分析传感器数据以检测与特定用户或特定设备相关联的单个事件，并且可以集合这些单独事件以检索覆盖与时间或位置相关的用户或设备的共同事件。如果特定时间和位置范围内的单独事件的数量超过阈值，一个或多个实施例可以确定共同事件已经发生。可选地或者附加地，一个或多个实施例可以从与单独用户或单独设备组相关联的传感器数据产生集合度量。这些实施例可以检测共同事件，例如一个或多个集合度量是否超过某个阈值。一个或多个实施例可以在特定区域、或在特定时间范围针对用户子组产生集合度量，以根据时间和位置将来自这些用户的传感器数据相关。
在一个或多个实施例中，运动分析可以涉及分析运动变量随时间的轨迹，诸如位置或速度。实施例可以分析包括在传感器数据中或源自传感器数据或视频或其任意组合的运动变量。在一个或多个实施例中，比起其他轨迹，运动变量的特定轨迹更高效或者更有效，而系统的运动分析可以包括将观察到的轨迹效率与最佳轨迹的效率进行比较。最佳效率可以例如基于正在移动的对象的机械模型来确定，诸如体育运动的生物力学模型。最佳轨迹还可以通过分析数据库中的数据以选择高效实例组，并且通过从这些实例中构建最佳轨迹，由此来确定。一个或多个实施例可以针对观察到的轨迹计算效率指数，量化这一轨迹与最佳轨迹的比较。
在一个或多个实施例中，针对感兴趣的对象所观察到的轨迹(诸如球) 可以与针对该对象的期望轨迹比较。例如在高尔夫球的情况下，针对高尔夫球的期望轨迹是将球放入洞中的轨迹。对象的实际轨迹例如可以基于视频分析来计算。在一个或多个实施例中，系统能够还可以确定将观察到的轨迹转换成期望轨迹的必要变化。继续高尔夫球的实例，高尔夫球的轨迹主要通过高尔夫球杆与球之间的冲击来确定，其确定了冲击后球的初始速度。这些冲击条件可以通过系统例如使用运动捕获元件来测得。一个或多个实施例可以确定初始速度或冲击条件的必要变化，以获得期望轨迹。
继续高尔夫球的实例，在击球入洞期间，高尔夫球的轨迹还例如是果岭条件的函数。因此，计算高尔夫球的期望轨迹可以取决于果岭，例如其地势和摩擦。一个或多个实施例可以获取活动区域模型并且使用此模型来计算针对对象的期望轨迹，并且计算所需初始条件的变化以将观察到的轨迹转换成实际轨迹。这种模型可以例如包括区域地势、区域点的摩擦系数、区域与感兴趣对象之间的其他力以及区域点的任意其他物理性质的信息。
系统的一个或多个实施例包括一台或多台与数据库耦合的计算机。这些计算机可以分析数据库中的数据以产生各种度量、报告、图形、图表、平面图、警告和模型。分析计算机可以例如但不限于移动设备、智能手表、摄影机、台式电脑、服务器计算机或其任意组合。用于数据库分析的计算机可以与集成到运动捕获元件、摄影机或移动设备中的(多个)处理器相符。
一个或多个实施例可以利用数据库分析来开发活动区域模型。这种模型例如可以包括如上所述的因子，诸如区域地势、区域点的摩擦系数、区域与感兴趣对象之间的其他力以及区域点的任意其他物理性质。已经在区域内发生并且存储在数据库中的对象运动分析可以用于推断这种模型。然后这种模型可以用于计算期望轨迹并且改变所需初始条件以如上所述地将实际轨迹转换成期望轨迹。
一个或多个实施例可以使用运动分析或数据库分析来识别一个或多个意外的时间或位置或二者。例如，加速计可以用在一个或多个实施例中以检测猛撞。意外警告可以例如发送至应急服务、政府机关、安全中介、质量管理机构以及可能处于附加意外风险(类似于一个或多个意外)中的人群中的一个或多个。
一个或多个实施例可以使用数据库分析来识别感兴趣活动发生的位置。例如，继续上述意外的实例，一个或多个实施例可以识别通常具有高意外率的位置。一个或多个实施例可以识别具有高活动水平或具有意外活动的房屋或建筑位置。一个或多个实施例可以产生活动区域的报告，包括例如可以重叠在示出这些活动区域的地图、视频或图像上的图形。
一个或多个实施例可以使用数据库分析来确定一台设备是否以正当方式来使用。例如，棒球棍的正当使用可以限于击球；非正当使用可以包括例如将球棍击打树、电话线杆或人行道。一个或多个实施例可以获取正当使用签名和非正当使用签名，并且针对这些签名分析数据库中的运动事件以确定设备是否正当地使用。
系统的一个或多个实施例可以使用安装在用户关节上或附近的运动捕获元件，以便测量关节转动和运动范围。例如，一个或多个实施例可以使用在关节任一侧上的两个(或多个)运动捕获元件，其中每个运动捕获元件测量指向；然后关节转动可以从关节两侧的指向差来确定。测量指向的传感器可以包括例如但不限于加速计、磁力计和速率陀螺仪。针对关节运动的运动数据可以存储在数据库中，并且数据库分析可以被一个或多个实施例例如用于比较关节随时间转动的角度与前述值以及目标值。一个或多个实施例可以比较测得的运动范围与阈值或目标值或目标范围。如果运动范围超过目标值或阈值，一个或多个实施例可以发送警告信息例如到医疗队伍或用户。
系统的一个或多个实施例可以使用麦克风捕获音频信号，并且结合其他传感器和音频数据使用这些音频信号以用于事件检测和运动分析。麦克风可以并入到运动捕获元件、移动设备、摄影机、计算机中；在一个或多个实施例中，单独的麦克风可以用于音频采集。一个或多个实施例可以将音频签名与传感器数据签名相关，以区分真实事件与假阳性事件。
本发明的实施例可以例如基于传感器数据分析，自动产生或选择一个或多个针对事件的标记。具有标记的事件数据可以存储在事件数据库中以用于随后的检索和分析。标记可以表示例如但不限于活动类型、运动员、时间跨度、活动阶段、表现水平或得分结果。
一个或多个实施例还可以分析来自社交媒体网站或其它服务器媒体(诸如文本、音频、图像或视频)，以产生、修改或确认事件标记。媒体分析可以包括例如但不限于电邮信息、语音电话、语音邮件、录音、视频电话、视频信息、录像、文本信息、聊天信息、社交媒体网站发布、博客帖或wiki帖。用于分析的媒体源可以包括例如但不限于邮件服务器、社交媒体网站、照片共享网站、视频共享网站、博客、 wiki、数据库、新闻组、RSS服务器、多媒体资源库、文件资源库、短信服务器。分析可以包括针对涉及事件的关键词或短语检索文本。事件标记和其他事件数据可以公开到社交媒体网站或其他服务器或信息系统。
一个或多个实施例可以为用户提供给事件手动添加标记的能力，并且基于自动或手动标记过滤或查询事件。系统的实施例可以针对匹配标记组的所选事件组来产生视频高光时刻。一个或多个实施例可以基于事件分析和标记丢弃视频的一部分；例如，分析可以利用重要事件活动指示时间间隔，并且可以丢弃在此时间间隔之外的视频，例如用于节省巨大的存储量，并且/或者可以不传递到另一计算机，例如用于节省上传不具有非事件数据的相关事件的大量时间。
附图说明
通过在后面结合附图给出的更加具体的描述，借由本公开内容传达的想法的前述和其他方面、特征和优点将变得更加显而易见，其中：
图1示出了多传感器事件检测和标记系统的一个实施例。
图1A示出了计算机的一个实施例的逻辑硬件方块图。
图1B示出了在本发明的实施例中所利用的数据库的一个实施例的架构图。
图1C示出了对应于由图1和1A中所示的系统中的计算机的实施例实施的处理的一个实施例的流程图。
图1D示出了对应于所述系统的一个实施例的数据流图。
图1E示出了详细说明了运动事件时间和/或视频事件时间的移位，以在时间方面正确对齐的同步图表。
图1F示出了针对包括广播部件的系统实施例的数据流图。
图1G示出了针对用于间歇数据广播情景的系统实施例的流程图。
图1H示出了针对系统实施例的流程图，该系统提示用户进行运动并且测量距离和转动以发现最佳设备。
图2A示出了围绕用户头部的基于头盔的安放装置，其中所述基于头盔的安放装置固定运动捕获传感器。图2B示出了基于颈口嵌件(neck insert)的安放装置，其允许利用运动捕获传感器对现有头盔进行改装。
图3示出了图2A-2B的安放装置的特写，其中示出了运动捕获传感器与头盔的外部部分之间的隔离器。
图4A示出了头盔、衬垫、颅骨和用户脑部的顶部剖面图。图4B示出了对应于图4A中所示的各个元件的旋转脑震荡事件。
图5示出了针对头盔的输入力(G1)相对于在脑部内观测到以及由安放在隔离器内的传感器观测到的力。
图6示出了3个轴的旋转加速度数值连同总旋转矢量数量，连同从摄影机获得并且与运动事件数据一起显示的脑震荡事件的视频。
图7示出了用户的时间线显示连同被显示成沿着时间线的事件的沿着时间线的峰值和最小角速度。此外，在底部显示中所示出的曲线图示出了高尔夫球杆的超前和滞后(lead and lag)连同高尔夫球杆的下垂和漂移(droop and drift)，其中这些数值决定高尔夫球杆的杆身在相对于时间标绘的两个轴中的弯曲程度。
图8示出了子事件快进快退(scrub)时间线，其允许与将要滚动到、播放到或者从该处播放的子事件相关联的起始/停止时间点附近的输入，从而很容易地允许观看子事件。
图9示出了各个子事件沿着时间开始和停止的相对位置以及与起始和停止时间相关联的引力，其允许这些点附近的用户输入被吸引到起始和停止时间。
图10示出了利用一台移动设备作为运动捕获元件以及另一台移动设备作为接收第一用户事件的运动事件数据和视频的计算机的一个实施例。
图11示出了被利用来存储与潜在的事件有关的数据的存储器的一个实施例。
图12示出了特别被编程到微控制器中以便确定是否发生了预期事件的功能的一个实施例的流程图。
图13示出了典型的事件签名或模板，其被与运动捕获数据进行比较以便消除错误肯定事件。
图14示出了运动捕获元件的一个实施例，其具有用于在本地显示和观看事件相关信息的可选LED视觉指示器，以及显示与事件相关联的文字或已编码消息的可选LCD。
图15示出了与不同类型的装备和/或工具化衣物相关联的运动事件的模板特性的一个实施例，连同其中运动捕获传感器个性可以改变以便更加准确地或者更加高效地捕获与特定时间段和/或子事件相关联的数据的区域。
图16示出了保护性牙套的一个实施例的正视图并且在图16中的底部示出了顶视图，其例如在任何接触性体育运动中被佩戴，比如(而不限于)英式足球、拳击、美式足球、摔跤或者任何其他体育运动。
图17示出了由图1中的任何计算机利用的算法的一个实施例，其在组合格式中显示运动图像和运动捕获数据。
图18示出了可以由本发明的一个或更多实施例利用的同步架构的一个实施例。
图19示出了由其中一个运动捕获传感器检测到事件，将事件检测传送到其他运动捕获传感器和/或摄影机，保存事件运动数据，以及修剪视频以对应于事件。
图20示出了对多个事件视频选择视频的流程以及对于多个摄影机采集同一事件的视频的事件期间最佳的视频剪辑的选择，伴随有基于所选择度量的所选择一系列同步事件视频，还伴随有按所选择标准排序的事件视频。
图21示出了基于在视频采集期间摄影机的抖动度来选择特定事件视频的图像分析以及利用最稳定图像来选择视频。
图22示出了发送至摄影机或多台摄影机的控制信息，以基于与事件相关的数据来修改视频记录参数，包括例如当事件正在进行时的运动分析数据。
图23示出了使用运动数据可改变速度的重播的一个实施例。
图24示出了视频的图像分析，以协助视频与事件数据和运动分析数据的同步，并且/或者确定不与动作捕捉传感器耦合的视频对象的运动特征。
图25示出了系统实施例，其通过比较球棍随时间的速度轨迹与源自生物力学模型或挥动数据库数据挖掘的最佳轨迹来分析棒球棍的挥动。
图26示出了系统实施例，其使用视频分析来分析高尔夫球的轨迹，计算准确地击球入洞所需的修正，并且在移动设备上与视频一起显示修正。
图27示出了系统实施例，其分析存储在数据库中的击球入洞轨迹以推导果岭的地势模型。
图28示出了具有安装在摩托车头盔上的视频和运动传感器的系统实施例；系统检测摩托车撞车，转送猛撞数据到应急服务，并且分析集合猛撞数据以识别高风险道路区域。
图29示出了系统实施例，其分析针对棒球棍的冲击事件，以确定球棍是正当用于击打棒球还是用于其它用途。
图30示出了系统实施例，其使用在关节任一侧上的两个运动捕获元件来分析膝关节运动范围，并且当运动范围超过阈值时发送警告。
图31示出了在运动捕获元件中具有麦克风和惯性传感器的系统实施例；系统使用来自麦克风的音频数据区分真实冲击事件和假阳性冲击事件。
图32示出了系统实施例，其接受与温度、湿度、风、海拔、声光和心率相关联的其他值，以将数据或事件数据与其他值相关，从而确定假阳性、运动捕获元件所耦合的设备类型或活动类型。
图33示出了一实施例，其使用传感器数据以识别高光帧，利用运动度量显示高光帧，并且丢弃高光时帧以外的帧。
图33A示出了一实施例，其使用传感器数据以识别非常(epic)失败帧，利用运动度量显示这些失败帧，并且丢弃失败时帧以外的帧。
图34示出了系统实施例，其结合传感器数据分析和来自服务器的文本、音频、图像和视频的分析，以检测事件。
图35示出了一实施例，其分析文本以分类事件；它针对每个事件和关键词组合使用权重因数，以根据位于被分析文本中的关键词来计算事件得分。
图36示出了一实施例，其使用传感器数据以确定未来事件、(碰撞)，以及使用媒体分析来确定未来事件是有效的还是假阳性。
图37示出了一实施例，其利用运动传感器收集数据，并且使用来自附加传感器、温度传感器和高度传感器的数据来确定产生运动数据的活动是单板滑雪还是冲浪。
图38示出了一实施例，其从大量传感器中收集并关联数据以检测涉及整个人群的事件；观众近似于同时起立的垂直运动指示起立致敬事件。
图39示出了一实施例，其从接近位置的用户群收集运动传感器数据，并且分析集合度量、平均速度，以检测主要事件已经在该位置发生。
图40示出了一实施例，其基于传感器数据分析自动给事件添加标记，并且与针对事件数据库中的事件的度量和传感器数据一起存储标记。
图41示出了示例性用户界面，其支持通过标记值过滤事件，给事件手动添加所选标记并且针对所选事件组产生包含视频的高光时刻。
图42示出了一实施例，其分析社交媒体发布以产生针对事件的标记。
图43示出了一实施例，其丢弃不涉及事件的视频捕获部分，并且与事件和事件标记一起存储视频的相关部分。
具体实施方式
现在将描述一种多传感器事件检测和标记系统及方法。在后面的示例性描述中阐述了许多具体细节，以便提供关于在本说明书中所描述的想法的更加透彻的理解。但是本领域技术人员将认识到，可以在无需合并这里所描述的具体细节的所有方面的情况下实践这里所描述的想法的实施例。此外，本领域技术人员所熟知的特定方面没有被详细描述，以免模糊本公开内容。读者应当注意到，虽然在本公开内容中阐述了创新性概念的实例，但是本发明是由权利要求书以及任何等效表述的完全范围限定。
图1示出了多传感器事件检测和标记系统100的一个实施例。至少一个实施例允许智能分析来自各种传感器和/或非传感器数据的事件数据，例如博客、聊天或社交媒体发布，以产生事件，并且公开事件和/或产生事件视频。允许与来自动作捕捉传感器的运动数据同步地智能分析、同步并且传送一般简明事件的视频，其中动作捕捉传感器与用户或设备耦合。事件数据包括视频和运动捕获数据，保存至数据库。当事件发生时进行分析，并且例如从各种传感器相关联。存储在数据库中的事件分析识别事件数据中的趋势、相关性、模型和模式。通过上传事件视频并且避免上传大视频的不相关部分，大量节省存储并提高上传速度。提供多个视频的智能选择，例如选择具有抖动最小的一个，其中多个视频来自在给定时间覆盖某一事件的多台摄影机。在由动作捕捉传感器确定的事件期间允许摄影机参数的近似实时变更以及重播参数和特殊效果的变更，以同步事件视频。创建按度量过滤的高光时刻，并且能够按度量排序。即使其他传感器不检测该事件，也结合多个传感器以保存事件数据。还允许分析或比较与同一用户、其他用户、历史用户或用户群相关的运动。至少一个实施例提供对于运动数据内的事件的智能辨识，其中包括但不限于从例如视觉标记和传感器、射频标识标签以及移动设备计算机系统之类的便携式无线运动捕获元件获得的运动捕获数据，或者所述运动捕获数据是基于与相同用户相关联的经过分析的移动而计算的，或者是与所述用户或其他用户、历史用户或用户群组进行比较。这可以在移动设备或远程服务器上执行，并且基于事件的位置和/或时间以及基于视频的位置和/ 或时间，并且可选地包括摄影机的朝向，以进一步限制可能包括运动事件的视频。一些实施例允许基于事件的观看和低功率事件传送以及与执行在移动设备上的应用和/ 或与外部摄影机的通信，以便指定用以定义事件的窗口。允许运动事件的辨识，以及图像或视频内的事件指定,比如运动员的击球、移动或挥击，运动员、拳击手、骑手或车手的脑震荡，或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作，或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或多幅图像或视频进行相关，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，包括脑震荡在内的体育事件，或者与老年人相关联的摔倒事件。可以针对线性加速度阈值和/或模式以及旋转加速度和速度阈值和/或模式来监测脑震荡相关事件和其他事件，并且/或者在事件的基础上对其进行保存和/或通过轻量型无连接协议对其进行传输，或者前述各项的任意组合。一个或多个实施例可以通过结合传感器数据与从社交媒体发布检索到的媒体来创建事件的整合、策划记录。
一些实施例还允许基于事件的观看和低功率事件传送以及与在移动设备上执行的应用和/或与外部摄影机的通信，以便指定用以定义事件的窗口。允许事件辨识，包括运动事件，以及图像或视频内的事件指定，比如运动员的击球、移动或挥击，运动员、拳击手、骑手或车手的脑震荡，或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作，或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或更多幅图像或视频进行相关，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，包括脑震荡在内的体育事件，或者与老年人相关联的摔倒事件。如图1所示，所述系统的实施例通常包括移动设备101和执行在其上的应用，其包括作为点线轮廓被显示成位于移动设备101内部的计算机160(也就是说还参见图1A的计算机160 的功能视图)、耦合到计算机160的显示器120以及与计算机耦合的通信接口(诸如第二通信接口)(其通常处于移动设备的内部，参见图1A中的元件164)。在一个或多个实施例中，移动设备101可以是例如但不限于智能电话、移动电话、膝上型计算机、笔记本电脑、平板电脑、个人数码助理、音乐播放器或智能手表(例如包括Apple
Figure GDA0003101490190000401
)。由于具有移动计算机的移动电话是普遍存在的，因此所述系统的用户可以购买一个或更多运动捕获元件以及应用(即“app”)，并且安装在其已有的电话上以便实施所述系统的一个实施例。因此，运动捕获能力以可负担的价格对于已经拥有移动电话、平板计算机、智能手表、音乐播放器等等的任何用户可用，这在以前是从来不可能的。
每一台移动设备101、102、102a、102b可以可选地包括内部标识符读取器190(例如RFID读取器)，或者可以与标识符读取器或RFID读取器(参见移动设备102)耦合以获得标识符191。或者，本发明的实施例可以在任何设备中利用任何有线或无线通信技术向所述系统传送标识设备110的标识符。本发明的实施例还可以包括与至少一个运动捕获传感器或者用户或装备耦合的任何其他类型的标识符。在一个或更多实施例中，所述标识符可以包括团队和队服号码或者学生标识符号码或证件号码或者任何其他标识符，其允许相对唯一地标识来自特定用户或装备的特定事件。这就允许关于可以接收与特定运动员或用户相关联的数据的应用(app)标识具有多位运动员或用户的团队体育运动或位置。一个或更多实施例接收标识符，例如与运动员或用户相关联的被动RFID标识符或MAC地址或其他序列号，并且把标识符与事件数据和运动分析数据相关联。
所述系统通常包括至少一个传感器，其可以是任意类型的环境传感器、生理传感器和/或运动传感器。例如，计算机101可以包括高度计或温度计，或者无线获取这些值。例如，传感器或智能手表191可以包括心率监测器或可以从内部医疗设备无线获取这些值。此外，实施例可以包括运动捕获元件111，例如通过安放装置 192与用户150或装备110耦合，例如耦合到高尔夫球杆、棒球棒、网球拍、冰球棍、武器、棍棒、刀剑、滑雪板、冲浪板、滑板或者用于任何体育运动的任何其他板或装备，或者例如鞋具、皮带、手套、眼镜、帽子之类的其他体育装备或者任何其他物品。所述至少一个运动捕获元件111可以被放置在装备110的一端、全部两端或者两端之间的任何位置或者用户150身上的任何位置，例如放置在球帽、头带、头盔、牙套或者其任意组合上，并且还可以被利用于任何物品的EI测量。所述运动捕获元件可以可选地包括视觉标记(被动或主动)并且/或者可以包括传感器，例如能够提供与运动捕获元件的指向(北/南和/或上/下)、位置、速度、加速度、角速度和/或角加速度相关联的一个或更多数值的任意组合的任何传感器。所述计算机可以例如通过视觉方式或通过从运动捕获元件接收数据的通信接口的方式从与球杆110耦合的RFID获得与每一件装备110(例如衣物、球棒等等)所独有的标识符(也就是标识符191) 相关联并且可选地与所述至少一个运动捕获元件相关联的数据，分析所述数据以形成运动分析数据，并且在移动设备101的显示器120上显示运动分析数据。运动捕获元件111可以通过运动捕获安放装置192被安放在装备上或其附近或者被安放在用户身上或其附近。例如安放在头盔上的运动捕获元件111可以包括隔离器，所述隔离器包括可以围绕运动捕获元件以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼的材料，从而最小化事件数据的线性加速度和旋转加速度的变换，以便获得用户脑部的观测线性加速度和观测旋转加速度。这样例如就降低了运动捕获元件微控制器上的处理需求，并且对于事件数据的基于事件的传送允许低存储器利用和低功率需求。来自运动捕获元件111的运动捕获数据、与装备110相关联的任何数据(比如标识符191) 以及与用户150或者任意数目的此类用户150(比如第二用户152)相关联的任何数据可以被本地存储在存储器中，或者被存储在计算机本地的数据库中，或者被存储在远程数据库中，例如可以与服务器耦合的数据库172。例如当从运动捕获元件111到移动设备101以及从移动设备101到网络170或因特网171并且到数据库172有网络或电话网络链接可用时，来自每一位用户150、152的、来自任意传感器类型的、或者来自传感器数据分析的事件数据的数据可以被存储在数据库172中。随后在与任意数目的用户及其具体特性和表现参数相关联的大型数据集合上实施数据挖掘。例如在本发明的高尔夫球实施例中，从高尔夫球杆获得球杆ID，并且通过运动捕获元件检测击球。移动计算机101存储用户的图像/视频，接收对应于事件/击中/击球/运动和球场上的事件位置以及后续击球的运动捕获数据，并且确定对应于每一个事件的参数 (比如事件发生时的距离或速度)，并且随后实施任何本地分析，并且在移动设备上显示表现数据。当从移动设备到网络170或因特网171的网络连接可用时，或者例如在一轮高尔夫球比赛之后，所述图像/视频、运动捕获数据以及表现数据被上传到数据库172，以供后来进行分析和/或显示和/或数据挖掘。在一个或更多实施例中，用户151(比如原始装备制造商)针对数据库的访问进行付费，这例如是通过比如计算机105或移动计算机101之类的计算机，或者是从能够例如通过网络170、因特网171 或通过网站173与数据库172进行通信的任何其他计算机，或者是形成数据库172的一部分或者与之耦合的服务器。数据挖掘可以在数据库172上执行，其中例如可以包括本地服务器计算机，或者可以在计算机105或者移动设备101、102、102a或102b 上运行，并且例如访问数据库172的独立式实施例。数据挖掘结果可以在移动设备 101、计算机105、电视广播或者源自摄影机130、130a和103b或104的web视频上显示，或者通过网站173访问，或者是其任意组合。
所述至少一个运动捕获元件的一个或更多实施例还可以包括在事件发生的情况下可以输出光的发光元件。这可以被利用来在头盔的外侧部分上显示潜在、轻度或重度脑震荡，而无需例如针对任何外部设备的任何通信。还可以利用不同的颜色或闪光间隔来传达与事件有关的信息。替换地或者与之相组合，所述至少一个运动捕获元件还可以包括音频输出元件，其在事件发生的情况下或者在所述至少一个运动捕获传感器处于计算机的范围之外的情况下可以输出声音，或者其中所述计算机可以在所述至少一个运动捕获传感器处于计算机的范围之外的情况下显示告警，或者前述各项的任意组合。传感器的实施例还可以利用LCD，其例如在快速响应(QR)代码或条形码中输出当前事件的已编码分析，从而例如使得裁判员可以在移动设备上本地获得分析代码的快照，并且使得事件不会在传感器上以可读形式被观看或者被传送并且被其他任何人拦截。
所述系统的一个或更多实施例可以利用包括至少一台摄影机130的移动设备，所述摄影机例如耦合到移动设备内的计算机。这就允许移动设备101内的计算机命令或指令摄影机130、或任意其他设备、计算机或任意其他计算机例如在体育移动期间获得用户的一幅或多幅图像。用户的(多幅)图像可以与显示和评定叠加，从而例如使得运动分析数据对于人类更加可理解。或者，没有用户图像的详细数据显示还可以被显示在显示器120上，或者例如显示在计算机105的显示器上。按照这种方式，允许二维图像和后续显示。如果移动设备101包含两台摄影机，如移动设备102 中所示即摄影机130a和130b，则所述摄影机可以被利用来通过例如对于视觉标记的图像分析创建三维数据集合。这样就允许确定并且分析视觉标记的距离和位置。在本发明的任何实施例中，来自任何摄影机的图像和/或视频可以被存储在例如与用户150 相关联的数据库172上以用于数据挖掘目的。在本发明的一个或更多实施例中，可以在图像和/或视频上实施图像分析，以便例如按照用户150的年龄或者比赛的日间时确定所利用的装备、衣物、鞋具等等的牌子/型号，或者发现数据中的任何其他模式。例如摄影机可以在位置L1、L2和L3处具有视场F2和F3，而用户可以具有运动S和尺寸L的范围。
或者，对于仅具有一台摄影机的移动设备的实施例，可以利用多台移动设备以图像的形式获得二维数据，并且对其进行三角定位以确定视觉标记的位置。在所述系统的一个或更多实施例中，移动设备101和移动设备102a共享用户150的图像数据以便创建三维运动分析数据。本领域技术人员将认识到，通过确定移动设备 101和102的位置(通过例如设备中常见的GPS芯片之类的位置确定元件或者通过蜂窝塔三角定位，其出于简明起见没有被示出但是通常和计算机160一样位于移动设备的内部)，并且通过从运动捕获元件111获得数据(例如视觉标记在每一幅图像中所处的图像中的像素位置)，很容易获得距离并且从而获得速度。
摄影机103还可以被利用于静止图像，或者像现在所常见的那样被利用于视频。在利用外部摄影机的系统的实施例中，从外部摄影机获得数据的任何方法都符合所述系统的精神，其中包括例如数据的无线传送，或者例如当摄影机103与计算机105对接时通过有线通信，其随后可以把数据传输到移动设备101。
在所述系统的一个或更多实施例中，不需要在其上显示运动分析数据的移动设备具有摄影机，也就是说移动设备102b尽管没有配置摄影机也可以显示数据。因此，移动设备102b可以从移动设备101、102、102a上的摄影机、摄影机103和/ 或电视摄影机104的任意组合获得图像，只要任何外部摄影机可以向移动设备102b 传送图像即可。或者，完全不需要摄影机来利用所述系统。例如还参见图17。
对于电视广播，运动捕获元件111无线传送通过天线106接收到的数据。把如此从运动捕获元件111获得的无线传感器数据与获得自电视摄影机104的图像相组合，从而产生具有增强的运动分析数据的显示，其可以被广播到电视、计算机(比如计算机105)、移动设备101、102、102a、102b或者可以显示图像的任何其他设备。例如通过知道摄影机的位置(例如通过GPS信息)并且通过知道摄影机所朝向的方向和/或指向，运动分析数据可以被定位在显示器120上，只要传感器数据包括位置数据(例如GPS信息)即可。在其他实施例中，视觉标记或图像处理可以被利用来把运动分析数据锁定到图像，例如可以在图像中跟踪高尔夫球杆头部，并且球杆的相应的高、中和低位置可以被利用来确定用户150对于摄影机130或104或103的指向，以便例如把经过增强的数据正确地标绘到用户150的图像上。通过对图像加时间标记并且对运动捕获数据加时间标记，例如在把微控制器中的定时器与移动设备上的定时器同步并且随后扫描图像以寻找各个位置处的视觉标记或体育装备之后，可以把经过简化的运动捕获数据叠加到图像上。在本发明的一个或更多实施例中可以利用把来自摄影机的图像与运动捕获数据相组合的任何其他方法。依照本发明的精神，可以利用在显示器120(或者比如计算机105上的任何其他显示器)上关于用户适当地定位运动分析数据的任何其他算法。举例来说，当通过传感器获得事件或事件群组时，在应用接收到事件和/或用以获得图像的时间范围之后，应用可以从其本地存储器、任何其他移动设备、可以与之通信的任何其他类型的摄影机请求来自该时间跨度的图像数据，并且/或者张贴事件位置/时间，从而使得处于(多个)事件本地的外部摄影机系统可以提供对应于(多个)事件的时间的图像数据。
可以在移动设备101上生成并显示的一项此类显示包括使用从移动设备 101、102、102a、摄影机103和/或电视摄影机104或者任何其他外部摄影机当中选择的两台或更多台摄影机的BULLET
Figure GDA0003101490190000442
视图。在所述系统的该实施例中，所述计算机可以获得用户150的两幅或多幅图像以及与至少一个运动捕获元件(不管是视觉标记还是传感器)相关联的数据，其中所述两幅或更多幅图像是从两台或更多台摄影机获得的，并且其中所述计算机可以生成显示，其中示出在正常速度下并且在各个角度下围绕用户示出的用户150的慢动作。这样的实施例例如允许一组球迷创建其自己的职业高尔夫球手在巡回赛中的BULLET
Figure GDA0003101490190000441
影片。所述影片可以被发送到计算机 105，可以在计算机105上实施任何所需的图像处理并且例如向电视观众广播。在所述系统的其他实施例中，各种移动设备的用户共享其自己的图像集合，并且/或者例如将其影片上传到网站以供后来观看。本发明的实施例还允许在与另一位用户有关的移动设备上利用来自其他具有移动设备的运动员的图像或视频，从而使得用户例如不需要交换移动电话。在一个实施例中，当由第一用户针对不与具有视频摄影机移动电话的第二用户相关联的运动中的体育装备获得视频时，可以将所述视频自动传输到第一用户，以便利用与第一用户相关联的运动捕获数据进行显示。或者，第一用户的移动电话可以被利用作为运动传感器以替代或补充运动捕获元件111，并且第二用户的移动电话可以被利用来在运动中捕获第一用户的视频。第一用户可以可选地在电话上作出手势、敲击/摇动等等，以表明第二移动电话例如应当开始/停止运动捕获。
图1A示出了计算机160的一个实施例。在计算机160中包括执行软件模块的处理器161，所述软件模块通常也被称作应用，并且通常作为计算机程序指令被存储在主存储器162内。显示接口163驱动如图1中所示的移动设备101的显示器 120。可选的指向/位置模块167可以包括南/北或上/下指向芯片或全部二者。在一个或更多实施例中，所述指向/位置模块可以包括与微控制器耦合的位置确定元件。这例如可以包括GPS设备。替换地或者与之相组合，所述计算机可以协同另一台计算机对位置进行三角定位，或者从任何其他三角定位类型的接收器获得位置，或者基于通过与所述计算机耦合并且已知指向特定方向的摄影机捕获的图像来计算位置，其中所述计算机例如基于图像内的对象的方向和尺寸来计算与移动设备的偏移量。可选的传感器168可以通过有线或无线链接与处理器161耦合。可选的传感器可以包括例如但不限于运动传感器、惯性传感器、温度传感器、湿度传感器、高度传感器、压力传感器、超声或光学传感器、磁力计、心跳传感器、脉冲传感器、呼吸传感器和任意生物功能的任何传感器或任意其他环境或生理传感器。传感器可以从网络170获取数据，或者将传感器数据提供至网络170。此外，处理器161可以直接从传感器168或通过通信接口获取数据。可选的传感器168例如可以被单独利用作为体温过低或中暑的指标，或者与例如可以表明抖动或失去意识的任何所检测到的运动相组合。通信接口 164可以包括无线或有线通信硬件协议芯片和/或RFID读取器，或者RFID读取器可以在外部耦合到计算机160或者例如通过任何其他方式耦合到计算机160。在所述系统的一个或更多实施例中，通信接口可以包括电话和/或数据通信硬件。在一个或更多实施例中，通信接口164可以包括Wi-Fi TM或其他IEEE 802.11设备和/或
Figure GDA0003101490190000451
无线通信接口或
Figure GDA0003101490190000452
无线设备，或者任何其他有线或无线技术。第1 类
Figure GDA0003101490190000453
设备具有近似100米的范围，第2类设备具有近似10米的范围。
Figure GDA0003101490190000454
低功率设备具有近似50米的范围。在所述系统的实施例中可以使用任何网络协议或网络媒体，只要移动设备101和运动捕获元件111可以彼此通信即可。处理器161、主存储器162、显示接口163、通信接口164以及指向/位置模块167可以通过通常被称作“总线”的通信基础设施165彼此通信。通信路径166可以包括允许通过网络170与其他有线或无线设备进行通信的有线或无线介质。网络170可以与因特网171和/或数据库172通信。数据库172可以被利用来保存或取回用户的图像或视频，或者运动分析数据，或者按照某种形式与运动分析数据一起显示的用户。上传到因特网(也就是远程数据库或远程服务器或者远离系统的存储)的数据可以由获得对于数据的访问的任何计算机观看、分析或进行数据挖掘。这就允许原始装备制造商对于给定用户确定什么体育装备工作得最好，以及/或者将要建议什么装备。数据挖掘还允许基于与用户相关联的数据和/或元数据来规划高尔夫球场，比如年龄或者可以被输入到系统中的任何其他人口统计信息。数据的远程存储还允许医疗应用，比如形态分析、随着时间的运动范围和糖尿病防治以及练习监测和遵从性应用。基于数据挖掘的应用还允许使用来自其他用户、相同用户的一项或更多项先前的表现或者历史运动员(例如在分析历史运动员的运动画面或视频之后，不管所述历史运动员是否在世)的真实运动捕获数据进行比赛。虚拟现实和增强虚拟现实应用还可以利用运动捕获数据或历史运动数据。所述系统还允许把表现相关的事件和/或运动捕获数据上传到数据库172，其例如可以被实施成社交网站。这就允许用户在比赛期间或之后发送关于高分的“推文(tweet)”，以便向因特网上的所有人通知所述新的事件。举例来说，一个或更多实施例包括至少一个运动捕获元件111，其可以与用户或装备或者与用户耦合的移动设备相耦合，其中所述至少一个运动捕获元件包括：存储器(诸如传感器数据存储器)；可以捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度、角速度和角加速度相关联的数值的任意组合的传感器；第一通信接口和至少另一个传感器中的一个或多个；以及与存储器、传感器和第一通信接口耦合的微控制器或微处理器。至少根据本发明的实施例，微控制器可以是微处理器。所述微控制器或微处理器可以收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，并且通过通信接口传送与事件相关联的事件数据。所述系统的实施例还可以包括在移动设备上可以执行的应用，其中移动设备包括计算机、可以与运动捕获元件的第一通信接口进行通信以便获得与事件相关联的事件数据的第二通信接口。所述计算机与第一通信接口耦合，其中计算机执行应用或“app”以便配置该计算机：从通信接口接收事件数据，分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，并且在显示器上显示包括与至少一位用户相关联的事件数据或运动分析数据或全部二者的信息。
图1B示出了在所述系统的实施例中所利用的数据库172的一个实施例的架构图。如图1B所示，表180-186包括关于N位用户、每位用户的M件装备、每位用户或每件装备的P个传感器、每个传感器的S项传感器数据、在其他表中找到的T 种模式、D位数据用户、V个视频以及K个用户测量(大小、运动范围、特定身体部分/关节的速度)的信息。图1B中示出的所有表都是示例性的，并且按照对于特定实现方式所期望的那样可以包括更多或更少的信息。具体来说，表180包括关于用户 150的信息，其中可以包括与用户有关的数据，比如年龄、身高、体重、性别、地址或者任何其他数据。表181包括与M件装备110有关的信息，例如装备的制造商、装备的型号以及装备的类型，所述装备可以包括球杆、球拍、球棒、衬衫、裤子、鞋具、手套、头盔等等。例如在高尔夫球实施例中，在本发明的一个或更多实施例中，制造商可以是制造商的名称，型号可以是名称或型号编号，并且类型可以是球杆编号(例如9号铁杆)，装备ID可以是标识符191。表182可以包括关于用户150或装备110 或移动计算机101上的P个传感器111的信息。与用户150相关联的传感器可以包括衣物、球杆、头盔、球帽、头带、牙套等等，与装备110相关联的传感器例如可以是运动捕获数据传感器，而与移动计算机101相关联的传感器例如可以包括用于位置/ 指向的传感器167和用于图像/视频的传感器130。表183可以包括关于每位用户每件装备的S项传感器数据的信息，其中该表可以包括传感器数据的时间和位置或者与传感器数据有关的任何其他元数据，比如通过图1A中示出的温度传感器在本地获得或者通过有线或无线通信或者例如通过任何其他方式获得的温度、天气、湿度，或者传感器数据可以包括该信息或者其任意组合。该表还可以包含许多其他栏位，比如球类型，也就是说在高尔夫球实施例中，所利用的高尔夫球的类型可以被保存并且在后来对其进行数据挖掘以便找出表现最佳的球类型等等。该表还可以包括在本地计算的事件类型，例如潜在脑震荡事件。表184可以包括关于例如已在数据挖掘处理中发现的T种模式的信息。这可以包括已经通过特定查询在各个表中搜索过的栏位以及任何所得到的相关结果。在本发明的一个或更多实施例中，可以按照对于特定实现方式所期望的那样利用任何数据挖掘结果表类型。这可以包括任何种类的搜索结果，其中包括也可以在计算机160上本地计算的EI测量，或者从简单查询到复杂模式搜索的任何其他搜索数值。表185可以包括关于D位数据挖掘用户151的信息并且可以包括其访问类型，也就是完全数据库或者模式表，或者被限制到特定制造商等等，该表例如还可以包括对应于数据挖掘用户已经为之付费或者同意为之付费的使用类型的付费要求和/或收据，以及与任何查询或者所找到的模式有关的任何搜索或建议。包括允许对传感器数据(包括运动捕获数据)进行数据挖掘的面向对象的数据库关系或者基于存储器的数据结构在内的任何其他方案都符合本发明的精神。虽然给出了对应于特定活动的示例性实施例，但是本领域技术人员将认识到，例如通过使用运动捕获元件以及运行在用户的现有蜂窝电话101、102或其他计算机105上的应用，所述系统的实施例可以捕获并且分析任何类型的基于运动的活动。数据库的实施例可以包括保存在表186中的V个视频179，其中例如包括生成视频的用户、视频数据、视频的时间和位置。所述栏位是可选的，并且在一个或更多实施例中，视频可以被存储在系统中的任何移动设备或者移动设备和服务器/DB 172的任意组合上。在一个或更多实施例中，视频可以被分解成与传感器数据表183的“时间”栏位相关联的视频子集，其中所述时间栏位可以包括事件起始时间和事件停止时间。在这种情形中，较大的视频可以被修剪成对应于通常更小的时间窗口(其与保存在表183中的事件类型的事件相关联)的一个或更多更小的事件视频，从而显著减少了所述系统的视频存储需求。表180a可以包括涉及K个用户测量的信息，例如长度、速度、运动范围或其他用户尺寸或运动随时间的测量值。
有许多应用受益于所述系统的实施例并且通过所述系统的实施例而实现，其提供在移动计算机或服务器/数据库上观看和分析运动捕获数据，以便例如由用户151对数据库172进行数据挖掘。举例来说，用户151可以包括遵从性监测者，其中例如包括家长、儿童或老年人、管理者、医生、保险公司、警察、军队或者例如装备制造商之类的任何其他实体，其可以进行数据挖掘以用于产品改进。例如在网球实施例中通过搜索对应于特定身材或年龄的用户的最高发球速度，或者在高尔夫球实施例中通过基于表183中的传感器数据栏位中的挥击速度来搜索距离(也就是表183 中的顺序位置间的差异)，从而确定哪些制造商具有最佳的球杆或者依照每位用户的年龄或身高或体重的最佳球杆，或者许多其他模式。涉及遵从性的其他实施例允许在满足对应于重力的阈值(高或零或者任何其他等级)的情况下生成来自移动计算机 101或者来自服务器/数据库的消息，以便发送到遵从性监测者、管理者、医生、保险公司等等，正如前面所描述的那样。用户151可以包括市场营销人员，其确定特定用户拥有哪些装备以及其他类似的用户可能拥有哪些相关的物品，以便针对特定用户进行销售。用户151可以包括医疗人员，其可以确定例如与糖尿病儿童的鞋具(也就是说某种类型的装备)耦合的传感器进行了多少移动，以及该移动相对于普通无糖尿病儿童有多少，其中依照表185的建议可以包括为糖尿病儿童给出进行更多锻炼的激励等等，以使得该儿童与健康儿童保持一致。体育运动医师、生理学家或理疗师可以利用每位用户的数据，或者在大量用户当中进行搜索并且例如把某一用户的特定移动或运动范围与其他用户进行比较，以便确定给定用户通过拉伸或练习可以在哪些领域得到改进，以及哪些运动范围领域依照用户或依照群体随着时间改变，以及例如用户可以利用何种类型的装备来应对随着时间的改变(甚至在这些改变发生之前)。通过对运动捕获数据以及与运动相关的图像数据进行数据挖掘为用户151提供了独特的优点。可以在通过传感器测量的屈曲参数上实施数据挖掘，以便确定体育装备、鞋具、人体部位或者任何其他物品的柔韧性是否随着时间或者在装备制造商之间有所改变或者确定其任意组合。
为了确保运动捕获期间对于用户150的分析包括与水平线相对相关联(也就是没有倾斜)的图像，所述系统例如可以包括在移动设备101内的计算机160上执行的指向模块。所述计算机可以基于获得自移动设备101内的指向硬件的指向数据提示用户沿着水平平面对准摄影机。本领域技术人员将认识到，指向硬件在移动设备上是常见的。这就允许如此捕获的图像关于水平平面保持相对持平。所述指向模块还可以提示用户朝向或远离该用户移动摄影机，或者针对用户拉近焦距或拉远焦距以便把用户放置在图形“调试框(fit box)”内，以便在某种程度上规范化将要捕获的用户的尺寸。图像还可以由用户利用来证明其例如遵从了针对满足特定运动要求的医生医嘱。
所述系统的实施例可以辨识与用户150或装备110相关联的至少一个运动捕获元件，并且把至少一个运动捕获元件111与用户150或装备110上的所指定的位置相关联。举例来说，用户可以在受到移动设备101内的计算机提示时摇动特定的运动捕获元件，以便确认计算机正在请求哪一个运动捕获元件的身份。或者，在实施已知的活动时可以分析运动传感器数据的位置和/或速度和/或加速度，并且关于运动捕获元件的安放位置自动进行分类，或者通过提示用户确认所假设的位置。传感器可以例如通过团队名称和队服号码与特定运动员相关联，并且被存储在运动捕获传感器的存储器中以用于事件传送。图1中示出的任何计算机可以被利用来对于特定运动捕获传感器相关联的标识符进行编程，以便符合本发明的精神。
移动设备101中的计算机的一个或更多实施例可以获得用户150的至少一幅图像，并且把三维覆层显示到用户150的至少一幅图像上，其中所述三维覆层与运动分析数据相关联。可以在显示器120上显示各种显示。运动分析数据的显示可以包括与运动分析数据相关联的评定，以及/或者与运动分析数据相关联的所计算的球飞行路径的显示，以及/或者沿着时间轴示出了与运动分析数据相关联的峰值数值所发生的时间点的时间线的显示，以及/或者用以帮助用户改进该用户的技术细节的建议训练课程。这些经过过滤或分析的数据传感器结果可以被存储在数据库172中，例如存储在表183中，或者可以在数据库上(或者与数据库相关联的服务器，或者例如在图1所示的系统中的任何其他计算机或其组合中)对未经处理的数据进行分析，并且随后在移动设备101或网站173上显示，或者例如通过来自摄影机104的电视广播。可以按照任何方式把数据挖掘结果与所述系统的独特显示相组合，并且还可以按照任何所期望的方式被示出。
所述系统的实施例还可以呈现一个界面，以便允许150通过移动设备101 的通过第二通信接口来购买装备110，例如通过因特网或者通过可以被实施成销售商的服务器的计算机105进行购买。此外，对于定制调试装备，比如推杆杆身长度或者任何类型的装备的任何其他定制尺寸确定，所述系统的实施例可以呈现一个界面以便允许用户150通过移动设备101的第二通信接口来订购定制调试的装备。本发明的实施例还允许移动设备101向用户150建议性能更好的装备，或者允许用户150搜索通过对数据库172进行数据挖掘所确定的性能更好的装备，其中针对具有处于用户150 的预定义范围内的挥击速度的用户的每根球杆的高尔夫球击球距离进行数据挖掘。这就允许例如由用户151(比如OEM)对真实生活表现数据进行挖掘和利用以便向用户 150建议装备，并且为此被收费，这例如是通过针对如在图1所示的任何计算机中显示的数据挖掘结果的访问付费或者是通过网站173。在本发明的一个或更多实施例中，数据库172跟踪OEM数据挖掘，并且可以例如针对每一位用户151在给定的记账时段内所购买和/或使用的访问的数量向用户151收费。例如参见图1B。
所述系统的实施例可以分析从至少一个运动捕获元件获得的数据，并且基于与装备耦合的至少一个运动捕获元件的振荡来确定球与装备之间的碰撞的居中程度，并且基于运动分析数据显示撞击位置。该表现数据还可以被存储在数据库172 中，并且例如随着在大量碰撞上所进行的数据挖掘而由OEM或教练使用来建议具有更高的居中击中概率的球杆。
虽然图1A描绘出物理设备，但是这里所阐述的系统和方法的范围还可以涵盖具体实现在一个或更多计算机程序中的虚拟设备、虚拟机器或模拟器，其中所述计算机程序执行在计算机或计算机系统上，并且充当或者提供与实施所公开的概念的方法和处理相容的计算机系统环境。在虚拟机器、处理、设备等等与所述系统的物理计算机系统基本上类似地运作的情况下，这样的虚拟平台也将落在本公开内容的系统的范围内，尽管这里所描述的如在图1A中示出的物理系统。
图1C示出了对应于通过利用在所述系统中的计算机的实施例所实施和允许的处理的一个实施例的流程图。在所述系统的一个或更多实施例中，在301处可选地校准多个运动捕获元件。在一些实施例中，这意味着校准用户身上或装备上的多个传感器，以便确保传感器被对准并且/或者被设置成对于给定的输入运动具有相同的速度或加速度数值。在本发明的其他实施例中，这意味着把多个运动捕获传感器放置在校准对象上，所述校准对象移动并且同时校准指向、位置、速度、加速度、角速度、角加速度或者其任意组合。这一步骤通常包括提供运动捕获元件和可选的安放装置 (或者替换地允许利用具有运动捕获感测能力的移动设备)，以及例如允许具有现有的移动电话或计算机的用户利用所述系统的实施例来获得运动捕获数据并且潜在地以此为基础分析和/或发送消息的应用。在一个或更多实施例中，用户可以简单地购买运动捕获元件和应用，并且即刻开始使用所述系统。所述系统在302处利用(多个) 运动捕获元件来捕获运动数据，例如在303处在运动捕获数据内辨识出任何事件，也就是超出表明脑震荡的阈值的线性和/或旋转加速度或者成功的滑板技巧，并且通过多传感器的使用来消除假阳性并且确定真实事件是否确实已经发生，并且在304处例如把运动捕获数据发送到移动计算机101、102或105，其中可以包括
Figure GDA0003101490190000501
Figure GDA0003101490190000511
电话或者用户可以利用来在本地收集数据的任何其他类型的计算机。在一个或更多实施例中，传感器可以向任何其他运动捕获传感器传送事件，以便例如在其他传感器上开始事件数据存储处理。在其他实施例中，传感器可以向其他移动设备传送事件，以便表明例如应当在丢弃不需要的视频部分的情况下保存对应于事件的视频，以便允许或者在事件的时间点附近或者在后来的某一时间对视频进行修剪。在一个或更多实施例中，所述系统最小化传感器的复杂度，并且例如把处理卸载到在现有的移动电话和其他电子设备中所找到的能力足以胜任的计算元件。从运动捕获元件向用户的计算机传送数据可以在可能时发生、周期性地发生、在事件的基础上发生、在被轮询时发生或者按照任何其他方式发生，正如将在这里的各个章节中所描述的那样。这与连续地发送未经处理的数据的已知系统相比在两个方面节省了大量电力，首先可以在围绕特定运动事件的时间窗口内在事件分组中发送数据，从而把数据精简到总的未经处理数据的一个有意义的小子集，并且其次可以按照低于连续发送的频率或者在已定义的时间或者在被征求数据时发送数据，以便限制传送的总次数。在一个或更多实施例中，在305处例如可以利用在运动捕获传感器111上闪光的LED 在本地显示事件，例如黄色慢闪对应于潜在的脑震荡，或者红色快闪对应于可能性很高的脑震荡。替换地或者与之相组合，例如可以传送并且在图1中所示的任何其他计算机或移动设备上显示告警或事件。
所述系统中的主要智能通常存在于移动计算机或服务器中，其中可以利用更多处理能力，并且例如从而利用在现有的移动计算机中普遍存在的通信能力。在所述系统的一个或更多实施例中，移动计算机可以在306处可选地从用户或装备获得标识符，或者该标识符可以作为步骤305的一部分被传送，比如被动RFID或主动RFID 或者例如团队/队服号码或其他运动员ID之类的其他标识符，其可以被移动计算机利用来基于装备的标识符确定哪一位用户刚刚潜在地受伤，或者用户正在举起什么重量，或者用户正在穿什么鞋跑步，或者用户正在使用什么武器，或者用户正在使用什么类型的活动。移动计算机可以在307处(如在303处或与其结合)本地分析运动捕获数据，并且例如当在数据中观测到阈值时显示(也就是示出)或发送例如消息之类的信息，比如当运动员、士兵或赛车手经受过大的重力时，或者当没有发生足够的运动时(或者是在当时或者是基于数据库中的数据模式，正如后面所讨论的那样例如基于该用户的典型运动模式或者其他用户的运动模式)。在其他实施例中，一旦用户实施了特定数量的运动，可以在307处向(多位)安全或遵从性监测者发送消息以便存储或者通过其他方式显示数据，其中例如包括裁判员、家长、儿童或老年人、管理者、医生、保险公司、警察、军队或者例如装备制造商之类的任何其他实体。所述消息可以是SMS消息、电子邮件、推文或者任何其他类型的电子通信。如果特定实施例被配置成用于远程分析或者仅仅用于远程分析，则可以在308处把运动捕获数据发送到服务器/数据库。如果实现方式没有利用远程数据库，则移动计算机上的分析是本地的。如果实现方式包括远程数据库，则在309处可以在移动计算机或服务器/数据库或者全部二者上实施分析。一旦数据库获得运动捕获数据，随后可以对数据进行分析，并且可以按照希望从服务器/数据库向遵从性人员或商业实体发送消息，以便在310处单独显示事件或者与该用户或其他用户的相关联的先前事件数据相组合或者关于所述先前事件数据来显示事件，例如与具有用户或用户化身的事件视频相关联，并且例如与用户或其他用户的先前表现数据进行比较。
本发明的实施例把来自移动计算机和/或服务器的数据用于游戏、形态比较、遵从性、跟踪所燃烧的卡路里、所实施的工作，基于运动或者在白天和夜间有所不同的先前运动模式来监测儿童或老年人，当重力超出阈值或运动停止时针对运动员、部队的安全监测，例如在包括利用用户的当前和/或先前数据或者来自其他用户的数据的虚拟现实应用的蜂窝电话上对于跑步、跳跃、投掷运动捕获数据的本地使用，或者基于用户正在实施或者进行数据挖掘的运动的类型播放音乐或选择播放列表。举例来说，如果运动类似于数据库中的已知运动员，则可以把该用户的播放列表发送到所述用户的移动计算机101。所述处理可以在本地实施，从而如果运动较快则播放快速的音乐，并且如果运动较慢则可以播放慢速的音乐。基于用户的运动播放音乐的任何其他算法都符合本发明的精神。对于从运动捕获元件和用户的现有移动计算机上的应用获得的运动捕获数据的任何使用都符合本发明的精神，其中包括在虚拟现实环境中使用运动数据，以便利用来自所述用户的先前表现或者来自另一位用户(例如包括历史运动员)的实际运动数据示出另一位运动员的化身的相对运动。信息的显示通常是通过三种情形来实施的，其中显示信息是基于用户的运动分析数据或者是关于用户的装备和先前的数据，其中先前的数据可以是来自相同的用户/装备或者一位或更多位其他用户/装备。在这种情形下，当前的运动分析数据与该用户/装备的相关联的先前数据的比较允许利用具有运动捕获传感器和应用的极为成本有效的系统来分析模式。在另一种情形下，信息的显示是根据当前用户的表现，从而使得从所述用户或另一用户/装备选择的先前数据是基于当前用户的表现。这就允许高度真实性的比赛，例如以历史运动员为对手的虚拟网球比赛，其中实际上通过来自历史运动员的捕获运动对用户的挥击作出回应。利用实际数据(当前的和先前存储的数据全部二者)的这种真实性比赛带来了尽可能真实的比赛，例如用户以排名前10的网球运动员的平均模式为对手进行比赛，也就是发球速度、对于用户的给定输入击球的回球的速度和角度。例如可以对电视图像进行分析以便确定由可能已不在世的历史运动员打出的击球的挥击速度和类型，从而以大师为对手测试用户的技巧，就如同大师仍然在世并且当前正与用户进行比赛一样。在第三种情形中可以实施所述用户或不同用户的遵从性和监测，而无需与所述用户的先前数据或者其他用户的先前数据进行比较，其中所述不同的用户例如不具有对于移动计算机的访问或者不拥有移动计算机。换句话说，移动电话与正被监测的用户相关联，并且不同的用户正在获得与例如佩戴运动捕获元件的用户(比如婴儿或糖尿病患者)的当前表现有关的信息。
图1D示出了对应于所述系统的一个实施例的数据流图。如图1D所示，从许多不同类型的装备110上的或者与用户150相关联的多种运动捕获元件111发送运动捕获数据，其例如处在衣物、头盔、头带、球帽、牙套上或者与用户耦合的任何其他位置。装备或用户可以可选地具有标识符191，其允许系统把数值与运动相关联，也就是正在举起的重量、正在使用的球拍的类型、正在使用的电子设备的类型(也就是游戏控制器)或者其他物体，比如与第二用户152(例如婴儿)相关联的婴儿睡衣。在一个或更多实施例中，可以用运动捕获元件111替代或增强图中的元件191，正如本领域技术人员将认识到的那样。在所述系统的一个或更多实施例中，移动计算机 101例如以事件形式并且例如在事件的基础上或者在由移动计算机101请求时接收运动捕获数据，这例如是在运动捕获元件111声明有数据并且把接收器开启固定时间量以答复请求从而避免浪费电力之后，并且如果没有接收到请求，则把接收器关闭一段时间。一旦数据处在移动计算机101中，则对数据进行分析，以便例如取得未经处理的或者基于事件的运动捕获数据，并且例如按照简明的方式确定更容易为人所理解的例如平均速度等项目。所述数据可以被存储(在移动计算机101的右侧示出)，并且随后可以例如按照监测者或遵从性文字或电子邮件的形式或者在与移动计算机101 或计算机105相关联的显示器上向用户150或151显示数据。这就潜在地允许不与运动捕获元件相关联并且可选地甚至不与移动计算机相关联的用户获得监测者消息(例如婴儿正在缓慢呼吸)，或者例如观看虚拟现实比赛或表演，其中可以包括当前正在提供运动捕获数据的用户，具有先前存储的数据的用户，或者在对过去的(多场)巡回赛表现的视频中的运动进行分析之后还包括历史运动员(比如著名高尔夫球手)等等。在其中当前例如从用户150或装备110获得数据的游戏情形中，例如在虚拟现实眼镜上的数据显示可以利用来自该用户/装备或者另一用户/装备的先前数据，以便对用户的当前运动数据作出响应，也就是说根据用户的输入作出响应。先前的数据可以被存储在系统中的任何位置处，例如存储在移动计算机101、计算机105中或者存储在服务器或数据库172上(参见图1)。先前的数据例如可以被利用来向用户151表明用户150已经经历了特定数目的潜在脑震荡事件，因此必须治疗特定时间量才能再次比赛。保险公司例如可以要求这样的遵从性以便降低医疗开销。可以从移动计算机101、计算机105或者如图1中所示在服务器上或者在与服务器172耦合的数据库中存储和取回视频以便形成事件视频，所述事件视频例如包括在显示器上同时示出的事件数据和事件的视频，其通常例如被叠加或者在移动计算机101或计算机105的显示器的分开的部分中示出。
图2A示出了围绕用户的头部150a的基于头盔110a的安放装置，其中基于头盔的安放装置如图2A所示地把运动捕获传感器111固定在头盔的后侧部分上。图2B示出了在头盔的底部后侧部分示出的基于颈口嵌件的安放装置，其允许利用运动捕获传感器111改装现有的头盔。在包括可以与用户的头部150a耦合或者通过其他方式佩戴在用户头部150a附近的至少一个运动捕获传感器的实施例中，所述微控制器或微处理器可以计算用户头部上的撞击位置。用户头部上的撞击位置的计算是基于用户头部和/或头盔物理几何结构。举例来说，如果运动捕获元件111表明不具有旋转的后向加速度(如图2B中的右侧所示)，则可以通过跟踪加速度的矢量回到头盔或用户头部的周界之外的方向来计算撞击位置。这一非旋转计算实际上表明力线经过用户头部/头盔的重心或其附近，否则会由运动捕获元件111观测到旋转力。如果在运动捕获元件111处观测到侧向矢量，则撞击点被计算成处在头盔/头部的侧面并且经过重心。因此，例如至少在加速度峰值附近的时间段内或者在任何其他时间段期间没有对运动捕获传感器施加旋转加速度的任何其他撞击都可以被认为是被施加在经过重心的去到头盔/头部的方向上。因此，对于撞击点的计算被计算成检测到力的矢量的头盔/头部的外周界的交点，并且通过计算从重心回去的距离和角度而向回贯穿到撞击点。举例来说，如果加速度矢量处于45度并且没有旋转，则撞击点是从头盔/ 头部的重心向回45度，因此计算45的正弦(近似0.7)乘以头盔的半径(或5英寸)，从而得到距离头盔正面大约3.5英寸的撞击。或者，可以把撞击位置保持在角度格式中，以便表明撞击是处于距离头盔/头部正面45度。相反，如果观测到没有线性加速度的旋转加速度，则头盔/头部围绕传感器旋转。在这种情形中，旋转脑部所需的力在重心前方经过并且通常与被定义成经过重心和传感器的线正交(例如侧面撞击)，否则将会观测到变换线性加速度。在这种情况下，撞击位置于是处在头盔/头部的与加速度方向相对的一侧。因此，对于撞击位置的这两种计算是可以被利用的简化计算方法的实例，但是也可以利用考虑到头部/头盔的质量和头部/头盔的尺寸的任何其他基于矢量的算法。一种这样的算法可以利用任何数学等式，比如F＝m*a，也就是力等于质量乘以加速度，以及扭矩＝rXF，其中r是头部/头盔的外侧部分处的位置矢量、X 是叉积并且F是力矢量，以便计算力矢量，并且如果希望的话变换回到头盔/头部的外周界以计算施加在该位置处的力矢量。虽然关于头盔进行了描述，但是所述至少一个运动捕获传感器的其他实施例可以利用任何类型的安放装置、封装或耦合机制与帽子或球帽耦合、耦合在保护性牙套内。可以对于帽子/球帽/牙套利用类似的计算，以便从例如可以表明脑震荡相关事件的加速度或者任何其他数量来确定撞击的位置/方向、线性或旋转力。一些实施例可以包括与至少一个运动捕获传感器或者与例如在图 1A中示出的微控制器耦合的温度传感器。温度传感器可以被单独利用或者与运动捕获元件相组合，以便例如确定身体或头部是否正在发抖，也就是表明体温过低，或者确定是否没有检测到移动，并且例如通过无线方式或者通过基于连线的温度传感器测量的温度表明身体或脑部高于表明中暑的阈值。
本发明的实施例还可以利用可以围绕至少一个运动捕获元件的隔离器以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼，从而最小化事件数据的线性加速度和旋转加速度的变换，以便获得用户脑部的观测线性加速度和观测旋转加速度。因此，一些实施例不必把来自基于头盔的加速度的力或加速度数值或者任何其他数值变换到所观测到的脑部加速度数值，因此本发明的实施例利用更少的电力和存储来提供特定于事件的数据，从而又最小化数据传输的数量，从而导致更低的传送功率利用。基于头盔中的内在衬垫的类型，在美式足球/冰球/长柄曲棍球运动员的头盔上可以利用不同的隔离器。在其中不佩戴头盔或者偶尔佩戴头盔的体育运动中所利用的其他实施例还可以利用球帽或帽子上(例如棒球运动员的帽子上)的至少一个运动捕获传感器，连同安放在击球头盔上的至少一个传感器。在其中不利用球帽的体育运动(比如英式足球)中还可以利用头带安放装置来同样确定脑震荡。在一个或更多实施例中，利用在头盔上的隔离器可以在封装中保持附着到头盔，并且传感器可以被移除并且放置在不利用匹配用户脑液的阻尼的隔离器的另一件装备上。一些实施例可以基于与特定类型的装备(也就是冲浪板相比于棒球棒)相关联的特性运动模式自动检测运动类型，并且确定运动捕获传感器当前所附着到的装备的类型。在一个或更多实施例中，可以被利用来计算隔离器的物理特性的一种算法可以包括把一个运动捕获传感器安放在头盔上，并且把一个运动捕获传感器安放在碰撞测试假人头部中的头型中，其中头型中的运动捕获传感器被封装在隔离器中。通过对头盔施加线性和旋转加速度，并且例如关于放置在头盔内的尸体头部中的传感器来观测由头盔传感器获得以及由头型中的传感器观测到的数值中的差异，可以获得最紧密地匹配人类脑部的阻尼效果的具有最佳匹配阻尼数值的隔离器材料。
图3示出了图2A-2B的安放装置的特写，其中示出了运动捕获传感器与头盔的外部部分之间的隔离器。本发明的实施例可以获得/计算线性加速度数值或旋转加速度数值或者全部二者。这就允许针对脑震荡以及线性加速度来监测旋转事件。如图3所示，外部加速度G1可以施加与人类脑部所观测到的加速度更加相关联的更低加速度，也就是通过利用传感器安放装置111b内的隔离器111c的传感器111上的G2。这就允许针对脑震荡以及线性加速度来监测旋转事件。其他事件可以利用线性和 /或旋转加速度和/或速度，例如与模式或模板进行比较，从而不仅在事件期间切换传感器个性以便动态地改动捕获特性，而且还表征正在与当前的运动捕获传感器一起利用的装备的类型。这就允许通过用户的单次运动捕获元件购买而使得多件装备或衣物工具化，这是通过允许传感器基于由该传感器捕获的运动与特性运动模式或模板的比较自动确定该传感器所耦合到的装备或衣物的类型。
图4A示出了安放在头盔110a上的运动捕获元件111的顶部剖面图，所述头盔110a具有围绕用户的颅骨401和脑部402的衬垫110a1。图4B示出了对应于图4A 中示出的各个元件的旋转脑震荡事件。如图4B所示，不同的加速度数值可能被施加在具有重心403并且由头盔110a中的衬垫110a1围绕的人类脑部402和颅骨401 上。如图4B所示，为了在单位时间段内移动，脑部的正面部分必须以速率G2a加速度，该速率G2a高于脑部的后侧部分处的速率G2c或者重心处的速率G2b。因此，对于给定的旋转加速度数值，脑部的不同区域可能受到不同的影响。因此，本发明的一个或更多实施例可以传送不仅与线性加速度有关而且还与旋转加速度有关的信息。
图5示出了针对头盔的输入力G1(如图5所示为500g)相对于在脑部内观测到的力G2，其由安放在隔离器内的传感器观测到并且利用已知的头型加速度测量系统得到证实。右上方的曲线图示出了两种已知的头型系统证实了由图4A中示出的基于隔离器的运动捕获元件111关于头型安放的加速度计所观测到的加速度数值。
图6示出了3个轴的旋转加速度数值连同总旋转矢量数量，连同从摄影机获得并且与运动事件数据一起显示的脑震荡事件的视频。在一个或更多实施例中，可以针对旋转(如图6所示)或线性数值显示来自给定传感器的加速度数值，这例如是通过两次敲击移动设备屏幕或者是通过任何其他方式。本发明的实施例可以利用无连接广播消息来传送与事件相关联的事件数据。在一个或更多实施例中，取决于所采用的通信，广播消息可以包括具有有限数量的数据的有效载荷，其可以被利用来避免基于连接的协议的握手和开销。在其他实施例中，可以按照任意组合来利用无连接或基于连接的协议。通过这种方式，裁判员可以在移动设备上获得潜在的脑震荡相关事件的接近即时的读出，从而允许裁判员快速获得医疗协助。
在一个或更多实施例中，计算机可以访问与至少另一个用户、或用户、或至少另一台设备或装备相关联的先前存储的事件数据或运动分析数据，以便例如确定脑震荡或摔倒或其他挥击或者任何其他运动事件的数目。一些实施例还可以把包括与至少一位用户相关联的事件数据的展示的信息显示在显示器上，这是基于与所述用户或装备相关联的事件数据或运动分析数据以及与所述用户或装备或者与至少一位其他用户或其他装备相关联的先前存储的事件数据或运动分析数据。这就允许在数目或定量数值方面对运动事件进行比较，例如由所述用户或其他用户在特定比赛中或者在历史上观测到的最大旋转加速度。此外在至少一个实施例中，定义对应于典型事件的特定装备的特性运动的模式或模板可以被动态地更新，例如在中央服务器上或者在本地更新，以及在一个或更多实施例中通过第一通信接口在运动捕获传感器中动态地更新。这就允许传感器随着时间改进。因此，图6中所示出的显示还可以表明先前对于给定拳击手/运动员所存储的脑震荡的数目，并且允许裁判员/医生关于该运动员是否可以继续比赛作出决定。
本发明的实施例可以例如通过广播电视或因特网传送信息以便在与计算机或远程计算机耦合的视觉显示器上进行显示。因此，图6中的显示还可以例如向正在观看的观众示出，以便表明施加在拳击手/运动员/骑手等等身上的力的数量。
图7示出了用户的时间线显示2601连同被显示成沿着时间线的事件的沿着时间线的峰值和最小角速度。此外，在底部显示中所示出的曲线图示出了高尔夫球杆2602的超前和滞后(lead and lag)连同高尔夫球杆的下垂和漂移(droop and drift)，其中这些数值决定高尔夫球杆的杆身在相对于时间标绘的两个轴中的弯曲程度。在图8中示出了一个显示实施例，其中在所述显示上标注了简化的时间线以及运动相关事件(挥击的最大速度)。
图8示出了子事件快进快退(scrub)时间线，其允许与将要滚动到、播放到或者从该处播放的子事件相关联的起始/停止时间点802a-d(也就是图7中示出的子事件时间位置)附近的输入，从而很容易地允许观看子事件。举例来说，高尔夫球挥击可以包括例如瞄准(address)、向后挥动、向前挥动、击打、保持姿势(follow through)之类的子事件。所述系统可以显示对应于子事件802a-d的时间位置并且接受所述位置附近的用户输入，以便声明视频应当在该时间点处开始或停止，或者例如滚动到或者回到该时间点以易于观看子事件。用户输入单元801可以被利用来把时间拖曳到附近的子事件，以便例如把视频定位在所期望的时间点。替换地或者与之相组合，当视频正在播放时的例如声明另一个子事件时间点附近的手指按压的用户输入可以表明视频应当在下一个子事件时间点处停止。用户界面还可以被利用来控制-拖曳所述点，以便把视频更加精确地同步到其中发生特定子事件或事件的帧。举例来说，用户可以按住控制键并且把点802b向左或向右拖曳，以便把视频帧匹配到球杆头部的速度为零的实际时间点，以便例如把视频更加紧密地同步到所示出的实际运动分析数据，这里的挥击速度以每小时英里数计。在符合本发明的精神的情况下，可以利用任何其他用户手势把用户帧同步到运动分析数据，比如语音控制、箭头键等等。
图9示出了子事件802a和802b沿着时间线开始和停止的相对位置以及与起始和停止时间相关联的引力，其允许这些点附近的用户输入被吸引到起始和停止时间。举例来说，在沿着时间线左右拖曳用户界面单元801时，所述用户界面单元可以表现为朝向潜在的阱802a和802b移动，从而使得用户界面单元更容易移动到子事件的起始/停止点。
在一个或更多实施例中，所述计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频。这可以包括从特定的邻近摄影机或者指向事件方向的摄影机请求视频的广播消息。在一个或更多实施例中，所述计算机可以广播针对邻近事件或者被指向来观看事件的摄影机位置的请求，并且可选地对于围绕感兴趣事件的持续时间显示可用的摄影机或者来自该处的视频。在一个或更多实施例中，所述计算机可以显示事件发生的一个或更多时间的列表，从而允许用户通过所述计算机获得所期望的事件视频，并且/或者从具有所期望的事件时间的第三方独立地请求视频。所述计算机还可以从服务器172获得视频，并且在本地把视频修剪到所期望的事件。这可以被利用来获得第三方视频以及来自不与所述计算机直接接口但是可以与服务器172通信的系统的视频。
图10示出了利用一台移动设备102b作为运动捕获元件111a以及另一台移动设备102a作为接收第一用户事件的运动事件数据和视频的计算机的一个实施例。来自移动设备102a的视图在该图10的左上部分示出。在一个或更多实施例中，所述至少一个运动捕获传感器与移动设备耦合，并且例如使用处于移动设备内或者与移动设备耦合的内部运动传感器111a。这就允许利用普遍存在的最低程度硬件来进行运动捕获和事件辨识，例如使用具有内建加速度计的移动设备。在一个或更多实施例中，第一移动设备102b可以与记录运动数据的用户耦合(其在这里被示出为正在进行单板滑雪)，第二移动设备102a则被利用来记录运动的视频。在一个或更多实施例中，正在经历运动的用户可以给出手势，例如在移动设备上敲击N次，从而表明第二用户的移动设备应当开始记录视频或停止记录视频。可以利用任何其他手势在移动设备之间传送事件相关或运动相关的指示。
因此，本发明的实施例可以辨识任何类型的运动事件，其中包括与表明站立、行走、摔倒、中暑、疾病突发、剧烈抖动、脑震荡、碰撞、步态异常、呼吸异常或没有呼吸或者其任意组合的运动有关的事件，或者具有期间发生运动的持续时间的任何其他类型的事件。事件还可以具有任意粒度，例如包括具有已知的签名或者通过其他方式匹配任何类型的模板或模式的子事件，其中包括线性或旋转轴的特定集合中的幅度和/或时间阈值。举例来说，表明滑板推出(push-off)或一系列推动的事件可以被分组到例如“准备操控”之类的子事件中，而X中的旋转轴则例如可以表明“滑板翻/滚”。在一个或更多实施例中，事件可以被分组以及存储/发送。
图11示出了被利用来存储数据的存储器的一个实施例。存储器4601例如可以被集成到运动捕获元件111中的微控制器，或者可以例如作为单独的存储器芯片与微控制器耦合。如图11所示的存储器4601可以分别包括一个或更多存储器缓冲器4610、4611和4620、4621。可以被利用的存储器缓冲器的一个实施例是环形缓冲器。环形缓冲器可以被实施成被多次覆写，直到事件发生为止。环形缓冲器的长度可以是从0到N个存储器单元。例如可以有M个环形缓冲器，例如对应于M个击打事件。数字M可以是大于零的任何数字。在一个或更多实施例中，数字M可以等于或大于预期事件的数目，例如击中数，或者对应于一轮高尔夫球比赛的击球数，或者允许把所有运动捕获数据存储在运动捕获元件上直到在一个或更多事件之后被下载到移动计算机或因特网的任何其他数目。在一个实施例中，例如被称作头指针(HEAD)的指针跟踪缓冲器的头部。随着数据被记录在缓冲器中，头指针被向前移动适当的数量，从而指向下一个空闲存储器单元。当缓冲器变满时，指针回绕到缓冲器的开头，并且在遇到先前的数值时将其覆写。尽管数据被覆写，但是取决于缓冲器的尺寸和记录的速率，在任何时刻(t)都有从时间(t)向回记录的传感器数据。随着传感器在缓冲器中记录数据，一个或更多实施例中的“事件”停止用新的数据覆写缓冲器。在检测到事件时，传感器可以在第二缓冲器4611中继续记录数据，以便例如在特定的捕获速率下记录特定时间量的事件后数据，从而完成预期影片的记录。存储器缓冲器4610 现在包含从事件向回的所期望的时间量(这取决于缓冲器的尺寸和捕获速率)的数据记录，连同事件后缓冲器4611中的事件后数据。例如参见图19，视频也可以按照类似的方式被存储并且在后来被修剪。
例如在高尔夫球挥击中，事件可以是球杆头部与球撞击。或者，事件可以是球杆头部与地面撞击，从而可能导致错误事件。在其他实施例中，事件可以是可能表明脑震荡事件的用户头部的加速度，或者从武器射击，或者球击打棒球棒，或者当用户把重量移动到最高点并且放下以进行另一次重复时。事件前缓冲器存储直到撞击事件为止的传感器数据，事件后缓冲器存储撞击事件之后的传感器数据。微控制器或微处理器的一个或更多实施例可以分析事件，并且确定事件是重复、射击还是例如击打或错误击打之类的事件。如果事件根据模式或签名或模板被视为有效事件(参见图13和15)而不是错误事件，则将另一个存储器缓冲器4620用于运动捕获数据，直到发生第二个事件为止。在该事件发生之后，利用所捕获的数据填充事件后缓冲器 4621。
具体来说，运动捕获元件111可以被实施成一个或更多MEMs传感器。所述传感器可以被命令以特定时间间隔收集数据。在每一个间隔处，从各种MEMs设备读取数据并且存储在环形缓冲器中。从MEMs传感器读取的一个数值集合被视为一帧 (FRAME)数据。取决于正被收集并且存储在缓冲器中的数据的类型，一帧数据可以是0个、1个或者多个存储器单元。一帧数据还与一个时间间隔相关联。因此，基于来自传感器的捕获速率，各帧还与时间单元相关联。举例来说，如果以2ms间隔填充每一帧，则1000帧将包含2000ms的数据(2秒)。一般来说，帧不必与时间相关联。
数据可以被不断地存储在环形缓冲器中，并且例如在指定的事件、时间、或者当通过无线电装置/天线去到移动设备或者任何其他计算机或存储器的通信可用时、或者当例如由移动设备命令(也就是“轮询”)时、或者在任何其他所期望的事件处，数据被写出到非易失性存储器，或者通过无线或有线链接或者通过无线电装置 /天线被发送到远程存储器或设备。
图12示出了特别被编程到微控制器中以便确定是否发生了将对于特定应用传送的事件的功能的一个实施例的流程图，所述事件例如是预期事件或者例如是已经发生的事件。从对于体育装备的撞击发生的运动、加速度或冲击波被传送到运动捕获元件中的传感器，所述传感器如在前面的图11中所描述的那样记录运动捕获数据。所述微控制器或微处理器可以随后分析所述事件，并且确定所述事件是否预期事件。
所发生的一种类型的事件是加速度，或者基于头部/头盔/球帽/牙具的传感器超出指定的线性或旋转数值，或者球杆面在撞击高尔夫球时的撞击。在利用球和击打工具的其他体育运动中应用相同的分析，但是所述分析被调整到具体的体育运动和体育装备。在网球中，预期击打例如可以是球拍击中球，而不是在接发球之前转动球拍。在例如跑鞋之类的其他应用中，撞击检测算法可以在某人正在跑步时检测鞋击中地面。在练习中，其可以是正在达成的特定运动，这就例如允许在举重或者骑固定自行车的同时对重复次数进行计数。
在本发明的一个或更多实施例中，处理开始于4701处。在4702处，微控制器在特定撞击时间框架内把存储器4610中的运动捕获数据与超出特定阈值的线性速度进行比较，并且在4703处搜索其中存在高于特定阈值的速度或加速度中的突然改变的不连续性阈值。如果在已定义的时间窗口中没有发生速度或者例如加速度中的不连续性，则处理在4702处继续。如果不连续性确实发生，则在4704处将预期撞击保存在存储器中，并且把撞击后数据保存给定的时间P。举例来说，如果撞击阈值被设定到12G，不连续性阈值被设定到6G，并且撞击时间框架是10帧，则在检测到 10帧内的至少一个轴或所有轴中的12G加速度以及随后的6G的不连续性之后，微控制器3802用信号表明撞击。在典型的事件中，加速度建立特性加速度曲线。撞击被表示成加速度/速度中的快速改变。这些改变通常不同于由特定非事件的递增或递减曲线所创建的平滑曲线。对于基于脑震荡的事件，一个或更多轴中的线性或旋转加速度超出一定阈值。对于高尔夫球相关的事件，如果加速度曲线是关于高尔夫球挥击，则特定的轴具有符合签名、模板或其他模式的特定加速度，并且打中球导致表明击中的较大加速度尖峰。如果数据匹配给定的模板，则其被保存，如果不匹配，则处理回到4702处继续。如果在4705处决定将在外部保存数据，也就是说存在去到移动设备的通信链接，并且例如当其发生时移动设备正在轮询或者已经请求了撞击数据，则在 4706处把事件传送到外部存储器或移动设备或者将其外部保存在任何其他位置处，并且处理再次在4702处继续，其中微控制器针对后续事件分析所收集的运动捕获数据。如果将不在外部保存数据，则处理在4702处继续，并且将撞击数据本地保存在存储器4601中。如果被发送到外部，则其他运动捕获设备也可以对于由另一个传感器检测到的事件保存其运动数据。这例如就允许具有更精细的分辨率或更多运动的传感器提醒与用户或装备相关联的其他传感器保存事件，即使运动捕获数据并没有达到特定阈值或模式(例如参见图15)。这种类型的处理提供了更加鲁棒的事件检测，这是因为可以利用多个传感器来检测特定类型的事件，并且通知出于各种原因可能不匹配事件模式的其他传感器。此外，摄影机可以被通知并且修剪或者通过其他方式丢弃不需要的视频并且保存事件相关的视频，从而可以降低不仅是事件而且还有视频的存储器利用。在本发明的一个或更多实施例中，在发送之前可以从运动捕获数据滤除噪声，并且可以基于所获得的数据数值改变采样率，以便最大化准确性。举例来说，一些传感器在高采样率和高重力下输出不准确的数据。因此，通过在高重力下降低采样率，准确性得以保持。在本发明的一个或更多实施例中，与运动捕获元件111相关联的微控制器可以感测高重力并且自动切换采样率。在一个或更多实施例中，取代使用具有6G/12G/24范围或2G/4G/8G/16G范围的加速度计，可以利用具有2个范围(例如2G和24G)的加速度计以便简化在各个范围之间进行切换的逻辑。
本发明的一个或更多实施例可以把事件传送到移动设备，并且/或者例如对于一轮高尔夫球比赛或者直到实现移动设备通信链接为止继续把事件存储在存储器中。
例如对于被安放在特定安放装置中的传感器，在图13中示出了典型的事件签名，此外还参见图15中的通过例如与不同装备或衣物相关联的模式或模板所示出的两种特性运动类型的比较。在一个或更多实施例中，微控制器可以执行模式匹配算法以便跟随对应于每一个轴的曲线，并且使用1个或更多轴的片段来确定在线性或旋转加速度或者其任意组合中是否发生了特性挥击。如果存储器4601中的运动捕获数据处于与图13中所示的典型挥击的数值足够接近的范围内，则运动与事件一致。因此，在首先表征移动的角度和/或线性速度签名之后，并且随后利用该签名的元素来确定是否发生了对应于未来事件的类似签名，本发明的实施例减少了事件检测中的错误肯定的数目。
运动捕获元件从各个传感器收集数据。数据捕获速率可以较高，并且如果是这样的话，则要捕获大量数据。取决于具体应用，本发明的实施例可以使用无损和有损压缩算法来存储传感器上的数据。压缩算法允许运动捕获元件在给定的资源内捕获更多数据。传输到(多台)远程计算机的也是已压缩数据。已压缩数据的传输更快。已压缩数据也被存储在因特网中的“云端”中，或者被存储在数据库上，从而在本地占用更少的空间。
图14示出了运动捕获元件111的一个实施例，其可以包括用于在本地显示和观看事件相关信息的可选LED视觉指示器1401，以及可以显示与事件相关联的文字或已编码消息的可选LCD 1402。在一个或更多实施例中，所述LED视觉指示器可以对于中度类型的脑震荡慢闪黄色，并且对于重度类型的脑震荡快闪红色，以便在无需任何数据通信的情况下给出关于事件的快速总览。此外，LED可以表现若干闪光或其他颜色，以便表明任何温度相关事件或其他事件。一个或更多实施例还可以采用 LCD 1402，其例如可以示出文字或者替换地可以显示对应于敏感的健康相关信息的已编码消息，裁判员或医疗专业人员例如可以利用移动设备上的适当的读取器应用对其进行读取和解码。在该图14的右下部分中，LCD显示器可以产生声明“潜在脑震荡 1500度/s/s旋转事件检测-立即告警医疗专业人员”的已编码消息。其他瘫痪诊断消息或者可能是敏感的任何其他类型的消息可以被编码并且被本地显示，从而例如使得医疗专业人员可以立即开始救助用户/运动员/拳击手而不会由于诊断消息惊动其他运动员，或者无需通过无线方式在空中传送所述消息以避免拦截。
图15示出了与不同类型的装备和/或工具化衣物相关联的运动事件的模板特性的一个实施例，连同其中运动捕获传感器个性可以改变以便更加准确地或者更加高效地捕获与特定时间段和/或子事件相关联的数据的区域。如图15所示，在加速度曲线图1501中示出了对应于滑板的特性推出(push off)，所述曲线图在上方的6 条时间线中显示出X、Y和Z轴线性加速度和旋转加速度数值，其中时间向右递进。如图15所示，当用户通过每一步推动滑板时，在1502和1503处示出了所捕获到的离散正x轴加速度，其后是随后滑板在每一次推动之间变慢的负加速度。此外，每一次推动期间的y轴摆动也被捕获到，而在滑板推出或驱动的该特定模板或模式中没有z轴线性加速度的改变并且没有旋转加速度。或者，所述模式可以包括预定义的时间窗口处的x中的一组阈值加速度以及对应于摆动的其他阈值或者没有对应于摆动的阈值，其中例如将所捕获的数据与之进行比较，以便自动确定运动捕获元件被安放到的或者已知的装备当前正在经历的装备的类型。这例如允许基于事件的数据保存和传送。
但是曲线图1511中的模式或模板示出了跑步事件，其中用户在跑步事件期间略微上下加速。由于用户的速度相对恒定，因此在x中相对没有加速度，并且由于用户没有转弯，因此在y中(左/右)相对没有加速度。该模式例如可以被利用来在对应于跑步的范围内进行比较，其中所述模式包括预定义时间窗口中的z轴加速度。因此，曲线图1511当中的上方的三个曲线图可以在1512和1513处被利用作为用以标记跑步事件的模式。下方的三个曲线图可以在1514和1515处示出当运动捕获元件被安放在头盔和/或牙套中时表明用户向两侧观看的所捕获的数据，而所捕获的数据1516则可以表明通过每平方秒足够高的角度数的旋转运动所观测到的中度或重度脑震荡。此外，可以在1516处或者在任何其他阈值处动态地改动传感器个性，以便例如改变运动捕获传感器的捕获速率或捕获比特尺寸，从而在幅度或时间方面更加准确地捕获事件。这就允许对于感兴趣的时段动态地改动捕获质量以及/或者动态地改变功率利用，这在本领域内是未知的。在一个或更多实施例中，例如对于利用安放在头盔、牙套内或者任何其他装备中或者用户身体内的温度传感器的本发明的实施例，还可以记录温度时间线。
图16示出了保护性牙套1601的一个实施例的正视图并且在图16中的底部示出了顶视图，其例如在任何接触性体育运动中被佩戴，比如(而不限于)英式足球、拳击、美式足球、摔跤或者任何其他体育运动。牙套的实施例可以被佩戴来补充具有或不具有运动捕获元件的任何其他头部用具，以便增加与用户相关联的运动捕获数据，并且把来自用户所佩戴的任何或所有运动捕获元件的运动数据和/或事件进行相关或者通过任何其他方式进行组合或比较。图2A-2B中所示出的或者任何其他装备中的牙套和/或头盔的实施例例如还可以包括温度传感器，正如前面所讨论的那样。
图17示出了由图1中的任何计算机利用的算法的一个实施例，其可以在组合格式中显示运动图像和运动捕获数据。在一个或更多实施例中，运动捕获数据以及任何事件相关的起始/停止时间可以被保存在运动捕获元件111上。本发明的一个或更多实施例包括一种运动事件辨识和视频同步系统，其包括可以与用户或装备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件。所述至少一个运动捕获元件可以包括：存储器；可以捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度、角速度和角加速度相关联的数值的任意组合的传感器；通信接口；与存储器、传感器和通信接口耦合的微控制器。所述微控制器可以收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，通过通信接口传送与事件相关联的事件数据。所述系统还可以包括移动设备，所述移动设备包括计算机、被配置成与运动捕获元件的通信接口进行通信以便获得与事件相关联的事件数据的通信接口，其中所述计算机与通信接口耦合，其中所述计算机可以从计算机的通信接口接收事件数据。所述计算机还可以分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，从事件获得事件起始时间和事件停止时间。在一个或多个实施例中，计算机可以从摄影机请求包括至少在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频的图像数据，并且在显示器上显示事件视频，其中包括全部以下两项：在从事件起始时间到事件停止时间的时间跨度期间所发生的事件数据、运动分析数据或者其任意组合；以及在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频。
在一个或多个实施例中，所述计算机可以基于与数据或事件数据相关联的第一时间以及与至少一个视频相关联的至少一个时间同步，其中数据或事件数据获取自与用户或设备或与用户耦合的移动设备耦合的所述至少一个运动捕获元件，以创建至少一个同步事件视频。在至少一个实施例中，所述计算机可以在计算机存储器中存储至少一个同步事件视频，而不会所述至少一个视频的一部分处于所述事件起始时间至所述事件停止时间之外。根据至少一个实施例中，所述计算机可以显示同步事件视频，包括事件数据与运动分析数据二者或其任意组合，这在从事件起始时间至事件停止时间之间的时间跨度期间发生，还可以显示在从事件起始时间至事件停止时间之间的时间跨度期间捕获的视频。
在一个或多个实施例中，所述计算机可以传送至少一个同步事件视频或所述至少一个同步事件视频的一部分到资源库、查看器、服务器、另一计算机、社交媒体网站、移动设备、网络和应急服务中的一个或多个。
当通信信道可用时，运动捕获数据以及任何事件相关的起始/停止时间在 1701处被推送到任何计算机(例如101、102、102a、102b、105)，或者由任何计算机获得或者通过其他方式接收。还可以获得传感器上和/或运动捕获数据时间中的时钟之间的时钟差异。这可以通过读取传入消息中的当前时间标记并且把传入消息时间与本地计算机的时钟的当前时间进行比较来实施，对于同步的更多细节例如还参见图 18。来自传感器和计算机的时钟中的差异可以被利用来在1702处从任何本地的或者对于考虑任何时钟差异而经过调节的时间指向事件位置的摄影机请求图像数据。举例来说，计算机可以通过查询所有摄影机103、104或者设备101、102和/或102a上的摄影机来请求在所述时间/位置处拍摄的图像，其中任何或所有所述设备具有在附近拍摄的图像(例如基于GPS位置或无线范围)并且/或者指向获得自运动捕获元件111 的事件。如果设备不处在附近但是指向事件的位置，正如当配备有磁力计时通过其位置和指向所确定的那样，则其也可以通过对应于所述时间范围的图像来作出响应。可以通过电子方式进行通信的任何类型的摄影机都可以被查询，其中包括保姆摄像头等等。举例来说，可以由移动计算机101在接收到来自运动捕获传感器111的事件之后发送消息，其中所述消息可以被发送到例如处于移动计算机101的无线范围内的任何摄影机。替换地或者与之相组合，移动计算机101可以发送征求处于事件位置的预定义距离内的任何摄影机身份，或者查询指向事件的方向的即使并非相对接近的任何摄影机。在接收到潜在摄影机的列表时，移动设备101可以例如向其查询在围绕事件的预定义窗口中获得的任何图像。在1703处，计算机可以接收图像数据，或者如果计算机与摄影机耦合的话则可以在本地查找图像。在一个或更多实施例中，服务器172 可以迭代经过视频和事件以便确定任何相关的视频和事件，并且自动修剪视频以便对应于事件起始和停止时间的持续时间。虽然可以利用无线通信，但是任何其他形式的图像数据传输也符合本发明的精神。不管是处于数字还是图形覆层格式或者包括文字的任何其他格式中的来自事件的数据都可以与对应于该时间的相应图像一起被示出，或者在1704处被叠加到对应于该时间的相应图像上。这在时间1710(即当前时间) 处通过图形方式被示出，其对于示出具有叠加的运动捕获数据1712的运动事件的一帧的图像1711例如是可滚动的。对于组合的或同时无叠加的数据例如参见图6。
图18示出了可以由本发明的一个或更多实施例利用的同步架构的一个实施例。一些实施例可以使用任何类型的同步方法来同步系统中的时钟，并且在一个或更多实施例中，移动设备101上的计算机160可以确定运动捕获元件111与移动设备之间的时钟差异，并且把运动分析数据与视频同步。举例来说，本发明的一个或更多实施例提供用于使得多台记录设备同步关于每一台设备的时间、位置或指向的信息的规程，从而可以组合来自不同设备的关于事件所记录的数据。这样的记录设备可以是嵌入式传感器、具有摄影机或麦克风的移动电话，或者更一般来说是可以记录与感兴趣的活动相关的数据的任何设备。在一个或更多实施例中，这一同步是通过在设备之间交换信息来实现的，从而使得各台设备可以在针对时间、位置或指向的共同测量方面达成一致。举例来说，移动电话和嵌入式传感器可以跨过链接1802例如通过无线方式交换带有其内部时钟的当前时间标记的消息；这些消息允许发生协商，其中两台设备在共同时间方面达成一致。这样的消息可以按照需要周期性地交换，以便解决前一次同步之后的设备的时钟漂移或运动。在其他实施例中，多台记录设备可以使用共同的服务器或服务器集合1801以获得时间、位置或指向的标准化度量。举例来说，设备可以使用GPS系统来获得对应于每一台设备的绝对位置信息。GPS系统还可以被用来获得标准化时间。NTP(网络时间协议)服务器还可以被用作标准化时间服务器。通过使用服务器允许各台设备在共同测量方面达成一致，而不必总是被配置来彼此通信。
图19示出了由其中一个运动捕获传感器111检测到事件，传送事件检测 (在这里被显示成从位于中心处的传感器111发出并且去到例如移动设备101上的其他运动捕获传感器111和/或摄影机的箭头)，保存事件运动数据，以及修剪视频以对应于事件。在本发明的一个或更多实施例中，其中一些记录设备可以检测各种感兴趣事件的发生。一些此类事件可能在特定时刻发生；其他此类事件可能在一段时间间隔内发生，其中所述检测包括检测事件的起始和事件的结束。这些设备可以利用前面所描述的对应于时间、位置和指向的同步测量基础对记录设备的时间、位置或指向的任意组合进行记录，其例如连同事件数据一起被包括在存储器缓冲器4610中，或者处于任何其他数据结构中。
移动设备上的计算机的实施例可以丢弃落在事件起始时间到事件停止之外的至少一部分视频，例如事件或者具有预定义的在前和在后间隔1902和1903的事件之前和之后的部分1910和1911。在一个或多个实施例中，计算机可以命令或指令其他设备，包括计算机或其他计算机、或另一摄影机、或摄影机或捕获视频的摄影机，以丢弃在事件起始时间至事件停止事件以外的视频的至少一部分。举例来说，在本发明的一个或更多实施例中，其中一些记录设备在等待检测事件的同时持续地把数据捕获到存储器。为了节省存储器，一些设备可以只有当数据在时间上邻近所检测到的事件时才把该数据存储到更加永久性的本地存储介质或者存储到服务器172。例如在没有检测到事件的情况下，新记录的数据可以最终在存储器中覆写先前记录的数据，这取决于正在记录运动数据或视频数据的每一台设备中的存储器的数量。在一些实施例中可以把循环缓冲器用作此类覆写方案的一种典型实现方式。当事件检测发生时，除了存储在事件本身(即1901)期间捕获的数据之外，记录设备可以存储事件起始之前的某一所配置的数据量(接近在前间隔1902的起始)以及事件结束之后的某一所配置的数据量(接近1903)。任何在前或在后的时间间隔都被视为事件起始时间和事件停止时间的一部分，从而使得例如在视频中示出事件的情境。这就为事件给出了情境，例如可以依照体育运动来设定在前时间间隔的数量，以便允许高尔夫球挥击的准备(setup)成为事件视频的一部分，尽管其在击打高尔夫球的实际事件之前发生。还可以根据为在后间隔分配的间隔数量记录保持姿势。
所述系统的实施例可以包括远离移动设备的服务器计算机，其中服务器计算机可以丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且把在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频返回到移动设备中的计算机。服务器或移动设备可以把运动分析数据或事件数据(例如速度或未经处理的加速度数据)与视频相组合或者叠加到视频上以形成事件视频1900，从而可以大大减少所需的视频存储的数量，这是因为部分1910和1911的时间长度通常可能比事件大得多。
所述至少一个运动捕获元件的实施例，例如是微处理器，可以把事件传送到至少另一个运动捕获传感器或者至少另一台移动设备或者其任意组合，并且其中所述至少另一个运动捕获传感器或至少另一台移动设备或者其任意组合可以保存或传送或保存并且传送与事件相关联的数据，即使至少另一个运动捕获元件没有检测到事件。例如在具有同时操作的多台记录设备的实施例中，一台此类设备可以检测到事件，并且向其他记录设备发送表明这样的事件检测已经发生的消息。该消息可以包括事件的起始和/或停止的时间标记，其中对于各台设备的时钟使用同步时间基础。接收设备(例如其他运动捕获传感器和/或摄影机)可以使用事件检测消息把与事件相关联的数据存储到例如处于运动捕获元件111或移动设备101或服务器172内的非易失性存储装置。除了与事件1901直接相关联的数据之外，所述设备可以存储事件起始之前的一定数据量以及事件结束之后的一定数据量(分别是1902和1903)。通过这种方式，所有设备可以同时记录数据，但是使用来自仅仅其中一台设备的事件触发以发起对于来自多个来源的分布式事件数据的保存。
所述计算机的实施例可以保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据，或者可以利用远程服务器来保存视频。在本发明的一个或更多实施例中，其中一些记录设备在其中可能发生事件的时间段内可能无法始终都彼此直接通信。在这些情况下，设备可以将其已记录的所有数据的完整记录保存到永久性存储装置或者保存到服务器。仅仅保存与事件相关联的数据在这些情况下可能无法做到，这是因为一些设备可能无法接收到事件触发消息。在这些情况下，可以在事后对所保存的数据进行处理，以便提取出与一个或更多所检测到的事件相关联的仅仅是相关的部分。举例来说，多台移动设备可能记录运动员或表演者的视频，并且持续地将该视频上传到服务器172以进行存储。所述运动员或表演者可能单独配备有能够检测例如特定运动或动作之类的事件的嵌入式传感器。嵌入式传感器数据可以被持续地或者在后来的某一时间上传到相同的服务器。由于包括视频流以及嵌入式传感器数据在内的所有数据通常都加有时间标记，因此与通过嵌入式传感器检测到的事件相关联的视频可以在服务器上被提取和组合。服务器或计算机的实施例可以当所述至少一个运动捕获传感器与移动设备之间的通信链接开放时，丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。或者，如果通信链接不开放，所述计算机的实施例可以保存视频，并且在通信链接开放之后接收到事件之后，随后丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。例如在本发明的一些实施例中，数据可以如前所述地被上传到服务器，并且与每一台设备的数据流相关联的位置和指向数据可以被用来提取对于所检测到的事件相关的数据。举例来说，一个较大的移动设备集合可以被用来在整个高尔夫球巡回赛期间在各个位置处记录视频。该视频数据可以被持续地或者在巡回赛之后上传到服务器。在巡回赛之后，具有事件检测的传感器数据也可以被上传到相同的服务器。对于这些各种数据流的后处理可以识别出在所发生的事件的物理邻近处同时记录的特定视频流。附加的过滤器可以选择其中摄影机正指向正确的方向以观察事件的视频流。所选择的这些流可以与传感器数据相组合，从而形成具有示出事件的多个视频角度的聚合数据流。
所述系统可以从与移动设备耦合的摄影机或者与移动设备分开或者通过其他方式远离移动设备的任何摄影机获得视频。在一个或更多实施例中，从远离移动设备的服务器获得视频，例如在针对某一位置和时间间隔处的视频的查询之后获得。
服务器或计算机的实施例可以通过图像分析同步视频和事件数据或者运动分析数据，以便更加准确地确定视频中的与事件起始时间或事件停止时间或全部二者最紧密地相关联的起始事件帧或停止事件帧或全部二者。在本发明的一个或更多实施例中，记录设备之间的时钟同步可以是近似的。可能希望基于观看来自每一台设备的事件改进同步来自多台记录设备的数据馈送的准确性。在一个或更多实施例中，对于多个数据流的处理被用来观察不同的流中的事件的签名，以便帮助细粒度同步。举例来说，可以把嵌入式传感器与包括视频摄影机的移动设备同步，但是时间同步可能仅仅准确到100毫秒以内。如果视频摄影机以每秒30帧记录视频，则对应于嵌入式传感器上的事件检测的视频帧单独基于同步时间标记只能被确定在3帧以内。在所述设备的一个实施例中，可以使用视频帧图像处理来确定最紧密地对应于所检测到的事件的精确帧。对于更多细节参见图8及其描述。举例来说，可以把通过惯性传感器检测到的如图17中所示的滑雪板击中地面的震动与其中滑雪板的几何边界和地面发生接触的帧相关。其他实施例可以使用检测事件签名的其他图像处理技术或其他方法来改进多个数据馈送的同步。
所述至少一个运动捕获元件的实施例可以包括与微控制器耦合的可以确定位置的位置确定元件，其中微控制器可以向移动设备上的计算机传送位置。在一个或更多实施例中，所述系统还包括服务器，其中微控制器可以直接或通过移动设备向服务器传送位置，并且其中计算机或服务器可以基于位置以及事件起始时间和事件停止时间从视频的各个部分形成事件视频。举例来说，在一个或更多实施例中，可以例如在移动设备101上或服务器172上或者在计算机105或者与系统耦合的任何其他计算机上把事件视频修剪到特定长度的事件，并且将其转码到任何视频质量，并且按照任何方式与运动分析数据或事件数据(例如速度或加速度数据)叠加或者通过其他方式与之整合。视频可以按照任何分辨率、深度或图像质量或者用以存储视频的压缩类型或者任何其他技术被本地存储，以便最大化存储容量或帧率，或者利用任何压缩类型以便最小化存储，而不管移动设备、至少一个运动捕获传感器和/或服务器之间的通信链接是否开放。在一个或更多实施例中，速度或其他运动分析数据可以例如被叠加或者通过其他方式组合在视频下方的某一部分上，其中包括事件起始和停止时间，所述事件起始和停止时间可以包括实际事件之前和/或之后的任意秒数，以便例如提供击球事件之前的挥击的视频。在一个或更多实施例中，所述至少一个运动捕获传感器和/或(多台)移动设备可以把事件和视频传送到服务器，其中服务器可以确定特定视频和传感器数据发生在特定位置和特定时间，并且从几个视频和几个传感器事件构造事件视频。传感器事件例如可以是来自与用户和/或装备耦合的一个传感器或多个传感器。因此，所述系统可以构造对应于事件的短视频，从而例如大大减少了视频存储需求。
在一个或更多实施例中，所述微控制器或计算机可以确定事件的位置，或者所述微控制器和计算机可以确定事件的位置并且对位置进行相关，这例如是通过对位置进行相关或平均以便提供事件的中心点，并且/或者可以最小化来自初始化GPS 传感器的错误位置数据。通过这种方式，具有移动设备的一组用户可以生成高尔夫球手开球的视频，其中可以利用至少一台运动捕获设备的事件位置，并且其中服务器可以从观众处获得视频并且生成职业高尔夫球手的挥击和击球的事件视频，其中事件视频可以利用来自不同摄影机的各帧生成高尔夫球手挥击时的围绕高尔夫球手的 BULLET
Figure GDA0003101490190000691
视频。所得到的一个或多个视频可以被修剪到事件的持续时间，例如从事件起始时间到事件停止时间，并且/或者具有围绕事件的任何在前或在后的预定时间数值，从而确保捕获到包括对应于挥击或其他事件的任何准备时间和任何保持姿势时间在内的整个事件。
在至少一个实施例中，计算机可以基于邻近事件或者被指向来观看事件的摄影机位置来请求或广播请求，或者同时请求和广播请求，并且根据邻近事件的至少一台摄影机来请求视频，其中视频包括事件。例如在一个或更多实施例中，移动设备上的计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频，这是通过直接广播针对由任何摄影机在所述区域内拍摄的任何视频的请求，其可选地可以包括关于所述摄影机是否不仅位于事件附近而且还指向或者通过其他方式朝向事件的指向信息。在其他实施例中，可以由移动设备上的计算机从远程服务器请求视频。在这种情形中，与事件相关联的任何位置和/或时间可以被利用来返回事件附近的或者在接近事件的时间拍摄的图像和/或视频或者全部二者。在一个或更多实施例中，计算机或服务器可以修剪视频以对应于事件持续时间，并且同样地可以利用图像处理技术进一步同步事件的各个部分，比如具有视频中的相应帧的击球，其例如与对应于装备上的击球的加速度数据相匹配。
移动设备或服务器上的计算机的实施例可以显示已发生某一事件或者其中已发生一个或更多事件的一个或更多时间的列表。通过这种方式，用户可以从列表中找到事件以便快速地访问事件视频。
本发明的实施例可以包括与移动设备物理地耦合的至少一个运动捕获传感器。这些实施例允许具有集成传感器的任何类型的移动电话或摄影机系统(比如任何类型的头盔安放的摄影机或者包括摄影机和运动捕获传感器全部二者的任何安放装置)生成事件数据和视频数据。
在本发明的一个或多个实施例中，系统允许运动事件数据与视频事件数据的整合。图1示出了这种系统的实施例的核心元件。运动事件数据可以由一个或多个动作捕捉传感器111提供，动作捕捉传感器111可以在位置L1附接到用户150、设备110或移动设备130。这些动作捕捉元件可以包括一个或多个测量诸如取向、位置、速度、加速度、角速度和角加速度的运动值的传感器。动作捕捉元件还可以包括存储器，用于存储采集的数据，以及微处理器，用于分析此数据。它们还可以包括用于与其他设备通信并且传送动作捕捉数据的通信接口。通信接口可以是有线或无线的。它可以是例如但不限于：用于无线网络(诸如蓝牙)的无线电装置、低功耗蓝牙、 802.11或蜂窝网络；使用诸如以太网的协议、用于LAN或WAN有线网络的网络接口卡；诸如RS232或USB的串行接口；或者诸如ISA、PCI或SPI的本地总线接口。
在一些实施例中，微处理器与动作捕捉元件耦合，可以从传感器采集数据、在其存储器中存储数据并且很可能分析数据以识别数据中的事件。然后它可以通过所附接的有线或无线通信接口发送原始运动数据或事件数据。此原始运动数据或事件数据可以包括其他信息，诸如动作捕捉元件、用户或设备的标识符以及动作捕捉元件检测到的事件类型的标识符。
在一些实施例中，系统还可以包括一台或多台计算机105(膝上型计算机或台式计算机)、160(移动电话CPU)或其他与传感器或摄影机通信的计算机。图1A 示出了集成到移动设备中的计算机处理器或“计算机”160的实施例的可能部件。计算机可以具有通信接口164，能够与一个或多个动作捕捉元件111的通信接口通信，以接收与运动事件相关的事件数据。计算机还可以具有有线通信接口以与运动捕获元件或其它部件或其它计算机通信。一个或多个实施例可以使用有线和无线通信接口的结合。计算机可以接收原始运动数据，并且它可以分析此数据以确定事件。在其他实施例中，事件的确定可以在动作捕捉元件111中进行，而计算机(诸如105或160) 可以接收事件数据。这两种方法的组合在其他实施例中也是可行的。
在一些实施例中，计算机或多台计算机还可以分析事件数据，以生成运动分析数据。此运动分析数据可包括对于由动作捕捉元件或多个动作捕捉元件记录的运动所涉及的特征。一台或多台计算机可以存储运动数据、事件数据、运动分析数据或其组合，以用于将来取回和分析。可以诸如在存储器162中本地存储数据，或者例如在数据库172中远程存储。在一些实施例中，计算机或多台计算机可以由事件数据确定运动事件的起始时间和终止时间。然后它们可以从诸如103、130、130a或130b 的摄影机请求图像数据，其中摄影机采集射频或在此事件起始时间与事件终止时间之间的至少某一部分时间内的一些时间间隔的一个或多个图像。本说明书中的术语“视频”将包括各种图像以及连续视频，包括摄影机在事件间隔期间拍下单次快摄图像的情况。然后此视频数据可以与运动数据相关联，构成视频和动作捕捉集成系统的一部分。如图1所示，位置L2处的摄影机103具有视野F2，而在位置L3处的移动设备 102a的摄影机具有视野F3。在至少一个实施例中，对于其视野复叠在事件上的摄影机，最佳视频的智能选择通过图像分析来实现。诸如环境传感器的传感器107还可以用于触发事件或至少被查询数值，以组合事件视频，数值例如是风速、湿度、温度、声音等。在其他实施例中，系统可以查询位置L1周围的预定义范围内的视频和事件，并且可以使用在位置L2和L3处的每一台摄影机的视野来确定视频是否可能捕捉到事件。
在一些实施例中，从摄影机请求视频可以与运动数据的采集或分析同时进行。在这类实施例中，系统将会获得或生成事件已经开始的通知，然后系统将会请求视频从一台或多台摄影机流到计算机，直至检测到事件结束。在其他实施例中，用户可以通过按预定义次数轻拍或移动动作捕捉传感器来进行动作表示，以表示事件开始，例如将棒球棍轻拍到击球手鞋上两次可以表示轮到击球事件开始。
在其他实施例中，请求视频可以在摄影机(诸如103)已经向诸如服务器 172的另一计算机上传其视频记录之后进行。在此情况下，计算机将会从服务器172 请求视频而不是直接从摄影机请求。
在一些实施例中，计算机或多台计算机可以执行运动数据与视频数据的同步。各种技术可以用于执行此同步。图1E示出了此同步处理的实施例。动作捕捉元件111包括时钟12901，命名为“时钟S”。当事件发生时，动作捕捉元件由时钟S 随着时间t1S、t2S、t3S等的推移生成时间戳数据12910。摄影机103采集视频或事件某一部分的图像。摄影机还包括时钟12902，命名为“时钟I”。摄影机由时钟I随着时间t1I、t2I、t3I等的推移生成时间戳图像数据12911。计算机105接收运动数据和图像数据。计算机包含另一时钟12903，命名为“时钟C”。计算机执行同步处理，包含将来自三个时钟12912、12913和12914的各个时间标度对齐。这种同步的结果是时钟 12915之间的一致性。一般而言，时钟校准可以要求生成时间差，并且拉伸或收缩事件标度来反映不同的时钟频率。在一些实施例中，不是每一个数据帧或图像帧都可以是时间戳，反而第一帧或最后一帧可以与时间相关，并且对于帧捕捉可以存在已知的时钟频率。在其他实施例中，数据可以不包括时间戳，但是可以一旦捕捉到立即发送，使得计算机能够基于接收时间和可能的网络延迟来估算捕捉时间。
在图1E所示的实施例中，计算机生成同步事件视频12920，同步事件视频2920将会包括运动数据、事件数据、或者在事件起始时间与事件终止时间之间获得或计算得到的运动分析数据的至少一部分以及在此起始时间与终止时间之间从摄影机获得的视频或图像的一部分。此同步事件视频提供了增广的、综合的事件记录，该事件记录结合了运动数据和图像数据。在所示示例中，同步处理将第一图像帧F1赋值到事件t5C、第一运动数据帧D1赋值到事件t6C。在此示例中，图像帧捕捉率是数据帧捕捉率的两倍。
本发明的一个或多个实施例还可以获得与来自至少一台摄影机的至少一个视频相关的至少一个视频起始时间和至少一个视频停止时间。系统的其中一台计算机可以基于与获取自至少一个动作捕捉元件的数据或事件数据相关联的第一时间，可选择地将事件数据、运动分析数据或其任意组合与至少一个视频同步，其中至少一个动作捕捉元件与用户或设备或耦合至用户的移动设备耦合，并且所述事件关联至少一个视频，以创建至少一个同步事件视频。实施例命令至少一台摄影机将至少在从事件起始时间到事件终止时间内的时间跨度期间采集的至少一个同步事件视频传送到另一计算机，而不将在从事件起始时间到事件终止时间内的时间跨度以外发生的，即是在至少一个视频以外发生的至少一部分视频传送到另一计算机。一个或多个实施例还可以叠加包括在从事件起始时间到事件终止时间的时间跨度期间发生的事件数据、运动分析数据二者或其任意组合的同步事件视频，并且视频在从事件起始时间到事件终止时间的时间跨度期间采集。
在本发明的一个或多个实施例中，计算机可以放弃事件时间间隔以外的视频，事件时间间隔自事件起始时间测量至事件终止时间。这种放弃通过仅仅存储与所涉及事件相关的视频，可以节省相当大的、用于视频存储的存储资源。图19示出了此流程的实施例。同步事件视频1900包括事件期间的运动和图像数据1901，并且给予一些预定义前后间隔1902和1903。放弃前后间隔前后的部分1910和1911。
在一个或多个实施例中，可以接收或处理运动数据或视频数据的计算机可以是移动设备，包括但不限于移动电话、智能电话120、平板计算机、PDA、膝上型计算机105、笔记本电脑或能够轻易运输或重新布置的任意其他设备。在其他实施例中，这种计算机可以集成到摄影机103、104中，尤其是可以集成到从其获取视频数据摄影机中。在其他实施例中，这种计算机可以是台式计算机或服务器计算机152，包括但不限于在数据中心或基于云的服务中作为虚拟机器运行的虚拟计算机。在一些实施例中，所述系统可以包括任一种上述类型的多种计算机，并且这些计算机可以共同执行本说明书所述的操作。对于本领域技术人员显而易见的是，这种计算机分布式网络能够以多种可行的方式划分任务，并且如有需要，能够协调它们的动作来重复单个中央计算机的动作。本说明书中的术语“计算机”旨在表意为任一种或所有上述类型计算机，并且包括多台这类计算机共同作用的网络。
在一个或多个实施例中，与动作捕捉元件111相关联的微控制器以及计算机105可以从共同时钟获取时钟信息，并且将它们的内部本地时钟12901和12903 设定成此共同值。此方法也可以用于将摄影机12902的内部时钟设定成同一共同时钟值。共同时钟值可以是系统的一部分，或者它可以是用作远程事件服务器的外部时钟。各种技术可以用于将每一台设备的时钟同步成共同时钟，包括网络时间协议或其他类似协议。图18示出了本发明使用NTP或GPS服务器1801作为共同时间源的一个实施例。通过定期将设备时钟同步成共同时钟1801，动作捕捉数据和视频数据可以通过利用记录它们的时间来标记时间从而简单地同步。
在一个或多个实施例中，计算机可以获取或创建一系列同步事件视频。计算机可以为用户显示此系列的综合概述，以查看事件历史。图20示出了此流程的实施例。视频剪辑1900a、1900b、1900c、1900d和1900e获取自对应于不同事件的不同时间。移除在这些事件之前的视频或运动数据1910和1911以及在这些事件之间的数据1910a、1901b、1910c以及1910d。结果是综合概述2000。在一些实施例中，此概述可以包括一个或多个由视频产生的极小图像。在其他实施例中，概述可以包括整个事件视频的较小选择。综合概述还可以包括显示与每一个同步事件视频相关的运动分析或事件数据。在一些实施例中，计算机可以获取或接受度量(诸如与至少一个同步事件视频相关联的度量)并且针对每一个事件显示此度量值。这些度量值的显示在不同实施例中可以变化。在一些实施例中，度量值的显示可以是条形图、线图或其他图形技术，以显示绝对值或相对值。在其他实施例中，可以使用标上色标或其他视觉效果。在其他实施例中，可以显示度量数值。一些实施例可以使用这些方法的组合。在图20所示示例中，与每一个事件相关的速度度量值显示为每一个数值带有圆圈的图表。
在一个或多个实施例中，计算机可以接受所涉及的度量的选择标准，所涉及的度量2010与系列事件的运动分析数据或事件数据相关联。例如，用户可以提供诸如超过阈值的度量2010、或者在范围内的度量或在范围2011外的度量的标准。可以使用任意标准，该标准可以应用于事件的度量值2010、2011。响应于标准的选择，计算机可以仅仅显示符合所选择标准的同步事件视频或它们的概述(诸如缩略图)。已经提供了所选择标准2010来指定速度2020至少应为5，2021。计算机通过显示2001剪辑1到剪辑4来响应；剪辑5基于其相关速度已被排除。
在一个或多个实施例中，计算机可以确定同步事件视频的匹配组，其具有与通过所述选择标准的所述度量相关联的值，并且与跟所述度量相关联的值一起显示同步事件视频或其相应缩略图的匹配组，其中所述度量针对同步事件视频或相应缩略图的匹配组的每一个。
在本发明的一些实施例中，计算机可以基于所选度量值排序并排名用于显示的同步事件视频。在一些实施例中，这种排序和排名可以在基于上述所选择标准进行过滤之外而进行。计算机可以显示度量值的有序列表，伴随有与事件相关的视频或缩略图。继续上述如图20所示的示例，如果基于速度已排序的显示是指定的，计算机生成2002从最高速到最低速记录的剪辑。在一个或多个实施例中，计算机可以生成组合了满足所选择标准的事件视频的、例如同步事件匹配组的高光时刻或失败时刻或此二者。这种高光时刻或失败时刻在至少一个实施例中可以包括所选择事件的整个视频，或者对应于由运动分析确定的事件重要时刻的视频部分。在一些实施例中，高光时刻或失败时刻可以包括在视频上或所选帧上的数据或图形覆盖物，以显示来自运动分析的度量值。一旦用户通过指定所选择标准来指示需要包括何种事件，这种高光时刻或失败时刻可以为用户自动生成。在一些实施例中，计算机可以允许用户编辑高光时刻或失败时刻以添加或移除事件、延长或缩短针对每一个事件显示的视频、针对运动数据添加或移除图形覆盖物或添加特殊效果或音轨。
在一个或多个实施例中，视频和运动集成系统可以包含多台摄影机，诸如摄影机103、104、130、130a和130b。在这类实施例中，计算机可以请求对应于来自多台摄影机的事件时帧的视频，其中多台摄影机在此时帧期间采集视频。这些视频的每一个可以与上述事件数据和运动分析数据同步，以同步成单个视频。来自多台摄影机的视频可以提供事件的不同角度或视野，全部同步到运动数据和共同时基。
在具有多台摄影机的一个或多个实施例中，计算机可以从与事件相关的可能视频组中选择特定视频。所选择的视频可以基于各种可能的标准最佳地或最完整地观察事件。在一些实施例中，计算机可以使用对每一个视频进行图像分析，以确定最佳选择。例如，一些实施例可以使用图像分析来确定哪一个视频最完整，其中最少地遮挡所涉及的设备或人，或者设备或人是最清晰可见的。在一些实施例中，这种图像分析可以包括在录制视频期间摄影机抖动度的分析，以及具有最稳定图像的视频的选择。图21示出了此流程的实施例。动作捕捉元件111表示事件，由摄影机103a和 103b记录。计算机105从两台摄影机取回视频。摄影机103b在事件期间有抖动。为了确定具有最小抖动的视频，计算机105计算每一个视频的帧间差。例如，此差值可以包括贯穿所有像素的每一个像素的RGB值的差的绝对值总和。此计算得出对于摄影机103b的帧差2111和对于摄影机103a的帧差2110。两个视频中的帧间差随着事件发生而增大，但是由于增大的抖动，它们在2111处始终更大。因此，在流程2120中计算机能够自动选择视频2110。在一些实施例中，用户2130可以作出优选视频的选择，或者用户可以通过指定最重要的标准来协助计算机作出选择。
在本发明的一个或多个实施例中，计算机可以获取或生成事件开始的通知，然后计算机可以从该点起监控事件数据和运动分析数据，直至事件结束。例如，一旦事件开始出现，与动作捕捉元件相关的微控制器可以向计算机定期发送事件数据；随着事件发生，计算机能够使用此数据监控事件。在一些实施例中，这种监控数据可以用于向录制事件视频的摄影机发送控制信息。在具有多台摄影机的实施例中，控制信息在事件期间可以广播或发送到摄影机组。在至少一个示例中，计算机可以发送控制消息至本地计算机或计算机外部的至少一台摄影机。
在一些实施例中，这些发送到摄影机或多台摄影机的控制信息可以基于与事件相关的数据修改至少一个视频的视频记录参数，包括运动分析数据。图22示出了此流程的实施例。动作捕捉传感器111向计算机105发送运动数据，然后计算机 105向摄影机103发送控制信息。在所示示例中，设备110在事件之前最初处于休眠。计算机检测到不存在活跃事件，并且向摄影机发送信息2210指示其关掉录制并等待事件。运动2201开始并且计算机检测到事件开始；它向摄影机发送信息2211以开启录制，而摄影机以正常速率录制视频帧2321。在2202处，运动快速提高，而计算机检测到高速；它向摄影机发送信息2212以提高帧频来捕捉高速事件。摄影机以高速生成视频帧2322。通过在快速运动期间使用更高的帧频，用户能够在重播期间放慢动作，以极其详细地观察高运动事件。在2203处事件完成，计算机向摄影机发送信息2213以停止录制。这样保留了摄影机电力并且事件之间的视频存储空间。
在更概括的一些实施例中，计算机可以向摄影机或多台摄影机发送控制信息，以响应于事件数据或运动分析数据来修改任意相关的视频记录参数。这些记录参数例如可以包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制。
在本发明的一个或多个实施例中，计算机可以接受例如来自用户的音轨，并且将此音轨结合到同步事件视频中。例如这种结合将会在重播事件视频或高光时刻或失败时刻期间添加音频音轨。一些实施例可以使用事件数据或运动分析数据，以将音轨智能结合到同步事件视频中。例如，一些实施例可以分析音轨，以便例如基于高音频幅度的时间点来确定音轨的节拍。然后音轨的节拍可以利用事件数据或运动分析数据与事件同步。例如随着用户或对象的运动提高或降低，这种技术可以自动加速或放慢音轨。这些技术提供了丰富的媒体体验，伴随有与事件相关的音频或视觉线索。
在一个或多个实施例中，计算机可以在一个或多个显示器上重播同步事件视频。这些显示器可以直接附接到计算机，或者可以远程位于其他设备上。使用事件数据或运动分析数据，计算机可以修改重播，以添加或改变各种效果。这些修改可以在重播期间多次出现，甚至在重播期间随着事件数据改变连续出现。
作为示例，在一些实施例中，计算机可以基于事件数据或运动分析数据修改同步事件视频的重播速度。例如在低运动期间，重播可以以正常速度进行，而在高运动期间，重播可以切换到慢动作，以突出运动细节。对重播速度的修改可以基于任何观察到或计算得到的事件或运动特征来进行。例如，事件数据可以识别感兴趣的特定子事件，诸如击球、跳跃的开始或结束或者任意其他感兴趣的时刻。随着同步事件视频涉及到这些子事件，计算机可以修改重播速度以放慢重播。这种减速会持续增加，以精致细节突出子事件。甚至可以在子事件中停止重播并且等待来自用户的输入以继续。也可以基于来自运动分析数据或事件数据的一个或多个度量值放慢重播。例如，运动分析数据可以表示正在移动的棒球棍或高尔夫球杆的速度，并且随着这种对象的速度提高，可以持续调节重播速度为更慢。重播速度在这种度量峰值附近可以进行得非常慢。
图23示出了使用运动数据可改变速度的重播的一个实施例。运动捕捉元件111记录运动传感器信息，包括x轴1501上的线性加速度。(一般而言，也可以记录许多附加传感器值；此示例使用单根轴以作简化。)当x轴线性加速度超过事件阈值2301时，此阈值定义了所涉及的事件。在1502和1503处检测到事件，事件1502 在2302处开始并且在2303处完成。在重播时，在事件之间使用正常重播速度2310。随着接近事件1502的开始，从2311处开始重播速度降低，使得用户能够更详尽地观察事件前的运动。在事件期间在2313处，重播速度非常低。在2303处事件结束之后，重播速度逐渐提高回到2313处的正常速度。
在其他实施例中，可以对不限于重播速度的其他重播特征进行修改。例如，计算机可以修改重播速度、图像亮度、图像颜色、图像焦距、图像分辨率、闪烁特殊效果或者图形覆盖物或边框的使用的全部或任一者。这些修改可以基于运动分析数据、事件数据、子事件或其他同步事件视频的任意特征来进行。作为示例，随着重播涉及到感兴趣的子事件，可以添加闪烁特殊效果，并且可以在视频中感兴趣的对象周围添加边框，感兴趣的对象诸如是将要被设备击中的球。
在包括音轨的实施例中，对重播特征的修改可以包括对音轨重播特征的修改。例如，这类修改可以包括对音量、拍子、音调或音轨的音频特殊效果的修改。例如，音轨的音量和拍子可以随着重播涉及到感兴趣的子事件而增强，以突出子事件并为用户观看和倾听重播提供更动态的体验。
在本发明的一个或多个实施例中，计算机可以使用事件数据或运动分析数据来选择性地保存视频流或所录视频的仅仅一部分。这是图19所示的，其中放弃视频部分1910和1911，仅仅保存具有事件前部分1902和事件后部分1903的事件视频1901。这种技术通过集中到感兴趣的事件，能够显著降低对视频存储的要求。在一些实施例中，当事件进行中时，计算机可以具有对动作捕捉传感器的开放式通信链路。然后计算机可以接收或生成事件开始的通知，并且在此时开始保存视频；然后它可以继续保存视频，直至它接收到或生成事件结束的通知。在事件期间，计算机还可以向摄影机或多台摄影机发送控制信息，以启动和终止摄影机上的视频保存，如图 22所示。
在其他实施例中，计算机可以在事件已经完结之后保存或接收视频和事件数据，而不是通过直播通信链路在贯穿事件期间开放。在这些实施例中，计算机能够截短所保存的视频以放弃感兴趣事件以外的一部分视频。例如，服务器计算机152 可以用作视频和事件数据二者的存储器。服务器能够在上传后关联事件数据和视频，并且截短所保存的视频至仅仅由事件数据所指示的所涉及的时帧。
在一个或多个实施例中，计算机可以使用视频图像分析，以协助视频与事件数据和运动分析数据的同步。例如，运动分析数据可以指示猛烈的物理震动(例如使用加速度计检测到)，例如来自击球，像是棒球或高尔夫球，或者来自跳跃后的滑板着陆。计算机可以分析来自视频的图像，以定位发生此震动的帧。例如，记录高尔夫球的视频可以使用图像分析来检测视频流中球何时开始移动；高尔夫球运动的第一帧是球杆撞击之后的第一帧，然后可以与对应的运动分析数据中的震动同步。这是图24所示的，其中视频图像分析识别高尔夫球2401。球2401开始移动的帧，在示例中表示为撞击帧34，可以匹配到运动分析数据中显示撞击震动的特定点。这些视频和运动数据帧可以用作关键帧；通过这些关键帧，可以导出最紧密对应于事件开始和结束的视频帧。
在一个或多个实施例中，计算机可以使用视频图像分析来生成自视频中的对象开始的度量。此度量可以例如测量对象运动的某些方面。这种度量源自于图像分析，可以附加于从来自运动传感器的数据运动分析获得的度量使用或与其联用。在一些实施例中，图像分析可以使用本领域已知的若干技术的任一种来定位与感兴趣的对象相关的像素点。例如，已知某些对象可以具有特定的颜色、纹理或形状，并且这些特征可以用于定位视频帧中的对象。作为示例，已知高尔夫球可以近似为圆形、白色并且与球材料相关的纹理。图像分析能够使用这些特征来定位视频帧中的高尔夫球。使用多个视频帧可以计算高尔夫球的大约速度和旋转。例如，假设静止或几乎静止的摄影机，三维空间中高尔夫球的定位可以基于视频帧中球的位置且基于其大小来估算。帧中的定位给出了球的位置在图像平面上的投影，而大小提供了球相对于摄影机的景深。通过使用球在多个帧中的位置，并且通过使用给出了帧间时间差的帧频，可以估算球速。
图24示出了此流程，其中高尔夫球在帧2403中在位置2401处，而在帧 2404中在位置2402处。高尔夫球具有能够用于测量到摄影机的球距及其旋转的图标。球速可以使用帧间移动距离以及帧间时间间隔来计算。作为简单示例，如果球的大小在帧间没有明显改变，那么球位置2402与2401之间的像素差可以使用摄影机视野和球的表观大小转化成距离。示例中所示的帧差是2帧(帧39至帧41)，这可以基于摄影机帧频转换成时间。然后速度可以计算为距离对时间的比率。
在一个或多个实施例中，计算机能够访问先前存储的事件数据或运动分析数据，以显示新事件与一个或多个先前事件之间的比较。这些比较随着时间的推移，可以对于同一用户和同一设备，或者是在不同用户和不同设备之间进行。这些比较可以为用户提供他们性能方面变化的反馈，并且对其他用户或其他类型或型号的设备用户提供基准。作为图示，图1D显示了接收与用户150和152相关的事件数据。此数据发送至计算机105以作显示和比较。用户151能够比较用户150和152的性能，并且随着时间推移追踪每一个用户的性能。
图1F和1G示出了系统实施例，包括至少一台摄影机103、104或以其它方式包含至少一个运动捕获元件111以及无线通信接口106，其允许广播具有增广运动数据的图像，配置为接收与至少一个运动捕获元件111相关联的图像，其中无线通信接口106配置为从至少一个运动捕获元件接收运动捕获数据。在一个或多个实施例中，计算机140与无线通信接口106以及至少一台摄影机耦合，并且例如如图1F和图1G在1191处所示，计算机140配置为在对至少一个运动元件111的通信链接可用并且能够接收信息之后，接收运动捕获数据。在图1G的1192处，一些实施例还可以在事件之后，根据图1F从根据图1的至少一个运动捕获元件111处接收运动捕获数据或者周期性请求运动捕获数据。这样允许系统承受通信链接中断，甚至在较后的时间点允许视频与运动捕获数据的及时同步，例如一旦运动捕获元件位于无线接收器的范围内时。一些实施例可以从至少一个运动捕获元件111，例如从一位用户150或多位用户150、151、152或此二者处接收运动捕获数据。一个或多个实施例还可以识别与用户150或设备110相关联的至少一个运动捕获元件111，并且在图1G的1193处将至少一个运动捕获元件111与用户150或设备110的指定位置。例如，当用户执行运动事件时，诸如挥动、击打、敲击或任意其他类型的运动相关活动，系统能够将运动事件与用户位置或设备(例如高尔夫球杆、球拍、球棒、手套或任意其他对象)相关联，以识别或鉴定至少一个运动捕获元件。在根据图1G的1194处，一些实施例还可以通过无线通信接口接收与至少一个运动捕获元件111相关联的数据，并且在根据图1G的1195处，还可以从至少一台摄影机103、104接收与运动捕获元件相关联的用户的一个或多个图像。这种数据或图像允许系统例如获取与用户、设备和事件相关联的一批信息并且/或者由此输出各种性能元素。在根据图1G的1196处，一个或多个实施例还可以分析数据以形成运动分析数据。运动分析数据例如允许系统获取和/ 或输出计算机性能信息以例如广播给用户、查看者、教练、裁判、网络和任意其他能够接收这种信息的元件。运动分析数据例如可以在图形的或其他易于理解的查看格式中示出运动相关量化数据，以比起例如加速度数据的纯数字列表，使得数据更便于让用户理解。例如如图1G所示，本发明的实施例还可以在1197处将三维覆盖物、等级、至少一个功率因数值、计算得到的球飞行路径、时间线(随同时间轴一起示出了出现峰值的时间点)、球在设备上的冲击位置、在用户周围以各种角度以正常速度示出的用户慢动作显示或者与运动分析数据相关联的其任意组合拖曳到用户的一个或多个图像中的至少一个上。在1198处，一个或多个实施例还可以广播图像给多个显示设备，包括电视143、移动设备101、102、102a、102b、计算机105和/或因特网171。例如，多个显示设备可以包括电视、移动设备、或电视与移动设备的结合、或配置为显示图像的任意其他设备。
图1H示出了处理的实施例，其在电脑上进行。在一个或多个实施例中，在1181处，应用程序配置为提示第一用户移动运动捕获传感器到第一位置，并且通过无线通信接口从位于第一位置处的运动捕获传感器接受第一运动捕获数据，在1182 处，提示第一用户移动运动捕获传感器到第二位置或转位，通过无线通信接口从位于第二位置处的运动捕获传感器接受第二运动捕获数据或转位，在1183处，基于第一和第二运动捕获数据计算第一与第二位置或转位之间的距离或转位。距离可以包括高度或臂长、或躯干长度、或腿长、或手腕到地板的测量值、或第一用户的手的大小或最长手指的大小或此二者、或其任意组合或与第一用户相关联的任意其他尺寸或长度。距离可以根据位置差、合速度或双倍合加速度来计算，或者以任意其他方式确定离得多远或已经转动了多少，这如本领域技术人员将会领会到的那样，取决于运动捕获传感器中所利用的内部传感器类型。例如，本发明的实施例可以提示用户以手握持运动捕获传感器，并且将手保持在用户头顶，然后提示用户将传感器放在地上，由此计算其间的距离，即用户高度。在另一实例中，例如在将传感器从高尔夫球杆上脱耦合之后，系统可以提示用户以手握持传感器，然后提示用户将传感器放在地上。然后系统计算作为“手腕到地板的测量值”的距离，其通常例如是用于定型高尔夫球杆。系统实施例还可以提示用户从用户的一侧移动传感器到各种位置或角度值，例如当处于或经过各种位置时旋转传感器，以计算运动范围，其中所述运动例如通过弯曲、伸展、诱导、内收、侧旋、内旋等。这些特征、尺寸、距离、长度或其他参数的任一个可以存储在如图1B所示的表180a中，并且与特定用户相关联。在一个或多个实施例中，在1184处，应用程序还配置为提示第一用户将运动捕获传感器耦合至一台设备，并且在1185处，当进行特定体育项目或与一件体育器材相关联地执行特定运动时，提示第一用户例如以计划用到的速度通过运动来移动该台设备。应用程序还配置为通过无线通信接口从用于运动的运动捕获传感器接受第三运动捕获数据，并且在1186 处基于第三运动捕获数据计算运动速度。在一个或多个实施例中，在1187处，应用程序配置为计算第一用户相对于多个其他用户的距离和速度之间的相关性，并且呈现与最佳合身相关联的信息或与其他用户相关联的定型设备。例如，系统可以选择对第一用户具有最大相关值或相关性在特定范围内的第二用户，例如至少具有第一用户的距离和速度。然后系统可以通过最接近的参数检索用户，并且选择具有最大或最小击打表现或得分或距离等的一个，并且选择设备的构造/模型以用于呈现给用户。例如一种这样的算法可以例如提供一系列最低得分高尔夫球杆的构造和模型，或者与运动 /速度用户的类似大小/范围相关联的、最长的击打棒球棍。用户实施例可以在例如相关性计算中通过运动使用用户速度或者通过运动使用设备速度或此二者。在1188处，对应最佳表现构造/模型的信息和设备的大小呈现给用户。
在一个或多个实施例中，耦合到动作捕捉元件的微控制器可以与其他动作捕捉传感器通信，以协调事件数据的采集。微控制器可以向另一动作捕捉传感器发送事件开始的通知，以触发其他传感器也采集事件数据。其他传感器可以本地保存其数据，以用于随后上传，或者当事件发生时，它可以通过开放式通信链路发送其事件数据到计算机。这些技术提供了主从架构类型，其中一个传感器充当主机并且可以调整从传感器网络。
在本发明的一个或多个实施例中，计算机可以使用事件数据来发现能够或可能已经录制事件视频的摄影机。这类摄影机必须接近事件的位置，并且它们必须以正确的朝向来观察事件。在一些系统中，摄影机的数量、位置和朝向不提前知晓且必须动态确定。随着事件发生，接收事件数据的计算机可以将请求广播到在事件附近或者取向为观察到事件的任一摄影机。此请求例如可以指示摄影机录制视频并且保存事件视频。然后在事件之后，计算机可以从这些邻近的、正确朝向的摄影机请求视频。这是图1所示的，其中计算机160可以接收来自动作捕捉元件111的事件开始通知。计算机160可以将请求广播到附近的所有摄影机，诸如103、104、130、130a和130b。作为示例，摄影机103和130可以接近并且正确朝向以观察事件；它们将会录制视频。摄影机104可以在很远处，而摄影机130a和130b可以足够接近然而不对准事件；这些摄影机将不会录制视频。
在一些实施例中，一个或多个视频在一台或多台计算机(诸如服务器152 或云服务器)上可用，并且可以随后与事件数据关联。在这些实施例中，诸如152的计算机可以检索位于正确位置和朝向以观察事件的所存储视频。然后计算机可以取回合适的视频并且将它们与事件数据组合，以形成事件的综合观察，该综合观察具有来自多个位置和角度的视频。
在一个或多个实施例中，计算机可以获得来自除了动作捕捉传感器以外的其他传感器(诸如至少另一个传感器)的传感器值，其中这些其他传感器可以定位为接近事件并且提供与事件相关的其他有用的数据。例如，这类其他传感器可以感测温度、湿度、风、海拔、光、声音和生理度量(像心跳或心率)的各种组合。计算机可以取回或本地捕获这些其他值并且将它们(例如与事件数据以及运动分析数据一起)保存，以在从事件开始到事件结束的时间跨度期间生成事件的扩展记录。
在一个或多个实施例中，通过微处理器、计算机及上述二者检测到、监控到以及被分析的事件类型可以包括各种类型的用户、设备或移动设备的重要运动事件。这些重要事件可以包括关键的或紧急的医疗状况或健康指标。这类事件类型的某一些可以包括表示站立、步行、下落、中暑、突发疾病、猛烈抖动、震荡、碰撞、异常步态以及呼吸异常或没有呼吸的运动。这些事件类型的组合还可以是检测到、监控到或被分析的。
在一个或多个实施例中，图1的计算机160可以嵌入任何设备中，包括例如但不限于移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑或服务器计算机。可以从一个或多个传感器或一台或多台摄影机接收数据并处理这些数据的任何设备可以起到计算机160的作用。在一个或多个实施例中，计算机160可以是具有嵌入若干设备中的部件的分布式系统，其中这些部件通信并互相作用以实施计算机的功能。这些部件可以是设备的任意组合，包括上文列出的设备。例如在一个或多个实施例中，计算机160可以包括移动电话和服务器计算机结合，其中移动电话最初接收传感器数据并检测事件，然后转送事件数据到服务器计算机以用于运动分析。一些实施例可以以任何期望的方式使用遍布设备的分布式处理来实施计算机160的功能。而且在一个或多个实施例中，计算机160或计算机160的一部分可以嵌入系统的其他元件中。例如，计算机160可以嵌入其中一台摄影机中，如摄影机104。在一个或多个实施例中，计算机160、运动捕获元件111 以及摄影机104可以物理集成到单个设备中，而且它们可以使用本地总线通信来通信以交换数据。例如，在一个或多个实施例中，计算机160、运动捕获元件111以及摄影机104可以结合形成智能运动感应摄影机，其能够识别事件并且分析运动。这种运动感应摄影机可以例如安装在头盔、护目镜、体育器材或任意其他设备上。在一个或多个实施例中，计算机160可以包括多个处理器，其协作以实施事件检测和运动分析。例如，一个或多个实施例可以包括具有集成运动捕获元件以及处理器的摄影机，其中摄影机捕获视频，运动捕获元件测量运动，而处理器检测事件。然后，检测事件的处理器可以例如产生同步事件视频，将此同步事件视频转送到移动设备(如120)以及数据库(如172)，并且然后从摄影机104中丢弃位于与同步事件视频相关联的事件时帧以外的视频。移动设备120可以例如包括另一处理器，其接收同步事件视频，可选地还分析它，并且将它显示在移动设备屏幕上。
在至少一个实施例中，至少一个运动捕获元件111可以包含在运动捕获元件安装座、移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、服务器计算机及其任意组合中。
在一个或多个实施例中，运动捕获元件111可以使用任意传感器或传感器组合来检测事件。例如在一个或多个实施例中，运动捕获111可以包括或包含加速计，而事件识别可以例如包括比较加速计值与阈值；高加速度值可以对应于作用在运动捕获元件上的高出力，以及由此它们可以表示感兴趣的事件。例如在一实施例中，用于监测运动员的运动的高加速度值可以对应于运动速度或方向的快速变化；在某些实施例中，这些变化可以是首要感兴趣的事件。在高加速度期间捕获的视频可以是选为高光时刻或失败时刻，而其他视频则可以丢弃。在一个或多个包括加速计的实施例中，识别事件可以包括比较随时间的加速度变化与阈值；特定时间间隔内的快速变化可以例如指示震动或冲击或其他对应于期望事件的快速运动。
在一个或多个实施例中，传感器数据和事件数据的运动分析可以包括比较运动与最佳运动轨迹。这种最佳运动轨迹例如可以表示最高效的路径以获得运动的所得位置、速度或其他特征。作为实例，图25示出了系统实施例，其测量并分析棒球棍的挥动。针对棒球挥动的感兴趣的运动变量是球棍随时间的速度。这个速度通常在挥动开始处为低，然后快速增大到冲击棒球的点。其他实施例可以使用不同的感兴趣的运动变量，例如但不限于位置、加速度、指向、加速度、角加速度或源自这些数量或源自传感器数据的任意值。在图25所示的实施例中，运动捕获元件针对特定挥动，测量球棍速度随时间的实际轨迹2501，其中起点2502作为挥动的开始，而终点 2503作为冲击棒球的点。这种挥动可以认为是低效的，因为球棍速度先于冲击点2503 出现峰值；由此，例如，击球手可能已经由于加速球棒太快而浪费了能量，但是不能维持最高速度。在一个或多个实施例中，系统可以识别或选择最佳轨迹2520，其表示从起点2502到终点2503的最佳路径，并且然后产生最佳轨迹2520与实际轨迹2501 之间的比较2530。针对最优性的标准或条件(criterion or criteria)在各个实施例之间可以有所变化。例如在图25所示的实施例中，最优性标准可以是在使用最少量的能量方面的最高效率，以获得挥动的期望终点。其他实施例可以使用其他标准，诸如最短的时间、某些关节上的最小应力或最优性的其他标准。
一个或多个实施例可以从造成运动的动作的机械模型2510来确定最佳轨迹2520。在图25所示的实例中，机械模型2510可以例如是系统的生物力学模型，由击球手和球棍组成；这种模型可以例如模拟击球手的关节、肌肉和能源。最佳轨迹例如可以通过优化机械模型来计算得到，以发现最大化感兴趣的(多个)数量的轨迹。对于这种方法的图示，例如考虑简化的棒球击球1维模型，其中球棍在轨迹x(t)上运行。击球手对球棍施加力f(t)，球棍具有质量m，而生物力学模型例如基于用户肌肉和关节的张力和抵抗力来指定球棍上的附加力。针对某些生物力学功能B，附加力可以例如模拟为
Figure GDA0003101490190000841
我们针对图示假定球棍在位置x(0)＝x0处以初始速度 v(0)＝0开始，并且该轨迹必须在1秒内完成并且到达最终位置x(1)＝x1，以便接触到球。我们还假定，给定最终速度v(1)＝v1。球棍轨迹满足微分方程：
Figure GDA0003101490190000842
力f(t)确定球棍的轨迹。为了确定最佳轨迹，我们针对图示假定感兴趣的数量是击球手在挥动期间耗费的能量；这是数量
Figure GDA0003101490190000843
最佳轨迹是将能量E最小化的轨迹。此外，最佳轨迹必须满足约束条件x(1)＝x1，v(1)＝v1。现在明确指定了发现最佳轨迹的问题。如对于本领域技术人员将会显而易见的是，解决最佳轨迹是最佳控制理论中的经典问题，并且最佳控制理论技术的任一种可以用在一个或多个实施例中，以从感兴趣的对象模型中确定最佳轨迹。
一个或多个实施例可以通过分析数据库172来确定最佳轨迹2520以识别高效的轨迹或者在某些感兴趣的数量上具有高得分的轨迹。最佳轨迹可以选自数据库中的高效率的轨迹，或者模型可以从这些高效率轨迹中构建得到，例如使用回归模型或其他参数模型以贴合高效率轨迹。
最佳轨迹2520在2530处，可能在转换最佳轨迹之后与实际轨迹2503 比较，使得它具有与实际轨迹相同的起点2502和终点2503。然后，效率度量(或其他度量)可以从比较中计算得到，表示实际轨迹有多么接近地对应于最佳轨迹。例如，在图25所示的实施例中，以表示的ρ(实际、最佳)相关系数2540在两条轨迹之间计算得到，并且这一相关系数用作实际轨迹的效率度量，其中理想轨迹具有0.1的相关性2541。一些实施例可以使用任意期望的度量来测量实际轨迹对最佳轨迹的相似性。
在一个或多个实施例中，感兴趣的运动变量可以例如是感兴趣的对象位置轨迹。作为实例，在应用于高尔夫的一些实施例中，在击球之后，高尔夫球杆的轨迹是感兴趣的轨迹。例如在应用于棒球的一些实施例中，在击球之后，棒球轨迹是感兴趣的轨迹。
在一个或多个实施例，感兴趣的对象的期望轨迹是已知的或可以估算的。例如在测量高尔夫击球的实施例中，高尔夫球的期望轨迹是朝向洞。例如在棒球中，击球手击打棒球的期望轨迹可以是将棒球击打得又平又远。使用视频分析、传感器数据或此二者，一个或多个实施例可以测量感兴趣的对象的实际轨迹，并且比较这一实际轨迹与期望轨迹。这种比较产生对象的运动度量。而且，一个或多个实施例还可以测量产生观察到的轨迹的初始条件。例如在高尔夫球中，在击球的时刻，球杆头部的指向、位置和速度确定了球的随后轨迹。类似地在棒球中，在击球的时刻，球棍的指向、位置和速度确定了球的随后轨迹(连同投手投掷球的速度和旋转)。这些初始条件可以测量为运动度量，而且再次使用传感器数据、视频分析或此二者。一个或多个实施例还可以计算这些初始条件中将会是必要的变化，以产生期望轨迹来取代观察到的轨迹，并且将这些变化报告成附加运动度量。图26示出了具有测量击球入洞实施例的实例。推杆者在柄上具有传感器111，其测量推杆者的运动。此外，视频摄影机104记录球被击打之后的轨迹。球的期望轨迹2623 为朝向并进入洞2602。在此实例中，以某角度击球2600，并且球在实际轨迹2622 上运行，来到停在2601处。这一轨迹通过摄影机104观察到并且由分析模块2621 来分析。所得的运动度量2630和2640给高尔夫球手提供关于推杆的反馈。度量 2630从推杆者的传感器计算得到；它们示出了例如推杆者击球时的速度为3mph，而推杆者的脸从反手击球向正手击球向右转过1度。轨迹2622分析确定了击球入洞以将球放入洞中的所需相关性要求向左瞄准5度以上，并且提高推杆者速度10％。将轨迹变成期望轨迹所需的初始条件变化的分析可以例如考虑可以影响轨迹的任意其他因素，在此情况下诸如是速度或果岭斜度。
在图26所示的实例中，同步事件视频显示在移动设备101上，其可以例如是移动电话或任意其他设备。在所示显示中，显示了击球入洞事件视频或静态图像2650，连同示出了球的实际轨迹和期望轨迹的图形。图形2631示出了传感器 111测得的运动度量2630。文本框2641显示在同步事件视频2650之下；它包含获得期望轨迹所需的相关性2640。一个或多个实施例可以以任意期望的方式结合同步事件视频和运动分析数据，用于移动设备显示或任意其他观察仪器；例如，运动分析数据可以显示为视频上的覆盖物，诸如显示在视频旁边的图形或文本，或者诸如可以分开显示在不同屏幕或不同制表上的图形或文本。在一个或多个实施例中，摄影机104可以是集成到移动设备101中的摄影机。在一个或多个实施例中，运动捕获元件111可以集成到移动设备101上。
在图26所示的实例中，高尔夫球的期望轨迹2623是曲线路径，而不是起始球位置2600和洞2602之间的直线。这种曲线路径可以通过基于对果岭特征的了解的轨迹分析2621来计算得到。一个或多个实施例可以获取出现轨迹的活动区域模型，并且使用此模型来计算期望轨迹和产生期望轨迹所需的初始条件变化。区域模型可以包括例如但不限于区域地势、区域各个点的摩擦系数、任意力(像摩擦力或区域与感兴趣的对象之间的其他力)和任意其他区域物理性质。例如在计算击球入洞的期望轨迹时，果岭的地势以及果岭的“速度”(大致对应于摩擦系数) 可以影响期望轨迹。一个或多个实施例可以从任意源获取活动区域模型，源包括例如已经测量了果岭地势的3d扫描仪，或者可以指示例如果岭是湿还是干的天气数据(这会影响其速度)。在一个或多个实施例中，活动区域模型可以包含元素(诸如表面形状、表面材料、摩擦力或粘力、静摩擦系数、滑动摩擦和滚动摩擦、风或高度对空气阻力和气动力的影响、可以影响运动的表面纹理或任意其他影响感兴趣的对象运动的物理因素)。
回到图1，系统的一个或多个实施例可以包括一台或多台与数据库172 耦合的计算机。在一个或多个实施例中，系统中的任何处理器或处理器集合可以与数据库耦合，并且可以用于检索并分析数据库中的数据。在一个或多个系统实施例中计算机或处理器可以具有多种功能：例如移动设备可以具有与嵌入移动设备的运动捕获元件接口的计算机；这种计算机还可以控制摄影机，并且它可以访问数据库并分析存储在数据库中的信息。例如在图1中，膝上型轻便电脑105可以是数据库分析计算机。移动设备120可以是数据库分析计算机。摄影机104可以是数据库分析计算机(如果它包括处理器的话)。运动捕获元件111还可以充当数据库分析计算机。数据库分析计算机可以例如是并入移动设备、智能手表、摄影机、台式电脑、服务器计算机中的一个或多个。一台或多台数据库分析计算机可以访问存储在数据库172中的同步事件视频，并且产生任意期望的度量、报告、模型、警告、图形、比较、趋势、图表、展示或来自数据库数据中的其他数据。
作为可以在数据库上执行的分析的实例，图27示出了系统实施例，其可以用于产生活动区域模型，诸如结合图26的实施例的轨迹分析的上述模型。在此实施例中，系统使用推杆者柄上的运动捕获元件111，并且使用记录球轨迹(诸如轨迹2701)的视频摄影机104捕获果岭上可能大量的击球入洞。所记录的击球入洞轨迹可以例如包括在不同球位置开始的推杆，以及成功(入洞)的推杆和没有成功的推杆。击球入洞的数据连同所有球轨迹的视频存储在数据库172中。计算机执行分析模块2703以产生果岭2704的地势模型。这种分析进程2703使用每个击球入洞轨迹所观察到的曲线，结合起始速度数据和推杆者击球时的方向来确定果岭每个点(或相应点)的斜率。如上所述，活动区域模型还可以包括因素(诸如摩擦系数或其他物理作用力)；在一个或多个实施例中，分析模块2703还可以计算这些因素以开发更完整的活动区域模型。然后果岭的模型2704可以提供给系统，以计算期望轨迹并比较它和具体实际轨迹，如图26所示且如上所述。
作为可以在数据库上执行的分析的另一实例，一个或多个实施例可以分析数据库172以确定意外的时间或位置，很可能连同关于意外收集到的其他信息。这种分析的结果可以例如包括实时警告或其他警告给应急服务，报告给安全机构，警告其他人或群组处于风险中，以及基于那些区域的意外率可以用于强调危险区域的图形。图28示出了一实施例，其执行意外分析。在此实施例中，机车乘员穿戴配备有运动捕获元件111、摄影机104和处理器160的摩托车头盔2801。头盔 2801的这些部件例如通过本地总线或个人区域无线网络(或此二者)来连接。在此实例中，处理器160可以检测摩托车撞车。例如，猛撞可以通过加速度的快速峰值来检测到，或者通过速度的突然降低来检测到。当处理器160检测到猛撞事件时，处理器针对猛撞产生同步事件视频，其包括关于猛撞的位置、速度和加速度的数据2802，以及示出猛撞之前的头盔视角的所选视频帧2803。处理器可以例如丢弃在正常骑行期间捕获的视频并仅仅保存撞车视频，以便保存视频存储器并且减少传送时间。在此实例中，头盔可以针对猛撞(2803和2802)即时发送同步事件视频到应急服务2804，以警告当局关于撞车，这样他们能够评估严重性并在所需位置作出反应。
除了发送给应急服务2804的实时警告之外，同步事件视频上传至数据库172。计算机(或计算机网络)使用意外分析模块2810分析这种数据库，以确定不经常具有高意外率的位置。一个或多个实施例可以执行数据库172的分析以识别涉及感兴趣的任意活动的位置。在图28的实例中，分析2810识别两个高意外位置。它输出覆盖在地图2811上的图形，示出了高意外区域2812和2813。这些图形和高意外区域的指示可以例如提供给安全机构，或者给其他驾驶员以警告他们关于危险区域。一个或多个实施例可以从数据库分析产生各种图形，诸如地图、视频、图像、图表、曲线图或报告上的覆盖物。作为另一图示的实例，一个或多个实施例可以监测人例如在房子、办公室、建筑物或城市街区中的运动，并且可以分析针对这些运动的同步事件数据的数据库，以产生示出高活动区域的图形。一个或多个实施例还可以例如分析数据库以识别意外活动或在区域内的意外运动类型。
继续图28所示的实施例，在此实例中，第二机车乘员2820配备有智能头盔2821，其可以从数据库172接收信息并在头盔面罩上显示信息。智能头盔2821装配有位置追踪系统(诸如GPS)。因此，头盔处理器可以基于存储在数据库 172中的意外报告，确定机车乘员2820何时接近高意外率位置。当机车乘员接近高意外区域时，警告信息2822显示在头盔面罩上。一个或多个实施例可以广播来自数据库172的数据给任何人或群体，他们可以从数据中获益，包括例如如图28 所示的出于风险中的人群。一个或多个实施例可以基于例如与特定人或群组相关联的传感器，从数据库选择对那些人或群组有用的数据，诸如机车乘员2820上的GPS 传感器。
作为数据库分析的另一实例是分析运动数据，以确定对象是否以正当方式使用。图29示出了示范性实施例，其分析与棒球棍使用相关联的运动数据。球棍配备有运动捕获元件111。球棍的正当期望使用是击打棒球2901。实施例获取与此正当使用相关联的签名2911。在此示出的实例中，签名追踪球棍角转动的幅度，其例如可以由运动捕获元件111的陀螺仪来捕获。针对击打棒球的正当使用，预期角速度快速上升到冲击点，然后随着动量从球棍传递至球而下降；然而角速度不会降至零，因为球棍继续挥动通过冲击点。相反，实例考虑到试图利用球棍砍倒树2902的球棍非正当使用。在此非正当使用中，角速度签名2912在冲击之后下降至将近零，因为球棍一旦击中树木2902不会继续向前移动。这个冲击后角速度签名差允许系统区分球棍的正当使用和非正当使用。多个事件的角速度存储在数据库172中，而分析2920针对签名2911和2912检验此签名。如果所有或大部分签名匹配2911，系统确定使用2921是正当的；否则系统确认使用2922不是正当的。一个或多个实施例可以使用任意期望的签名或任意运动数据，包括视频，以区分设备的正当使用和非正当使用。一个或多个实施例可以被设备制造商或服务中心使用，例如用于确定设备损坏的保修请求是否有效；例如如果设备使用为正当的，保修请求可以有效，但是如果使用是非正当的，保修请求可能无效。
正当使用的含义可以取决于实施例的应用而变化。例如在一个或多个实施例中，设备的正当使用可以通过合同或使用手册来确定。在其他实施例中，正当使用可以对应于期望使用、正常使用、典型使用、在特定条件(诸如环境条件) 下的使用或任意其他专用的正当解释。本发明的实施例可以用于任何一种使用类型与另一使用类型的区分。用于区分多个设备使用类型的运动捕获数据或同步事件视频的任何使用是符合本发明的精神。
本发明的一个或多个实施例可以用于测量或监测用户运动范围。回到图1，移动设备120的一个或多个实施例例如可以从给定的运动捕获传感器被用户移动到具体位置或通过转动来激起并接受运动输入，以测量用户150的尺寸或大小或运动范围。例如，应用程序可以提示用户在移除用户的手与肩部之间的设备110 之后，用另一只手移动运动捕获传感器111。两个关节之间的距离示出为长度“L”，例如是用户的手臂长度。此外，系统可以提示用户关于运动范围，随着传感器握持在另一只手中以及随着传感器被用户移动提示为从一侧到达手臂伸出的最高点处或者随着手腕在同一位置转动，示出为“ROM”，以测量该身体部分的具体运动范围。一些实施例可以可选地仅仅测量运动范围并且通过半径中心点以及运动范围确定“L”。系统还可以测量在同一时间或例如在运动捕获传感器111例如由系统提示从而再次与设备耦合时，或者可选地运动捕获传感器通过安装座192安装在设备上时，设备110的速度(示出为“S”)。然后，一些实施例可以利用同一传感器从设备捕获运动数据，例如用于进一步优化运动捕获数据的贴合和/或收集运动捕获数据。一些实施例可以提供关于最佳贴合的信息或以其他方式建议特定运动器材的购买。一些实施例可以基于其他用户与特定设备的表现，利用相关性或其他算法或针对大小、运动范围、其他用户速度的运动数据的数据挖掘来最大化设备对用户的贴合。例如，这允许相似大小、运动范围和速度的用户针对最佳表现设备(例如最长开球、最低推杆得分、最高胜率等)挖掘与具有相似特征的其他用户相关联的数据。
测量用户运动范围的一些实施例还可以追踪数据库172中的这一数据。运动数据的这一范围可以随时间进行分析，以监测用户的进步，从而建议设备改变或疗法，或从而提供潜在问题警告。例如，本发明的一个或多个实施例可以建议锻炼和/或伸张，其可以基于其他用户的表现数据来提高预测表现水平，并且建议将会适合于增加的强度或柔韧性的设备，使得用户能够“成长到”或“提高到”该设备。通过运动范围和日期/时间域的使用，并且使用其间的差别，运动范围随时间示出为增加、减少或保持不变。此外，本发明的其他实施例可以随时间用于监测(多个)小区域，其可以指示例如受伤并且以相似方式警告用户。例如，如果运动范围或速度S随时间减小，可以警告用户或者例如可以自动计划信息。可以以任何方式警告用户变化，并且可以建议用户锻炼或伸张或其他设备。一个或多个本发明的实施例可以针对鞋的贴合用于步态分析，例如用于改进站立、步行或跑步。这些的任意组合可以例如与基线或阈值或范围比较来确定和/或以其他方式推导或利用，以确定问题哪里存在或者设备在哪里提供恰当或最佳的贴合。
数据库分析的另一实例是分析运动数据，以确定(例如用户关节的) 运动范围的趋势。图30示出了具有集成到膝拉条的运动捕获元件的实施例。在此实例中，膝拉条包含两个运动捕获元件：位于膝盖之上的运动捕获元件111a和位于膝盖之下的运动捕获元件111b。通过测量这两个运动捕获元件的指向，系统能够确定膝关节角度3001。在此实例中，定期或连续地监测角度3001并且存储在数据库172中。计算机使用运动分析3002的范围来分析用户运动时间范围内的趋势。图表3010中的这一结果跟踪运动3011随时间的实际范围，并且可以可选地比较运动范围与阈值3012。
一个或多个测量用户关节运动范围的实施例可以使用位于关节相反侧上的至少两个运动捕获元件来测量关节角度。关节角度可以例如通过测量两个运动捕获元件中的每一个的指向，并且然后计算将这些指向的其中一个转变到另一个指向的转动，来测量得到。一个或多个实施例可以使用任何期望的传感器来测量指向或测量两个运动捕获元件中的每一个的相对指向。例如，在一个或多个实施例中，关节相对侧的两个运动捕获元件可以包括加速计和磁力计；当用户不移动时，这两个传感器提供充足的信息来测量三维空间指向，而不论用户的指向。加速计示出了重力场的方向，而磁力计示出了地球磁场方向。然而，仅当用户不加速时，加速计读数才提供了精确的指向信息。因此，一个或多个实施例还可将速率陀螺仪并入到运动捕获元件中，以当用户移动时追踪指向随时间的变化。这些传感器配置仅仅是示例性的；一些实施例可以采用任何传感器或传感器组合来测量关节运动范围。
一个或多个实施例测量用户关节运动范围，如果运动范围超过目标值或阈值可以发送警告信息。图30示出了具有针对膝关节转动3012设定为70o的阈值实施例，其可以例如表示膝关节的最大安全转动。如果实际转动超过该阈值，系统发送警告信息3020例如到用户的家庭或看护人，或通常到任何意图监测运动范围的人或系统。图示的警告信息3020指示运动范围超过阈值；在一个或多个实施例中警告信息可以包括来自数据库172的任何附加的信息，例如包括运动范围的时间历史3011。
系统的一个或多个实施例可以包含一个或多个运动捕获元件，其包括麦克风来测量音频信号。一个或多个实施例可以包含安装在移动设备(例如在移动电话中)的麦克风或者集成到摄影机中的麦克风。这些实施例可以使用由麦克风捕获的音频数据来支撑事件检测和运动分析。例如图31示出了图29所示实施例的变体，其使用运动数据分析来确定棒球棍是击中棒球还是几种不同的对象。在图31 所示的实施例中，安装在棒球棍上运动捕获元件111包括加速计3101和麦克风 3102。当球冲击球棍2901时，加速计值3110根据冲击事件示出震动3111，其中加速度快速增大并且然后在冲击震动之后由于振荡而快速振荡。然而，针对球棍与其他对象的冲击可以发生类似的加速计签名。例如，当球棍冲击树木2902时，加速计冲击签名3121非常相似于签名3111。因此图31的这一示意性实施例不能可靠地区分真正的球冲击事件与其他对象的冲击引起的假阳性。由麦克风3102捕获的音频信号被此实施例用于区分真正的击球事件和假阳性。针对击球的音频信号傅立叶转换3112示出了相对高的峰值音频3113(ω1)。在比较中，针对树木冲击的转换后的音频信号具有低得多的峰值音频3123(ω2)。实施例通过使用音频信号结合加速计冲击签名，还因此确定冲击是对球还是另一对象。一个或多个实施例可以使用运动捕获元件中或其他设备中的麦克风捕获的音频信号来改进事件检测，以区分真实事件与假阳性，并从而改进运动分析。
图32示出了系统实施例，其接受与温度、湿度、风、海拔、声光和心率相关联的其他值，以将数据或事件数据与其他值相关，从而确定假阳性、运动捕获元件所耦合的设备类型或活动类型。
如图32所示，一个或多个实施例可以包括至少一个运动捕获元件111，其可以与用户3204、3205、3206或设备3210、3220、3230、或与用户3204、3205、 3206耦合的移动设备耦合。在至少一个实施例中，至少一个运动捕获元件111包括存储器(诸如传感器数据存储器)和可以捕获与该至少一个运动捕获元件111 的指向、位置、速度、加速度(线和/或旋转)、角速度和角加速度相关联的值的任意组合的传感器，其中该至少一个运动捕获元件111例如与用户3204、3205、3206 或设备3210、3220、3230耦合。在至少一个实施例中，至少一个运动捕获元件111 可以包括第一通信接口或至少另一个传感器，以及耦合至存储器、传感器和第一通信接口的微控制器或微处理器3270。在一个或多个实施例中，微处理器3270可以是至少一个运动捕获元件111的一部分、或与至少一个运动捕获元件111双向耦合的外部元件。
根据本发明至少一个实施例，微控制器可以是微处理器3270。
通过一个或多个实施例，第一通信接口可以接收一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合的其他值。在至少一个实施例中，至少一个其他传感器可以本地捕获一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合或任意其他环境或生理传感器的其他值。本发明的至少一个实施例可以包括第一通信接口和至少一个其他传感器，以从它们中的一者或二者获取传感器值。
在至少一个实施例中，微处理器3270可以将数据或事件数据与一个或多个与温度、湿度、风、海拔、声光、心率或其任意组合相关联的值相关。如此在至少一个实施例中，微处理器3270可以将数据或事件数据与一个或多个其他值相关，以确定假阳性事件、与至少一个运动捕获元件111所耦合的设备类型或由数据或事件数据所指示的活动类型。
例如在一个或多个实施例中，在3240处，至少一个运动捕获元件111 可以确定、感测或计算，其中速度为60mph，高度为500英尺，图案为S图案，环境温度为55华氏度，而用户心率为每分钟100次(bpm)。
在至少一个实施例中，给定从传感器以及从第一通信接口和/或至少另一个传感器确定3240的数据，微处理器3270可以确定其中环境温度相对温和，而海拔不在海平面上但也不太高。在一个或多个实施例中，给定检测到的速度、高度和图案，在3280处，微处理器3270可以确定，其中工艺敌不过可以是滑板，而设备可以包括滑板。进一步地在一个或多个实施例中，微处理器3270可以确定其中给定速度60mph，图案为S图案3201以及心率为100bpm下，用户3204可以是健康的、适合的和/或有经验的冲浪运动员。
例如在一个或多个实施例中，在3250处，至少一个运动捕获元件111 可以确定、感测或计算，其中速度为20mph，高度为0英尺，图案3201a，环境温度为75华氏度，而用户心率为95bpm。
在至少一个实施例中，给定从传感器、从第一通信接口和/或从至少另一个传感器确定3250的数据，微处理器3270可以确定其中温度相对温暖，海拔在海平面上。在一个或多个实施例中，给定检测到的速度、高度、图案和温度，在 3280处，微处理器3270可以确定其中活动是水上体育项目，诸如冲浪，而设备可以是冲浪板或任意其他类型的水上体育器材。进一步地在一个或多个实施例中，微处理器3270可以确定其中给定速度20mph、路径或图案为3201a和心率为195bpm，用户3205可以是非常健康的、适合的且有经验的冲浪者。
例如在一个或多个实施例中，在3260处，至少一个运动捕获元件111 可以确定、感测或计算，其中速度为40mph，高度为7,000英尺，图案3201b，环境温度为25华氏度，而用户心率为150bpm。
在至少一个实施例中，给定从传感器、从第一通信接口和/或从至少另一个传感器确定3260的数据，微处理器3270可以确定其中温度相对冷，海拔相对高，例如在高山或小山上。在一个或多个实施例中，给定检测到的速度、高度、图案和温度，在3280处，微处理器3270可以确定其中活动是滑雪或单板滑雪或任意其他雪地活动，而设备可以是滑雪或单板化学或另一类型的雪地器材。进一步地在一个或多个实施例中，微处理器3270可以确定其中给定速度40mph、图案3201b 和心率150bpm，用户3205可以是不健康的、不适合的和/或没有经验的。
在一个或多个实施例中，即使运动传感器数据基本上相同，即所有三台设备经历相似的同一“S”图案运动3201、3201a和3201b，那么基于其他传感器值(例如海拔、高度、温度、音频、心率、湿度或任意其他环境或生理值)，确定传感器所耦合的活动类型和设备类型。此外，系统的(多个)传感器或(多台) 计算机可以广播给其他传感器，以针对检测到的已定义事件保存它们的数据，即使其他传感器没有检测到事件本身。进一步地，系统的(多个)传感器或(多台)计算机可以请求附近的视频，例如具有给定的视场3290、3290a、3290b以创建事件视频，其是来自事件检测前后的预定时间量的简明视频。以此方式，视频的大量带宽和时间可以节省。
在一个或多个实施例中，例如在3280处，微处理器3270可以检测至少一个运动捕获传感器或元件111所耦合的设备类型或者至少一个运动捕获传感器111正在感测的活动类型，以通过相关性针对第一类型活动相对于第二类型活动区分相似运动。在至少一个实施例中，至少一个运动捕获传感器111可以基于来自 3240、3250和3260的一个或多个与温度、湿度、风、海拔、声光和心率或其任意组合相关联的一个或多个值来区分相似运动。具体地，即使所有三台设备或运动经历特定的运动，本发明的实施例允许确定(例如相似或相同运动传感器数据与其相关联的)设备和活动类型。通过一个或多个实施例，如上所述，微处理器3270可以通过相关性来检测设备类型或活动类型，以针对第一类型活动(诸如冲浪或滑板) 相对于第二类型活动(诸如单板滑雪活滑雪)区分相似运动。在至少一个实施例中，微处理器3270可以基于温度或高度或温度与高度二者区分相似的运动。在至少一个实施例中，微处理器3270可以基于数据或事件数据。识别传感器在设备3210、 3220、3230或用户3204、3205、3206上的位置。在一个或多个实施例中，微处理器3270可以基于选自多个传感器个性设置的传感器个性设置，收集包括来自传感器的传感器值的数据。在至少一个实施例中，传感器个性设置可以控制传感器设定，以相对于具体运动类型或活动类型以优化方式收集数据，其中具体运动类型或活动类型与具体设备或服装类型相关联。
例如，第一类型活动可以包括滑板，第二类型活动可以包括冲浪，而第三类型活动可以包括单板滑雪。如图32所示，在至少一个实施例中，其中活动为滑板，用户或滑板运动员3204以随风的或S图案与设备或滑板3210耦合、附接、骑在其上或握持它。在一个或多个实施例中，其中第二类型活动是冲浪，用户或冲浪者3205以模式3201a与设备或冲浪板3220耦合、附接、骑在其上或握持它。在至少一个实施例中，其中第三类型活动是单板滑雪，用户或单板滑雪运动员3206 以下山模式3201b与设备或滑雪板3230耦合、附接、骑在其上或握持它。
根据一个或多个实施例，至少一个运动捕获元件111可以与用户3204、 3205、3206或设备3210、3220、3230耦合，其中通过传感器和/或至少另一个传感器单独或结合地，至少一个运动捕获元件111可以确定一个或多个值，或者分别与用户3204、3205、3206或设备3210、3220、3230(或其环境，如3240、3250、 3260)相关联的一个或多个其他值。
在本发明的至少一个实施例中，至少一个运动捕获元件111和/或微处理器3270可以从传感器以及第一通信接口和/或至少另一个传感器确定、感测或计算用户的姿势、用户稳定性、用户平衡、用户的手脚在设备上的位置或其任意组合。如此在至少一个实施例中，微处理器3270可以确定用户是握持、站立、跪或坐在设备上，以在确定活动类型方面(诸如单板滑雪对滑雪或冲浪对滑水)、设备类型方面(诸如板对滑雪板)以及用户专业水平方面与不同的值相关。例如在一个或多个实施例中，至少一个运动捕获元件111和/或微处理器3270可以从传感器以及第一通信接口和/或至少另一个传感器确定、感测或计算来自用户和/或设备的角运动，诸如用户身体的扭转，使得微处理器3270可以在确定活动为滑雪还是单板滑雪方面，确定用户的腿是独立移动的还是用户的腿是锁定在一起的。如此在本发明的至少一个实施例中，来自传感器、第一通信接口和/或至少另一个传感器的一个或多个值允许微处理器3270确定设备包括单台设备还是多台设备。
在本发明的一个或多个实施例中，至少一个运动捕获元件111和/或微处理器3270可以从传感器以及第一通信接口和/或至少另一个传感器确定、感测或计算设备在特定表面上的声音、设备到表面或进入表面的距离、设备与表面之间的摩擦量或其任意组合。如此在至少一个实施例中，微处理器3270可以确定声音与碎石、水、雪或任意其他表面相关联，设备与表面齐平、部分沉浸入表面还是位于表面上，以及针对确定时期检测到的设备与表面之间的摩擦量。在至少一个实施例中，至少一个运动捕获元件111和/或微处理器3270可以从传感器以及第一通信接口和/或至少另一个传感器确定、感测或计算表面或地形的形状、表面或地形的材料、表面或地形上的摩擦力或粘力、至少一台设备与表面或地形之间的静摩擦系数、表面或地形上的滑动摩擦力图以及表面或地形上的滚动摩擦力、风或高度对空气阻力和气动力的影响、可以影响运动的表面或地形纹理或任意其他影响用户和/或至少一台设备的运动的物理因素。
如此在一个或多个实施例中，例如在3280处，微处理器3270可以在确定活动类型、设备类型、表面或地形位置、事件类型以及用户的专业水平方面将不同的值相关。
在本发明的一个或多个实施例中，至少一个运动捕获元件111和/或微处理器3270可以从传感器以及第一通信接口和/或至少另一个传感器确定、感测或计算包围至少一个运动捕获元件111的环境噪音和特征。例如，特征可以包括氧气水平、障碍、墙壁、树木、汽车、水或任意其他组合。如此在至少一个实施例中，微处理器3270可以确定活动是否发生在拥挤区域，事件(诸如包括多个其他用户包围着该用户的竞赛)是否正在进行，活动时发生在封闭环境还是开放环境或其任意组合。如此在一个或多个实施例中，例如在3280处，微处理器3270可以在确定活动类型、设备类型、活动正在发生的周围区域以及事件类型方面将不同的值相关。例如在至少一个实施例中，单独地根据确定的周围氧气水平或者与各种其他确定的值结合，微处理器可以确定其中用户位于具有低氧气水平的山区或者位于海平面上。
在本发明的至少一个实施例中，至少一个运动捕获元件111和/或微处理器3270可以从传感器以及第一通信接口和/或至少另一个传感器确定、感测或计算用户和/或设备的具体位置(例如具体的海滩度假村、具体地山区度假村或山区位置)或当前正在发生的具体类型事件。
例如在一个或多个实施例中，运动捕获元件111可以从一个或多个资源何苦、查看器、服务器、另一计算机、社交媒体网站、移动设备、网络和应急服务获取外部数据。如此在至少一个实施例中，微处理器3270可以基于所获得的数据以及根据数值和一个或多个其他值，确定其中活动类型是具体类型事件(诸如棒球赛、足球赛或任意其他体育赛事)或体育竞赛(诸如奥林匹克、学校活动、学院活动等)的一部分。例如在一个或多个实施例中，外部数据可以包括社交媒体发布、新闻消息、应急安珀警戒或其任意组合。在一个或多个实施例中，微处理器32和/ 或运动捕获元件111可以从一台或多台摄影机或其他包围用户和/或设备、位于附近的外部传感器获取外部数据。
根据至少一个实施例，运动捕获元件111和/或微处理器3270可以确定用户专业水平、用户适合水平和/或用户可以从中获益的训练技术或建议。在一个或多个实施例中，可以检测到各种水平或程度的速度、高度、图案、心率和温度。
通过一个或多个实施例，当在时窗内检测到来自具有第一阈值的传感器值中的第一值并且检测到来自具有第二阈值的传感器值中的第二值时，微处理器 3270可以确定假阳性事件。然后在至少一个实施例中，微处理器3270可以预示未来事件、将未来事件与跟典型事件相关联的特征信号进行比较并且消除任何假阳性事件、如果未来事件不是假阳性事件则预示有效事件、并且在传感器数据存储器中存储有效事件(包括在事件时窗内的信息)作为数据。
在一个或多个实施例中，微处理器3270可以在所述至少一个运动捕获元件111从设备移除之后，利用最新分配的位置识别所述至少一个运动捕获元件 111，并且基于数据或事件数据以与不同类型的第二台设备耦合。
在本发明的至少一个实施例中，传感器或计算机可以包括记录音频信号的麦克风。在一个或多个实施例中，识别事件可以包括基于数据确定未来事件，以及将数据与音频信号相关，以确定未来事件是有效事件还是假阳性事件。在至少一个实施例中，如果未来事件是有效事件，计算机可以在计算机存储器中与至少一个同步事件视频一起存储音频信号。在一个或多个实施例中，微处理器3270、计算机和/或运动捕获元件111可以基于一个或多个值与来自3240、3250和3260中的一个或多个的一个或多个其他值的相关性，确定所确定的活动、事件、位置、表面类型和/或设备类型是有效的还是假阳性。在至少一个实施例中，微处理器3270、计算机和/或运动捕获元件111可以基于外部数据和包围用户和/或设备或与他们耦合的传感器或多个传感器中的一个或多个，确定所确定的活动、事件、位置、表面类型和/或设备类型是有效的还是假阳性的。
本发明的一个或多个实施例包括多个传感器类型，其可以集成到或耦合到至少一个运动传感器111。在一个或多个实施例中，多个传感器类型包括传感器和至少另一个传感器，如上所述。在至少一个实施例中，微处理器3270可以将内容和/或来自多个传感器类型的不同类型的值相关，诸如来自多个传感器类型的至少两个传感器类型的组合和相关，以确定活动类型、设备类型、事件类型、假阳性事件、位置、表面或地形类型等中的一个或多个。在本发明的一个或多个实施例中，多个传感器类型包括传感器和至少另一个传感器，可以包括声音传感器、温度传感器、震动传感器、空气质量传感器、水质传感器、天气传感器、位置传感器(诸如航行和全球定位系统)、压力传感器、运动传感器和生物传感器中的一个或多个。
例如通过一个或多个实施例，声音、温度和震动传感器可以包括在特定位置和时间检测地球地震活动的传感器。在一个或多个实施例中，声音、温度和震动传感器可以包括缺陷检测传感器，其识别来自设备的车轮或表面的设备猛撞或脱轨，设备诸如是至少一台设备、汽车、火车等。在至少一个实施例中，声音、温度和震动传感器可以包括检测极端或大量声音(指示特定或独特或预定义的事件) 的声音传感器，声音例如是获取自至少一个运动捕获元件111外部的多个位置的声音，诸如在足球赛期间着陆的反应或者对任意其他比赛、事件或竞赛的反应。在一个或多个实施例中，声音、温度和震动传感器可以包括温度传感器，例如用于设备、检测热或冷天气场景下的交通和运动模式浓度的温度传感器。如此，例如，至少一个运动捕获元件111和/或微处理器3270可以确定囊括在特定半径或区域内、在特定白天时间的大量设备或设备群的指示。
例如，通过至少一个实施例，空气和水质量传感器或天气传感器可以包括检测空气质量(诸如二氧化碳量和/或烟气含量或任意其他化学或气体含量) 的传感器，以指示对于动物和/或人而言差、一般或好的空气质量。在一个或多个实施例中，传感器检测控制质量可以指示是否发生火警，其可能影响围绕火场位置的一个或多个身体。在一个或多个实施例中，空气和水质量传感器或天气传感器可以包括检测水质量(诸如酸度和/或温度的量)的传感器，以指示对于动物和/或人而言差、一般或好的水质量，从而指示污染事件、海生物事件和/或地质事件。在至少一个实施例中，空气和水质量传感器或天气传感器可以包括检测风暴、过热和各种天气变化的天气传感器，以指示天气警告。
例如，通过一个或多个实施例，位置传感器可以包括高度传感器，诸如在平面上或车上或任意设备上，以指示猛撞或正在到来的猛撞的预报。在一个或多个实施例中，高度传感器和其他位置传感器可以指示获取自一个或多个用户的数据或值的结合，诸如一个或多个位置中的飞机乘客、背包客或任意其他用户。
例如，通过至少一个实施例，运动传感器可以包括加速计，其检测正在以第一速率移动的大量用户和/或设备，其可以指示活动或事件类型，诸如马拉松、体育竞赛，并且可以指示引致大量用户和/或设备全部移离特定位置的生命威胁或警告事件。在一个或多个实施例中，运动传感器可以包括冲击传感器，其检测指示出意外或事件的碰撞或多个碰撞，诸如用户、汽车或设备之间的碰撞，并且可以指示体育赛事碰撞，诸如在特定日子或特定活动或事件上的足球擒抱或所有或具体类型的擒抱。
例如通过至少一个实施例，生物传感器可以包括心率传感器，其检测来自用户或多个用户的心率升高，其可以诸如在兴奋事件或恐怖事件期间指示事件、竞赛、赛跑或活动的发生。在一个或多个实施例中，生物传感器可以包括脑电波传感器，其检测、追踪并结合来自至少一个用户的内容和相似的脑活动、相似的个性、相似的心态、相似的思维训练、相似的情绪或其任意组合。
在一个或多个实施例中，传感器或视频数据可以长时间收集，其中仅仅特定部分的时期包含有趣的活动。一个或多个实施例因此可以接收感兴趣的活动签名，并且使用这些签名来过滤传感器和视频数据，以聚焦在那些感兴趣的活动上。例如在一个或多个实施例中，一组高光帧可以从具体示出感兴趣的活动的视频中选出。图33示出了实施例的实例，其利用传感器数据产生高光帧，以定位感兴趣的活动。滑雪板具有附接传感器4102，其包括加速计。此外，视频摄影机4101捕获滑雪者的视频。在一个或多个实施例中，视频摄影机可以附接至用户，而摄影机可以包括传感器4102。实施例针对感兴趣的活动获取签名4120。在此图示的实例中，一个感兴趣的活动是高速跳跃。跳跃的签名是加速度大小降至低于g/2，指示滑雪板在自由落体，而速度大小高于50mph。接收自传感器4102的加速度大小4110 与随时间的加速度阈值比较。集成加速计(连同来自其他内部传感器，诸如陀螺仪的数据)，以形成速度数据4111。在4112处，加速度大小在帧4103中降至阈值以下，因为滑雪者进行小跳跃；此时，速度也超过所需阈值，因此数据配得上活动签名4120。选择三个高光视频帧4130来示出跳跃活动，这通过比较加速度运动度量与阈值来检测到。一个或多个实施例在感兴趣的活动期间可以选择高光帧，其包括在活动时期内捕获到的所有帧。一个或多个实施例可以向高光帧添加附加帧，其是在活动时期之前或之后的。一个或多个实施例在活动时期内可以仅仅取样所选帧，例如用于产生一小组高光图像而不是完整的视频。在图33所示的实例中，滑雪板的速度与图形覆盖物4135一起显示或覆盖有形覆盖物4135；这一速度可以例如从传感器数据、视频分析或两个传感器源的传感器融合来计算得到。一个或多个实施例可以将任何期望的度量或图形覆盖在高光帧上。然后，具有覆盖物4135的高光帧4130可以在网络4140上分配给任一组高光帧的顾客。在一个或多个产生高光帧的实施例中，高光帧的顾客可以包括例如但不限于：任何视频或图像观察仪器；视频、图像或数据资源库；任意类型的计算机，诸如服务器、台式电脑、膝上型轻便电脑或平板电脑；任意移动设备，诸如电话；社交媒体网站；任意网络；以及应急服务。可以发送视频集锦到应急服务的实施例实例是猛撞监测系统，例如用于自行车或摩托车。这个实施例可以监测例如使用加速计以及车载摄影机来连续地捕获视频来检测猛撞的用户。当检测到猛撞时，关于猛撞的位置和严重性的信息，连同示出猛撞的视频一起可以直接发送至应急服务。可以查询事件本地的任何摄影机，无论事件是高光事件或猛撞或其他任何类型的事件，例如使用到将会包覆例如事件位置的视场，由此确定它们是否具有根据该位置和时间的视频。还可以查询并播放覆盖事件的视频或者接近事件或时间的任何其他传感器，以定义群体事件。其他传感器数据，包括心率和声音或声级，还可以指示事件是值得高光或其他类型的事件(诸如失败)。与用户相关联的任意组的成员可以订阅事件或群体事件，并获取当天的高光或失败。
相对于高光阈值，可以根据一个或多个度量标记最佳事件，此外，可以表皮及最差事件或任意其他范围的事件。标记事件可以指示：事件可以指示相应的事件视频或运动数据将要与给定的高光时刻或失败时刻相关联。在一个或多个实施例中，度量或活动签名可以用于识别非常失败或其他失败，例如其中用户未能进行技巧或作出大失误。图33A示出了一实例，其是图33的滑雪者实例的变体。针对41A20的签名，失败定义为具有高速、随后短暂地具有非常小或为零的速度；这个速度表征了猛撞。在帧4104处，滑雪者执行跳跃，然后在帧41A05处击中树木。因此，在41A13处，速度从高速快速过渡到零。选择非常失败帧41A30来记录失败。如图33，这些失败帧可以覆盖有度量数据4135。失败帧可以发送给其他查看器或资源库4140，并且信息41A50可以发送至摄影机，已丢弃除了所选失败帧以外的帧。一个或多个实施例针对感兴趣的活动可以使用多个签名，以识别并捕获各种类型的活动；例如，实施例可以同时使用高光签名(如图33中的签名5230)以及失败签名(如图33A中的签名41A20)。任何视频特征或运动数据可以用于指明高光或失败度量，以创建相应的时刻。在一个或多个实施例中，系统的任何计算机检测特定水平的失败，可以自动发出信息求助，例如通过无线通信来呼叫应急人员或通过音频或社交媒体发布来通知潜在医疗应急朋友。
一个或多个实施例可以利用上述技术产生高光帧，并且随后丢弃非高光帧，以便保存存储空间和带宽。一个或多个实施例还可以发送信息到其他系统，例如到最初捕获视频的摄影机，指示仅仅高光帧应该保留而其他帧应该丢弃，这在图33中示出，其中丢弃信息4150发送至摄影机4101，告知摄影机丢弃除了那些选作高光帧以外的所有帧。
在一个或多个实施例中，可以收集传感器数据并于获取自服务器的媒体结合，以检测并分析事件。然后，媒体可以与传感器数据结合并且作为集成的、富集媒体并且富集数据的事件记录重新发布至服务器，诸如社交媒体网站。来自服务器的媒体可以包括例如但不限于文本、音频、图像和视频。传感器数据可以包括但不限于运动数据、温度数据、高度数据、心率数据或更一般的与用户或设备相关联的任何传感器信息。图34示出了系统实施例，其结合传感器数据分析和媒体分析以用于地震监测。地震监测是图示的示例；系统的实施例可以使用任意类型的传感器数据和媒体来检测和分析任意期望的事件，包括例如但不限于个人事件、群体事件、环境事件、公共事件、医疗事件，体育赛事，娱乐事件，政治事件，犯罪事件或灾难事件。
在图34中，用户配备有三个传感器：传感器12501是运动传感器；12502 是心率传感器；而传感器12503是带有时钟的位置传感器.这些传感器可以保持在一个物理包裹或安装座或用户同一位置或多个位置上的多个物理包裹或安装座中。一个或多个实施例可以使用任何传感器或任何传感器组合来收集关于一个或多个用户或设备的数据。传感器可以是单独设备，或者它们可以例如嵌入移动电话、智能手表或任意其他设备中。传感器还可以接近用户，而传感器数据可以通过与传感器或计算机中的一个或多个相关联的网络链接来获取，其中传感器或计算机与用户 (见图1A针对传感器和传感器数据的拓扑，其中系统可以本地获取或通过网络获取)相关联。在图34所示的实施例中，传感器12503可以例如嵌入装配有GPS的智能手表。来自传感器12502的心率数据12512、来自运动传感器12501的加速度数据12511以及来自传感器12503的时间和位置信息12513发送至计算机或移动设备101以用于分析。或者，移动设备可以包含传感器的所有或任意部分，或者内部或通过网络链接获取任意传感器数据。此外，计算机可以与(例如智能手表或移动电话中的)传感器12502并列。移动设备是示例性的；一些实施例可以使用任何计算机或计算机集合来接收数据和检测事件。这些计算机可以例如例如但不限于移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑和服务器计算机。
在图34的实例中，移动设备101配置为扫描一组事件类型，包括但例如不限于地震事件。地震事件检测包括比较传感器数据与传感器地震签名12520，并且比较媒体信息与媒体地震签名12550。一些实施例可以针对一个或多个事件使用任意期望的签名。由一个或多个实施例用来针对事件的传感器数据签名可以包括例如但不限于传感器值超过一个或多个阈值或者落入或跌出一个或多个范围，值的趋势超过针对速率变化的特定阈值，以及来自多个传感器的、落入或跌出特定多维范围的值的组合。在图34中，12512所示的心率快速增加指示一事件，其可以例如是地震。加速度12511的快速增加也可以指示地震。基于这两个签名，设备101 例如可以确定传感器地震签名已经被定位。在一个或多个实施例中，来自带有至少一些传感器的多个用户的传感器数据可以被任何计算机(诸如计算机101)使用，以确定即使基于位置和时间略有时间迁移，加速度12511是否被多个传感器观测到，从而确定地震可能已经发生。
计算机101还可以扫描来自一个或多个服务器的媒体，以确认事件。一些实施例可以从任意(多个)类型的服务器获取媒体数据，服务器包括例如但不限于邮件服务器、社交媒体网站、照片共享网站、视频共享网站、博客、wiki、数据库、新闻组、RSS服务器、多媒体资源库、文件资源库、短信服务器和
Figure GDA0003101490190001001
服务器。在图34所示的实例中，计算机或移动设备101扫描两个服务器上的媒体：提供文本消息收发记录的文本信息服务器12530以及允许用户发布文本和图像到他们个人主页的社交媒体网站12540。12530上的文本消息和12540上的发布不必与用户穿戴传感器12501、12502和12503相关联；系统实施例可以访问任何服务器来从任意源获取媒体。媒体与媒体地震签名12550比较。一些实施例可以针对事件使用任意期望的媒体签名，包括例如但不限于所选文本关键词或关键短语的频率、所选服务器上媒体发布或更新的速率、匹配任何具体特征的具体图像或视频的外观、发送消息的紧急度、发送者和接收者网络针对消息的模式以及发布者和观看者网络针对社交媒体网站的模式。在图34中，媒体地震签名12550包括出现关键词(如分别在文本消息中和主页中的12531“摇动”和12541“跌落”)。媒体地震签名还可以包括针对表征了地震的图像进行照片或视频分析，诸如建筑物摇动或坠下的图像。在图34中，图像12542示出了正在坠下的纪念碑，这与媒体地震签名 12550相符。关键词可以用于消除针对示出类似事物的图像的假阳性，例如假如有人发布与例如当前的事件不相关的图像或视频的“电影”。
一个或多个实施例可以产生集成的事件记录，其结合传感器数据与描述事件的媒体(诸如照片、视频、音频或文本评论)。媒体可以例如获取自服务器 (诸如社交媒体网站)、与系统相关联的传感器(诸如本地摄影机)或其组合。一个或多个实施例可以策划这一数据，包括来自社交媒体网站的媒体，以产生事件的高光。策展的、集成的事件记录可以以任意方式结合媒体和数据，包括例如通过将数据覆盖在照片或视频上。集成事件记录可以包含从服务器检索得到的所有或所选子组合的媒体，连同所有或所选字组合的传感器数据、度量和事件分析。集成事件记录可以重新发布到社交媒体网站或广播给其他用户。
一个或多个实施例可以根据时间、位置或二者，将传感器数据与媒体相关，作为事件检测和分析的一部分。例如，地震发生在具体时间点和具体位置；因此以100天的时间间隔分隔开的两个摇动签名可能是不相关的，然而由相对短的时间间隔(例如数分钟)分隔开，并且例如基于事件类型可能在给定的预定义范围内(例如在此情况下数英里)的事件更可能指示未来相关事件。在图34中，传感器12503提供用户的时间和位置12513，其可以与传感器数据12511和12512相关。这一时间和位置数据可以例如在针对时间和位置的预定义阈值内并且可选地基于事件类型，用在针对可以确定事件的媒体来检索服务器12530和12540方面。一个或多个实施例可以根据时间和位置分组传感器数据和媒体，以确定是否存在相关的、表示在同一时间和位置的事件的信息群。用于聚集时间和位置的比例可以取决于事件。例如，地震可以持续数分钟，但是其不可能持续数星期。它还可以覆盖很宽的区域，但是不可能在数千英里的范围内有效。
在图34中，文本消息12531和发布12541两者在传感器数据12511、 12512和12513的一分钟内发生；因此，移动设备101将媒体与传感器数据相关。因为传感器数据匹配传感器签名12520，而媒体匹配媒体签名12550，因此移动设备确认地震事件12560。
在图34中，文本消息和发布的文本分析针对事件，基于出现的所选关键词，使用单个媒体签名。一个或多个实施例可以采用任何文本处理或文本分析技术来确定文本消息源匹配事件签名的程度。一个或多个实施例可以配置为扫描多个类型的事件；在这些实施例中，文本分析可以包括基于文本信息源中的词，产生各个事件类型的相对得分。
图35示出了系统实施例，其使用事件关键词权重表12620，基于文本分析来确定最可能的事件。每个关键词针对每个感兴趣的事件来估价，以确定事件关键词权重。在此实例中，关键词12621(“空气”)针对四个可能事件具有事件关键词权重：着陆、猛撞、地震和跳跃。这些权重可以例如反映描述这些事件的消息或文本包括该关键词的相对可能性。权重可以以任意期望的方式来确定：它们可以基于判断来配置；并且它们可以使用机器学习算法从训练集中发展出来。在图35 所示的实例中，事件12601被若干用户观察到，他们发送关于事件的推文(tweet)；这些推文在服务器12610上可用。系统扫描这些推文(很可能使用事件时间和位置来限制检索)并且识别三个包含关键词的消息。例如，第一消息12611包含来自表 12620的关键词12621。针对每个事件添加关键词权重，产生事件得分12630。在此实例中，“跳跃”事件具有最高得分，因此系统确定这是最可能的事件。一个或多个实施例可以使用打分或权重技术来评估各个事件已经发生的可能性，并且使用可能性阈值来确认事件。一个或多个实施例可以例如使用贝氏方法(Bayesian techniques)，基于来自其他媒体服务器或传感器数据的附加信息来更新事件可能性。此外，与检测到潜在事件的计算机相关联的传感器或计算机可以将任意相关的视频(例如在事件持续期间，包括任意事件前或事件后时窗)广播到附近摄影机和 /或计算机。在滑雪缆车上的用户例如产生了非常失败的视频，由此可以接收请求在事件位置和时间附近的任何视频的消息。摄影机或视场的方向可以用于过滤来自各个其他用户的、在计算机或其他用户的计算机中的事件视频。因此，可以自动策划事件视频或以其他方式转移，并且获取不带有事件时窗以外的非事件视频的事件视频。此外，视频可以在系统的各台计算机上自动实时后加工整理，以非事件相关视频。在一个或多个实施例中，计算机可以查询用户关于事件视频，并且请求指令来丢弃剩余的非事件视频。事件视频可以更有效率地、不带有非事件视频数据地转移，而转移时间和存储要求在许多情况下可能是低2至3个数量级。
系统的一个或多个实施例可以使用多级事件检测方法，其首先确定未来事件已经发生，然后分析附加传感器数据或媒体数据以确定未来事件是有效事件还是假阳性事件。图36示出了多级事件检测系统的实例。针对图示，正在坠下的铁砧装配有高度传感器12701，而兔子也配备有高度传感器12702。系统接收来自 12701和12702的传感器数据样本并且将它们结合以形成曲线图12710。在一个或多个实施例中，期望附加处理来同步两个传感器12701和12702的时钟；(见图1E，例如系统可能采用的时间同步)。相对高度的分析12710预测到在两个对象的高度一致的时间12711时的未来碰撞事件12720。然而，这一分析仅仅考虑到由高度传感器测量的高度尺寸；对于将要发生的碰撞，对象必须同时处于相同的三维坐标。图36示出了使用附加信息来确定未来事件12720是有效事件还是假阳性事件的两个实例。一个或多个实施例所使用的一种技术是检查来自一个或多个服务器的媒体信息，以确认或无效未来事件。例如，系统可以执行检索12730来定位可用服务器 (诸如包含用户共享的视频的服务器12740)上的媒体中的对象12731和12732。例如，当安装传感器12701和12702时，对象12731和12732的形状、大小、颜色或其他可视特征可以是已知的。在此实例中，定位视频12741，其包含对象，而帧的分析示出了碰撞没有发生；因此，系统能够确定事件是假阳性事件12750。一个或多个实施例可以使用任何标准，针对可以确认或无效未来事件的媒体来检索服务器，并且可以使用任意技术(诸如图像分析、文本分析或图案识别)分析这些媒体。图36的右下方示出了另一实例，其使用附加传感器信息来区分未来事件和有效事件。在此实例中，铁砧和兔子分别配备有水平加速计12761和12762。使用本领域已知的技术，可以集成水平加速度以形成对象随时间的水平位置12770。通过结合垂直轨迹12710和水平轨迹12770，系统能够确定在时间12711时，两个对象的水平位置不同；因此系统确定未来事件12720是假阳性12780。这些实例是示例性的；一些实施例可以使用附加传感器数据与媒体信息的任意组合来确认或无效未来事件。例如，可以检查媒体服务器，并且是否存在确定某些碰撞几乎发生的发布，诸如“哇很接近”等(见图35，针对猛撞情景，利用媒体关键词得分检查)，还是在 12750处没有发生。
一个或多个实施例可以使用附加传感器数据，当捕获传感器数据时，以确定所执行的活动类型或者所使用的设备类型。图37示出了用户实例，其可以使用用于单板滑雪或冲浪的运动传感器。运动传感器12501a附接至滑雪板12810，而运动传感器12501b附接至冲浪板12820。运动传感器可以例如包括加速计、速率陀螺仪和可能的其他传感器，以检测运动、位置或指向。在一个或多个实施例中，这些设备12501a和12501b可以相同，并且用户可能在滑雪板或冲浪板上安装这种设备。基于运动传感器数据，用户随时间的速度可以由系统计算得到。针对单板滑雪的速度图表12811和针对冲浪的速度图表12821是相似的；因此可能难以或者不可能单独从运动数据确定哪种活动与数据相关联。在此实例中，传感器12501a和 12501b还包括温度传感器和高度传感器。单板滑雪活动产生温度和高度数据12812；冲浪活动产生温度和高度数据12822。系统配置有针对冲浪和单板滑雪的、针对温度和高度的典型签名12830。在此图示的实例中，对于这两种活动的通常运动范围和高度范围不会重叠；因此直观地使用温度和高度数据确定活动和设备类型。低温和高的高度12812结合签名12830指示用于单板滑雪的活动和设备12813，而高温和低的高度结合签名12830指示用于冲浪的活动和设备12823。一个或多个实施例可以使用任意附加传感器数据，不限于温度和高度，以确定活动类型、设备类型或此二者。
系统的一个或多个实施例可以从多个附接至多位用户或多台设备的传感器收集数据，并且分析这一数据以检测涉及这些多位用户或多台设备的事件。图 38示出了具有附接至听众的传感器的实例。听众成员中的若干个，但不必是全部，具有传感器，在此实例中测量运动、时间和位置。这些传感器可以例如嵌入被这些用户携带或穿戴的移动设备，诸如智能电话或智能手表。如图38所示，至少4个用户具有传感器22901a(22901b)、22902、22903和22904a(22904b)。系统收集运动数据并且确定每个用户随时间的垂直速度(vz)，例如22911、22912和22913。当用户入座时，垂直速度实际上为零或非常小；当他们站起时，速度增大，并且随后降回零。在此图示的实例中，系统针对这一用户站起签名监测传感器数据，并且确定站起运动完成的时间。例如，针对具有传感器22901a、22902、和22903的用户、用于完成站起的时间分别是22921、22922和22923。系统还分别从传感器 22901a、22902和22903监测位置数据22931、22932和22933。这里显示的位置数据编码为经纬度；一个或多个实施例可以使用任意方法，用于确定并表示与任意传感器相关联的局部或完整位置数据。
图38所示的示例性系统配置为检测来自听众的起立致敬事件.这一事件的签名是在同一会场、大致同时站起的用户临界数量。这一签名是用于例示的；一个或多个实施例可以使用期望的传感器数据签名来检测一个或多个事件。因为系统可以监测大量传感器，包括来自不同位置的用户的传感器，所以一个或多个实施例可以根据位置和时间将传感器数据相关，以确定涉及多位用户的总体事件。如图 38所示，一种根据时间和位置将传感器数据相关的方法是监测(来自单个传感器的)单独事件的群簇，其中这些单独事件在时间和位置方面接近。图表22940示出了针对三个用户的单独站起事件在时间和经度方面是聚集的。对于图示，我们仅仅示出了位置的经度尺寸，并且使用纬度相同的实例。一个或多个实施例可以使用任意或全部空间尺寸和时间来聚集传感器数据，从而检测事件。密集的单独传感器事件的集群22941包含三个用户，对应于传感器22901a、22902和22903。系统配置有用户数量的临界阈值22942，其中用户必须大致同时(并且大致在同一位置)站起，以便定义起立致敬事件。在此实例中，临界数是三，因此系统断言起立致敬事件并发送消息22950公开这一事件。此外，其他传感器包括声音传感器，可以用于表征事件作为喝彩或嘘声。任意其他生理传感器包括心率传感器，还可以用于确定事件的量化测量，在此情况下如果心率超过预定义阈值，则是高度情绪化的起立致敬。进一步地，可以检查博客网站、文本信息或其他社交媒体网站，以查看事件是否与运动传感器、附加传感器(诸如声音或心率或此二者)相关，从而确定是否例如在社交媒体网页或其他因特网网站公开事件(见图34，系统可以采用的、针对检查网页用于补强证据的实例)。
图38示出了系统实施例，其使用针对在密集的时间和位置集群内发生的单独传感器事件数量阈值来检测事件。图39示出了一实施例，其使用覆盖传感器的集合度量而不是比较数目与阈值，来检测事件。在此实施例中，可能大量用户配备有运动和位置传感器(诸如用户穿戴的传感器13001a、13001b以及用户携带的智能电话13002a、13002b)。每个传感器提供数据反馈，包括用户纬度、经度和速度。例如，传感器可以包括GPS以追踪经纬度，而内部传感器可以用于确定用户速度。在图39的这个示意性系统中，传感器基于用户当前经纬度分段为本地区域，而在每个本地区域计算和监测用户的平均速度13010。当系统检测到用户在该区域的平均速度突然增大13020时，确定的是“主要事件”13030已经在该本地区域发生，例如在123Elm St处。这一事件可以例如作为邮件信息、文本信息、给附近用户的广播消息、推文、社交媒体网站发布或者向应急服务的警告来公开。在此实例中，传感器数据不足以精确表征事件；例如，取代如图39所示的火警，可以导致用户开始快速移动的其他事件可能是地震或者恐怖袭击。然而，在这一位置已经发生的某些主要事件的信息可能对许多机构和用户(诸如现场急救员)明显有用。而且，系统实施例能够通过连续监测传感器值，即时检测这种事件。图39所用的平均速度度量是用于示例性的；一个或多个实施例可以从多个传感器数据反馈中计算任意期望的集合度量，并且可以以任意期望的方式使用这些度量，以检测和表征事件。一个或多个实施例可以以任意期望的方式结合图38和39所示的技术；例如，一个或多个实施例可以分析单独传感器数据以确定单独事件，根据时间和位置聚集单独事件的数量，并且随后计算针对每个集群的集合度量，以确定整个事件是否已经发生。一个或多个实施例可以例如基于它们的传感器数据，分配不同的权重给单独事件，并且使用加权和而不是原始计数来与阈值比较，从而检测事件。结合来自多个传感器的传感器数据以检测事件的任意方法符合本发明的精神。如图39所示，随着用户远离给定位置行进，可以确定位置，而任意相关联的声音或大气传感器(诸如CO2传感器)位于该位置附近，可以用于确认事件为火灾。自动应急信息可以由计算机13002a发送，其还可以广播为在检测到该事件的该位置和时间周围的任意照片或视频。
与环境、生理和运动捕获传感器相关联的传感器事件因此可以利用文本、音频、图像或视频数据或其任意组合来确认，包括例如社交媒体发布以检测和确认事件，并且策划媒体或以其他方式实时或近似实时地存储简明事件视频或其他媒体。例如，一个或多个实施例可能通过匹配照片和视频的时间和位置数据与传感器数据时戳以及位置戳，可以访问社交媒体网站以检索与事件相关联的所有照片和视频。然后，检索到的媒体可以策划或组织成产生集成事件记录，其包括媒体的所有或所选子集。此外，社交媒体网站可以利用本发明的实施例，使用根据本发明的一个或多个实施例的环境、生理和运动捕获传感器，例如通过结合本发明的实施例基于时间或位置或此二者过滤事件，以随后确认事件。发布或其他媒体的排名和名誉可以用于结合本发明的一个或多个实施例来过滤或公开事件。例如与不同用户或设备相关联的多个信息源可以用于检测或确认事件。在一个或多个实施例中，当没有检测到运动并且其他传感器数据指示潜在事件时，可以检测事件，例如当小孩处于高温汽车中并且利用与小孩耦合的运动传感器没有检测到运动时。事件还可以优先化，使得如果检测到多个事件，可以处理或以其他方式公开或首先传输最高优先级事件。
在一个或多个实施例中，事件分析和标记系统可以分析传感器数据以自动产生或选择一个或多个针对事件的标记。事件标记可以例如基于事件所涉及的活动类型，将事件分组为类别。例如，足球赛事的分析可以将比赛分类为奔跑、传球或踢球。对于以多个阶段发生的活动(诸如足球的四次触地(four down)或者棒球局的三振出局)，标记可以指示事件发生的(多个)阶段。例如，随着在第四节发生第三次触地，可以标记足球赛。标记可以辨识活动或事件的场景或环境。例如，足球赛的环境可以包括对于首次触地剩余的码数；因此比赛标记可以指示第三次触地还剩下4码(3rd和4)。标记可以辨识一个或多个与事件相关联的运动员；它们还可以辨识每个运动员在事件中的角色。标记可以辨识事件的时间或位置。例如，足球赛的标记可以指示赛事开始的码线，以及当比赛开始时比赛或节剩余的时钟时间。标记可以测量与事件相关联的表现水平，或者活动的成功或失败。例如，与足球传球相关联的标记可以指示完整的传球、不完整的传球或拦截。标记可以表示结果(诸如得分或可测量的推进或后退)。例如，足球赛结果标记可以指示取得的或丢失的码数以及得分(如果有的话)。标记可以是质化或量化；它们可以具有分类的、依次的、间隔的或比例数据。标记可以是通用的或领域特定的。例如，通用标记可以标记具有最大表现标记的运动员运动，以指示这是该运动员在某些时间期间的最高表现(例如“夏天的最高跳跃”)。领域特定标记可以基于特定体育的规则和活动。因此，例如，棒球挥动的结果标记可以包括棒球具体标记(诸如击中、球、击球犯规、击球出界或安全上垒(strike,ball,hit foul,hit out,or hitsafe))。
图40示出了一实例，其中事件分析和标记系统4050分析针对投掷和相应的棒球挥动的传感器数据。事件分析和标记例如通过计算机105、移动设备101 和微处理器3270中的任一个或所有来执行。微处理器3270可以例如集成有一个或多个运动传感器或其他传感器或与其通信，诸如惯性传感器111或传感器4011。微处理器3270可以执行事件分析和标记，或者它可以可能从多个传感器收集传感器数据，并且转送该数据到计算机105或移动设备101用于分析和标记。一个或多个实施例可以在多个阶段执行事件分析和标记。例如，微处理器3270可以产生一组针对事件的标记，并且将这些标记与事件数据转送给计算机105或移动设备101；计算机105或移动设备101随后可以执行附加分析并且添加附加标记。传感器例如可以包括惯性传感器111；传感器4011，其可以例如测量与温度、湿度、风、高度、声光或心率相关联的值；视频摄影机103；雷达4071；以及光门4072。分析系统 4050检测挥动，并且随后分析传感器数据，以确定何种标记与挥动事件相关联。标记4003辨识例如事件类型(轮到击球)、正在挥动的运动员(Casey)、投掷类型的分类(曲线球，从球的轨迹形状分析来确定)、挥动结果(击球，通过观察球棍4062与球4063之间的接触4061来检测)以及事件时间戳(9th局)。这些标记是示例性的；一个或多个实施例可以针对活动或事件产生任意(多个)标记。系统可以在事件数据库172中存储事件标记4003。事件的附加信息4002(诸如度量、传感器数据、轨迹或视频)还可以存储在事件数据库中。
事件分析和标记系统4050还可以扫描或分析来自一个或多个服务器或信息源的媒体，以确定、确认或修改事件标记4003。一些实施例可以从任意(多个)类型的服务器或信息源获取媒体数据，包括例如但不限于邮件服务器、社交媒体网站、照片共享网站、视频共享网站、博客、wiki、数据库、新闻组、RSS服务器、多媒体资源库、文件资源库、短信服务器和
Figure GDA0003101490190001071
服务器。媒体可以包括例如与事件相关的文本、音频、图像或视频。例如，社交媒体服务器4005的信息可以在因特网或其他图形检索4006得到，并且进行分析以确定、确认或修改事件标记4003。存储在事件数据库中的事件还可以公开4007到社交媒体网站4005或者任意其他服务器或信息系统。一个或多个实施例可以公开与事件相关联的任意或所有数据，包括例如度量、传感器数据、轨迹、和视频4002以及事件标记4003。
一个或多个实施例可以为用户提供基于由分析系统产生的事件标记来检索或过滤事件的能力。图41示出了图示的用户界面4100，其可以访问事件数据库172。可以示出事件表4101，并且它可以提供基于事件标记用于查询或过滤的选项。例如，过滤器4102和4103应用于选择与运动员“Casey”和事件类型“轮到击球”相关联的事件。一个或多个实施例可以提供任意类型的事件过滤、查询或报告。在图41中，用户选择行4104来查看这一事件的细节。然后，用户界面显示标记4003，其针对这一事件由系统自动产生。提供手动标记界面4110以允许用户添加附加标记或编辑由系统产生的标记。例如，用户可以选择标记名4111来定义与这一事件相关联的得分结果，推断例如自动传感器数据分析在此情况下不能确定什么是得分结果。然后，用户能够手动选择或输入得分结果4112。然后，当用户针对新(多个)标记点击添加按钮4113时，手动选择的标记可以针对这一事件添加到事件数据库172中的事件记录。用户界面可以显示其他与所选事件4104相关联的信息，诸如度量4002a和视频4120。它可以利用控件4121提供视频回放特征，其可以例如提供选项(诸如4122)以将抛投轨迹4123或其它对象覆盖到视频上。一个或多个实施例可以提供一特征，以针对对应于所选事件标记的一个或多个事件产生高光时刻。例如，当用户按下创建高光时刻按钮4130时，系统可以针对所有匹配当前过滤器的事件4101检索视频和相关信息，并且针对所有这些事件将视频连结成单个高光视频。在一个或多个实施例中，高光时刻可以自动编辑，以仅仅示出具有最重要动作的时期。在一个或多个实施例中，高光时刻可以包含示出与事件相关联的标记、度量或轨迹的覆盖物。一个或多个实施例可以提供用于产生或编辑高光时刻的选项；例如，用户可以具有选项以按年代，或者通过其他标记或度量订阅高光时刻中的事件。高光时刻可以存储在事件数据库172中，并且可以公开到社交媒体网站4005。
图42示出了一实施例，其分析社交媒体发布以扩大事件标记。由事件分析和标记系统4050分析4201来自传感器(诸如惯性传感器111、其他传感器4011 和视频摄影机103)的数据，得到起始事件标记4003a。在此图示的实例中，传感器111、4011和103能够检测运动员击中球，但不能够确定击球结果。因此，事件标记4003a不包含“挥动结果”标记，因为传感器数据不足以创建这一标记。(这一实例是示例性的；在一个或多个实施例中，传感器数据可能足以确定挥动结果或任意其他信息。)事件分析和标记系统4050访问社交媒体网站4005并且分析与事件相关的发布4203。例如，系统可以使用事件的时间和位置以过滤来自在该位置附近的用户的社交媒体发布，其中用户在接近事件时间发布。在此实例中，系统针对具体关键词4204检索文本发布以确定事件结果。尽管传感器或视频可以用于指示击球已经发生，可以分析社交媒体以确定实际已经发生什么类型的击球(即事件)。例如基于这一文本分析4202，系统确定结果4205可能是全垒打；因此它将标记4206添加到带有这一结果的事件标记。然后，扩大事件标记4003b可以存储在事件数据库中并且公开到身教媒体网站。图42示出的关键词检索是示例性的；一个或多个实施例可以使用任意方法来分析文本或其他媒体，以确定、确认或修改事件标记。例如但不限于，一个或多个实施例可以使用自然语言处理、图案匹配、贝叶斯网络、机器学习、神经网络或主题模型来分析文本或任意其他信息。系统实施例产生对于事件检测而言不可能或困难的更高精度，以基于传感器或视频数据总体确认。事件例如连同任意事件标记，可以公开在社交媒体网站上或者存储在数据库中，以用于随后分析。
一个或多个实施例可以保存或传输或以其他方式公开仅仅一部分捕获视频，并且丢弃剩余的帧。图43示出了具有视频摄影机103的实施例，其捕获视频帧4301。视频包含与感兴趣的事件相关的帧4310a、4310b和4310c，在此实例中它是由击球手4351执行的击球。球棍装配有惯性传感器111，并且可以存在附加传感器4011，其可以测量例如温度、湿度、风、高度、声光或心率。来自传感器111和4011的数据由事件分析和标记系统4050来分析，以确定击球事件所涉及的时间间隔。这一分析指示仅仅视频帧4310a、4310b和4310c是涉及到的，而其他帧(诸如帧4311)应该丢弃430。系统产生事件标记4003并且在事件数据库172 中保存该标记和所选视频帧4303。这一信息包括所选视频帧，可以例如公开到社交媒体网站4005，例如没有传输非事件数据。丢弃操作4302可以例如从存储器擦掉丢弃帧，或者可以命令摄影机103擦掉这些帧。一个或多个实施例可以使用任何信息来确定捕获视频的哪部分应该保留，而捕获视频的哪部分应该丢弃，该信息包括来自其他传感器的信息和来自社交媒体网站或其他服务器的信息。
对于本领域技术人员将显而易见的是，对所述实例和实施例的许多修改和变体在上述教导的启示下是可行的。所示实例和实施例仅以图示为目的。其他可选实施例可以包括本文所述特征中的部分或全部。因此，当所有这些修改和可选实施例落入本发明的真实范围时，其旨在覆盖它们。

Claims (30)

1.一种多传感器事件关联系统，其包括：
被配置成与用户或设备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件，其中所述至少一个运动捕获元件包括：
传感器数据存储器；
被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度、角速度和角加速度相关联的一个或多个数值的传感器；
第一通信接口，配置为接收通信、或者一个或多个与环境传感器、生理传感器或环境传感器和生理传感器二者相关联的其他值，或者接收所述通信和所述一个或多个其他值，或者
至少另一个传感器，配置为本地捕获所述一个或多个与所述环境传感器、所述生理传感器或环境传感器和生理传感器二者相关联的其他值，或者
所述第一通信接口和所述至少另一个传感器；以及
与所述传感器数据存储器、所述传感器和所述第一通信接口耦合的微处理器，其中所述微处理器被配置成：
收集包括来自所述传感器的传感器数值的数据，所述传感器数值包括所述一个或多个值；
把所述数据存储在所述传感器数据存储器中；或者
对所述数据进行分析并且辨识出所述数据内的事件以便确定事件数据；或者
将所述数据存储在所述传感器数据存储器中并且分析所述数据并且识别所述数据中的所述事件，以确认所述事件数据；以及
发送所述数据或所述事件数据或所述数据与所述事件数据二者，以及
处理所述通信，或者
发送所述一个或多个与所述环境传感器、所述生理传感器或环境传感器和生理传感器二者相关联的其他值，或者
处理所述通信并发送所述一个或多个其他值到
计算机，所述计算机包括：
计算机存储器；以及
第二通信接口，其被配置成与所述第一通信接口通信，以获取与所述事件相关联的所述数据或所述事件数据或者所述数据和所述事件数据二者，或者
所述一个或多个与所述环境传感器、所述生理传感器或环境传感器和生理传感器二者相关联的其他值，
或者所述数据或所述事件数据二者，以及
所述一个或多个其他值；
其中所述计算机与所述计算机存储器耦合并且与所述第二通信接口耦合；
其中所述微处理器或所述计算机，或者所述微处理器与所述计算机二者配置为：
将所述数据或所述事件数据与所述一个或多个与所述环境传感器、所述生理传感器或环境传感器和生理传感器二者相关联的其他值相关，以区分第一类型事件相对于第二类型事件，或者区分第一类型活动相对于第二类型活动，或者区分第一类型设备相对于第二类型设备，以确定下列至少一种：
选自多个事件类型的一种事件或真实事件或假阳性事件，或者
选自多个设备类型的、所述至少一个运动捕获元件所耦合的一种设备，或者
选自多个活动类型的、由所述数据或所述事件数据指示的一种活动。
2.权利要求1的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置为针对所述事件确认一个或多个标记，并且所述一个或多个标记表示下列一个或多个：
所述事件的活动类型；
所述事件的位置；
所述事件的时戳；
与所述事件相关联的活动阶段；
与所述事件相关联的运动员身份；
与所述事件相关联的表现水平；以及
与所述事件相关联的得分。
3.权利要求2的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置为分析来自服务器的文本、音频、图像和视频中的一个或多个，以针对所述事件确认所述一个或多个标记。
4.权利要求3的系统，其中，所述服务器包括邮件服务器、社交媒体网站、照片共享网站、视频共享网站、博客、wiki、数据库、新闻组、RSS服务器、多媒体资源库、文件资源库和短信服务器中的一个或多个。
5.权利要求3的系统，其中，所述文本、音频、图像和视频中的一个或多个的分析包括针对与所述事件相关的关键词或关键短语检索所述文本。
6.权利要求3的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置为分析来自服务器的所述文本、音频、图像和视频中的一个或多个，以针对特定位置和时间确认所述事件，从而创建确认事件。
7.权利要求1的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置为基于所述数据或所述事件数据，识别在所述设备或所述用户上的所述传感器的位置。
8.权利要求1的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置为基于选自多个传感器个性设置的传感器个性设置，收集来自所述传感器的所述传感器数值，其中传感器个性设置配置为控制传感器设定，以相对于具体运动类型或所述活动类型以优化方式收集数据，其中具体运动类型或所述活动类型与具体设备或服装类型相关联。
9.权利要求1的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置为依照下列来确定所述假阳性事件：
检测来自具有第一阈值的所述传感器数值的第一数值，并且
在时窗内检测来自具有第二阈值的所述传感器数值的第二数值；
预示未来事件；
将所述未来事件与跟典型事件相关联的特征信号进行比较并且消除任何假阳性事件；以及
如果所述未来事件不是假阳性事件则预示所述真实事件。
10.权利要求1的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者配置为在所述至少一个运动捕获元件从设备移除之后，利用最新分配的位置识别所述至少一个运动捕获元件，并且基于所述数据或事件数据以与不同类型的第二台设备耦合。
11.权利要求1的系统，其中，所述至少一个运动捕获元件包含在运动捕获元件安装座、所述移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、以及服务器计算机中的一个或多个之中，或者任意数量的所述运动捕获元件安装座、移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、服务器计算机的任意组合中。
12.权利要求1的系统，其中，所述微处理器或所述计算机，或者所述微处理器与所述计算机二者还配置成向到资源库、查看器、服务器、另一计算机、社交媒体网站、所述移动设备、网络和应急服务中的一个或多个发送所述数据、所述事件数据、所述事件类型、所述真实事件、所述假阳性事件、所述设备类型、所述活动类型以及针对所述事件的一个或多个标记中的至少一个。
13.权利要求1的系统，其中，所述计算机被配置成：
从所述第二通信接口接收所述数据，并且对所述数据进行分析并且辨识出所述数据内的所述事件以便确定事件数据，或者
从所述第二通信接口接收所述事件数据，或者
从所述第二通信接口接收所述数据和所述事件数据二者；
分析所述事件数据以形成运动分析数据；
在所述计算机存储器中存储所述事件数据或所述运动分析数据或者所述事件数据和所述运动分析数据全部二者；
从所述事件数据或从所述运动分析数据获取事件起始时间和事件停止时间；
获得与至少一个视频相关联的至少一个视频起始时间和至少一个视频停止时间；
基于以下项目，将所述事件数据、所述运动分析数据或其任意组合与所述至少一个视频同步：
与获取自所述至少一个运动捕获元件的所述数据或所述事件数据相关联的第一时间，其中所述至少一个运动捕获元件与所述用户或所述设备或耦合至所述用户的所述移动设备耦合，以及
与所述至少一个视频相关联的至少一个时间，以便
创建至少一个同步事件视频；以及
在所述计算机存储器中存储至少一个同步事件视频，而没有在所述事件起始时间到所述事件停止时间以外的所述至少一个视频的至少一部分。
14.权利要求13的系统，其中，所述计算机还包括至少一个处理器，在所述移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、以及服务器计算机中的一个或多个之中，或者任意数量的所述移动设备、移动电话、智能电话、智能手表、摄影机、膝上型计算机、笔记本电脑、平板电脑、台式电脑、服务器计算机的任意组合中，并且所述计算机还配置为：
从所述第二通信接口接收所述数据，并且对所述数据进行分析以确定针对所述事件的所述一个或多个标记，或者
从所述第二通信接口接收针对所述事件的所述一个或多个标记；
在所述计算机存储器中存储针对所述事件的所述一个或多个标记。
15.权利要求14的系统，其中，所述计算机与视频显示器耦合，还配置为：
在所示视频显示器上显示全部以下两项：
在从所述事件起始时间到所述事件停止时间的时间跨度期间所发生的所述事件数据、所述运动分析数据或者其任意组合；以及
所述至少一个同步事件视频。
16.权利要求14的系统，其中，所述计算机还配置成放弃或者指示另一计算机放弃或指示所述摄影机放弃在从所述事件起始时间到所述事件停止时间以外的所述至少一个视频的至少一部分。
17.权利要求14的系统，其中，所述摄影机包括至少一台摄影机，而所述计算机还配置为：
向与所述计算机耦合的所述至少一台摄影机发送控制信息，或者
向所述至少一台摄影机外部发送控制信息，
以基于所述数据或所述事件数据或所述运动分析数据修改与所述至少一台摄影机相关联的所述至少一个视频的视频记录参数；
其中，所述视频记录参数包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制中的一个或多个。
18.权利要求14的系统，其中，所述计算机还配置成将针对所述事件的一个或多个标记、所述事件或所述事件类型、以及所述真实事件发送到资源库、查看器、服务器、另一计算机、社交媒体网站、所述移动设备、网络和应急服务中的一个或多个。
19.权利要求14的系统，其中，所述计算机还配置成：
接受度量或者与所述至少一个同步事件视频相关联的一个或多个标记；
接受用于所述度量或所述一个或多个标记的选择标准；
确定同步事件视频的匹配组，其具有与通过所述选择标准的所述度量或所述一个或多个标记相关联的值；以及
与跟所述度量或所述一个或多个标记相关联的值一起显示同步事件视频或其相应缩略图的匹配组，其中所述度量或所述一个或多个标记针对同步事件视频或相应缩略图的匹配组的每一个。
20.权利要求14的系统，其中，所述计算机还配置成：
接受针对所述事件的一个或多个用户所选标记；以及
将所述针对所述事件的一个或多个用户所选标记存储在所述计算机存储器中。
21.权利要求19的系统，其中，所述计算机还配置成产生同步事件视频的所述匹配组的高光时刻或失败时刻。
22.权利要求14的系统，其中
所述传感器或所述计算机与记录音频信号的麦克风耦合；以及
识别所述事件包括：
基于所述数据确认未来事件；以及
将所述数据与所述音频信号相关，以确认所述未来事件是所述真实事件还是所述假阳性事件。
23.权利要求22的系统，其中，如果所述未来事件是所述真实事件，所述计算机还配置成在所述计算机存储器中与所述至少一个同步事件视频一起存储所述音频信号。
24.权利要求22的系统，其中，所述计算机还配置成基于图像分析同步所述运动分析数据与所述至少一个视频，以便更加准确地确定所述至少一个视频中的起始事件帧或停止事件帧或起始事件帧与停止事件帧全部二者，起始事件帧或停止事件帧跟所述事件起始时间或所述事件停止时间或事件起始时间与所述事件停止时间全部二者最紧密相关联。
25.权利要求14的系统，其中，所述计算机还配置成：
访问与所述用户或设备相关联的先前存储的事件数据或运动分析数据；以及
基于下列项目在显示器上显示信息，包括与所述用户相关联的所述事件数据的展示：
所述事件数据或运动分析数据与所述用户或设备相关联；并且
所述先前存储的事件数据或运动分析数据与所述用户或设备相关联。
26.权利要求14的系统，其中，所述计算机还配置成：
访问与至少另一个用户或至少另一台设备相关联的先前存储的事件数据或运动分析数据；以及
基于下列项目在显示器上显示信息，包括与所述用户相关联的所述事件数据的展示：
所述事件数据或运动分析数据与所述用户或设备相关联；并且
所述先前存储的事件数据或运动分析数据与至少一个其他用户或至少一台其他设备相关联。
27.权利要求14的系统，其中，所述至少一个运动捕获元件中的所述微处理器还配置为将所述事件或所述事件的检测发送到至少另一个运动捕获元件或所述计算机或至少另一台移动设备或其任意组合，并且其中所述至少另一个运动捕获元件或所述计算机或至少另一台移动设备或其任意组合配置为保存数据或传输数据或保存并传输与所述事件相关联的数据，即使所述至少另一个运动捕获元件没有检测到所述事件。
28.权利要求14的系统，其中，所述计算机还配置成：
针对其位置接近所述事件或朝向为观察到所述事件或接近所述事件且朝向为观察到所述事件二者的摄影机请求或广播请求；以及
从所述摄影机的至少一台摄影机请求所述至少一个视频，其中所述至少一个视频包含所述事件，而没有在所述事件起始时间到所述事件停止时间以外的所述至少一个视频的至少一部分。
29.权利要求14的系统，其中，所述计算机还配置成通过分析来自服务器的文本、音频、图像和视频中的一个或多个，以针对特定位置和时间确认所述事件，从而创建确认事件。
30.权利要求14的系统，其中，所述计算机还配置成通过分析来自服务器的文本、音频、图像和视频中的一个或多个，以针对所述事件确认所述一个或多个标记。
CN201680053853.9A 2015-07-16 2016-07-15 多传感器事件检测和标记系统 Active CN108369646B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/801,428 US9406336B2 (en) 2010-08-26 2015-07-16 Multi-sensor event detection system
US14/801,428 2015-07-16
US15/184,926 2016-06-16
US15/184,926 US9607652B2 (en) 2010-08-26 2016-06-16 Multi-sensor event detection and tagging system
PCT/US2016/042671 WO2017011814A1 (en) 2015-07-16 2016-07-15 Multi-sensor event detection and tagging system

Publications (2)

Publication Number Publication Date
CN108369646A CN108369646A (zh) 2018-08-03
CN108369646B true CN108369646B (zh) 2021-10-15

Family

ID=57757693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053853.9A Active CN108369646B (zh) 2015-07-16 2016-07-15 多传感器事件检测和标记系统

Country Status (7)

Country Link
US (1) US20230260552A1 (zh)
EP (1) EP3323084A4 (zh)
JP (1) JP7005482B2 (zh)
CN (1) CN108369646B (zh)
AU (1) AU2016293613B2 (zh)
CA (1) CA3031040C (zh)
WO (1) WO2017011814A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295405B2 (en) * 2016-11-29 2022-04-05 International Business Machines Corporation Cognitive recommendations for first responders
JP6796000B2 (ja) * 2017-02-21 2020-12-02 セコム株式会社 監視支援装置及び監視システム
WO2018169509A1 (en) * 2017-03-13 2018-09-20 Sony Mobile Communications Inc. Multimedia capture and editing using wireless sensors
JP6882073B2 (ja) * 2017-05-25 2021-06-02 フクダ電子株式会社 生体信号記録装置およびその制御方法
EP3487171B1 (en) * 2017-11-15 2019-09-25 Axis AB Method for controlling a monitoring camera
CN108133160B (zh) * 2017-12-21 2021-09-28 儒安物联科技集团有限公司 基于rfid的游泳安全监控系统
US10621717B2 (en) * 2018-03-30 2020-04-14 General Electric Compnay System and method for image-based target object inspection
US10956631B2 (en) * 2018-08-31 2021-03-23 Accenture Global Solutions Limited Distribution selection and simulation of intermittent data using machine learning (ML)
JP7205201B2 (ja) * 2018-12-05 2023-01-17 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
CN109696669B (zh) * 2018-12-24 2021-05-04 北京理工大学 一种相关噪声环境下事件触发的多传感器融合估计方法
CN109481930A (zh) * 2019-01-08 2019-03-19 张锋 一种用于训练、教学、考评的摔跤假体检测系统及其应用
CN109801314B (zh) * 2019-01-17 2020-10-02 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN111629168A (zh) * 2019-02-27 2020-09-04 欧普罗科技股份有限公司 智能观测环控系统
US11205273B2 (en) * 2019-03-11 2021-12-21 Velo Software, Llc Methods and systems of tracking velocity
ES2796977A1 (es) * 2019-05-31 2020-11-30 Rodriguez Elena Anton Metodo para correccion de la postura y dispositivo de medicion estadistica utilizado
US11789843B1 (en) 2019-07-05 2023-10-17 Cornerstone Research Group, Inc. Event detection sensor and recording system
CN112581328B (zh) * 2019-07-26 2022-11-08 重庆电子工程职业学院 学生教育监督系统
JP7151654B2 (ja) * 2019-07-26 2022-10-12 トヨタ自動車株式会社 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム
US11583729B2 (en) 2019-09-06 2023-02-21 Taylor Made Golf Company, Inc. Systems and methods for integrating measurements captured during a golf swing
KR20210039875A (ko) * 2019-10-02 2021-04-12 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN110753184A (zh) * 2019-10-17 2020-02-04 广东小天才科技有限公司 一种基于位置状态的拍摄方法、装置、设备及存储介质
WO2021090176A1 (en) 2019-11-04 2021-05-14 Trackman A/S System, device and method for master clock and composite image
US11665477B2 (en) * 2019-11-11 2023-05-30 Bushnell Inc. Location-enabled portable audio system
US11899163B2 (en) * 2019-12-30 2024-02-13 Kristopher Heineman System and method of evaluating and predicting sports conditions
CN111249595A (zh) * 2020-01-20 2020-06-09 南京大学 一种对大气污染人体指标的测量系统和方法
CN111314601B (zh) * 2020-02-17 2021-09-28 成都市喜爱科技有限公司 拍摄控制方法、装置、电子设备和计算机可读存储介质
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
CN111555941B (zh) * 2020-04-30 2021-12-17 中国科学院长春光学精密机械与物理研究所 一种通信协议测试驱动数据自动生成方法
CN111939561B (zh) * 2020-08-31 2023-09-19 聚好看科技股份有限公司 显示设备及交互方法
CN114259720B (zh) * 2020-09-15 2022-10-18 荣耀终端有限公司 动作识别方法及装置、终端设备、运动监测系统
CN112933574B (zh) * 2021-01-27 2022-05-24 北京驭胜晏然体育文化有限公司 一种多联机的室内滑雪比赛控制方法、系统和可读存储介质
CN112973084A (zh) * 2021-02-25 2021-06-18 因孚迈德公司 高尔夫挥杆分析装置以及利用其的高尔夫练习模拟系统
CN112883883A (zh) * 2021-02-26 2021-06-01 北京蜂巢世纪科技有限公司 信息提示方法、装置、介质、眼镜及程序产品
CN113012200B (zh) * 2021-03-23 2023-01-13 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
JPWO2022224998A1 (zh) * 2021-04-22 2022-10-27
US20220345591A1 (en) * 2021-04-22 2022-10-27 David Shau Underwater Camera Operations
CN113143290B (zh) * 2021-04-30 2024-01-19 西安臻泰智能科技有限公司 一种脑电装置的数据同步方法及脑电装置
CN113903003B (zh) * 2021-10-15 2022-07-29 宿迁硅基智能科技有限公司 事件发生概率的确定方法、存储介质及电子装置
US11856592B2 (en) * 2021-10-27 2023-12-26 International Business Machines Corporation Multi-dimensional mapping and user cognitive profile based device control and channel assignment
CN114724271B (zh) * 2022-02-28 2024-03-22 杭州景而腾科技有限公司 一种适用于斯诺克赛事的计时系统
US11907841B1 (en) 2023-05-01 2024-02-20 Ian Truitner Machine learning based consumer product identification system and method therefor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6254492B1 (en) * 2000-08-02 2001-07-03 Michael Taggett Sports training system and sports video game
US6537076B2 (en) * 2001-02-16 2003-03-25 Golftec Enterprises Llc Method and system for presenting information for physical motion analysis
US20030191547A1 (en) * 2001-06-12 2003-10-09 Morse Kevin C. Golf game management system
US7283647B2 (en) * 2003-07-16 2007-10-16 Mcnitt Michael J Method and system for physical motion analysis and training of a golf club swing motion using image analysis techniques
US20060025229A1 (en) * 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
US8050801B2 (en) * 2005-08-22 2011-11-01 Trane International Inc. Dynamically extensible and automatically configurable building automation system and architecture
US10026255B2 (en) * 2006-04-13 2018-07-17 Igt Presentation of remotely-hosted and locally rendered content for gaming systems
JP4686505B2 (ja) * 2007-06-19 2011-05-25 株式会社東芝 時系列データ分類装置、時系列データ分類方法および時系列データ処理装置
US8140570B2 (en) * 2010-03-11 2012-03-20 Apple Inc. Automatic discovery of metadata
US20110295843A1 (en) * 2010-05-26 2011-12-01 Apple Inc. Dynamic generation of contextually aware playlists
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US8827824B2 (en) * 2010-08-26 2014-09-09 Blast Motion, Inc. Broadcasting system for broadcasting images with augmented motion data
WO2013002653A1 (en) * 2011-06-27 2013-01-03 Chan Shun Heng Method of analysing a video of sports motion
CH705403A1 (de) * 2011-08-26 2013-02-28 Kitris Ag Vorrichtung zur Erfassung von Tennis-Spieldaten.
US20130177296A1 (en) * 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
JP6115028B2 (ja) * 2012-05-28 2017-04-19 セイコーエプソン株式会社 行動記録装置、行動記録方法及び行動記録プログラム
US8929709B2 (en) * 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US9500464B2 (en) * 2013-03-12 2016-11-22 Adidas Ag Methods of determining performance information for individuals and sports objects

Also Published As

Publication number Publication date
US20230260552A1 (en) 2023-08-17
WO2017011814A1 (en) 2017-01-19
CA3031040C (en) 2021-02-16
JP7005482B2 (ja) 2022-01-21
AU2016293613A1 (en) 2018-03-08
EP3323084A1 (en) 2018-05-23
CN108369646A (zh) 2018-08-03
JP2018530804A (ja) 2018-10-18
CA3031040A1 (en) 2017-01-19
EP3323084A4 (en) 2019-07-10
AU2016293613B2 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
US11355160B2 (en) Multi-source event correlation system
CN108369646B (zh) 多传感器事件检测和标记系统
US9911045B2 (en) Event analysis and tagging system
US9940508B2 (en) Event detection, confirmation and publication system that integrates sensor data and social media
US9406336B2 (en) Multi-sensor event detection system
US9401178B2 (en) Event analysis system
US9646209B2 (en) Sensor and media event detection and tagging system
US9418705B2 (en) Sensor and media event detection system
CN108028902B (zh) 集成传感器和视频运动分析方法
US9396385B2 (en) Integrated sensor and video motion analysis method
US9235765B2 (en) Video and motion event integration system
JP6980525B2 (ja) ビデオおよびモーション事象統合システム
WO2017011818A1 (en) Sensor and media event detection and tagging system
WO2017011811A1 (en) Event analysis and tagging system
WO2017218962A1 (en) Event detection, confirmation and publication system that integrates sensor data and social media

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant