CN108028902B - 集成传感器和视频运动分析方法 - Google Patents

集成传感器和视频运动分析方法 Download PDF

Info

Publication number
CN108028902B
CN108028902B CN201680053840.1A CN201680053840A CN108028902B CN 108028902 B CN108028902 B CN 108028902B CN 201680053840 A CN201680053840 A CN 201680053840A CN 108028902 B CN108028902 B CN 108028902B
Authority
CN
China
Prior art keywords
event
data
motion
frames
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053840.1A
Other languages
English (en)
Other versions
CN108028902A (zh
Inventor
M·本特利
B·博斯
R·卡普斯
P·古普塔
J·哈斯
B·埃斯特雷姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blast Motion Inc
Original Assignee
Blast Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/801,568 external-priority patent/US9396385B2/en
Application filed by Blast Motion Inc filed Critical Blast Motion Inc
Publication of CN108028902A publication Critical patent/CN108028902A/zh
Application granted granted Critical
Publication of CN108028902B publication Critical patent/CN108028902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6806—Gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6895—Sport equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Rheumatology (AREA)
  • Analytical Chemistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)

Abstract

一种集成传感器数据和视频分析以分析对象运动的方法。运动捕获元件为感兴趣对象生成运动传感器数据，以及摄像机生成这些对象的视频。传感器数据和视频数据在时间上同步并且在通用坐标系的空间上对齐。传感器融合用于从组合和集成的传感器数据和视频数据生成运动度量。传感器数据和视频数据的整合支持稳健的事件检测、视频高光时刻或非常失败时刻的生成增加了显示感兴趣活动的度量以及超出单独传感器或视频分析各自功能的度量的计算。

Description

集成传感器和视频运动分析方法
技术领域
本发明的一个或更多实施例涉及使用传感器数据或视频信息或者传感器和视频数据两者的运动捕获数据分析的领域。更具体来说(但是并非限制)，本发明的一个或更多实施例实现了一种将来自运动传感器和摄像机的数据进行组合以分析运动的集成传感器和视频运动分析方法，其允许与来自动作捕获传感器的运动数据同步地智能同步并且传送一般简明事件的视频，其中动作捕获传感器与用户或设备耦合。通过丢弃非事件视频或上传事件视频以及避免上传大视频的非相关部分或者丢弃非事件视频和传输事件视频，大量节省存储并提高上传速度。可以把运动事件与(多幅)图像或视频进行相关以及/或者通过其他方式与之同步，这可以在事件发生时或者在后来的某一时间基于事件的位置和/或时间或者全部二者例如在移动设备或远程服务器上进行，并且是捕获自(多台)内部/外部摄影机或保姆摄像头，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，体育、军事或者包括脑震荡在内的其他运动事件，或者与老年人相关联的摔倒事件，并且例如丢弃非事件相关的视频数据，从而大大减少针对事件视频的存储需求。传感器融合可以用来组合传感器数据和视频数据以创建集成的运动度量。
背景技术
用于分析对象的运动的方法通常使用两种方法中的一种：或者将运动传感器附接到对象并且收集和分析传感器数据，或者将视频摄像机配置为捕获运动中的对象的视频，并且对视频进行分析。一般来说，这些方法不能结合使用。例如，运动传感器可以包括捕获加速度和陀螺仪数据的惯性传感器，然后将这些数据集成起来以测量对象的轨迹。运动视频分析可以包括使用特殊反射标记的传统运动捕获系统，或使用图像处理来定位和跟踪没有标记的对象的更复杂的方法。
基于单独的传感器或基于单独的视频的运动分析方法均具有局限性。例如，基于惯性传感器的方法通常需要初始化，这并不总是可行的。它们在很长时间内也不是很准确。另一方面，基于视频的方法可能由于遮挡而丢失对象，并且它们通常具有相对较低的视频帧速率，限制了它们的精度。
虽然有一些系统可将运动传感器数据简单叠加到视频上或与视频相关联，但目前的方法通常不会集成基于传感器的运动分析和基于视频的运动分析。通过结合传感器数据分析的优势和视频运动分析的优势，这种集成提供了更加准确和完整的运动分析的潜力。完全集成存在许多技术挑战，例如传感器和视频数据源的时间同步，视频中稳健的对象识别，坐标系对齐以及不同类型信息的传感器融合。没有已知的方法可以解决所有这些技术挑战，从而形成传感器和视频集成的完整解决方案。
此外，现有的运动捕获系统处理并且潜在地存储关于实际感兴趣事件的大量数据。举例来说，已知的系统捕获来自耦合到用户或装备的加速度计数据，并且分析或监测移动。在这些情形中，数以千计或者数以百万计的运动捕获样本与静止中的或者未在移动的用户相关联，其方式与现有系统正在尝试分析的特定事件有关。举例来说，如果正在监测美式足球运动员，则大量运动数据与脑震荡事件无关，对于婴儿，大量运动数据通常与抖动事件或者例如婴儿猝死综合症(SIDS)之类的非运动事件无关，对于高尔夫球手，由安放在运动员的高尔夫球杆上的传感器捕获的大量运动数据的加速度数值较低，也就是说例如与运动员站立或等待另一位运动员或者在其他方面没有按照感兴趣的方式移动或加速度相关联。因此，对于非事件相关的数据的捕获、传输和存储增加了对于电力、带宽和存储器的需求。
此外，对于实施某种类型的运动的视频捕获可能包括甚至更大量的数据，其中的许多与例如棒球棒的挥击或本垒打之类的实际事件无关。没有已知的系统能够自动修剪视频，例如保存事件相关的视频乃至丢弃非事件相关的视频，例如通过上传例如仅仅是由动作捕获传感器确定的相关事件视频，而不上传整个原始视频，以便生成对应于在视频中发生并且例如通过运动捕获数据的分析所检测到的事件的更小的视频片段。
与监测碰撞有关的一些系统专注于线性加速度相关的碰撞。这些系统无法监测旋转加速度或速度，并且因此无法检测可能产生脑震荡的特定类型的事件。此外，出于低功率和耐久性考虑，许多这些类型的系统并不产生事件相关的无连接消息。因此，这些系统基于其缺少鲁棒特性而在其使用方面受到限制。
已知的系统也没有设想到在运动数据内进行关于事件的数据挖掘，以便基于在先前存储的运动数据内辨识出的事件的功能形成特定移动的表示，例如普通运动员或普通职业运动员等级或者任何运动员等级的挥击。因此，找到、修剪并且指定特定运动相关的事件以便例如使用在虚拟现实中是非常困难和耗时的，并且需要人工劳动。因此，当前的系统无法很容易地允许特定用户以相同用户或其他用户以及例如历史运动员的先前存储的运动事件为对手进行比赛。此外，已知的系统没有考虑到累积的碰撞，以及例如针对与脑震荡有关的数据挖掘的信息来确定一系列碰撞是否可能导致脑部功能随着时间受损。
其他类型的运动捕获系统包括针对分析和教导身体技术细节(mechanics)的视频系统。这些系统是基于对运动员进行视频记录以及对所记录的运动员的视频进行分析。这种技术存在限制，其中包括例如基于视频的不尽准确并且不尽一致的主观分析。另一种技术包括运动分析，其中例如使用至少两台摄影机来捕获与运动员相关联的移动的三维点。已知的实现方式利用静止的多摄影机系统，所述系统不够便携并且因此无法在系统的安装环境之外被利用，例如在高尔夫球巡回赛、美式足球比赛之类的体育事件期间被利用或者被利用来监测儿童或老年人。一般来说，基于视频的系统也不利用来自正在经历运动的对象上的传感器的数字运动捕获数据，这是因为基于视频的系统是针对获得并且分析具有视觉标记的图像而不是电子传感器。此外，这些固定的装置还极为昂贵。这样的现有技术在2006年1月26日提交的美国专利序列号7,264,554中进行了概述，其要求2005年1月26日提交的美国临时专利申请序列号60/645,751的权益，二者的说明书都被合并在此以作参考。全部两项公开内容都属于本申请的主题内容的相同发明人。
不管所获得的运动捕获数据如何，通常在每位用户或每次挥击的基础上对数据进行分析，其中并没有设想到移动电话上的处理，因此用户对于已有的移动电话只能购买运动捕获传感器和“应用(app)”。此外，现有的解决方案没有设想到移动使用、分析和消息传送和/或比较，或者使用来自该用户或其他用户的先前存储的运动捕获数据，或者对运动捕获数据的大型数据集合进行数据挖掘，以便例如获得或创建与一组用户相关联的运动捕获数据，比如直接高尔夫球手、网球运动员、篮球运动员或者任何其他体育运动的运动员，从而提供与“专业等级”普通或杰出虚拟现实对手相关联的事件。总而言之，运动捕获数据通常被用于即时监测或体育运动表现反馈，并且在其他领域中通常具有受限制和/或原始的使用。
已知的运动捕获系统通常利用几个被动或主动标记或者几个传感器。没有已知的系统能够利用少至一个视觉标记或传感器以及例如在用户已经拥有的移动设备上执行的应用来分析和显示与用户和/或装备相关联的运动捕获数据。所述数据通常是在实验室中并且在每位用户或每次挥击的基础上被分析的，并且除了该特定用户的运动分析或运动表示之外没有被用于任何其他目的，并且通常没有受到数据挖掘。
没有已知的系统允许例如无线传感器之类的运动捕获元件与用户或鞋具、手套、衬衫、裤子、腰带或其他装备(比如棒球棒，网球拍，高尔夫球杆，拳击手、美式足球或英式足球运动员的牙套，或者在任何其他接触性体育运动中所利用的保护性牙套)无缝集成或者通过其他方式耦合，以便在非常小的格式中进行本地分析或后来分析，从而使得用户不知道所述传感器被放置在这些项目之中或之上。没有已知的系统能够例如在高尔夫球杆的配重部(weight port)中或者在靠近把手的末端杆身处提供无缝安放装置，以便提供被配置成捕获运动数据的无线高尔夫球杆。从现有传感器导出的数据没有被保存在对应于大量事件的数据库中，并且除了运动捕获数据被采集的表现之外没有相对于任何其他事项被使用。
此外，对于利用装备和球的体育运动，没有已知的便携式系统允许用户获得关于球的飞行距离、挥击速度、装备的挥击效率或者撞击球的居中程度(也就是球的碰撞在装备上发生的位置)的即时视觉反馈。这些系统不允许用户与采集自其他用户或历史运动员或者采集自其自身的先前表现的运动捕获数据进行比赛。已知的系统不允许对来自大量挥击的运动捕获数据进行数据挖掘以便建议或允许搜索更好的或最优的装备以匹配用户的运动捕获数据，并且不允许原始装备制造商(OEM)作出商业决定，例如改进其产品、将其产品与其他制造商进行比较、超额促销产品或者联系可能购买不同的或利润更多的产品的用户。
此外，没有已知的系统利用运动捕获数据挖掘来进行装备调试，以及关于即刻购买适合运动员的装备的后续销售点决策制定。此外，没有已知的系统允许定制订单履行，比如针对体育装备的定制订单履行的面向订单装配(ATO)，例如按照基于运动捕获数据挖掘的顾客规范建立并且例如在比赛或虚拟现实比赛期间被装运给顾客以完成销售点处理的装备。
此外，没有已知的系统对于被动遵从性和监测应用使用移动设备和RFID标签。
没有已知的系统允许针对大量用户关于其运动或者相关联的装备的运动进行数据挖掘以便找到数据中的模式，从而允许基于到目前为止尚未发现的与运动有关的模式来决定商业策略。没有已知的系统允许从OEM、医疗专业人员、游戏公司或其他末端用户获得付款以允许对运动数据进行数据挖掘。
诸如归属于Lokshin，于2013年12月26日公开的、美国专利公开号20130346013以及于2013年12月12日公开的、美国专利公开号2013033054的已知系统没有考虑过仅仅上传在事件期间发生的相关视频，更确切地说是上传随后同步化的大视频。Lokshin的两个参考文献没有考虑过动作捕获传感器以基于事件来命令摄影机变更运行中的摄影机参数、例如在事件视频采集期间对慢动作提供提高的帧频，并且没有考虑过在对应于事件的视频部分期间改变重播参数。参考文献也没有考虑过生成高光时刻，其中多台摄影机可能例如从不同角度捕获事件，也没有考虑过对于给定事件选择最好的视频。此外，参考文献没有考虑过多传感器环境，其中其他传感器可以不观察或以其他方式检测事件，而传感器数据对于获取度量而言仍然是有用的，因此，参考文献没有教导在一个传感器已经识别到事件之后，保存其他传感器的事件数据。
至少出于前面描述的限制，需要一种集成传感器和视频运动分析方法。
发明内容
说明书中描述的一个或多个实施例涉及集成传感器和视频运动分析方法。本发明的实施例实现与来自动作捕获传感器的运动数据同步地智能同步并且传送一般简明事件的视频，其中动作捕获传感器与用户或设备耦合。通过上传事件视频并且避免上传大视频的不相关部分，大量节省存储并提高上传速度。提供多个视频的智能选择，例如选择具有抖动最小的一个，其中多个视频来自在给定时间覆盖某一事件的多台摄影机。在由动作捕获传感器确定的事件期间允许摄影机参数的近似实时变更以及重播参数和特殊效果的变更，以同步事件视频。创建按度量过滤的高光时刻，并且能够按度量排序。即使其他传感器不检测该事件，也结合多个传感器以保存事件数据。还允许分析或比较与同一用户、其他用户、历史用户或用户群相关的运动。至少一个实施例提供对于运动数据内的事件的智能辨识，其中包括但不限于从例如视觉标记和传感器、射频标识标签以及移动设备计算机系统之类的便携式无线运动捕获元件获得的运动捕获数据，或者所述运动捕获数据是基于与相同用户相关联的经过分析的移动而计算的，或者是与所述用户或其他用户、历史用户或用户群组进行比较。通过修剪运动数据和视频以对应于所检测到的事件，允许针对事件数据和视频数据的低存储器利用。这可以在移动设备或远程服务器上实施，并且是基于事件的位置和/或时间以及基于视频的位置和/或时间，并且可以可选地包括摄影机的指向以便进一步限制可能包括运动事件的视频。一些实施例允许基于事件的观看和低功率事件传送以及与执行在移动设备上的应用和/或与外部摄影机的通信，以便指定用以定义事件的窗口。允许图像或视频内的运动事件辨识和事件指定，比如运动员的击球、移动或挥击，运动员、拳击手、骑手或车手的脑震荡，或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作，或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或更多幅图像或视频进行相关，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，包括脑震荡在内的体育事件，或者与老年人相关联的摔倒事件。可以针对线性加速度阈值和/或模式以及旋转加速度和速度阈值和/或模式来监测脑震荡相关事件和其他事件，并且/或者在事件的基础上对其进行保存和/或通过轻量型无连接协议对其进行传输，或者前述各项的任意组合。使用运动捕获传感器数据和视频分析导出的运动数据的传感器融合生成集成的运动度量。
本发明的实施例允许用户购买应用或“app”和运动捕获元件，并且立即将所述系统与其现有的移动计算机(例如移动电话)一起使用。本发明的实施例可以向监测用户或者与运动捕获元件或装备相关联的用户显示运动信息。一些实施例还可以基于与某一用户或装备相关联的先前存储的运动捕获数据或运动分析数据或者与至少一位其他用户相关联的先前存储的运动捕获数据或运动分析数据(通过例如(而不限于)比较之类的功能)来显示基于与所述用户或装备相关联的运动分析数据的信息。这就允许精密的监测、遵从性、与从(多位)其他用户获得的运动捕获数据或模式的交互，以便例如利用从用户获得的真实运动数据来进行虚拟比赛，并且以此为基础利用先前来自该用户或者来自其他用户(或装备)的真实运动数据捕获生成响应。这种能力提供了以历史运动员为对手的比赛，例如虚拟网球比赛，或者以“普通”专业体育运动员为对手的比赛，并且直到现在为止在本领域内是未知的。
举例来说，一个或更多实施例包括至少一个运动捕获元件，其被配置成与用户、装备或者与用户耦合的移动设备相耦合，其中所述至少一个运动捕获元件包括：存储器；被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度(线性和/或旋转)相关联的数值的任意组合的传感器；无线电装置；以及与存储器、传感器和无线电装置耦合的微控制器。所述微控制器被配置成收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，并且通过无线电装置传送与事件相关联的事件数据。所述系统的实施例还可以包括被配置成在移动设备上执行的应用，其中移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口。所述计算机与无线通信接口耦合，其中计算机执行应用或“app”以便配置该计算机：从无线通信接口接收事件数据，分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，并且在显示器上显示包括与至少一位用户相关联的事件数据或运动分析数据或全部二者的信息。
一个或更多实施例包括至少一个运动捕获传感器，其被配置成放置在用户的头部附近，其中所述微控制器还被配置成计算用户头部上的撞击位置。所述至少一个运动捕获传感器的实施例可以被配置成利用任何类型的安放、封装或耦合机制而被耦合在帽子或球帽上、耦合在保护性牙套内。所述至少一个运动捕获传感器的一个或更多实施例可以被配置成与用户头部上的头盔耦合，并且其中关于用户头部上的撞击位置的计算是基于用户头部和/或头盔的物理几何结构。一些实施例可以包括例如与所述至少一个运动捕获传感器或者与微控制器耦合的温度传感器。
本发明的实施例还可以利用被配置成围绕所述至少一个运动捕获元件的隔离器以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼，从而最小化事件数据的线性加速度和旋转加速度的变换，以便获得用户脑部的观测线性加速度和观测旋转加速度。因此，一些实施例可以消除用以把来自基于头盔的加速度的力或加速度数值或者任何其他数值变换到所观测到的脑部加速度数值。因此，一些实施例利用更少的电力和存储来提供特定于事件的数据，从而又最小化数据传输的数量，从而导致更低的传输功率利用以及甚至更低的总功率利用。基于头盔中的内在衬垫的类型，在美式足球/冰球/长柄曲棍球运动员的头盔上可以利用不同的隔离器。在其中不佩戴头盔或者偶尔佩戴头盔的体育运动中所利用的其他实施例还可以利用球帽或帽子上(例如棒球运动员的帽子上)的至少一个运动捕获传感器，连同安放在击球头盔上的至少一个传感器。在其中不利用球帽的体育运动(比如英式足球)中还可以利用头带安放装置来同样确定脑震荡。在一个或更多实施例中，利用在头盔上的隔离器可以在封装中保持附着到头盔，并且传感器可以被移除并且放置在不利用匹配用户脑液的阻尼的隔离器的另一件装备上。一些实施例可以基于与特定类型的装备(也就是冲浪板相比于棒球棒)相关联的特性运动模式自动检测运动类型，并且确定运动捕获传感器当前所附着到的装备的类型。
本发明的实施例可以被配置成获得/计算线性加速度数值或旋转加速度数值或者全部二者。这就允许对于脑震荡以及线性加速度监测旋转事件。其他事件可以利用线性和/或旋转加速度和/或速度，例如与模式或模板进行比较，从而不仅在事件期间切换传感器个性以便动态地改动捕获特性，而且还表征正在与当前的运动捕获传感器一起利用的装备的类型。这就允许通过用户的单次运动捕获元件购买而使得多件装备或衣物工具化，这是通过允许传感器基于由该传感器捕获的运动与特性运动模式或模板的比较自动确定该传感器所耦合到的装备或衣物的类型。
本发明的实施例可以利用无连接广播消息来传送与事件相关联的事件数据。在一个或更多实施例中，取决于所采用的无线通信，广播消息可以包括具有有限数量的数据的有效载荷，其可以被利用来避免基于连接的协议的握手和开销。在其他实施例中，可以通过任意组合来利用无连接或基于连接的协议。
在一个或更多实施例中，计算机可以访问与用户或装备相关联的先前存储的事件数据或运动分析数据，以便例如确定脑震荡或摔倒或其他挥击或者任何其他运动事件的数目。一些实施例还可以把与至少一位用户相关联的事件数据呈现在显示器上，这是基于与所述用户或装备相关联的事件数据或运动分析数据以及与所述用户或装备或者与至少一位其他用户或其他装备相关联的先前存储的事件数据或运动分析数据。这就允许在数目或定量数值方面对运动事件进行比较，例如由所述用户或其他用户在特定比赛中或者在历史上观测到的最大旋转加速度。此外，定义对应于典型事件的特定装备的特性运动的模式或模板可以被动态地更新，例如在中央服务器上或者在本地更新，以及在一个或更多实施例中通过无线接口在运动捕获传感器中动态地更新。这就允许传感器随着时间改进。
本发明的实施例可以例如通过广播电视或因特网传送信息以便在与计算机或远程计算机耦合的视觉显示器上进行显示。所述显示器的实施例还可以被配置成接受子事件时间位置，以便提供沿着整个事件的时间线的离散滚动。举例来说，高尔夫球挥击可以包括例如瞄准(address)、向后挥动、向前挥动、击打、保持姿势(follow through)之类的子事件。系统可以显示对应于子事件的时间位置并且接受所述位置附近的用户输入，以便确定视频应当在该时间点处开始或停止，或者例如滚动到或者回到该时间点以易于观看子事件。
本发明的实施例还可以包括与所述至少一个运动捕获传感器或用户或装备耦合的标识符。在一个或更多实施例中，所述标识符可以包括团队和队服号码或者学生标识符号码或证件号码或者任何其他标识符，其允许相对唯一地标识来自特定用户或装备的特定事件。这就允许关于被配置成接收与特定运动员或用户相关联的数据的应用(app)标识具有多位运动员或用户的团队体育运动或位置。一个或更多实施例接收标识符，例如与运动员或用户相关联的被动RFID标识符或MAC地址或其他序列号，并且把标识符与事件数据和运动分析数据相关联。
所述至少一个运动捕获传感器的一个或更多实施例还可以包括被配置成在事件发生的情况下输出光的发光元件。这可以被利用来在头盔的外侧部分显示潜在、轻度或重度脑震荡，而无需例如针对任何外部设备的任何通信。还可以利用不同的颜色或闪光间隔来传达与事件有关的信息。替换地或者与之相组合，所述至少一个运动捕获元件还可以包括音频输出元件，其被配置成在事件发生的情况下或者在所述至少一个运动捕获传感器处于计算机的范围之外的情况下输出声音，或者其中所述计算机被配置成在所述至少一个运动捕获传感器处于计算机的范围之外的情况下显示告警，或者前述各项的任意组合。传感器的实施例还可以利用LCD，其例如在快速响应(QR)代码或条形码中输出当前事件的已编码分析，从而例如使得裁判员可以在移动设备上本地获得分析代码的快照，并且使得事件不会在传感器上以可读形式被观看或者被无线传送并且被其他任何人拦截。
在一个或更多实施例中，所述至少一个运动捕获元件还包括与微控制器耦合的位置确定元件。这例如可以包括GPS(全球定位系统)设备。替换地或者与之相组合，所述计算机可以协同另一台计算机对位置进行三角定位，或者从任何其他三角定位类型的接收器获得位置，或者基于通过与所述计算机耦合并且已知指向特定方向的摄影机捕获的图像来计算位置，其中所述计算机例如基于图像内的对象的方向和尺寸来计算与移动设备的偏移量。
在一个或更多实施例中，所述计算机还被配置成从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频。这可以包括从特定的邻近摄影机或者指向事件方向的摄影机请求视频的广播消息。在一个或更多实施例中，所述计算机还被配置成广播针对邻近事件或者被指向来观看事件的摄影机位置的请求，并且可选地对于围绕感兴趣事件的持续时间显示可用的摄影机或者来自该处的视频。在一个或更多实施例中，所述计算机还被配置成显示事件发生的一个或更多时间的列表，从而允许用户通过所述计算机获得所期望的事件视频，并且/或者从具有所期望的事件时间的第三方独立地请求视频。
在一个或更多实施例中，所述至少一个运动捕获传感器与移动设备耦合，并且例如使用处于移动设备内或者与移动设备耦合的内部运动传感器。这就允许利用普遍存在的最低程度的硬件来进行运动捕获和事件辨识，例如使用具有内建加速度计的移动设备。在一个或更多实施例中，第一移动设备可以与记录运动数据的用户耦合，第二移动设备则被利用来记录运动的视频。在一个或更多实施例中，正在经历运动的用户可以给出手势，例如在移动设备上敲击N次，从而表明第二用户的移动设备应当开始记录视频或停止记录视频。可以利用任何其他手势在移动设备之间传送事件相关或运动相关的指示。
所述至少一个运动捕获传感器的实施例可以包括温度传感器，或者所述微控制器可以通过其他方式与温度传感器耦合。在这些实施例中，微控制器被配置成传送获得自温度传感器的温度以作为温度事件，例如作为中暑或体温过低的潜在指示。
因此，本发明的实施例可以辨识任何类型的运动事件，其中包括与用户、装备或移动设备的任意组合相耦合的至少一个运动捕获传感器的相关联的运动有关的事件，或者与表明站立、行走、摔倒、中暑、疾病突发、剧烈抖动、脑震荡、碰撞、步态异常、呼吸异常或没有呼吸或者其任意组合的运动有关的事件，或者具有期间发生运动的持续时间的任何其他类型的事件。
本发明的实施例可以利用运动捕获数据上的数据挖掘来获得对应于用户、装备的模式，或者在本发明的特定实施例中使用给定用户或其他用户的运动捕获数据或事件。数据挖掘涉及在大型数据库中发现新的模式，其中所述模式是先前所不知道的。可以对数据应用许多方法以便发现新的模式，其中例如包括统计分析、神经网络以及人工智能。由于存在大量的数据，因此可以由一台或更多台计算机实施自动化数据挖掘以便找到数据中的未知的模式。未知的模式可以包括相关数据的分组、数据中的异常、数据元素之间的相关性、以最小的误差对数据进行建模的分类和功能或者任何其他类型的未知模式。数据挖掘结果的显示可以包括与大量纯粹未经处理的数据相比按照用户更容易理解的方式概括新发现的模式的显示。数据挖掘处理的其中一项结果是改进的市场研究报告、产品改进、消费勘察(lead generation)以及目标化销售。通常来说，将受到数据挖掘的任何类型的数据必须被清理(cleanse)、数据挖掘，并且其结果通常被验证。企业通过使用数据挖掘可以增加收益。本发明的实施例的益处的实例包括基于在数据中发现的模式针对高度目标个人的顾客关系管理。此外，购物篮分析数据挖掘允许识别由相同的个人购买或拥有的产品，其可以被利用来向拥有一项产品但是不拥有通常由其他用户所拥有的另一项产品的用户推销产品。
数据挖掘的其他领域包括对来自不同用户的大型运动数据集合进行分析，以便基于来自其他用户的表现数据建议用以改进表现的练习。举例来说，如果一位用户相比于普通用户在挥击期间的臀部旋转更少，则可以由系统建议用以改进柔韧性或力量的练习。在高尔夫球场实施例中，高尔夫球场规划者可以通过高尔夫球场上的大量用户来确定哪些球洞的长度或难度应当被调节，以便获得对应于每个球洞的平均杆数的更加离散的数值，或者用于确定高尔夫球手之间的时间量，例如特定日间时或者对应于特定年龄的高尔夫球手的时间量。此外，数据挖掘的体育和医疗应用包括确定用户表现随着时间的形态改变，例如相比于食谱或练习改变来确定什么对于表现的改进最多，或者例如什么日间时、温度或其他条件所产生的挥击事件会导致最远的发球或最低的分数。通过对于特定用户或者关于其他用户使用运动捕获数据允许健康护理遵从性，从而例如确保患有糖尿病的人在一天当中移动特定数量，并且还允许形态分析以便确定用户的运动或运动范围随着时间如何改变。可以利用运动捕获数据进行比赛，从而允许以历史上的伟大运动员或其他用户为对手进行虚拟现实比赛。举例来说，某人可以针对同一人的先前表现进行比赛，或者可以针对朋友的运动捕获数据进行比赛。这就允许用户在虚拟现实环境中的历史体育场或场所中进行比赛，但是运动捕获数据例如是先前从该用户或其他用户采集的。军事规划者可以利用运动捕获数据来决定哪些士兵最为适合并且因此有资格参加特殊行动或者哪些士兵应当退役，或者由教练例如基于运动员所经受的脑震荡事件及其严重性来决定运动员何时应当休息，并且潜在地基于其中其他用户在脑震荡相关事件之后提升了表现的所挖掘的时间段作出决定。
所述系统的实施例通过例如执行在移动设备上的应用来实施运动捕获和/或显示，所述移动设备可以包括视觉显示器和可选的摄影机，并且能够从例如视觉标记和/或无线传感器之类的至少一个运动捕获元件获得数据。所述系统还可以与独立式摄影机或者多台移动设备上的摄影机集成在一起。所述系统还允许用户通过多种方式来分析和显示运动捕获数据，从而提供与运动捕获数据相关联的即时并且容易理解的图形信息。在所述系统中所利用的运动捕获元件智能地存储例如与击球、滑雪回转、跳跃等等相关联的事件有关的数据，并且消除错误事件，从而显著改进存储器使用并且最小化存储需求。此外，例如可以对于与体育装备相关联的多于一个事件存储数据，例如必要的话存储多次挥棒或者对应于整轮高尔夫球比赛的数据，至少直到数据被下载到移动设备或因特网为止。还可以利用对于所捕获数据的数据压缩，以便在给定数量的存储器中存储更多运动捕获数据。在所述系统中所利用的运动捕获元件还可以被配置成智能地将其电路的某些部分断电以便节省电力，例如将收发器断电直到检测到特定类型的运动为止。本发明的实施例还可以利用灵活电池连接器以便并行地耦合两块或更多块电池，从而增加在更换电池之前可以利用系统的时间。运动捕获数据通常被存储在例如本地数据库之类的存储器中或者被存储在网络可访问的数据库中，其中的任一项都允许前面所描述的数据挖掘。利用本发明的实施例可以实施任何其他类型的数据挖掘，其中包括搜索与一位或更多位用户有关的数据的时间改变，或者简单地搜索与特定用户或装备有关的数据。
其他实施例可以基于运动相关数据显示例如音乐选择或者将要播放的音乐列表之类的信息。这例如允许将表现与另一位用户的表现进行比较并且选择另一位用户所播放的音乐类型，或者相对于阈值来比较表现，所述阈值确定将要建议或显示何种类型的音乐选择。
针对体育运动的本发明的实施例例如允许将RFID或被动RFID标签放置在用户所移动的物品上，其中所述系统的实施例跟踪运动。举例来说，通过把被动RFID标签放置在特定的头盔或球帽或者用于拳击、美式足球、英式足球或其他接触性体育运动的保护性牙套上并且特别是放置在健身房中的哑铃上，并且通过佩戴例如手套之类的运动捕获元件以及利用例如
Figure BDA0001598682290000131
之类的已有的移动设备，本发明的实施例提供了自动安全遵从性或适合度以及/或者健康护理遵从性。这是通过跟踪运动并且通过RFID或被动RFID跟踪用户所举的重量而实现的。因此，本发明的实施例可以加上重复次数乘以由每一个RFID标签所表明的重量，从而计算用户所燃烧的卡路里数。在另一个实例中，RFID标签与固定自行车耦合，或者其中固定自行车可以模拟标识符并且/或者无线通信以便提供表现数据，并且其中移动计算机包括RFID读取器，并且可以对用户腿部的旋转次数进行计数。对于RFID或被动RFID的任何其他使用都符合本发明的精神。这就允许医生远程确定用户是否遵从其医疗建议，或者超出例如表明脑震荡的线性或旋转加速度。一些实施例因此可以由用户利用来确保遵从性，并且由医生利用来降低其职业过失保险费率，这是因为医生正在确保其患者遵从其推荐，尽管是通过远程方式。本发明的实施例对于医疗遵从性并不要求RFID标签，但是可以利用RFID标签。针对高尔夫球的本发明的实施例还允许通过使用每一根球杆上的例如RFID标签之类的标识符(或者可选地通过与高尔夫球杆上的运动捕获电子装置相关联或者通过无线电装置远程获得的标识符)以及移动计算机对与高尔夫球手相关联的每一根球杆的高尔夫球击球进行计数，所述移动计算机例如是配备有RFID读取器的
Figure BDA0001598682290000141
其把对于高尔夫球击球计数的处理集中在移动计算机上而不是每一根高尔夫球杆上。本发明的实施例还可以允许利用惯性测量单元或加速度计和/或磁力计以及/或者陀螺仪来测量指向(北/南，以及/或者两个水平轴和垂直轴)。对于高尔夫球击球计数并不要求这一点，但是一个或更多实施例可以例如通过振动分析确定高尔夫球杆何时打中高尔夫球，并且随后向高尔夫球手询问是否计数击球。这一功能例如可以与速度或加速度阈值或者范围检测相组合，以便确定高尔夫球杆是否在可接受的速度或范围内行进，或者是否处于对应于应当计数的“击中”的加速度或范围内。还可以利用小波来与有效挥击签名进行比较，从而例如消除计数击球或者消除错误击打。该范围在不同的球杆之间可以有所不同，例如开球杆速度范围可以是“高于30mph”，推杆速度范围则可以是“低于20mph”，对于任何球杆可以按照期望利用任何范围，或者例如可以忽略所述速度范围。替换地或者与之相组合，移动计算机可以只在高尔夫球手没有在侧向移动(也就是处于高尔夫球车中或者正在行走)时才向高尔夫球手询问是否计数击球，并且/或者其中高尔夫球手可能进行了旋转或者进行了击球，正如与移动计算机耦合的指向或陀螺仪传感器所确定的那样。例如可以在移动计算机上的地图上示出击球的位置。此外，可以把具有无线电装置的GPS接收器放置在球座标记内和球穴(cup)中以便给出关于距离的每日更新，并且例如帮助读取推杆和果岭。高尔夫球手还可以佩戴虚拟眼镜，其允许高尔夫球手看到高尔夫球场地图、当前位置、到球洞的距离、当前球洞的击球次数、击球总数以及任何其他所期望的量度。如果例如通过GPS所确定的那样，用户从击球处移动了特定距离而没有计数击球，系统可以提示用户是否计数击球。所述系统不需要用户启动球杆上的开关以计数击球，并且不需要每一根球杆上的LED或者有源或电池供电的电子装置来计数击球。移动计算机还可以接受来自用户的手势以便计数击球或不计数击球，因此高尔夫球手不必取下任何手套以操作移动计算机。对于利用位置/指向传感器的实施例，系统可以只有在球杆处于垂直指向时并且例如在检测到撞击时才计数击球。所述装置还可以包括允许标识特定装置的标识符。所述标识符例如可以是序列号。所述标识符例如可以是源自每一根高尔夫球杆上的RFID标签，或者可选地可以包括与高尔夫球杆的相关联的运动捕获元件相关联的序列号或其他标识符。通过利用该装置允许标识特定高尔夫球手、特定球杆，并且还允许与包括电视和/或移动设备的系统一起进行运动捕获和/或显示，其中所述移动设备具有视觉显示器和可选的摄影机，并且能够从例如视觉标记和/或无线传感器之类的至少一个运动捕获元件获得数据。所述系统还可以与独立式摄影机或者多台移动设备上的摄影机集成在一起。所述系统还允许用户通过多种方式来分析和显示运动捕获数据，从而提供与运动捕获数据相关联的即时并且容易理解的图形信息。所述装置还允许系统确定撞击关于球和装备(例如高尔夫球杆)的“居中”程度。所述系统还允许包括鞋具、球杆等装备的调试，并且即使装备需要来自销售商的定制面向订单装配请求也允许即刻购买装备。一旦由所述系统获得了运动捕获数据、视频或图像以及击球计数指示，可以将其例如本地存储在本地数据库中，或者例如通过电话或无线接口发送到远程数据库。一旦处于数据库中，包括与用户相关联的任何数据的各种元素(比如年龄、性别、身高、体重、地址、收入或者任何其他相关信息)就可以被利用在本发明的实施例中并且/或者受到数据挖掘。一个或更多实施例允许用户或OEM例如针对所述系统的数据挖掘能力的访问进行付费。
举例来说，利用运动捕获元件的实施例允许分析从所述装置获得的数据，并且允许把与用户相关联的独有显示(比如3D叠加)呈现到用户身体的图像上，以便通过视觉方式描绘所捕获的运动数据。此外，这些实施例还可以利用对于高达50米的范围使用例如
Figure BDA0001598682290000151
低能量之类的主动无线技术，以便与高尔夫球手的移动计算机进行通信。例如作为接收到高尔夫球杆ID的结果(例如通过RFID读取器或者替换地通过例如使用
Figure BDA0001598682290000152
低能量或IEEE 802.11的无线通信)，本发明的实施例还允许显示针对计数击球的询问。通过使用
Figure BDA0001598682290000153
低能量芯片允许球杆利用标准的硬币单元电池处于睡眠模式长达3年，从而减少了所需的维护。本发明的一个或更多实施例例如可以利用多于一种技术的多于一个无线电装置。这就允许提高系统鲁棒性的一定程度的冗余性。举例来说，如果一个无线电装置(例如
Figure BDA0001598682290000161
无线电装置)不再工作，则IEEE 802.11无线电装置可以被利用来传输数据并且向高尔夫球手警告其中一个无线电装置不再工作，同时仍然允许高尔夫球手记录运动数据并且对于特定球杆相关联的击球进行计数。对于利用不具有(多台)摄影机的移动设备(或者多于一台移动设备)的本发明的实施例，可以利用传感器数据生成所捕获的运动数据的显示，同时所述移动设备可以可选地从其他摄影机或者具有摄影机的其他移动设备获得图像。举例来说，可以利用或者不利用用户的图像的显示类型可以包括评定、所计算的数据以及时间线数据。还可以通过具有或不具有用户图像的数字或图形数据的形式向用户显示与所捕获的运动相关联的评定，例如“效率”评定。其他评定可以包括例如用于确定脑震荡和其他事件的线性加速度和/或旋转加速度数值。可以在利用或不利用用户身体的图像的情况下在移动设备上计算并且显示所计算的数据，比如预测球飞行路径数据。还可以在具有或不具有用户的图像的情况下显示描绘在时间线上的数据，以便例如显示出对应于装备或用户身体的各个部分的相对速度峰值。来自多台摄影机(包括多台移动设备)并且例如是来自高尔夫球迷群体的图像可以被组合到BULLET
Figure BDA0001598682290000162
视觉效果中，所述视觉效果是通过在正常速度下并且在各个角度下围绕高尔夫球手示出的高尔夫球挥击的慢动作来表征的。全部所分析的数据可以在本地被显示，或者连同运动捕获数据、图像/视频、击球计数和位置数据一起被上传到数据库并且可以在其中经历数据挖掘处理，其中所述系统例如可以针对结果的访问收取费用。
在一个或更多实施例中，用户例如可以在某一高尔夫球场上打球或者打网球或者简单地进行挥击以生成运动捕获数据，并且在佩戴虚拟现实眼镜时看到另一位用户的化身，不管是虚拟的还是增强现实环境中的真实化身。在其他实施例中，用户移动与任何体育运动相关联的装备或者简单地移动与运动捕获传感器耦合的该用户自己的身体，并且观看显示在虚拟现实眼镜中的该用户的移动或如此工具化的装备的移动的虚拟现实环境。替换地或者与之相组合，可以利用虚拟现实房间或其他环境来投影虚拟现实化身和运动数据。因此，所述系统的实施例可以允许真实高尔夫球场上的用户与不同位置处的并没有在实际击球的另一位用户进行比赛，以及与其运动数据已被分析的历史运动员或者基于一个或更多运动捕获数据序列的数据挖掘构造的用户进行比赛，并且由所述系统的一个实施例利用来投影历史运动员的化身。所述三位运动员当中的每一位可以依次比赛，就如同其身处相同的地点一样。
可以通过许多方式来显示运动捕获数据和/或事件，例如在运动捕获期间或之后发推文到社交网络。举例来说，如果进行了特定数量的练习或运动或者消耗了特定数量的卡路里，或者获得了新的体育运动能力指数最大值，则所述系统可以自动把新的信息发推文到社交网站，从而可以通知连接到因特网的任何人。运动捕获数据、运动分析和视频可以在一个或多个实施例中传送到一个或多个社交媒体网站、储存库、数据库、服务器、其他计算机、查看器、显示器，其他移动设备、紧急服务或公共机构。上传到因特网(也就是远程数据库或远程服务器或者远离系统的存储)的数据可以由获得对于数据的访问的任何计算机观看、分析或进行数据挖掘。这就允许远程遵从性推文发送(tweeting)和/或遵从性和/或原始装备制造商对于给定用户确定什么用于遵从性的装备或者用于体育运动相关的实施例的体育装备工作得最好，以及/或者将要建议什么装备。数据挖掘还允许基于与用户相关联的数据和/或元数据建议用户改进其遵从性和/或体育运动场所(包括高尔夫球场)的规划，比如年龄或者可以被输入到系统中的任何其他人口统计信息。数据的远程存储还允许医疗应用，比如形态分析、随着时间的运动范围和糖尿病防治，以及如前所述的练习监测和遵从性应用。其他应用还允许使用来自其他用户或历史运动员的真实运动捕获数据进行比赛(例如在分析历史运动员的视频之后，不管所述历史运动员是否在世)。虚拟现实和增强虚拟现实应用还可以利用运动捕获数据或历史运动数据。例如指挥官和/或医生之类的军事人员可以利用运动和/或图像来确定人在简易爆炸装置附近的爆炸下经历了什么类型的重力，并且自动把最佳类型的医疗救助安排到运动捕获传感器的位置。所述系统的一个或更多实施例可以例如通过无线通信链接把超出重力或速度阈值的运动捕获数据中继到其上级指挥官或者最近的医疗人员处。或者，本发明的实施例可以向正在侦听的任何移动设备(例如裁判员的移动电话)广播轻量型无连接脑震荡相关消息，以便帮助对受伤运动员进行救助，其中所述轻量型消息包括可选的团队/队服号码以及加速度相关数字，比如潜在的/可能的脑震荡警告或指标。
在本发明的一个或更多实施例中，比如网球巡回赛、美式足球比赛、棒球比赛、汽车或摩托车竞赛、高尔夫球巡回赛或者其他体育事件处的固定摄影机可以与位于具有运动捕获元件的运动员/装备附近的无线接口一起被利用，以便获得、分析和显示运动捕获数据。在该实施例中，可以在视频上显示实时或接近实时的运动数据以用于增强视频重放。因此，通过以视觉方式显示装备在击球期间移动得有多快而导致娱乐程度的提升，例如围绕运动员的臀部和肩部画出圆圈。本发明的实施例还允许在与另一位用户有关的移动设备上利用来自其他具有移动设备的运动员的图像或视频，从而使得用户例如不需要交换移动电话。在一个实施例中，当由第一用户针对不与具有配备视频摄影机的移动电话的第二用户相关联的运动中的体育装备获得视频时，可以将所述视频自动传输到第一用户，以便利用与第一用户相关联的运动捕获数据进行显示。视频和图像可以被上传到数据库中并且通过图像分析被数据挖掘，以便例如确定用户正在穿戴的衣物或鞋具的类型/颜色。
基于数据的显示，用户可以确定最适合的装备，并且即刻通过移动设备购买装备。举例来说，当要在两副雪橇之间作出决定时，用户可以试用通过运动捕获元件工具化的全部两副雪橇，其中对运动捕获数据进行分析以便确定哪一副雪橇允许更加高效的移动。对于高尔夫球实施例，当要在两根高尔夫球杆之间作出决定时，用户可以利用不同的球杆进行挥击，并且基于对所捕获的运动数据的分析定量地确定哪一根球杆的性能更好。可以通过移动设备上的界面从销售商处订购定制装备，销售商可以面向订单装配定制装备并且例如将装备托运到用户处。例如可以基于随着用户利用可调节长度的杆身进行推杆时所捕获的运动数据，针对特定用户定制例如具有标准长度的推杆的杆身长度。例如基于对运动捕获数据以及击球计数数据和距离的数据挖掘，允许把具有类似挥击特性的用户与当前用户进行比较，其中例如可以为用户建议或搜索对于具有特定身材和年龄的用户的给定挥击速度给出更长的击球的装备，以便改进表现。对于给定的挥击速度，OEM还可以确定哪种牌子和型号的球杆给出最佳的总体表现。本领域技术人员将认识到，这适用于涉及运动的所有活动而不仅是高尔夫球。
所述系统的实施例可以利用多种传感器类型。在本发明的一个或更多实施例中，主动传感器可以与允许利用被动或主动视觉标记的系统集成在一起，以便捕获用户身体或装备上的特定点的运动。这可以简单地按照二维方式来实施，或者如果移动设备配置有两台或更多台摄影机，或者如果多台摄影机或移动设备被利用来捕获图像(比如视频)并且共享所述图像以便从获得自每一台摄影机的二维图像的集合创建三角定位的三维运动数据，则也可以按照三维方式来实施。本发明的另一个实施例可以利用惯性测量单元(IMU)或者可以为移动设备产生指向、位置、速度和/或加速度信息的任意组合的任何其他传感器。因此，所述传感器可以获得的数据可以包括与指向(垂直或北/南或全部二者)、位置(通过全球定位系统(也就是“GPS”)或者通过三角定位)、速度(全部三个轴中)、加速度(全部三个轴中)相关联的一个或更多数值的任意组合。从各种传感器类型获得的所有运动捕获数据都可以被保存在数据库中以用于分析、监测、遵从性、比赛或其他用途以及/或者数据挖掘，而不管传感器类型如何。
在本发明的一个或更多实施例中，可以利用在传感器的外侧表面上包括被动标记或主动标记的传感器，从而使得传感器还可以被利用与视觉跟踪(二维或三维)以及用于指向、位置、速度、加速度、角速度、角加速度、或者由传感器产生的任何其他物理量。(多个)运动捕获元件的视觉标记实施例可以是被动的或主动的，这意味着其或者可以具有能够被视觉跟踪的视觉部分，或者可以包括允许在低光条件下进行图像跟踪的发光元件，比如发光二极管(LED)。这例如可以通过把手附近的杆身末端处或者球杆头部处的高尔夫球杆的相对末端处的图形符号或有色标记来实施。标记的图像或视频可以在本地被分析，或者被保存在数据库中并且分析，并且随后被利用在数据挖掘中。此外，对于脑震荡相关的实施例，视觉标记可以发出表明脑震荡的光，例如对应于中度脑震荡的黄色闪光或者对应于重度脑震荡的快速红色闪光，或者任何其他视觉或可选的音频事件指标或全部二者。正如前面所讨论的那样，LCD可以输出本地视觉已编码消息，从而使其不会被不具有被装备成能够读取所述代码的本地移动设备的任何人拦截或者通过其他方式读取。例如对于脑震荡或瘫痪相关的事件，这就允许仅由裁判员或本地医疗人员读取敏感的医疗消息。
运动捕获传感器的实施例通常可以被安放在体育装备(比如高尔夫球杆)的一个或更多末端或相对末端上或其附近以及/或者其间的任何位置(用于EI测量)，并且可以与耦合到装备的其他传感器集成在一起，比如武器、医疗装备、腕带、鞋具、裤子、衬衫、手套、球杆、球棒、球拍、球、头盔、球帽、牙套等等，并且/或者可以通过任何可能的方式附着到用户身上。例如附着到步枪上，以便确定当由运动捕获传感器检测到后坐力时步枪正指向何处。该数据例如可以利用移动计算机(比如移动电话)或其他设备被传送到中央服务器并且被分析，以用于军事演习实践。此外，所述传感器的一个或更多实施例可以装配到高尔夫球杆的配重部中以及/或者装配在高尔夫球杆的把手末端中。其他实施例例如可以装配到网球拍或棒球棒的把手或末端中。与安全或健康监测有关的实施例可以与球帽、头盔和/或牙套耦合，或者处于任何其他类型的封装中。本发明的一个或更多实施例还可以利用集成有传感器的球进行操作。移动设备的一个或更多实施例可以包括小型可安放计算机，比如
Figure BDA0001598682290000201
Figure BDA0001598682290000202
或
Figure BDA0001598682290000203
Figure BDA0001598682290000204
其可以具有或者不具有集成的显示器，并且小到足以安放在体育装备的杆身上并且不会影响用户的挥击。或者，所述系统可以计算与由运动员移动的装备发生接触的球的虚拟飞行路径。例如对于棒球棒或网球拍或者高尔夫球杆，其中高尔夫球杆具有集成到球杆击打高尔夫球的末端的另一部分的配重部中的传感器，并且具有位于高尔夫球杆的把手尖部处或者由运动员佩戴的一只或更多只手套中的第二传感器，可以对于球杆计算撞击角度。通过知道球杆击球面的倾斜角度(loft)，可以对于高尔夫球计算飞行角度。此外，通过以足够高的速度对球杆末端处的传感器进行采样以便确定表明高尔夫球在何处打中球杆的击球面的振荡，可以确定撞击的质量。这些类型的测量及其分析帮助运动员作出改进，并且出于调试的目的允许运动员即刻购买合适的装备。居中(centering)数据可以被上传到数据库并且被数据挖掘，以便例如在制造商的基础上找到与具有最佳平均居中或最低扭矩数值的球棒、球拍或球杆有关的模式，以用于产品改进。在数据中所发现的任何其他未知的模式也可以被呈现或建议给用户或者由用户进行搜索，或者例如由制造商或用户为之付费。
传感器的一个或更多实施例可以包含例如机械偏心配重之类的充电特征，正如在被称作“自动”或“自动上发条”手表的一些手表中所利用的那样，其中可选地包括小型发电机或者用于传感器供电装置的间接电机械充电的感应充电线圈。其他实施例可以利用用于传感器供电装置的直接充电的插头或者基于电机械或微机电的充电元件。在本发明的一个或更多实施例中可以利用任何其他类型的电力微采集技术。传感器的一个或更多实施例可以利用电力节省特征，其中包括使得传感器通电或断电的手势。这样的手势可以包括运动、物理开关、与传感器的接触、例如从与特定传感器相关联的移动设备去到传感器的无线命令。可以与传感器耦合的其他元件例如包括电池、低功率微控制器、天线和无线电装置、热同步(heat sync)、再充电器以及过充电传感器。此外，本发明的实施例允许将系统的一部分或全部组件断电，例如直到来自加速度计的电子信号或机械开关确定球杆已移动为止。
本发明的一个或更多实施例例如允许体育装备以及甚至身体的弹性惯性或EI测量。传感器的实施例沿着高尔夫球杆的杆身、网球拍、棒球棒、冰球棍、鞋具、人的手臂或者并非完全坚硬的任何其他物品的放置允许测量传感器所处的点或者传感器之间的点处的屈曲的数量。每一个传感器随着时间的角度差异不仅允许计算屈曲分布，而且还允许计算取决于时间或力的屈曲分布。举例来说，已知的EI机器使用支撑点之间的静态配重来确定EI分布。因此这些机器无法检测EI分布是取决于所施加的力还是取决于施加力的时间，例如EI分布关于力或时间可以是非线性的。已知关于时间具有不同物理属性的示例性材料包括麦克斯韦材料以及非牛顿流体。
用户还可以在移动设备的显示器上以图形形式观看所捕获的运动数据，或者例如在包含视频显示器的一副眼镜上观看。从运动捕获元件的实施例获得的所捕获的运动数据还可以被利用来增强虚拟环境中的对于用户的虚拟现实显示。通过数据挖掘在数据库中找到的模式的虚拟现实或增强现实视图也符合本发明的精神。用户还可以看到例如瞄准辅助或瞄准引导之类的增强信息，其例如基于现有的风力条件或者考虑到危险(例如挡在对于球所期望的目的地(比如高尔夫球洞)中途的树)显示出应当尝试在何处击球。
本发明的一个或更多实施例包括运动事件辨识和视频同步系统，其包括被配置成与用户或装备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件。所述至少一个运动捕获元件可以包括：存储器；被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度和加速度相关联的数值的任意组合的传感器；无线电装置；与存储器、传感器和无线电装置耦合的微控制器。所述微控制器可以被配置成收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，通过无线电装置传送与事件相关联的事件数据。所述系统还可以包括移动设备，所述移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口，其中所述计算机与无线通信接口耦合，其中所述计算机被配置成从无线通信接口接收事件数据。所述计算机还可以分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，从事件获得事件起始时间和事件停止时间，从摄影机请求包括至少在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频的图像数据，并且在显示器上显示事件视频，其中包括全部以下两项：在从事件起始时间到事件停止时间的时间跨度期间所发生的事件数据、运动分析数据或者其任意组合；以及在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频。
一些实施例可以使用任何类型的同步方法来同步系统中的时钟，并且在一个或更多实施例中，移动设备上的计算机还被配置成确定运动捕获元件与移动设备之间的时钟差异，并且把运动分析数据与视频同步。举例来说，本发明的一个或更多实施例提供用于使得多台记录设备同步关于每一台设备的时间、位置或指向的信息的规程，从而可以组合来自不同设备的关于事件所记录的数据。这样的记录设备可以是嵌入式传感器、具有摄影机或麦克风的移动电话，或者更一般来说是可以记录与感兴趣的活动相关的数据的任何设备。在一个或更多实施例中，这一同步是通过在设备之间交换信息来实现的，从而使得各台设备可以在针对时间、位置或指向的共同测量方面达成一致。举例来说，移动电话和嵌入式传感器可以交换带有其内部时钟的当前时间标记的消息；这些消息允许发生协商，其中两台设备在共同时间方面达成一致。这样的消息可以按照需要周期性地交换，以便解决前一次同步之后的设备的时钟漂移或运动。在其他实施例中，多台记录设备可以使用共同的服务器或服务器集合以获得时间、位置或指向的标准化度量。举例来说，设备可以使用GPS系统来获得对应于每一台设备的绝对位置信息。GPS系统还可以被用来获得标准化时间。NTP(网络时间协议)服务器还可以被用作标准化时间服务器。通过使用服务器允许各台设备在共同测量方面达成一致，而不必总是被配置来彼此通信。
在本发明的一个或更多实施例中，其中一些记录设备被配置成检测各种感兴趣事件的发生。一些此类事件可能在特定时刻发生；其他此类事件可能在一段时间间隔内发生，其中所述检测包括检测事件的起始和事件的结束。这些设备被配置成利用前面所描述的对应于时间、位置和指向的同步测量基础对记录设备的时间、位置或指向的任意组合连同事件数据进行记录。
移动设备上的计算机的实施例还可以被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频。举例来说，在本发明的一个或更多实施例中，其中一些记录设备在等待检测事件的同时持续地把数据捕获到存储器。为了节省存储器，一些设备可以被配置成只有当数据在时间上邻近所检测到的事件时才把该数据存储到更加永久性的本地存储介质或者存储到服务器。例如在没有检测到事件的情况下，新记录的数据可以最终在存储器中覆写先前记录的数据。在一些实施例中可以把循环缓冲器用作此类覆写方案的一种典型实现方式。当事件检测发生时，除了存储在事件本身期间捕获的数据之外，记录设备可以存储事件起始之前的某一所配置的数据量以及事件结束之后的某一所配置的数据量。任何在前或在后的时间间隔都被视为事件起始时间和事件停止时间的一部分，从而使得例如在视频中示出事件的情境。在具有摄影机的移动设备或摄影机本身上仅仅保存对应于事件的视频，节省大量的空间并且彻底减少上传时间。
所述系统的实施例还可以包括远离移动设备的服务器计算机，其中服务器计算机被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且把在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频返回到移动设备中的计算机。
所述至少一个运动捕获元件的实施例可以被配置成把事件传送到至少另一个运动捕获传感器或者至少另一台移动设备或者其任意组合，并且其中所述至少另一个运动捕获传感器或至少另一台移动设备或者其任意组合被配置成保存与事件相关联的数据。例如在具有同时操作的多台记录设备的实施例中，一台此类设备可以检测到事件，并且向其他记录设备发送表明这样的事件检测已经发生的消息。该消息可以包括事件的起始和/或停止的时间标记，其中对于各台设备的时钟使用同步时间基础。接收设备(例如其他运动捕获传感器和/或摄影机)可以使用事件检测消息把与事件相关联的数据存储到非易失性存储装置或者存储到服务器。除了与事件直接相关联的数据之外，所述设备可以被配置成存储事件起始之前的一定数据量以及事件结束之后的一定数据量。通过这种方式，所有设备可以同时记录数据，但是使用来自仅仅其中一台设备的事件触发以发起对于来自多个来源的分布式事件数据的保存。
计算机的实施例还可以被配置成保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据，或者可以利用远程服务器来保存视频。在本发明的一个或更多实施例中，其中一些记录设备在其中可能发生事件的时间段内可能无法始终都彼此直接通信。在这些情况下，设备可以被配置成将其已记录的所有数据的完整记录保存到永久性存储装置或者保存到服务器。仅仅保存与事件相关联的数据在这些情况下可能无法做到，这是因为一些设备可能无法接收到事件触发消息。在这些情况下，可以在事后对所保存的数据进行处理，以便提取出与一项或更多项所检测到的事件相关联的仅仅是相关的部分。举例来说，多台移动设备可以记录运动员或表演者的视频，并且持续地将该视频上传到服务器以进行存储。所述运动员或表演者可能单独配备有能够检测例如特定运动或动作之类的事件的嵌入式传感器。嵌入式传感器数据可以被持续地或者在后来的某一时间上传到相同的服务器。由于包括视频流以及嵌入式传感器数据在内的所有数据通常都加有时间标记，因此与通过嵌入式传感器检测到的事件相关联的视频可以在服务器上被提取和组合。
服务器或计算机的实施例还可以被配置成当所述至少一个运动捕获传感器与移动设备之间的通信链接开放时，丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。或者，如果通信链接不开放，所述计算机的实施例还可以被配置成保存视频，并且在通信链接开放之后接收到事件之后，随后丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。例如在本发明的一些实施例中，数据可以如前所述地被上传到服务器，并且与每一台设备的数据流相关联的位置和指向数据可以被用来提取对于所检测到的事件相关的数据。举例来说，一个较大的移动设备集合可以被用来在整个高尔夫球巡回赛期间在各个位置处记录视频。该视频数据可以被持续地或者在巡回赛之后上传到服务器。在巡回赛之后，具有事件检测的传感器数据也可以被上传到相同的服务器。对于这些各种数据流的后处理可以识别出在所发生的事件的物理邻近处同时记录的特定视频流。附加的过滤器可以选择其中摄影机正指向正确的方向以观察事件的视频流。所选择的这些流可以与传感器数据相组合，从而形成具有示出事件的多个视频角度的聚合数据流。
所述系统可以从与移动设备耦合的摄影机或者与移动设备分开或者通过其他方式远离移动设备的任何摄影机获得视频。在一个或更多实施例中，从远离移动设备的服务器获得视频，例如在针对某一位置和时间间隔处的视频的查询之后获得。
服务器或计算机的实施例可以被配置成通过图像分析同步视频和事件数据或者运动分析数据，以便更加准确地确定视频中的与事件起始时间或事件停止时间或全部二者最紧密地相关联的起始事件帧或停止事件帧或全部二者。在本发明的一个或更多实施例中，记录设备之间的时钟同步可以是近似的。可能希望基于观看来自每一台设备的事件改进同步来自多台记录设备的数据馈送的准确性。在一个或更多实施例中，对于多个数据流的处理被用来观察不同的流中的事件的签名，以便帮助细粒度同步。举例来说，可以把嵌入式传感器与包括视频摄影机的移动设备同步，但是时间同步可能仅仅准确到100毫秒以内。如果视频摄影机以每秒30帧记录视频，则对应于嵌入式传感器上的事件检测的视频帧单独基于同步时间标记只能被确定在3帧以内。在所述设备的一个实施例中，可以使用视频帧图像处理来确定最紧密地对应于所检测到的事件的精确帧。举例来说，可以把通过惯性传感器检测到的滑雪板击中地面的震动与其中滑雪板的几何边界和地面发生接触的帧相关。其他实施例可以使用检测事件签名的其他图像处理技术或方法来改进多个数据馈送的同步。
所述至少一个运动捕获元件的实施例可以包括与微控制器耦合的被配置成确定位置的位置确定元件，其中微控制器被配置成向移动设备上的计算机传送位置。在一个或更多实施例中，所述系统还包括服务器，其中微控制器被配置成直接或通过移动设备向服务器传送位置，并且其中计算机或服务器被配置成基于位置以及事件起始时间和事件停止时间从视频的各个部分形成事件视频。举例来说，在一个或更多实施例中，可以把事件视频修剪到特定长度的事件，并且将其转码到任何视频质量，并且按照任何方式叠加上运动分析数据或事件数据(例如速度或加速度数据)或者通过其他方式与之整合。视频可以按照用以存储视频的任何分辨率、深度或者图像质量或压缩类型或者任何其他技术被本地存储，以便最大化存储容量或帧率，或者利用任何压缩类型以便最小化存储，而不管移动设备、至少一个运动捕获传感器和/或服务器之间的通信链接是否开放。在一个或更多实施例中，速度或其他运动分析数据可以例如被叠加或者通过其他方式组合在视频下方的某一部分上，其中包括事件起始和停止时间，所述事件起始和停止时间可以包括实际事件之前和/或之后的任意秒数，以便例如提供击球事件之前的挥击的视频。在一个或更多实施例中，所述至少一个运动捕获传感器和/或(多台)移动设备可以把事件和视频传送到服务器，其中服务器可以确定特定视频和传感器数据发生在特定位置和特定时间，并且从几个视频和几个传感器事件构造事件视频。传感器事件例如可以是来自与用户和/或装备耦合的一个传感器或多个传感器。因此，所述系统可以构造对应于事件的短视频，从而例如大大减少了视频存储需求。
在一个或更多实施例中，所述微控制器或计算机被配置成确定事件的位置，或者所述微控制器和计算机被配置成确定事件的位置并且对位置进行相关，这例如是通过对位置进行相关或平均以便提供事件的中心点，并且/或者可以最小化来自初始化GPS传感器的错误位置数据。通过这种方式，具有移动设备的一组用户可以生成高尔夫球手开球的视频，其中可以利用至少一台运动捕获设备的事件位置，并且其中服务器可以从观众处获得视频并且生成职业高尔夫球手的挥击和击球的事件视频，其中事件视频可以利用来自不同摄影机的各帧生成高尔夫球手挥击时的围绕高尔夫球手的BULLET
Figure BDA0001598682290000261
视频。所得到的一个或多个视频可以被修剪到事件的持续时间，例如从事件起始时间到事件停止时间，并且/或者具有围绕事件的任何在前或在后的预定时间数值，从而确保捕获到包括对应于挥击或其他事件的任何准备时间和任何保持姿势时间在内的整个事件。
在一个或更多实施例中，移动设备上的计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频，这是通过直接广播针对由任何摄影机在所述区域内拍摄的任何视频的请求，其可选地可以包括关于所述摄影机是否不仅位于事件附近而且还指向或者通过其他方式朝向事件的指向信息。在其他实施例中，可以由移动设备上的计算机从远程服务器请求视频。在这种情形中，与事件相关联的任何位置和/或时间可以被利用来返回事件附近的图像和/或视频或者在接近事件的时间拍摄的图像和/或视频或者全部二者。在一个或更多实施例中，计算机或服务器可以修剪视频以对应于事件持续时间，并且同样地可以利用图像处理技术进一步同步事件的各个部分，比如具有视频中的相应帧的击球，其与对应于装备上的击球的加速度数据相匹配。
移动设备或服务器上的计算机的实施例可以被配置成显示某一事件发生或者其中一个或更多事件发生的一个或更多时间的列表。通过这种方式，用户可以从列表中找到事件以便快速地访问事件视频。
本发明的实施例可以包括与移动设备物理地耦合的至少一个运动捕获传感器。这些实施例允许具有集成传感器的任何类型的移动电话或摄影机系统(比如任何类型的头盔安放的摄影机或者包括摄影机和运动捕获传感器全部二者的任何安放装置)生成事件数据和视频数据。
在一些实施例中，所述系统还可以包括一个或多个具有无线通信接口的计算机，无线通信接口能够与一个或多个运动捕获元件的无线电广播设备通信，以接收与运动事件相关的事件数据。计算机可以接收原始运动数据，并且可以分析此数据以确定事件。在其他实施例中，事件的确定可以在运动捕获元件中进行，而计算机可以接收事件数据。这两种方法的组合在一些实施例中也是可行的。
在一些实施例中，计算机或多台计算机可以从事件数据确定运动事件的起始时间和终止时间。然后它们可以请求来自摄影机的图像数据，该摄影机已经采集了视频或在此事件起始时间与事件终止时间之间的至少某一部分时间内的一些时间间隔的一个或多个图像。本说明书中的术语“视频”将包括各种图像以及连续视频，包括摄影机在事件间隔期间拍下单次快摄图像的情况。然后此视频数据可以与运动数据相关联，构成同步事件视频。事件例如可以由用户通过以固定次数摇晃或轻拍动作捕获传感器来进行动作表示。任意类型的预定义事件包括用户姿势事件，可以用于控制至少一个摄影机来传送一般简明事件的视频，而不需要传送巨大的原始视频文件。
在一些实施例中，请求来自摄影机的视频可以与采集或分析运动数据同时进行。在这类实施例中，所述系统将会获得或生成事件已经开始的通知，并且随后将会请求将视频从一台或多台摄影机流到计算机，直至检测到事件结束。在其他实施例中，视频请求可以在摄影机已经上传其视频记录到诸如服务器的另一计算机之后进行。在此情况下，计算机将会从服务器请求视频，而不是直接从摄影机请求。
各种技术可以用于执行运动数据和视频数据的同步。这类技术包括本领域公知的时钟同步方法，诸如网络时间协议，这样确保所有设备——运动捕获元件、计算机和摄影机——使用共同的时基。在另一技术中，计算机可以通过交换包含由每一个设备登记的当前时间的数据包，将其时钟与运动捕获元件的内部时钟以及摄影机的内部时钟比较。其他技术分析运动数据和视频数据来对齐它们不同的时基，以进行同步。例如，显示与球接触的特定视频帧可以对齐来自显示加速计震动的运动数据的特定数据帧，然后这些帧能够有效地用作关键帧，以同步运动数据和视频数据。组合的视频数据和运动数据构成同步事件视频，具有事件集成记录。
在一个或多个实施例中，配置成接收或处理运动数据或视频数据的计算机可以是移动设备，包括但不限于移动电话、智能电话、平板计算机、PDA、膝上型计算机、笔记本电脑或能够轻易运输或重新布置的任意其他设备。在其他实施例中，这种计算机可以集成到摄影机中，尤其是可以集成到可以从其获得视频数据的摄影机中。在其他实施例中，这种计算机可以是台式计算机或服务器计算机，包括但不限于在数据中心或基于云的服务中作为虚拟机器运行的虚拟计算机。在一些实施例中，所述系统可以包括任一种上述类型的多种计算机，并且这些计算机可以共同执行本说明书所述的操作。对于本领域技术人员显而易见的是，这种计算机分布式网络能够以多种可行的方式划分任务，并且如有需要，能够协调它们的动作来重复单个中央计算机的动作。本说明书中的术语“计算机”旨在表意为任一种或所有上述类型计算机，并且包括多台这类计算机共同作用的网络。
在一个或多个实施例中，计算机可以获取或创建一系列同步事件视频。计算机可以为用户显示此系列的综合概述，以查看事件历史。在一些实施例中，对于与每一个事件相关的视频，此概述可以包括一个或多个从视频生成的极小图像。在其他实施例中，概述可以包括来自整个事件视频中的较小选择。综合概述还可以包括显示运动分析或与每一个同步事件视频相关的事件数据。在一些实施例中，计算机可以获取度量并针对每一个事件显示此度量的值。这些度量值的显示在不同实施例中可以变化。在一些实施例中，度量值的显示可以是条形图、线图或其他图形技术，以显示绝对值或相对值。在其他实施例中，可以使用标上色标或其他视觉效果。在其他实施例中，可以显示度量数值。一些实施例可以使用这些方法的组合。
在一个或多个实施例中，计算机可以接受所涉及的度量的选择标准，所涉及的度量与系列事件的运动分析数据或事件数据相关联。例如，用户可以提供诸如超过阈值的度量、或者在范围内的度量或在范围外的度量的标准。可以使用任意标准，该标准可以应用于事件的度量值。响应于标准的选择，计算机可以仅仅显示符合所选择标准的同步事件视频或它们的概述(诸如缩略图)。作为示例，采集高尔夫挥杆事件数据的用户可有望仅仅看见那些挥杆速度超过100mph的挥杆。
在本发明的一些实施例中，计算机可以基于所选度量值排序并排名用于显示的同步事件视频，此外基于上述所选择标准进行过滤。紧接上述示例，采集高尔夫挥杆数据的用户可有望仅仅看见那些挥杆速度超过100mph的挥杆，以具有最高挥杆速度优先显示来排序。
在一个或多个实施例中，计算机可以生成组合了满足所选择标准的事件视频的高光时刻。这种高光时刻可以包括所选择事件的整个视频，或者对应于由运动分析确定的事件重要时刻的视频部分。在一些实施例中，高光时刻可以包括在视频上或所选帧上的数据或图形覆盖物，以显示来自运动分析的度量值。一旦用户通过指定所选择标准来指示需要包括何种事件，这种高光时刻可以为用户自动生成。在一些实施例中，计算机可以允许用户编辑高光时刻以添加或移除事件、延长或缩短针对每一个事件显示的视频、针对运动数据添加或移除图形覆盖物或添加特殊效果或音轨。
在具有多台摄影机的实施例中，运动数据和多个视频流可以组合成单个同步事件视频。来自多台摄像机的视频可以提供某一事件的不同角度或视野，全部同步到运动数据和共同时基。在一些实施例中，一个或多个视频在一台或多台计算机(诸如服务器或云服务)上可用，并且随后可以与事件数据相关联。在这些实施例中，计算机可以检索位于正确位置和朝向以观察到事件的所存储视频。然后计算机能够取回合适的视频并将它们与事件数据组合，以利用来自多个位置和角度的视频来形成事件的综合观察。
在一些实施例中，计算机可以从与事件相关的可能视频组中选择特定视频。所选择的视频可以基于各种可能的标准最佳地或最完整地观察事件。在一些实施例中，计算机可以使用对每一个视频进行图像分析，以确定最佳选择。例如，一些实施例可以使用图像分析来确定哪一个视频最完整，其中最少地遮挡所涉及的设备或人，或者设备或人是最清晰可见的。在一些实施例中，这种图像分析可以包括在录制视频期间摄影机抖动度的分析，以及具有最稳定图像的视频的选择。在一些实施例中，用户可以作出优选视频的选择，或者用户可以通过指定最重要的标准来协助计算机作出选择。
在一些实施例中，来自运动捕获元件的事件数据可以用于向录制事件视频的摄影机发送控制信息。在具有多台摄影机的实施例中，控制信息可以在事件期间广播或发送到摄影机组。这些控制信息可以基于与事件相关的数据来修改视频记录参数。包括运动分析数据。例如，当不存在进行中的感兴趣事件时，摄影机可以待机且不录制。计算机可以等待事件数据，并且一旦事件开始，可以向摄影机发送命令以开始录制。一旦事件结束，那么计算机可以向摄影机发送命令以停止录制，这种技术能够保留摄影机电力以及视频存储空间。
在更概括的一些实施例中，计算机可以向摄影机或多台摄影机发送控制信息，以响应于事件数据或运动分析数据来修改任意相关的视频记录参数。这些记录参数例如可以包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制。作为可以使用的示例，运动分析数据可以指示用户或设备何时快速移动；作为响应，视频录制的帧频可以在快速运动期间提高，并且可以在相对慢动作期间降低。通过在快速运动期间使用更高帧频，用户能够在重播期间放慢动作，以更详尽地观察高运动事件。这些技术可以允许摄影机保留视频存储空间，并且针对最感兴趣的事件有效地使用可用的存储空间。
在一些实施例中，计算机可以接受例如来自用户的音轨，并且将此音轨结合到同步事件视频中。例如这种结合将会在重播事件视频或高光时刻期间添加音频音轨。一些实施例可以使用事件数据或运动分析数据，以将音轨智能结合到同步事件视频中。例如，一些实施例可以分析音轨，以便例如基于高音频幅度的时间点来确定音轨的节拍。然后音轨的节拍可以利用事件数据或运动分析数据与事件同步。例如随着用户或对象的运动提高或降低，这种技术可以自动加速或放慢音轨。这些技术提供了丰富的媒体体验，伴随有与事件相关的音频或视觉线索。
在一个或多个实施例中，计算机配置成在一个或多个显示器上重播同步事件视频。这些显示器可以直接附接到计算机，或者可以远程位于其他设备上。使用事件数据或运动分析数据，计算机可以修改重播，以添加或改变各种效果。这些修改可以在重播期间多次出现，甚至在重播期间随着事件数据改变连续出现。例如，在低运动期间重播可以以正常速度进行，而在高运动期间重播可以切换到慢动作，以突出运动细节。对重播速度的修改可以基于任何观察到的或计算得到的事件或运动特征来作出。例如，事件数据可以识别特定的感兴趣事件，诸如击球、跳跃的开始或结束或者任意其他感兴趣的时刻。随着同步事件视频涉及到这些子事件，计算机可以修改重播速度以放慢重播。这种减速会持续增加，以精致细节突出子事件。甚至可以在子事件中停止重播并且等待来自用户的输入以继续。也可以基于来自运动分析数据或事件数据的一个或多个度量值放慢重播。例如，运动分析数据可以表示正在移动的棒球棍或高尔夫球杆的速度，并且随着这种对象的速度提高，可以持续调节重播速度为更慢。重播速度在这种度量峰值附近可以进行得非常慢。
在其他实施例中，可以对不限于重播速度的其他重播参数进行修改。例如，计算机可以修改重播速度、图像亮度、图像颜色、图像焦距、图像分辨率、闪烁特殊效果或者图形覆盖物或边框的使用的全部或任一者。这些修改可以基于运动分析数据、事件数据、子事件或其他同步事件视频的任意特征来进行。作为示例，随着重播涉及到感兴趣的子事件，可以添加闪烁特殊效果，并且可以在视频中感兴趣的对象周围添加边框，感兴趣的对象诸如是将要被设备击中的球。
在包括音轨的实施例中，对重播特征的修改可以包括对音轨重播特征的修改。例如，这类修改可以包括对音量、拍子、音调或音轨的音频特殊效果的修改。例如，音轨的音量和拍子可以随着重播涉及到感兴趣的子事件而增强，以突出子事件并为用户观看和倾听重播提供更动态的体验。
在一个或多个实施例中，计算机可以使用视频图像分析来生成自视频中的对象开始的度量。此度量可以例如测量对象运动的某些方面。这种度量源自于图像分析，可以附加于从来自运动传感器的数据运动分析获得的度量使用或与其联用。在一些实施例中，图像分析可以使用本领域已知的若干技术的任一种来定位与感兴趣的对象相关的像素点。例如，已知某些对象可以具有特定的颜色、纹理或形状，并且这些特征可以用于定位视频帧中的对象。作为示例，已知网球可以近似为圆形、黄色以及与具有球材料相关的纹理。图像分析能够使用这些特征来定位视频帧中的网球。使用多个视频帧可以计算网球的大约速度。例如，假设静止或几乎静止的摄影机，三维空间中网球的定位可以基于视频帧中球的位置且基于其大小来估算。帧中的定位给出了球的位置在图像平面上的投影，而大小提供了球相对于摄影机的景深。通过使用球在多个帧中的位置，并且通过使用给出了帧间时间差的帧频，可以估算球速。垂直飞跃估计可以在例如篮球的已知大小的对象附近进行。
在一个或多个实施例中，微控制器耦合至运动捕获元件，配置成与其他运动捕获元件通信，以协调事件数据的采集。微控制器可发送事件开始的通知到另一动作捕获传感器，以触发其他传感器也采集事件数据。其他传感器可以本地保存其数据以作随后上传，或者当事件发生时，其可以通过开放式通信链路向计算机发送其事件数据。这些技术提供了主从架构类型，其中一个传感器充当主机并且可以调整从传感器网络。
在一个或多个实施例中，计算机除了从动作捕获传感器以外，还可以从其他传感器获取传感器值，其中这些其他传感器接近事件并且提供与事件相关的其他有用数据。例如，这类其他传感器可以感测温度、湿度、风、海拔、光、声音和生理度量(像心跳)的各种组合。计算机可以取回这些其他值，并且与事件数据以及运动分析数据一起保存它们，以在从事件开始到事件停止的时间跨度期间生成事件的扩展记录。
一个或多个实施例可以获得并处理传感器数据和视频两者以分析对象的运动并且生成描述该运动的运动度量。实施例可以采用各种步骤和技术来在时间和空间上对齐来自传感器和摄像机的数据。然后可以使用传感器融合技术来分析这种对齐的数据，以将传感器和视频数据组合成一致且稳健的运动度量。
一个或多个实施例可以获得一个或多个感兴趣对象的描述，其可以包括人员、设备或两者。然后他们可以获得从一个或多个摄像机捕获的视频，其中视频可以包含运动中的这些对象的图像。部分或全部感兴趣对象可能具有附着在其上的运动捕获元件；这些运动捕获元件为对象生成运动传感器数据。然后，一个或多个实施例可以组合这三个输入-对象描述、视频和传感器数据-以生成对象的集成运动分析。所得到的运动度量可包括例如但不限于线性位置、线速度、线性加速度、轨迹，方向、角速度、角加速度、运动时间，位置之间流逝的时间、动作开始和到达某个位置之间的时间以及撞击时间。
对象运动的视频分析可包括识别从用于分析的视频中选择的一组帧中的感兴趣对象。对象识别可以使用每个对象的一组区别视觉特征，这允许实施例识别所选视频帧中的对象。这些有区别的视觉特征可包括例如但不限于形状，曲率、尺寸、颜色、亮度、色调、饱和度、纹理和像素图案。一些实施例可以搜索所有所选帧的所有像素以获得感兴趣对象；一些实施例可以改为使用各种优化来仅在可能包含感兴趣对象的帧的选定区域中进行搜索。
在一个或多个实施例中，摄像机可在视频捕获期间运动。为了分析帧中的对象的运动，因此可能希望将该真实对象运动与由摄像机运动引起的对象的表观运动区分开。因此，一个或多个实施例可以使用技术来确定每帧的摄像机的姿态(位置或方向)。然后可以通过确定每个帧中相对于摄像机姿态的对象姿态，然后使用每个帧的摄像机姿态将该对象姿态转换为通用坐标系来确定真实的对象运动。
一个或多个实施例可以从运动捕获元件，例如从附着到对象的运动传感器获得一个或多个感兴趣对象的运动捕获数据。运动捕获数据然后可以与视频帧同步。然后可以将运动捕获数据与视频分析数据组合以形成对象的运动度量。实施例可以使用各种传感器融合技术来将来自不同源的数据组合成集成运动度量。
该方法的一个或多个实施例可以通过在视频和传感器数据两者中找到相同事件的签名，并将包含视频签名的帧与包含传感器数据签名的传感器样本的传感器时间戳对齐，来同步视频帧和传感器数据。一个或多个实施例可以通过计算来自视频帧和传感器数据的用于所选择的参考对象的运动度量，并且找出视频运动度量和传感器运动度量之间的时间平移，该时间平移最佳地对齐两个运动度量图，来同步视频帧和传感器数据。在一些实施例中，传感器数据和视频帧之间的最大时钟差可以预先已知；在这些实施例中，通过仅在已知时钟差内进行搜索来优化匹配事件签名或时间偏移以对齐运动度量的搜索。
在一个或多个实施例中，运动分析可以包括找到一个或多个感兴趣的事件。事件可以位于使用视频签名的视频帧中，并且位于使用传感器数据签名的传感器数据中。有些活动可能会错误地触发其中一个签名，活动不是真实的事件，而是假阳性。一个或多个实施例可以组合视频签名和传感器数据签名以过滤掉假阳性；例如，如果活动与传感器数据签名匹配但与相应的视频签名不匹配，则该活动可被分类为假阳性。当视频签名和传感器数据签名都存在时，可以确定真实事件。一个或多个实施例可以使用多阶段测试来发信号通知预期事件，然后使用视频签名或传感器数据签名或两者来确认预期事件是有效事件。
一个或多个实施例可以使用视觉标记作为感兴趣对象，或者可以使用附接到对象或附接到对象的运动捕获元件的视觉标记。视觉标记的图案可以形成对象的区别视觉特征的一部分。视觉标记可设计为不具有旋转对称性，使得可以使用视频分析来区分标记的不同方向。视觉标记也可以配置为具有高可见度颜色。
一个或多个实施例可以预处理视频帧以便于搜索感兴趣对象；预处理可以包括，例如但不限于噪声去除、闪烁去除、平滑、颜色空间转换、颜色或亮度平衡以及阴影去除。
一个或多个实施例可以使用传感器来测量所选视频帧的摄像机姿态。测量的摄像机姿态可用于将对象姿态转换为通用坐标系。
一个或多个实施例可以使用以下技术中的一个或多个技术来确定帧中的识别的对象相对于该帧的摄像机姿态的姿态：对象位于其上的光线可以从帧中对象的位置确定；对象与摄像机的相对距离可以根据与对象的真实尺寸相比的帧中对象的表观尺寸来确定；可以通过计算使对象的参考像素图案与帧中的对象的像素图案之间的差异最小化的旋转来确定对象相对于摄像机的方向。对象的参考像素图案可以是对象的区别视觉特征之一，或者可以从对象在指定参考帧中的外观获得。
一个或多个实施例可以创建或获得一个或多个对象的可能轨迹的物理模型，并且使用该物理模型来针对对象的位置估计每个帧内的高概率区域。然后可以通过在这些高概率区域内搜索来优化对象的搜索帧。
在没有摄像机传感器来确定摄像机姿态的实施例中，可能需要通过将每个帧与前一帧对齐来为每个帧估计摄像机姿态以补偿摄像机运动。一旦每个帧与前一帧对齐，就可以计算帧间差异来确定包含移动对象的高运动区域。然后可以通过在这些高运动区域内搜索来优化搜索感兴趣对象的帧。
一个或多个实施例可使用以下技术来将帧与前一帧对齐，以补偿摄像机运动。首先，可以确定帧平移以在应用帧平移之后使帧的中心区域与前一帧的中心区域之间的像素差异最小化。然后，可以将每个帧分成多个图块，并且可以针对每个图块确定局部图块平移，其在应用帧平移和局部图块平移之后最小化图块和前一帧的对应图块之间的像素差异。
一个或多个实施例可以计算作为运动度量之一的一个或多个感兴趣对象的撞击时间。这个撞击时间可以通过检测连续帧之间的运动度量的不连续性来计算。这种技术可能会确定影响帧，但在某些情况下可能无法确定精确的帧间撞击时间。一个或多个实施例可以通过从撞击前的帧向前推断对象的轨迹，从撞击后的帧向外推算该对象的轨迹，并计算这两个轨迹相交的时间作为精确撞击时间来确定更精确的撞击时间。
在一个或多个实施例中，对于对象可以存在期望的轨迹；例如，击打高尔夫球，使其轨迹进入洞中。一个或多个实施例可以将该期望的轨迹与观察到的轨迹进行比较，并且将轨迹差异报告为运动度量。一个或多个实施例可以确定将观察到的轨迹变换为期望的轨迹所需的对象轨迹的初始状态的变化。初始条件可以例如包括对象的初始速度和方向。作为一个例子，对于高尔夫来说，初始条件可以包括在与高尔夫球撞击时高尔夫球杆头的速度和目标。
一个或多个实施例可以从视频生成一组高光帧或失败帧，其中高光帧或失败帧包括感兴趣的活动。感兴趣的活动可以用一个或多个活动签名来标识；例如，可以使用传感器数据来确定何时某些运动度量落在确定感兴趣的活动的特定范围内或之外。作为示例，可以通过扫描加速度计数据来确定跳跃，以找到接近零的加速度计值，这可以指示对象处于自由下落。代表碰撞的非常(epic)失败可以通过扫描速度数据来确定，该速度数据寻找高速度与零速度或非常低速度之间的急剧转变。高光或失败帧也可能包含感兴趣的活动之前或之后的某些帧。高光或失败帧可以传输到储存库、查看器、服务器、计算机、社交媒体网站、移动设备、网络和紧急服务中的一个或多个。一个或多个实施例可以使用表示运动度量的值的数据或图形覆盖高光或失败帧。一个或多个实施例可以向捕获视频的摄像机发送消息，指示摄像机丢弃高光或失败帧以外的视频部分。
一个或多个实施例可以将活动的经过时间计算为运动度量。活动的开始时间可以例如使用运动捕获数据来确定以检测对应于开始活动的签名。活动的结束时间可以例如使用视频分析来确定以检测与完成活动相对应的签名；例如，位于终点线的摄像机可以检测穿过终点线的对象。
该方法的一个或多个实施例可以为使视频与从运动捕获元件接收的事件数据同步的事件创建同步的事件视频。该同步可以计算事件数据或者从运动捕获元件接收事件数据，并且从事件数据获得事件开始时间和事件停止时间。它可以获得与视频相关的视频开始时间和视频停止时间。然后它可以通过将事件开始时间和事件停止时间之间的事件时间与视频开始时间和视频停止时间之间的视频时间相关联来创建同步的事件视频。一个或多个实施例可以将事件数据覆盖到同步事件视频上。一个或多个实施例可以命令摄像机将同步的事件视频传送到另一台计算机，而不用在事件开始时间和事件停止时间之间的时间间隔之外传送视频的一部分。一个或多个实施例还可命令摄像机丢弃事件开始时间和事件停止时间之间的时间间隔之外的部分视频。
一个或多个实施例可以通过首先使用第一组标准识别预期事件，然后使用第二组标准来确定预期事件是否为有效事件，来检测并消除假阳性事件。例如，第一组标准可以包括具有高于第一阈值的运动捕获数据的第一值，并且还具有在包括第一值的样本周围的时间窗内高于第二阈值的运动捕获数据的第二值。第二组标准例如可以将预期事件和与典型事件相关联的特征信号进行比较，或者将预期事件期间的视频和与该典型事件相关联的特征图像进行比较，或两者。
附图说明
通过在后面结合附图给出的更加具体的描述，本发明的前述和其他方面、特征和优点将变得更加显而易见，其中：
图1示出了实施本发明方面的系统的一个实施例。
图1A示出了计算机的一个实施例的逻辑硬件方块图。
图1B示出了在本发明的实施例中所利用的数据库的一个实施例的架构图。
图1C示出了对应于由图1和1A中所示的系统中的计算机的实施例实施的处理的一个实施例的流程图。
图1D示出了对应于所述系统的一个实施例的数据流图。
图1E示出了详细说明了运动事件时间和/或视频事件时间的移位，以在时间方面正确对齐的同步图表。
图2A示出了围绕用户头部的基于头盔的安放装置，其中所述基于头盔的安放装置固定运动捕获传感器。图2B示出了基于颈口嵌件(neck insert)的安放装置，其允许利用运动捕获传感器对现有头盔进行改装。
图3示出了图2A-B的安放装置的特写，其中示出了运动捕获传感器与头盔的外部部分之间的隔离器。
图4A示出了头盔、衬垫、颅骨和用户脑部的顶部剖面图。图4B示出了对应于图4A中所示的各个元件的旋转脑震荡事件。
图5示出了针对头盔的输入力(G1)相对于在脑部内观测到以及由安放在隔离器内的传感器观测到的力。
图6示出了3个轴的旋转加速度数值连同总旋转矢量数量，连同从摄影机获得并且与运动事件数据一起显示的脑震荡事件的视频。
图7示出了用户的时间线显示连同被显示成沿着时间线的事件的沿着时间线的峰值和最小角速度。此外，在底部显示中所示出的曲线图示出了高尔夫球杆的超前和滞后(lead and lag)连同高尔夫球杆的下垂和漂移(droop and drift)，其中这些数值决定高尔夫球杆的杆身在相对于时间标绘的两个轴中的弯曲程度。
图8示出了子事件快进快退(scrub)时间线，其允许与将要滚动到、播放到或者从该处播放的子事件相关联的起始/停止时间点附近的输入，从而很容易地允许观看子事件。
图9示出了各个子事件沿着时间开始和停止的相对位置以及与起始和停止时间相关联的引力，其允许这些点附近的用户输入被吸引到起始和停止时间。
图10示出了利用一台移动设备作为运动捕获元件以及另一台移动设备作为接收第一用户事件的运动事件数据和视频的计算机的一个实施例。
图11示出了被利用来存储与潜在的事件有关的数据的存储器的一个实施例。
图12示出了特别被编程到微控制器中以便确定是否发生了预期事件的功能的一个实施例的流程图。
图13示出了典型的事件签名或模板，其被与运动捕获数据进行比较以便消除错误肯定事件。
图14示出了运动捕获元件的一个实施例，其配置有用于在本地显示和观看事件相关信息的可选LED视觉指示器，以及被配置成显示与事件相关联的文字或已编码消息的可选LCD。
图15示出了与不同类型的装备和/或工具化衣物相关联的运动事件的模板特性的一个实施例，连同其中运动捕获传感器个性可以改变以便更加准确地或者更加高效地捕获与特定时间段和/或子事件相关联的数据的区域。
图16示出了保护性牙套的一个实施例的正视图并且在图中的底部示出了顶视图，其例如在任何接触性体育运动中被佩戴，比如(而不限于)英式足球、拳击、美式足球、摔跤或者任何其他体育运动。
图17示出了由图1中的任何计算机利用的算法的一个实施例，其被配置成在组合格式中显示运动图像和运动捕获数据。
图18示出了可以由本发明的一个或更多实施例利用的同步架构的一个实施例。
图19示出了由其中一个运动捕获传感器检测到事件，将事件检测传送到其他运动捕获传感器和/或摄影机，保存事件运动数据，以及修剪视频以对应于事件。
图20示出了对多个事件视频选择视频的流程以及对于多个摄影机采集同一事件的视频的事件期间最佳的视频剪辑的选择，伴随有基于所选择度量的所选择一系列同步事件视频，还伴随有按所选择标准排序的事件视频。
图21示出了基于在视频采集期间摄影机的抖动度来选择特定事件视频的图像分析以及利用最稳定图像来选择视频。
图22示出了发送至摄影机或多台摄影机的控制信息，以基于与事件相关的数据来修改视频记录参数，包括例如当事件正在进行时的运动分析数据。
图23示出了使用运动数据可改变速度的重播的一个实施例。
图24示出了视频的图像分析，以协助视频与事件数据和运动分析数据的同步，并且/或者确定不与动作捕获传感器耦合的视频对象的运动特征。
图25示出了用于集成传感器和视频运动分析的方法的实施例的流程图，示出了该方法的主要输入、处理和输出步骤。
图26示出了感兴趣对象的示例以及区分与这些对象相关联的视觉特征的示例。
图27示出了具有移动对象和移动摄像机的示例，示出了当摄像机也在移动时区分真实对象运动的问题。
图28继续图27的示例，示出了在校正摄像机姿态的变化之后如何确定真实的对象运动。
图29示出了将从视频分析生成的运动度量与从运动捕获数据生成的对应度量组合的传感器融合的示例。
图30示出了使用事件签名来同步视频帧和传感器数据以在视频帧和传感器数据中找到共同事件的实施例。
图31示出了通过计算来自视频和来自传感器数据的运动度量并找到与来自这两个源的运动度量图匹配的时间偏移来同步视频帧和传感器数据的实施例。
图32示出了将传感器数据签名和事件的视频签名组合以将假阳性事件与真实事件区分开的实施例。
图32A图示了使用两阶段阈值比较来确定预期事件，然后基于典型事件的视频签名和传感器数据签名将该预期事件分类为假阳性事件或有效事件的实施例。
图33示出了使用运动捕获元件上的视觉标记的实施例，其不具有旋转对称性以便于确定方向。
图34示出根据其位置和视频帧中的表观尺寸来计算三维空间中的对象位置的示例。
图35示出了根据视频帧中的视觉标记的方向来计算对象的方向的示例。
图36示出了使用对象轨迹的物理模型来生成对象出现在连续视频帧中的可能区域的实施例。
图37示出了使用帧差异来确定具有运动的帧区域以便定位移动对象的实施例。
图38示出了使用两阶段过程将帧与前一帧对齐以补偿摄像机运动的实施例；该过程首先计算整个帧平移，然后计算帧内图块的局部平移。
图39示出了通过找到运动度量中的不连续性来检测碰撞的时间并且使用碰撞之前和之后的轨迹来生成精确的碰撞的帧间时间的实施例。
图40示出了将在此观察的高尔夫球的轨迹与期望的轨迹进行比较并且计算实现期望的轨迹所需的初始条件的变化的实施例。
图41示出了使用传感器数据来识别高光帧，使用运动度量显示高光帧并丢弃高光的时间帧外的帧的实施例。
图41A示出了使用传感器数据来识别非常失败帧，使用运动度量显示这些失败帧并丢弃失败时间帧外的帧的实施例。
图42示出了通过使用传感器数据检测开始时间并且使用视频分析检测完成时间来计算活动的经过时间的实施例。
具体实施方式
现在将描述一种集成传感器和视频运动分析方法。在后面的示例性描述中阐述了许多具体细节，以便提供本发明的实施例的更加透彻的理解。但是本领域技术人员将认识到，可以在无需合并这里所描述的具体细节的所有方面的情况下实践本发明。此外，本领域技术人员所熟知的特定特征、数量或测量值没有被详细描述，以免模糊本发明。读者应当注意到，虽然本文中阐述了本发明的实例，但是本发明的界限和范围是由权利要求书以及任何等效表述的完全范围限定。
图1示出了实施集成传感器和视频运动分析方法的各方面的系统的实施例100。一些实施例允许基于事件的观看和低功率事件传送以及与执行在移动设备上的应用和/或与外部摄影机的通信，以便指定用以定义事件的窗口。允许图像或视频内的运动事件辨识和事件指定，比如运动员的击球、移动或挥击，运动员、拳击手、骑手或车手的脑震荡，或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作，或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或更多幅图像或视频进行相关，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，包括脑震荡在内的体育事件，或者与老年人相关联的摔倒事件。如图所示，所述系统的实施例通常包括移动设备101和执行在其上的应用，其包括作为点线轮廓被显示成位于移动设备101内部的计算机160(也就是说还参见图1A的计算机160的功能视图)、耦合到计算机160的显示器120以及与计算机耦合的无线通信接口(其通常处于移动设备的内部，参见图1A中的元件164)。由于具有移动计算机的移动电话是普遍存在的，因此所述系统的用户可以购买一个或更多运动捕获元件以及应用(即“app”)，并且安装在其已有的电话上以便实施所述系统的一个实施例。因此，运动捕获能力以可负担的价格对于已经拥有移动电话、平板计算机、音乐播放器等等的任何用户可用，这在以前是从来不可能的。
每一台移动设备101、102、102a、102b可以可选地包括内部标识符读取器190(例如RFID读取器)，或者可以与标识符读取器或RFID读取器(参见移动设备102)耦合以获得标识符191。或者，本发明的实施例可以在任何设备中利用任何无线技术向所述系统传送标识设备110的标识符。本发明的实施例还可以包括与至少一个运动捕获传感器或者用户或装备耦合的任何其他类型的标识符。在一个或更多实施例中，所述标识符可以包括团队和队服号码或者学生标识符号码或证件号码或者任何其他标识符，其允许相对唯一地标识来自特定用户或装备的特定事件。这就允许关于被配置成接收与特定运动员或用户相关联的数据的应用(app)标识具有多位运动员或用户的团队体育运动或位置。一个或更多实施例接收标识符，例如与运动员或用户相关联的被动RFID标识符或MAC地址或其他序列号，并且把标识符与事件数据和运动分析数据相关联。
所述系统通常包括至少一个运动捕获元件111，通过安放装置192与用户150或装备110耦合，例如耦合到高尔夫球杆、棒球棒、网球拍、冰球棍、武器、棍棒、刀剑或者用于任何体育运动的任何其他装备，或者例如鞋具、皮带、手套、眼镜、帽子之类的其他体育装备或者任何其他物品。所述至少一个运动捕获元件111可以被放置在装备110的一端、全部两端或者两端之间的任何位置或者用户150身上的任何位置，例如放置在球帽、头带、头盔、牙套或者其任意组合上，并且还可以被利用于任何物品的EI测量。所述运动捕获元件可以可选地包括视觉标记(被动或主动)并且/或者可以包括无线传感器，例如能够提供与运动捕获元件的指向(北/南和/或上/下)、位置、速度和/或加速度相关联的一个或更多数值的任意组合的任何传感器。所述计算机可以被配置成例如通过视觉方式或无线方式从与球杆110耦合的RFID获得与每一件装备110(例如衣物、球棒等等)所独有的标识符(也就是标识符191)相关联并且可选地与所述至少一个运动捕获元件相关联的数据，分析所述数据以形成运动分析数据，并且在移动设备101的显示器120上显示运动分析数据。运动捕获元件111可以通过运动捕获安放装置192被安放在装备上或其附近或者被安放在用户身上或其附近。例如安放在头盔上的运动捕获元件111可以包括隔离器，所述隔离器包括被配置成围绕运动捕获元件以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼的材料，从而最小化事件数据的线性加速度和旋转加速度的变换，以便获得用户脑部的观测线性加速度和观测旋转加速度。这样例如就降低了运动捕获元件微控制器上的处理需求，并且对于事件数据的基于事件的传送允许低存储器利用和低功率需求。来自运动捕获元件111的运动捕获数据、与装备110相关联的任何数据(比如标识符191)以及与用户150或者任意数目的此类用户150(比如第二用户152)相关联的任何数据可以被本地存储在存储器中，或者被存储在计算机本地的数据库中，或者被存储在远程数据库中，例如可以与服务器耦合的数据库172。例如当从运动捕获元件111到移动设备101以及从移动设备101到网络170或因特网171并且到数据库172有网络或电话网络链接可用时，来自每一位用户150、152的数据可以被存储在数据库172中。随后在与任意数目的用户及其具体特性和表现参数相关联的大型数据集合上实施数据挖掘。例如在本发明的高尔夫球实施例中，从高尔夫球杆获得球杆ID，并且通过运动捕获元件检测击球。移动计算机101存储用户的图像/视频，接收对应于事件/击中/击球/运动和球场上的事件位置以及后续击球的运动捕获数据，并且确定对应于每一个事件的参数(比如事件发生时的距离或速度)，并且随后实施任何本地分析，并且在移动设备上显示表现数据。当从移动设备到网络170或因特网171的网络连接可用时，或者例如在一轮高尔夫球比赛之后，所述图像/视频、运动捕获数据以及表现数据被上传到数据库172，以供后来进行分析和/或显示和/或数据挖掘。在一个或更多实施例中，用户151(比如原始装备制造商)针对数据库的访问进行付费，这例如是通过比如计算机105或移动计算机101之类的计算机，或者是从能够例如通过网络170、因特网171或通过网站173与数据库172进行通信的任何其他计算机，或者是形成数据库172的一部分或者与之耦合的服务器。数据挖掘可以在数据库172上执行，其中例如可以包括本地服务器计算机，或者可以在计算机105或者移动设备101、102、102a或102b上运行，并且例如访问数据库172的独立式实施例。数据挖掘结果可以在移动设备101、计算机105、电视广播或者源自摄影机130、130a和103b或104的web视频上显示，或者通过网站173访问，或者是其任意组合。
所述至少一个运动捕获元件的一个或更多实施例还可以包括被配置成在事件发生的情况下输出光的发光元件。这可以被利用来在头盔的外侧部分上显示潜在、轻度或重度脑震荡，而无需例如针对任何外部设备的任何通信。还可以利用不同的颜色或闪光间隔来传达与事件有关的信息。替换地或者与之相组合，所述至少一个运动捕获元件还可以包括音频输出元件，其被配置成在事件发生的情况下或者在所述至少一个运动捕获传感器处于计算机的范围之外的情况下输出声音，或者其中所述计算机被配置成在所述至少一个运动捕获传感器处于计算机的范围之外的情况下显示告警，或者前述各项的任意组合。传感器的实施例还可以利用LCD，其例如在快速响应(QR)代码或条形码中输出当前事件的已编码分析，从而例如使得裁判员可以在移动设备上本地获得分析代码的快照，并且使得事件不会在传感器上以可读形式被观看或者被无线传送并且被其他任何人拦截。
所述系统的一个或更多实施例可以利用包括至少一台摄影机130的移动设备，所述摄影机例如耦合到移动设备内的计算机。这就允许移动设备101内的计算机命令摄影机130例如在体育移动期间获得用户的一幅或多幅图像。用户的(多幅)图像可以与显示和评定叠加，从而例如使得运动分析数据对于人类更加可理解。或者，没有用户图像的详细数据显示还可以被显示在显示器120上，或者例如显示在计算机105的显示器上。按照这种方式，允许二维图像和后续显示。如果移动设备101包含两台摄影机，如移动设备102中所示即摄影机130a和130b，则所述摄影机可以被利用来通过例如对于视觉标记的图像分析创建三维数据集合。这样就允许确定并且分析视觉标记的距离和位置。在本发明的任何实施例中，来自任何摄影机的图像和/或视频可以被存储在例如与用户150相关联的数据库172上以用于数据挖掘目的。在本发明的一个或更多实施例中，可以在图像和/或视频上实施图像分析，以便例如按照用户150的年龄或者比赛的日间时确定所利用的装备、衣物、鞋具等等的牌子/型号，或者发现数据中的任何其他模式。
或者，对于仅具有一台摄影机的移动设备的实施例，可以利用多台移动设备以图像的形式获得二维数据，并且对其进行三角定位以确定视觉标记的位置。在所述系统的一个或更多实施例中，移动设备101和移动设备102a共享用户150的图像数据以便创建三维运动分析数据。本领域技术人员将认识到，通过确定移动设备101和102的位置(通过例如设备中常见的GPS芯片之类的位置确定元件或者通过蜂窝塔三角定位，其出于简明起见没有被示出但是通常和计算机160一样位于移动设备的内部)，并且通过从运动捕获元件111获得数据(例如视觉标记在每一幅图像中所处的图像中的像素位置)，很容易获得距离并且从而获得速度。
摄影机103还可以被利用于静止图像，或者像现在所常见的那样被利用于视频。在利用外部摄影机的系统的实施例中，从外部摄影机获得数据的任何方法都符合所述系统的精神，其中包括数据的无线传送，或者例如当摄影机103与计算机105对接时通过有线通信，其随后可以把数据传输到移动设备101。
在所述系统的一个或更多实施例中，不需要在其上显示运动分析数据的移动设备具有摄影机，也就是说移动设备102b尽管没有配置摄影机也可以显示数据。因此，移动设备102b可以从移动设备101、102、102a上的摄影机、摄影机103和/或电视摄影机104的任意组合获得图像，只要任何外部摄影机可以向移动设备102b传送图像即可。或者，完全不需要摄影机来利用所述系统。例如还参见图17。
对于电视广播，运动捕获元件111无线传送通过天线106接收到的数据。把如此从运动捕获元件111获得的无线传感器数据与获得自电视摄影机104的图像相组合，从而产生具有增强的运动分析数据的显示，其可以被广播到电视、计算机(比如计算机105)、移动设备101、102、102a、102b或者被配置成显示图像的任何其他设备。例如通过知道摄影机的位置(例如通过GPS信息)并且通过知道摄影机所朝向的方向和/或指向，运动分析数据可以被定位在显示器120上，只要传感器数据包括位置数据(例如GPS信息)即可。在其他实施例中，视觉标记或图像处理可以被利用来把运动分析数据锁定到图像，例如可以在图像中跟踪高尔夫球杆头部，并且球杆的相应的高、中和低位置可以被利用来确定用户150对于摄影机130或104或103的指向，以便例如把经过增强的数据正确地标绘到用户150的图像上。通过对图像加时间标记并且对运动捕获数据加时间标记，例如在把微控制器中的定时器与移动设备上的定时器同步并且随后扫描图像以寻找各个位置处的视觉标记或体育装备之后，可以把经过简化的运动捕获数据叠加到图像上。在本发明的一个或更多实施例中可以利用把来自摄影机的图像与运动捕获数据相组合的任何其他方法。依照本发明的精神，可以利用在显示器120(或者比如计算机105上的任何其他显示器)上关于用户适当地定位运动分析数据的任何其他算法。举例来说，当通过传感器获得事件或事件群组时，在应用接收到事件和/或用以获得图像的时间范围之后，应用可以从其本地存储器、任何其他移动设备、可以与之通信的任何其他类型的摄影机请求来自该时间跨度的图像数据，并且/或者张贴事件位置/时间，从而使得处于(多个)事件本地的外部摄影机系统可以提供对应于(多个)事件的时间的图像数据。
可以在移动设备101上生成并显示的一项此类显示包括使用从移动设备101、102、102a、摄影机103和/或电视摄影机104或者任何其他外部摄影机当中选择的两台或更多台摄影机的BULLET
Figure BDA0001598682290000451
视图。在所述系统的该实施例中，所述计算机被配置成获得用户150的两幅或更多幅图像以及与至少一个运动捕获元件(不管是视觉标记还是无线传感器)相关联的数据，其中所述两幅或更多幅图像是从两台或更多台摄影机获得的，并且其中所述计算机被配置成生成显示，其中示出在正常速度下并且在各个角度下围绕用户示出的用户150的慢动作。这样的实施例例如允许一组球迷创建其自己的职业高尔夫球手在巡回赛中的BULLET
Figure BDA0001598682290000452
影片。所述影片可以被发送到计算机105，可以在计算机105上实施任何所需的图像处理并且例如向电视观众广播。在所述系统的其他实施例中，各种移动设备的用户共享其自己的图像集合，并且/或者例如将其影片上传到网站以供后来观看。本发明的实施例还允许在与另一位用户有关的移动设备上利用来自其他具有移动设备的运动员的图像或视频，从而使得用户例如不需要交换移动电话。在一个实施例中，当由第一用户针对不与具有视频摄影机移动电话的第二用户相关联的运动中的体育装备获得视频时，可以将所述视频自动传输到第一用户，以便利用与第一用户相关联的运动捕获数据进行显示。或者，第一用户的移动电话可以被利用作为运动传感器以替代或补充运动捕获元件111，并且第二用户的移动电话可以被利用来在运动中捕获第一用户的视频。第一用户可以可选地在电话上作出手势、敲击/摇动等等，以表明第二移动电话例如应当开始/停止运动捕获。
图1A示出了计算机160的一个实施例。在计算机160中包括执行软件模块的处理器161，所述软件模块通常也被称作应用，并且通常作为计算机程序指令被存储在主存储器162内。显示接口163驱动如图1中所示的移动设备101的显示器120。可选的指向/位置模块167可以包括南/北或上/下指向芯片或全部二者。在一个或更多实施例中，所述指向/位置模块可以包括与微控制器耦合的位置确定元件。这例如可以包括GPS设备。替换地或者与之相组合，所述计算机可以协同另一台计算机对位置进行三角定位，或者从任何其他三角定位类型的接收器获得位置，或者基于通过与所述计算机耦合并且已知指向特定方向的摄影机捕获的图像来计算位置，其中所述计算机例如基于图像内的对象的方向和尺寸来计算与移动设备的偏移量。可选的温度传感器可以通过有线或无线链接与处理器161耦合，并且例如可以被单独利用作为体温过低或中暑的指标，或者与例如可以表明抖动或失去意识的任何所检测到的运动相组合。通信接口164可以包括无线或有线通信硬件协议芯片和/或RFID读取器，或者RFID读取器可以在外部耦合到计算机160或者例如通过任何其他方式耦合到计算机160。在所述系统的一个或更多实施例中，通信接口可以包括电话和/或数据通信硬件。在一个或更多实施例中，通信接口164可以包括Wi-Fi TM或其他IEEE 802.11设备和/或
Figure BDA0001598682290000461
无线通信接口或
Figure BDA0001598682290000462
无线设备，或者任何其他无线技术。第1类
Figure BDA0001598682290000463
设备具有近似100米的范围，第2类设备具有近似10米的范围。
Figure BDA0001598682290000464
低功率设备具有近似50米的范围。在所述系统的实施例中可以使用任何无线网络协议或类型，只要移动设备101和运动捕获元件111可以彼此通信即可。处理器161、主存储器162、显示接口163、通信接口164以及随同诸如温度、湿度、风、海拔、光、声音和生理度量(诸如心跳传感器)的任何可选传感器168的指向/位置模块167可以通过通常被称作“总线”的通信基础设施165彼此通信。通信路径166可以包括允许通过网络170与其他有线或无线设备进行通信的有线或无线介质。网络170可以与因特网171和/或数据库172通信。数据库172可以被利用来保存或取回用户的图像或视频，或者运动分析数据，或者按照某种形式与运动分析数据一起显示的用户。上传到因特网(也就是远程数据库或远程服务器或者远离系统的存储)的数据可以由获得对于数据的访问的任何计算机观看、分析或进行数据挖掘。这就允许原始装备制造商对于给定用户确定什么体育装备工作得最好，以及/或者将要建议什么装备。数据挖掘还允许基于与用户相关联的数据和/或元数据来规划高尔夫球场，比如年龄或者可以被输入到系统中的任何其他人口统计信息。数据的远程存储还允许医疗应用，比如形态分析、随着时间的运动范围和糖尿病防治以及练习监测和遵从性应用。基于数据挖掘的应用还允许使用来自其他用户、相同用户的一项或更多项先前的表现或者历史运动员(例如在分析历史运动员的运动画面或视频之后，不管所述历史运动员是否在世)的真实运动捕获数据进行比赛。虚拟现实和增强虚拟现实应用还可以利用运动捕获数据或历史运动数据。所述系统还允许把表现相关的事件和/或运动捕获数据上传到数据库172，其例如可以被实施成社交网站。这就允许用户在比赛期间或之后发送关于高分的“推文(tweet)”，以便向因特网上的所有人通知所述新的事件。举例来说，一个或更多实施例包括至少一个运动捕获元件111，其被配置成与用户或装备或者与用户耦合的移动设备相耦合，其中所述至少一个运动捕获元件包括：存储器；被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度相关联的数值的任意组合的传感器；无线电装置；以及与存储器、传感器和无线电装置耦合的微控制器。所述微控制器被配置成收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，并且通过无线电装置传送与事件相关联的事件数据。所述系统的实施例还可以包括被配置成在移动设备上执行的应用，其中移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口。所述计算机与无线通信接口耦合，其中计算机执行应用或“app”以便配置该计算机：从无线通信接口接收事件数据，分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，并且在显示器上显示包括与至少一位用户相关联的事件数据或运动分析数据或全部二者的信息。
图1B示出了在所述系统的实施例中所利用的数据库172的一个实施例的架构图。如图所示，表180-186包括关于N位用户、每位用户的M件装备、每位用户或每件装备的P个传感器、每个传感器的S项传感器数据、在其他表中找到的T种模式、D位数据用户以及V个视频的信息。图1B中示出的所有表都是示例性的，并且按照对于特定实现方式所期望的那样可以包括更多或更少的信息。具体来说，表180包括关于用户150的信息，其中可以包括与用户有关的数据，比如年龄、身高、体重、性别、地址或者任何其他数据。表181包括与M件装备110有关的信息，例如装备的制造商、装备的型号以及装备的类型，所述装备可以包括球杆、球拍、球棒、衬衫、裤子、鞋具、手套、头盔等等。例如在高尔夫球实施例中，在本发明的一个或更多实施例中，制造商可以是制造商的名称，型号可以是名称或型号编号，并且类型可以是球杆编号(例如9号铁杆)，装备ID可以是标识符191。表182可以包括关于用户150或装备110或移动计算机101上的P个传感器111的信息。与用户150相关联的传感器可以包括衣物、球杆、头盔、球帽、头带、牙套等等，与装备110相关联的传感器例如可以是运动捕获数据传感器，而与移动计算机101相关联的传感器例如可以包括用于位置/指向的传感器167和用于图像/视频的传感器130。表183可以包括关于每位用户每件装备的S项传感器数据的信息，其中该表可以包括传感器数据的时间和位置或者与传感器数据有关的任何其他元数据，比如通过图1A中示出的温度传感器在本地获得或者通过无线通信或者例如通过任何其他方式获得的温度、天气、湿度，或者传感器数据可以包括该信息或者其任意组合。该表还可以包含许多其他栏位，比如球类型，也就是说在高尔夫球实施例中，所利用的高尔夫球的类型可以被保存并且在后来对其进行数据挖掘以便找出表现最佳的球类型等等。该表还可以包括在本地计算的事件类型，例如潜在脑震荡事件。表184可以包括关于例如已在数据挖掘处理中发现的T种模式的信息。这可以包括已经通过特定查询在各个表中搜索过的栏位以及任何所得到的相关结果。在本发明的一个或更多实施例中，可以按照对于特定实现方式所期望的那样利用任何数据挖掘结果表类型。这可以包括任何种类的搜索结果，其中包括也可以在计算机160上本地计算的EI测量，或者从简单查询到复杂模式搜索的任何其他搜索数值。表185可以包括关于D位数据挖掘用户151的信息并且可以包括其访问类型，也就是完全数据库或者模式表，或者被限制到特定制造商等等，该表例如还可以包括对应于数据挖掘用户已经为之付费或者同意为之付费的使用类型的付费要求和/或收据，以及与任何查询或者所找到的模式有关的任何搜索或建议。包括允许对传感器数据(包括运动捕获数据)进行数据挖掘的面向对象的数据库关系或者基于存储器的数据结构在内的任何其他方案都符合本发明的精神。虽然给出了对应于特定活动的示例性实施例，但是本领域技术人员将认识到，例如通过使用运动捕获元件以及运行在用户的现有蜂窝电话101、102或其他计算机105上的应用，所述系统的实施例可以捕获并且分析任何类型的基于运动的活动。数据库的实施例可以包括保存在表186中的V个视频179，其中例如包括生成视频的用户、视频数据、视频的时间和位置。所述栏位是可选的，并且在一个或更多实施例中，视频可以被存储在系统中的任何移动设备或者移动设备和服务器/DB 172的任意组合上。在一个或更多实施例中，视频可以被分解成与传感器数据表183的“时间”栏位相关联的视频子集，其中所述时间栏位可以包括事件起始时间和事件停止时间。在这种情形中，较大的视频可以被修剪成对应于通常更小的时间窗口(其与保存在表183中的事件类型的事件相关联)的一个或更多更小的事件视频，从而显著减少了所述系统的视频存储需求。
有许多应用受益于所述系统的实施例并且通过所述系统的实施例而实现，其提供在移动计算机或服务器/数据库上观看和分析运动捕获数据，以便例如由用户151对数据库172进行数据挖掘。举例来说，用户151可以包括遵从性监测者，其中例如包括家长、儿童或老年人、管理者、医生、保险公司、警察、军队或者例如装备制造商之类的任何其他实体，其可以进行数据挖掘以用于产品改进。例如在网球实施例中通过搜索对应于特定身材或年龄的用户的最高发球速度，或者在高尔夫球实施例中通过基于表183中的传感器数据栏位中的挥击速度来搜索距离(也就是表183中的顺序位置间的差异)，从而确定哪些制造商具有最佳的球杆或者依照每位用户的年龄或身高或体重的最佳球杆，或者许多其他模式。涉及遵从性的其他实施例允许在满足对应于重力的阈值(高或零或者任何其他等级)的情况下生成来自移动计算机101或者来自服务器/数据库的消息，以便发送到遵从性监测者、管理者、医生、保险公司等等，正如前面所描述的那样。用户151可以包括市场营销人员，其确定特定用户拥有哪些装备以及其他类似的用户可能拥有哪些相关的物品，以便针对特定用户进行销售。用户151可以包括医疗人员，其可以确定例如与糖尿病儿童的鞋具(也就是说某种类型的装备)耦合的传感器进行了多少移动，以及该移动相对于普通无糖尿病儿童有多少，其中依照表185的建议可以包括为糖尿病儿童给出进行更多锻炼的激励等等，以使得该儿童与健康儿童保持一致。体育运动医师、生理学家或理疗师可以利用每位用户的数据，或者在大量用户当中进行搜索并且例如把某一用户的特定移动或运动范围与其他用户进行比较，以便确定给定用户通过拉伸或练习可以在哪些领域得到改进，以及哪些运动范围领域依照用户或依照群体随着时间改变，以及例如用户可以利用何种类型的装备来应对随着时间的改变(甚至在这些改变发生之前)。通过对运动捕获数据以及与运动相关的图像数据进行数据挖掘为用户151提供了独特的优点。可以在通过传感器测量的屈曲参数上实施数据挖掘，以便确定体育装备、鞋具、人体部位或者任何其他物品的柔韧性是否随着时间或者在装备制造商之间有所改变或者确定其任意组合。
为了确保运动捕获期间对于用户150的分析包括与水平线相对相关联(也就是没有倾斜)的图像，所述系统例如可以包括在移动设备101内的计算机160上执行的指向模块。所述计算机被配置成基于获得自移动设备101内的指向硬件的指向数据提示用户沿着水平平面对齐摄影机。本领域技术人员将认识到，指向硬件在移动设备上是常见的。这就允许如此捕获的图像关于水平平面保持相对持平。所述指向模块还可以提示用户朝向或远离该用户移动摄影机，或者针对用户拉近焦距或拉远焦距以便把用户放置在图形“调试框(fitbox)”内，以便在某种程度上规范化将要捕获的用户的尺寸。图像还可以由用户利用来证明其例如遵从了针对满足特定运动要求的医嘱。
所述系统的实施例还被配置成辨识与用户150或装备110相关联的至少一个运动捕获元件，并且把至少一个运动捕获元件111与用户150或装备110上的所指定的位置相关联。举例来说，用户可以在受到移动设备101内的计算机提示时摇动特定的运动捕获元件，以便确认计算机正在请求哪一个运动捕获元件的身份。或者，在实施已知的活动时可以分析运动传感器数据的位置和/或速度和/或加速度，并且关于运动捕获元件的安放位置自动进行分类，或者通过提示用户确认所假设的位置。传感器可以例如通过团队名称和队服号码与特定运动员相关联，并且被存储在运动捕获传感器的存储器中以用于事件传送。图1中示出的任何计算机可以被利用来对于特定运动捕获传感器相关联的标识符进行编程，以便符合本发明的精神。
移动设备101中的计算机的一个或更多实施例被配置成获得用户150的至少一幅图像，并且把三维覆层显示到用户150的至少一幅图像上，其中所述三维覆层与运动分析数据相关联。可以在显示器120上显示各种显示。运动分析数据的显示可以包括与运动分析数据相关联的评定，以及/或者与运动分析数据相关联的所计算的球飞行路径的显示，以及/或者沿着时间轴示出了与运动分析数据相关联的峰值数值所发生的时间点的时间线的显示，以及/或者用以帮助用户改进该用户的技术细节的建议训练课程。这些经过过滤或分析的数据传感器结果可以被存储在数据库172中，例如存储在表183中，或者可以在数据库上(或者与数据库相关联的服务器，或者例如在图1所示的系统中的任何其他计算机或其组合中)对未经处理的数据进行分析，并且随后在移动设备101或网站173上显示，或者例如通过来自摄影机104的电视广播。可以按照任何方式把数据挖掘结果与所述系统的独特显示相组合，并且还可以按照任何所期望的方式被示出。
所述系统的实施例还可以呈现一个界面，以便允许150通过移动设备101的通过无线接口来购买装备110，例如通过因特网或者通过可以被实施成销售商的服务器的计算机105进行购买。此外，对于定制调试装备，比如推杆杆身长度或者任何类型的装备的任何其他定制尺寸确定，所述系统的实施例可以呈现一个界面以便允许用户150通过移动设备101的无线接口来订购定制调试的装备。本发明的实施例还允许移动设备101向用户150建议性能更好的装备，或者允许用户150搜索通过对数据库172进行数据挖掘所确定的性能更好的装备，其中针对具有处于用户150的预定义范围内的挥击速度的用户的每根球杆的高尔夫球击球距离进行数据挖掘。这就允许例如由用户151(比如OEM)对真实生活表现数据进行挖掘和利用以便向用户150建议装备，并且为此被收费，这例如是通过针对如在图1所示的任何计算机中显示的数据挖掘结果的访问付费或者是通过网站173。在本发明的一个或更多实施例中，数据库172跟踪OEM数据挖掘，并且被配置成例如针对每一位用户151在给定的记账时段内所购买和/或使用的访问的数量向用户151收费。例如参见图1B。
所述系统的实施例被配置成分析从至少一个运动捕获元件获得的数据，并且基于与装备耦合的至少一个运动捕获元件的振荡来确定球与装备之间的碰撞的居中程度，并且基于运动分析数据显示撞击位置。该表现数据还可以被存储在数据库172中，并且例如随着在大量碰撞上所进行的数据挖掘而由OEM或教练使用来建议具有更高的居中击中概率的球杆。
虽然图1A描绘出物理设备，但是这里所阐述的系统和方法的范围还可以涵盖具体实现在一个或更多计算机程序中的虚拟设备、虚拟机器或模拟器，其中所述计算机程序执行在计算机或计算机系统上，并且充当或者提供与实施所公开的概念的方法和处理相容的计算机系统环境。在虚拟机器、处理、设备等等与所述系统的物理计算机系统基本上类似地运作的情况下，这样的虚拟平台也将落在本公开内容的系统的范围内，尽管这里所描述的如在图1A中示出的物理系统。
图1C示出了对应于通过利用在所述系统中的计算机的实施例所实施和允许的处理的一个实施例的流程图。在所述系统的一个或更多实施例中，在301处可选地校准多个运动捕获元件。在一些实施例中，这意味着校准用户身上或装备上的多个传感器，以便确保传感器被对齐并且/或者被设置成对于给定的输入运动具有相同的速度或加速度数值。在本发明的其他实施例中，这意味着把多个运动捕获传感器放置在校准对象上，所述校准对象移动并且同时校准指向、位置、速度、加速度或者其任意组合。这一步骤通常包括提供运动捕获元件和可选的安放装置(或者替换地允许利用具有运动捕获感测能力的移动设备)，以及例如允许具有现有的移动电话或计算机的用户利用所述系统的实施例来获得运动捕获数据并且潜在地以此为基础分析和/或发送消息的应用。在一个或更多实施例中，用户可以简单地购买运动捕获元件和应用，并且即刻开始使用所述系统。所述系统在302处利用(多个)运动捕获元件来捕获运动数据，例如在303处在运动捕获数据内辨识出任何事件，也就是超出表明脑震荡的阈值的线性和/或旋转加速度，并且在304处例如把运动捕获数据发送到移动计算机101、102或105，其中可以包括
Figure BDA0001598682290000535
Figure BDA0001598682290000531
Figure BDA0001598682290000532
Figure BDA0001598682290000533
Figure BDA0001598682290000534
电话或者用户可以利用来在本地收集数据的任何其他类型的计算机。在一个或更多实施例中，传感器可以向任何其他运动捕获传感器传送事件，以便例如在其他传感器上开始事件数据存储处理。在其他实施例中，传感器可以向其他移动设备传送事件，以便表明例如应当在丢弃不需要的视频部分的情况下保存对应于事件的视频，以便允许或者在事件的时间点附近或者在后来的某一时间对视频进行修剪。在一个或更多实施例中，所述系统最小化传感器的复杂度，并且例如把处理卸载到在现有的移动电话和其他电子设备中所找到的能力足以胜任的计算元件。从运动捕获元件向用户的计算机传送数据可以在可能时发生、周期性地发生、在事件的基础上发生、在被轮询时发生或者按照任何其他方式发生，正如将在这里的各个章节中所描述的那样。这与连续地发送未经处理的数据的已知系统相比在两个方面节省了大量电力，首先可以在围绕特定运动事件的时间窗口内在事件分组中发送数据，从而把数据精简到总的未经处理数据的一个有意义的小子集，并且其次可以按照低于连续发送的频率或者在已定义的时间或者在被征求数据时发送数据，以便限制传送的总次数。在一个或更多实施例中，在305处例如可以利用在运动捕获传感器111上闪光的LED在本地显示事件，例如黄色慢闪对应于潜在的脑震荡，或者红色快闪对应于可能性很高的脑震荡。替换地或者与之相组合，例如可以传送并且在图1中所示的任何其他计算机或移动设备上显示告警或事件。
所述系统中的主要智能通常存在于移动计算机或服务器中，其中可以利用更多处理能力，并且例如从而利用在现有的移动计算机中普遍存在的通信能力。在所述系统的一个或更多实施例中，移动计算机可以在306处可选地从用户或装备获得标识符，或者该标识符可以作为步骤305的一部分被传送，比如被动RFID或主动RFID或者例如团队/队服号码或其他运动员ID之类的其他标识符，其可以被移动计算机利用来基于装备的标识符确定哪一位用户刚刚潜在地受伤，或者用户正在举起什么重量，或者用户正在穿什么鞋跑步，或者用户正在使用什么武器，或者用户正在使用什么类型的活动。移动计算机可以在307处本地分析运动捕获数据，并且例如当在数据中观测到阈值时显示(也就是示出)或发送例如消息之类的信息，比如当运动员、士兵或赛车手经受过大的重力时，或者当没有发生足够的运动时(或者是在当时或者是基于数据库中的数据模式，正如后面所讨论的那样例如基于该用户的典型运动模式或者其他用户的运动模式)。在其他实施例中，一旦用户实施了特定数量的运动，可以在307处向(多位)安全或遵从性监测者发送消息以便存储或者通过其他方式显示数据，其中例如包括裁判员、家长、儿童或老年人、管理者、医生、保险公司、警察、军队或者例如装备制造商之类的任何其他实体。所述消息可以是SMS消息、电子邮件、推文或者任何其他类型的电子通信。如果特定实施例被配置成用于远程分析或者仅仅用于远程分析，则可以在308处把运动捕获数据发送到服务器/数据库。如果实现方式没有利用远程数据库，则移动计算机上的分析是本地的。如果实现方式包括远程数据库，则在309处可以在移动计算机或服务器/数据库或者全部二者上实施分析。一旦数据库获得运动捕获数据，随后可以对数据进行分析，并且可以按照希望从服务器/数据库向遵从性人员或商业实体发送消息，以便在310处单独显示事件或者与该用户或其他用户的相关联的先前事件数据相组合或者关于所述先前事件数据来显示事件。
本发明的实施例把来自移动计算机和/或服务器的数据用于游戏、形态比较、遵从性、跟踪所燃烧的卡路里、所实施的工作，基于运动或者在白天和夜间有所不同的先前运动模式来监测儿童或老年人，当重力超出阈值或运动停止时针对运动员、部队的安全监测，例如在包括利用用户的当前和/或先前数据或者来自其他用户的数据的虚拟现实应用的蜂窝电话上对于跑步、跳跃、投掷运动捕获数据的本地使用，或者基于用户正在实施或者进行数据挖掘的运动的类型播放音乐或选择播放列表。举例来说，如果运动类似于数据库中的已知运动员，则可以把该用户的播放列表发送到所述用户的移动计算机101。所述处理可以在本地实施，从而如果运动较快则播放快速的音乐，并且如果运动较慢则可以播放慢速的音乐。基于用户的运动播放音乐的任何其他算法都符合本发明的精神。对于从运动捕获元件和用户的现有移动计算机上的应用获得的运动捕获数据的任何使用都符合本发明的精神，其中包括在虚拟现实环境中使用运动数据，以便利用来自所述用户的先前表现或者来自另一位用户(例如包括历史运动员)的实际运动数据示出另一位运动员的化身的相对运动。信息的显示通常是通过三种情形来实施的，其中显示信息是基于用户的运动分析数据或者是关于用户的装备和先前的数据，其中先前的数据可以是来自相同的用户/装备或者一位或更多位其他用户/装备。在这种情形下，当前的运动分析数据与该用户/装备的相关联的先前数据的比较允许利用具有运动捕获传感器和应用的极为成本有效的系统来分析模式。在另一种情形下，信息的显示是根据当前用户的表现，从而使得从所述用户或另一用户/装备选择的先前数据是基于当前用户的表现。这就允许高度真实性的比赛，例如以历史运动员为对手的虚拟网球比赛，其中实际上通过来自历史运动员的捕获运动对用户的挥击作出回应。利用实际数据(当前的和先前存储的数据全部二者)的这种真实性比赛带来了尽可能真实的比赛，例如用户以排名前10的网球运动员的平均模式为对手进行比赛，也就是发球速度、对于用户的给定输入击球的回球的速度和角度。例如可以对电视图像进行分析以便确定由可能已不在世的历史运动员打出的击球的挥击速度和类型，从而以大师为对手测试用户的技巧，就如同大师仍然在世并且当前正与用户进行比赛一样。在第三种情形中可以实施所述用户或不同用户的遵从性和监测，而无需与所述用户的先前数据或者其他用户的先前数据进行比较，其中所述不同的用户例如不具有对于移动计算机的访问或者不拥有移动计算机。换句话说，移动电话与正被监测的用户相关联，并且不同的用户正在获得与例如佩戴运动捕获元件的用户(比如婴儿或糖尿病患者)的当前表现有关的信息。
图1D示出了对应于所述系统的一个实施例的数据流图。如图所示，从许多不同类型的装备110上的或者与用户150相关联的多种运动捕获元件111发送运动捕获数据，其例如处在衣物、头盔、头带、球帽、牙套上或者与用户耦合的任何其他位置。装备或用户可以可选地具有标识符191，其允许系统把数值与运动相关联，也就是正在举起的重量、正在使用的球拍的类型、正在使用的电子设备的类型(也就是游戏控制器)或者其他物体，比如与第二用户152(例如婴儿)相关联的婴儿睡衣。在一个或更多实施例中，可以用运动捕获元件111替代或增强图中的元件191，正如本领域技术人员将认识到的那样。在所述系统的一个或更多实施例中，移动计算机101例如以事件形式并且例如在事件的基础上或者在由移动计算机101请求时接收运动捕获数据，这例如是在运动捕获元件111声明有数据并且把接收器开启固定时间量以答复请求从而避免浪费电力之后，并且如果没有接收到请求，则把接收器关闭一段时间。一旦数据处在移动计算机101中，则对数据进行分析，以便例如取得未经处理的或者基于事件的运动捕获数据，并且例如按照简明的方式确定更容易为人所理解的例如平均速度等项目。所述数据可以被存储(在移动计算机101的右侧示出)，并且随后可以例如按照监测者或遵从性文字或电子邮件的形式或者在与移动计算机101或计算机105相关联的显示器上向用户150或151显示数据。这就潜在地允许不与运动捕获元件相关联并且可选地甚至不与移动计算机相关联的用户获得监测者消息(例如婴儿正在缓慢呼吸)，或者例如观看虚拟现实比赛或表演，其中可以包括当前正在提供运动捕获数据的用户，具有先前存储的数据的用户，或者在对过去的(多场)巡回赛表现的视频中的运动进行分析之后还包括历史运动员(比如著名高尔夫球手)等等。在其中当前例如从用户150或装备110获得数据的游戏情形中，例如在虚拟现实眼镜上的数据显示可以利用来自该用户/装备或者另一用户/装备的先前数据，以便对用户的当前运动数据作出响应，也就是说根据用户的输入作出响应。先前的数据可以被存储在系统中的任何位置处，例如存储在移动计算机101、计算机105中或者存储在服务器或数据库172上(参见图1)。先前的数据例如可以被利用来向用户151表明用户150已经经历了特定数目的潜在脑震荡事件，因此必须治疗特定时间量才能再次比赛。保险公司例如可以要求这样的遵从性以便降低医疗开销。可以从移动计算机101、计算机105或者如图1中所示在服务器上或者在与服务器172耦合的数据库中存储和取回视频以便形成事件视频，所述事件视频例如包括在显示器上同时示出的事件数据和事件的视频，其通常例如被叠加或者在移动计算机101或计算机105的显示器的分开的部分中示出。
图2A示出了围绕用户的头部150a的基于头盔110a的安放装置，其中基于头盔的安放装置如图所示地把运动捕获传感器111固定在头盔的后侧部分上。图2B示出了在头盔的底部后侧部分示出的基于颈口嵌件的安放装置，其允许利用运动捕获传感器111改装现有的头盔。在包括被配置成与用户的头部150a耦合或者通过其他方式佩戴在用户头部150a附近的至少一个运动捕获传感器的实施例中，所述微控制器还可以被配置成计算用户头部上的撞击位置。用户头部上的撞击位置的计算是基于用户头部和/或头盔物理几何结构。举例来说，如果运动捕获元件111表明不具有旋转的后向加速度(如图中的右侧所示)，则可以通过跟踪加速度的矢量回到头盔或用户头部的周界之外的方向来计算撞击位置。这一非旋转计算实际上表明力线经过用户头部/头盔的重心或其附近，否则会由运动捕获元件111观测到旋转力。如果在运动捕获元件111处观测到侧向矢量，则撞击点被计算成处在头盔/头部的侧面并且经过重心。因此，例如至少在加速度峰值附近的时间段内或者在任何其他时间段期间没有对运动捕获传感器施加旋转加速度的任何其他撞击都可以被认为是被施加在经过重心的去到头盔/头部的方向上。因此，对于撞击点的计算被计算成检测到力的矢量的头盔/头部的外周界的交点，并且通过计算从重心回去的距离和角度而向回贯穿到撞击点。举例来说，如果加速度矢量处于45度并且没有旋转，则撞击点是从头盔/头部的重心向回45度，因此计算45的正弦(近似0.7)乘以头盔的半径(或5英寸)，从而得到距离头盔正面大约3.5英寸的撞击。或者，可以把撞击位置保持在角度格式中，以便表明撞击是处于距离头盔/头部正面45度。相反，如果观测到没有线性加速度的旋转加速度，则头盔/头部围绕传感器旋转。在这种情形中，旋转脑部所需的力在重心前方经过并且通常与被定义成经过重心和传感器的线正交(例如侧面撞击)，否则将会观测到变换线性加速度。在这种情况下，撞击位置于是处在头盔/头部的与加速度方向相对的一侧。因此，对于撞击位置的这两种计算是可以被利用的简化计算方法的实例，但是也可以利用考虑到头部/头盔的质量和头部/头盔的尺寸的任何其他基于矢量的算法。一种这样的算法可以利用任何数学等式，比如F＝m*a，也就是力等于质量乘以加速度，以及扭矩＝rXF，其中r是头部/头盔的外侧部分处的位置矢量、X是叉积并且F是力矢量，以便计算力矢量，并且如果希望的话变换回到头盔/头部的外周界以计算施加在该位置处的力矢量。虽然关于头盔进行了描述，但是所述至少一个运动捕获传感器的其他实施例可以被配置成利用任何类型的安放装置、封装或耦合机制与帽子或球帽耦合、耦合在保护性牙套内。可以对于帽子/球帽/牙套利用类似的计算，以便从例如可以表明脑震荡相关事件的加速度或者任何其他数量来确定撞击的位置/方向、线性或旋转力。一些实施例可以包括与至少一个运动捕获传感器或者与例如在图1A中示出的微控制器耦合的温度传感器。温度传感器可以被单独利用或者与运动捕获元件相组合，以便例如确定身体或头部是否正在发抖，也就是表明体温过低，或者确定是否没有检测到移动，并且例如通过无线方式或者通过基于连线的温度传感器测量的温度表明身体或脑部高于表明中暑的阈值。
本发明的实施例还可以利用被配置成围绕至少一个运动捕获元件的隔离器以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼，从而最小化事件数据的线性加速度和旋转加速度的变换，以便获得用户脑部的观测线性加速度和观测旋转加速度。因此，一些实施例不必把来自基于头盔的加速度的力或加速度数值或者任何其他数值变换到所观测到的脑部加速度数值，因此本发明的实施例利用更少的电力和存储来提供特定于事件的数据，从而又最小化数据传输的数量，从而导致更低的传送功率利用。基于头盔中的内在衬垫的类型，在美式足球/冰球/长柄曲棍球运动员的头盔上可以利用不同的隔离器。在其中不佩戴头盔或者偶尔佩戴头盔的体育运动中所利用的其他实施例还可以利用球帽或帽子上(例如棒球运动员的帽子上)的至少一个运动捕获传感器，连同安放在击球头盔上的至少一个传感器。在其中不利用球帽的体育运动(比如英式足球)中还可以利用头带安放装置来同样确定脑震荡。在一个或更多实施例中，利用在头盔上的隔离器可以在封装中保持附着到头盔，并且传感器可以被移除并且放置在不利用匹配用户脑液的阻尼的隔离器的另一件装备上。一些实施例可以基于与特定类型的装备(也就是冲浪板相比于棒球棒)相关联的特性运动模式自动检测运动类型，并且确定运动捕获传感器当前所附着到的装备的类型。在一个或更多实施例中，可以被利用来计算隔离器的物理特性的一种算法可以包括把一个运动捕获传感器安放在头盔上，并且把一个运动捕获传感器安放在碰撞测试假人头部中的头型中，其中头型中的运动捕获传感器被封装在隔离器中。通过对头盔施加线性和旋转加速度，并且例如关于放置在头盔内的尸体头部中的传感器来观测由头盔传感器获得以及由头型中的传感器观测到的数值中的差异，可以获得最紧密地匹配人类脑部的阻尼效果的具有最佳匹配阻尼数值的隔离器材料。
图3示出了图2A-B的安放装置的特写，其中示出了运动捕获传感器与头盔的外部部分之间的隔离器。本发明的实施例可以被配置成获得/计算线性加速度数值或旋转加速度数值或者全部二者。这就允许针对脑震荡以及线性加速度来监测旋转事件。如图所示，外部加速度G1可以施加与人类脑部所观测到的加速度更加相关联的更低加速度，也就是通过利用传感器安放装置111b内的隔离器111c的传感器111上的G2。这就允许针对脑震荡以及线性加速度来监测旋转事件。其他事件可以利用线性和/或旋转加速度和/或速度，例如与模式或模板进行比较，从而不仅在事件期间切换传感器个性以便动态地改动捕获特性，而且还表征正在与当前的运动捕获传感器一起利用的装备的类型。这就允许通过用户的单次运动捕获元件购买而使得多件装备或衣物工具化，这是通过允许传感器基于由该传感器捕获的运动与特性运动模式或模板的比较自动确定该传感器所耦合到的装备或衣物的类型。
图4A示出了安放在头盔110a上的运动捕获元件111的顶部剖面图，所述头盔110a具有围绕用户的颅骨401和脑部402的衬垫110a1。图4B示出了对应于图4中示出的各个元件的旋转脑震荡事件。如图所示，不同的加速度数值可能被施加在具有重心403并且由头盔110a中的衬垫110a1围绕的人类脑部402和颅骨401上。如图所示，为了在单位时间段内移动，脑部的正面部分必须以速率G2a加速度，该速率G2a高于脑部的后侧部分处的速率G2c或者重心处的速率G2b。因此，对于给定的旋转加速度数值，脑部的不同区域可能受到不同的影响。因此，本发明的一个或更多实施例可以传送不仅与线性加速度有关而且还与旋转加速度有关的信息。
图5示出了针对头盔的输入力G1(如图所示为500g)相对于在脑部内观测到的力G2，其由安放在隔离器内的传感器观测到并且利用已知的头型加速度测量系统得到证实。右上方的曲线图示出了两种已知的头型系统证实了由图4A中示出的基于隔离器的运动捕获元件111关于头型安放的加速度计所观测到的加速度数值。
图6示出了3个轴的旋转加速度数值连同总旋转矢量数量，连同从摄影机获得并且与运动事件数据一起显示的脑震荡事件的视频。在一个或更多实施例中，可以针对旋转(如图所示)或线性数值显示来自给定传感器的加速度数值，这例如是通过两次敲击移动设备屏幕或者是通过任何其他方式。本发明的实施例可以利用无连接广播消息来传送与事件相关联的事件数据。在一个或更多实施例中，取决于所采用的无线通信，广播消息可以包括具有有限数量的数据的有效载荷，其可以被利用来避免基于连接的协议的握手和开销。在其他实施例中，可以按照任意组合来利用无连接或基于连接的协议。通过这种方式，裁判员可以在移动设备上获得潜在的脑震荡相关事件的接近即时的读出，从而允许裁判员快速获得医疗协助。
在一个或更多实施例中，计算机可以访问与用户或装备相关联的先前存储的事件数据或运动分析数据，以便例如确定脑震荡或摔倒或其他挥击或者任何其他运动事件的数目。一些实施例还可以把与至少一位用户相关联的事件数据呈现在显示器上，这是基于与所述用户或装备相关联的事件数据或运动分析数据以及与所述用户或装备或者与至少一位其他用户或其他装备相关联的先前存储的事件数据或运动分析数据。这就允许在数目或定量数值方面对运动事件进行比较，例如由所述用户或其他用户在特定比赛中或者在历史上观测到的最大旋转加速度。此外，定义对应于典型事件的特定装备的特性运动的模式或模板可以被动态地更新，例如在中央服务器上或者在本地更新，以及在一个或更多实施例中通过无线接口在运动捕获传感器中动态地更新。这就允许传感器随着时间改进。因此，图6中所示出的显示还可以表明先前对于给定拳击手/运动员所存储的脑震荡的数目，并且允许裁判员/医生关于该运动员是否可以继续比赛作出决定。
本发明的实施例可以例如通过广播电视或因特网传送信息以便在与计算机或远程计算机耦合的视觉显示器上进行显示。因此，图6中的显示还可以例如向正在观看的观众示出，以便表明施加在拳击手/运动员/骑手等等身上的力的数量。
图7示出了用户的时间线显示2601连同被显示成沿着时间线的事件的沿着时间线的峰值和最小角速度。此外，在底部显示中所示出的曲线图示出了高尔夫球杆2602的超前和滞后(lead and lag)连同高尔夫球杆的下垂和漂移(droop and drift)，其中这些数值决定高尔夫球杆的杆身在相对于时间标绘的两个轴中的弯曲程度。在图8中示出了一个显示实施例，其中在所述显示上标注了简化的时间线以及运动相关事件(挥击的最大速度)。
图8示出了子事件快进快退(scrub)时间线，其允许与将要滚动到、播放到或者从该处播放的子事件相关联的起始/停止时间点802a-d(也就是图7中示出的子事件时间位置)附近的输入，从而很容易地允许观看子事件。举例来说，高尔夫球挥击可以包括例如瞄准(address)、向后挥动、向前挥动、击打、保持姿势(follow through)之类的子事件。所述系统可以显示对应于子事件802a-d的时间位置并且接受所述位置附近的用户输入，以便声明视频应当在该时间点处开始或停止，或者例如滚动到或者回到该时间点以易于观看子事件。用户输入单元801可以被利用来把时间拖曳到附近的子事件，以便例如把视频定位在所期望的时间点。替换地或者与之相组合，当视频正在播放时的例如声明另一个子事件时间点附近的手指按压的用户输入可以表明视频应当在下一个子事件时间点处停止。用户界面还可以被利用来控制-拖曳所述点，以便把视频更加精确地同步到其中发生特定子事件或事件的帧。举例来说，用户可以按住控制键并且把点802b向左或向右拖曳，以便把视频帧匹配到球杆头部的速度为零的实际时间点，以便例如把视频更加紧密地同步到所示出的实际运动分析数据，这里的挥击速度以每小时英里数计。在符合本发明的精神的情况下，可以利用任何其他用户手势把用户帧同步到运动分析数据，比如语音控制、箭头键等等。
图9示出了子事件802a和802b沿着时间线开始和停止的相对位置以及与起始和停止时间相关联的引力，其允许这些点附近的用户输入被吸引到起始和停止时间。举例来说，在沿着时间线左右拖曳用户界面单元801时，所述用户界面单元可以表现为朝向潜在的阱802a和802b移动，从而使得用户界面单元更容易移动到子事件的起始/停止点。
在一个或更多实施例中，所述计算机还被配置成从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频。这可以包括从特定的邻近摄影机或者指向事件方向的摄影机请求视频的广播消息。在一个或更多实施例中，所述计算机还被配置成广播针对邻近事件或者被指向来观看事件的摄影机位置的请求，并且可选地对于围绕感兴趣事件的持续时间显示可用的摄影机或者来自该处的视频。在一个或更多实施例中，所述计算机还被配置成显示事件发生的一个或更多时间的列表，从而允许用户通过所述计算机获得所期望的事件视频，并且/或者从具有所期望的事件时间的第三方独立地请求视频。所述计算机还可以从服务器172获得视频，并且在本地把视频修剪到所期望的事件。这可以被利用来获得第三方视频以及来自不与所述计算机直接接口但是可以与服务器172通信的系统的视频。
图10示出了利用一台移动设备102b作为运动捕获元件111a以及另一台移动设备102a作为接收第一用户事件的运动事件数据和视频的计算机的一个实施例。来自移动设备102a的视图在该图的左上部分示出。在一个或更多实施例中，所述至少一个运动捕获传感器与移动设备耦合，并且例如使用处于移动设备内或者与移动设备耦合的内部运动传感器111a。这就允许利用普遍存在的最低程度硬件来进行运动捕获和事件辨识，例如使用具有内建加速度计的移动设备。在一个或更多实施例中，第一移动设备102b可以与记录运动数据的用户耦合(其在这里被示出为正在进行单板滑雪)，第二移动设备102a则被利用来记录运动的视频。在一个或更多实施例中，正在经历运动的用户可以给出手势，例如在移动设备上敲击N次，从而表明第二用户的移动设备应当开始记录视频或停止记录视频。可以利用任何其他手势在移动设备之间传送事件相关或运动相关的指示。
因此，本发明的实施例可以辨识任何类型的运动事件，其中包括与表明站立、行走、摔倒、中暑、疾病突发、剧烈抖动、脑震荡、碰撞、步态异常、呼吸异常或没有呼吸或者其任意组合的运动有关的事件，或者具有期间发生运动的持续时间的任何其他类型的事件。事件还可以具有任意粒度，例如包括具有已知的签名或者通过其他方式匹配任何类型的模板或模式的子事件，其中包括线性或旋转轴的特定集合中的幅度和/或时间阈值。举例来说，表明滑板推出(push-off)或一系列推动的事件可以被分组到例如“准备操控”之类的子事件中，而X中的旋转轴则例如可以表明“滑板翻/滚”。在一个或更多实施例中，事件可以被分组以及存储/发送。
图11示出了被利用来存储数据的存储器的一个实施例。存储器4601例如可以被集成到运动捕获元件111中的微控制器，或者可以例如作为单独的存储器芯片与微控制器耦合。如图所示的存储器4601可以被配置成分别包括一个或更多存储器缓冲器4610、4611和4620、4621。可以被利用的存储器缓冲器的一个实施例是环形缓冲器。环形缓冲器可以被实施成被多次覆写，直到事件发生为止。环形缓冲器的长度可以是从0到N个存储器单元。例如可以有M个环形缓冲器，例如对应于M个击打事件。数字M可以是大于零的任何数字。在一个或更多实施例中，数字M可以等于或大于预期事件的数目，例如击中数，或者对应于一轮高尔夫球比赛的击球数，或者允许把所有运动捕获数据存储在运动捕获元件上直到在一个或更多事件之后被下载到移动计算机或因特网的任何其他数目。在一个实施例中，例如被称作头指针(HEAD)的指针跟踪缓冲器的头部。随着数据被记录在缓冲器中，头指针被向前移动适当的数量，从而指向下一个空闲存储器单元。当缓冲器变满时，指针回绕到缓冲器的开头，并且在遇到先前的数值时将其覆写。尽管数据被覆写，但是取决于缓冲器的尺寸和记录的速率，在任何时刻(t)都有从时间(t)向回记录的传感器数据。随着传感器在缓冲器中记录数据，一个或更多实施例中的“事件”停止用新的数据覆写缓冲器。在检测到事件时，传感器可以在第二缓冲器4611中继续记录数据，以便例如在特定的捕获速率下记录特定时间量的事件后数据，从而完成预期影片的记录。存储器缓冲器4610现在包含从事件向回的所期望的时间量(这取决于缓冲器的尺寸和捕获速率)的数据记录，连同事件后缓冲器4611中的事件后数据。例如参见图19，视频也可以按照类似的方式被存储并且在后来被修剪。
例如在高尔夫球挥击中，事件可以是球杆头部与球撞击。或者，事件可以是球杆头部与地面撞击，从而可能导致错误事件。在其他实施例中，事件可以是可能表明脑震荡事件的用户头部的加速度，或者从武器射击，或者球击打棒球棒，或者当用户把重量移动到最高点并且放下以进行另一次重复时。事件前缓冲器存储直到撞击事件为止的传感器数据，事件后缓冲器存储撞击事件之后的传感器数据。微控制器的一个或更多实施例被配置成分析事件，并且确定事件是重复、射击还是例如击打或错误击打之类的事件。如果事件根据模式或签名或模板被视为有效事件(参见图13和15)而不是错误事件，则将另一个存储器缓冲器4620用于运动捕获数据，直到发生第二个事件为止。在该事件发生之后，利用所捕获的数据填充事件后缓冲器4621。
具体来说，运动捕获元件111可以被实施成一个或更多MEMs传感器。所述传感器可以被命令以特定时间间隔收集数据。在每一个间隔处，从各种MEMs设备读取数据并且存储在环形缓冲器中。从MEMs传感器读取的一个数值集合被视为一帧(FRAME)数据。取决于正被收集并且存储在缓冲器中的数据的类型，一帧数据可以是0个、1个或者多个存储器单元。一帧数据还与一个时间间隔相关联。因此，基于来自传感器的捕获速率，各帧还与时间单元相关联。举例来说，如果以2ms间隔填充每一帧，则1000帧将包含2000ms的数据(2秒)。一般来说，帧不必与时间相关联。
数据可以被不断地存储在环形缓冲器中，并且例如在指定的事件、时间、或者当通过无线电装置/天线去到移动设备或者任何其他计算机或存储器的通信可用时、或者当例如由移动设备命令(也就是“轮询”)时、或者在任何其他所期望的事件处，数据被写出到非易失性存储器，或者通过无线或有线链接或者通过无线电装置/天线被发送到远程存储器或设备。
图12示出了特别被编程到微控制器中以便确定是否发生了将对于特定应用传送的事件的功能的一个实施例的流程图，所述事件例如是预期事件或者例如是已经发生的事件。从对于体育装备的撞击发生的运动、加速度或撞击波被传送到运动捕获元件中的传感器，所述传感器如在前面的图11中所描述的那样记录运动捕获数据。所述微控制器被配置成随后分析所述事件，并且确定所述事件是否预期事件。
所发生的一种类型的事件是加速度，或者基于头部/头盔/球帽/牙具的传感器超出指定的线性或旋转数值，或者球杆面在撞击高尔夫球时的撞击。在利用球和击打工具的其他体育运动中应用相同的分析，但是所述分析被调整到具体的体育运动和体育装备。在网球中，预期击打例如可以是球拍击中球，而不是在接发球之前转动球拍。在例如跑鞋之类的其他应用中，撞击检测算法可以在某人正在跑步时检测鞋击中地面。在练习中，其可以是正在达成的特定运动，这就例如允许在举重或者骑固定自行车的同时对重复次数进行计数。
在本发明的一个或更多实施例中，处理开始于4701处。在4702处，微控制器在特定撞击时间框架内把存储器4610中的运动捕获数据与超出特定阈值的线性速度进行比较，并且在4703处搜索其中存在高于特定阈值的速度或加速度中的突然改变的不连续性阈值。如果在已定义的时间窗口中没有发生速度或者例如加速度中的不连续性，则处理在4702处继续。如果不连续性确实发生，则在4704处将预期撞击保存在存储器中，并且把撞击后数据保存给定的时间P。举例来说，如果撞击阈值被设定到12G，不连续性阈值被设定到6G，并且撞击时间框架是10帧，则在检测到10帧内的至少一个轴或所有轴中的12G加速度以及随后的6G的不连续性之后，微控制器3802用信号表明撞击。在典型的事件中，加速度建立特性加速度曲线。撞击被表示成加速度/速度中的快速改变。这些改变通常不同于由特定非事件的递增或递减曲线所创建的平滑曲线。对于基于脑震荡的事件，一个或更多轴中的线性或旋转加速度超出一定阈值。对于高尔夫球相关的事件，如果加速度曲线是关于高尔夫球挥击，则特定的轴具有符合签名、模板或其他模式的特定加速度，并且打中球导致表明击中的较大加速度尖峰。如果数据匹配给定的模板，则其被保存，如果不匹配，则处理回到4702处继续。如果在4705处决定将在外部保存数据，也就是说存在去到移动设备的通信链接，并且例如当其发生时移动设备正在轮询或者已经请求了撞击数据，则在4706处把事件传送到外部存储器或移动设备或者将其外部保存在任何其他位置处，并且处理再次在4702处继续，其中微控制器针对后续事件分析所收集的运动捕获数据。如果将不在外部保存数据，则处理在4702处继续，并且将撞击数据本地保存在存储器4601中。如果被发送到外部，则其他运动捕获设备也可以对于由另一个传感器检测到的事件保存其运动数据。这例如就允许具有更精细的分辨率或更多运动的传感器提醒与用户或装备相关联的其他传感器保存事件，即使运动捕获数据并没有达到特定阈值或模式(例如参见图15)。这种类型的处理提供了更加鲁棒的事件检测，这是因为可以利用多个传感器来检测特定类型的事件，并且通知出于各种原因可能不匹配事件模式的其他传感器。此外，摄影机可以被通知并且修剪或者通过其他方式丢弃不需要的视频并且保存事件相关的视频，从而可以降低不仅是事件而且还有视频的存储器利用。在本发明的一个或更多实施例中，在发送之前可以从运动捕获数据滤除噪声，并且可以基于所获得的数据数值改变采样率，以便最大化准确性。举例来说，一些传感器在高采样率和高重力下输出不准确的数据。因此，通过在高重力下降低采样率，准确性得以保持。在本发明的一个或更多实施例中，与运动捕获元件111相关联的微控制器可以感测高重力并且自动切换采样率。在一个或更多实施例中，取代使用具有6G/12G/24范围或2G/4G/8G/16G范围的加速度计，可以利用具有2个范围(例如2G和24G)的加速度计以便简化在各个范围之间进行切换的逻辑。
本发明的一个或更多实施例可以把事件传送到移动设备，并且/或者例如对于一轮高尔夫球比赛或者直到实现移动设备通信链接为止继续把事件存储在存储器中。
例如对于被安放在特定安放装置中的传感器，在图13中示出了典型的事件签名，此外还参见图15中的通过例如与不同装备或衣物相关联的模式或模板所示出的两种特性运动类型的比较。在一个或更多实施例中，微控制器被配置成执行模式匹配算法以便跟随对应于每一个轴的曲线，并且使用1个或更多轴的片段来确定在线性或旋转加速度或者其任意组合中是否发生了特性挥击。如果存储器4601中的运动捕获数据处于与图13中所示的典型挥击的数值足够接近的范围内，则运动与事件一致。因此，在首先表征移动的角度和/或线性速度签名之后，并且随后利用该签名的元素来确定是否发生了对应于未来事件的类似签名，本发明的实施例减少了事件检测中的错误肯定的数目。
运动捕获元件从各个传感器收集数据。数据捕获速率可以较高，并且如果是这样的话，则要捕获大量数据。取决于具体应用，本发明的实施例可以使用无损和有损压缩算法来存储传感器上的数据。压缩算法允许运动捕获元件在给定的资源内捕获更多数据。传输到(多台)远程计算机的也是已压缩数据。已压缩数据的传输更快。已压缩数据也被存储在因特网中的“云端”中，或者被存储在数据库上，从而在本地占用更少的空间。
图14示出了运动捕获元件111的一个实施例，其配置有用于在本地显示和观看事件相关信息的可选LED视觉指示器1401，以及被配置成显示与事件相关联的文字或已编码消息的可选LCD 1402。在一个或更多实施例中，所述LED视觉指示器可以对于中度类型的脑震荡慢闪黄色，并且对于重度类型的脑震荡快闪红色，以便在无需任何无线通信的情况下给出关于事件的快速总览。此外，LED可以表现若干闪光或其他颜色，以便表明任何温度相关事件或其他事件。一个或更多实施例还可以采用LCD 1402，其例如可以示出文字或者替换地可以显示对应于敏感的健康相关信息的已编码消息，裁判员或医疗专业人员例如可以利用移动设备上的适当的读取器应用对其进行读取和解码。在该图的右下部分中，LCD显示器可以产生声明“潜在脑震荡1500度/s/s旋转事件检测-立即告警医疗专业人员”的已编码消息。其他瘫痪诊断消息或者可能是敏感的任何其他类型的消息可以被编码并且被本地显示，从而例如使得医疗专业人员可以立即开始救助用户/运动员/拳击手而不会由于诊断消息惊动其他运动员，或者无需通过无线方式在空中传送所述消息以避免拦截。
图15示出了与不同类型的装备和/或工具化衣物相关联的运动事件的模板特性的一个实施例，连同其中运动捕获传感器个性可以改变以便更加准确地或者更加高效地捕获与特定时间段和/或子事件相关联的数据的区域。如图所示，在加速度曲线图1501中示出了对应于滑板的特性推出(push off)，所述曲线图在上方的6条时间线中显示出X、Y和Z轴线性加速度和旋转加速度数值，其中时间向右递进。如图所示，当用户通过每一步推动滑板时，在1502和1503处示出了所捕获到的离散正x轴加速度，其后是随后滑板在每一次推动之间变慢的负加速度。此外，每一次推动期间的y轴摆动也被捕获到，而在滑板推出或驱动的该特定模板或模式中没有z轴线性加速度的改变并且没有旋转加速度。或者，所述模式可以包括预定义的时间窗口处的x中的一组阈值加速度以及对应于摆动的其他阈值或者没有对应于摆动的阈值，其中例如将所捕获的数据与之进行比较，以便自动确定运动捕获元件被安放到的或者已知的装备当前正在经历的装备的类型。这例如允许基于事件的数据保存和传送。
但是曲线图1511中的模式或模板示出了跑步事件，其中用户在跑步事件期间略微上下加速。由于用户的速度相对恒定，因此在x中相对没有加速度，并且由于用户没有转弯，因此在y中(左/右)相对没有加速度。该模式例如可以被利用来在对应于跑步的范围内进行比较，其中所述模式包括预定义时间窗口中的z轴加速度。因此，曲线图1511当中的上方的三个曲线图可以被利用作为用以标记跑步事件的模式。下方的三个曲线图可以在1514和1515处示出当运动捕获元件被安放在头盔和/或牙套中时表明用户向两侧观看的所捕获的数据，而所捕获的数据1516则可以表明通过每平方秒足够高的角度数的旋转运动所观测到的中度或重度脑震荡。此外，可以在1516处或者在任何其他阈值处动态地改动传感器个性，以便例如改变运动捕获传感器的捕获速率或捕获比特尺寸，从而在幅度或时间方面更加准确地捕获事件。这就允许对于感兴趣的时段动态地改动捕获质量以及/或者动态地改变功率利用，这在本领域内是未知的。在一个或更多实施例中，例如对于利用安放在头盔、牙套内或者任何其他装备中或者用户身体内的温度传感器的本发明的实施例，还可以记录温度时间线。
图16示出了保护性牙套1601的一个实施例的正视图并且在图中的底部示出了顶视图，其例如在任何接触性体育运动中被佩戴，比如(而不限于)英式足球、拳击、美式足球、摔跤或者任何其他体育运动。牙套的实施例可以被佩戴来补充具有或不具有运动捕获元件的任何其他头部用具，以便增加与用户相关联的运动捕获数据，并且把来自用户所佩戴的任何或所有运动捕获元件的运动数据和/或事件进行相关或者通过任何其他方式进行组合或比较。图2A-B中所示出的或者任何其他装备中的牙套和/或头盔的实施例例如还可以包括温度传感器，正如前面所讨论的那样。
图17示出了由图1中的任何计算机利用的算法的一个实施例，其被配置成在组合格式中显示运动图像和运动捕获数据。在一个或更多实施例中，运动捕获数据以及任何事件相关的起始/停止时间可以被保存在运动捕获元件111上。本发明的一个或更多实施例包括一种运动事件辨识和视频同步系统，其包括被配置成与用户或装备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件。所述至少一个运动捕获元件可以包括：存储器；被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度和加速度相关联的数值的任意组合的传感器；无线电装置；与存储器、传感器和无线电装置耦合的微控制器。所述微控制器可以被配置成收集包括来自传感器的传感器数值的数据，把数据存储在存储器中，对数据进行分析并且辨识出数据内的事件以便确定事件数据，通过无线电装置传送与事件相关联的事件数据。所述系统还可以包括移动设备，所述移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口，其中所述计算机与无线通信接口耦合，其中所述计算机被配置成从无线通信接口接收事件数据。所述计算机还可以分析事件数据以形成运动分析数据，存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者，从事件获得事件起始时间和事件停止时间，从摄影机请求包括至少在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频的图像数据，并且在显示器上显示事件视频，其中包括全部以下两项：在从事件起始时间到事件停止时间的时间跨度期间所发生的事件数据、运动分析数据或者其任意组合；以及在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频。
当通信信道可用时，运动捕获数据以及任何事件相关的起始/停止时间在1701处被推送到任何计算机(例如101、102、102a、102b、105)，或者由任何计算机获得或者通过其他方式接收。还可以获得传感器上和/或运动捕获数据时间中的时钟之间的时钟差异。这可以通过读取传入消息中的当前时间标记并且把传入消息时间与本地计算机的时钟的当前时间进行比较来实施，对于同步的更多细节例如还参见图18。来自传感器和计算机的时钟中的差异可以被利用来在1702处从任何本地的或者对于考虑任何时钟差异而经过调节的时间指向事件位置的摄影机请求图像数据。举例来说，计算机可以通过查询所有摄影机103、104或者设备101、102和/或102a上的摄影机来请求在所述时间/位置处拍摄的图像，其中任何或所有所述设备具有在附近拍摄的图像(例如基于GPS位置或无线范围)并且/或者指向获得自运动捕获元件111的事件。如果设备不处在附近但是指向事件的位置，正如当配备有磁力计时通过其位置和指向所确定的那样，则其也可以通过对应于所述时间范围的图像来作出响应。可以通过电子方式进行通信的任何类型的摄影机都可以被查询，其中包括保姆摄像头等等。举例来说，可以由移动计算机101在接收到来自运动捕获传感器111的事件之后发送消息，其中所述消息可以被发送到例如处于移动计算机101的无线范围内的任何摄影机。替换地或者与之相组合，移动计算机101可以发送征求处于事件位置的预定义距离内的任何摄影机身份，或者查询指向事件的方向的即使并非相对接近的任何摄影机。在接收到潜在摄影机的列表时，移动设备101可以例如向其查询在围绕事件的预定义窗口中获得的任何图像。在1703处，计算机可以接收图像数据，或者如果计算机与摄影机耦合的话则可以在本地查找图像。在一个或更多实施例中，服务器172可以迭代经过视频和事件以便确定任何相关的视频和事件，并且自动修剪视频以便对应于事件起始和停止时间的持续时间。虽然可以利用无线通信，但是任何其他形式的图像数据传输也符合本发明的精神。不管是处于数字还是图形覆层格式或者包括文字的任何其他格式中的来自事件的数据都可以与对应于该时间的相应图像一起被示出，或者在1704处被叠加到对应于该时间的相应图像上。这在时间1710(即当前时间)处通过图形方式被示出，其对于示出具有叠加的运动捕获数据1712的运动事件的一帧的图像1711例如是可滚动的。对于组合的或同时无叠加的数据例如参见图6。
图18示出了可以由本发明的一个或更多实施例利用的同步架构的一个实施例。一些实施例可以使用任何类型的同步方法来同步系统中的时钟，并且在一个或更多实施例中，移动设备101上的计算机160还被配置成确定运动捕获元件111与移动设备之间的时钟差异，并且把运动分析数据与视频同步。举例来说，本发明的一个或更多实施例提供用于使得多台记录设备同步关于每一台设备的时间、位置或指向的信息的规程，从而可以组合来自不同设备的关于事件所记录的数据。这样的记录设备可以是嵌入式传感器、具有摄影机或麦克风的移动电话，或者更一般来说是可以记录与感兴趣的活动相关的数据的任何设备。在一个或更多实施例中，这一同步是通过在设备之间交换信息来实现的，从而使得各台设备可以在针对时间、位置或指向的共同测量方面达成一致。举例来说，移动电话和嵌入式传感器可以跨过链接1802例如通过无线方式交换带有其内部时钟的当前时间标记的消息；这些消息允许发生协商，其中两台设备在共同时间方面达成一致。这样的消息可以按照需要周期性地交换，以便解决前一次同步之后的设备的时钟漂移或运动。在其他实施例中，多台记录设备可以使用共同的服务器或服务器集合1801以获得时间、位置或指向的标准化度量。举例来说，设备可以使用GPS系统来获得对应于每一台设备的绝对位置信息。GPS系统还可以被用来获得标准化时间。NTP(网络时间协议)服务器还可以被用作标准化时间服务器。通过使用服务器允许各台设备在共同测量方面达成一致，而不必总是被配置来彼此通信。
图19示出了由其中一个运动捕获传感器111检测到事件，传送事件检测(在这里被显示成从位于中心处的传感器111发出并且去到例如移动设备101上的其他运动捕获传感器111和/或摄影机的箭头)，保存事件运动数据，以及修剪视频以对应于事件。在本发明的一个或更多实施例中，其中一些记录设备被配置成检测各种感兴趣事件的发生。一些此类事件可能在特定时刻发生；其他此类事件可能在一段时间间隔内发生，其中所述检测包括检测事件的起始和事件的结束。这些设备被配置成利用前面所描述的对应于时间、位置和指向的同步测量基础对记录设备的时间、位置或指向的任意组合进行记录，其例如连同事件数据一起被包括在存储器缓冲器4610中，或者处于任何其他数据结构中。
移动设备上的计算机的实施例还可以被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频，例如事件或者具有预定义的在前和在后间隔1902和1903的事件之前和之后的部分1910和1911。举例来说，在本发明的一个或更多实施例中，其中一些记录设备在等待检测事件的同时持续地把数据捕获到存储器。为了节省存储器，一些设备可以被配置成只有当数据在时间上邻近所检测到的事件时才把该数据存储到更加永久性的本地存储介质或者存储到服务器172。例如在没有检测到事件的情况下，新记录的数据可以最终在存储器中覆写先前记录的数据，这取决于正在记录运动数据或视频数据的每一台设备中的存储器的数量。在一些实施例中可以把循环缓冲器用作此类覆写方案的一种典型实现方式。当事件检测发生时，除了存储在事件本身(即1901)期间捕获的数据之外，记录设备可以存储事件起始之前的某一所配置的数据量(接近在前间隔1902的起始)以及事件结束之后的某一所配置的数据量(接近1903)。任何在前或在后的时间间隔都被视为事件起始时间和事件停止时间的一部分，从而使得例如在视频中示出事件的情境。这就为事件给出了情境，例如可以依照体育运动来设定在前时间间隔的数量，以便允许高尔夫球挥击的准备(setup)成为事件视频的一部分，尽管其在击打高尔夫球的实际事件之前发生。还可以根据为在后间隔分配的间隔数量记录保持姿势。
所述系统的实施例还可以包括远离移动设备的服务器计算机，其中服务器计算机被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且把在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频返回到移动设备中的计算机。服务器或移动设备可以把运动分析数据或事件数据(例如速度或未经处理的加速度数据)与视频相组合或者叠加到视频上以形成事件视频1900，从而可以大大减少所需的视频存储的数量，这是因为部分1910和1911的时间长度通常可能比事件大得多。
所述至少一个运动捕获元件的实施例可以被配置成把事件传送到至少另一个运动捕获传感器或者至少另一台移动设备或者其任意组合，并且其中所述至少另一个运动捕获传感器或至少另一台移动设备或者其任意组合被配置成保存与事件相关联的数据。例如在具有同时操作的多台记录设备的实施例中，一台此类设备可以检测到事件，并且向其他记录设备发送表明这样的事件检测已经发生的消息。该消息可以包括事件的起始和/或停止的时间标记，其中对于各台设备的时钟使用同步时间基础。接收设备(例如其他运动捕获传感器和/或摄影机)可以使用事件检测消息把与事件相关联的数据存储到例如处于运动捕获元件111或移动设备101或服务器172内的非易失性存储装置。除了与事件1901直接相关联的数据之外，所述设备可以被配置成存储事件起始之前的一定数据量以及事件结束之后的一定数据量(分别是1902和1903)。通过这种方式，所有设备可以同时记录数据，但是使用来自仅仅其中一台设备的事件触发以发起对于来自多个来源的分布式事件数据的保存。
所述计算机的实施例还可以被配置成保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据，或者可以利用远程服务器来保存视频。在本发明的一个或更多实施例中，其中一些记录设备在其中可能发生事件的时间段内可能无法始终都彼此直接通信。在这些情况下，设备可以被配置成将其已记录的所有数据的完整记录保存到永久性存储装置或者保存到服务器。仅仅保存与事件相关联的数据在这些情况下可能无法做到，这是因为一些设备可能无法接收到事件触发消息。在这些情况下，可以在事后对所保存的数据进行处理，以便提取出与一个或更多所检测到的事件相关联的仅仅是相关的部分。举例来说，多台移动设备可能记录运动员或表演者的视频，并且持续地将该视频上传到服务器172以进行存储。所述运动员或表演者可能单独配备有能够检测例如特定运动或动作之类的事件的嵌入式传感器。嵌入式传感器数据可以被持续地或者在后来的某一时间上传到相同的服务器。由于包括视频流以及嵌入式传感器数据在内的所有数据通常都加有时间标记，因此与通过嵌入式传感器检测到的事件相关联的视频可以在服务器上被提取和组合。服务器或计算机的实施例还可以被配置成当所述至少一个运动捕获传感器与移动设备之间的通信链接开放时，丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。或者，如果通信链接不开放，所述计算机的实施例还可以被配置成保存视频，并且在通信链接开放之后接收到事件之后，随后丢弃落在事件起始时间到事件停止之外的至少一部分视频，并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。例如在本发明的一些实施例中，数据可以如前所述地被上传到服务器，并且与每一台设备的数据流相关联的位置和指向数据可以被用来提取对于所检测到的事件相关的数据。举例来说，一个较大的移动设备集合可以被用来在整个高尔夫球巡回赛期间在各个位置处记录视频。该视频数据可以被持续地或者在巡回赛之后上传到服务器。在巡回赛之后，具有事件检测的传感器数据也可以被上传到相同的服务器。对于这些各种数据流的后处理可以识别出在所发生的事件的物理邻近处同时记录的特定视频流。附加的过滤器可以选择其中摄影机正指向正确的方向以观察事件的视频流。所选择的这些流可以与传感器数据相组合，从而形成具有示出事件的多个视频角度的聚合数据流。
所述系统可以从与移动设备耦合的摄影机或者与移动设备分开或者通过其他方式远离移动设备的任何摄影机获得视频。在一个或更多实施例中，从远离移动设备的服务器获得视频，例如在针对某一位置和时间间隔处的视频的查询之后获得。
服务器或计算机的实施例可以被配置成通过图像分析同步视频和事件数据或者运动分析数据，以便更加准确地确定视频中的与事件起始时间或事件停止时间或全部二者最紧密地相关联的起始事件帧或停止事件帧或全部二者。在本发明的一个或更多实施例中，记录设备之间的时钟同步可以是近似的。可能希望基于观看来自每一台设备的事件改进同步来自多台记录设备的数据馈送的准确性。在一个或更多实施例中，对于多个数据流的处理被用来观察不同的流中的事件的签名，以便帮助细粒度同步。举例来说，可以把嵌入式传感器与包括视频摄影机的移动设备同步，但是时间同步可能仅仅准确到100毫秒以内。如果视频摄影机以每秒30帧记录视频，则对应于嵌入式传感器上的事件检测的视频帧单独基于同步时间标记只能被确定在3帧以内。在所述设备的一个实施例中，可以使用视频帧图像处理来确定最紧密地对应于所检测到的事件的精确帧。对于更多细节参见图8及其描述。举例来说，可以把通过惯性传感器检测到的如图17中所示的滑雪板击中地面的震动与其中滑雪板的几何边界和地面发生接触的帧相关。其他实施例可以使用检测事件签名的其他图像处理技术或其他方法来改进多个数据馈送的同步。
所述至少一个运动捕获元件的实施例可以包括与微控制器耦合的被配置成确定位置的位置确定元件，其中微控制器被配置成向移动设备上的计算机传送位置。在一个或更多实施例中，所述系统还包括服务器，其中微控制器被配置成直接或通过移动设备向服务器传送位置，并且其中计算机或服务器被配置成基于位置以及事件起始时间和事件停止时间从视频的各个部分形成事件视频。举例来说，在一个或更多实施例中，可以例如在移动设备101上或服务器172上或者在计算机105或者与系统耦合的任何其他计算机上把事件视频修剪到特定长度的事件，并且将其转码到任何视频质量，并且按照任何方式与运动分析数据或事件数据(例如速度或加速度数据)叠加或者通过其他方式与之整合。视频可以按照任何分辨率、深度或图像质量或者用以存储视频的压缩类型或者任何其他技术被本地存储，以便最大化存储容量或帧率，或者利用任何压缩类型以便最小化存储，而不管移动设备、至少一个运动捕获传感器和/或服务器之间的通信链接是否开放。在一个或更多实施例中，速度或其他运动分析数据可以例如被叠加或者通过其他方式组合在视频下方的某一部分上，其中包括事件起始和停止时间，所述事件起始和停止时间可以包括实际事件之前和/或之后的任意秒数，以便例如提供击球事件之前的挥击的视频。在一个或更多实施例中，所述至少一个运动捕获传感器和/或(多台)移动设备可以把事件和视频传送到服务器，其中服务器可以确定特定视频和传感器数据发生在特定位置和特定时间，并且从几个视频和几个传感器事件构造事件视频。传感器事件例如可以是来自与用户和/或装备耦合的一个传感器或多个传感器。因此，所述系统可以构造对应于事件的短视频，从而例如大大减少了视频存储需求。
在一个或更多实施例中，所述微控制器或计算机被配置成确定事件的位置，或者所述微控制器和计算机被配置成确定事件的位置并且对位置进行相关，这例如是通过对位置进行相关或平均以便提供事件的中心点，并且/或者可以最小化来自初始化GPS传感器的错误位置数据。通过这种方式，具有移动设备的一组用户可以生成高尔夫球手开球的视频，其中可以利用至少一台运动捕获设备的事件位置，并且其中服务器可以从观众处获得视频并且生成职业高尔夫球手的挥击和击球的事件视频，其中事件视频可以利用来自不同摄影机的各帧生成高尔夫球手挥击时的围绕高尔夫球手的BULLET
Figure BDA0001598682290000751
视频。所得到的一个或多个视频可以被修剪到事件的持续时间，例如从事件起始时间到事件停止时间，并且/或者具有围绕事件的任何在前或在后的预定时间数值，从而确保捕获到包括对应于挥击或其他事件的任何准备时间和任何保持姿势时间在内的整个事件。
在一个或更多实施例中，移动设备上的计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频，这是通过直接广播针对由任何摄影机在所述区域内拍摄的任何视频的请求，其可选地可以包括关于所述摄影机是否不仅位于事件附近而且还指向或者通过其他方式朝向事件的指向信息。在其他实施例中，可以由移动设备上的计算机从远程服务器请求视频。在这种情形中，与事件相关联的任何位置和/或时间可以被利用来返回事件附近的或者在接近事件的时间拍摄的图像和/或视频或者全部二者。在一个或更多实施例中，计算机或服务器可以修剪视频以对应于事件持续时间，并且同样地可以利用图像处理技术进一步同步事件的各个部分，比如具有视频中的相应帧的击球，其例如与对应于装备上的击球的加速度数据相匹配。
移动设备或服务器上的计算机的实施例可以被配置成显示已发生某一事件或者其中已发生一个或更多事件的一个或更多时间的列表。通过这种方式，用户可以从列表中找到事件以便快速地访问事件视频。
本发明的实施例可以包括与移动设备物理地耦合的至少一个运动捕获传感器。这些实施例允许具有集成传感器的任何类型的移动电话或摄影机系统(比如任何类型的头盔安放的摄影机或者包括摄影机和运动捕获传感器全部二者的任何安放装置)生成事件数据和视频数据。
在本发明的一个或多个实施例中，系统配置成允许运动事件数据与视频事件数据的整合。图1示出了这种系统的实施例的核心元件。运动事件数据可以由一个或多个动作捕获传感器111提供，动作捕获传感器111可以配置成在位置L1附接到用户150、设备110或移动设备130。这些运动捕获元件可以包括一个或多个测量诸如取向、位置、速度和加速度的运动值的传感器。运动捕获元件还可以包括存储器，用于存储采集的数据，以及微处理器，用于分析此数据。它们还可以包括用于与其他设备通信并且传送动作捕获数据的无线电广播设备。
在一些实施例中，微处理器与运动捕获元件耦合，可以从传感器采集数据、在其存储器中存储数据并且很可能分析数据以识别数据中的事件。然后它可以通过所附接的无线电广播设备发送原始运动数据或事件数据。此原始运动数据或事件数据可以包括其他信息，诸如运动捕获元件、用户或设备的标识符以及运动捕获元件检测到的事件类型的标识符。
在一些实施例中，系统还可以包括一台或多台计算机105(膝上型计算机或台式计算机)、160(移动电话CPU)或其他与传感器或摄影机通信的计算机。图1A示出了集成到移动设备中的计算机处理器或“计算机”160的实施例的可能部件。计算机可以具有无线通信接口164，能够与一个或多个运动捕获元件111的无线电广播设备通信，以接收与运动事件相关的事件数据。计算机可以接收原始运动数据，并且它可以分析此数据以确定事件。在其他实施例中，事件的确定可以在运动捕获元件111中进行，而计算机(诸如105或160)可以接收事件数据。这两种方法的组合在其他实施例中也是可行的。
在一些实施例中，计算机或多台计算机还可以分析事件数据，以生成运动分析数据。此运动分析数据可包括对于由运动捕获元件或多个运动捕获元件记录的运动所涉及的特征。一台或多台计算机可以存储运动数据、事件数据、运动分析数据或其组合，以用于将来取回和分析。可以诸如在存储器162中本地存储数据，或者例如在数据库172中远程存储。在一些实施例中，计算机或多台计算机可以由事件数据确定运动事件的起始时间和终止时间。然后它们可以从诸如103、130、130a或130b的摄影机请求图像数据，其中摄影机采集射频或在此事件起始时间与事件终止时间之间的至少某一部分时间内的一些时间间隔的一个或多个图像。本说明书中的术语“视频”将包括各种图像以及连续视频，包括摄影机在事件间隔期间拍下单次快摄图像的情况。然后此视频数据可以与运动数据相关联，构成视频和动作捕获集成系统的一部分。如图所示，位置L2处的摄影机103具有视野F2，而在位置L3处的移动设备102a的摄影机具有视野F3。在至少一个实施例中，对于其视野复叠在事件上的摄影机，最佳视频的智能选择通过图像分析来实现。诸如环境传感器的传感器107还可以用于触发事件或至少被查询数值，以组合事件视频，数值例如是风速、湿度、温度、声音等。在其他实施例中，系统可以查询位置L1周围的预定义范围内的视频和事件，并且可以使用在位置L2和L3处的每一台摄影机的视野来确定视频是否可能捕获到事件。
在一些实施例中，从摄影机请求视频可以与运动数据的采集或分析同时进行。在这类实施例中，系统将会获得或生成事件已经开始的通知，然后系统将会请求视频从一台或多台摄影机流到计算机，直至检测到事件结束。在其他实施例中，用户可以通过按预定义次数轻拍或移动动作捕获传感器来进行动作表示，以表示事件开始，例如将棒球棍轻拍到击球手鞋上两次可以表示轮到击球事件开始。
在其他实施例中，请求视频可以在摄影机(诸如103)已经向诸如服务器172的另一计算机上传其视频记录之后进行。在此情况下，计算机将会从服务器172请求视频而不是直接从摄影机请求。
在一些实施例中，计算机或多台计算机可以执行运动数据与视频数据的同步。各种技术可以用于执行此同步。图1E示出了此同步处理的实施例。运动捕获元件111包括时钟2901，命名为“时钟S”。当事件发生时，运动捕获元件由时钟S随着时间t1S、t2S、t3S等的推移生成时间戳数据2910。摄影机103采集视频或事件某一部分的图像。摄影机还包括时钟2902，命名为“时钟I”。摄影机由时钟I随着时间t1I、t2I、t3I等的推移生成时间戳图像数据2911。计算机105接收运动数据和图像数据。计算机包含另一时钟2903，命名为“时钟C”。计算机执行同步处理，包含将来自三个时钟2912、2913和2914的各个时间标度对齐。这种同步的结果是时钟2915之间的一致性。一般而言，时钟校准可以要求生成时间差，并且拉伸或收缩事件标度来反映不同的时钟频率。在一些实施例中，不是每一个数据帧或图像帧都可以是时间戳，反而第一帧或最后一帧可以与时间相关，并且对于帧捕获可以存在已知的时钟频率。在其他实施例中，数据可以不包括时间戳，但是可以一旦捕获到立即发送，使得计算机能够基于接收时间和可能的网络延迟来估算捕获时间。
在图1E所示的实施例中，计算机生成同步事件视频2920，同步事件视频2920将会包括运动数据、事件数据、或者在事件起始时间与事件终止时间之间获得或计算得到的运动分析数据的至少一部分以及在此起始时间与终止时间之间从摄影机获得的视频或图像的一部分。此同步事件视频提供了增广的、综合的事件记录，该事件记录结合了运动数据和图像数据。在所示示例中，同步处理将第一图像帧F1赋值到事件t5C、第一运动数据帧D1赋值到事件t6C。在此示例中，图像帧捕获率是数据帧捕获率的两倍。
本发明的一个或多个实施例还可以获得与来自至少一台摄影机的至少一个视频相关的至少一个视频起始时间和至少一个视频停止时间。系统的其中一台计算机可以基于与获取自至少一个运动捕获元件的数据或事件数据相关联的第一时间，可选择地将事件数据、运动分析数据或其任意组合与至少一个视频同步，其中至少一个运动捕获元件与用户或设备或耦合至用户的移动设备耦合，并且事件关联至少一个视频，以创建至少一个同步事件视频。实施例命令至少一台摄影机将至少在从事件起始时间到事件终止时间内的时间跨度期间采集的至少一个同步事件视频传送到另一计算机，而不将在从事件起始时间到事件终止时间内的时间跨度以外发生的，即是在至少一个视频以外发生的至少一部分视频传送到另一计算机。一个或多个实施例还可以配置成叠加包括在从事件起始时间到事件终止时间的时间跨度期间发生的事件数据、运动分析数据二者或其任意组合的同步事件视频，并且视频在从事件起始时间到事件终止时间的时间跨度期间采集。
在本发明的一个或多个实施例中，计算机可以放弃事件时间间隔以外的视频，事件时间间隔自事件起始时间测量至事件终止时间。这种放弃通过仅仅存储与所涉及事件相关的视频，可以节省相当大的、用于视频存储的存储资源。图19示出了此流程的实施例。同步事件视频1900包括事件期间的运动和图像数据1901，并且给予一些预定义前后间隔1902和1903。放弃前后间隔前后的部分1910和1911。
在一个或多个实施例中，配置成接收或处理运动数据或视频数据的计算机可以是移动设备，包括但不限于移动电话、智能电话120、平板计算机、PDA、膝上型计算机105、笔记本电脑或能够轻易运输或重新布置的任意其他设备。在其他实施例中，这种计算机可以集成到摄影机103、104中，尤其是可以集成到从其获取视频数据摄影机中。在其他实施例中，这种计算机可以是台式计算机或服务器计算机152，包括但不限于在数据中心或基于云的服务中作为虚拟机器运行的虚拟计算机。在一些实施例中，所述系统可以包括任一种上述类型的多种计算机，并且这些计算机可以共同执行本说明书所述的操作。对于本领域技术人员显而易见的是，这种计算机分布式网络能够以多种可行的方式划分任务，并且如有需要，能够协调它们的动作来重复单个中央计算机的动作。本说明书中的术语“计算机”旨在表意为任一种或所有上述类型计算机，并且包括多台这类计算机共同作用的网络。
在一个或多个实施例中，与运动捕获元件111相关联的微控制器以及计算机105配置成从共同时钟获取时钟信息，并且将它们的内部本地时钟2901和2903设定成此共同值。此方法也可以用于将摄影机2902的内部时钟设定成同一共同时钟值。共同时钟值可以是系统的一部分，或者它可以是用作远程事件服务器的外部时钟。各种技术可以用于将每一台设备的时钟同步成共同时钟，包括网络时间协议或其他类似协议。图18示出了本发明使用NTP或GPS服务器1801作为共同时间源的一个实施例。通过定期将设备时钟同步成共同时钟1801，动作捕获数据和视频数据可以通过利用记录它们的时间来标记时间从而简单地同步。
在一个或多个实施例中，计算机可以获取或创建一系列同步事件视频。计算机可以为用户显示此系列的综合概述，以查看事件历史。图20示出了此流程的实施例。视频剪辑1900a、1900b、1900c、1900d和1900e获取自对应于不同事件的不同时间。移除在这些事件之前的视频或运动数据1910和1911以及在这些事件之间的数据1910a、1901b、1910c以及1910d。结果是综合概述2000。在一些实施例中，此概述可以包括一个或多个由视频产生的极小图像。在其他实施例中，概述可以包括整个事件视频的较小选择。综合概述还可以包括显示与每一个同步事件视频相关的运动分析或事件数据。在一些实施例中，计算机可以获取度量并且针对每一个事件显示此度量值。这些度量值的显示在不同实施例中可以变化。在一些实施例中，度量值的显示可以是条形图、线图或其他图形技术，以显示绝对值或相对值。在其他实施例中，可以使用标上色标或其他视觉效果。在其他实施例中，可以显示度量数值。一些实施例可以使用这些方法的组合。在图20所示示例中，与每一个事件相关的速度度量值显示为每一个数值带有圆圈的图表。
在一个或多个实施例中，计算机可以接受所涉及的度量的选择标准，所涉及的度量与系列事件的运动分析数据或事件数据相关联。例如，用户可以提供诸如超过阈值的度量、或者在范围内的度量或在范围外的度量的标准。可以使用任意标准，该标准可以应用于事件的度量值。响应于标准的选择，计算机可以仅仅显示符合所选择标准的同步事件视频或它们的概述(诸如缩略图)。已经提供了所选择标准2010来指定速度至少应为5。计算机通过显示2001剪辑1到剪辑4来响应；剪辑5基于其相关速度已被排除。
在本发明的一些实施例中，计算机可以基于所选度量值排序并排名用于显示的同步事件视频。在一些实施例中，这种排序和排名可以在基于上述所选择标准进行过滤之外而进行。计算机可以显示度量值的有序列表，伴随有与事件相关的视频或缩略图。继续上述如图20所示的示例，如果基于速度已排序的显示是指定的，计算机生成2002从最高速到最低速记录的剪辑。在一个或多个实施例中，计算机可以生成组合了满足所选择标准的事件视频的高光时刻。这种高光时刻可以包括所选择事件的整个视频，或者对应于由运动分析确定的事件重要时刻的视频部分。在一些实施例中，高光时刻可以包括在视频上或所选帧上的数据或图形覆盖物，以显示来自运动分析的度量值。一旦用户通过指定所选择标准来指示需要包括何种事件，这种高光时刻可以为用户自动生成。在一些实施例中，计算机可以允许用户编辑高光时刻以添加或移除事件、延长或缩短针对每一个事件显示的视频、针对运动数据添加或移除图形覆盖物或添加特殊效果或音轨。
在一个或多个实施例中，视频和运动集成系统可以包含多台摄影机，诸如摄影机103、104、130、130a和130b。在这类实施例中，计算机可以请求对应于来自多台摄影机的事件时帧的视频，其中多台摄影机在此时帧期间采集视频。这些视频的每一个可以与上述事件数据和运动分析数据同步，以同步成单个视频。来自多台摄影机的视频可以提供事件的不同角度或视野，全部同步到运动数据和共同时基。
在具有多台摄影机的一个或多个实施例中，计算机可以从与事件相关的可能视频组中选择特定视频。所选择的视频可以基于各种可能的标准最佳地或最完整地观察事件。在一些实施例中，计算机可以使用对每一个视频进行图像分析，以确定最佳选择。例如，一些实施例可以使用图像分析来确定哪一个视频最完整，其中最少地遮挡所涉及的设备或人，或者设备或人是最清晰可见的。在一些实施例中，这种图像分析可以包括在录制视频期间摄影机抖动度的分析，以及具有最稳定图像的视频的选择。图21示出了此流程的实施例。运动捕获元件111表示事件，由摄影机103a和103b记录。计算机105从两台摄影机取回视频。摄影机103b在事件期间有抖动。为了确定具有最小抖动的视频，计算机105计算每一个视频的帧间差。例如，此差值可以包括由贯穿所有像素的每一个像素的RGB值的差的绝对值总和。此计算得出对于摄影机103b的帧差2111和对于摄影机103a的帧差2110。两个视频中的帧间差随着事件发生而增大，但是由于增大的抖动，它们在2111处始终更大。因此，在流程2120中计算机能够自动选择视频2110。在一些实施例中，用户2130可以作出优选视频的选择，或者用户可以通过指定最重要的标准来协助计算机作出选择。
在本发明的一个或多个实施例中，计算机可以获取或生成事件开始的通知，然后计算机可以从该点起监控事件数据和运动分析数据，直至事件结束。例如，一旦事件开始出现，与运动捕获元件相关的微控制器可以向计算机定期发送事件数据；随着事件发生，计算机能够使用此数据监控事件。在一些实施例中，这种监控数据可以用于向录制事件视频的摄影机发送控制信息。在具有多台摄影机的实施例中，控制信息在事件期间可以广播或发送到摄影机组。
在一些实施例中，这些发送到摄影机或多台摄影机的控制信息可以基于与事件相关的数据修改视频记录参数，包括运动分析数据。图22示出了此流程的实施例。动作捕获传感器111向计算机105发送运动数据，然后计算机105向摄影机103发送控制信息。在所示示例中，设备110在事件之前最初处于休眠。计算机检测到不存在活跃事件，并且向摄影机发送信息2210指示其关掉录制并等待事件。运动2201开始并且计算机检测到事件开始；它向摄影机发送信息2211以开启录制，而摄影机以正常速率录制视频帧2321。在2202处，运动快速提高，而计算机检测到高速；它向摄影机发送信息2212以提高帧频来捕获高速事件。摄影机以高速生成视频帧2322。通过在快速运动期间使用更高的帧频，用户能够在重播期间放慢动作，以极其详细地观察高运动事件。在2203处事件完成，计算机向摄影机发送信息2213以停止录制。这样保留了摄影机电力并且事件之间的视频存储空间。
在更概括的一些实施例中，计算机可以向摄影机或多台摄影机发送控制信息，以响应于事件数据或运动分析数据来修改任意相关的视频记录参数。这些记录参数例如可以包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制。
在本发明的一个或多个实施例中，计算机可以接受例如来自用户的音轨，并且将此音轨结合到同步事件视频中。例如这种结合将会在重播事件视频或高光时刻期间添加音频音轨。一些实施例可以使用事件数据或运动分析数据，以将音轨智能结合到同步事件视频中。例如，一些实施例可以分析音轨，以便例如基于高音频幅度的时间点来确定音轨的节拍。然后音轨的节拍可以利用事件数据或运动分析数据与事件同步。例如随着用户或对象的运动提高或降低，这种技术可以自动加速或放慢音轨。这些技术提供了丰富的媒体体验，伴随有与事件相关的音频或视觉线索。
在一个或多个实施例中，计算机配置成在一个或多个显示器上重播同步事件视频。这些显示器可以直接附接到计算机，或者可以远程位于其他设备上。使用事件数据或运动分析数据，计算机可以修改重播，以添加或改变各种效果。这些修改可以在重播期间多次出现，甚至在重播期间随着事件数据改变连续出现。
作为示例，在一些实施例中，计算机可以基于事件数据或运动分析数据修改同步事件视频的重播速度。例如在低运动期间，重播可以以正常速度进行，而在高运动期间，重播可以切换到慢动作，以突出运动细节。对重播速度的修改可以基于任何观察到或计算得到的事件或运动特征来进行。例如，事件数据可以识别感兴趣的特定子事件，诸如击球、跳跃的开始或结束或者任意其他感兴趣的时刻。随着同步事件视频涉及到这些子事件，计算机可以修改重播速度以放慢重播。这种减速会持续增加，以精致细节突出子事件。甚至可以在子事件中停止重播并且等待来自用户的输入以继续。也可以基于来自运动分析数据或事件数据的一个或多个度量值放慢重播。例如，运动分析数据可以表示正在移动的棒球棍或高尔夫球杆的速度，并且随着这种对象的速度提高，可以持续调节重播速度为更慢。重播速度在这种度量峰值附近可以进行得非常慢。
图23示出了使用运动数据可改变速度的重播的一个实施例。运动捕获元件111记录运动传感器信息，包括x轴1501上的线性加速度。(一般而言，也可以记录许多附加传感器值；此示例使用单根轴以作简化。)当x轴线性加速度超过事件阈值2301时，此阈值定义了所涉及的事件。在1502和1503处检测到事件，事件1502在2302处开始并且在2303处完成。在重播时，在事件之间使用正常重播速度2310。随着接近事件1502的开始，从2311处开始重播速度降低，使得用户能够更详尽地观察事件前的运动。在事件期间在2313处，重播速度非常低。在2303处事件结束之后，重播速度逐渐提高回到2313处的正常速度。
在其他实施例中，可以对不限于重播速度的其他重播特征进行修改。例如，计算机可以修改重播速度、图像亮度、图像颜色、图像焦距、图像分辨率、闪烁特殊效果或者图形覆盖物或边框的使用的全部或任一者。这些修改可以基于运动分析数据、事件数据、子事件或其他同步事件视频的任意特征来进行。作为示例，随着重播涉及到感兴趣的子事件，可以添加闪烁特殊效果，并且可以在视频中感兴趣的对象周围添加边框，感兴趣的对象诸如是将要被设备击中的球。
在包括音轨的实施例中，对重播特征的修改可以包括对音轨重播特征的修改。例如，这类修改可以包括对音量、拍子、音调或音轨的音频特殊效果的修改。例如，音轨的音量和拍子可以随着重播涉及到感兴趣的子事件而增强，以突出子事件并为用户观看和倾听重播提供更动态的体验。
在本发明的一个或多个实施例中，计算机可以使用事件数据或运动分析数据来选择性地保存视频流或所录视频的仅仅一部分。这是图19所示的，其中放弃视频部分1910和1911，仅仅保存具有事件前部分1902和事件后部分1903的事件视频1901。这种技术通过集中到感兴趣的事件，能够显著降低对视频存储的要求。在一些实施例中，当事件进行中时，计算机可以具有对动作捕获传感器的开放式通信链路。然后计算机可以接收或生成事件开始的通知，并且在此时开始保存视频；然后它可以继续保存视频，直至它接收到或生成事件结束的通知。在事件期间，计算机还可以向摄影机或多台摄影机发送控制信息，以启动和终止摄影机上的视频保存，如图22所示。
在其他实施例中，计算机可以在事件已经完结之后保存或接收视频和事件数据，而不是通过直播通信链路在贯穿事件期间开放。在这些实施例中，计算机能够截短所保存的视频以放弃感兴趣事件以外的一部分视频。例如，服务器计算机152可以用作视频和事件数据二者的存储器。服务器能够在上传后关联事件数据和视频，并且截短所保存的视频至仅仅由事件数据所指示的所涉及的时帧。
在一个或多个实施例中，计算机可以使用视频图像分析，以协助视频与事件数据和运动分析数据的同步。例如，运动分析数据可以指示猛烈的物理震动(例如使用加速度计检测到)，例如来自击球，像是棒球或高尔夫球，或者来自跳跃后的滑板着陆。计算机可以分析来自视频的图像，以定位发生此震动的帧。例如，记录高尔夫球的视频可以使用图像分析来检测视频流中球何时开始移动；高尔夫球运动的第一帧是球杆撞击之后的第一帧，然后可以与对应的运动分析数据中的震动同步。这是图24所示的，其中视频图像分析识别高尔夫球2401。球2401开始移动的帧，在示例中表示为撞击帧34，可以匹配到运动分析数据中显示撞击震动的特定点。这些视频和运动数据帧可以用作关键帧；通过这些关键帧，可以导出最紧密对应于事件开始和结束的视频帧。
在一个或多个实施例中，计算机可以使用视频图像分析来生成自视频中的对象开始的度量。此度量可以例如测量对象运动的某些方面。这种度量源自于图像分析，可以附加于从来自运动传感器的数据运动分析获得的度量使用或与其联用。在一些实施例中，图像分析可以使用本领域已知的若干技术的任一种来定位与感兴趣的对象相关的像素点。例如，已知某些对象可以具有特定的颜色、纹理或形状，并且这些特征可以用于定位视频帧中的对象。作为示例，已知高尔夫球可以近似为圆形、白色并且与球材料相关的纹理。图像分析能够使用这些特征来定位视频帧中的高尔夫球。使用多个视频帧可以计算高尔夫球的大约速度和旋转。例如，假设静止或几乎静止的摄影机，三维空间中高尔夫球的定位可以基于视频帧中球的位置且基于其大小来估算。帧中的定位给出了球的位置在图像平面上的投影，而大小提供了球相对于摄影机的景深。通过使用球在多个帧中的位置，并且通过使用给出了帧间时间差的帧频，可以估算球速。
图24示出了此流程，其中高尔夫球在帧2403中在位置2401处，而在帧2404中在位置2402处。高尔夫球具有能够用于测量到摄影机的球距及其旋转的图标。球速可以使用帧间移动距离以及帧间时间间隔来计算。作为简单示例，如果球的大小在帧间没有明显改变，那么球位置2402与2401之间的像素差可以使用摄影机视野和球的表观大小转化成距离。示例中所示的帧差是2帧(帧39至帧41)，这可以基于摄影机帧频转换成时间。然后速度可以计算为距离对时间的比率。
在一个或多个实施例中，计算机能够访问先前存储的事件数据或运动分析数据，以显示新事件与一个或多个先前事件之间的比较。这些比较随着时间的推移，可以对于同一用户和同一设备，或者是在不同用户和不同设备之间进行。这些比较可以为用户提供他们性能方面变化的反馈，并且对其他用户或其他类型或型号的设备用户提供基准。作为图示，图1D显示了接收与用户150和152相关的事件数据。此数据发送至计算机105以作显示和比较。用户151能够比较用户150和152的性能，并且随着时间推移追踪每一个用户的性能。
在一个或多个实施例中，耦合到运动捕获元件的微控制器配置为与其他动作捕获传感器通信，以协调事件数据的采集。微控制器可以向另一动作捕获传感器发送事件开始的通知，以触发其他传感器也采集事件数据。其他传感器可以本地保存其数据，以用于随后上传，或者当事件发生时，它可以通过开放式通信链路发送其事件数据到计算机。这些技术提供了主从架构类型，其中一个传感器充当主机并且可以调整从传感器网络。
在本发明的一个或多个实施例中，计算机可以使用事件数据来发现能够或可能已经录制事件视频的摄影机。这类摄影机必须接近事件的位置，并且它们必须以正确的朝向来观察事件。在一些系统中，摄影机的数量、位置和朝向不提前知晓且必须动态确定。随着事件发生，接收事件数据的计算机可以将请求广播到在事件附近或者取向为观察到事件的任一摄影机。此请求例如可以指示摄影机录制视频并且保存事件视频。然后在事件之后，计算机可以从这些邻近的、正确朝向的摄影机请求视频。这是图1所示的，其中计算机160可以接收来自运动捕获元件111的事件开始通知。计算机160可以将请求广播到附近的所有摄影机，诸如103、104、130、130a和130b。作为示例，摄影机103和130可以接近并且正确朝向以观察事件；它们将会录制视频。摄影机104可以在很远处，而摄影机130a和130b可以足够接近然而不对齐事件；这些摄影机将不会录制视频。
在一些实施例中，一个或多个视频在一台或多台计算机(诸如服务器152或云服务器)上可用，并且可以随后与事件数据关联。在这些实施例中，诸如152的计算机可以检索位于正确位置和朝向以观察事件的所存储视频。然后计算机可以取回合适的视频并且将它们与事件数据组合，以形成事件的综合观察，该综合观察具有来自多个位置和角度的视频。
在一个或多个实施例中，计算机可以获得来自除了动作捕获传感器以外的其他传感器的传感器值，其中这些其他传感器接近事件并且提供与事件相关的其他有用的数据。例如，这类其他传感器可以感测温度、湿度、风、海拔、光、声音和生理度量(像心跳)的各种组合。计算机可以取回这些其他值并且将它们与事件数据以及运动分析数据一起保存，以在从事件开始到事件结束的时间跨度期间生成事件的扩展记录。
在一个或多个实施例中，通过微处理器、计算机及上述二者检测到、监控到以及被分析的事件类型可以包括各种类型的用户、设备或移动设备的重要运动事件。这些重要事件可以包括关键的或紧急的医疗状况或健康指标。这类事件类型的某一些可以包括表示站立、步行、下落、中暑、突发疾病、猛烈抖动、震荡、碰撞、异常步态以及呼吸异常或没有呼吸的运动。这些事件类型的组合还可以是检测到、监控到或被分析的。
图25示出了用于集成传感器和视频运动分析的方法的实施例的流程图。该流程图显示了这些步骤之间的说明性依赖关系。依赖关系仅用于说明；该方法的实施例可以使用不同的步骤并且可以以任何期望的顺序执行步骤。在2500获得输入，获得视频，在2510获得感兴趣对象，并且在2570获得运动传感器数据；输出在2590执行，生成运动度量。视频可以从一个或多个摄像机获得，并且可以包括在每个摄像机或传感器或其组合中确定的原始视频或基于事件的视频。基于事件的视频传输和任何非事件视频的丢弃提供了更快速和更有针对性的视频处理和存储。视频可以包含由摄像机捕获的单张图像。运动传感器数据是从一个或多个运动捕获元件获得的。传感器可以与其他传感器通信以传达已发生的事件，使得即使某些传感器未记录事件，传感器和任何相关摄像机也可以在事件之前和之后保存预定量的运动数据和/或图像数据，甚至如果没有通过接收事件的传感器或摄像机在局部检测到。这些运动捕获元件可以包括测量对象运动的任何方面的一个或多个传感器。这样的传感器可以包括但不限于加速计、陀螺仪、磁力计、应变计、高度计、速度计、GPS、光学或声波测距仪、流量计、压力计、雷达或声纳，以及任何其他类型的传感器，例如温度、湿度、风、海拔、光线、声音和生理度量(如心跳传感器)。传感器组也可用于表示事件，以便如果心率或声音增加超过预定阈值，则可指定并发布群组事件或以其他方式广播，例如如果按地点和时间过滤。另外，可以对社交媒体网站进行采样以关联或增加事件或群组事件。由这些传感器测量的数量可以包括例如但不限于线性位置、线速度、线性加速度、轨迹、方向、角速度、角加速度、运动时间、在位置之间所经过的时间、在运动开始和到达某个位置之间所经过的时间以及撞击时间，或与特定类型的传感器相关的任何数量或数值，例如血压、心率、高度等。运动传感器数据和视频可以以任何方式获得，包括经由有线或无线网络通信，例如利用包含内部运动或其他传感器的摄像机以及例如外部或无线耦合到摄像机。传感器数据和视频可以在活动期间同步获得，或者可以在活动之后被检索和分析。
感兴趣对象可以包括人员、设备或其任何组合。这些对象可能是特定的，例如具有指定序列号的特定项目，或者它们可能是对象的一般类别，其中任何一个可能是感兴趣的。一般类别可以例如包括诸如“跑步的人”或“高尔夫球”或“滑板”的类别。感兴趣的特定对象将取决于该方法的每个实施例的应用。感兴趣的说明性设备可以包括例如但不限于球、蝙蝠、球杆、球拍、手套、防护装备、球门、网、滑板、滑雪板、冲浪板、溜冰鞋、滑冰鞋、汽车、摩托车、自行车、头盔、鞋子、医疗设备、拐杖(crutche)、藤条(cane)、手杖(walking stick)、助行架和轮椅。
在2520，选择帧从视频或多个视频获得一组帧。在一些实施例或应用中，可以选择整个视频或多个视频。在一些实施例中，视频或多个视频的一部分可以选择用于分析。相关帧的选择可以在任何基础上进行。例如，在一个或多个实施例中，可能存在外部信息，其指示仅在特定时间范围内捕获的帧或从特定视点捕获的帧包括感兴趣的活动。在一个或多个实施例中，可以对帧进行降采样以减少处理要求。在一个或多个实施例中，可以使用预处理步骤来扫描可能相关活动的帧，并且仅选择那些帧用于随后的分析。
与每个感兴趣对象相关联的是，该对象具有一个或多个有区别的视觉特征。在2510，在一个或多个实施例中，该方法可以包括获得每个对象的这些区别视觉特征。这些区别视觉特征有助于定位和定向视频帧中的感兴趣对象。区别视觉特征的示例可以包括但不限于形状、曲率、尺寸、颜色、亮度、色调、饱和度、纹理和像素图案。可以辅助定位或定向视频帧中的对象的任何视觉特征可以用作区别视觉特征。作为一个简单的例子，高尔夫球可以通过其形状(球形)、颜色(通常为白色)和尺寸(通常直径约43mm)来区分；这些特征中的任何一个或它们的任意组合可用于识别视频帧中的一个或多个高尔夫球。
在2530，搜索感兴趣对象，该方法使用区别视觉特征来在所选视频帧中找到感兴趣对象。一个或多个实施例可以采用任何期望的搜索策略来扫描视频帧的像素以获得区别视觉特征。下面我们将描述可以在一个或多个实施例中采用的一些搜索策略，以将搜索区域限制到帧的特定区域。然而，一个或多个实施例可以进行穷尽搜索以扫描所有帧的所有像素以定位感兴趣对象。由于视频帧中的像素区域在某些情况下可能包含噪声、遮挡、阴影或其他伪影，因此即使存在感兴趣对象，这些区域也可能不会精确地匹配区别视觉特征；因此一个或多个实施例可以使用任何期望的近似匹配技术来估计像素区域表示感兴趣对象的概率。这样的近似匹配技术可以例如包括基于具有期望图案的像素的相关性对区域打分，所述期望图案基于区别视觉特征。
2530的结果，搜索感兴趣对象，包括已经位于一个或多个帧中的识别的对象的列表以及包含那些识别的对象的那些帧中的像素区域。在2550，估计对象相对于摄像机姿态的姿态，该方法相对于当摄像机捕获视频帧时摄像机的位置和方向，生成每个识别的对象的位置或方向(或两者)的估计。本说明书中的术语“姿态”是指对象相对于某个坐标系的位置和方向，或者涉及关于位置、方向或两者的部分信息。例如，“姿态”的这种用法在机器人技术和计算机图形学领域是标准的。
该方法的一个或多个实施例包括即使在视频捕获期间用于捕获视频的一个或多个摄像机正在移动时也估计对象位置和方向的技术。移动摄像机产生了重大挑战，因为对象的表观运动可能是由于摄像机运动、对象运动或这两个因素的组合。图25中所示的实施例以三种方式解决了这个问题：在2550，该方法估计识别的对象相对于摄像机的姿态；在2540，该方法估计摄像机相对于某个固定坐标系(例如，与由摄像机捕获的场景或多个场景相关联的坐标系)的姿态；在2560，该方法将对象姿态转换为通用坐标系。一个或多个实施例可以使用任何技术来将摄像机移动与对象移动分开；这里显示的步骤仅仅是说明性的。此外，在该方法的一个或多个实施例中，可能已知(或推断)摄像机在视频捕获期间(或在视频捕获的一部分期间)未移动；在这些实施例中，步骤2540是可选的并且可能是不必要的，并且例如可以组合步骤2550和2560。
在2560，已经识别出感兴趣对象，并且已经确定每个对象相对于通用坐标系的姿态。然后可以从这个姿态数据为每个识别的对象生成各种运动度量。例如，一个对象的轨迹可以通过随着时间的推移跟踪它的位置(在通用坐标系中)而获得。对象的速度可以通过将位置间的帧间变化除以帧之间的时间来获得。可以为每个识别的对象计算各种其他运动度量，包括例如但不限于位置、方向、轨迹、速度、加速度、角速度和角加速度。
图25中所示的实施例在2570获得关于对象移动的附加信息，获得运动传感器数据。在一个或多个实施例中，感兴趣对象中的一个或多个可具有附接到对象或观察其运动的运动捕获元件。这些运动捕获元件具有收集关于对象移动的数据的传感器。在一个或多个实施例中，该传感器数据与从视频分析导出的运动度量集成以形成集成的运动度量。为了组合传感器数据和视频信息，一个或多个实施例首先将该数据同步到通用时间标度。该同步发生在2580，同步视频和运动传感器数据。在一些实施例中，摄像机和运动捕获元件的时钟可以在数据和视频捕获之前同步；在这些情况下，同步可能是不必要的或微不足道的。在其他实施例中，各种设备(摄像机和传感器)的时钟可能不同步，并且在2580的捕获后同步步骤可能是必要的。
在视频帧和运动传感器数据同步之后，可以在2590将数据集成来生成运动度量。这种数据集成是一种“传感器融合”过程，它结合了来自不同种类传感器的信息，以创建所识别对象运动的综合视图。实施例可以使用任何期望的用于传感器融合的技术，包括例如但不限于卡尔曼滤波器、扩展卡尔曼滤波器、互补滤波器、贝叶斯网络、多假设检验和粒子滤波器。在一些实施例中，传感器融合可以包括来自不同数据源的估计的简单加权平均，例如，具有与每个数据源的误差方差成反比的权重。一个或多个实施例可以例如使用视频信息进行绝对定位，并使用传感器数据来跟踪位置变化(例如使用惯性传感器)。
根据图26更详细地描述图25中所示的具体步骤，图26示出了2510获取感兴趣对象的示例，其包括获得这些对象的区别视觉特征。在该说明性示例中，获得三个感兴趣对象：高尔夫球杆2601、高尔夫球2602和高尔夫球手2603。如上所述，这些对象可以是特定项目，或者它们可以表示一般类别。例如，高尔夫球杆2601可以代表属于特定高尔夫球手的特定传动器，或者它可以是所有传动器或所有球杆的一般类别。区别视觉特征2611、2612和2613分别示出了项目2601、2602和2603的可能特征。这些例子只是说明性的；实施例可以使用任何期望的特征来识别感兴趣的对象。对于高尔夫球杆2601，可能的区别特征2611包括球杆相对于其宽度的长度、杆头的形状以及杆身的金属颜色。对于高尔夫球2602，可能的区别特征2612包括球的圆形形状和其典型的白色。高尔夫球手2603的特征可能更复杂，因为与高尔夫球杆和高尔夫球不同，高尔夫球手不是刚体；因此高尔夫球手的形状可能会改变。尽管如此，某些可能的特征2613可以包括与宽度相比相对较大的高度，具有附着的头部、腿部和手臂的躯干的一般身体形状，并且可能包括面部或其他暴露区域的肤色。
说明性区别视觉特征2611和2612还包括关于对象尺寸的信息。这个尺寸信息可能有助于定位视频帧中的对象；此外，已知的对象尺寸提供了允许估计对象距摄像机的距离的参考，因为表观尺寸与距离成反比。
图27中示出了摄像机运动的问题以及该方法的一个或多个实施例如何识别和补偿摄像机运动，该图27示出了具有运动对象和运动摄像机的示例。位于初始位置2710a的摄像机观看场景2701a，其包含移动着的高尔夫球2702a和静止旗帜2704a。此时捕获的帧为2711a。高尔夫球2702a沿水平x轴向右移动并沿垂直y轴向下移动。使用固定到初始摄像机姿态2710a的坐标系，高尔夫球2702a处于场景中的x坐标2703a(x0)处，并且帧2711a中的球的图像2712a也处于x0处。2711a中的旗帜2714a的图像位于x坐标2715a(x2)处。
摄像机然后向右移动量Δx到位置2710b。此时，高尔夫球也在x坐标2703b(x1)处向右移动Δx至位置2702b。在2710b处的摄像机的图像2711b中，看起来高尔夫球在位置2712b处，其中x坐标2713b不变；并且看起来该旗帜已经在x坐标2715b(x1)处左移到2714b。在不考虑摄像机运动的情况下，对帧2711a和2711b的分析将指示旗帜向左移动，并且球正在下降但不是水平移动。
在该示例中，检测摄像机姿态的变化是直接的，因为分析可以使用旗帜的真实位置没有改变的事实。因此，直接推断出摄像机已经向右移动了Δx。一般而言，摄像机运动可能涉及任何方向的运动以及摄像机方向的变化，因此分析可能更为复杂。然而，即使在这些更复杂的情况下，也可以在一个或多个实施例中运用使用静止对象推断摄像机姿态变化的原理。
一个或多个实施例可以使用摄像机传感器来在捕获每个视频帧期间确定摄像机的姿态。如果此传感器数据可用，则可能不需要进行图像分析以推断摄像机姿态(例如上述分析)，因为摄像机姿态可能直接可用。例如，在图27中，摄像机2710b可以配备有传感器2720，其检测摄像机姿态的变化。这样的摄像机姿态传感器可以例如包括惯性传感器、GPS或其他任何传感器或跟踪其位置、方向或其变化的传感器。
图28示出了使用推导出的摄像机姿态变化而将对象姿态变化转换为通用坐标的示例。在该示例中，步骤2560将帧2711b转换为帧2811b，其将所有对象向右移动Δx。现在帧2811b处于与帧2711a相同的坐标系中，并且可以直接确定对象运动。可以从这两个帧计算球位置的变化2801。此外，使用帧2711b中的高尔夫球的像素中的外观尺寸2802(d)和球的实际尺寸s，可以将位置变化2801(Δr)从像素转换为距离单位，例如Δr’＝(Δr)(s/d)。(这种转换假定球2712a的外观尺寸在帧2711a和2711b中是相同的；如果球的外观尺寸改变，并且需要额外的分析来说明球垂直于视频帧的移动)。视频的帧速率，可以确定帧之间的时间差Δt，从而计算球的速度矢量为v＝Δr’/Δt。
通过假定球2712a具有附接的运动捕获元件2901(示出为星号)，说明性示例在图29中继续。在该示例中，运动捕获元件包括带有3轴加速度计和3轴陀螺仪的惯性传感器，以及其他可能的传感器。传感器数据通过通道2902无线传输到接收器2903，图中只显示了x轴数据。使用本领域已知的惯性导航技术，加速度计和陀螺仪数据在步骤2911整合，在固定坐标系中产生运动度量，包括来自传感器数据的线性速度估计2912。根据视频帧分析，将视频帧2811b中的球位置2801的移位转换为线速度估计2910。传感器速度估计2912和视频速度估计2910由传感器融合模块2913组合，形成最终的球速度估计2920。例如，一种简单的说明性传感器融合技术是采用加权平均值v＝αvvideo+(1-α)vsensor，其中加权因子α可以取决于视频估计和传感器估计的相对误差方差。
我们现在讨论步骤2580的一些可能方法，同步视频和运动传感器数据。图30示出了使用事件来同步视频和传感器数据的实施例。在一个或多个实施例中，可以在传感器数据和视频数据两者中识别特定类型的事件以及事件签名。随后可以通过扫描视频事件签名的视频帧，扫描相应传感器数据签名的传感器数据，以及在事件发生时对齐传感器时钟和视频时钟来执行同步。在图30所示的实施例中，用于同步的事件是高尔夫球杆头与高尔夫球的撞击。在该实施例中，将具有加速度计的传感器附接到高尔夫球杆的手柄以检测杆头与球撞击的振动。从传感器接收数据的传感器或分析系统监测从加速度计接收的加速度3020的量值。摄像机捕获显示球杆挥杆的视频，如帧3001a、3001b、3001c和3001d所示。用于撞击事件的传感器数据签名3030是加速度的量值超过指定的阈值；这相当于撞击振动。在该示例中，在时间t-s1相对于传感器时钟时间3022在3031处检测到该传感器签名。用于撞击事件的视频签名3010是杆头直接与球相邻。其他签名也是可能的；例如在一个或多个实施例中，球移动的开始可以用作用于撞击的视频签名。在时间t-v3相对于摄像机的时钟时间在3011处检测到视频签名3010。然后传感器时钟和摄像机时钟的同步由在步骤3040将传感器数据签名的时间3031与视频签名的时间3011对齐组成。
图31示出了可以由一个或多个实施例使用的另一种同步方法。该方法使用来自传感器数据和来自视频帧的可比较的运动度量。在图31所示的实施例中，由传感器数据2912测量的选定对象的速度与通过视频帧分析测量的该对象的速度2910进行比较。很明显，这两个速度图具有大致相同的形状，但它们被表示传感器时钟和摄像机时钟的差异的时间差3101抵消。为了确定时间差，可以使用信号相关图3102；峰值相关性3103示出了同步时钟所需的时间偏移。
一个或多个实施例可以使用方法来识别假阳性事件。这些假阳性的签名与所期望的事件的签名类似，但是它们是由虚假行为引起的。图32示出了其中所需的事件是高尔夫球杆头与高尔夫球的撞击的示例。这种影响可以通过附接到高尔夫球杆的加速度计来检测，因为撞击的振动引起加速度的高峰。用于事件的传感器数据签名3030是加速度的量值超过了指定的阈值。然而，这种传感器数据签名可能是假阳性，因为对球杆的撞击除了对球的撞击之外也可能产生签名。例如，如3202所示，敲击地面上的球杆可能产生假阳性的加速度签名。在一个或多个实施例中，通过组合传感器数据签名和视频签名可以将假阳性与真实事件区分开。在图32中，影响球的杆头的事件的视频签名例如是视频显示与球相邻的杆头。视频帧3201a、3201b、3201c和3201d的分析不显示该视频签名。因此，明显事件签名3030可以与来自视频的非签名3210组合，以将事件分类为假阳性3220。相反的情况也可以发生在视频分析通过视频签名显示表观事件的情况下，但是传感器数据显示这种表观事件是假阳性。
一个或多个实施例可以使用多阶段测试来区分假阳性事件和有效事件。图32A示出了使用两阶段检测过程来监测传感器数据以找到预期事件的实施例。针对阈值32A01监测第一加速度量值3020。当加速度量值超过阈值时，启动第二阶段阈值测试，这里是加速度y轴的值32A02。如果在时间间隔32A04期间该值超过第二阈值32A03，则该实施例用信号通知预期事件32A05。这个预期事件触发了两个额外的事件验证步骤。来自运动捕获传感器的第一另一个运动度量32A05(这里是角速度的y轴)与该度量的典型传感器数据签名32A06进行比较。如果度量与传感器数据签名不匹配，则该事件声明为假阳性32A10。否则，使用视频分析来执行第二次验证检查。将图像3201c与预期的视频签名3010进行比较以验证该事件。如果这些图像匹配，则声明一个有效的事件32A20；否则预期事件归类为假阳性32A10。图32A中显示的具体度量、阈值和测试仅用于说明；实施例可以使用任何度量的任何组合来检测和验证事件，并且可以以任何期望的方式组合传感器数据和视频数据以执行该检测和验证。例如，在一个或多个实施例中，有效事件可能仅需要传感器数据签名和视频签名中的一个，而不是如图32A所示需要两者。
在一个或多个实施例中，感兴趣对象可以包括具有视觉标记的运动捕获元件。视觉标记可能具有不同的图案或颜色，例如，它构成该对象的区别视觉特征的一部分。图33示出了附接到高尔夫球杆3301的运动捕获元件3302的示例；运动捕获元件上的图案3303是视觉标记。在一个或多个实施例中，视觉标记的图案可以设计成帮助确定关联对象的方向；这通过使用具有不带旋转对称性的图案的视觉标记来促进：任何旋转产生不同于未旋转图案3303的明显图案，如3304。
我们现在讨论步骤2550的说明性实施例，确定所识别对象相对于摄像机姿态的姿态。姿态包括位置、方向或两者。图34示出了确定所识别对象的位置的示例。感兴趣对象是帧2711a中的高尔夫球2712a。该帧具有以像素为单位的宽度3403(w)，以及水平视场3404(α)。球在帧中的二维位置在相对于帧中心的x坐标3401(x0)和y坐标(y0)处。这些坐标位于帧的像素空间中，而不是由摄像机确定的三维空间中。球2712a在像素空间中具有2802(d)的表观尺寸。我们定义了xyz坐标系3410，z轴指向摄像机，而原点位于摄像机的焦点处。我们将帧2711a作为在z＝-1的情况下在像平面3412上的投影，通过因子
Figure BDA0001598682290000941
重新缩放到像素。在这个图像平面上，球位于坐标3411，其中(x1,y1,z1)＝(x0/s,y0/s,-1)。假设球的实际尺寸已知，则可以确定球与摄像机的距离，如上所述。使用球的表观尺寸2802(d)和实际尺寸3413(b)，球位于位置3414，其中(x2,y2,z2)＝(bx0/d,by0/d,-bs/d)。
图35示出了确定所识别对象的方向的示例。感兴趣对象是帧2711a中的高尔夫球3501。高尔夫球装备有不具有旋转对称性的视觉标记。估计对象相对于摄像机姿态的姿态的步骤2550将观察到的视觉标记图案3501与代表对象未旋转方向的参考图案3502进行比较。一个或多个实施例可以从对象的区别视觉特征中获得对象的参考图案；例如，实施例可以定义用作参考图案的自然基线方向。一个或多个实施例可以替代地或附加地从另一视频帧获得参考图案，以便确定帧之间的方向的改变。可以通过一个或多个实施例来确定对象的旋转而使用的一种方法是搜索旋转角度，其在施加旋转之后将所观察的图案3501与参考图案3502之间的相关性最大化(或者将差异最小化)。例如，曲线图3510显示了这些图案之间对于各种旋转角度的空间相关性；峰值相关性3511出现在角度3512，其表示对象3501的方向。该示例说明寻找单个旋转角度；在一些实施例中，可能期望找到可具有多达三个自由度的旋转。在这些实施例中可以使用类似的方法来搜索使所观察的图案与旋转的参考图案之间的差异最小化的旋转。
一个或多个实施例可以仅使用关于所识别对象的位置信息，在这种情况下，确定对象方向的步骤不是必需的。一个或多个实施例可仅使用关于对象的方向信息，在这种情况下，确定对象位置的步骤不是必需的。一个或多个实施例可以仅使用关于位置或方向的部分信息，在这种情况下，这些步骤可以简化；例如，在一些应用中，可能仅需要确定垂直位置(高度)而不是完整的xyz位置。
我们现在回到在视频帧中定位感兴趣对象的问题。如上所述，在一个或多个实施例中使用的一种方法是对寻找与对象的区别视觉特征相匹配的所有像素进行穷举搜索。然而，在一些实施例中，可能存在可以限制需要搜索的区域的附加的可获得的信息。例如，在一些实施例中，可以创建对象的可能或大概的轨迹的物理模型。这样的物理模型将取决于具体的对象以及该实施例的应用。使用这样的物理模型，可以基于例如在前一帧中的对象的位置来预测具有找到对象的高可能性的区域。图36示出了使用物理模型的实施例。高尔夫球3602a出现在帧3601a、3601b和3601c中。我们假设已经找到了帧3601a和3601b中的球的位置，并且希望找到帧3601c中球的位置。该实施例使用物理模型3610作为球的轨迹；这个模型假设球在飞行中的唯一力量是重力的向下力。(这里忽略空气阻力；例如，其他实施例可以使用考虑空气阻力的更复杂的物理模型。为便于说明，该模型还示出仅在xy平面中的运动；例如，其他实施例可以使用考虑在所有三个轴上运动的模型。)分别在帧3601a和3601b中使用球的位置3602a和3602b，可以确定模型3610的参数(x0,y0,vx,vy)。然后可以通过在时间上向前推进轨迹来预测帧3601c中的球的位置3620。在这里，我们将该区域显示为一个区域而不是单个点；这反映了在一个或多个实施例中，物理模型可以考虑模型参数中的不确定性以生成用于轨迹的可能区域而不是简单的点估计。
如图36所示的物理模型的使用还可以帮助消除帧中的对象的歧义。例如，在图36中，帧3601a具有两个高尔夫球3602a和3603a。两个球也出现在随后的帧中。简单地搜索高尔夫球的像素图案可以识别相关区域，但可能不容易确定随着时间的推移哪些区域对应于两个高尔夫球中的哪一个。如图36所示，物理模型清楚地表明球3603是静止的，并且区域3620包含第三帧中移动中的球的位置。
可以在一个或多个实施例中使用以减小感兴趣对象的搜索区域的另一种技术是使用帧差异来识别具有移动对象的区域。该技术的一个例子如图37所示。如图36所示，有三个帧3601a、3601b和3601c，其中一个移动的高尔夫球和一个静止的高尔夫球。在3701和3705处计算帧差异，产生显示帧3601a和3601b之间不同的区域的3702，以及显示帧3601b和3601c之间不同的区域的3706。对移动的高尔夫球的搜索可以例如集中在这些差异区域3703、3704、3707和3708上。可以通过使用交点3710来找到进一步的优化，以找到前向差异3706和后向差异3702之间的帧3601b的公差区域3711。在该示例中，交点3711仅具有单个区域，该单个区域是帧3601b中移动的高尔夫球的可能位置。
现在我们讨论可以在一个或多个实施例中使用以将帧转换为通用坐标系的技术。如上所述，除了对象运动之外，当存在摄像机运动时可能需要这种转换。在图38中，最初处于姿态3802的摄像机捕获帧3801。然后，摄像机移动到姿态3803，产生帧3804。(注意，对象在3801中显示为阴影，而在3804中不显示为阴影；这仅仅是为了便于说明下面解释的技术。)期望将帧3804变换为原始摄像机姿态3802，以便可以识别移动中的感兴趣对象(这里未示出)。一个或多个实施例可以使用以下技术或其变体：首先在帧之间确定总体帧平移3805，其中该帧平移将第一帧3801的中心区域与来自3804的平移帧的对应中心区域对齐。中心区域可以具有任何期望的形状和尺寸。在所示的示例中，3801的中心区域包含房屋的图像。如3806所示，帧3804因此被帧平移3805移位以对齐两个帧中的房屋。该帧平移并不完全对齐两个帧，因为摄像机姿态的变化(在该说明性情况下)不导致帧中所有对象的统一平移。因此该方法继续进行另外的局部比对。帧3804被分成图块。在图38中，使用3x 3网格将帧分成9个图块；一个或多个实施例可以使用任何期望数量和布置的图块，包括非矩形图块或任何形状和尺寸的图块。然后通过局部图块平移来平移每个图块，以将其与前一帧的对应图块对齐。例如，含有太阳的左上方图块通过局部平移3809向左移动。包含旗帜的中间图块通过局部平移3808向右移动。通常，由整体帧平移和局部图块平移创建的对齐可能不会导致前一帧的像素与经过平移的后续帧之间的完美匹配；一个或多个实施例可以使用启发法来找到最佳对齐，例如通过最小化帧转换和局部图块平移之后的像素差异。
一个或多个实施例可以计算包括感兴趣对象的撞击时间的运动度量。例如，如上所述，关注高尔夫球的实施例可以计算高尔夫球杆头和高尔夫球之间的撞击时间；例如在其他运动应用中，例如棒球、网球，曲棍球或板球，类似的撞击时间可能是有用的。由一个或多个实施例用来确定碰撞时间的技术是查找关联的运动度量中的不连续性。例如但不限于，撞击可能导致速度、加速度、角速度或角加速度的快速不连续变化。图39示出了使用速度不连续性来检测撞击的实施例。球3901正在向墙壁3911移动。捕获五个视频帧3901、3902、3903、3904和3905。使用例如与上面讨论的技术类似的技术，针对五个帧中的每一个确定水平速度向量。水平速度随时间变化的图3920显示时间t3与时间t4之间的明显不连续性；因此该实施例确定在t3与t4之间的时间间隔3921中某处发生了球与墙壁的撞击。
一个或多个实施例可以使用技术来确定撞击时间的更精确的估计。上述方法仅能够确定撞击之前的样本(这里是视频帧)与撞击之后的样本之间的范围内的撞击时间。可以通过估计撞击前对象的前向轨迹和撞击后对象的后向轨迹并计算这两个轨迹的交叉时间来开发撞击时间的样本间估计。该技术在图3930中示出。前向轨迹3931示出了水平位置(x)在撞击之前随时间降低。后向轨迹3932显示水平位置(x)在撞击后随时间增加。这两个轨迹的交点3940给出了在样本时间t3和t4之间的撞击时间的估计。
在该方法的一个或多个实施例中，对象的期望轨迹是已知的或可估计。例如，在测量高尔夫挥杆的实施例中，高尔夫球的期望轨迹朝向洞。例如，在棒球中，击球手击中棒球所需的轨迹可能是棒球直接和深入地击出。使用视频分析传感器数据或两者，一个或多个实施例可以测量感兴趣对象的实际轨迹，并将该实际轨迹与期望轨迹进行比较。该比较生成对象的运动度量。而且，一个或多个实施例可以进一步测量产生观察到的轨迹的初始条件。例如，在高尔夫球中，与球撞击时杆头的方向、位置和速度决定了随后的球轨迹。类似地，在棒球中，在与球撞击时球棒的方向、位置和速度决定了随后的球轨迹(以及由投手抛出的球的速度)。这些初始条件也可以作为运动度量来测量，也可以使用传感器数据、视频分析或两者。一个或多个实施例可以进一步计算在这些初始条件中将需要的变化，以生成期望的轨迹而不是观察到的轨迹，并且将这些变化报告为附加的运动度量。图40示出了具有测量推杆的实施例的示例。推杆在手柄上具有传感器4010，其测量推杆的运动。另外，摄像机4020在击球后记录球的轨迹。球的期望轨迹4023朝向并进入洞4002中。在该示例中，球4000以一定角度击中，并且球在实际轨迹4022上行进，在4001处停止。该轨迹由摄像机4020观察并由分析模块4021分析。所得到的运动度量4030和4040向高尔夫球员提供关于推杆的反馈。从推杆上的传感器计算度量4030；例如它们表明，推杆在撞击时的速度为3英里/小时，而推杆面从仰式向左旋转1度至前进行程。轨迹4022的分析确定对推杆将球放入洞中所需的校正需要将瞄准向右移多5度，并将推杆速度增加10％。将轨迹改变为期望轨迹所需的初始条件变化的分析可以例如考虑可能影响轨迹的任何其他因素，例如在这种情况下的果岭(putting green)的速度或坡度。
在一个或多个实施例中，可以长时间收集传感器或视频数据，其中这些时间段的仅某些部分包含感兴趣的活动。因此，一个或多个实施例可以接收感兴趣的活动的签名，并使用这些签名来过滤传感器和视频数据以关注那些感兴趣的活动。举例来说，在一个或多个实施例中，可从视频中选择特别显示感兴趣的活动的一组高光帧。图41示出了使用传感器数据定位感兴趣的活动来生成高光帧的实施例的示例。滑雪板具有附接的传感器4102，其包括加速度计。另外，摄像机4101捕获滑雪者的视频。在一个或多个实施例中，摄像机4101可以附接到用户，并且摄像机可以包括传感器4102。该实施例获得感兴趣活动的签名4120。在这个说明性的例子中，一个感兴趣的活动是高速跳跃。跳跃的标志是加速度的量值下降到g/2以下，表明滑雪板处于自由落体状态，并且速度的量值高于50mph。将从传感器4102接收的加速度量值4110与随着时间的加速度阈值进行比较。加速度计被集成(连同来自其他惯性传感器例如陀螺仪的数据)以形成速度数据4111。在帧4103，加速度量值下降到阈值以下，因为滑雪者跳得很小；然而，此时的速度不足够快以与活动签名4120匹配。加速度量值在对应于视频帧4104的时间处再次下降到阈值以下；此时速度也超过所需的阈值，所以数据与活动签名4120匹配。选择三个高光视频帧4130以显示通过比较加速度运动度量与阈值而检测到的跳跃活动。一个或多个实施例可以在感兴趣的活动期间选择包括在活动时间段期间捕获的所有帧的高光帧。一个或多个实施例可以将附加帧添加到活动时间段之前或之后的高光帧。一个或多个实施例可以在活动时间段期间仅对所选帧进行采样，例如以生成一小组高光图像而不是完整视频。在图41所示的例子中，滑雪板的速度用图形覆盖物4135覆盖在高光帧上；这个速度可以通过例如传感器数据、视频分析或两个数据源的传感器融合来计算。一个或多个实施例可以将任何期望的度量或图形覆盖到高光帧上。然后通过网络4140将具有覆盖物4135的高光帧4130分配给高光帧的任何一组消费者。在生成高光帧的一个或多个实施例中，高光帧的消费者可以包括例如但不限于：任何视频或图像观看设备；视频、图像或数据的存储库；任何类型的计算机，如服务器、台式机、笔记本电脑或平板电脑；任何移动设备，如电话；社交媒体网站；任何网络和紧急服务。可以将视频集锦发送到紧急服务的实施例的例子是碰撞检测系统，例如用于自行车或摩托车。该实施例可以使用例如加速度计来检测碰撞以及车载摄像机来连续捕获视频而监控用户。当检测到碰撞时，关于碰撞的位置和严重程度的信息可以直接发送到紧急服务，以及显示碰撞的视频。可以查询事件本地的任何摄影机，无论是高光事件还是碰撞或任何其他类型的事件，以确定它们是否具有来自该位置和时间的视频，例如使用包含事件位置的视野。覆盖事件的视频或事件附近的任何其他传感器也可以被查询并发送出去以定义群组事件。其他传感器数据，包括心率和声音或声音水平也可以是事件的指示，其值得高光或其他类型事件(例如失败)。与用户相关联的任何组的成员都可以订阅该事件或群组事件，并获得当天的高光或失败。
关于高光阈值，可以根据一个或多个度量标记最佳事件，并且另外，可以标记最差事件或任何其他范围的事件。事件的标记可以指示：事件可以指示相应的事件视频或运动数据将与给定的高光时刻或失败时刻相关联。在一个或多个实施例中，可以利用度量或活动签名来识别非常失败或其他失败，例如在用户未能执行技巧或发生重大错误的情况下。图41A图示了作为图41的滑雪板示例的变体的示例。41A20失败的标记定义为具有高速度，紧接着是具有非常小的或零速度；这个签名描绘了一场碰撞。在帧4104处，滑雪者执行跳跃，然后在帧41A05处击中树。因此，在41A13处，速度从高速快速转变为零。非常失败帧41A30被选择来记录失败。如图41所示，这些失败帧可以与度量数据4135重叠。可以将失败帧发送到其他查看器或存储库4140，并且可以将消息41A50发送到摄像机以丢弃除了所选失败帧之外的帧。一个或多个实施例可以针对感兴趣活动使用多个签名来识别和捕获各种类型的活动；例如，一个实施例可以同时使用图41中的签名4120之类的高光签名以及图41A中签名41A20之类的失败签名。任何视频特性或运动数据都可以用来指定高光或失败度量来创建相应的时刻。
一个或多个实施例可以使用上述技术来生成高光帧，并且然后可以丢弃非高光帧以便节省存储空间和带宽。一个或多个实施例还可以将消息发送到其他系统，例如发送到最初捕获视频的摄像机，指示仅应该保留高光帧并且应该丢弃其他帧。这在图41中示出，具有发送到摄像机4101的丢弃消息4150，告诉摄像机丢弃除了那些被选作高光帧的所有帧。
在一个或多个实施例中，运动度量可以包括活动的经过时间，并且传感器数据和视频分析可以组合以确定活动的开始时间和结束时间。图42示出了使用运动传感器来确定开始时间并使用视频分析来确定结束时间的实施例。用户4201例如在起始线4203和终点线4204之间进行冲刺。运动捕获元件4210附接到用户，并且其包括加速度计。用户在冲刺前是静止的。当水平(x)方向上的加速度4211超过阈值时，检测到冲刺的开始；这发生在时间4212(tStart)。在这个示例中，传感器不能直接确定用户何时穿越终点线，因为用户在穿过终点线后继续前进。因此，摄像机4220定位在终点线上。监视视频帧4221以检测用户何时穿过终点线。使用视频帧分析，其可以例如使用帧之间的轨迹插值来确定精确的穿越时间，确定完成时间4222(tFinish)。因此可以计算跳跃的经过时间4230。这个说明性的示例使用用于开始时间的传感器和用于结束时间的摄像机。一个或多个实施例可以使用传感器和摄像机的各种其他组合来确定活动的开始时间和结束时间；例如，通过分析用于前向运动的开始签名的视频，可以使用摄像机来定位开始时间。
虽然通过具体实施例及其应用描述了这里所公开的本发明，但是在不背离权利要求书中所阐述的本发明的范围的情况下，本领域技术人员可以作出许多修改和变化。

Claims (30)

1.一种结合运动捕获传感器数据和视频数据进行运动分析的方法，包括：
获得从摄像机捕获的视频；
使用计算机获得一个或多个感兴趣对象和为所述一个或多个感兴趣对象中的每一个获得一个或多个区别视觉特征；
从所述视频中选择多个帧用于分析；
在所述多个帧中搜索所述一个或多个感兴趣对象，产生一个或多个识别的对象；以及产生所述多个帧内的一个或多个区域，其中，
所述一个或多个区域中的每一个与所述一个或多个识别的对象中的一个相关联；以及，
所述一个或多个区域中的每一个的像素与所述一个或多个区域相关联的所述一个或多个识别的对象中的一个的所述一个或多个区别视觉特征匹配；
针对所述多个帧中的每个估计所述摄像机的摄像机姿态；
根据所述一个或多个区域的位置和像素内容，估计所述多个帧中的一个或多个识别的对象相对于所述摄像机姿态的对象姿态；
通过确定所述多个帧中的每个帧的所述摄像机姿态来将所述多个帧中的每个帧中的所述对象姿态转换到通用坐标系，并且其中，所述转换包括帧平移，以将所述多个帧中的每个帧中的所述对象姿态与所述通用坐标系对准，从而导致所述多个帧中的每个帧中的每个所述对象姿态的所有对象姿态的均匀转换；
从附接至所述一个或多个感兴趣对象的一个或多个运动捕获传感器获得所述一个或多个感兴趣对象中的一个或多个的运动捕获数据；
使所述运动捕获数据与所述多个帧同步；
使用运动捕获传感器融合将所述多个帧中的所述对象姿态中的变化与所述运动捕获数据进行组合，为所述一个或多个识别的对象从所述一个或多个运动捕获传感器生成与所述运动捕获数据相关联的一个或多个运动度量；
其中，
所述一个或多个运动度量包括线性位置、线速度、线性加速度、轨迹、方向、角速度、角加速度、运动时间、运动开始和到达某个位置之间所经过的时间以及撞击时间；
所述一个或多个区别视觉特征包括形状、曲率、尺寸、颜色、亮度、色调、饱和度、纹理和像素图案中的一个或多个；以及，
所述一个或多个感兴趣对象包括设备和人员中的一个或多个；
将除了所述多个帧中的第一帧之外的所述多个帧中的每一个变换为对齐帧，根据除了所述第一帧之外的所述多个帧中的前一帧的所述摄像机姿态，所述对齐帧将除了所述第一帧之外的所述多个帧中的每个帧与前一帧对齐，从而估计除所述第一帧之外的所述多个帧的视图，其中所述第一帧包括从所述摄像机在初始对象姿态处捕获的帧；
计算每个所述对齐帧和前一帧之间的帧差异；
根据所述帧差异计算高运动区域；以及，
其中所述搜索所述一个或多个感兴趣对象的所述多个帧包括在所述高运动区域内进行搜索。
2.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述使所述运动捕获数据与所述多个帧同步包括：
获得一个或多个事件签名，每个事件签名包括：
事件类型；
与所述事件类型关联的运动捕获传感器数据签名；以及，
与所述事件类型关联的视频签名；
定位与所述一个或多个事件签名中的一个匹配的事件，其中所述一个或多个事件签名在所述运动捕捉数据中和所述多个帧中；和，
将对应于所述事件的所述运动捕获传感器数据签名的运动捕获数据时间戳与在所述视频中出现所述事件的所述视频签名的所述多个帧的帧对齐。
3.根据权利要求2所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中
所述运动捕获数据包括传感器时钟；
所述视频包括帧时钟；
所述运动捕获传感器时钟和所述帧时钟在最大时钟差内同步；以及，
所述定位与所述一个或多个事件签名中的一个匹配的事件，包括：
将所述一个或多个事件签名的所述运动捕获传感器数据签名定位在所述运动捕获数据中，产生定位的所述运动捕获传感器数据签名的运动捕获数据时间戳和检测到的事件类型；以及，
用所述帧时钟搜索具有所述运动捕获数据时间戳减去所述最大时钟差值和所述运动捕获数据时间戳加上对应于所述检测到的事件类型的所述视频签名的所述最大时钟差值之间的值的所述多个帧。
4.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述使所述运动捕获数据与所述多个帧同步包括：
从所述一个或多个识别的对象中选择参考对象；
从所述多个帧计算所述参考对象的视频运动度量；
从用于所述参考对象的所述运动捕获数据计算所述参考对象的对应运动捕获传感器运动度量；以及，
将所述运动捕获数据与所述多个帧对齐以最小化所述视频运动度量和所述运动捕获传感器运动度量之间的差异。
5.根据权利要求4所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中
所述运动捕获数据包括传感器时钟；
所述视频包括帧时钟；
所述传感器时钟和所述帧时钟在最大时钟差内同步；以及，
将运动捕获数据与所述多个帧对齐来搜索所述最大时钟差内的正或负时钟偏移，使所述视频运动度量与所述运动捕获传感器运动度量之间的差异最小化。
6.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中使所述运动捕获数据与所述多个帧同步还包括：
获得一个或多个事件签名，每个事件签名包括
事件类型；
与所述事件类型相关联的运动捕获传感器数据签名；
与所述事件类型相关联的视频签名；
定位与所述运动捕获数据中的所述一个或多个事件签名的所述运动捕获传感器数据签名中的一个或在所述多个帧中的所述一个或多个事件签名中的所述视频签名中一个的匹配的预期事件；
将预期事件类型分配给所述预期事件；以及，
如果所述预期事件不匹配所述预期事件类型的所述运动捕获传感器数据签名和所述预期事件类型的所述视频签名两者，则将所述预期事件作为假阳性消除；
如果所述预期事件没有作为假阳性消除，则通过将对应于所述预期事件的所述运动捕获传感器数据签名的运动捕获数据时间戳与所述多个帧的帧进行同步，使所述运动捕获数据与所述多个帧同步。
7.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中
所述一个或多个感兴趣对象中的至少一个包括视觉标记;
所述视觉标记包括不具有旋转对称性的图案；以及，
所述一个或多个感兴趣对象中的至少一个感兴趣对象的所述一个或多个区别视觉特征包括所述视觉标记的所述图案。
8.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，还包括：
预处理所述多个帧以促进针对所述一个或多个感兴趣对象搜索所述多个帧，其中所述预处理所述多个帧包括噪声去除、闪烁去除、平滑、颜色空间转换、颜色或亮度平衡和阴影去除中的一个或多个。
9.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中使用测量所述摄像机的位置和/或方向的运动捕获传感器，针对于多个帧中的每个帧来估计摄像机的摄像机姿态。
10.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中估计所述多个帧中的一个或多个识别的对象相对于所述摄像机姿态的对象姿态包括：
根据所述多个帧中的所述一个或多个区域的位置估计所述一个或多个识别的对象的光线，其中所述一个或多个识别的对象位于所述光线上；
根据在所述多个帧中的所述一个或多个区域的所述一个或多个识别的对象的相对大小来估计所述一个或多个识别的对象距所述摄像机的相对距离；
通过搜索旋转角度以计算所述一个或多个识别的对象的旋转来估计所述一个或多个识别的对象相对于所述摄像机的方向；其中，旋转能使所述一个或多个识别的对象的参考像素图案与所述一个或多个识别的对象的所述一个或多个区域的所述像素内容之间的差异最小化；以及，
其中所述参考像素图案对应于所述一个或多个识别的对象的所述一个或多个区别视觉特征中的一个，或者所述参考像素图案是从用于指定参考帧的所述一个或多个区域的所述像素内容获得的。
11.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中在所述多个帧中搜索所述一个或多个感兴趣对象还包括：
创建或获得所述一个或多个识别的对象中的一个或多个的轨迹的物理模型；
使用所述物理模型估计所述多个帧的每个帧内针对所述一个或多个识别出的对象的位置的高概率区域；以及，
其中所述搜索所述一个或多个感兴趣对象的所述多个帧包括在所述高概率区域内进行搜索。
12.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述将除所述第一帧之外的所述多个帧中的每一个变换为对齐帧包括：
计算在应用所述帧平移之后使所述多个帧的帧的中心区域与所述前一帧的中心区域之间的像素差异最小化的帧平移度；
将所述多个帧中的每一个分成多个图块；以及，
计算每个所述图块的图块平移度，从而在应用所述帧平移和所述图块平移之后，最小化图块与前一帧的对应图块之间的像素差异。
13.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中
所述一个或多个运动度量包括所述一个或多个感兴趣对象之一的撞击时间；以及，
所述撞击时间通过检测连续帧之间的运动度量的不连续性来计算。
14.根据权利要求13所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述撞击时间是在所述多个帧之间计算，通过
在撞击之前从所述多个帧的帧向前推断所述一个或多个感兴趣对象中的所述一个的轨迹，产生前向轨迹；以及，
在撞击之后从所述帧向后推断所述感兴趣对象中的一个或多个中的所述一个的轨迹，产生后向轨迹；以及，
计算所述前向轨迹与所述后向轨迹的交点时间。
15.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在使所述运动捕获数据与所述多个帧同步之后，还包括：
将所述一个或多个感兴趣对象中的一个观测到的轨迹与期望的轨迹进行比较；以及，
计算实现所述期望的轨迹所需的观测到的轨迹的初始条件中的变化量，并将所述变化量作为所述一个或多个运动度量中的一个。
16.根据权利要求15所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述初始条件包括初始速度和初始方向中的一个或多个。
17.根据权利要求16所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述一个或多个感兴趣对象包括球，并且所述初始条件包括在与所述球撞击时运动设备的方向、位置、速度中的一个或多个。
18.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在生成与所述运动捕获数据相关联的一个或多个运动度量之后，还包括：
获得感兴趣活动的一个或多个签名，所述一个或多个签名中的每一个与所述一个或多个运动度量中的一个或多个相对应；
在所述多个帧中搜索感兴趣活动的所述一个或多个签名；
选择一个或多个高光帧或失败帧，所述一个或多个高光帧或失败帧包括所述一个或多个感兴趣活动的签名发生的所述多个帧中的帧，并且包括来自所述多个帧中的帧，所述帧接近感兴趣的活动的所述一个或多个签名发生的帧；以及
将所述一个或多个高光帧或失败帧传输到储存库、查看器、服务器、计算机、社交媒体网站、移动设备、网络和紧急服务中的一个或多个。
19.根据权利要求18所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在选择一个或多个高光帧或失败帧之后，还包括：
用数据或图形覆盖所述一个或多个高光帧或失败帧，其中所述数据或图形表示在所述一个或多个高光帧或失败帧中的每一个的所述一个或多个运动度量中的一个或多个的值。
20.根据权利要求18所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在用数据或图形覆盖所述一个或多个高光帧或失败帧之后，还包括：
命令所述摄像机丢弃除所述一个或多个高光帧或失败帧之外的多个帧。
21.根据权利要求18所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述感兴趣的活动的一个或多个签名包括所述一个或多个运动度量，所述一个或多个运动度量在所述一个或多个运动度量的一个或多个的对应范围内。
22.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中
所述一个或多个运动度量包括活动的经过时间；以及，
计算所述经过时间包括：
使用所述运动捕获数据计算所述活动的开始时间以检测与所述活动的开始相对应的签名；
使用所述视频来计算所述活动的结束时间以检测与所述活动的完成相对应的签名；以及，
将所述经过时间计算为所述结束时间和所述开始时间之间的差值。
23.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中使所述运动捕获数据与所述多个帧同步还包括
基于所述运动捕获数据计算事件数据；
从所述事件数据获得事件开始时间和事件停止时间；
获得与所述视频相关联的视频开始时间和视频停止时间；以及，
基于第一时间和与所述视频相关联的至少一个时间，根据将所述视频与所述事件数据同步来创建同步事件视频，其中，第一时间与从所述一个或多个运动捕获传感器获得的所述事件数据相关联。
24.根据权利要求23所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在从所述事件数据获得事件开始时间和事件停止时间之后，还包括：
命令所述摄像机将至少在从所述事件开始时间到所述事件停止时间的时间跨度期间捕获的所述同步事件视频传送到计算机，而不将从所述事件开始时间到所述事件停止时间的所述时间跨度之外发生的所述视频的至少一部分传送到所述计算机。
25.根据权利要求23所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在从所述事件数据获得事件开始时间和事件停止时间之后，还包括：
命令所述摄像机在所述事件开始时间到所述事件停止时间之外丢弃所述视频的至少一部分。
26.根据权利要求23所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在从所述事件数据获得事件开始时间和事件停止时间之后，还包括：
创建包含所述事件数据和所述视频两者的叠加同步事件视频
所述事件数据在从所述事件开始时间到所述事件停止时间的时间跨度内发生
以及
在从所述事件开始时间到所述事件停止时间的所述时间跨度期间捕获所述视频。
27.根据权利要求1所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，其中所述获得所述视频包括获得配置有高可视性颜色的视觉标记的所述视频，同时从所述一个或多个运动捕获传感器获得所述运动捕获数据，其中所述视觉标记与所述一个或多个运动捕获传感器中的一个结合。
28.根据权利要求2所述的结合运动捕获传感器数据和视频数据进行运动分析的方法，在获得运动捕获传感器数据签名和视频签名之后，还包括：
从具有第一阈值的所述运动捕获传感器中检测第一值；
在第一值的样本周围的时间窗内从具有第二阈值的所述运动捕捉传感器中检测第二值；
当所述第一值超过所述第一阈值和所述第二值超过所述第二阈值时，预示着预期事件；
将所述预期事件与典型事件相关联的特征信号进行比较或/和将所述预期事件期间的所述视频与所述典型事件相关联的特征图像进行比较；
如果所述预期事件与所述特征信号的比较或者在所述预期事件期间所述视频与所述特征图像的比较是在预定容差之外的，则消除任何假阳性事件；
如果所述预期事件不是假阳性事件，则表示有效事件；以及，
将所述有效事件保存在与所述计算机相连的存储器中。
29.一种结合运动捕获传感器数据和视频数据进行运动分析的方法，包括：
获得从摄像机捕获的视频；
使用计算机获得一个或多个感兴趣对象和为所述一个或多个感兴趣对象中的每一个获得一个或多个区别视觉特征，其中
所述一个或多个感兴趣对象中的至少一个包括视觉标记;
所述视觉标记具有不带旋转对称性的图案；
所述一个或多个感兴趣对象中的所述至少一个的所述一个或多个区别视觉特征包括所述视觉标记的所述图案；
从所述视频中选择多个帧用于分析；
预处理所述多个帧以促进针对所述多个帧的图像分析，其中所述预处理所述多个帧包括噪声去除、闪烁去除、平滑、颜色空间转换、颜色或亮度平衡和阴影去除中的一个或多个；
通过计算在应用所述帧平移之后使所述多个帧的帧的中心区域与前一帧的中心区域之间的像素差异最小化的帧平移度，将除了所述多个帧中的第一帧之外的所述多个帧中的每一个变换为对齐帧，根据针对所述多个帧中的前一帧的所述摄像机姿态，所述对齐帧将除了所述第一帧之外的所述多个帧中的每个帧与前一帧对齐，从而估计除所述第一帧之外的所述多个帧的视图；
将所述多个帧中的每一个分成多个图块；以及，
计算每个所述图块的图块平移度，从而在应用所述帧平移和所述图块平移之后，最小化图块与前一帧的对应图块之间的像素差异；
计算每个所述对齐帧和前一帧之间的帧差异；
根据所述帧差异计算高运动区域；
在所述多个帧的所述高运动区域中搜索所述一个或多个感兴趣对象，产生一个或多个识别的对象，以及产生所述多个帧内的一个或多个区域，其中，
所述一个或多个区域中的每一个与所述一个或多个识别的对象中的一个相关联；以及
所述一个或多个区域中的每一个的像素与所述区域相关联的所述一个或多个识别的对象中的所述一个的所述一个或多个区别视觉特征匹配；
针对所述多个帧中的每个估计所述摄像机的摄像机姿态；
根据所述一个或多个区域的位置和像素内容，估计所述多个帧中的一个或多个识别的对象相对于所述摄像机姿态的对象姿态，通过
根据所述多个帧中的所述一个或多个区域的所述位置估计所述一个或多个识别对象的光线，所述一个或多个识别对象位于所述光线上；
根据所述一个或多个区域在所述多个帧中的所述一个或多个识别的对象的相对大小来估计所述一个或多个识别的对象距所述摄像机的相对距离；
通过搜索旋转角度以计算所述一个或多个识别的对象的旋转来估计所述一个或多个识别的对象相对于所述摄像机的方向；其中，旋转能使所述一个或多个识别的对象的参考像素图案与所述一个或多个识别的对象的所述一个或多个区域的所述像素内容之间的差异最小化；以及，
其中所述参考像素图案对应于所述一个或多个识别的对象的所述一个或多个区别视觉特征中的一个，或者所述参考像素图案是从用于指定参考帧的所述一个或多个区域的所述像素内容获得的；
通过确定所述多个帧中的每个帧的所述摄像机姿态来将所述多个帧中的每个帧中的所述对象姿态转换到通用坐标系，其中，所述转换包括帧平移，以将所述多个帧中的每个帧中的所述对象姿态与所述通用坐标系对准，从而导致所述多个帧中的每个帧中的每个所述对象姿态的所有对象姿态的均匀转换；
获得所述一个或多个感兴趣对象的一个或多个的运动捕获数据；
获得一个或多个事件签名，每个事件签名包括：
事件类型；
与所述事件类型关联的运动捕获传感器数据签名；
与所述事件类型关联的视频签名；
定位与所述运动捕获数据中的所述一个或多个事件签名的所述运动捕获传感器数据签名中的一个或在所述多个帧中与所述一个或多个事件签名的所述视频签名中的一个匹配的预期事件；
将预期事件类型分配给所述预期事件；
如果所述预期事件不匹配所述预期事件类型的所述运动捕获传感器数据签名和所述预期事件类型的所述视频签名两者，则将所述预期事件作为假阳性消除；
如果所述预期事件没有作为假阳性消除，则通过将对应于所述预期事件的所述运动捕获传感器数据签名的运动捕获数据时间戳与所述多个帧的帧进行同步，使所述运动捕获数据与所述多个帧同步，所述预期事件的所述视频签名发生在所述视频中；
使用运动捕获传感器融合将所述多个帧中的所述对象姿态中的变化与所述运动捕获数据进行组合，为所述一个或多个识别的对象从所述一个或多个运动捕获传感器生成与所述运动捕获数据相关联的一个或多个运动度量；
获得感兴趣活动的一个或多个签名，所述一个或多个签名中的每一个与所述一个或多个运动度量中的一个或多个相对应；
在所述多个帧中搜索感兴趣活动的所述一个或多个签名；
选择一个或多个高光帧或失败帧，所述一个或多个高光帧或失败帧包括所述一个或多个感兴趣活动的签名发生的帧，并且包括接近其中发生感兴趣活动的所述一个或多个签名的所述多个帧中的帧；
用数据或图形覆盖所述一个或多个高光帧或失败帧，其中数据或图形表示在所述一个或多个高光帧或失败帧中的每一个的所述一个或多个运动度量中的一个或多个的值；
将所述一个或多个高光帧或失败帧传输到储存库、查看器、服务器、计算机、社交媒体网站、移动设备、网络和紧急服务中的一个或多个；以及，
其中
所述一个或多个运动度量包括线性位置、线速度、线性加速度、轨迹、方向、角速度、角加速度、运动时间、在运动开始和到达某个位置之间所经过的时间以及撞击时间；
所述一个或多个区别视觉特征包括形状、曲率、尺寸、颜色、亮度、色调、饱和度、纹理和像素图案中的一个或多个；以及，
所述一个或多个感兴趣对象包括设备和人员中的一个或多个。
30.一种结合运动捕获传感器数据和视频数据进行运动分析的方法，包括：
获得从摄像机捕获的视频；
使用计算机获得一个或多个感兴趣对象中的每一个的一个或多个感兴趣对象和一个或多个区别视觉特征；
从所述视频中选择多个帧进行分析；
在所述多个帧中搜索所述一个或多个感兴趣对象，产生
一个或多个识别的对象；和产生
在所述多个帧内的一个或多个区域，其中
所述一个或多个区域中的每一个与所述一个或多个识别的对象的一个相关联；和，
所述一个或多个区域中的每一个的像素为与所述一个或多个区域相关联的所述一个或多个识别的对象中的所述一个匹配所述一个或多个区别视觉特征；
为所述多个帧中的每一个估计所述摄像机的摄像机姿态；
根据所述一个或多个区域的位置和像素内容，估计在所述多个帧中的一个或多个识别的对象相对于所述摄像机姿态的对象姿态；
通过确定所述多个帧中的每个帧的所述摄像机姿态来将所述多个帧中的每个帧中的所述对象姿态转换到通用坐标系，其中，所述转换包括帧平移，以将所述多个帧中的每个帧中的所述对象姿态与所述通用坐标系对准，从而导致所述多个帧中的每个帧中的每个所述对象姿态的所有对象姿态的均匀转换；
从附接至所述一个或多个感兴趣对象的一个或多个运动捕获传感器获得一个或多个所述一个或多个感兴趣对象的运动捕获数据；
将所述运动捕获数据与所述多个帧同步；
使用运动捕获传感器融合将所述多个帧中的所述对象姿态中的变化与所述运动捕获数据进行组合，为所述一个或多个识别的对象从所述一个或多个运动捕获传感器生成与所述运动捕获数据相关联的一个或多个运动度量；
其中
所述一个或多个运动度量包括线性位置、线速度、线性加速度、轨迹、方向、角速度、角加速度、运动时间、在运动开始和到达某个位置之间所经过的时间以及撞击时间中的一个或多个；
所述一个或多个区别视觉特征包括形状、曲率、尺寸、颜色、亮度、色调、饱和度、纹理和像素图案中的一个或多个；以及，
所述一个或多个感兴趣对象包括设备和人员中的一个或多个；
创建或获得一个或多个所述一个或多个识别对象的轨迹的物理模型；
使用所述物理模型估计所述多个帧的每个帧内针对所述一个或多个识别的对象的位置的高概率区域；以及，
其中所述搜索所述一个或多个感兴趣对象的所述多个帧包括在所述高概率区域内进行搜索。
CN201680053840.1A 2015-07-16 2016-07-15 集成传感器和视频运动分析方法 Active CN108028902B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/801,568 US9396385B2 (en) 2010-08-26 2015-07-16 Integrated sensor and video motion analysis method
US14/801,568 2015-07-16
PCT/US2016/042674 WO2017011817A1 (en) 2015-07-16 2016-07-15 Integrated sensor and video motion analysis method

Publications (2)

Publication Number Publication Date
CN108028902A CN108028902A (zh) 2018-05-11
CN108028902B true CN108028902B (zh) 2021-05-04

Family

ID=57757658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053840.1A Active CN108028902B (zh) 2015-07-16 2016-07-15 集成传感器和视频运动分析方法

Country Status (6)

Country Link
EP (1) EP3323240B1 (zh)
JP (1) JP6814196B2 (zh)
CN (1) CN108028902B (zh)
AU (1) AU2016293616B2 (zh)
CA (1) CA3030958C (zh)
WO (1) WO2017011817A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821129B (zh) * 2023-02-24 2023-11-01 國立虎尾科技大學 田徑鏈球項目之整合型感測分析系統

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10216694B2 (en) 2015-08-24 2019-02-26 Google Llc Generic scheduling
CN108805109B (zh) * 2018-08-07 2024-04-23 深圳市天玖隆科技有限公司 一种运动数据捕获显示系统
CN109259748B (zh) * 2018-08-17 2020-04-07 西安电子科技大学 手机处理人脸视频提取心率信号的系统及其方法
CN109452943B (zh) * 2018-09-17 2021-03-23 周建菊 一种用于重症偏瘫患者的多功能康复衣
US11496723B1 (en) * 2018-09-28 2022-11-08 Apple Inc. Automatically capturing a moment
WO2020097875A1 (zh) * 2018-11-15 2020-05-22 高驰运动科技(深圳)有限公司 摔倒检测方法、装置、设备以及存储介质
DE102019100314A1 (de) * 2019-01-08 2020-07-09 AI Golf UG (haftungsbeschränkt) Verfahren und System zum Golftraining
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
US11205273B2 (en) * 2019-03-11 2021-12-21 Velo Software, Llc Methods and systems of tracking velocity
JP2020174845A (ja) * 2019-04-17 2020-10-29 セイコーエプソン株式会社 運動解析方法、運動解析システム及び運動解析装置
TWI723383B (zh) * 2019-04-22 2021-04-01 鴻齡科技股份有限公司 圖像識別裝置及方法
JP7418981B2 (ja) * 2019-06-25 2024-01-22 キヤノン株式会社 画像処理装置、制御方法、およびプログラム
US11789843B1 (en) 2019-07-05 2023-10-17 Cornerstone Research Group, Inc. Event detection sensor and recording system
US11583729B2 (en) 2019-09-06 2023-02-21 Taylor Made Golf Company, Inc. Systems and methods for integrating measurements captured during a golf swing
US11320667B2 (en) * 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
JP7421745B2 (ja) * 2019-11-12 2024-01-25 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
KR102198851B1 (ko) * 2019-11-12 2021-01-05 네이버랩스 주식회사 물체의 3차원 모델 데이터 생성 방법
US11288509B2 (en) * 2019-11-12 2022-03-29 Toyota Research Institute, Inc. Fall detection and assistance
KR102100675B1 (ko) * 2019-12-06 2020-05-15 주식회사 대산테크디자인 골프화용 깔창 제조 방법
CN111243250B (zh) * 2019-12-25 2022-05-27 东软集团股份有限公司 一种基于报警数据的维保预警方法、装置及设备
CN111179679B (zh) * 2019-12-31 2022-01-28 广东虚拟现实科技有限公司 射击训练方法、装置、终端设备及存储介质
CN111150566B (zh) * 2020-01-17 2022-05-10 南京邮电大学 一种自主导航与多模人机交互共享的轮椅控制系统及方法
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
CN111541843B (zh) * 2020-04-21 2021-08-10 厦门钛尚人工智能科技有限公司 一种基于运动传感器的精彩画面实时自动抓拍方法
CN111598134B (zh) * 2020-04-24 2022-04-15 山东体育学院 一种体操运动数据监控的测试分析方法
US20210383124A1 (en) * 2020-06-04 2021-12-09 Hole-In-One Media, Inc. Autonomous activity monitoring system and method
US11798318B2 (en) 2020-07-31 2023-10-24 Qualiaos, Inc. Detection of kinetic events and mechanical variables from uncalibrated video
CN112000225B (zh) * 2020-08-25 2021-06-25 唯羲科技有限公司 一种定位建图优化方法、装置及定位建图优化芯片
US20220215909A1 (en) * 2021-01-07 2022-07-07 Elliot Raj Delta Touchless Range of Motion Analysis
CN112973084A (zh) * 2021-02-25 2021-06-18 因孚迈德公司 高尔夫挥杆分析装置以及利用其的高尔夫练习模拟系统
CN112954486B (zh) * 2021-04-02 2022-07-12 成都艾体验科技有限公司 基于视线注意力的车载视频留痕处理方法
EP4341785A1 (en) * 2021-05-19 2024-03-27 Snap Inc. Automatic media capture based on motion sensor data
EP4380170A1 (en) * 2021-11-09 2024-06-05 Samsung Electronics Co., Ltd. Electronic device and method for automatically generating edited video
CN114494356B (zh) * 2022-04-02 2022-06-24 中傲数据技术(深圳)有限公司 一种基于人工智能的羽毛球视频片段处理方法和系统
CN115270651B (zh) * 2022-06-20 2024-03-15 北京科技大学 一种面向单目视频的非牛顿流体仿真重建方法
CN114913968B (zh) * 2022-07-15 2022-10-25 深圳市三维医疗设备有限公司 一种基于人工智能的医疗设备状态监控系统及方法
EP4322534A1 (en) * 2022-08-12 2024-02-14 Rami Khatib Methods for viewing recorded events
WO2024110547A1 (en) * 2022-11-22 2024-05-30 Digital Surgery Limited Video analysis dashboard for case review
WO2024209080A1 (en) * 2023-04-05 2024-10-10 F. Hoffmann-La Roche Ag Multimodality motion sensing
WO2024209079A1 (en) * 2023-04-05 2024-10-10 F. Hoffmann-La Roche Ag Multimodality motion sensing
CN118303887B (zh) * 2024-06-05 2024-08-30 中电云脑(天津)科技有限公司 一种电生理信号处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008058222A2 (en) * 2006-11-07 2008-05-15 Smartdrive Systems, Inc. Power management systems for automotive video event recorders
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
CN102811343A (zh) * 2011-06-03 2012-12-05 南京理工大学 一种基于行为识别的智能视频监控系统
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN104063708A (zh) * 2013-03-22 2014-09-24 索尼公司 信息处理设备、记录介质和信息处理系统
WO2014150457A2 (en) * 2013-03-15 2014-09-25 Nike, Inc. Feedback signals from image data of athletic performance

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266623B1 (en) * 1994-11-21 2001-07-24 Phatrat Technology, Inc. Sport monitoring apparatus for determining loft time, speed, power absorbed and other factors such as height
US8280682B2 (en) * 2000-12-15 2012-10-02 Tvipr, Llc Device for monitoring movement of shipped goods
WO2003022369A2 (en) * 2001-09-12 2003-03-20 Pillar Vision Corporation Trajectory detection and feedback system
US8150101B2 (en) * 2006-11-13 2012-04-03 Cybernet Systems Corporation Orientation invariant object identification using model-based image processing
US8622795B2 (en) * 2008-12-04 2014-01-07 Home Box Office, Inc. System and method for gathering and analyzing objective motion data
US9699431B2 (en) * 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US8527228B2 (en) * 2010-06-04 2013-09-03 Apple Inc. Calibration for three dimensional motion sensor
US8615254B2 (en) * 2010-08-18 2013-12-24 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US8988341B2 (en) * 2012-06-08 2015-03-24 Apple Inc. Camera-assisted motion estimation for application control
US8929709B2 (en) * 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008058222A2 (en) * 2006-11-07 2008-05-15 Smartdrive Systems, Inc. Power management systems for automotive video event recorders
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
CN102811343A (zh) * 2011-06-03 2012-12-05 南京理工大学 一种基于行为识别的智能视频监控系统
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
WO2014150457A2 (en) * 2013-03-15 2014-09-25 Nike, Inc. Feedback signals from image data of athletic performance
CN104063708A (zh) * 2013-03-22 2014-09-24 索尼公司 信息处理设备、记录介质和信息处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821129B (zh) * 2023-02-24 2023-11-01 國立虎尾科技大學 田徑鏈球項目之整合型感測分析系統

Also Published As

Publication number Publication date
EP3323240B1 (en) 2021-04-28
EP3323240A4 (en) 2019-01-09
JP2018523868A (ja) 2018-08-23
AU2016293616A1 (en) 2018-03-08
CA3030958A1 (en) 2017-01-19
AU2016293616B2 (en) 2020-03-12
CA3030958C (en) 2019-11-05
CN108028902A (zh) 2018-05-11
EP3323240A1 (en) 2018-05-23
JP6814196B2 (ja) 2021-01-13
WO2017011817A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
CN108028902B (zh) 集成传感器和视频运动分析方法
US9396385B2 (en) Integrated sensor and video motion analysis method
US9235765B2 (en) Video and motion event integration system
CN108369646B (zh) 多传感器事件检测和标记系统
US9418705B2 (en) Sensor and media event detection system
US9646209B2 (en) Sensor and media event detection and tagging system
US9361522B2 (en) Motion event recognition and video synchronization system and method
US9039527B2 (en) Broadcasting method for broadcasting images with augmented motion data
US8827824B2 (en) Broadcasting system for broadcasting images with augmented motion data
AU2015249884B2 (en) Motion event recognition and video synchronization system and method
EP3222039B1 (en) Video and motion event integration system
WO2017011818A1 (en) Sensor and media event detection and tagging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant