DE102015207415A1 - Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis - Google Patents

Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis Download PDF

Info

Publication number
DE102015207415A1
DE102015207415A1 DE102015207415.3A DE102015207415A DE102015207415A1 DE 102015207415 A1 DE102015207415 A1 DE 102015207415A1 DE 102015207415 A DE102015207415 A DE 102015207415A DE 102015207415 A1 DE102015207415 A1 DE 102015207415A1
Authority
DE
Germany
Prior art keywords
video
event
sensor
person
sensor assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102015207415.3A
Other languages
English (en)
Inventor
Robert Frank Kirk
Constantin Zwick
Harald Körger
Dominik Schuldhaus
Björn Michael Eskofier
Maike Petra Stöve
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adidas AG
Original Assignee
Adidas AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adidas AG filed Critical Adidas AG
Priority to DE102015207415.3A priority Critical patent/DE102015207415A1/de
Priority to EP16166159.0A priority patent/EP3086320A1/de
Priority to CN201610256835.2A priority patent/CN106066990B/zh
Priority to JP2016085673A priority patent/JP2016208516A/ja
Priority to US15/137,092 priority patent/US9978425B2/en
Publication of DE102015207415A1 publication Critical patent/DE102015207415A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036—Time code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis, umfassend die Schritte: (a.) Aufnehmen eines Videos einer Aktivität einer Person; (b.) Abspeichern einer Zeitreihe von Sensordaten (82), die von einer Sensorbaugruppe (12) bezogen werden, umfassend zumindest einen Sensor (31, 32, 33, 34, 35), der an die Person gekoppelt ist während die Person die Aktivität ausführt; (c.) Synchronisieren des Videos mit den Sensordaten (82); (d.) Detektieren eines Ereignisses in der Zeitreihe; und (e.) Verknüpfen des Ereignisses mit zumindest einem zugehörigen Bild im Video, das das Ereignis zeigt.

Description

  • I. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren und System zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis.
  • II. Technischer Hintergrund
  • Die Analyse von menschlichen Aktivitäten wird für verschiedene Anwendungen, wie medizinische Bewertung, intelligente Umgebungen und Sportanwendungen, benötigt. Sportanwendungen sind von speziellem Interesse für professionelle Verwendung und Freizeitnutzung. Dies beinhaltet Koordination- und Leistungsanalyse von Athleten. Das Beobachten von Athleten während dem Training oder dem Wettkampf ist unerlässlich, um einschlägiges Feedback bereitzustellen. Außerdem kann ein Feedbacksystem motivieren, um tägliche Sportaktivitäten zu erhöhen und individuelle Fitness zu verbessern.
  • Zum Beispiel wünschen sich Athleten, die in einem Match spielen, eine Videozusammenfassung ihrer Leistung, z. B. ein Video, das ihre Fußballschüsse oder Tricks zeigt, zu erhalten, um Feedback zu erhalten und ihre Fähigkeiten zu verbessern. Jedoch ist das Anschauen der gesamten Sportaktivitäten, z. B. ein Fußballspiel, um die relevanten Sequenzen manuell für jeden Spieler herauszuschneiden, um ihm eine Videozusammenfassung bereitzustellen, eine zeitraubende Aufgabe. Somit wird diese Art der Analyse nur im professionellen Bereich (z. B. Erste-Ligen-Fußballklubs) benutzt, wo eine Belegschaft von Trainern und Assistenten die Athleten unterstützt. Im Bereich des Massensports und Freizeitsports sind solche Arten der Videoanalyse und Videozusammenfassungen wegen ihrer zeitraubenden und aufwendigen Art nicht etabliert.
  • Auf der anderen Seite können auch am Körper getragene Trägheits-Magnetsensoren auch zum Analysieren von menschlichen Aktivitäten verwendet werden. Sie können die Kinematik der menschlichen Bewegung durch Auswerten der Bewegung einer integrierten Masse erfassen. Die Bewegung wird durch Trägheitskräfte veranlasst. Alternativ können Sie die Ausrichtung der menschlichen Bewegung erfassen durch Auswerten einer Ausrichtung eines Magnetsensors in Bezug auf externe Magnetfelder. Solche Sensoren bieten Vorteile wie Miniaturisierung, sind leicht und preiswert. Sie können in Sportbekleidung integriert werden und sammeln Bewegungs- und Ausrichtungsdaten über eine lange Zeitperiode in ungezwungenen Umgebungen. Die Daten, die durch solche Sensoren gesammelt werden, können entweder in Echtzeit verarbeitet werden (z. B. Onlineverarbeitung) oder können für spätere Verarbeitung abgespeichert werden, wenn die eigentliche Aktivität beendet ist (Offlineverarbeitung).
  • Ein Beispielszenario für Echtzeitverarbeitung ist ein Athlet, der einen Körpersensornetzwerk trägt, welches Trägheit- und/oder Magnetsensoren beinhaltet, welche die Beschleunigungen und Winkelgeschwindigkeiten an verschiedenen Teilen des Körpers messen. Die gesammelten Daten werden zu einem Mobilgerät durch drahtlose Technologie wie Bluetooth®, BTLE (Bluetooth low energy), WLAN, ZigBee®, ANT®, Ant+ und dergleichen gesendet. Das Gerät kann durch Echtzeitverarbeitung die Daten auswerten und interpretieren. Parameter wie Anzahl der Schritte, Schrittgrößen, Laufgeschwindigkeit, Laufdistanz, Geschwindigkeit, Energieaufwand oder desgleichen können berechnet werden. Schließlich kann ein Leistungsfeedback visuell, durch Sprache, Vibration oder desgleichen an den Athleten gegeben werden. Echtzeitfähigkeit verlangt ein Feedback bis zu einem bestimmten Zeitstempel.
  • Für Offlineverarbeitung werden Daten von den Sensoren in einem Speicher abgespeichert. Zum Beispiel können die Sensoren durch dünne Drähte zu einem Datenlogger verbunden werden. Alternativ können die Sensoren die Daten zu dem Datenlogger drahtlos senden, zum Beispiel mittels der oben erwähnten drahtlosen Technologien. Nach der Aktivität wird der Datenlogger mit einem Computer verbunden, zum Beispiel durch USB oder jeder anderen passenden Verbindung, und die Daten werden zu dem Computer für Offlineverarbeitung übertragen. Die Daten werden dann auf dem Computer verarbeitet, um zum Beispiel Laufdistanz, Geschwindigkeit, Energieaufwand oder dergleichen zu erhalten.
  • Aktuelle Online- und Offlineverarbeitungsverfahren auf sensorbasierten Daten quantifizieren Aktivitäten, welche über eine lange Zeit dauern, wie Laufen. Somit bestimmen diese Verfahren keine kurzen, oft wiederkehrenden Ereignisse im Sport wie Schießen im Fußball, Tennisschläge, Korbleger im Basketball oder dergleichen. Ein Ereignis wird als ein Teil einer menschlichen Aktivität definiert, welcher eine kurze und beschränkte Dauer hat.
  • Zusammenfassend sind aktuell videobasierte Systeme, um eine menschliche Aktivität zu analysieren, insbesondere eine Sportaktivität, und um ein Videofeedback oder Zusammenfassung bereitzustellen, zeitraubend und sind dem professionellen Bereich vorbehalten. Auf der anderen Seite liefern aktuelle Verfahren, die Daten verarbeiten, welche von am Körper getragenen Sensoren gesammelt werden, eine zusammenfassende Statistik, die sich auf die gesamte Aktivität bezieht (z. B. ein Spiel), aber sich nicht auf bestimmte Ereignisse (z. B. Schüsse) konzentriert. Außerdem ist es nicht möglich eine Bewegungssequenz (z. B. einen Schuss) im Detail zu analysieren basierend auf Daten, welche von am Körper getragenen Sensoren eingesammelt werden.
  • US 2012123733 A1 bezieht sich zum Beispiel auf ein Verfahren zur Erkennung der menschlichen Bewegung, umfassend die Schritte von: Abfragen von aufeinanderfolgenden Messdaten zur Erkennung menschlicher Bewegung von einer Trägheitsmeßeinheit; Aufteilen der aufeinanderfolgenden Messdaten, um zumindest ein Muster einer Wellenform einer menschlichen Bewegung zu generieren, falls die aufeinanderfolgenden Messdaten zu einem speziellen Muster menschlicher Bewegung passen; Quantifizieren des zumindest einen Musters einer Wellenform einer menschlichen Bewegung, um zumindest eine Sequenz einer menschlichen Bewegung zu generieren und Bestimmen einer menschlichen Bewegung entsprechend zur Trägheitsmeßeinheit durch Vergleichen zumindest einer Sequenz menschlicher Bewegung und einer Vielzahl von Refe renzsequenzen menschlicher Bewegung.
  • US 20120167684 A1 offenbart eine selektive Bewegungserkennungsvorrichtung, die einen Trägheitssensor verwendet. Die selektive Bewegungserkennungsvorrichtung, die einen Trägheitssensor verwendet, beinhaltet: eine Sensoreinheit; eine Auswahleinheit, die ein Sensor-Auswahl-Signal ausgibt und eine Bewegungsdetektionseinheit, die eine Winkelgeschwindigkeitsensordaten- und Beschleunigungssensordatenausgabe von der Sensoreinheit empfängt.
  • US 8702516 B2 ist gerichtet auf die Erkennung von Ereignissen innerhalb von Bewegungsdaten, welche Bewegungserfassungsdaten beinhalten, aber nicht darauf begrenzt sind, welche von tragbaren drahtlosen Bewegungserfassungselemente wie visuelle Markierer und Sensoren, Radiofrequenz-Identifikationstags und Bewegungssensoren in Mobilgerätcomputersystemen erhalten werden oder welche basierend auf einer analysierten Bewegung berechnet werden, die mit dem gleichen Benutzer, einem anderen Benutzer, historischem Benutzer oder einer Gruppe von Benutzern verknüpft ist.
  • Gemäß US 2013/027 4635 A1 ist ein Sensormodul physisch an ein Objekt während einer sportlichen Aktivität, von einem Benutzer durchgeführt wird, gekoppelt. Ein Verfahren zur Überwachung einer sportlichen Aktivität zum Gebrauch mit den Sensormodulen beinhaltet die Schritte des Detektierens der Bewegung des Objektes, Aufnehmen der Bewegungsdaten, Identifizieren eines Abgleichs der sportlichen Bewegung von einer Vielzahl von Referenzbewegungen durch Vergleichen der Bewegungsdaten zu den Daten, die mit der Vielzahl von Referenzbewegungen verknüpft sind, und Bereitstellen einer Ausgabe an den Benutzer, welche die Identifizierung des Abgleichs der sportlichen Bewegung vermittelt.
  • US 2013/027 4904 A1 ist gerichtet auf ein Verfahren zum Überwachen eines Individuums, das eine Sportaktivität durchführt, beinhaltend Detektieren der Bewegung des Individuums zu einer ersten Zeit, Benutzen eines an das Individuum gekoppelten Sensormoduls, Bestimmen, dass die Bewegung des Individuums zu einer vorbestimmten Aktivierungsbewegung korrespondiert, Betreten eines Aktivierungsstatus des Sensormoduls in Antwort zu der Bestimmung, dass die Bewegung des Individuums zu einer vorbestimmten Aktivierungsbewegungen korrespondiert und Detektieren der Bewegung des Individuums zu einer zweiten Zeit, Verwenden des Sensormoduls in dem aktiven Zustand.
  • Es ist daher ein Ziel der vorliegenden Erfindung ein Verfahren bereitzustellen zum Bereitstellen einer Videozusammenfassung einer Aktivität einer Person, insbesondere einer Sportaktivität, welche einfach ist, schnell ist und die Videozusammenfassung unmittelbar nach der Aktivität, ohne zeitraubendes manuelles Schneiden von Videos, bereitstellt. Ein weiteres Ziel der vorliegenden Erfindung bezieht sich auf das Bereitstellen eines entsprechenden Systems.
  • Diese und andere Ziele, welche deutlich werden, wenn die folgende Beschreibung gelesen wird, werden durch das Verfahren nach Anspruch 1 und einem System nach Anspruch 28 gelöst.
  • III. Zusammenfassung der Erfindung
  • Gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis die Schritte: (a.) Aufnehmen eines Videos einer Aktivität einer Person; (b) Abspeichern einer Zeitreihe von Sensordaten, die von eine Sensorbaugruppe bezogen werden, umfassend zumindest einen Sensor, der an die Person gekoppelt ist während die Person die Aktivität durchführt; (c.) Synchronisieren des Videos mit den Sensordaten; (d.) Detektieren eines Ereignisses in der Zeitreihe; und (e.) Verknüpfen des Ereignisses mit zumindest einem zugehörigen Bild im Video, das das Ereignis zeigt.
  • Das Verfahren gemäß der Erfindung stellt eine Videozusammenfassung einer Aktivität einer Person bereit, insbesondere einer Sportaktivität, welche einfach ist, schnell ist und die Videozusammenfassung unmittelbar bereitstellt. Insbesondere müssen die Bilder des Videos, welche die gewünschten Ereignisse (z. B. Schüsse oder Tricks) von z. B. einem Fußballspieler zeigen, nicht manuell geschnitten werden, aber werden basierend auf der abgespeicherten Zeitreihe der Sensordaten identifiziert und ausgewählt. Zu diesem Zweck wird ein Ereignis (z. B. ein Schuss oder ein Trick) in der Zeitreihe detektiert und mit zumindest einem zugehörigen Bild im Video, welches das Ereignis zeigt, verknüpft. Um eine exakte Abbildung der Ereignisse, welche in der Zeitreihe detektiert wurden, zu den relevanten Bildern in dem Video zu ermöglichen, werden das Video und die Sensordaten synchronisiert.
  • Das Verfahren gemäß der Erfindung ermöglicht einen Highlightvideoclip (oder einen „Showvideoclip”) nach einer Aktivität, z. B. einem Fußballspiel, automatisch zu erhalten. „Highlightvideoclip” oder „Showvideoclip” werden im Zusammenhang der vorliegenden Erfindung als eine Sammlung von Videosequenzen, welche ein gemeinsames Merkmal teilen, verstanden. Ein gemeinsames Merkmal könnte zum Beispiel sein, dass alle Videosequenzen des Highlightvideoclips Schüsse und/oder Pässe und/oder Tricks usw. eines bestimmten Spielers zeigen. Ein anderer Highlightvideoclip könnte alle Defensivereignisse eines Torwarts zeigen. Außerdem könnte ein Highlightvideoclip spezielle Tricks, die ein Spieler gemacht hat, zeigen, zum Beispiel Ball hochhalten oder Around-the-world. Das Merkmal bezieht sich nicht notwendigerweise auf einen bestimmten Spieler. Es könnte zum Beispiel auch möglich sein, dass das Highlightvideoclip alle Schüsse über einer bestimmten Ballgeschwindigkeit (z. B. 100 km/h) unabhängig von dem Spieler zeigt, welche in einem Spiel gemacht worden sind.
  • Eine Sensorbaugruppe im Zusammenhang der vorliegenden Erfindung wird als so verstanden, dass sie zumindest eines Sensors enthält. Die Sensorbaugruppe kann weiter zusätzliche Komponenten zur Unterstützung des Sensors umfassen, wie z. B. ein Gehäuse, Netzteil, Analog-Digital Konverter, Prozessor oder Mikrokontroller, Speicher, usw. Die Sensorbaugruppe kann auch eine Vielzahl von Sensoren umfassen, wie z. B. einen Beschleunigungsmesser, ein Gyroskop, ein Magnetfeldsensor, usw. In diesem Fall können die Daten von den verschiedenen Sensoren in einer Zeitreihe kombiniert werden. Die Sensorbaugruppe kann auch einen Speicher zum Abspeichern der Zeitreihe der Sensordaten umfassen.
  • Das Verfahren kann weiter den Schritt umfassen des Verwendens des zumindest einen Bildes, um ein zweites Video zu generieren, welches vorgegebene Ereignisse der Aktivität der Person zeigt. Dadurch kann ein Athlet, z. B. ein Fußballspieler, ein Video erhalten, welches seine Aktionen während eines Spiels, in welche er interessiert ist, enthält. Zum Beispiel kann das Video all seine Schüsse und Passe zeigen. Ein weiteres Beispiel ist ein Video, welches ein Highlightvideo von vordefinierten Spielern zeigt, ein Highlightvideo für alle Schüsse während eines Spieles oder ein Highlightvideo für alle Tricks. Ein anderes Beispiel ist ein Video, das alle Schüsse des besten Freundes eines bestimmten Spielers zeigt.
  • Der Schritt des Synchronisierens des Videos mit den Sensordaten kann Detektieren eines vorgegebenen Synchronisationsereignisses in der Zeitreihe und in zumindest einem Bild des Videos umfassen. Zum Beispiel kann ein Fußballspieler eine bestimmte vorgegebene Bewegung durchführen, welche einfach in dem Video und in der Zeitreihe der Sensordaten detektiert werden kann. Die detektierten Datenpunkte in der Zeitreihe und die detektierten Bilder in dem Video können dann den gleichen Zeitstempel erhalten, um das Video mit der Zeitreihe zu synchronisieren. Dadurch wird eine einfache Synchronisation erreicht.
  • Der Schritt des Synchronisierens des Videos mit den Sensordaten kann alternativ oder zusätzlich den Schritt umfassen: Empfangen eines drahtlosen Signals von einem Sender (oder einem Sender-Empfänger, d. h. einem kombinierten Sender und Empfänger), welcher in der Sensorbaugruppe enthalten ist. Zum Beispiel kann die Sensorbaugruppe ein RFID, NFC, Bluetooth (BT), Bluetooth Low energy (BTLE) oder WLAN-Modul zum Senden solch eines Signals umfassen. Wenn zum Beispiel die Person einen Sportplatz betritt, empfängt ein entsprechendes Empfängermodul, welches an dem Sportplatz installiert ist, das drahtlose Signal des Senders, welcher in der Sensorbaugruppe enthalten ist, und synchronisiert die Kamera mit dem Sensor.
  • Das drahtlose Signal kann einen Zeitstempel einer Echtzeituhr (RTC), die in der Sensorbaugruppe enthalten ist, umfassen. Dieser Zeitstempel ermöglicht der Kamera mit der RTC der Sensorbaugruppe, z. B. durch Einstellen ihrer RTC zu dem empfangenen Zeitstempel, zu synchronisieren. Die Ausführungs- und/oder Verarbeitungszeit des Zeitstempels könnte berücksichtigt werden und zu dem Zeitstempel hinzugefügt werden, um eine genauere Synchronisation zu erhalten. Die Sensorbaugruppe speichert auch die aktuelle Zeit von zwei Entnahmepunkten des aufgenommenen Videos (zum Beispiel das erste und das zweite Bild) ab. Falls ein Ereignis in den Sensordaten detektiert wird, kann der zugehörige Zeitpunkt basierend auf den abgespeicherten Zeiten der beiden Entnahmepunkte bestimmt werden.
  • Alternativ wird ein drahtloses Signal mit einem Zeitstempel von einer RTC der Kamera oder von dem System, mit der die Kamera verbunden ist, zu der Sensorbaugruppe durch z. B. RFID, NFC, Bluetooth (BT), Bluetooth Low Energy (BTLE) oder WLAN gesendet. Dieses Signal ermöglicht der Sensorbaugruppe mit der Kamera zu synchronisieren, z. B. durch Einstellen ihrer RTC zu dem Zeitstempel. Die Ausführungs- und/oder Verarbeitungszeit des Zeitstempels könnte berücksichtigt werden und zu dem Zeitstempel hinzugefügt werden, um eine genauere Synchronisation zu erhalten.
  • Die Aktivität kann eine Sportaktivität sein. Videoanalysen und Zusammenfassungen sind besonders wünschenswert für Sportaktivitäten und können in Massen- und Freizeitsport verwendet werden. Das Verfahren gemäß der Erfindung ist insbesondere passend für Sportaktivitäten wie Fußball, Football, Rugby, Tennis oder Basketball.
  • Die Aktivität kann Fußball sein. Fußball ist besonders passend für Nachberichtvideozusammenfassungen, da es den Spielern ermöglicht Training-Feedback zu erhalten und ihre Leistung mit anderen Spielern zu vergleichen. Aufgrund seiner Vielfalt von verschiedenen Bewegungen (Schuss, gezielter Schuss, langer Pass, Kurzpass, Kontrolle, Dribbling, Eckball, Freistoß, usw.) ist Fußball eine Aktivität, welche sich sehr gut für die vorliegende Erfindung eignet.
  • Das Ereignis kann ein Schuss, ein Kurzpass, ein langer Pass, ein gezielter Schuss oder Ballkontrolle sein. Diese Arten von Ereignisse sind z. B. in Fußball die Relevantesten und stellen das nützlichste Feedback für den Spieler bereit.
  • Der zumindest eine Sensor kann ein Beschleunigungsmesser, ein Gyroskope oder ein Magnetfeldsensor sein. Diese Arten von Sensoren stellen die erforderlichen Informationen bzgl. der Bewegung und Ausrichtung des Körpers oder Teile des Körpers bereit. Daten, die durch diese Arten von Sensoren bereitgestellt werden, ermöglichen eine zuverlässige Detektion von Ereignissen. Insbesondere verbessert eine Kombination von verschiedenen Sensoren (z. B. Beschleunigungsmesser und Gyroskop) die Zuverlässigkeit des erfindungsgemäßen Verfahrens. Sensoren können durch Vereinigen ihrer Sensordaten kombiniert werden und um Ereignisse basierend auf den vereinigten Sensordaten zu detektieren.
  • Die Sensorbaugruppe kann zwei oder mehrere Sensoren umfassen und die Sensordaten von den zwei oder mehreren Sensoren können in der Zeitreihe kombiniert werden. Dadurch kann die Genauigkeit des Schrittes der Ereignisdetektion verbessert werden, da die Daten, auf welchen die Detektion basiert ist, präziser werden. Zum Beispiel könnten die Daten des Beschleunigungsmessers mit den Daten von einem Gyroskop kombiniert werden, um die Beschleunigung und die Ausrichtung der Sensorbaugruppe zu erhalten. Eine Zeitreihe basierend auf Beschleunigung und Ausrichtung ermöglicht eine zuverlässigere Detektion der Ereignisse als eine Zeitreihe, welche entweder auf Beschleunigung oder auf Ausrichtung basiert.
  • Die Sensorbaugruppe kann auch ein Satellitennavigationssystem-Modul umfassen, welches dazu fähig ist Daten entsprechend zu dem Standort der Person bereitzustellen. Die Satellitennavigationssystem-Daten können benutzt werden, um die Detektion des Ereignisses zu verbessern. Außerdem können die Satellitennavigationssystem-Daten benutzt werden, um die Aktivität der Person mit der zugehörigen Geoortung zu verknüpfen. Zum Beispiel kann ein Bild des Videos, das ein bestimmtes detektiertes Ereignis enthält, welches während der Aktivität der Person (z. B. ein Schuss eines Fußballspiels) ausgeführt wird, mit der zugehörigen Geoortung verknüpft werden. Daher könnte ein Video, welches bestimmte detektiert Ereignisse zeigt, mit der zugehörigen Geoortung verknüpft werden. Das Satellitennavigationssystem-Modul kann basieren auf GPS, Galileo, Glonass oder einer Kombination davon. Die Geoortung kann nur aktualisiert werden, falls der Benutzer eine Taste auf der Sensorbaugruppe drückt oder ein bestimmtes Ereignis in den Sensordaten detektiert wird, z. B. ein Schuss, Pass, Trick, usw. um Akkuleistung zu schonen.
  • Die Satellitennavigationssystem-Daten könnten auch benutzt werden, um eine Heatmap der Bewegungen der Person zu generieren. Eine Heatmap in diesem Kontext wird als eine Abbildung verstanden, die mit jedem Standort die Dauer verknüpft, welche die Person an diesem bestimmten Standort verbracht hat. Die Dauer wird dann auf ein Farbschema abgebildet. Zum Beispiel wird eine lange Dauer durch die Farbe Rot angegeben, wobei eine kurze Dauer durch die Farbe Blau angegeben wird. Dazwischenliegende Werte werden durch entsprechende zwischenliegende Farben (z. B. Farben von einem Spektrum der natürlichen Farben) angegeben. Die Heatmap kann verwendet werden, um zu analysieren wo die Personen tatsächlich die meiste Zeit, z. B. während eines Spiels, verbracht hat. Zu diesem Zweck könnte die Heatmap mit einem Bild oder einer schematischen Zeichnung des Spielfeldes (z. B. ein Fußballplatz, Tennisplatz, Basketballfeld, usw.) überlagert werden. Dadurch kann die Heatmap die bevorzugte Position der Person anzeigen. Der Schritt des Detektierens eines Ereignisses in der Zeitreihe kann umfassen: Vorverarbeiten der Zeitreihe, Segmentieren der Zeitreihe in eine Mehrzahl von Fenstern, Detektieren von Ausreißern, Extrahieren einer Vielzahl von Merkmalen von der Zeitreihe in jeder der Vielzahl von Fenstern und Abschätzen einer Ereignisklasse, die mit der Vielzahl von Fenstern verknüpft wird basierend auf der Vielzahl von Merkmalen, die von der Zeitreihe in jedem der Vielzahl von Fenstern extrahiert wurde.
  • Diese Sequenz von Schritten um ein Ereignis in der Zeitreihe zu detektieren, ist zuverlässig, erfordert wenig Rechenleistung, ist fähig für Echtzeitverarbeitung und kann für ein großes Spektrum von Aktivitäten, insbesondere Sportaktivitäten, angewendet werden. Diese Vorteile werden durch die besondere Kombination der Schritte erreicht. So können die Daten durch Vorverarbeiten der Zeitreihe mit geeigneten Filtern und Signalverarbeitung für die folgenden Verfahrensschritte optimal vorbereitet werden. Durch Segmentieren der Zeitreihe, die durch zumindest den einen Sensor abgefragt wurde, in eine Vielzahl von Fenstern, kann das Verarbeiten der Daten auf eine begrenzte Menge von Daten, welche durch die Fenstergröße gegeben sind, fokussiert werden. Durch Detektieren von Ausreißern können ungewünschte Fenster entfernt werden. Durch Extrahieren einer Vielzahl von Merkmalen von den Sensordaten in jedem der Fenster kann die Dimension des Problems reduziert werden. Falls zum Beispiel jedes Fenster ein paar hundert Datenpunkten umfasst, resultiert das Extrahieren von etwa einem Dutzend von relevanten Merkmalen in eine signifikante Reduktion der Rechnerkosten. Außerdem muss der nachfolgende Schritt des Abschätzen einer Ereignisklasse, die mit der Vielzahl von Fenstern verknüpft ist, nur auf dem extrahierten Merkmalen funktionieren, aber nicht auf dem vollen Satz der Datenpunkten in jedem Fenster.
  • Da wenig Rechenleistung erfordert wird, ist die Sequenz von Schritten besonders passend für Echtzeitverarbeitung von Sensordaten. Somit kann das Verfahren in die Sensorbaugruppe selbst implementiert werden, welche zum Beispiel an einen Schuh, Kleidungsstück, tragbares Gerät (ein Computer, der in Bekleidungsstücke eingearbeitet ist und Accessoires, welche angenehm auf dem Körper getragen werden können), usw. befestigt oder integriert werden, welche durch die Person getragen werden oder welche direkt an die Person gekoppelt werden, z. B. an ihre Haut. Zum Beispiel kann die Sensorbaugruppe auf dem Schuh platziert werden, in dem Schuh (z. B. Schuhoberteil, Mittelsohle, Außensohle), in die Einlegesohle (Innensohle, welche entfernt werden kann). Das Gerät könnte auch ein tragbares Gerät sein. Ein tragbares Gerät wird als ein elektronisches Gerät verstanden, welches durch eine Person getragen werden kann und welches an den Körper der Person entweder direkt oder indirekt befestigt wird. Ein tragbares Gerät könnte zum Beispiel eine Uhr, ein Armband, eine Brille, ein Hut, Kleidung, Bekleidung, ein Gurt, der an eine Extremität getragen wird, usw. sein.
  • Die Sensorbaugruppe könnte an dem unteren Bein, z. B. Schienbeinbereich oder Knöchel, getragen werden. Abhängig von der Art der Sportarten könnte die Sensorbaugruppe auch in der Nähe des Handgelenkes (zum Beispiel für Sportarten wie Tennis oder Basketball) getragen werden. Die Sensorbaugruppe kann auch in Sportausrüstung integriert werden, welche der Athlet verwendet zum Durchführen der interessierenden Aktivitäten, z. B. in einem Tennisschläger, Fußball, Basketball oder Skateboard.
  • Die Sensorbaugruppe kann eine zentrale Verarbeitungseinheit umfassen, welche dazu fähig ist die genannte Sequenz der Schritte durchführen. Zu diesem Zweck könnte die Verarbeitungseinheit entsprechende computerlesbare Anweisungen ausführen.
  • Der Schritt des Vorverarbeitens kann Tiefpassfiltern und Downsampling umfassen. Tiefpassfiltern wird zur Rauschminderung angewendet. Downsampling reduziert die zu verarbeitende Datenmenge und erlaubt eine effizientere Implementierung.
  • Ein Vorverarbeitungsschritt kann die Berechnung des Signalgrößenvektors (SMV) der Beschleunigungsdaten beinhalten. Ein Grenzwertverfahren kann für den SMV angewendet werden, um energiereiche Regionen im Signal zu bestimmen. Die Zeitreihe kann in eine Vielzahl von Fenstern mit einer festen Größe, z. B. um die zuvor genannten energiereichen Regionen, segmentiert werden. Zum Beispiel können die Fenster bei Spitzenwerten der Zeitreihe zentriert werden. Diese Fenster mit einer festen Größe können einfach implementiert werden und erfordern wenig Rechenleistung. Alternativ kann die Fenstergröße an die Form und/oder die Länge des Ereignisses angepasst werden. Da die Länge der Ereignisse unterschiedlich sein kann, z. B. Kontrolle gegenüber gezielten Schuss, ist das Finden einer optimalen Fenstergröße herausfordernd. Daher kann die Fenstergröße an die Form und/oder die Länge des Ereignisses angepasst werden. Die Fenster mit einem Spitzenwert im Zentrum unterhalb eines Grenzwertes können entfernt werden. Dadurch kann das Verfahren sich auf diese Fenster fokussieren, welche zuversichtliche Kandidaten zum Enthalten eines relevanten Ereignisses sind.
  • Die Zeitreihe kann auch in eine Vielzahl von Fenstern segmentiert werden, die Abgleichen mit einer Vorlage eines Ereignisses verwenden, welches durch Verwendung bekannter Signale von vorheraufgenommenen Ereignissen definiert ist. Das Abgleichen kann basieren auf Korrelation, Matchedfiltering, Dynamic Time Warping oder Longest Common Subsequence (LCSS) und seine Schiebefenstervariante, Warping LCSS).
  • Die segmentierten Fenster können auch ungewollte Bewegungen, z. B. Laufen, Gehen und Tackling, beinhalten. Deshalb kann eine Ausreißer-Detektionsprozedur angewendet werden, z. B. durch regelbasierte Systeme oder One-class Support Vector Machines. Segmentierte Fenster, welche die Ausreißer-Detektionsprozedur passieren, werden weiterverarbeitet.
  • Die Ereignisklasse kann zumindest das zu bestimmende Ereignis umfassen und eine Ausreißerklasse, welche mit den Sensordaten, die nicht zu einem speziellen Ereignis gehören, verknüpft wird. Dadurch kann eine Unterscheidung zwischen jenen Ereignissen, die interessant sind und alle anderen Ereignissen gemacht werden. Die Merkmale können zumindest basieren auf einer zeitlichen, raum-zeitlicher, spektraler oder Ensemblestatistik durch Anwenden von zum Beispiel Waveletanalyse, schneller Fourier Transformation (FFT) oder Hauptkomponentenanalyse (PCA). Die genannten Statistiken und Transformationen sind passend, um Merkmale von der Zeitreihe in jedem der Fenster zu erhalten, welche so nicht redundant wie möglich sind und eine zuverlässige Bestimmung der Ereignisse ermöglichen.
  • Die Merkmale können basieren auf einem von einfachen Mittelwert, normalisierte Signalenergie, Bewegungsintensität, Signalgrößenfläche, Korrelation zwischen Achsen, Maximalwert in einem Fenster, Minimalwert in einem Fenster, maximaler Detailkoeffizient von einer Wavelet-Transformation, Korrelation mit einer Vorlage, Projektion auf eine Hauptkomponente von einer Vorlage oder Entfernung zu einem Eigenraum von einer Vorlage, spektraler Schwerpunkt, Bandbreite, dominierender Frequenz. Für diese Arten von Merkmalen wurden festgestellt, dass sie eine zuverlässige Bestimmung der Ereignisse, die mit menschlicher Bewegung verknüpft sind, zu ermöglichen.
  • Das Verfahren kann weiter den Schritt des Reduzierens der Anzahl von Merkmalen durch Merkmal-Auswahl-Prozeduren umfassen. Reduzieren der Anzahl von Merkmalen durch Fokussierung auf die relevanten Merkmale reduziert Rechenkomplexität. Zum Beispiel können die Merkmale basierend auf sequenzieller Vorwärtsselektion ausgewählt werden.
  • Die Ereignisklasse kann abgeschätzt werden basierend auf einem Bayes-Klassifikator, wie ein naiver Bayes-Klassifikator, einem maximalen Randklassifikator wie etwa Support Vector Machine, einem Ensemble-Lern Algorithmus wie etwa AdaBoost-Klassifikator und Random-Forest-Klassifikator, ein Nächster-Nachbar-Klassifikator, einem Neuronalen-Netzwerk-Klassifikator, einem regelbasierten Klassifikator oder einen baumbasierten Klassifikator. Für diese Verfahren wurde festgestellt, dass sie eine zuverlässige Klassifikation der Ereignisse, welche mit menschlicher Aktivität verknüpft wird, bereitzustellen.
  • Die Ereignisklasse kann auch durch Vereinigung der Entscheidungen der oben beschriebenen Klassifikatoren (Entscheidungsebene Vereinigung) bestimmt werden, um eine zuverlässigere Klassifikation zu erhalten.
  • Das Verfahren kann weiter den Schritt des Detektierens des Ereignisses durch Abgleichen einer Vorlage, die Korrelation, Matchedfiltering, Dynamic Time Warping oder Longest Common Subsequence (LCSS) und seine Schiebefenstervariante, Warping LCSS, verwendet.
  • Abschätzen der Ereignisklasse kann umfassen: Unterscheiden zwischen zusammengelegten Ereignisgruppen, die Ereignisse enthalten, welche in ihrer Form ähneln und Unterscheiden zwischen einzelnen Ereignissen, die zu einer spezifischen Gruppe gehören. Somit wird die Klassifikation von unterschiedlichen Ereignissen in einer hierarchischen Art durchgeführt. Ereignisse können in Falle mit ähnlicher Signalform gruppiert werden, z. B. Kontrolle und Kurzpass oder langer Pass und Schuss. Unterschiedliche Klassifikationssysteme können verwendet werden, um zuerst Gruppen von Ereignissen zu klassifizieren und dann weiter zwischen einzelnen Ereignisklassen einen Unterschied zu machen.
  • Der Schritt des Abschätzens kann basieren auf einem Klassifikator, welcher basierend auf überwachtem Lernen trainiert worden ist. Überwachtes Lernen ermöglicht das Anpassen des Klassifikators an bestimmte Ereignisklassen (z. B. Schüsse, gezielte Schüsse, Passe, usw.) und/oder zu bestimmten Typen von Athleten (z. B. Profi, Amateur, Freizeit) oder sogar an eine spezielle Person.
  • Weitere Verbesserung der Systemleistung kann durch Onlinelernen erreicht werden. Onlinelernen ermöglicht dem System sich an den Benutzer ohne menschliche Interaktion anzupassen. Das System wird mit zusätzlichen detektieren Ereignissen, z. B. in einem Spiel, umgeschult.
  • Das Verfahren kann in Echtzeit ausgeführt werden. Echtzeitanalyse kann verwendet werden, um bestimmte Ereignisse vorherzusagen und um bestimmte Maßnahmen zu initiieren. Zum Beispiel kann Sportausrüstung für einen Schuss oder Schlag vor dem Eintreffen des z. B. Balles angepasst werden. Echtzeitanalyse ist auch wichtig, um Echtzeit-Feedback für die Person bereitzustellen. Zum Beispiel kann die Person sofort über übermäßiger Beanspruchung oder andere ungesunde Bedingungen gewarnt werden.
  • Die Sensorbaugruppe kann an einen Gurt angebracht sein, um an eine Extremität des Körpers der Person getragen zu werden. Solch eine Anordnung hat den Vorteil, dass die Bewegungen der Extremitäten unmittelbar gemessen werden können und bestimmte Ereignisse, wie etwa Schüsse im Fußball, zuverlässig bestimmt werden können. Außerdem ist das Sammeln von Sensordaten unabhängig des Schuhwerkes und anderer Ausrüstung, z. B. ein Fußballspieler kann egal welchen Schuh und/oder Schienbeinschoner, welche er bevorzugt, verwenden. Der Gurt kann aus einem Textilmaterial, Leder, Kunstleder, Kunststoff oder dergleichen gemacht sein. Ein Gurt wird als jede schleifenförmige Anordnung verstanden, welche fähig ist an eine Extremität des Körpers der Person getragen zu werden, z. B. Arm und/oder Bein. Ein anderes Beispiel sind am Handgelenk getragene Wearables für Sportarten wie etwa Tennis (für Vorhand-/Rückhanddetektion), Golf (für voller Schwung, halber Schwung, Puttdetektion) sowie für Schlägersportarten.
  • Die Sensorbaugruppe kann permanent an den Kurt befestigt oder integriert werden, z. B. durch Kleben, Schweißen oder Vernähen. Alternativ könnte die Sensorbaugruppe abnehmbar an den Kurt, z. B. durch einen Klettverschluss, Druckknopf oder ähnlich, befestigt sein.
  • Außerdem kann die Sensorbaugruppe befestigt oder integriert werden in einen Schuh oder Kleidungsstück, welches durch die Person getragen wird, oder welches direkt an die Person gekoppelt ist, z. B. an ihre Haut. Zum Beispiel kann der Sensor auf einen Schuh, in den Schuh (z. B. Schuhoberteil, Mittelsohle, Außensohle) und in der Einlegesohle (Innensohle, welche entfernt werden kann) platziert werden. Der Schuh könnte einen Hohlraum umfassen in welcher die Sensor Baugruppe platziert wird. Die Sensorbaugruppe könnte auch befestigt oder integriert werden in ein tragbares Gerät wie eine Uhr, Armband oder Uhr ähnliches Gerät, welches die aktuelle Zeit zeigen kann. Die Sensorbaugruppe könnte am unteren Bein, z. B. Schienbeinbereich oder Knöchel, getragen werden.
  • Die Sensorbaugruppe kann auch in Sportausrüstung integriert werden, welche der Athlet zum Durchführen der interessierenden Aktivitäten, z. B. in einem Tennisschläger, Fußball, Basketball oder Skateboard, verwendet.
  • Die Sensordaten von unterschiedlichen Geräten von unterschiedlichen Körperpositionen können vereinigt werden, um die Genauigkeit des Systems zu erhöhen. Zum Beispiel kann ein Fußballspieler mehrere Sensoren haben, die an seinem Bein angeordnet sind (z. B. einen am Fuß, einen am Schienbein und einen am Oberschenkel) und ein Tennis- oder Golfspieler kann mehrere Sensoren haben, die an seinem Arm (z. B. einen am Handgelenk und einen am Oberarm) und optional zusätzlich an seinem Bein angeordnet sind. Die Sensordaten dieser unterschiedlichen Sensoren werden dann vereinigt, d. h. das Ereignis wird detektiert basierend auf kombinierten Sensordaten, um eine bessere Abschätzung der Art von Bewegungen, die durch den Spieler ausgeführt werden, zu erhalten.
  • Feedback kann an die Person basierend auf dem abgeschätzten Ereignis bereitgestellt werden. Somit kann die Person über z. B. ihre Leistung während dem Training oder eines Spiels informiert werden. Ein solches Feedback kann in Echtzeit bereitgestellt werden. Zum Beispiel könnte Feedback auf einer Anzeige eines Smartphones (z. B. Anzeige der Laufdistanz, Anzahl der Schüsse, usw.), auf einer Anzeige einer Uhr, auf einer Anzeige der Sensorbaugruppe oder einer externen Anzeige, welche z. B. auf einem Sportplatz angeordnet ist, bereitgestellt werden.
  • Feedback kann auch nicht in Echtzeit bereitgestellt werden. Zum Beispiel könnte Feedback nach einer Aktivität (z. B. nach einem Spiel oder Training) z. B. in einem Umkleideraum (auf einer Anzeige, welche an der Wand befestigt ist oder auf einer Anzeige eines elektronischen Geräts einer Person wie etwa einem Smartphone, Tablet PC, usw.) oder Zuhause bereitgestellt werden. Zu diesem Zweck könnten die Feedbackdaten in einer Datenbank oder Cloud-Speicher abgespeichert werden.
  • Zusammenfassende Statistik kann basierend auf dem detektierten Ereignis bereitgestellt werden. Dadurch können Statistiken für spezielle Klassen von Ereignissen angepasst werden. Zum Beispiel können in einer Fußballanwendung Statistik über die Anzahl und Intensität der gezielten Schüsse, Schussgeschwindigkeit, Zeit am Ball, Anzahl der Langpässe und Kurzpässe, Dauer der Dribblings, usw. bereitgestellt werden. Zusammenfassende Statistik für Basketball kann umfassen: die Anzahl von Korblegern, Pässen und Dribblings, die Zeit in Ballbesitz, Intensität der Sprünge, usw. Zusammenfassende Statistik für Tennis kann umfassen: die Anzahl von Schlägen, ab geschätzte Ballgeschwindigkeiten, der Prozentsatz von Vorhand- und Rückhandschlägen, die Anzahl und Intensität von Aufschlägen, usw. Solche Statistik kann bereitgestellt werden, falls der Tennisspieler mit einer Sensorbaugruppe in der Nähe seiner Hand ausgerüstet wird. Falls der Tennisspieler zusätzlich mit einer Sensorbaugruppe in der Nähe von einem seiner beiden Füße ausgestattet wird, kann auch Laufstatistik wie etwa die Gesamtentfernung, Anzahl der Sprints (z. B. zum Netz), usw. bereitgestellt werden.
  • Die zusammenfassende Statistik kann mit einem Video, welches detektierte Ereignisse eines bestimmten Spielers (z. B. all seine gezielten Schüsse) zeigt, kombiniert werden. Dadurch wird eine kombinierte Zusammenfassung oder Feedback erhalten.
  • Zusammenfassende Statistik basierend auf dem detektierten Ereignis (und optional ein generiertes Video von bestimmten Ereignissen) könnte zu anderen Personen, wie einem Trainer, Zuschauer oder anderen Personen, die in diese Statistik interessiert sind, übertragen werden. Die Übertragung könnte über das Internet durch einen Livestream sein. Die Übertragung könnte basieren auf Medien wie etwa Wifi, WLAN, BT, BTLE, NFC, RFID, USB, Ethernet, Thunderbolt oder dergleichen. Basierend auf der zusammenfassenden Statistik (und optional dem generierten Video von bestimmten Ereignissen) könnte der Spieler Feedback von z. B. einem Trainer oder einem Talentsucher erhalten.
  • Außerdem könnte basierend auf zusammenfassender Statistik (und optional generiertem Video von bestimmten Ereignissen) ein spezieller Bereich in einem Geschäft oder einem Stadion entsperrt werden, d. h. abhängig davon wie gut der Spieler gespielt hat. Falls zum Beispiel der Spieler eine bestimmte Anzahl von Ballkontakten während eines Spiels erreichte, wird er mit Zugang zu einem bestimmten Bereich in einem Geschäft oder Stadion ausgezeichnet.
  • Die Sensordaten können auch verwendet werden, um bereitzustellen einen Trickzähler (d. h. die Anzahl von Tricks wie Übersteiger, Around-the-worlds, usw., die gespielt wurden), einem Fußballaktivitätsüberwacher, einem Ball-hochhalten-Zähler (d. h. Ballkontakte zählen während der Ball jongliert wird), „Around the world” (d. h. den Ball mit einem Bein hochhalten und versuchen das andere Bein um den Ball herum zu bewegen bevor er den Boden berührt) oder einen eins-gegen-eins Zähler (d. h. Zählen wie oft der Spieler, der in eine eins-gegen-eins Situation auf dem Platz kommt, zum Beispiel versucht den Gegenspieler zu umgehen und/oder auszutricksen). Zum Beispiel könnten die Sensordaten analysiert werden, um die Anzahl der Ballkontakte zu bestimmen, die ein Spieler hatte ohne dass der Ball den Boden berührt (Ball hochhalten) zu bestimmen. Die oben genannte Statistik könnte basierend auf entsprechenden detektierten Ereignissen bestimmt werden, d. h. ein Ereignis könnte der Kontakt eines Fußes mit dem Ball (zum Ball Hochhalten) oder einer Kreisbewegung (für Around-the-world) sein. Falls ein Ereignis detektiert wird, welches mit einem Schuss verknüpft ist, kann die Ballgeschwindigkeit basierend auf den Sensordaten abgeschätzt werden. Somit kann die Person Feedback über ihre Schussleistung erhalten. Die Ballgeschwindigkeit kann durch Vorverarbeiten, Merkmalextrahierung und Regression abgeschätzt werden. Die Sensordaten können segmentiert werden und Merkmale können für jede segmentierte Regionen berechnet werden. Unterschiedliche Regressionstechniken können angewendet werden, welche die berechneten Merkmale als Eingabe verwenden wie es noch genauer weiter unten beschrieben wird.
  • Das Verfahren kann weiter Erhalten von Feedback bezüglich des detektierten Ereignisses umfassen. Zum Beispiel kann das Ereignis ein bestimmter Fußballtrick sein, welcher durch einen Spieler durchgeführt wird. Die Sensordaten, welche gesammelt werden während der Trick durchgeführt wurde, können analysiert werden um zu bestimmen wie gut der Trick durchgeführt wurde. Zum Beispiel kann der Spieler ein Smartphone, Tablet-PC, Notebook, Smartwatch, usw. verwenden, welches den zu durchführenden Trick zeigt. Der Spieler führt den Trick durch und bekommt ein Feedback wie genau seine Bewegungen waren. Das zu dem Trick zugehörige Ereignis kann bestimmt werden wie zuvor beschrieben.
  • Ein System zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis kann angepasst werden, um ein oben beschriebenes Verfahren durchzuführen.
  • Zusätzlich zu der automatischen Detektion von Ereignissen/Aktionen kann die Person wichtige Szenen selbst bestimmen. Deshalb muss eine Bewegung definiert werden, z. B. durch Tippen auf die Sensorbaugruppe. Zu diesem Zweck kann die Sensorbaugruppe eine Taste oder Schalter oder einen berührungsempfindlichen Bereich haben. Um auf die gewünschte Bewegung an die Sensorbaugruppe hinzuweisen, kann der Benutzer angehalten sein ein doppeltes oder dreifaches Tippen durchzuführen. Alternativ kann die Sensorbaugruppe in Kommunikation mit einem mobilen Gerät sein (z. B. einem Smartphone, Tablet PC, usw.) und die Person kann auf die gewünschte Bewegung an die Sensorbaugruppe durch das mobile Gerät hinweisen. Zum Beispiel kann das mobile Gerät Tasten bezeichnend „go” und „stop” auf seiner Anzeige zeigen, welche der Benutzer drücken kann, um auf den Beginn und das Ende eines bestimmten Ereignisses hinzuweisen. Es ist auch möglich, dass eine bestimmte Kraft auf einen berührungsempfindlichen Bereich ausgeübt werden muss oder dass eine bestimmte Geste darauf durchgeführt wird.
  • Die Sensordaten der speziellen Bewegung können verwendet werden, um ein Klassifikationssystem zu trainieren, welches z. B. Hidden-Markov-Model oder One-class Support Vector Machine beinhaltet. Das trainierte System kann in die oben beschriebene Algorithmuslinie integriert werden.
  • Ein weiterer Aspekt der vorliegenden Erfindung bezieht sich auf einen System zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis, umfassend: (a.) Zumindest eine Kamera zum Aufnehmen eines Videos einer Aktivität einer Person; (b.) eine Sensorbaugruppe umfassend zumindest einen Sensor, welcher fähig ist an eine Person gekoppelt zu sein während die Person die Aktivität ausführt; (c.) Speicher zum Abspeichern einer Zeitreihe von Sensordaten, die von zumindest dem einen Sensor erhalten wurden; und (d.) einen Prozessor zum Synchronisieren des Videos mit den Sensordaten, zum Detektieren eines Ereignisses in der Zeitreihen und zum Verknüpfen des Ereignisses mit zumindest einem zugehörigen Bild im Video, das das Ereignis zeigt.
  • Die Sensorbaugruppe kann angepasst werden, um an den Körper der Person gekoppelt zu sein. Das ermöglicht eine direkte und unmittelbare Übertragung von Kräften vom Körper zum Sensor, welche die Genauigkeit der gemessenen Daten verbessert.
  • Die Sensorbaugruppe kann angepasst werden, um an einen Schuh befestigt zu sein. Solch eine Anordnung hat den Vorteil, dass die Bewegungen des Schuhs unmittelbar gemessen werden können und bestimmte Ereignisse, wie etwa Schüsse, zuverlässig bestimmt werden können. Der Schuh kann zum Beispiel ein Fußball-, Rugby- oder Footballschuh sein.
  • Die Sensorbaugruppe kann angepasst werden, um an einen Schienbeinschoner befestigt zu sein. Mit solch einer Anordnung können bestimmte Ereignisse, wie etwa Schüsse, zuverlässig bestimmt werden, während das Gerät unabhängig von den durch die Person getragenen Schuhen ist.
  • Außerdem kann die Sensorbaugruppe befestigt oder integriert werden in einem Schuh oder Kleidungsstück, welches durch die Person getragen wird, oder welches direkt an die Person gekoppelt ist, z. B. an ihre Haut. Zum Beispiel kann der Sensor auf einen Schuh, in den Schuh (z. B. Schuhoberteil, Mittelsohle, Außensohle) und in der Einlegesohle (Innensohle, welche entfernt werden kann) platziert werden. Der Schuh könnte einen Hohlraum umfassen in welcher die Sensorbaugruppe platziert wird. Die Sensorbaugruppe könnte auch befestigt oder integriert werden in ein tragbares Gerät wie eine Uhr, ein Armband oder ein Uhr ähnliches Gerät, welches die aktuelle Zeit zeigen kann. Die Sensorbaugruppe könnte am unteren Bein, z. B. Schienbeinbereich oder Knöchel, getragen werden.
  • Die Sensorbaugruppe kann auch in Sportausrüstung integriert werden, welche der Athlet zum Durchführen der interessierenden Aktivitäten, z. B. in einem Tennisschläger, Fußball, Basketball oder Skateboard, verwendet.
  • Das System kann weiter ein tragbares Gerät umfassen, welches den Sensor und den Speicher umfasst. Tragbare Geräte ermöglichen ein kultiges Aussehen und können auch in einem städtischen Kontext getragen werden.
  • Das System kann weiter ein Funkmodul umfassen, welches mit dem Sensor verknüpft ist. Das Funkmodul kann ein RFID-, NFC-, BT-, BTLE, Wifi- oder WLAN-Modul sein. Zum Beispiel könnten die Sensorbaugruppe, der Speicher und das Funkmodul befestigt oder integriert sein in ein tragbares Gerät und das Funkmodul könnte verwendet werden, um andere drahtlose Geräte in der Nähe aufzuspüren. Außerdem könnten sportrelevante Bereiche, wie etwa Fußballplätze oder Stadien, mit drahtlosen Bakensignalen oder RFID/NFC-Tags ausgerüstet werden und durch das tragbare Gerät erkannt werden. Als Antwort könnte das drahtlose Gerät eine Aktion, wie etwa Synchronisieren des Sensors mit einer Kamera (z. B. welche auf dem Fußballplatz oder in dem Stadion installiert ist), durchführen.
  • Synchronisieren der Sensordaten mit dem Video kann Empfangen eines Funksignals vom Funkmodul umfassen. Wenn zum Beispiel die Person, welche das tragbare Gerät trägt, einen Sportplatz betritt, empfängt ein zugehöriges Funkempfänger-Modul, welches auf dem Sportplatz installiert ist, das Funksignal vom Funkmodul, welches im tragbaren Gerät enthalten ist, und synchronisiert die Kamera mit dem Sensor. Das drahtlose Signal kann ein Zeitstempel einer Echtzeituhr (RTC), die in der Sensorbaugruppe oder im tragbaren Gerät enthalten ist, umfassen. Dieser Zeitstempel ermöglicht der Kamera mit der RTC der Sensorbaugruppe oder des tragbaren Geräts, z. B. durch Einstellen ihrer RTC zu dem empfangenen Zeitstempel, zu synchronisieren. Die Ausführungs- und/oder Verarbeitungszeit des Zeitstempels könnte berücksichtigt werden und zu dem Zeitstempel hinzugefügt werden, um eine genauere Synchronisation zu erhalten. Die Sensorbaugruppe oder das tragbare Gerät speichern auch die aktuelle Zeit von zwei Entnahmepunkten des aufgenommenen Videos (zum Beispiel das erste und letzte Bild) ab. Falls ein Ereignis in den Sensordaten detektiert wird, kann der zugehörige Zeitpunkt basierend auf den abgespeicherten Zeiten der beiden Abtastpunkten bestimmt werden.
  • Alternativ kann ein drahtloses Signal mit einem Zeitstempel einer RTC der Kamera oder des Systems mit welchem die Kamera verbunden ist zu dem Drahtlosgerät gesendet werden durch z. B. RFID, NFC, Bluetooth (BT), Bluetooth Low Energy (BTLE) oder WLAN. Dieses Signal ermöglicht der Sensorbaugruppe oder dem tragbaren Gerät sich mit der Kamera zu synchronisieren, z. B. durch Einstellen ihrer RTC zu dem Zeitstempel. Die Ausführungs- und/oder Verarbeitungszeit des Zeitstempels könnte berücksichtigt werden und zu dem Zeitstempel hinzugefügt werden, um eine genauere Synchronisation zu erhalten.
  • Die Sensorbaugruppe kann einen Speicher umfassen. Zum Beispiel können die Sensorbaugruppe und der Speicher in einem gemeinsamen Gehäuse beinhaltet sein. Somit wird ein kompaktes Gerät erhalten, welches einfach an z. B. Kleidung, einem Kurt, einem Schuh, usw. befestigt werden kann.
  • Ein noch weiterer Aspekt der vorliegenden Erfindung bezieht sich auf ein Computerprogramm umfassend Anweisungen, welche, wenn ausgeführt, einen Computer dazu veranlassen ein wie oben beschriebenes Verfahren auszuführen.
  • IV. Beschreibung der Figuren
  • Im Folgenden werden beispielhafte Ausführungsformen der Erfindung beschrieben in Bezug zu den Figuren, in welchen:
  • 1 eine schematische Abbildung einer beispielhaften Ausführungsform der vorliegenden Erfindung, zeigt;
  • 2 eine schematische Abbildung der Verwendung von mehreren Kameras im Kontext der vorliegenden Erfindung, zeigt;
  • 3 eine schematische Abbildung einer Sensorbaugruppe gemäß der vorliegenden Erfindung, zeigt;
  • 4 ein Beispiel einer Sensorbaugruppe, welche an einen Gurt befestigt ist, zeigt;
  • 5 verdeutlicht wie ein Video, welches gemäß der Erfindung generiert wurde, an Verbrauchergeräte verteilt wird;
  • 6 verdeutlicht wie ein Video, welches gemäß der Erfindung generiert wurde, einem Benutzer vorliegen kann;
  • 7 eine beispielhafte Präsentation eines Videos auf einem Mobilgerät, welches gemäß der Erfindung generiert wurde, zeigt;
  • 8 eine beispielhafte Sequenz von Schritten um ein Ereignis von einer Zeitreihe von Sensordaten gemäß der vorliegenden Erfindung zu detektieren, zeigt;
  • 9 einen Plot einer beispielhaften Zeitreihe, welche durch einen 3-Achsen-Beschleunigungsmesser erhalten wurde, zeigt;
  • 10 einen Plot des Signalgrößenvektors, welcher von dem in 9 gezeigten 3-Achsen-Beschleunigungsmesser berechnet wurde, zeigt;
  • 11 zeigt eine Abbildung einer Support Vector Machine; und
  • 12 eine beispielhafte Zwei-Schritte-Ereignisklassifikation, welche Ereignisgruppen verwendet zeigt.
  • V. Beschreibung von bevorzugten Ausführungsformen
  • Ein beispielhaftes Verfahren und System gemäß der Erfindung wird in Bezug der schematischen Abbildung von 1 erklärt. Das Verfahren gemäß der Erfindung umfasst den Schritt (a.) Aufnehmen eines Videos einer Aktivität einer Person. Wie in 1 gezeigt, kann das Video mit einer Kamera 11 aufgenommen werden. Die Kamera 11 kann die Kamera eines Smartphones sein, eines Tablet-PCs, einer Webcam, einer Videokamera, eine Actionkamera oder einer Kamera, welche zum Aufnehmen von Sportaktivitäten geeignet ist. Im Allgemeinen ist jede Kamera passend, welche eine Sequenz von Bildern aufnehmen kann. Die Kamera kann z. B. an einem Stadion oder Sportplatz gefestigt werden. Alternativ kann die Kamera 11 Teil einer temporären Installation sein oder kann sogar durch eine Person getragen werden. In jedem Fall ist die Kamera 11 so angeordnet, dass sie die Aktivität der Person aufnimmt.
  • Anstatt einer einzelnen Kamera 11 können mehrere Kameras verwendet werden, welche die Szene von verschiedenen Winkeln erfassen wie in 2 verdeutlicht. In diesem Beispiel sind fünf Kameras 11a, 11b, 11c, 11d und 11e um ein Spielfeld angeordnet, welches in diesem Beispiel ein Fußballfeld ist, aber auch im Allgemeinen jeder Platz sein könnte, um eine Sportaktivität durchzuführen, z. B. ein Basketballfeld, ein Tennisplatz oder sogar eine Straße. Im Beispiel von 2 werden die Kameras 11a und 11e hinter den Toren positioniert. Deshalb sind diese Kameras speziell passend um Schüsse auf das Tor und Torwartaktionen zu erfassen. Die Kameras 11b und 11d werden in der Nähe der Eckfahnen positioniert und liefern eine Schrägansicht des Spielfeldes. Außerdem können sie sehr gut Eckbälle erfassen. Kamera 11c wird auf der Projektion der Mittellinie positioniert. Deshalb erfasst diese Kamera Aktivitäten in der Mitte des Spielfeldes so wie etwa den Anstoß.
  • Jede der Kameras erfasst ihren eigenen Videostream, d. h. im Beispiel von 2 werden fünf Videostreams generiert. Die Videostreams können entweder bei der entsprechenden Kamera abgespeichert oder können zu einer zentralen Abspeichereinheit für spätere Verarbeitung wie sie weiter unten beschrieben wird übertragen werden. Übertragen der Videostreams kann entweder durch eine Kabelverbindung (z. B. einem Videokabel) oder drahtlos (z. B. durch WLAN, Bluetooth, usw.) sein.
  • Im Allgemeinen können die Anzahl und Position der Kameras unterschiedlich von dem Beispiel wie in 2 gezeigt sein und können von der Sportaktivität abhängen. Zum Beispiel kann ein Golfplatz mit einer viel höheren Anzahl von Kameras ausgestattet sein. In jedem Fall helfen mehrere Kameras die Szene von verschiedenen Winkeln zu erfassen und können auch Aktivitäten erfassen, welche durch Spieler im Vordergrund versteckt sein könnten, falls nur eine einzelne Kamera verwendet werden würde. Trotzdem kann die vorliegende Erfindung mit nur einer einzigen Kamera ausgeübt werden.
  • Die Aktivität kann eine Sportaktivität sein wie etwa ein Fußball-, Basketball- oder Tennisspiel. Im Allgemeinen ist die vorliegende Erfindung für jede Form von Sport anwendbar. Außerdem kann die vorliegende Erfindung in Trainingssituationen, in einem Spiel, Freizeitaktivitäten oder dergleichen verwendet werden.
  • Das Verfahren umfasst weiter den Schritt (b.) des Abspeicherns einer Zeitreihe von Sensordaten, die von einer Sensorbaugruppe 12 bezogen werden, umfassend zumindest einen Sensor, der an die Person gekoppelt ist während die Person die Aktivität ausführt. Wie 1 gezeigt, trägt die Person eine Sensorbaugruppe 12 an ihrem Knöchel. Die Sensorbaugruppe kann umfassen einen einzelnen Sensor wie etwa einen Beschleunigungsmesser, ein Gyroskop oder einen Magnetfeldsensor, oder kann mehrere Sensoren umfassen, d. h. eine Kombination der vorhergenannten Sensoren. Im Allgemeinen ist der zumindest eine Sensor fähig die Bewegung der Person zu messen, d. h. ist sensitiv für Veränderungen des Bewegungszustandes des Körpers, oder Teile des Körpers der Person. Diese Veränderungen können Veränderungen in der Bewegung sein, d. h. eine Beschleunigung oder Verlangsamung, oder Veränderungen in der Ausrichtung, d. h. eine Rotation. Der Sensor generiert ein elektrisches Signal, welches diesen Veränderungen des Bewegungszustandes entspricht. Im Allgemeinen wird/werden eine Spannung, ein Strom oder beides gemäß den Bewegungen verändert.
  • Der zumindest eine Sensor der Sensorbaugruppe 12 kann in mehreren Dimensionen sensitiv sein. Zum Beispiel kann ein Beschleunigungsmesser in alle drei Raumrichtungen, d. h. Achsen, sensitiv sein. Ein Gyroskop kann sensitiv zu den Rotationen um die drei Raumrichtungen, d.h. Achsen, sein. Ein Magnetometer kann Abweichungen eines Magnetfelds (z. B. das Erdmagnetfeld) spüren. Diese Abweichungen können verwendet werden, um die Ausrichtung und Rotation relativ zu dem Magnetfeld zu bestimmen, ähnlich wie bei einem Kompass.
  • Das elektrische Signal, welches durch den zumindest einen Sensor abgegeben wird, kann durch einen Analog-Digital-(AD)-Konverter abgetastet werden bei einer bestimmten Abtastrate, z. B. zwischen 100 und 10000 Hz, bevorzugt bei ungefähr 1000 Hz. Das analoge elektrische Signal wird durch eine Reihe von diskreten Werten dargestellt. Falls zum Beispiel die Auflösung des AD-Konverters 10 Bits ist, wird das elektrische Signal bei jedem Abtastpunkt durch 210 = 1024 möglichen Werten dargestellt. Dadurch wird eine Zeitreihe von Sensordaten des zumindest einen Sensor der Sensorbaugruppe 12, welche an die Person gekoppelt ist, erhalten.
  • In der beispielhaften Ausführungsform von 1 wird die Sensorbaugruppe 12 an den Knöchel der Person gekoppelt. Jedoch ist es allgemein möglich, dass die Sensorbaugruppe 12 an unterschiedliche Teile des Körpers gekoppelt wird, z. B. das Handgelenk, die Brust, den Kopf, das Schienbein, usw. Außerdem kann die Sensorbaugruppe 12 befestigt oder integriert werden in einen Schuh, Bekleidung, tragbares Gerät, usw., welches durch die Person getragen wird, oder welches direkt an die Person gekoppelt ist, z. B. an ihre Haut. Zum Beispiel die Sensorbaugruppe 12 auf einen Schuh, in den Schuh (z. B. Schuhoberteil, Mittelsohle, Außensohle) und in der Einlegesohle (Innensohle, welche entfernt werden kann) platziert werden. Die Sensorbaugruppe 12 könnte auch befestigt oder integriert werden in einem Gerät wie etwa einem tragbaren Gerät wie einen Gurt, Uhr, Armband, Uhr ähnliches Gerät. Der Schuh könnte einen Hohlraum umfassen in welchen die Sensorbaugruppe 12 platziert wird. Die Sensorbaugruppe 12 könnte am unteren Bein, z. B. Schienbeinbereich oder Knöchel, getragen werden. Die Sensorbaugruppe 12 kann auch in Sportausrüstung integriert werden, welche der Athlet verwendet um interessierende Aktivitäten durchzuführen, z. B. in einem Tennisschläger, Fußball, Basketball oder Skateboard.
  • Falls der zumindest eine Sensor sensitiv zu Bewegungen und/oder Rotationen und/oder Ausrichtung in einer Dimension (oder Achse) ist, ist die Zeitreihe eine geordnete Sequenz von einzelnen Sensordatenwerten, welche bei aufeinanderfolgenden Entnahmepunkten in der Zeit beobachtet wird. Falls der zumindest eine Sensor sensitiv zu Bewegungen und/oder Rotationen in mehr als eine Dimension (oder Achsen) ist oder falls mehr als ein Sensor verwendet wird, ist die Zeitreihe eine geordnete Sequenz von Sensordatenvektoren, welche bei aufeinanderfolgenden Abtastpunkten in der Zeit beobachtet werden.
  • Die Sensorbaugruppe 12 kann auch sein oder umfassen ein Satellitennavigationssystem-Modul, welches fähig ist um Daten bereitzustellen, welche dem Standort der Person entsprechen. Das Satellitennavigationssystem-Modul kann basieren auf GPS, Galileo, Glonass oder einer Kombination davon. Die Geoortung kann nur aktualisiert werden, falls der Benutzer eine Taste drückt oder bei vordefinierten Zeitintervallen (z. B. alle 60 Sekunden, 5 Minuten, 10 Minuten, usw.), um Akkuleistung zu schonen. Im Falle eines Zeitintervalls kann der Benutzer das Zeitintervall einstellen, z. B. durch einen Schalter, Taste oder berührungsempfindlichen Bildschirm auf der Sensorbaugruppe 12 oder durch ein Smartphone, Tablet-PC, Computer, usw. Im letzteren Fall könnte das Zeitintervall zu der Sensorbaugruppe 12 gesendet werden durch eine Kabelverbindung (z. B. USB, Ethernet, Thunderbolt, usw.) oder eine drahtlose Verbindung (z. B. Wifi, WLAN, BT, BTLE, NFC, RFIT, ANT®, ANT+, ZigBee®, usw.). Alternativ wird das Satellitennavigationssystem-Modul separat von dem Sensormodul 12 angeordnet, z. B. in einem Smartphone, Armbanduhr, usw., welche durch die Person getragen wird. Im letzteren Fall könnte die Geoortung zu der Sensorbaugruppe 12 gesendet werden durch eine Kabelverbindung (z. B. dünnes Kabel) oder eine drahtlose Verbindung (z. B. Wifi, WLAN, BT, BTLE, NFC, RFIT, ANT®, ANT+, ZigBee®, usw.).
  • Wie in der beispielhaften Ausführungsform von 1 gezeigt, wird die Zeitreihe in einem Speicher 13 für späteres Verarbeiten abgespeichert. Zum Beispiel kann die Zeitreihe abgefragt werden, nachdem die Aktivität beendet wurde, durch Auslesen der abgespeicherten Zeitreihe der Sensordaten vom Speicher 13. Auslesen kann drahtlos ausgeführt werden, z. B. durch Wifi, WLAN, Bluetooth (BT), Bluetooth Low Energy (BTLE), ANT®, ANT+, ZigBee®, oder dergleichen oder durch eine Kabelverbindung, z. B. USB, Lightning Adapter, RJ-45 oder ähnlich.
  • Die Daten können von dem zumindest einen Sensor zu dem Speicher 13 drahtlos gesendet werden (z. B. durch Wifi, WLAN, Bluetooth (BT), Bluetooth Low Energy (BTLE), ANT®, ANT+, ZigBee®,) oder durch eine Kabelverbindung (z. B. USB, Lightning Adapter, RJ-45 oder ähnlich). Während der Speicher 13 in der beispielhaften Ausführungsform von 1 am Bein der Person angeordnet wird, ist es auch möglich, dass der Speicher 13 in irgendeiner Art nicht an die Person verbunden wird, aber separat angeordnet wird, z. B. in einem zweckbestimmten Gehäuse. In diesem Fall werden die Sensordaten von dem zumindest einen Sensor zu dem Speicher 13 durch eine drahtlose Verbindung gesendet.
  • Außerdem kann der Speicher 13 befestigt oder integriert werden zusammen mit der Sensorbaugruppe 12 in einem Schuh, Kleidungsstück, tragbaren Gerät, usw., welches durch Person getragen wird. Zum Beispiel kann der Speicher auf einen Schuh, in den Schuh (z. B. Schuhoberteil, Mittelsohle, Außensohle) und in der Einlegesohle (Innensohle, welche entfernt werden kann) platziert werden. Der Schuh könnte einen Hohlraum umfassen in welcher der Speicher 13 platziert wird. Der Speicher 13 könnte auch befestigt oder integriert werden zusammen mit der Sensorbaugruppe 12 in einem Gerät wie etwa einem tragbaren Gerät wie einem Gurt oder einer Uhr, Armband, Uhr ähnliches Gerät, usw. Der Speicher 13 könnte am unteren Bein getragen werden, z. B. Schienbeinbereich oder Knöchel. Der Speicher 13 kann auch in Sportausrüstung integriert werden, welche der Athlet verwendet zum Durchführen der interessierenden Aktivitäten, z. B. in einem Tennisschläger, Fußball, Basketball oder Skateboard.
  • Wie in der beispielhaften Ausführungsform von 3 gezeigt, kann der Speicher 13 in der Sensorbaugruppe 12 angeordnet werden und somit ist er ein Teil der Sensorbaugruppe 12. 3 zeigt eine schematische Abbildung einer Sensorbaugruppe 12 und ihrer Komponenten von denen einige optional sind. In jedem Fall umfasst die Sensorbaugruppe 12 zumindest einen Sensor. Wie in 3 gezeigt, kann dieser Sensor ein Beschleunigungsmesser 31 sein. Ein Beschleunigungsmesser misst Beschleunigung und Verlangsamung und gibt entsprechende elektronische Signale aus. Es ist auch möglich, dass die Sensorbaugruppe 12 mehr als einen Beschleunigungsmesser umfasst. In diesem Fall können die Sensordaten von den Beschleunigungsmessern in eine einzelne Zeitreihe kombiniert werden.
  • Anstatt eines Beschleunigungsmessers 31 kann die Sensorbaugruppe ein Gyroskop 32 umfassen. Ein Gyroskop misst Veränderungen in der Ausrichtung, d. h. Rotation, und gibt entsprechende elektronische Signale aus. Es ist auch möglich, dass die Sensorbaugruppe 12 mehr als ein Gyroskop umfasst. In diesem Fall können die Daten von den Gyroskopen in eine einzelne Zeitreihe kombiniert werden. Es ist auch möglich, dass die Sensorbaugruppe 12 zwei oder mehrere Sensoren eines unterschiedlichen Typs umfasst, zum Beispiel den Beschleunigungsmesser 31 und das Gyroskop 32. In diesem Fall können die Sensordaten von beiden Sensoren 31 und 33 in eine einzelne Zeitreihe kombiniert werden.
  • Die Sensorbaugruppe kann zusätzlich oder alternativ zu dem Beschleunigungsmesser 31 und/oder dem Gyroskop 32 ein Magnetometer 33 umfassen. Ein Magnetometer misst Abweichungen eines Magnetfelds (z. B. das Erdmagnetfeld). Diese Abweichungen können verwendet werden, um die Ausrichtung und Rotation relativ zu dem Magnetfeld zu bestimmen, ähnlich wie bei einem Kompass. Das Magnetometer 33 gibt elektrische Signale entsprechend zu der Ausrichtung aus.
  • Die Sensorbaugruppe 12 kann optional ein Barometer 34 umfassen, welches Luftdruck misst und ein entsprechendes elektrisches Signal ausgibt. Das Barometer 34 kann verwendet werden um die Höhenlage zu bestimmen. Die Höhenlage kann in dem Speicher 13 zusammen mit den Daten der anderen Sensoren 31, 32, 33 abgespeichert werden und als weitere statistische Informationen an den Träger bereitgestellt werden wie weiter unten beschrieben wird. Falls die Sensorbaugruppe 12 zusätzlich ein Satellitennavigations-Modul wie weiter unten beschrieben wird umfasst, können Daten des Barometers 34 verwendet werden, um die Genauigkeit der Geoortungsdaten, welche von dem Satellitennavigation-Modul erhalten werden, zu verbessern.
  • Die Sensorbaugruppe 12 kann optional einen Temperatursensor 35 umfassen, welcher die Temperatur misst und ein entsprechendes elektrisches Signal ausgibt. Die gemessene Temperatur kann verwendet werden, um die Genauigkeit des Barometers 34 zu verbessern, da die Temperatur die vom Barometer ausgelesen Werte beeinflussen kann. Alternativ oder zusätzlich kann die gemessene Temperatur als weitere statistische Information dem Träger bereitgestellt werden wie weiter unten beschrieben wird.
  • Daten von dem zumindest einen Sensor 31, 32, 33, 34, 35 werden einer zentralen Verarbeitungseinheit 36 bereitgestellt, welche in einem Mikroprozessor, eines Mikrokontrollers, anwendungsspezifischen integrierten Schaltkreis (ASIC), Field-Programmable Gate Array (FPGA) oder einer ähnlichen Einheit mit Verarbeitungsmöglichkeiten, sein kann. Die zentrale Verarbeitungseinheit 36 kann einen Analog-Digital-Konverter (ADC) umfassen, welcher die elektrischen Signale, welche von den Sensoren 31, 32, 33, 34, 35 erhalten werden, in digitale Signale umwandelt, welche durch entsprechende Software verarbeitet werden können, welche auf der zentralen Verarbeitungseinheit 36 oder programmierbaren Logik-Bausteinen im Falle von einem FPGA ausgeführt werden. Alternativ kann der ADC in der Sensorbaugruppe 12 als eine separate Komponente bereitgestellt werden.
  • Wie oben erwähnt umfasst auch die Sensorbaugruppe 12 in der beispielhaften Abbildung von 3 den Speicher 13. Jedoch ist es auch möglich, dass der Speicher 13 kein Teil der Sensorbaugruppe 12 ist, sondern eine separate Komponente ist, welche mit der Sensorbaugruppe 12 drahtlos verbunden ist (z. B. durch Wifi, WLAN, Bluetooth (BT), Bluetooth Low Energy (BTLE), ANT®, ANT+, ZigBee® oder dergleichen) oder durch ein elektrisches Kabel (z. B. USB, Lightning Adapter, RJ-45 oder ähnlich).
  • Der Speicher 13 wird an die in 3 gezeigte zentrale Verarbeitungseinheit gekoppelt. Somit kann die zentrale Verarbeitungseinheit 36 die von den Sensoren 31, 32, 33, 34, 35 empfangenen Daten im Speicher 13 abspeichern. Optional kann die zentrale Verarbeitungseinheit die Sensordaten vor dem Abspeichern im Speicher 13 verarbeiten. Zum Beispiel kann die zentrale Verarbeitungseinheit 36 ein Vorverarbeiten durchführen und Hochfrequenzkomponenten von den Daten filtern, welche von Rauschen oder Niedrigfrequenzkomponenten verursacht werden, welche von einem bestimmten Bias der Sensoren 31, 32, 33, 34, 35 verursacht werden. Die zentrale Verarbeitungseinheit 36 kann auch die Daten von zwei oder mehreren Sensoren 31, 32, 33, 34, 35 in einer einzelnen Zeitreihe kombinieren zum Abspeichern im Speicher 13.
  • Außerdem kann die zentrale Verarbeitungseinheit 36 die empfangenen Sensordaten mit einem Zeitstempel bereitstellen. Zu diesem Zweck kann die Sensorbaugruppe 12 eine Echtzeituhr (RTC) 37 umfassen, welche mit der zentralen Verarbeitungseinheit 36 verbunden ist. Die Echtzeituhr 37 generiert ein Zeitsignal, welches der aktuellen Zeit entspricht. Die Echtzeituhr 37 kann auch verwendet werden um die Sensorbaugruppe 12 (und somit die Zeitreihe, welche im Speicher 13 abgespeichert ist) mit der Kamera 11 oder Kameras 11a, 11b, 11c, 11d, 11e zu synchronisieren, wie weiter unten beschrieben wird.
  • Die Sensorbaugruppe 12 kann weiter einen Verbinder 38 umfassen, welcher eine optionale Komponente ist. Der Verbinder kann verwendet werden um die Sensorbaugruppe 12 an einen Computer, Tablet PC, Smartphone, usw. zu verbinden, um die Sensordaten, welche im Speicher 13 abgespeichert sind, zum Verarbeiten zu übertragen gemäß der vorliegenden Erfindung. Der Verbinder kann ein USB, Lightning, Rj-45 Anschluss, Verbinder oder dergleichen sein. Der Verbinder 38 kann auch verwendet werden um die Sensorbaugruppe 12 mit elektronischer Energie aufzuladen.
  • Die Sensorbaugruppe 12 kann weiter einen drahtlosen Sender-Empfänger 39 umfassen, welcher verwendet werden kann, um die Sensordaten, welche im Speicher 13 abgespeichert sind, an einen Computer, Tablet-PC, Smartphone, usw. zu übertragen. Der drahtlose Sender-Empfänger 39 kann alternativ oder zusätzlich zum Synchronisieren der Sensorbaugruppe 12 mit der Kamera 11 oder Kameras 11a, 11b, 11c, 11d, 11e verwendet werden wie weiter unten beschrieben wird. Der drahtlose Sender-Empfänger kann ein Wifi-, WLAN-, Bluetooth (BT), Bluetooth Low Energy (BTLE), ANT®, ANT+, ZigBee®-Sender-Empfänger oder dergleichen sein.
  • Außerdem könnte der drahtlose Sender-Empfänger 39 verwendet werden um ähnliche Geräte um ihn herum aufzuspüren. Bestimmte Bereiche (z. B. ”Fußball Hotspots”, ein Stadion, Football- oder Fußballfeld, usw.) können mit z. B. RFID/NFC-Tags oder Bluetooth-Baken ausgerüstet werden und durch die Sensorbaugruppe 12 erkannt werden. Somit kann eine Kennzeichnung, welche mit dem Bereich verknüpft ist, durch die Sensorbaugruppe 12 abgespeichert werden zusammen mit den Daten vom Beschleunigungsmesser 31 und/oder dem Gyroskop 32 und/oder dem Magnetometer 33, um die gemessenen Daten mit dem Bereich zu verknüpfen oder einfach zu registrieren, dass die Person, welche die Sensorbaugruppe 12 trägt, einen bestimmten Standort, z. B. ein Stadion oder Geschäft, besucht hat. Anstatt eines Sender-Empfängers 39 kann die Sensorbaugruppe 12 mit einem Sender und/oder Empfänger als separate Komponente ausgerüstet werden.
  • Die Sensorbaugruppe 12 kann eine Batterie 310 umfassen, welche elektronische Energie für die elektronischen Komponenten der Sensorbaugruppe bereitstellt, d. h. den Sensoren 31, 32, 33, 34, 35, der Echtzeituhr 37, dem Sender-Empfänger 39 und weiteren optionalen Komponenten, welche weiter unten beschrieben werden. Die Batterie 310 kann eine austauschbare Batterie sein, eine wieder aufladbare Batterie, welche austauschbar oder in der Sensorbaugruppe 12 permanent fixiert sein kann, ein Kondensator oder dergleichen. Im Falle einer wieder aufladbaren Energiequelle (z. B. eine wieder aufladbare Batterie oder ein Kondensator) kann die Batterie 310 durch den Verbinder 38 aufgeladen werden. Die Sensorbaugruppe 12 kann alternativ oder zusätzlich eine induktive Spule 311 umfassen, welche einen Ladestrom für die Batterie 310 bereitstellt. Zu diesem Zweck kann die Sensorbaugruppe 12 in der Nähe einer entsprechenden Sendespule platziert werden, welche Energie zu der induktiven Spule 311 durch ein zeitlich veränderndes elektromagnetisches Feld überträgt.
  • Wie bereits erwähnt kann die Sensorbaugruppe 12 ein Satellitennavigation-Modul 312 umfassen. Dieses Modul empfängt elektromagnetische Signale von Satelliten im Orbit der Erde und kann den Standort der Sensorbaugruppe 12 auf der Oberfläche der Erde (Geoortung) von diesen Signalen ableiten. Zusätzlich kann das Satellitennavigation-Modul 312 die Höhenlage der Sensorbaugruppe 12 ableiten. Das Satellitennavigation-Modul 312 kann basieren auf Satellitennavigationssystem (GPS), dem Glonasssystem oder dem europäischen Galileosystem oder einer Kombination von diesen Systemen.
  • Die Sensorbaugruppe 12 kann optional eine Anzeige 311 umfassen. Die Anzeige kann dem Benutzer Informationen angeben wie etwa verbleibende Akkuleistung, Zeit, verbleibende Speicherkapazität im Speicher 13, den Status „An/Aus”, usw. Die Anzeige kann auch Feedback an den Benutzer bereitstellen basierend auf den Sensordaten, welche von den Sensoren 31, 32, 33, 34, 35 erhalten werden wie weiter unten beschrieben wird.
  • Die Sensorbaugruppe 12 kann einen Schalter 314 umfassen. Der Schalter kann eine Drück-Taste sein, welche nach dem Drücken in ihren vorherigen Zustand zurückgeht. Alternativ kann der Schalter ein Schiebeschalter sein, welcher zwischen zwei oder mehreren Positionen verschoben wird. Der Schalter 314 kann zum Beispiel verwendet werden um die Sensorbaugruppe 12 zu aktivieren oder bestimmte Einstellungen der Sensorbaugruppe 12 zu verändern. Zum Beispiel kann der Benutzer die aktuelle Uhrzeit einstellen oder eine bestimmte Betriebsart einstellen. Eine andere Verwendung für den Schalter 314 ist Aktualisieren der Geoortung der Sensorbaugruppe 314 mittels des Satellitennavigationssystem-Moduls 312, falls der Benutzer den Schalter 314 aktiviert.
  • Das Verfahren gemäß der Erfindung umfasst weiter den Schritt (c.) des Synchronisierens des Videos mit den Sensordaten. Synchronisieren kann durchgeführt werden durch Verknüpfen eines Datenpunktes in der Zeitreihe, z. B. ein Fenster, mit einem zugehörigen Bild des Videos. Zum Beispiel könnten die Datenpunkte und das zugehörige Videobild mit dem gleichen Zeitstempel verknüpft werden. Zu diesem Zweck kann ein drahtloses Signal durch den Sender-Empfänger 39 in der Sensorbaugruppe 12 gesendet werden zum Beispiel durch RFID, NFC, Bluetooth (BT), Bluetooth Low Energy (BTLE) oder WLAN. Wenn die Person zum Beispiel einen Sportplatz betritt, empfangt ein zugehöriges Empfängermodul, welches auf dem Sportplatz (z. B. in einer Matte oder Tor) installiert ist, das drahtlose Signal vom Sender-Empfänger 39 und synchronisiert die Kamera 11 oder die Kameras 11a, 11b, 11c, 11d und 11e mit der Sensorbaugruppe 12.
  • Das drahtlose Signal kann einen Zeitstempel der Echtzeituhr (RTC) 37 umfassen, welche in der Sensorbaugruppe 12 enthalten ist. Dieser Zeitstempel ermöglicht der Kamera 11 oder den Kameras 11a, 11b, 11c, 11d und 11e mit der RTC 37 der Sensorbaugruppe 12 zu synchronisieren, z. B. durch Einstellen ihrer eigenen RTC zu dem empfangenen Zeitstempel. Die Ausführungs- und/oder Verarbeitungszeit des Zeitstempels könnte berücksichtigt werden und zu dem Zeitstempel hinzugefügt werden, um eine genauere Synchronisation zu erhalten. Die Sensorbaugruppe 12 speichert auch die aktuelle Zeit von zwei Abtastpunkten des aufgenommenen Videos (zum Beispiel das erste und letzte Bild) ab. Falls ein Ereignis in den Sensordaten detektiert wird, kann der zugehörige Zeitpunkt basierend auf den abgespeicherten Zeiten der beiden Abtastpunkte bestimmt werden.
  • Alternativ wird ein drahtloses Signal mit einem Zeitstempel von einer RTC der Kamera 11 oder Kameras 11a, 11b, 11c, 11d und 11e oder von dem System, mit welchen die Kamera 11 oder Kameras 11a, 11b, 11c, 11d und 11e verbunden sind, zu der Sensorbaugruppe 12 durch z. B. RFID, NFC, Bluetooth (BT), Bluetooth Low Energy (BTLE) oder WLAN gesendet. Das Signal kann z. B. durch ein Tor oder eine Matte, welche im Stadion, Sportplatz, usw. installiert ist, gesendet werden. Das Signal kann durch den Sender-Empfänger 39 empfangen werden und durch die zentrale Verarbeitungseinheit 36 verarbeitet werden. Dieses Signal ermöglicht der Sensorbaugruppe 12 mit der Kamera 11 oder Kameras 11a, 11b, 11e, 11d und 11e zu synchronisieren, z. B. durch Einstellen ihrer RTC 37 zu dem Zeitstempel. Die Ausführungs- und/oder Verarbeitungszeit des Zeitstempels könnte berücksichtigt werden und zu dem Zeitstempel hinzugefügt werden, um eine genauere Synchronisation zu erhalten.
  • Alternativ können die Sensorbaugruppe 12 und die Kamera 11 oder Kameras 11a, 11b, 11c, 11d und 11e durch Bestimmen eines Synchronisationsereignisses in der Zeitreihe und in zumindest einem Bild des Videos synchronisiert werden. Zum Beispiel kann ein Spieler, welcher die Sensorbaugruppe 12 trägt, eine gewisse vorbestimmte Bewegung durchführen wie etwa das Klatschen auf seine Schuhe oder das Klatschen auf die Sensorbaugruppe 12 klatschen. Solch ein Ereignis kann viel einfacher in dem Video und in der Zeitreihe der Sensordaten detektiert werden, da es höhere Spitzenwerte in den Sensordaten produziert. Die detektieren Datenpunkte in der Zeitreihe und die detektieren Bilder in dem Video können dann den gleichen Zeitstempel erhalten, um das Video mit der Zeitreihe zu synchronisieren.
  • Das Verfahren umfasst den Schritt (d.) des Detektierens eines Ereignisses in der Zeitreihe. Ein Ereignis ist definiert als ein Teil einer menschlichen Bewegung, die eine kurze und beschränkte Dauer hat. Zum Beispiel könnte ein Ereignis ein Fußballschuss oder Pass sein, ein Schlag eines Tennisballs oder ein Golfschwung. Das Ereignis kann in der Zeitreihe durch passende Verfahren, wie sie weiter unten beschrieben werden, detektiert werden.
  • Schließlich umfasst das Verfahren den Schritt (e.) des Verknüpfens des Ereignisses mit zumindest einem zugehörigen Bild im Video, das das Ereignis zeigt. Basierend auf der Synchronisation der Sensordaten und des Videos können die Bilder, die einem detektieren Ereignis entsprechen, in dem Video identifiziert werden.
  • Im Allgemeinen können das aufgenommene Video und die Sensordaten, welche im Speicher 13 abgespeichert sind, zu einem Gerät 14 übertragen werden, welches passend ist, um die relevanten Verfahrensschritte durchzuführen, d. h. die Detektion der Ereignisse und Verknüpfen der detektieren Ereignisse mit zugehörigen Videobildern. Solch ein Gerät 14 kann ein Smartphone, ein Tablet PC, ein Server oder ein dafür bestimmtes Computergerät sein. Das Video kann zu dem Gerät 14 drahtlos übertragen werden, z. B. durch WLAN, Bluetooth, Bluetooth Low Energy oder dergleichen, oder durch eine Kabelverbindung, z. B. USB, Firewire, Thunderbolt oder ähnlich. Das Video und/oder die Sensordaten können zu dem Gerät 14 übertragen werden während der Aktivität, z. B. durch drahtlose Verbindungen, oder nachdem die Aktivität beendet ist. Im letzteren Fall könnten Kabelverbindungen (wie etwa USB) anstatt drahtloser Verbindungen verwendet werden.
  • Das Gerät 14 kann umfassen einen Prozessor 15, welcher das Video mit den Sensordaten synchronisieren kann, um ein Ereignis in der Zeitreihe zu detektieren und das Ereignis mit zumindest einem zugehörigen Bild in dem Video, das das Ereignis zeigt, zu verknüpfen. Zu diesem Zweck können computerausführbare Anweisungen in den Prozessor 15 geladen werden, z. B. von einem Speicher 16 (wie etwa eine Festplatte, eine Solid State Drive, Flash-Speicher, usw.), um den Prozessor 15 dazu zu veranlassen die relevanten Verfahrensschritte durchzuführen. Der Speicher 16 könnte auch verwendet werden um ein Video und/oder die Sensordaten für späteres Verarbeiten durch den Prozessor 15 gemäß des beschriebenen Verfahrens abzuspeichern.
  • 4 zeigt eine beispielhafte Ausführungsform eines tragbaren Gerätes 41 in der Form eines Gurtes 41, welcher eine Sensorbaugruppe 12 umfasst. Die Sensorbaugruppe 12 könnte eine Sensorbaugruppe 12 sein, wie in Bezug zu 3 beschrieben. Zum Beispiel könne die Sensorbaugruppe 12 auch den Speicher 13 zum Abspeichern der Sensordaten beinhalten. Die Sensorbaugruppe 12 kann abnehmbar an den Gurt 41 befestigt sein, zum Beispiel durch einen Klettverschluss, einen Druckknopf, einen Magnetverschluss, usw. Alternativ kann die Sensorbaugruppe permanent an den Gurt 14 z. B. durch Kleben, Schweißen oder Vernähen befestigt sein. Der Gurt 41 hat den Vorteil, dass er unabhängig zum Schuhwerk ist, d. h. kann sogar ohne Schuhe verwendet werden (z. B. auf Sand oder auf Rasen).
  • Der Gurt 41 kann gefertigt sein aus textilen Material, Leder, Kunstleder, Kunststoff oder dergleichen. Ein Gurt wird als jede schleifenförmige Anordnung verstanden, welche fähig ist an eine Extremität des Körpers einer Person getragen zu werden, z. B. Arm und/oder Bein. Somit kann der Gurt 41 an einem Bein, z. B. in der Nähe des Knöchels, getragen werden. Die Genauigkeit des Verfahrens der Erfindung kann verbessert werden, falls ein Gurt mit einer weiteren Sensorbaugruppe 12 am anderen Bein getragen wird. Dies kann insbesondere für eine Fußballanwendung vorteilhaft sein, weil Fußballspieler üblicherweise den Ball mit beiden Füßen behandeln. Die Sensordaten von den beiden Sensorbaugruppen 12 können in eine einzelne Zeitreihe kombiniert werden. Zu diesem Zweck könnte eine Sensorbaugruppe 12 seine Sensordaten zu einer anderen Sensorbaugruppe senden, zum Beispiel drahtlos durch Verwendung des Sender-Empfänger-Moduls 39. Die Sensordaten können durch die zentrale Verarbeitungseinheit 36 in der empfangenden Sensorbaugruppe 12 kombiniert werden. Alternativ senden beide Sensorbaugruppen die Sensordaten zu dem Gerät 14, z. B. durch das drahtlose Sender-Empfänger-Modul 39 oder den Verbinder 38 wie oben beschrieben. Die Sensordaten von beiden Sensorbaugruppen könnten dann im Gerät 14 kombiniert werden.
  • Es kann vorteilhaft sein mehr als eine Sensorbaugruppe auch während anderer Sportaktivitäten zu tragen. Zum Beispiel kann ein Tennisspieler eine erste Sensorbaugruppe 12 an seinem Arm, z. B. am Handgelenk, tragen und eine zweite Sensorbaugruppe 12 an einem seiner Beine, z. B. in der Nähe des Knöchels. Die erste Sensorbaugruppe 12 kann Sensordaten aufnehmen, welche stellvertretend für seine Armbewegungen und Ballschläge sind, wobei die zweite Sensorbaugruppe 12 Sensordaten aufnimmt, welche für seine Bewegungen auf dem Tennisplatz stellvertretend sind. Die Sensordaten können von beiden Sensorbaugruppen wie oben beschrieben kombiniert werden. Somit stellen die Sensordaten, welche durch beide Sensorbaugruppen aufgenommen werden, ein vollständigeres Aufnehmen seiner Tennisaktivität dar.
  • Wie bereits erwähnt kann die Sensorbaugruppe 12 zusätzlich mit einem Satellitennavigationsmodul 312 ausgerüstet werden, um den Standort des Benutzers zu verfolgen oder um Daten zu messen, welche für das Detektieren bestimmter Ereignisse relevant sind. Somit können Wegpunkte mit der vorliegenden Erfindung verwendet werden oder können durch den Speicher 13 abgespeichert werden zusammen mit den Daten des Beschleunigungsmessers, und/oder des Gyroskops und/oder des Magnetometers, um die gemessenen Daten mit einer Geoortung zu verknüpfen. Die Verwendung der Wegpunkte kann von dem Benutzer abhängig sein, welcher den Schalter 314 wie oben beschrieben aktiviert.
  • Das Verfahren gemäß der Erfindung kann weiter den Schritt umfassen des Verwendens des zumindest einen Bildes um ein zweites Video zu generieren, welches vorgegebene Ereignisse der Aktivität der Person zeigt. Alle Bilder, welche mit dem entsprechenden detektieren Ereignis verknüpft sind, können somit in ein Video kompiliert werden. Das Video stellt Feedback oder eine Zusammenfassung an den Spieler bereit und kann als ein „Highlightvideoclip” oder „Showvideoclip” seiner Leistung betrachtet werden. „Highlightvideoclip” oder „Showvideoclip” werden im Zusammenhang der vorliegenden Erfindung als eine Sammlung von Videosequenzen, welche eine gemeinsame Eigenschaft teilen, verstanden. Eine gemeinsame Eigenschaft könnte zum Beispiel sein, dass alle Videosequenzen des Highlightvideoclips Schüsse und/oder Passe und/oder Tricks usw. eines bestimmten Spielers zeigen. Ein anderes Highlightvideoclip könnte alle Defensivereignisse eines Torwarts zeigen. Außerdem könnte ein Highlightvideoclip spezielle Tricks, die ein Spieler gemacht hat, zeigen, zum Beispiel Ball hochhalten oder Around-the-world. Die Eigenschaft bezieht sich nicht notwendigerweise auf einen bestimmten Spieler. Es könnte zum Beispiel auch möglich sein, dass den Highlightvideoclip alle Schüsse über einer bestimmten Ballgeschwindigkeit (z. B. 50, 60, 80, 100 km/h) unabhängig des Spielers zeigt, welche in einem Spiel gemacht worden sind.
  • Die Videozusammenfassung kann auf dem Gerät 14 generiert werden und kann zu Servern im Internet oder direkt auf Verbrauchergeräten wie etwa Smartphones, Tablet-Computer, PCs, Smartwatches oder dergleichen hochgeladen werden.
  • 5 zeigt eine beispielhafte Ausführungsform wie das Video von dem Gerät 14 zu den Verbrauchergeräten 51a, 51b, 51c, 51d übertragen werden kann. Zuerst können das Video und/oder zusätzliche zusammenfassende Statistik von dem Gerät 14 in eine Cloud 52 übertragen werden. Dementsprechend wird das Gerät 14 auch mit dem Internet verbunden, z. B. durch eine Kabelverbindung (z. B. Ethernet, USB, Thunderbolt, usw.) oder eine drahtlose Verbindung (z. B. Wifi, WLAN, BT, usw.). Die Cloud 52 kann in einen einzelnen Server oder in einer Serverfarm, welche mit dem Internet verbunden ist, implementiert werden. ”Cloud” im Kontext der vorliegenden Erfindung wird als jeden Server verstanden, welcher fähig ist das Video und/oder zusammenfassende Statistik abzuspeichern und das gleiche an Verbrauchergeräte bereitzustellen.
  • Auf das Video und/oder auf zusammenfassende Statistik können auf der Cloud 52 durch die Geräte 51a, 51b, 51c, 51d zugegriffen werden. Zum Beispiel sind die Geräte 51a und 51b Mobilgeräte wie etwa Smartphones, Tablet-PCs, Smartwatches oder dergleichen. Die Geräte 51a und 51b werden mit dem Internet verbunden durch eine drahtlose Verbindung wie etwa 3G, 4G, UMTS, LTE, Wifi, WLAN, BT, BTLE, usw. Zum Herunterladen und Präsentieren des Videos und/oder der zusammenfassenden Statistik von der Cloud 52, kann eine Anwendung (oft bezeichnet als „App” im Kontext von Mobilgeräten) auf den Mobilgeräten 51a und 51b installiert werden. Solche Apps können von einem virtuellen Geschäft (wie etwa Apple iTunes®, google play®, usw.) heruntergeladen werden. Die App verbindet sich mit der Cloud 52 und lädt das Video und/oder die zusammenfassende Statistik von der Cloud 52 herunter. Alternativ kann das Video von der Cloud 52 zu dem Mobilgerät ohne Herunterladen (d. h. ohne das Video auf dem Mobilgerät abzuspeichern) gestreamt werden. Das Video und/oder die zusammenfassende Statistik können dann dem Benutzer präsentiert werden wie genauer weiter unten beschrieben wird.
  • Anstatt auf einer App, kann ein Internetbrowser, welcher auf dem Mobilgeräten 51a, 51b installiert ist, auch zum Verbinden mit der Cloud 52 verwendet werden. Zu diesem Zweck leitet der Benutzer den Browser zu einer bestimmten Webseite und gibt z. B. einen Benutzername und Passwort ein. Nachdem der Benutzer der Zugang gewährt wurde, kann er entweder direkt das Video und/oder die zusammenfassende Statistik im Browser anschauen oder er kann das Video und/oder die zusammenfassende Statistik tickt für späteres Anschauen herunterladen.
  • Auf das Video und/oder auf die zusammenfassende Statistik können auch von einem Desktop-PC 51c und/oder einem Notebook 51d zugegriffen werden. Zu diesem Zweck kann eine Software Anwendung zum Zugreifen auf die Cloud 52 und zum Herunterladen und Präsentieren des Videos und/oder der zusammenfassenden Statistik auf dem Desktop-PC 51c und/oder Notebook 51d installiert werden. Alternativ kann das Video von der Cloud 52 zu dem Gerät ohne Herunterladen (d. h. ohne das Video auf dem Mobilgerät abzuspeichern) gestreamt werden. Der Desktop-PC 51c und das Notebook 51d können mit dem Internet verbunden werden durch eine drahtlose Verbindung wie etwa 3G, UMTS, LTE, Wifi, WLAN, BT, usw. oder durch eine Kabelverbindung wie etwa Ethernet, USB, Thunderbolt, usw.
  • Anstatt in einer Softwareanwendung, kann ein Internetbrowser, welcher auf dem Desktop-PC 51c und/oder Notebook 51d installiert ist, auch zum Verbinden mit der Cloud 52 verwendet werden. Zu diesem Zwecke leitet der Benutzer den Browser zu einer bestimmten Webseite und gibt z. B. einen Benutzername und Passwort ein. Nachdem dem Benutzer der Zugang gewährt wurde kann er entweder direkt das Video und/oder die zusammenfassende Statistik im Browser anschauen oder er kann das Video und/oder die zusammenfassende Statistik für späteres Anschauen herunterladen.
  • Als eine Alternative zu der beispielhaften Ausführungsform von 5, können die Geräte 51a, 51b, 51c und 51d direkt mit dem Gerät 14 verbunden werden, um das Video und/oder die zusammenfassende Statistik herunterzuladen. Die Verbindung kann durch eine drahtlose Verbindung wie etwa Wifi, WLAN, BT, BTLE, usw. oder durch eine Kabelverbindung wie etwa Ethernet, USB, Thunderbolt, usw. verbunden werden. Zum Beispiel kann das Gerät 14 an einem Stadion oder Sportplatz installiert werden. Nachdem die Person, welche die Sensorbaugruppe 12 trägt, eine Sportaktivität durchgeführt hat, werden die Sensordaten, welche im Speicher 13 abgespeichert sind, zu dem Gerät 14, wie oben beschrieben, übertragen und auf dem Gerät 14 verarbeitet, um eine Videozusammenfassung (ein „Highlightvideoclip” oder „Showvideoclip”) und optional eine zusätzliche zusammenfassende Statistik zu produzieren. Dann kann die Person z. B. ihr Smartphone, Tablet-PC, Smartwatch oder dergleichen verwenden, um sich mit dem Gerät 14 zu verbinden, um das Video und optional die zusammenfassende Statistik herunterzuladen. Alternativ wird das Video von dem Gerät 14 zu den Geräten 51a, 51b, 51c und 51d ohne Herunterladen (d. h. ohne abspeichern des Videos auf den Geräten 51a, 51b, 51c und 51d) gestreamt.
  • Das Video und/oder die zusammenfassende Statistik können auch auf sozialen Medienplattformen (wie etwa YouTube, Instagram, Vine, Twitter, Facebook, usw.) geteilt werden. Zum Beispiel könnte die Cloud 52 Teil einer solchen sozialen Medienplattform sein. Alternativ werden das Video und/oder die zusammenfassende Statistik von dem Gerät 14 oder von der Cloud 52 zu einem Server auf einer sozialen Medienplattform übertragen. Sobald zum Beispiel eine Videozusammenfassung und/oder zusammenfassende Statistik auf dem Gerät 14 generiert worden ist, wird das Video und/oder die zusammenfassende Statistik automatisch zu einem sozialen Medienprofil einer Person hinzugefügt. Andere Personen, mit welchen die Person durch die soziale Medienplattform verbunden ist, können dann auf das Video und/oder die zusammenfassende Statistik zugreifen und können z. B. Kommentare beitragen oder das Video und/oder die zusammenfassende Statistik mit anderen Personen teilen.
  • 6 verdeutlicht wie das Video und/oder die zusammenfassende Statistik einem Benutzer auf einem Mobilgerät 51a, 51b, wie etwa einem Smartphone, Tablet-PC, Smartwatch, usw.), einem Desktop-PC 51c, Notebook 51d oder im Allgemeinen jedem Gerät, welches eine Anzeige 61 umfasst, präsentiert werden. Das Video wird dem Benutzer auf einer Anzeige 61 auf dem Gerät 51a, 51b, 51c, 51d präsentiert. Der Benutzer kann mehrere Möglichkeiten haben, um zu beeinflussen wie das Video präsentiert wird. Zum Beispiel wird im oberen Bereich der Anzeige 61, genau über dem Video, eine Szenenauswahlleiste 62 gezeigt. Der Benutzer kann zwischen unterschiedlichen Szenen des Videos umschalten, welche unterschiedlichen Ereignissen entsprechen, welche er während seiner Aktivität durchgeführt hat. Zum Beispiel zeigt die erste Szene den Benutzer wie er einen Anstoß durchführt. Die zweite, dritte und vierte Szene können den Benutzer zeigen, wie er Pässe macht. Die fünfte und sechste Szene können den Benutzer zeigen, wie er auf das Tor schießt und so weiter. Der Benutzer kann jede dieser Szenen auswählen durch Tippen oder Klicken einer der entsprechenden Tasten in der Szenenauswahlleiste 62. Die Anzahl von Szenen kann sich von dem Beispiel wie in 6 gezeigt unterschieden. Die Position der Szenenauswahlleiste 62 kann unterschiedlich sein, zum Beispiel in dem unteren Bereich der Anzeige 61 oder an den Seiten. Außerdem kann die Anzeige 61 überhaupt keine Szenenauswahlleiste 62 anzeigen.
  • Unterhalb der Szenenauswahlleiste 62 ist ein Zeit-Schieberegler 63. Dieser Schieberegler 63 läuft entlang eines vordefinierten Pfades, wobei der Beginn des Pfades dem Beginn des Videos entspricht und das Ende des Pfades dem Ende des Videos entspricht. Somit beginnt der Pfad in dem Beispiel von 6 bei 0 Sekunden und endet bei Minute 1 und 10 Sekunden. Die Position des Schiebereglers 63 auf dem Pfad entspricht der aktuellen Position des Videos. Falls zum Beispiel der Schieberegler 63 die Mitte des Pfades erreicht, ist das Video zur Hälfte vorbei und die andere Hälfte ist im Begriff zu starten. Der Benutzer kann tippen oder klicken und den Schieberegler 63 halten, um ihn zu einem beliebigen Punkt zwischen dem Beginn und Ende des Videos zu schieben, um das Video von dem entsprechenden Zeitpunkt zu zeigen. Die Position des Schiebereglers 63 kann unterschiedlich sein, zum Beispiel im unteren Bereich der Anzeige 61 oder an den Seiten. Außerdem kann die Anzeige 61 überhaupt gar keinen Schieberegler 63 zeigen.
  • Im unteren Bereich der Anzeige 61 wird eine Kamera-Auswahlleiste 64 gezeigt. Die Kamera-Auswahlleiste 64 ermöglicht dem Benutzer die Kameraposition des Videos auszuwählen. Somit kann der Benutzer in der beispielhaften Ausführungsform von 6 zwischen fünf verschiedenen Kameras 51a, 51b, 51c, 51d, 51e auswählen, welche die entsprechende Szene seiner Aktivität von fünf unterschiedlichen Winkeln zeigen. Die Anzahl der Kameras kann unterschiedlich sein und kann von einer einzigen Kamera bis zu Dutzenden von Kameras sich bewegen. Der Benutzer wählt die Kamera durch Tippen oder Klicken auf die entsprechende Taste aus, welche mit der Kamera verknüpft ist. Die Position der Kamera-Auswahlleiste 64 kann unterschiedlich sein, zum Beispiel im unteren Bereich der Anzeige 61 oder an den Seiten. Außerdem kann die Anzeige 61 überhaupt gar keine Kamera-Auswahlleiste 64 zeigen.
  • Auf der rechten Seite der Anzeige wird ein Feedback- und Statistikbereich 65 gezeigt. In diesem Bereich wird Statistik und Feedback gezeigt, welche extrahiert werden gemäß der Erfindung von den Sensordaten, welche von zumindest einem Sensor 31, 32, 33, 34, 35 der Sensorbaugruppe 12, die durch den Benutzer während der Aktivität getragen wird, erhalten wird. Somit zeigen in der beispielhaften Ausführungsform von 6 der Feedback- und Statistikbereich 65 die Geschwindigkeit eines Balls, z. B. während einer Szene, welche ein Schuss zeigt, der durch den Benutzer durchgeführt wird an. In der Mitte zeigt der Feedback- und Statistikbereich 65 den Namen des Tricks, welcher der Benutzer in einer Szene durchgeführt hat, z. B. Around-the-world, jonglieren mit dem Ball und dergleichen an. Außerdem stellt der Feedback- und Statistikbereich 65 einen Aktions-Zähler bereit, welcher zum Beispiel alle gezielten Schüsse auf das Tor, alle eins-gegen-eins Situationen, alle Dribblings, Pässe usw. zählt. Somit ist der Zähler zu Beginn des Videos bei null und erhöht sich mit jeder einzelnen Aktion, d. h. Ereignis, welcher der Benutzer in dem Video durchführt. Der Inhalt des Feedback- und Statistikbereiches 65 kann unterschiedlich sein zum Beispiel kann man nur die Ballgeschwindigkeit zeigen oder nur die durchgeführte Aktion (z. B. Trick, Pass, gezielter Schuss, usw.) oder beides zeigen. Daher kann die Position des Feedback- und Statistikbereiches 65 unterschiedlich sein, zum Beispiel im unteren Bereich der Anzeige 61 oder an den Seiten. Außerdem kann die Anzeige 61 überhaupt gar keinen Feedback- und Statistikbereich 65 zeigen.
  • 7 verdeutlicht wie die Videozusammenfassung (oder „Showvideoclip” oder „Highlightvideoclip”) insbesondere einem Benutzer auf einem Mobilgerät 51a, 51b, wie etwa zum Beispiel einem Smartphone oder Tablet-PC, dargestellt werden kann. Das Mobilgerät 51a, 51b umfasst eine Anzeige 71, auf dem das Video gezeigt wird. In dem Beispiel von 7 basiert die Videozusammenfassung auf Videos, welche durch sieben Kameras gemacht wurden. Die Kameras wurden um ein Hallenfußballfeld herum angeordnet, ähnlich zu dem in 2 gezeigten Aufbau. Eine unterschiedliche Anzahl von Kameras kann auch verwendet werden, wie etwa fünf, drei, zwei oder nur eine einzige Kamera. Die Hauptansicht der Anzeige 61 zeigt ein Video von einer speziellen Kamera in einer vergrößerten Ansicht, welche nahezu den ganzen Bildschirm ausfüllt.
  • Wie in 7 gezeigt, trägt jeder der Spieler zumindest eine Sensorbaugruppe in der Nähe eines Knöchels, von denen eine beispielhaft mit dem Bezugszeichen 12 bezeichnet worden ist. Die Sensorbaugruppe 12 speichert Sensordaten ab während die Spieler in einem Spiel (wie etwa Fünfer-Team Spiel in dem Beispiel von 7) beschäftigt sind, wie im Detail in dieser Beschreibung beschrieben. Die Sensordaten werden, wie im Detail in dieser Beschreibung beschrieben, verarbeitet, um bestimmte Ereignisse wie etwa Schüsse, Pässe, gezielte Schüsse, Dribblings, eins-gegen-eins Situationen, usw. zu detektieren. Die Ereignisse werden mit zugehörigen Videobildern in den Videos verknüpft, welche durch die Kameras (sieben in dem Beispiel von 7) gemacht sind, um eine Videozusammenfassung (oder „Highlightvideoclip” oder „Showvideoclip”), wie im Detail in dieser Spezifikation beschrieben, zu erhalten. Das Video wird einem Benutzer auf einem Mobilgerät, wie in Bezug zu 7 verdeutlicht, dargestellt.
  • In dem Beispiel von 7 wird ein Kamera-Auswahlbereich 72 im unteren Bereich des Bildschirmes gezeigt. Die Position des Kamera-Auswahlbereiches 72 kann unterschiedlich sein, zum Beispiel im oberen Bereich der Anzeige 71 oder an den Seiten. Außerdem kann die Anzeige 71 überhaupt keinen Kamera-Auswahlbereich 72 zeigen. Der Kamera-Auswahlbereich 72 umfasst ein Piktogramm einer Kamera, welches die Nummer der Kamera zeigt, die aktuell als die Hauptkamera (d. h. Kamera wird mit dem vergrößerten Video, welches nahezu den gesamten Bildschirm ausfüllt, verknüpft) ausgewählt ist. In dem Beispiel von 7 ist diese Nummer sieben, aber es könnte irgendein Wert in den Bereich von eins bis sieben sein. Dieser Bereich könnte unterschiedlich sein, falls eine unterschiedliche Anzahl von Kameras verwendet worden ist. Für jede Kamera wird ein Punkt im Kamera-Auswahlbereich 72 gezeigt. Der Benutzer kann die Hauptkamera entweder durch Tippen oder Klicken auf einen der Punkte ändern oder durch Verschieben mit einem oder mehreren Fingern über die Anzeige, zum Beispiel von links nach rechts, von rechts nach links, von oben nach unten oder von unten nach oben.
  • In dem Beispiel von 7 wird auch ein Kamera-Übersichtsbereich 73 im oberen Bereich der Anzeige 71 gezeigt. Die Position des Kamera-Übersichtsbereiches 73 kann unterschiedlich sein, zum Beispiel im oberen Bereich der Anzeige 71 oder an den Seiten. Außerdem kann die Anzeige 71 überhaupt gar keinen Kamera-Übersichtsbereich 73 zeigen. Der Kamera-Übersichtsbereich 73 kann ein kleinskaliertes Video von jeder der übrigen Kameras zeigen, welche nicht in der vergrößerten Ansicht der Anzeige 73 gezeigt werden. Somit werden in dem Beispiel von 7 sechs kleine Videos gleichzeitig in dem Kamera-Übersichtsbereich 73 gezeigt.
  • Wenn der Benutzer die Hauptkamera wie oben beschrieben verändert, wird das Video der vorherigen Kamera in dem Kamera-Übersichtsbereich 73 gezeigt anstatt auf dem vergrößerten Bereich des Bildschirms. Stattdessen wird das Video der neu ausgewählten Hauptkamera auf dem vergrößerten Bereich des Bildschirms gezeigt und vom Kamera-Übersichtsbereich entfernt. Da zum Beispiel der Benutzer die Hauptkamera von Kamera sieben zu Kamera sechs durch Verschieben über die Anzeige 73 verändert, kann das Video der Kamera sechs durch das Video von Kamera sieben in dem Kamera-Übersichtsbereich 73 ersetzt werden. Zur gleichen Zeit wird das Video der Kamera sieben, welches den größten Bereich des Bildschirms bedeckt, durch das Video von Kamera sechs ersetzt.
  • Es ist anzumerken dass zusätzliche Information auch auf der Anzeige 71 gezeigt werden können, wie etwa Feedback- und Statistik-Informationen wie in Bezug zu 6 erklärt wurde. Zum Beispiel kann die Ballgeschwindigkeit basierend auf den Sensordaten abgeschätzt werden, welche von einer Sensorbaugruppe 12 von einem der Spieler erhalten wird, und können als eine Überlagerung über das Video der Hauptkamera zum Beispiel in km/h oder mph gezeigt werden, während die Videos den zugehörigen Schuss zeigen.
  • Die Sensorbaugruppe 12 könnte auch als eine Art von Aktivitätstracker verwendet werden. Zu diesem Zweck könnte die Sensorbaugruppe 12 zum Beispiel an einen Gurt befestigt werden (wie etwa der in 4 gezeigte Gurt 41), eine Armband oder dergleichen und könnte z. B. am Handgelenk oder Knöchel getragen werden. Die Sensordaten, welche durch den zumindest einen Sensor 31, 32, 33, 34, 35 in der Sensorbaugruppe 12 erhalten werden, könnten verwendet werden um Schritte, Entfernung, verbrannte Kalorien, usw. zu zählen. Daher könnten die Sensordaten verwendet werden um zum Beispiel Fußball verwandte Tricks (wie etwa Around-the-world, jonglieren des Balls, usw.), welche eine Person, die die Sensorbaugruppe 12 trägt, während eines Tages durchgeführt hat, zu zählen. Falls die Sensorbaugruppe 12 mit einem Satellitennavigations-Modul 312 ausgestattet wird, könnte die Sensorbaugruppe 12 auch die Geoortung speichern wo die Tricks durchgeführt wurden und/oder wo die Person andere Sportaktivitäten wie Laufen, usw. durchführte. Die gesammelte Aktivitätsstatistik könnte an Verbrauchergeräte und/oder soziale Medienplattformen, wie in Bezug zu 5 beschrieben wurde, verteilt werden.
  • 8 stellt eine beispielhafte Sequenz 81 der Schritte zum Detektieren eines Ereignisses in der Zeitreihe der Sensordaten 82 dar. Die Sensordaten 82 werden von zumindest einem Sensor 31, 32, 33, 34, 35 in einer Sensorbaugruppe 12, wie in Bezug zu 3 beschrieben, erhalten. Die Sequenz der Schritte umfasst Vorverarbeiten 83 der Zeitreihe, Segmentieren 84 der Zeitreihe in eine Vielzahl von Fenstern, Detektieren 85 von Ausreißern, Extrahieren 86 einer Vielzahl von Merkmalen von der Zeitreihe in jedem der Vielzahl von Fenstern und Detektieren 87 einer Ereignisklasse, die mit der Vielzahl von Fenstern verknüpft ist basierend auf der Vielzahl von Merkmalen, die von der Zeitreihe in jedem der Vielzahl von Fenstern extrahiert wurde. Im Folgenden wird jeder dieser Schritte genauer beschrieben.
  • Die Zeitreihe kann geschrieben werden als T = (s[0], s[1], ..., s[N – 1]), wobei N die Anzahl der Abtastungen und s[k] die Amplitude der Sensordaten auf einer Achse beim Abtastpunkt k bezeichnet.
  • Eine beispielhafte Zeitreihe, welche von einem 3-Achsenbeschleunigungsmesser erhalten wurde, wird in 9 gezeigt. In diesem Plot bezeichnet die Abszisse die Zeit in Sekunden wobei die Ordinate die Beschleunigung zeichnet, welche in Einheiten der Erdgravitationsbeschleunigung g gemessen wurde. Der Plot zeigt die zeitliche Entwicklung der Beschleunigungen in aller der drei Dimensionen (drei Achsen). Diese beispielhafte Zeitreihe wurde durch ein Beschleunigungsmesser erhalten, welcher in einem Fußballschuh platziert wurde, während der Fußballspieler, der den Schuh getragen hat, zwei aufeinanderfolgende Kurzpässe gemacht hat
  • In einem ersten Sequenzschritt 83 wird die Zeitreihe der Sensordaten vorverarbeitet, z. B. durch Tiefpassfiltern, Downsampling, Butterworthfiltern, Generieren eines gleitenden Durchschnitts oder ähnliche Verfahren. Tiefpassfiltern entfernt die Hochfrequenzkomponenten von dem Signal, welche im Wesentlichen durch Rauschen verursacht werden. Downsampling bildet eine Zeitreihe, welche mit einer hohen Frequenz (z. B. 1–1000 Hz, vorzugsweise 1000 Hz) abgetastet wurde, auf eine niedrigere Frequenzzeitreihe (z. B. 1–1000 Hz, vorzugsweise 100 Hz) ab durch Kombinieren von angrenzenden Abtastpunkten. Neben Entfernen von Hochfrequenzkomponenten reduziert dies auch Rechenkomplexität da weniger Datenpunkte verarbeitet werden müssen.
  • Für den Schritt 84 des Segmentierens kann der Signalgrößenvektor SMV der drei Achsen s1, s2, s3 des Beschleunigungsmesser gemäß SMV [k] =
    Figure DE102015207415A1_0002
    berechnet werden.
  • Mehr Informationen über SMV können in Shaoyan Zhang, Alex V. Rowlands, Peter Murray, and Tina L. Hurst, "Physical Activity Classification Using the GENEA Wrist-Worn Accelerometer", Medicine & Science in Sports & Exercise, 44(4): 742–748, 2012, gefunden werden. Der Signalgrößenvektor wird verwendet um energiereiche Regionen in dem Signal zu bestimmen. Ereignisse, wie Kurzpässe, werden durch hohe Spitzenwerte, wie es in 10 gesehen werden kann, dargestellt.
  • Zum weiteren Verarbeiten werden nur Signalteile verarbeitet, in welchen der SMV einen vordefinierten Grenzwert überschreitet. Diese Prozedur minimiert die Anzahl von Fenstern, welche weiterverarbeitet werden. Aufeinanderfolgende Abtastungen, für welche die Amplituden über dem Grenzwert sind, werden als ein Signalpatch bezeichnet.
  • Für jedes Signalpatch bestimmt der Zeitpunkt, welcher dem maximalen SMV entspricht, das Zentrum eines Fensters mit fester Größe, welches für das Weiterverarbeiten verwendet wird. 10 zeigt zwei Beispiele von Fenstern.
  • Finden einer optimalen Fenstergröße für alle Ereignisse ist herausfordernd, da die Länge von Ereignissen sich unterscheiden kann, z. B. gezielter Schuss und Kontrolle. Deshalb wird eine neue und intelligente Fenstergrößen-Bestimmungs-Prozedur vorgeschlagen, welche die Fenstergröße an die Länge des Ereignisses anpasst. Der SMV von einem Signalpatch wird durch eine Gaußkurve modelliert. Die Parameter der Gaußkurve können verwendet werden um eine optimale Fenstergröße für jedes Ereignis abzuschätzen.
  • Die Zeitreihe kann auch in Schritt 84 in eine Vielzahl von Fenstern segmentiert werden, welche Abgleichen mit einer Vorlage von einem Ereignis verwendet, welches definiert ist als Verwenden bekannter Signale von vorher aufgenommenen Ereignissen. Das Abgleichen kann basieren auf Korrelation, Matchedfiltering, Dynamic Time Warping oder Longest Common Subsequence (LCSS) und seine Schiebefenstervariante, Warping LCSS.
  • Die Sensordaten (Beschleunigung, Winkelgeschwindigkeit, usw.) des Fensters sind die Eingabe eines Ausreißer-Detektieren-Schritts 85. Das Ziel ist Fenster zu entfernen, welche Beispiele von ungewünschten Aktionen, z. B. Joggen, Laufen oder Tackling, beinhalten. Das vorgeschlagene Verfahren benutzt ein regelbasiertes System, welches die Plausibilität der Parameter der Gaußkurve bewertet, und One-class Support Vector Machines für jedes gewünschte Ereignis. Details von One-class Support Vector Machines können in Bernhard Schölkopf, John C. Platt, John Shawe-Taylor, Alex J. Smola and Robert C. Williamson, "Estimating the Support of a High-Dimensional Distribution", Neural Computation, 13(7): 1443–1471, 2001, gefunden werden.
  • Der nächste Schritt wie in 8 gezeigt ist Merkmal-Extraktion 86. In diesem Schritt 86 wird eine Vielzahl von Merkmalen von den Sensordaten in jedem der Fenster extrahiert. Merkmale, auch als charakteristische Variable bezeichnet, werden extrahiert um das bestimmte Fenster in einer niedrigeren Dimension darzustellen.
  • Die extrahierten Merkmale können zum Beispiel basieren auf einem oder mehrerer von zeitlicher Statistik, räumlich-zeitlicher Statistik (d. h. Statistik über Zeit und Orte von mehr als einem Sensor), spektraler oder Ensemblestatistik durch Anwenden von zum Beispiel Wavelettransformation, Hauptkomponentenanalyse (PCA), Koeffizienten eines Linear-prädiktiven Kodierers (LPC), Koeffizienten (z. B. spektraler Schwerpunkt und Bandbreite) einer schnellen Fourier Transformation (FFT). Andere Merkmale können auch verwendet werden.
  • Merkmale basierend auf zeitlicher Statistik werden durch Anwenden von Multivariate Analysen auf ein Fenster extrahiert, um eine niedrigere dimensionale Darstellung des Fensters zu erhalten. Verfahren von Multivariaten Analysen werden zum Beispiel in Alvin C. Rencher and William F. Christensen, Methods of multivariate analysis, 3rd edition, John Wiley & Sons, 2012, zusammengefasst.
  • Menschliche Bewegung hat analog zu menschlichen Gelenken begrenzte Freiheitsgrade, welche zu redundanten Beobachtungen von mehreren Sensorachsen führen. Zum Beispiel stehen Körperachsen miteinander in Beziehung während des Zurückbewegens zum Initiieren eines Schusses. Die lineare Beziehung zwischen Sensorachsen, d. h. unterschiedliche Dimensionen von Beobachtungen, können durch die Abtastkorrelation gemessen werden. Der Korrelationskoeffizient zwischen zwei Sensorachsen kann durch den Pearson-Korrelationskoeffizienten abgeschätzt werden.
  • Der Abtastmittelwert eines Fensters wird durch Mittel der Datenabtastungen in einer Dimension definiert, d. h. die Daten, welche mit einer Sensorachse verknüpft sind. Außerdem sagt die Signalenergie etwas über die Bewegungsintensität aus. Menschliche Ereignisse können somit durch Reflektieren der Intensität analysiert werden: zum Beispiel wird im Fußball vermutet, dass das Schussereignis eine höhere Energie hat als andere Ereignisse wie Kurzpässe oder Dribbling-Aktionen. Die Signalenergie in einem Beobachtungsfenster in Dimension d (d. h. Sensorachse d) wird durch
    Figure DE102015207415A1_0003
    bewertet.
  • Um die gesamte Intensität der menschlichen Bewegung zu erfassen, wird die Bewegungsintensität, MI, als Ansammlung der normalisierte Energien über alle Dimensionen D eineführt:
    Figure DE102015207415A1_0004
    Zusätzlich wird der normalisierte Signalgrößenbereich, SMA, definiert als
    Figure DE102015207415A1_0005
    durch Addieren der Absolutwerte |sd[k]|. Statistik höherer Ordnung, wie Wölbung und Schiefe, können auch verwendet werden.
  • Zusätzlich oder alternativ können räumlich-zeitliche Merkmale, wie etwa Minimal- und Maximalwert entlang der Dimensionen des Fensters, Informationen von intensiven Spitzenwerten im Signal erfassen. Somit beinhaltet beispielhafte zeitliche und räumlich-zeitliche Statistik den Abtastmittelwert, normalisierte Signalenergie, Bewegungsintensität, Signalgrößenbereich, Korrelation zwischen Achsen, Maximalwert in einem Fenster und Minimalwert in einem Fenster.
  • Zusätzlich oder alternativ zu zeitlicher oder räumlich-zeitlicher Statistik kann auch Waveletanalyse für Merkmal-Extraktion 86 verwendet werden. Waveletanalyse kann nicht stationäre Signale charakterisieren dessen spektrale Statistik sich über die Zeit ändert. Außerdem hat sie die Eigenschaft von transienten Ereignissen zu reflektieren, da sie zeitliche und spektrale Merkmale eines Signals gleichzeitig erfasst. Wavelettransformation wird durchgeführt durch Verwenden einer einzelnen Prototypfunktion, welche Wavelet genannt wird, welche äquivalent zu einem Bandpassfilter ist. Mehrfach skalierte Versionen des Wavelets werden mit dem Signal zusammengefaltet um seine Hoch-/Niedrigfrequenzkomponenten durch eine verengte/gelöschte Version des Wavelets zu extrahieren. Wenn ein Fenster von Sensordaten-Beobachtung gegeben wird, wird eine Mehrfachauflösungs-Analyse im Zeit-Frequenzbereich durch Weiten des Basiswavelets durchgeführt. Die Wavelettransformation bietet höhere zeitliche Auflösung der Hochfrequenzkomponenten an und eine höhere Frequenzauflösung der Niedrigfrequenzkomponenten. Details der Waveletanalyse können in Martin Vetterli and Cormac Herley, "Wavelets and filter banks: Theory and design", IEEE Transactions on Signal Processing, 40(9): 2207–2232, 1992, gefunden werden.
  • Diskrete Wavelettransformation kann verwendet werden um die Charakteristiken von menschlicher Bewegung zu erfassen. Sie kann effizient als schnelle Wavelettransformation implementiert werden. Sie wird durch eine Filterbank dargestellt, welche die Signale durch eine Reihe von Tiefpass- und Hochpassfiltern zerlegt. Bei jedem Level i wird das Eingangssignal s[k] durch einen Tiefpassfilter gi[k] und einen Hochpassfilter hi[k] gefiltert. In aufeinanderfolgenden Leveln wird das tiefpassgefilterte Signal nacheinander in eine niedrigere Auflösung zerlegt, in dem es durch einen Faktor von zwei downgesamplet wird, wobei die hochpassgefilterten Signale als Detailkoeffizienten qi dienen, welche als ein Merkmal des entsprechenden Fensters verwendet werden können. Somit werden die Sensordaten des Fensters durch Detailkoeffizienten qi dargestellt, welche als Merkmale dienen. Die Waveletzerlegung stellt auch Approximationskoeffizienten (letzte Zerlegung) dar, welche auch als Merkmale verwendet werden können. Außerdem können Merkmale, welche auf Approximations-/Detailkoeffizienten basieren, berechnet werden (wie die zuvor genannten: Signalenergie, usw.). Falls das Hochpasssignal gleich zerlegt wird, wird die Transformation Wavelet-Paketzerlegung genannt. Details der diskreten Wavelettransformation um Details der menschlichen Bewegung zu erfassen, können in Martin Vetterli and Cormac Herley, "Wavelets and filter banks: Theory and design", IEEE Transactions on Signal Processing, 40(9): 2207–2232, 1992, gefunden werden.
  • Daubechies-Wavelets können in dem Zusammenhang der vorliegenden Erfindung verwendet werden, weil sie effizient berechenbar implementiert werden können. Zum Beispiel kann ein Daubechies-Wavelet der siebten Ordnung für Merkmalextrahieren verwendet werden.
  • Somit kann eine Vielzahl von Merkmalen extrahiert werden basierend auf zeitlicher, räumlich-zeitlicher, spektraler oder Ensemblestatistik durch Anwenden von Waveletanalyse, Hauptkomponentenanalyse und dergleichen. Beispielhafte Merkmale beinhalten Abtastmittelwert, normalisierte Signalenergie Ed, Bewegungsintensität (MI), Signalgrößenbereich (SMA) Korrelation zwischen Achsen, Maximalwert in einem Fenster, Minimalwert in einem Fenster, maximaler Detailkoeffizient qi am Level l, welcher durch eine Wavelettransformation erhalten wurde.
  • Wenn ein Merkmalsatz von allen extrahierten Merkmalen gegeben ist, sollten die relevantesten und nicht redundanten Merkmale ausgewählt werden um die Komplexität der Implementation des Verfahrens zu reduzieren. Jegliche Redundanz zwischen Merkmalen kann in unnötige erhöhte Rechenzeit resultieren. Gleichzeitig sollte diese Untermenge von Merkmalen zu der besten Klassifikationsleistung führen. Man kann zwischen unterschiedlichen Auswahltechniken unterschieden: Wrapper-Verfahren, Auswahlfilter und eingebettete Ansätze.
  • Wrapper-Verfahren evaluieren die Leistungen des Verfahrens gemäß der Erfindung durch Verwenden unterschiedlicher Merkmalsuntermengen. Zum Beispiel fügt aufeinanderfolgende Vorwärtsauswahl die Merkmale mit den besten Ergebnissen iterativ hinzu. Auswahlfilter sind ein schnelles Verfahren um die wichtigsten Merkmale zu finden, da kein Klassifikator in die Auswahlprozedur involviert ist. Die gegenseitigen Informationen können auf die Relevanz von Merkmalsuntermengen hinweisen und können durch unterschiedliche Filtertechniken abgeschätzt werden.
  • Schließlich kann eine eingebettete Auswahl verwendet werden, um vollständige Suche durch Wrapper-Verfahren und die Abschätzung der Wahrscheinlichkeits-Dichte-Funktion durch Auswahlfiltern zu vermeiden. Eingebettete Auswahl ist vernünftig da einige Klassifikatoren, welche bereits im Verfahrensschritt 87 verwendet wurden, eine Bewertung der Merkmalswichtigkeit beinhalten.
  • Zum Beispiel können Random-Forest-Klassifikatoren für Merkmalsauswahl verwendet werden. Ein Random-Forest kann als ein Ensemble von Entscheidungsbaum-Klassifikatoren beschrieben werden, der durch zufällig gewählte Merkmale der Trainingsdaten wächst. Für jeden Baum wird eine Untermenge von Trainingsdaten vom ganzen Trainingssatz mit Zurücklegen (Bootstrapping) gezeichnet. Innerhalb dieser Untermenge werden Merkmale zufällig ausgewählt und Grenzwerte werden mit ihren Werten bei jedem Abzweigungsknoten des Entscheidungsbaums gebaut. Während der Klassifikation entscheidet jeder Baum für die wahrscheinlichste Klasse eines beobachteten Merkmalsvektors und fügt die Ausgaben aller Bäume zusammen. Die Klasse mit den meisten Stimmen ist das finale Ergebnis des Klassifikators (Mehrheit der Abstimmung). Details zu Random-Forest-Klassifikatoren können in Leo Breiman, "Random forests", Machine learning, 45(1): 5–32, 2001, gefunden werden.
  • Wie in 8 gezeigt, wird in dem nächsten Schritt 87 der Sequenz gemäß der Erfindung eine Ereignisklasse, welche mit jedem der Fenster verknüpft ist basierend auf der Vielzahl von Merkmalen, die von den Sensordaten in den entsprechenden Fenster extrahiert wurde, abgeschätzt. Dieser Schritt wird auch als Klassifikation bezeichnet.
  • Mehrere Klassifikatoren können verwendet werden wie etwa naiver Bayes-Klassifikator, Support Vector Machine und Random-Forest, AdaBoost-Klassifikator, einem Nächster-Nachbar-Klassifikator, einem Neuronalen-Netzwerk-Klassifikator, einem Perzeptron-Klassifikator, einem regelbasierten Klassifikator oder einem baumbasierten Klassifikator.
  • In dem naiven Baes-Ansatz kann die bedingte Wahrscheinlichkeits-Dichte-Funktion geschrieben werden als
    Figure DE102015207415A1_0006
    unter der Verwednung des Satzes von Bayes. Anstatt des Maximierens der hinteren Wahrscheinlichkeits-Dichte-Funktion kann die klassenbedingte Wahrscheinlichkeits-Dichte-Funktion p(x ~/y ~) maximiert werden, um die Klasse y ~:
    Figure DE102015207415A1_0007
    abzuschätzen. Naive Bayes-Klassifikation löst diese Gleichung unter der Annahme, dass alle Komponenten des Merkmalvektors x ~ untereinander unabhängig sind. Dies führt zu der Vereinfachung:
    Figure DE102015207415A1_0008
  • Die bedingten Wahrscheinlichkeits-Dichte-Funktionen der Klasse, d. h. das Auftauchen des Merkmals x ~f bei der gebenden Klasse y ~, werden als gaußsche WahrscheinlichkeitDichte-Funktionen angenommen: p(x ~f|y ~) ~ N(x ~f; μf, σ 2 / f). Somit werden die Wahrscheinlichkeit-Dichte-Funktionen nur durch ihre Mittelwerte μf und Varianzen σ 2 / f definiert.
  • Wenn jetzt ein ungekennzeichneter Merkmalsvektor x ~ im Verfahrensschritt 140 gegeben ist, werden die Gaußverteilungen p(x ~f|y ~) für jede Klasse y ~ ∊ Y bei jedem Merkmalswert von x ~ ausgewertet. Dann wird die Klasse durch die oben abeleitete Gleichung abgeschätzt:
    Figure DE102015207415A1_0009
    um y ~ zu erhalten. Dadurch kann die Ereignisklasse in Verfahrensschritt 87 basierend auf einem naiven Bayes-Klassifikator abgeschätzt werden. Eine Übersicht des naiven Bayesansatzes zur Klassifikation kann in Sergios Theodoridis and Konstantinos Koutroumbas, Pattern Recognition, 4th edition, Elsevier, 2008 gefunden werden.
  • Ein anderer Klassifikator, welcher in Verfahrensschritt 87 verwendet werden kann, basiert auf einer Support Vector Machine (SVM). SVMs fokussieren sich direkt auf die Klassengrenzen, d. h. im Fall von linearer SVM auf die Klassengrenzen des originalen Merkmalraums. Der Merkmalraum wird definiert als die Abbildung der Merkmalsvektoren in ein multidimensionales System, wo jede Dimension des Merkmals Vektor einer Koordinatenachse entspricht. Das Konzept ist den größten linearen Rand zwischen den Merkmalsvektoren von zwei Klassen zu finden wie in 11 verdeutlicht. In diesem Fall sind die zweidimensionalen Merkmalssätze linear trennbar. Die Merkmalsvektoren 111, 112 und 113, welche auf den Rändern 114 und 115 liegen, welche Supportvektoren genannt werden, definieren die optimale Hyperebene.
  • Wenn ein Trainingdatensatzes D gegeben wird, werden die Merkmalsvektoren des Ereignisses in dem Merkmalsraum analysiert. Ein maximaler Rand wird durch die SVM gefunden, welcher die Klassen mit einem maximalen Abstand trennt. Dieser Abstand gleicht dem maximalen Abstand zwischen den konvexen Hüllen der Merkmalssätze. Neben dem Verwenden eines linearen Kernels, können andere Kerneltypen angewendet werden, z. B. polynomial oder RBF (Radiale Basisfunktion). Eine detaillierte Beschreibung kann z. B. in Richard O. Duda, Peter E. Hart and David G. Stork, "Pattern Classification", 2nd edition, John Wiley & Sons, 2000, gefunden werden.
  • Wenn jetzt ein ungekennzeichneter Merkmalsvektor x ~ im Verfahrensschritt 87 gegeben ist, so wird dieser im Merkmalsraum analysiert. Der Abstand und die Lage in Bezug zur trennenden Hyperebene sagen etwas über die bedingten Wahrscheinlichkeiten aus. Jedoch werden die Wahrscheinlichkeiten nicht direkt bereitgestellt, da nur Entfernungen gemessen werden. Das Vorzeichen der Zeilfunktion entspricht der wahrscheinlichsten Klasse und wird als Abschätzung y ~ verwendet. Im Falle, dass mehr als ein Ereignis bestimmt wird, müssen die Abstandsvektoren zu mehreren Hyperebenen, welche den Merkmalsraum trennen, betrachtet werden.
  • Ein weiterer Ansatz, welcher in Verfahrensschritt 87 verwendet werden kann, basiert auf Random-Forests. Wie bereits erwähnt, involviert ein Random-Forest ein Ensemble von Entscheidungsbaumklassifikatoren, welche durch zufällig gewählte Merkmale von dem Trainingsdatensatz wachsen.
  • Wenn ein Trainingsdatensatz D gegeben ist, können die Bäume gebaut werden wie beschrieben z. B. in Trevor Hastie, Robert Tibshirani, Jerome Friedman, "The elements of statistical learning, volume 2, Springer 2009. Für jeden Baum wird eine Untermenge von Daten von dem Trainingsdatensatz durch Ersetzen (Urladendaten) gezeichnet. Dann wird jeder Baum anhand von Bootstrapingdaten wachsen gelassen durch rekursives Wiederholen der folgenden Schritte bis die minimale Knotengröße erreicht wird: Zuerst wird eine Untermenge von Merkmalen zufällig ausgewählt. Zweitens wird aus der Untermenge das Merkmal, welches das beste Aufteilen zwischen Klassen bereitstellt, ausgewählt, um den Grenzwert bei dem aktuellen Knoten zu bauen. Das gewählte Merkmal wird für die nächste Iteration ausgelassen. Drittens wird dieser Knoten in Tochterknoten aufgeteilt.
  • Wenn nun ein ungekennzeichneter Merkmalvektors x ~ in Schritt 87 gegeben ist, wird die Klasse y ~ gemäß der abgeschätzten Klasse von allen Bäumen abgeschätzt. Die Klasse mit der Mehrzahl von Stimmen entspricht der Abschätzung des Random-Forest y ~.
  • Die Klassifikation von gewünschten Ereignissen, z. B. Kurzpass (SP), langer Pass (LP), Kontrolle (CO) und gezielten Schuss (ST) wird in einer hierarchischen Art durchgeführt.
  • Wie in 12 gezeigt, kann der Verfahrensschritt 87 zuerst zwischen zwei Ereignisgruppen („SP/CO” und „LP/ST”) unterscheiden. In einem weiteren Klassifikationsschritt, falls einer der Ereignisgruppen in den ersten Klassifikationsschritt bestimmt worden ist, wird eines der Ereignisse in dieser Gruppe bestimmt. Somit wird das Ereignis „SP” oder „CO” im Beispiel von 12 in der Gruppe „SPCO” bestimmt und ddas Ereignis „LP” und „ST” in der Gruppe „LPST” bestimmt. Im ersten Level kann also eine MISC/NULL-Klasse modelliert werden, welche Aktionen wie Laufen/Joggen/Tackeln beinhaltet, welche nicht in der vorher angewandten Ausreißer-Detektionsprozedur entfernt wurden. Somit können zwei Klassifikationsschritte in diesem Beispiel verwendet werden. Im Allgemeinen können jedoch nur ein einzelner Klassifikationsschritt oder mehr als zwei Klassifikationsschritte gemäß der vorliegenden Erfindung verwendet werden.
  • Basierend auf dem Ereignis, das wie oben beschrieben detektiert wird, kann Feedback an die Person bereitgestellt werden. Somit kann die Person informiert werden über z. B. ihre Leistung während dem Training oder eines Spiels. Vorzugsweise wird solch ein Feedback in Echtzeit bereitgestellt.
  • Zum Beispiel kann während die Person, welche die Sensorbaugruppe 12 trägt, eine Sportaktivität durchführt, die zentrale Verarbeitungseinheit 36 in der Sensorbaugruppe 12 die Sensordaten verarbeiten und bestimmte Feedbackdaten generieren, wie etwa Schritte, die gemacht wurden, Laufdistanz, verbrannte Kalorien, eine Zählung von Schüssen, Pässen, gezielten Schüssen, usw.
  • Feedback kann an die Person basierend auf dem abgeschätzten Ereignis bereitgestellt werden. Somit kann die Information über z. B. ihre Leistung während dem Training oder eines Spiels informiert werden. Solch ein Feedback könnte in Echtzeit bereitgestellt werden. Zum Beispiel könnte Feedback auf einer Anzeige 313 der Sensorbaugruppe 12 bereitgestellt werden oder auf einem Smartphone (z. B. welches Laufdistanz, Anzahl der gezielten Schüsse, usw. zeigt), auf eine Anzeige einer Uhr oder einer externen Anzeige, welche z. B. auf einem Sportplatz angeordnet ist.
  • Feedback kann auch nicht in Echtzeit bereitgestellt werden. Zum Beispiel könnte Feedback nach einer Aktivität bereitgestellt werden (z. B. nach einem Spiel oder Training) z. B. in einer Umkleidekabine (auf eine Anzeige, welche an einer Wand befestigt ist oder auf einem elektronischen Gerät einer Person wie etwa einem Smartphone, Tablet-PC, usw.), Sportbereich (z. B. eine Anzeige in einem Stadion, Halle, Feld, usw.) oder Zuhause. Zu diesem Zweck könnten die Feedbackdaten in einer Datenbank oder Cloud-Speicher, wie oben beschrieben, abgespeichert werden.
  • Außerdem könnte zusammenfassende Statistik basierend auf dem bestimmten Ereignis bereitgestellt werden. Dadurch kann die Statistik auf spezifische Ereignisklassen zugeschnitten werden. Zum Beispiel kann in einer Fußball-Anwendungsstatistik über die Anzahl und Intensität von gezielten Schüssen, Schussgeschwindigkeit, Zeit am Ball, Anzahl von langen Pässen und Kurzpässen, Länge der Dribblings, Laufzeiten mit/ohne Ball, Zeit des Nichtbewegens, jonglieren, durchgeführte Tricks, usw. bereitgestellt werden. Zusammenfassende Statistik für Basketball kann umfassen die Anzahl von Korblegern, Pässe und Dribblings, die Zeit in Ballbesitz, Intensität der Sprünge, usw. Zusammenfassende Statistik für Tennis kann umfassen die Anzahl von Schlägen, geschätzte Ballgeschwindigkeiten, der Prozentsatz von Vorhand- und Rückhandschlägen, die Anzahl und Intensität von Aufschlägen, usw. Diese Statistiken können bereitgestellt werden, falls der Tennisspieler mit einer Sensorbaugruppe 12 in der Nähe seiner Hand ausgerüstet ist. Falls der Tennisspieler zusätzlich mit einer Sensorbaugruppe 12 in der Nähe einer oder beider seiner Füße ausgerüstet ist, kann auch Laufstatistik bereitgestellt werden, wie etwa die Gesamtentfernung, Anzahl von Sprints (z. B. zum Netz) usw.
  • Ein beispielhafter Algorithmus zur Abschätzung der Ballgeschwindigkeit umfasst Vorverarbeiten, Merkmalsextraktion und Regression. In dem Vorverarbeitungsschritt wird ein Fenster mit fester Größe, z. B. um die energiereichen Bereiche der Sensordaten herum, definiert. Merkmale werden berechnet basierend auf den Sensordaten in dem Fenster, z. B. Anzahl von Extrempunkten, Mittelwert, Varianz, Schiefe, Wölbung, Spline-Interpolation oder maximale Amplitude. Zusätzliche Merkmale können berechnet werden, z. B. auf dem Signal des Signalgrößenvektors des Beschleunigungsmessers. In dem Regressionsschritt können unterschiedliche Ansätze angewendet werden, z. B. Support Vector Regression oder lineare Regression. Details zu Support Vector Regression können in Alex J. Smola and Bernhard Schölkopf, "A tutorial on support vector regression", Statistics and Computing, 14(3): 199–222, gefunden werden.
  • Wie in 9 gesehen werden kann, kann der Maximalbereich des Sensors während eines Hochintensitätsereignisses erreicht werden. Um den Nachteil der Sättigung zu überwinden kann ein Sensor mit einem größeren Bereich verwendet werden. Durch Verwenden von nur einem Sensor, z. B. einem Beschleunigungsmesser, muss ein Kompromiss zwischen einem niedrigen Sensorbereich, aber einer hohen Auflösung, und einem hohen Sensorbereich, aber einer niedrigen Auflösung, gefunden werden. Um die Vorteile von beiden Sensortypen zu benutzen, können Sensor-Fusionstechniken angewendet werden.
  • Anstatt die oben genannte Regressionarten zu verwenden, kann Hauptkomponenten-Regression verwendet werden, welche die Reduktion von Merkmalsdimensionen ermöglicht und mit dem Problem der Multikollinearität umgeht. Eine detaillierte Übersicht der Hauptkomponentenregression kann in William F. Massy, "Principal Components Regression in Exploratory Statistical Research", Journal of the American Statistical Association, 60(309): 234–256, 1965, gefunden werden.
  • Die zusammenfassende Statistik kann mit einem Video kombiniert werden, welches detektierte Ereignisse eines bestimmten Spielers (z. B. all seine gezielte Schüsse) zeigt. Dadurch wird eine kombinierte Zusammenfassung oder Feedback erhalten. Die Kombination von Video und Statistik kann auf dem Gerät 14 durchgeführt werden oder kann auf einem Verbrauchergerät durchgeführt werden wie etwa einem Mobilgerät 51a, 51b (z. B. ein Smartphone, Tablet-PC, Smartwatch), Desktop-PC 51c oder Notebook 51d.
  • Zusammenfassende Statistik basierend auf dem detektierten Ereignis (und optional ein generierten Video von bestimmten Ereignissen) könnte zu anderen Menschen übertragen werden wie einem Trainer, Zuschauer oder anderen Menschen, welche in diese Statistik interessiert sind. Die Übertragung könnte über das Internet durch einen Livestream sein. Die Übertragung könnte auf Medien basiert sein wie etwa Wifi, WLAN, BT, BTLE, NFC, RFID, USB, Ethernet, Thunderbolt und dergleichen. Basierend auf der zusammenfassenden Statistik (und optional dem generierten Video von bestimmten Ereignissen) könnte der Spieler Feedback von z. B. einem Trainer oder einem Talentsucher erhalten wie weiter unten beschrieben wird.
  • Außerdem könnte basierend auf der zusammenfassenden Statistik (und optional auf dem generierten Video von bestimmten Ereignissen) ein spezieller Bereich in einem Geschäft oder einem Stadion geöffnet werden, d. h. abhängig davon wie gut der Spieler gespielt hat. Falls zum Beispiel der Spieler eine bestimmte Anzahl von Ballkontakten werden eines Spiels erreichte, wird er mit dem Zugang zu einem bestimmten Bereich in einem Geschäft oder Stadion ausgezeichnet.
  • Die Sensordaten können auch verwendet werden um bereitzustellen einen Übersteiger-Zähler (d. h. die Anzahl der Übersteiger), einem Fußballaktivitätüberwacher, einem Ball Hochhalten-Tracker (d. h. Ballkontakte zählen während der Ball jongliert wird), „Around-the-world” (d. h. den Ball mit einem Bein hochhalten und versuchen das Bein um den Ball herum zu bewegen bevor dieser den Boden berührt) oder einen eins-gegen-eins Zähler (d. h. Zählen wie oft der Spieler in einer eins-gegen-eins Situation auf dem Feld verwickelt war, zum Beispiel beim Verusch den Gegener zu umgehen und/oder auszutricksen). Zum Beispiel könnten die Sensordaten analysiert werden um die Anzahl von Ballkontakten, welche ein Spieler hatte, ohne dem Ball zu erlauben den Boden zu berühren (Ball Hochhalten), zu bestimmen. Die oben genannte Statistik könnte bestimmt werden basierend auf zugehörigen detektierten Ereignissen, d. h. ein Ereignis könnte der Kontakt eines Fußes mit dem Ball (für Ball Hochhalten) oder eine Kreisbewegung (für „Around-the-wold”) sein.
  • Falls ein Ereignis, welches mit einem Schuss verknüpft ist, detektiert wird, kann die Ballgeschwindigkeit basierend auf den Sensordaten abgeschätzt werden. Somit kann die Person Feedback über ihre Schussleistung erhalten. Die Ballgeschwindigkeit kann durch Vorverarbeiten, Merkmalsextraktion und Regression abgeschätzt werden. Die Sensordaten können segmentiert werden und Merkmale können für jeden Segmentierungsbereich berechnet werden. Unterschiedliche Regressionstechniken können angewendet werden, welche die berechneten Merkmale als Eingabe verwenden
  • Nach einem Spiel (z. B. einem Fußballspiel von zwei Mannschaften, einem Tennisspiel von zwei Spielern, usw.) kann eine zusammenfassende Statistik zusammen mit einem Video, welches von den detektierten Ereignissen kompiliert wurde, automatisch zu einer globalen Datenbank gesendet werden wie etwa einer Cloud für Trainer, Talentsucher oder anderen Menschen um die zusammenfassende Statistik und das Video zu überprüfen. Details von solchen Datenübertragungen sind in Bezug zu 5 bereitgestellt worden. Ein Trainer oder Talentsucher könnte dann auf die Cloud zugreifen mit einem Mobilgerät 51a, 51b, einem Desktop-PC 51c oder einem Notebook 51d, wie in Bezug zu 5 beschrieben, und das Video und/oder zusammenfassende Statistik studieren, welche gemäß der vorliegenden Erfindung generiert wurden. Basierend darauf könnten der Trainer oder Talentsucher Feedback an die Spieler bereitstellen, welche im Video gekennzeichnet sind (z. B. durch Posten eines Kommentars oder einer Privatnachricht durch eine soziale Medienplattform oder durch E-Mail, SMS, usw.). Ein Talentsucher könnte den Spieler für eine weitere Bewertung auswählen.
  • Heatmaps könnten basierend auf Daten erstellt werden, welche durch einen Satellitennavigationssystemmodul 312 im Kontext der vorliegenden Erfindung bereitgestellt werden, sodass auf einer Karte andere Personen sehen können wo und wann Tricks, gezielte Schüsse, usw. wo gemacht worden sind. Eine Heatmap in diesem Kontext wird als eine Karte verstanden, die mit jedem Standort die Dauer verknüpft, welche die Person an diesem bestimmten Standort verbracht hat. Die Dauer wird dann auf einem Farbschema abgebildet. Zum Beispiel wird eine lange Dauer durch die Farbe Rot angegeben, wohingegen eine kurze Dauer durch die Farbe Blau angegeben wird. Dazwischenliegende Werte werden durch entsprechende zwischenliegende Farben (z. B. Farben von einem Spektrum der natürlichen Farben) angegeben. Die Heatmap kann verwendet werden, um zu analysieren wo die Personen aktuell die meiste Zeit, z. B. während eines Spiels, verbracht hat. Zu diesem Zweck könnte die Heatmap mit einem Bild oder einer schematischen Zeichnung des Spielfeldes (z. B. ein Fußballplatz, Tennisplatz, Basketballfeld, usw.) überlagert werden. Dadurch kann die Heatmap die bevorzugte Position der Person anzeigen.
  • Tricks, welche durch einen professionellen Spieler durchgeführt wurden, könnten durch eine Sensorbaugruppe 12 und der Kamera 11 oder den Kameras 11a, 11b, 11c, 11d, 11e aufgenommen werden. Andere Personen werden dann gefragt den Trick zu wiederholen und werden dann belohnt oder ausgezeichnet abhängig davon wie gut sie den Trick wiederholten. Anstatt von einem professionellen Spieler könnte der Trick durch einen Amateur, Freizeitspieler oder jeden anderen Spieler oder Person durchgeführt werden.
  • Basierend auf den aufgenommenen Sensordaten könnte die Person Punkte oder Punktzahlen erhalten Zum Beispiel abhängig davon wie lange und wie intensiv die Person eine bestimmte Aktivität, z. B. Fußball, Basketball oder Tennis durchführte, wird sie mit Punkten oder Punktzahlen ausgezeichnet. Falls zum Beispiel der Benutzer Fußball oder Basketball in einem Park oder auf der Straße spielte, Tricks ausführte oder sogar ein Fußball-, Basketball- oder Tennisspiel auf einem PC oder Spielekonsole, wo er durch einen Avatar dargestellt wird, kann er mit entsprechenden Punkten oder Punktzahlen ausgezeichnet werden. Es ist auch möglich bestimmte Ereignisse zu zählen (z. B. gezielte Schüsse, lange Passe, Kurzpässe, Dribblings, Tricks, usw.), welche von den Sensordaten extrahiert werden, und darauf basieren Vorteile, Auszeichnungen und/oder Belohnungen an die Person bereitzustellen, falls er eine bestimmter Menge von Ereignissen erreicht hat.
  • Punkte oder Punktzahlen könnten im Allgemeinen ausgezeichnet werden, falls der Benutzer aktiv ist. Die Sensorbaugruppe 12 arbeitet dann wie ein Aktivitätstracker wie es vorher beschrieben worden ist. Je mehr Bewegungen der Benutzer durchführt desto mehr Punkte oder Punktzahlen erhält er.
  • Die Punkte oder Punktzahlen können einen speziellen Bereich in einem Geschäft freischalten. Falls zum Beispiel die Person eine bestimmte Anzahl von Punkten oder Punktzahlen (z. B. 1000) erreichte, kann eine spezieller Bereich in einem Geschäft für ihn freigeschaltet werden, d. h. ihm wird Zugang zu diesem Bereich gewährt. Der Bereich kann spezielle Angebote wie limitierte Editionen oder Sammlerstücke beinhalten. Der Bereich kann verschlossen für andere Personen durch eine automatische Tür oder Barriere sein. Falls die Person sich an die Tür oder Barriere nähert, kann ein drahtloses Sender-Empfänger-Modul 39 in der Sensorbaugruppe 12 ein drahtloses Signal (z. B. durch Wifi, WLAN, Bluetoth, Bluetooth Low Energy, Zigbee, ANT, ANT+) zu einem Empfänger in der Nähe der Tür oder Barriere senden, welches die Person identifiziert. Falls die Person genügend Punkte oder Punktzahlen hat, kann die Tür oder Barriere sich öffnen und der Person kann der Zugang zu dem speziellen Bereich gewährt werden.
  • Alternativ kann der spezielle Bereich Teil eines Online-Stores sein. Der Server, auf dem der Online-Store beherbergt ist, fragt die Identität der Person ab, z. B. durch Name und/oder Passwort und fragt nachfolgend die Anzahl von Punkten oder Punktzahlen ab, welche mit der Person von einem anderen Server verknüpft sind, z. B. einem Cloud-Server 52. Falls die Person genügend Punkte oder Punktezahlen hat, kann ihr erlaubt werden in einen speziellen Bereich in dem Online-Store nur mit speziellen Angeboten wie limitierte Editionen oder Sammlerstücken zu navigieren.
  • Im Kontext eines Geschäfts oder Online-Stores ist es auch möglich die Person mit Rabatten basierend auf ihren Punkten oder Punktzahlen zu belohnen. Zum Beispiel kann ein Rabatt für jeden Punkt oder Punktzahl entweder in Prozent (z. B. ein Prozent pro 100 Punkten/Punktzahlen) oder als einen festen Betrag (z. B. 1 Euro oder 1 Dollar pro 100 Punkten/Punktzahlen) belohnt werden.
  • Außerdem ist es möglich Zugang zu exklusivem Medieninhalt basierend auf den Punkten oder Punktzahlen zu gewähren. Falls zum Beispiel die Person eine bestimmte Minimalmenge von Punkten/Punktzahlen (z. B. 1000) hat, wird sie mit dem Zugang zu speziellen Sportmedien (Videoclips, Workout- Musik, Fotos, usw.) auf einem Medieserver ausgezeichnet.
  • Die Punkte oder Punktzahlen könnten auch verwendet werden um den Spieler mit Online-Batches auszuzeichnen. Falls zum Beispiel der Spieler 1000 Punkte oder Punktzahlen anhäufte, wird er mit einem Bronze-Batch ausgezeichnet, falls der Spieler 5000 Punkte anhäufte, wird er mit einem Silber-Batch ausgezeichnet und falls der Spieler 10.000 Punkte anhäufte, wird er mit einem Gold-Batch ausgezeichnet. Die Batches könnten in einem sozialen Medienprofil des Spielers (z. B. Facebook, Twitter usw.) gezeigt werden.
  • Die Punkte oder Punktzahlen können auch mit der Leistung eines Avatars eines Spielers verknüpft werden, welchen er in einem Computerspiel benutzt. Je mehr Punkte oder Punktzahlen der Spieler durch bestimmte Aktivitäten (z. B. Fußball, Basketball, Tennis, Alltags-Aktivitäten, usw.) anhäuft, je höher kann die Leistung des Avatars sein. Zum Beispiel kann der Avatar bestimmte Fähigkeiten und/oder Ausrüstung erhalten, falls eine bestimmte Anzahl von Punkten oder Punktzahlen erreicht wird. Ein Beispiel würde ein Fußball-Avatar sein, der die Fähigkeit erhält einen Fallrückzieher durchzuführen und/oder ein besseres Paar Schuhe, falls der Spieler z. B. 1000 Punkte erreicht. Es ist auch möglich, dass die Leistung eines gesamten Teams von Avataren erhöht wird, falls ihre verknüpften Spieler ihre Anzahl von Punkten oder Punktzahlen erhöhen. Zum Beispiel könnte die Leistung eines Teams von Fußballspielern in einem echten Siel die Leistung ihres Teams von Avataren in einem Fußballspiel bestimmen.
  • Die Sensorbaugruppe 12 könnte auch verwendet werden um zu verfolgen, wenn die Person ein Stadion besucht, um ein Spiel anzuschauen. Das Stadion könnte zum Beispiel mit einem RFID/NFC-Tag, einem Bluetoot- oder BTLE-Baken, einem WLAN-Hotspot, usw. ausgerüstet werden, um mit der Sensorbaugruppe 12 durch ein drahtloses Sender-Empfänger-Modul 39 zu kommunizieren. Dadurch könnte ein Kennzeichner, welcher mit dem Stadion verknüpft ist, zu der Sensorbaugruppe 12 gesendet werden und in dem Speicher 13 abgespeichert werden. Diese Information könnte später zu z. B. einem sozialen Medienprofil des Benutzers (z. B. durch das drahtlose Sender-Empfänger-Modul 39 oder durch einen Verbinder 38) gesendet werden. Somit würde das soziale Medienprofil die Information zeigen, dass die Person das Stadion besichtigt hat, um ein bestimmtes Spiel anzusehen.
  • Es ist auch möglich, dass die Sensorbaugruppe 12 einen Kennzeichner, der mit der Sensorbaugruppe 12 verknüpft ist, an einen Empfänger sendet, der in dem Stadio installiert ist, und dass der Kennzeichner weiter von dem Empfänger zu einem Server im Internet (z. B. einem Server einer sozialen Medienplattform) sendet, welche die Information zeigt, dass die Person das Spiel sah.
  • Anstatt eines Stadions könnte ein Sportausrüstungsgeschäft mit einem RFID/NFC-Tag, einem Bluetooth- oder BTLE-Baken, einem WLAN-Hotspot, usw. ausgerüstet werden, um mit der Sensorbaugruppe 12 der Person zu kommunizieren. In der oben beschriebenen Art könnte die Information, dass die Person das Geschäft besuchte, automatisch auch auf dem sozialen Medienprofil der Person gepostet werden.
  • Die vorliegende Erfindung kann mit einem großen Spektrum von Aktivitäten, insbesondere Sportaktivitäten verwendet werden. Wenn zum Beispiel Basketball gespielt wird, könnten sinnvolle Aktionen oder Ereignisse während des Spielens detektiert werden, wie etwa einen Dunk, Sprungwurf, 360, Crossover, Wurf, Shotblock. Ein Highlightvideoclip eines Basketballspiels könnte generiert werden basierend auf dem Verfahren und System der vorliegenden Erfindung. Im Falle von Basketball könnten mehr als eine Sensorbaugruppe 12 durch den Spieler getragen werden, z. B. eine Sensorbaugruppe 12 könnte an einem seiner Arme getragen werden, eine andere Sensorbaugruppe 12 könnte an einem seiner Beine getragen werden. Im Allgemeinen könnten Sensorbaugruppen 12 an beliebigen Stellen des Körpers, z. B. an den Hüften, getragen werden. Wie zuvor beschrieben, können die Sensordaten von mehr als einer Sensorbaugruppe 12 in eine einzelne Zeitreihe kombiniert werden.
  • Es ist auch möglich, dass eine Sensorbaugruppe 12 befestigt oder integriert in ein Basketball wird, um die Bewegung des Basketballs aufzunehmen. Die Sensordaten des Basketballs könnten dann verwendet werden, um die Detektion von Ereignissen zu verbessern durch Kombinieren der Sensordaten vom Basketball mit den Sensordaten der Sensorbaugruppe 12, welche durch die Basketballspieler getragen werden.
  • Weitere beispielhafte Sportaktivitäten sind Laufen und Tennis. Falls die vorliegende Erfindung für Tennis angewendet wird, könnte ein zusammenfassendes Video („Highlightvideoclip” oder „Showvideoclip”) z. B. alle Vorhand- oder alle Rückanschläge und/oder alle Aufschläge eines Spieles zeigen. Falls die Erfindung während eines Doppels benutzt wird, ist es auch möglich das Video die genannten Ereignisse nur eines bestimmten Spielers aufweisen zu lassen.
  • Die Sensorbaugruppe 12 könnte von einem Läufer getragen werden (z. B. in der Nähe eines oder beider seiner Knöchel) und Sensordaten könnten in dem Speicher 13 während eines Laufes abgespeichert werden. Die Sensordaten könnten dann später wie hierin beschriebenen analysiert werden, um die Lauftechnik des Läufers zu analysieren. Zum Beispiel könnten die Sensordaten verwendet werden, um zu detektieren wie sein Fuß den Untergrund berührt und wie er proniert und supiniert. Veränderungen seiner Bewegungen könnten im Laufe der Zeit identifiziert werden. Dadurch könnte bestimmt werden, wann der Läufer anfing Ermüdungserscheinungen zu bekommen. Es ist auch möglich den Energieverbrauch zu berechnen oder die verbrannten Kalorien des Läufers im Laufe der Zeit zu berechnen oder eine Gesamtzahl des Energieverbrauchs zu erhalten.
  • Wie bereits beschrieben könnten die Kamera 11 oder die Kameras 11a, 11b, 11c, 11d, 11e, welche im Kontext der vorliegenden Erfindung verwendet werden, eine Smartphone-Kamera sein. Außerdem könnte die Kamera eines Tablet PCs, Notebooks, Kamerastabes, Smartwatch, usw. verwendet werden. Ebenso könnte eine Actionkamera wie etwa GoPro® verwendet werden. Falls die Sensordaten auf einem Gerät verarbeitet werden (zur Ereignisdetektion und Verknüpfung eines Ereignisses mit einem Videobild), welches getrennt von der Kamera ist, kann das Video an das Gerät gesendet werden durch eine Kabelverbindung (z. B. USB, Ethernet, Thunderbolt, usw.) oder eine drahtlose Verbindung (z. B. Wifi, WLAN, BT, BTLE, NFC, RFID, ANT®, ANT+, ZigBee®, usw.).
  • Das Video, das von dem zumindest einen Videobild generiert wurde, welche mit den dem detektierten Ereignis verknüpft wird, d. h. das zusammenfassende Video, „Highlightvideoclip” oder „Showvideoclip”, kann auf eine Videowand bei zum Beispiel einem Fußballplatz gezeigt werden. Zu diesem Zweck können das Gerät 14, welche die Sensordaten und das aufgenommene Video oder Videos verarbeitet, an die Videowand verbunden werden durch eine Kabelverbindung (z. B. USB, Ethernet, Thunderbolt, usw.) oder eine drahtlose Verbindung (z. B. Wifi, WLAN, BT, BTLE, NFC, RFID, ANT®, ANT+, ZigBee®, usw.), um das zusammenfassende Video an die Videowand zu übertragen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2012123733 A1 [0009]
    • US 20120167684 A1 [0010]
    • US 8702516 B2 [0011]
    • US 2013/0274635 A1 [0012]
    • US 2013/0274904 A1 [0013]
  • Zitierte Nicht-Patentliteratur
    • Shaoyan Zhang, Alex V. Rowlands, Peter Murray, and Tina L. Hurst, ”Physical Activity Classification Using the GENEA Wrist-Worn Accelerometer”, Medicine & Science in Sports & Exercise, 44(4): 742–748, 2012 [0158]
    • Bernhard Schölkopf, John C. Platt, John Shawe-Taylor, Alex J. Smola and Robert C. Williamson, ”Estimating the Support of a High-Dimensional Distribution”, Neural Computation, 13(7): 1443–1471, 2001 [0163]
    • Alvin C. Rencher and William F. Christensen, Methods of multivariate analysis, 3rd edition, John Wiley & Sons, 2012 [0166]
    • Martin Vetterli and Cormac Herley, ”Wavelets and filter banks: Theory and design”, IEEE Transactions on Signal Processing, 40(9): 2207–2232, 1992 [0171]
    • Martin Vetterli and Cormac Herley, ”Wavelets and filter banks: Theory and design”, IEEE Transactions on Signal Processing, 40(9): 2207–2232, 1992 [0172]
    • Leo Breiman, ”Random forests”, Machine learning, 45(1): 5–32, 2001 [0178]
    • Sergios Theodoridis and Konstantinos Koutroumbas, Pattern Recognition, 4th edition, Elsevier, 2008 [0183]
    • Richard O. Duda, Peter E. Hart and David G. Stork, ”Pattern Classification”, 2nd edition, John Wiley & Sons, 2000 [0185]
    • Trevor Hastie, Robert Tibshirani, Jerome Friedman, ”The elements of statistical learning, volume 2, Springer 2009 [0188]
    • Alex J. Smola and Bernhard Schölkopf, ”A tutorial on support vector regression”, Statistics and Computing, 14(3): 199–222 [0197]
    • William F. Massy, ”Principal Components Regression in Exploratory Statistical Research”, Journal of the American Statistical Association, 60(309): 234–256, 1965 [0199]

Claims (36)

  1. Verfahren zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis, umfassend die Schritte: a. Aufnehmen eines Videos einer Aktivität einer Person; b. Abspeichern einer Zeitreihe von Sensordaten (82), die von einer Sensorbaugruppe (12) bezogen werden, umfassend zumindest einen Sensor (31, 32, 33, 34, 35), der an die Person gekoppelt ist während die Person die Aktivität ausführt; c. Synchronisieren des Videos mit den Sensordaten (82); d. Detektieren eines Ereignisses in der Zeitreihe; und e. Verknüpfen des Ereignisses mit zumindest einem zugehörigen Bild im Video, das das Ereignis zeigt.
  2. Verfahren nach dem vorherigen Anspruch, weiter umfassenden den Schritt: Verwenden des zumindest einen Bildes, um ein zweites Video zu generieren, welches vorgegebene Ereignisse der Aktivität der Person zeigt.
  3. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt des Synchronisierens des Videos mit den Sensordaten (82) umfasst: Detektieren eines vorgegebenen Synchronisationsereignisses in der Zeitreihe und in zumindest einem Bild des Videos.
  4. Verfahren nach einem der vorherigen Ansprüche, wobei die Aktivität eine Sportaktivität ist.
  5. Verfahren nach einem der vorherigen Ansprüche, wobei die Aktivität Fußball ist.
  6. Verfahren nach einem der vorherigen Ansprüche, wobei das Ereignis ein Schuss, ein Kurzpass, ein langer Pass, ein gezielter Schuss oder Ballkontrolle ist.
  7. Verfahren nach einem der vorherigen Ansprüche, wobei der zumindest eine Sensor (31, 32, 33, 34, 35) ein Beschleunigungsmesser (31), ein Gyroskop (32) oder ein Magnetfeldsensor (33) ist.
  8. Verfahren nach einem der vorherigen Ansprüche, wobei die Sensorbaugruppe (12) zwei oder mehrere Sensoren (31, 32, 33, 34, 35) umfasst und die Sensordaten (82) von den zwei oder mehreren Sensoren (31, 32, 33, 34, 35) in der Zeitreihe kombiniert werden.
  9. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt des Aufnehmens des Videos der Aktivität der Person Aufnehmen des Videos mit zumindest zwei Kameras umfasst.
  10. Verfahren nach einem der vorherigen Ansprüche, weiter umfassend den Schritt des Speicherns des Videos in einer Datenbank.
  11. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt des Detektierens eines Ereignisses in der Zeitreihe umfasst: Vorverarbeiten (83) der Zeitreihe; Segmentieren (84) der Zeitreihe in einer Mehrzahl von Fenstern; Detektieren (85) von Ausreißern; Extrahieren (86) einer Vielzahl von Merkmalen von der Zeitreihe in jeder der Vielzahl von Fenstern; und Abschätzen (87) einer Ereignisklasse, die mit der Vielzahl von Fenstern assoziiert ist basierend auf der Vielzahl von Merkmalen, die von der Zeitreihe in jedem der Vielzahl von Fenstern extrahiert wurde.
  12. Verfahren nach dem vorherigen Anspruch, wobei der Schritt des Vorverarbeitens (83) Tiefpassfiltern und Downsampling umfasst.
  13. Verfahren nach einem der Ansprüche 11–12, weiter umfassend den Schritt: Segmentieren (84) der vorverarbeitenden Zeitreihe in eine Vielzahl von Fenstern mit fester Fenstergröße.
  14. Verfahren nach dem Anspruch 13, weiter umfassend den Schritt: Zentrieren der Fenster bei Spitzenwerten der Zeitreihe
  15. Verfahren nach einem der Ansprüche 11–14, weiter umfassend den Schritt: Entfernen der Fenster mit einem Spitzenwert im Zentrum unterhalb eines Grenzwertes.
  16. Verfahren nach einem der Ansprüche 11–15, weiter umfassend den Schritt: Anpassen der Fenstergröße an die Form und/oder die Länge des Ereignisses.
  17. Verfahren nach einem der Ansprüche 11–16, weiter umfassend den Schritt: Detektieren von Ausreißern durch regelbasierte Systeme und/oder One-class Support Vector Machines.
  18. Verfahren nach dem vorherigen Anspruch, wobei Merkmale in den Fenstern, welche keine Ausreißer umfassen, berechnet werden.
  19. Verfahren nach einem der Ansprüche 11–18, wobei die Merkmale zumindest basieren auf einer von zeitlicher, raum-zeitlicher, spektraler oder Ensemblestatistik durch Anwenden von z. B. Waveletanalyse, Hauptkomponentenanalyse, PCA oder schnelle Fouriertransformation, FFT.
  20. Verfahren nach einem der Ansprüche 11–19, wobei die Merkmale basieren auf einem von einfacher Mittelwert, normalisierter Signalenergie, Bewegungsintensität, Signalgrößenfläche, Korrelation zwischen Achsen, Maximalwert in einem Fenster, Minimalwert in einem Fenster, maximaler Detailkoeffizient von einer Wavelet-Transformation, Korrelation mit einer Vorlage, Projektion auf eine Hauptkomponente von einer Vorlage oder Entfernung zu einem Eigenraum von einer Vorlage, spektraler Schwerpunkt, Bandbreite, dominierender Frequenz.
  21. Verfahren nach einem der Ansprüche 11–20, weiter umfassend den Schritt: Reduzieren der Anzahl von Merkmalen durch Merkmal-Auswahl-Prozeduren.
  22. Verfahren nach einem der Ansprüche 11–21, wobei die Ereignisklasse bewertet wird basierend auf einem Bayes-Klassifikator wie etwa naiven Bayes-Klassifikator, einem maximalen Randklassifikator wie etwa Support Vector Machine, einem Ensemble-Lern Algorithmus wie etwa AdaBoost Klassifikator und Random-Forest-Klassifikator, einem Nächster-Nachbar-Klassifikator, einem Neuronal-Netzwerk-Klassifikator, einem regelbasierten Klassifikator oder einem baumbasierten Klassifikator.
  23. Verfahren nach einem der Ansprüche 11–22, weiter umfassenden den Schritt: Vereinigen der Entscheidungen von mehreren Klassifikatoren, um die finale Vorhersage der Ereignisklasse abzuschätzen.
  24. Verfahren nach einem der Ansprüche 11–23, weiter umfassend den Schritt: Detektieren des Ereignisses durch Abgleichen einer Vorlage unter Verwendung von Korrelation, Matchedfiltering, Dynamic time Warping oder Longest Common Subsequence (LCSS) und seine Schiebefenstervariante, Warping LCSS, verwendet.
  25. Verfahren nach einem der Ansprüche 11–24, wobei Abschätzen der Ereignisklasse umfasst: Unterscheiden zwischen zusammengelegten Ereignisgruppen, die Ereignisse enthalten, welche in ihrer Form ähneln; und Unterscheiden zwischen einzelnen Ereignissen, die zu einer spezifischen Gruppe gehören.
  26. Verfahren nach einem der Ansprüche 11–25, wobei der Schritt des Abschätzens auf einem Klassifikator basiert, welcher basierend auf überwachten Training trainiert worden ist.
  27. Verfahren nach einem der vorherigen Ansprüche, weiter umfassend: Bereitstellen einer zusammenfassenden Statistik, die zumindest auf dem detektierten Ereignis basiert.
  28. Verfahren nach einem der vorherigen Ansprüche, weiter umfassenden den Schritt: Abschätzen der Geschwindigkeit eines Balls basierend auf der Zeitreihe, falls ein Ereignis, das mit einem Schuss verknüpft ist, detektiert wird.
  29. System zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis, welches geeignet ist, ein Verfahren gemäß einem der vorherigen Ansprüche auszuführen.
  30. System zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis, umfassend: a. zumindest eine Kamera (11, 11a, 11b, 11c, 11d, 11e) zum Aufnehmen eines Videos einer Aktivität einer Person; b. zumindest eine Sensorbaugruppe (12) umfassend zumindest einen Sensor (31, 32, 33, 34, 35), welcher fähig ist an eine Person gekoppelt zu sein während die Person die Aktivität ausführt; c. Speicher (13) zum Abspeichern einer Zeitreihe von Sensordaten (82), die von zumindest dem einen Sensor (31, 32, 33, 34, 35) bezogen sind; und d. einen Prozessor (14) zum Synchronisieren des Videos mit den Sensordaten (82), zum Detektieren eines Ereignisses in der Zeitreihe und zum Verknüpfen des Ereignisses mit zumindest einem zugehörigen Bild im Video, das das Ereignis zeigt.
  31. System nach Anspruch 30, wobei die Sensorbaugruppe (12) geeignet ist, um an den Körper der Person gekoppelt zu sein.
  32. System nach einem der Ansprüche 30–31, wobei die Sensorbaugruppe (12) geeignet ist, um an einen Kurt (41) oder Armband gekoppelt zu sein.
  33. System nach einem der Ansprüche 30–32, weiter umfassend ein tragbares Gerät, das die Sensorbaugruppe (12) umfasst.
  34. System nach einem der Ansprüche 30–33, wobei die Sensorbaugruppe (12) den Speicher (13) umfasst.
  35. System nach einem der Ansprüche 30–34 umfassend zumindest 2 Kameras.
  36. Computerprogramm umfassend Anweisungen, welche, wenn ausgeführt, einen Computer dazu veranlassen ein Verfahren gemäß einem der Ansprüche 1–28 auszuführen.
DE102015207415.3A 2015-04-23 2015-04-23 Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis Ceased DE102015207415A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102015207415.3A DE102015207415A1 (de) 2015-04-23 2015-04-23 Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis
EP16166159.0A EP3086320A1 (de) 2015-04-23 2016-04-20 Verfahren und vorrichtung zur zuordnung von rahmen in einem video einer aktivität einer person zu einem ereignis
CN201610256835.2A CN106066990B (zh) 2015-04-23 2016-04-22 用于将人的活动视频中的帧与事件相关联的方法和装置
JP2016085673A JP2016208516A (ja) 2015-04-23 2016-04-22 人物の活動の映像内のフレームをイベントに関連付けるための方法およびデバイス
US15/137,092 US9978425B2 (en) 2015-04-23 2016-04-25 Method and device for associating frames in a video of an activity of a person with an event

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015207415.3A DE102015207415A1 (de) 2015-04-23 2015-04-23 Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis

Publications (1)

Publication Number Publication Date
DE102015207415A1 true DE102015207415A1 (de) 2016-10-27

Family

ID=56132733

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015207415.3A Ceased DE102015207415A1 (de) 2015-04-23 2015-04-23 Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis

Country Status (5)

Country Link
US (1) US9978425B2 (de)
EP (1) EP3086320A1 (de)
JP (1) JP2016208516A (de)
CN (1) CN106066990B (de)
DE (1) DE102015207415A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017102191A1 (de) 2017-02-03 2018-08-09 Uwe Schneider Rechteverwertungsgesellschaft Mbh Torwandspielsystem und Verfahren zum Betrieb eines Torwandspielsystems
DE102019109754A1 (de) * 2019-04-12 2020-10-15 Karl Kober Leitsystem mit einer Navigationsvorrichtung

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085914A1 (ja) * 2015-11-19 2017-05-26 パナソニックＩｐマネジメント株式会社 歩行動作表示システム及びプログラム
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10086231B2 (en) * 2016-03-08 2018-10-02 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform
US10471304B2 (en) 2016-03-08 2019-11-12 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform
KR20170139888A (ko) * 2016-06-10 2017-12-20 박찬봉 휴대용 전자 기기 및 스마트 워치
GB2552316A (en) * 2016-07-15 2018-01-24 Sony Corp Information processing apparatus, method and computer program product
CN113038020B (zh) * 2016-10-14 2023-07-11 深圳市大疆创新科技有限公司 用于时刻捕获的系统和方法
CN106490758B (zh) * 2016-11-23 2018-12-28 深圳中兴网信科技有限公司 智能足球鞋、智能分析系统、分析方法及终端
US10567248B2 (en) * 2016-11-29 2020-02-18 Intel Corporation Distributed assignment of video analytics tasks in cloud computing environments to reduce bandwidth utilization
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
WO2018125796A1 (en) 2016-12-27 2018-07-05 Denso International America, Inc. System and method for microlocation sensor communication
US11216766B2 (en) * 2017-01-09 2022-01-04 Kabushiki Kaisha Toshiba System and method for generalized skill assessment using activity data
EP3738506A1 (de) 2017-03-07 2020-11-18 Motionize Israel Ltd. Schuhwerk-sensor-montagesystem
US10862885B2 (en) * 2017-03-20 2020-12-08 Forescout Technologies, Inc. Device identification
US10525791B2 (en) * 2017-03-28 2020-01-07 International Business Machines Corporation Intelligent in-vehicle air-quality control
EP3616079A4 (de) 2017-04-27 2020-03-11 Snap Inc. Standortdatenschutzverwaltung auf kartenbasierten plattformen sozialer medien
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
JP6849525B2 (ja) * 2017-05-10 2021-03-24 ソフトバンク株式会社 データ監視装置、データ監視方法及びデータ監視プログラム
CN110520913B (zh) 2017-06-12 2022-04-05 北京嘀嘀无限科技发展有限公司 确定预估到达时间的系统和方法
US10687119B2 (en) 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US20190034497A1 (en) * 2017-07-27 2019-01-31 Nec Laboratories America, Inc. Data2Data: Deep Learning for Time Series Representation and Retrieval
US10706890B2 (en) * 2017-08-24 2020-07-07 Intel Corporation Cinematic space-time view synthesis for enhanced viewing experiences in computing environments
WO2019070608A1 (en) * 2017-10-02 2019-04-11 Howl Holdings Llc RETROSPECTIVE CAPTURE TRIGGER
US10521526B2 (en) * 2017-11-20 2019-12-31 Nfl Players, Inc. Hybrid method of assessing and predicting athletic performance
US10832055B2 (en) 2018-01-31 2020-11-10 Sportsmedia Technology Corporation Systems and methods for providing video presentation and video analytics for live sporting events
JP7246649B2 (ja) * 2018-02-14 2023-03-28 成典 田中 戦術分析装置
JP7032948B2 (ja) * 2018-02-14 2022-03-09 成典 田中 戦術分析装置
JP7192860B2 (ja) * 2018-04-26 2022-12-20 日本電気株式会社 動作推定システム、動作推定方法および動作推定プログラム
CN108898076B (zh) * 2018-06-13 2022-07-01 北京大学深圳研究生院 一种视频行为时间轴定位及候选框提取的方法
CN110659656A (zh) * 2018-06-29 2020-01-07 中兴通讯股份有限公司 一种检测干扰的方法及装置
CN108970091B (zh) * 2018-09-14 2023-08-01 郑强 一种羽毛球动作分析方法及系统
US10839224B2 (en) * 2018-10-19 2020-11-17 International Business Machines Corporation Multivariate probability distribution based sports highlight detection
CN111223302B (zh) * 2018-11-23 2021-12-03 明创能源股份有限公司 移动载具用外部坐标实时三维路况辅助装置及该系统
WO2020132142A1 (en) * 2018-12-18 2020-06-25 Northwestern University System and method for pipelined time-domain computing using time-domain flip-flops and its application in time-series analysis
CN109615019B (zh) * 2018-12-25 2022-05-31 吉林大学 基于时空自动编码器的异常行为检测方法
US11172535B2 (en) * 2019-03-21 2021-11-09 Eagle Technology Systems and methods for personnel accountability and tracking during public safety incidents
US11375125B2 (en) * 2019-05-15 2022-06-28 Asustek Computer Inc. Electronic device
US11135500B1 (en) 2019-09-11 2021-10-05 Airborne Athletics, Inc. Device for automatic sensing of made and missed sporting attempts
CN110559640B (zh) * 2019-10-08 2024-01-09 陕西科技大学 一种辅助判断篮球比赛三分球的装置与方法
KR20210059411A (ko) * 2019-11-15 2021-05-25 한국전자기술연구원 하이브리드 기반 이상 행위 인지 시스템 및 그 방법
WO2021162935A1 (en) * 2020-02-13 2021-08-19 Stats Llc Dynamically predicting shot type using a personalized deep neural network
JP7436257B2 (ja) * 2020-03-25 2024-02-21 株式会社日立製作所 行動認識サーバ、行動認識システム、および、行動認識方法
CN113496191A (zh) * 2020-04-01 2021-10-12 杭州海康威视数字技术股份有限公司 规则配置方法及系统、服务器及终端
CA3174383A1 (en) * 2020-04-08 2021-10-14 Helios Sports, Inc Methods and system for training and improving machine learning models
EP3901819B1 (de) 2020-04-20 2024-04-10 Tata Consultancy Services Limited Erkennung und validierung einer von mehreren sensoren erfassten benutzeraktivität
US20210383124A1 (en) * 2020-06-04 2021-12-09 Hole-In-One Media, Inc. Autonomous activity monitoring system and method
US11006860B1 (en) 2020-06-16 2021-05-18 Motionize Israel Ltd. Method and apparatus for gait analysis
US20220138489A1 (en) * 2020-11-05 2022-05-05 Samsung Electronics Co., Ltd. Method of live video event detection based on natural language queries, and an apparatus for the same
EP4044009A1 (de) * 2021-02-10 2022-08-17 NGTV Experience Sportanlage, die ein schnittstellensystem mit einer sport-app umfasst
US20220272305A1 (en) * 2021-02-24 2022-08-25 Santiago Rivera-Placeres System for Detection and Video Sharing of Sports Highlights
WO2022201418A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 運動支援装置、運動支援方法及び記録媒体
US20220375501A1 (en) * 2021-05-24 2022-11-24 Getac Technology Corporation Automated classification and indexing of events using machine learning
US11620783B2 (en) 2021-05-27 2023-04-04 Ai Thinktank Llc 3D avatar generation and robotic limbs using biomechanical analysis
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis
US20230025389A1 (en) * 2021-07-23 2023-01-26 Electronic Arts Inc. Route generation system within a virtual environment of a game application
EP4360051A1 (de) * 2021-09-09 2024-05-01 Stats Llc Schätzung fehlender spielerstandorte in rundfunkvideofeeds
WO2024096833A1 (en) * 2022-10-31 2024-05-10 Hi̇ti̇t Üni̇versi̇tesi̇ Rektörlüğü An anaerobic power and capacity measurement and monitoring system in the environment of repeat shoots in soccer sports
CN117112837A (zh) * 2023-06-07 2023-11-24 青岛尘元科技信息有限公司 视频舆情监测系统和方法、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002067187A1 (en) * 2001-02-16 2002-08-29 Golftec, Inc. Method and system for physical motion analysis
DE102006060482A1 (de) * 2006-12-19 2008-06-26 Siemens Ag Verfahren zur Abbildung eines Organs, Steuereinrichtung für ein Computertomographiesystem und Computertomographiesystem
US20120123733A1 (en) 2010-11-11 2012-05-17 National Chiao Tung University Method system and computer readable media for human movement recognition
US20120167684A1 (en) 2010-12-31 2012-07-05 Samsung Electro-Mechanics Co., Ltd. Selective motion recognition apparatus using inertial sensor
US20130274635A1 (en) 2012-04-13 2013-10-17 Adidas Ag Athletic Activity Monitoring Methods and Systems
US20130274904A1 (en) 2012-04-13 2013-10-17 Adidas Ag Wearable Athletic Activity Monitoring Methods And Systems
US8702516B2 (en) 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
US20150105884A1 (en) * 2001-02-20 2015-04-16 Adidas Ag Performance Monitoring Systems and Methods

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6709351B2 (en) * 1998-09-10 2004-03-23 Takeshi Hori Sports game system
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
JP2008022142A (ja) * 2006-07-11 2008-01-31 Nippon Telegr & Teleph Corp <Ntt> 投球イベント検出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP4573857B2 (ja) * 2007-06-20 2010-11-04 日本電信電話株式会社 逐次更新型非定常検出装置、逐次更新型非定常検出方法、逐次更新型非定常検出プログラムおよびそのプログラムを記録した記録媒体
US8001062B1 (en) * 2007-12-07 2011-08-16 Google Inc. Supervised learning using multi-scale features from time series events and scale space decompositions
US8628453B2 (en) * 2008-12-05 2014-01-14 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US8172722B2 (en) * 2008-12-05 2012-05-08 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
JP5332593B2 (ja) * 2008-12-25 2013-11-06 富士通株式会社 映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置
US20110205355A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Data Mining Method and System For Estimating Relative 3D Velocity and Acceleration Projection Functions Based on 2D Motions
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
JP5782529B2 (ja) * 2011-02-17 2015-09-24 ナイキ イノベイト シーブイ 身体活動データの選択および画像データとの関連付け
US20130245966A1 (en) * 2011-02-17 2013-09-19 Nike, Inc. User experience
JP6048065B2 (ja) * 2011-10-31 2016-12-21 株式会社Ｊｖｃケンウッド 呼吸音分析装置、断続性ラ音検出装置、連続性ラ音検出装置、断続性ラ音検出プログラム、連続性ラ音検出プログラムおよび呼吸音分析プログラム
JP2015509504A (ja) 2012-02-23 2015-03-30 コーネル ユニヴァーシティー 芳香族陽イオン性ペプチドおよびその使用
CN103377479A (zh) * 2012-04-27 2013-10-30 索尼公司 事件检测方法、装置和系统，以及摄像机
US8929709B2 (en) * 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US9792951B2 (en) * 2013-05-08 2017-10-17 Vieu Labs, Inc. Systems and methods for identifying potentially interesting events in extended recordings
US9928878B2 (en) * 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002067187A1 (en) * 2001-02-16 2002-08-29 Golftec, Inc. Method and system for physical motion analysis
US20150105884A1 (en) * 2001-02-20 2015-04-16 Adidas Ag Performance Monitoring Systems and Methods
DE102006060482A1 (de) * 2006-12-19 2008-06-26 Siemens Ag Verfahren zur Abbildung eines Organs, Steuereinrichtung für ein Computertomographiesystem und Computertomographiesystem
US8702516B2 (en) 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
US20120123733A1 (en) 2010-11-11 2012-05-17 National Chiao Tung University Method system and computer readable media for human movement recognition
US20120167684A1 (en) 2010-12-31 2012-07-05 Samsung Electro-Mechanics Co., Ltd. Selective motion recognition apparatus using inertial sensor
US20130274635A1 (en) 2012-04-13 2013-10-17 Adidas Ag Athletic Activity Monitoring Methods and Systems
US20130274904A1 (en) 2012-04-13 2013-10-17 Adidas Ag Wearable Athletic Activity Monitoring Methods And Systems

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Alex J. Smola and Bernhard Schölkopf, "A tutorial on support vector regression", Statistics and Computing, 14(3): 199–222
Alvin C. Rencher and William F. Christensen, Methods of multivariate analysis, 3rd edition, John Wiley & Sons, 2012
Leo Breiman, "Random forests", Machine learning, 45(1): 5–32, 2001
Martin Vetterli and Cormac Herley, "Wavelets and filter banks: Theory and design", IEEE Transactions on Signal Processing, 40(9): 2207–2232, 1992
Richard O. Duda, Peter E. Hart and David G. Stork, "Pattern Classification", 2nd edition, John Wiley & Sons, 2000
Sergios Theodoridis and Konstantinos Koutroumbas, Pattern Recognition, 4th edition, Elsevier, 2008
Shaoyan Zhang, Alex V. Rowlands, Peter Murray, and Tina L. Hurst, "Physical Activity Classification Using the GENEA Wrist-Worn Accelerometer", Medicine & Science in Sports & Exercise, 44(4): 742–748, 2012
Trevor Hastie, Robert Tibshirani, Jerome Friedman, "The elements of statistical learning, volume 2, Springer 2009
William F. Massy, "Principal Components Regression in Exploratory Statistical Research", Journal of the American Statistical Association, 60(309): 234–256, 1965

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017102191A1 (de) 2017-02-03 2018-08-09 Uwe Schneider Rechteverwertungsgesellschaft Mbh Torwandspielsystem und Verfahren zum Betrieb eines Torwandspielsystems
WO2018141923A1 (de) 2017-02-03 2018-08-09 Uwe Schneider Rechteverwertungsgesellschaft Mbh Torwandspielsystem und verfahren zum betrieb eines torwandspielsystems
DE102019109754A1 (de) * 2019-04-12 2020-10-15 Karl Kober Leitsystem mit einer Navigationsvorrichtung

Also Published As

Publication number Publication date
EP3086320A1 (de) 2016-10-26
JP2016208516A (ja) 2016-12-08
CN106066990A (zh) 2016-11-02
US20160314818A1 (en) 2016-10-27
US9978425B2 (en) 2018-05-22
CN106066990B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
DE102015207415A1 (de) Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis
Cust et al. Machine and deep learning for sport-specific movement recognition: A systematic review of model development and performance
JP7005482B2 (ja) 多センサ事象相関システム
Baca et al. Ubiquitous computing in sports: A review and analysis
US10086231B2 (en) Systems and methods for integrated automated sports data collection and analytics platform
Ghasemzadeh et al. Coordination analysis of human movements with body sensor networks: A signal processing model to evaluate baseball swings
Sarro et al. Tracking of wheelchair rugby players in the 2008 Demolition Derby final
US9501950B2 (en) System and method for coach decision support
US11801421B2 (en) Systems and methods for integrated automated sports data collection and analytics platform
Seeberg et al. A multi-sensor system for automatic analysis of classical cross-country skiing techniques
CN107273857B (zh) 运动动作的识别方法及装置、电子设备
Ghosh et al. Decoach: Deep learning-based coaching for badminton player assessment
Xiao et al. Recognizing sports activities from video frames using deformable convolution and adaptive multiscale features
Johansen et al. Combining video and player telemetry for evidence-based decisions in soccer
Ghosh et al. Sports analytics review: Artificial intelligence applications, emerging technologies, and algorithmic perspective
Liu et al. A survey on location and motion tracking technologies, methodologies and applications in precision sports
DE102018125888A1 (de) Ausrüstungsempfehlungssystem und -Verfahren
Shahar et al. Wearable inertial sensor for human activity recognition in field hockey: Influence of sensor combination and sensor location
Schuldhaus Human activity recognition in daily life and sports using inertial sensors
Slaughter et al. Tracking quantitative characteristics of cutting maneuvers with wearable movement sensors during competitive women’s ultimate frisbee games
Mekruksavanich et al. Badminton activity recognition and player assessment based on motion signals using deep residual network
Bandara et al. Strokes classification in cricket batting videos
WO2010034308A2 (de) Erfassung biometrischer daten einer personengruppe
Page Applications of wearable technology in elite sports
Sharshar et al. MM-DOS: a novel dataset of workout activities

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final