-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur automatischen Auswertung und Bereitstellung von Video-Signalen eines Ereignisses.
-
Ereignisse im Sinne der Erfindung sind beispielsweise Sportereignisse wie Ballspiele, Wettläufe und -rennen oder dergleichen, bei denen Kameras zur Aufnahme von Geschehnissen an bestimmten, auch wechselnden Orten, wie beispielsweise Ballpositionen, Torschüsse, Überholvorgänge, Zieleinläufen oder dergleichen, eingesetzt werden. Üblicherweise werden mehrere Kameras eingesetzt, um die Geschehnisse an unterschiedlichen Orten, von unterschiedlichen Positionen und aus unterschiedlichen Winkeln aufzunehmen. Sämtliche von den Kameras aufgenommenen Video-Signale werden in der Regel in einen Regieraum, wie auch in einen Übertragungswagen gesendet, in dem eine verantwortliche Person das an einen Fernsehsender zu übertragende Video-Signal aus der Vielzahl der einzelnen Video-Signale der Kameras auswählt.
-
Die nicht gesendeten Video-Signale gehen in der Regel verloren.
-
Seit einiger Zeit wächst das Interesse an den nicht gesendeten Video-Signalen. Beispielsweise können Vereine diese Video-Signale, die etwa ihre Spieler bzw. ihre Gegner zeigen, dazu nutzen, um deren individuelle Leistungen zu beurteilen. Auch sind bei Wettläufen oder -rennen die Trainer oder Rennställe an sämtlichen Aufnahmen ihrer Läufer, Radfahrer, Rennwagen etc. interessiert. Daher kann jedes aufgenommene Video-Signal, gerade bei Sportereignissen, für einen entsprechenden Nutzerkreis relevant sein. Um den jeweils relevanten Teil eines Video-Signals für diverse Nutzergruppen herauszufiltern, gibt es die Möglichkeit, sämtliche Video-Signale manuell zu prüfen und zu schneiden, was allerdings einen immensen Aufwand bedingt. Daneben gibt es Bestrebungen, neben der rein manuellen Auswahl der Video-Signale technische Verfahren zu deren Auswertung zu entwickeln. Diese Verfahren analysieren die Video-Signale mittels Bildverarbeitungs-Algorithmen zur Erkennung von Objekten des Ereignisses, beispielsweise Fahrzeugen und/oder Spielern. Diese Verfahren sind aber aufwändig, langsam und teuer, so dass sie derzeit nur beschränkt wirtschaftlich sind.
-
Es ist daher die Aufgabe der Erfindung, unter Vermeidung der Nachteile des Standes der Technik eine verbesserte Möglichkeit zur Bereitstellung von individuellem Videomaterial eines Ereignisses zu schaffen.
-
Die Aufgabe der Erfindung wird gelöst mit einem Verfahren nach dem Anspruch 1 und mit einer Vorrichtung nach dem Anspruch 8.
-
Das Verfahren weist die folgenden Schritte auf:
- - Erfassen eines Zeit-Signals;
- - Aufnehmen von Video-Signalen mittels mindestens einer Kamera und automatische Zuordnung des Zeit-Signals zu den Video-Signalen;
- - Erfassen von lokalen Kamera-Parametern am Ort der Kamera und automatische Zuordnung des Zeit-Signals zu den Kamera-Parametern, wobei die Kamera-Parameter mindestens ein Parameter der Gruppe sind: Position der Kamera, Beschleunigung der Kamera, Orientierung der Kamera, Kamerawinkel, Magnetfeld, Sichtfeld, Luftdruck, Lautstärke, Helligkeit, Zeit, aktueller Stromverbrauch;
- - Erfassen von Meta-Daten mittels mindestens eines Meta-Sensors und automatische Zuordnung des Zeit-Signals zu den Meta-Daten, wobei die Meta-Daten zumindest ein Parameter der Gruppe sind: Geographische Daten, Objektpositionen, Sendungsdaten, objektspezifische Daten, Statistiken, Datenbanken, lokale Lautstärke, nutzerdefinierte Parameter;
- - Übermittlung der dem Zeit-Signal zugeordneten Video-Signale, Kamera-Parameter und Meta-Daten zu einer Datenverarbeitungseinrichtung;
- - Automatisches Auswerten der dem Zeit-Signal zugeordneten Video-Signale in Abhängigkeit von den dem Zeit-Signal zugeordneten Kamera-Parametern, von den dem Zeit-Signal zugeordneten Meta-Daten und von einer Benutzereingabe und
- - Bereitstellung von mindestens einem Teil der Video-Signale in Abhängigkeit von der Auswertung.
-
Die erfindungsgemäße Vorrichtung, insbesondere zur Durchführung des erfindungsgemäßen Verfahrens, weist mindestens eine Kamera auf zum Aufnehmen von Video-Signalen, mindestens einen Kamera-Sensor zum Erfassen von lokalen Kamera-Parametern, mindestens einen Meta-Sensor zum Erfassen von Meta-Daten und eine Datenverarbeitungseinrichtung zum Empfangen der einem Zeit-Signal zugeordneten Video-Signale, Kamera-Parameter und Meta-Daten, zum Auswerten der Video-Signale und zum Bereitstellen von mindestens einem Teil der Video-Signale, wobei die Kamera, der Kamera-Sensor und der Meta-Sensor mit der Datenverarbeitungseinrichtung verbunden sind und wobei der Kamera-Sensor mit der Kamera verbunden ist.
-
Die Erfindung geht von der Grundüberlegung aus, dass als Alternative zu den bekannten Bildverarbeitungs-Algorithmen die Video-Signale in Abhängigkeit von den Kamera-Parametern und in Abhängigkeit von den Meta-Daten ausgewertet werden. Mittels der gemeinsamen Zeit-Signale können die Video-Signale, die Kamera-Paramater und die Meta-Daten eindeutig einander zugeordnet und synchronisiert werden. Damit ist insbesondere die automatische Auswertung der dem Zeit-Signal zugeordneten Video-Signale anhand der Kamera-Parameter und der Meta-Daten möglich, so dass einem Nutzer der interessierende Teil der Video-Signale bereitgestellt werden kann.
-
Das Zeit-Signal im Sinne der Erfindung ist beispielsweise eine Uhrzeitangabe, insbesondere die Uhrzeit am Ort der Kamera, gemessen in Millisekunden. Alternativ oder zusätzlich kann das Zeit-Signal als Stoppuhr ausgestaltet sein und einen inkrementellen Zähler aufweisen. Vorzugsweise ist das Zeit-Signal derart ausgestaltet, dass jedem Bild des Video-Signals ein eindeutiger Zeitwert zugewiesen werden kann. Insofern hat das Zeit-Signal die Funktion eines eindeutigen Zeitstempels.
-
Kamera-Parameter im Sinne der Erfindung sind Parameter, die Eigenschaften der zugeordneten Kamera charakterisieren, beispielsweise den aktuell eingestellten Kamerawinkel, die Neigung und die die Position der Kamera, wobei letztere mittels eines GPS-Sensors messbar ist. Zum Erfassen der Kamera-Parameter ist mindestens ein Kamera-Sensor vorgesehen, der beispielsweise zur Erfassung des Kamerawinkels als Gyroskop und/oder zur Erfassung der Kamera-Orientierung als (elektronischer) Kompass ausgestattet sein kann. Die Kamera-Parameter werden vorzugsweise zeitgleich mit der Aufzeichnung der Video-Signale diesen zugeordnet.
-
Meta-Daten sind im Sinne der Erfindung insbesondere Parameter des Ereignisses. Bei einem Fußballspiel handelt es sich dabei etwa um die aktuelle Position des Balles und/oder um die aktuellen Positionen der Spieler, die mittels gängiger Tracking-Verfahren erfasst werden können. Auch aktuelle Spielstände sind Meta-Daten. Bei einem Wettrennen sind Meta-Daten beispielsweise die aktuellen Positionen der Fahrer oder Fahrzeuge und/oder deren aktuelle Platzierungen. Die Ermittlung der Meta-Daten erfolgt beispielsweise über gängige Tracking-Verfahren, Schnittstellen und/oder mittels GPS-Sensoren. Meta-Daten können aber auch Sendungsdaten sein, die darüber Auskunft geben, ob ein bestimmter Teil des Video-Signals beispielsweise im Rahmen einer Fernsehübertragung gesendet wurde. Meta-Daten im Sinne der Erfindung sind auch nutzerdefinierte Parameter wie Spieler- und/oder Fahrzeugnamen, individuelle Statistiken sowie sonstige Informationen zu Spielern und/oder Fahrzeugen, die aus Datenbanken eingespielt werden können, beispielsweise die Torschussquote eines Fußballspielers. Vorzugsweise sind auch die Lautstärkeinformationen, gemessen durch ein insbesondere von der Kamera räumlich getrennt aufgestelltes Mikrofon Meta-Daten im Sinne der Erfindung. Damit können beispielsweise Lautstärke-Informationen einer Fankurve in einem Fußballstadium als Meta-Daten im Sinne der Erfindung erfasst werden.
-
Die Übertragung der Video-Signale, der Kamera-Parameter und der Meta-Daten an die Datenverarbeitungseinrichtung kann mittels Kabel und/oder kabellos erfolgen, wobei in letzterem Fall die Übertragung beispielsweise mittels WLAN, Bluetooth und/oder Funk vorgenommen werden kann.
-
Eine Nutzereingabe zur erfindungsgemäßen Auswertung der Video-Signale ist beispielsweise eine Abfrage nach einer Kombination von mehreren Kriterien, beispielsweise die Abfrage, zu welcher Zeit ein bestimmtes Fahrzeug von einer bestimmten Kamera erfasst wurde.
-
In einer Ausgestaltung der Erfindung werden die Video-Signale mittels einer einzigen Kamera aufgenommen, deren Position und Kamerawinkel während des Ereignisses verändert und als Kamera-Daten erfasst werden. Als Meta-Daten werden beispielweise Lautstärkeninformationen eines Zuschauerbereichs mittels mehrerer externer Mikrofone erfasst, wobei eine große Lautstärke auf ein wichtiges Geschehnis, beispielsweise auf einen Torschuss hinweisen kann. Werden durch eine Nutzereingabe die besonderen Momente eines Ereignisses - Highlights - angefragt, werden als Antwort diejenigen Teile des Video-Signale bereitgestellt, bei denen die Lautstärke der Meta-Daten signifikant erhöht ist.
-
Vorzugsweise erfolgt das Erfassen des Zeit-Signals, das Aufnehmen der Video-Signale, das Erfassen der Kamera-Parameter und das Erfassen der der Meta-Daten zeitlich synchronisiert, so dass die Zuordnung der Video-Signale, der Kamera-Parameter und der Meta-Daten zum Zeit-Signal vereinfacht ist. Beispielsweise können immer dann, wenn ein Einzelbild der Video-Signale aufgenommen wird, Kamera-Parameter und Meta-Daten erfasst werden. Alternativ oder zusätzlich dazu können die Video-Signale mehrerer Kameras zeitlich synchronisiert aufgenommen werden. Insbesondere kann die Zuordnung des Zeit-Signals zu den Video-Signalen gleichzeitig mit dem Aufnehmen der Video-Signale erfolgen. Analog kann dies für die Zuordnung des Zeit-Signals zu den Kamera-Parametern und/oder zu den Meta-Daten gelten.
-
In einer Weiterbildung der Erfindung erfolgen das Erfassen des Zeit-Signals und das Aufnehmen der Video-Signale und das Erfassen der Kamera-Parameter über die gesamte Dauer des Ereignisses, um bei der automatischen Auswertung auf den kompletten Datensatz, der während des gesamten Ereignisses erzeugt wurde, zurückgreifen zu können. Vorzugsweise erfolgt zusätzlich das Erfassen der Meta-Daten über die gesamte Dauer des Ereignisses.
-
Das Erfassen der Meta-Daten kann aber auch nur dann erfolgen, wenn ein Parameter der Meta-Daten einen nutzerdefinierten Grenzwert unterschreitet und/oder übersteigt. Hierdurch wird die Ansammlung einer zu großen, ungenutzten Datenmenge vermieden. Beispielsweise kann die Erfassung einer lokalen Lautstärke nur dann vorgenommen werden, wenn der Schallpegel oberhalb eines nutzerdefinierten Grenzwerts liegt. Eine große Lautstärke kann auf ein bedeutendes Geschehnis hindeuten, beispielsweise auf ein Foul oder auf ein Überholmanöver.
-
In einer Weiterbildung der Erfindung erfolgen die Schritte des Auswertens und der Bereitstellung des Teils der Video-Signale während des Ereignisses, so dass der vom Nutzer gewünschte Teil der Video-Signale noch während des Ereignisses, insbesondere kontinuierlich, bereitgestellt werden kann. In einem Beispiel liegt eine nutzerseitige Anfrage nach den Highlights des Ereignisses vor. Durch das kontinuierliche Auswerten während des Ereignisses wird ermittelt, zu welchem Zeit-Signal eine erhöhte Lautstärke in einem Fanbereich erfasst wird, was auf ein bedeutsames Highlight hinweist. Durch die Ermittlung der Zeit-Signale aller Highlights können die entsprechenden Teile der Video-Signale dem Benutzer noch vor dem Ende des Ereignisses bereitgestellt werden.
-
Vorzugsweise werden bei dem Auswerten der Video-Signale weitere Meta-Daten generiert. Auf diese Weise können objekt- bzw. personenbezogene Statistiken erstellt bzw. ergänzt werden. Dieser Schritt kann automatisiert erfolgen, so dass die neu erstellten Statistiken bei der Auswertung der Video-Signale wieder als Meta-Daten zur Verfügung stehen können. Die Video-Signale, die Kamera-Parameter, die Meta-Daten und/oder der bereitgestellte Teil der Video-Signale können auf einem Datenträger gespeichert werden, vorzugsweise in Form einer Datenbank, so dass eine Archivierung und/oder eine spätere Auswertung möglich ist.
-
Bei der erfindungsgemäßen Vorrichtung kann der Meta-Sensor räumlich getrennt von dem Kamera-Sensor vorgesehen sein. Weiterhin wird vorzugweise jeder Kamera ein Kamera-Sensor zugeordnet, der insbesondere mit der ihm zugeordneten Kamera integriert ist.
-
In einer Weiterbildung der Erfindung ist mindestens eine Kamera an einem Flugkörper angeordnet, insbesondere an einer Drohne, so dass die Kamera schnell und leicht beweglich ist.
-
Weitere Vorteile und Merkmale der Erfindung ergeben sich aus den Ansprüchen und aus der nachfolgenden Beschreibung, in der ein Ausführungsbeispiel der Erfindung unter Bezugnahme auf die Zeichnung im Einzelnen erläutert ist. Dabei zeigen:
- 1 Die erfindungsgemäße Vorrichtung in einer schematischen Darstellung und
- 2 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
-
1 zeigt in einer schematischen Skizze eine Laufstrecke 10, beispielsweise eine Laufstrecke 10 für einen Mittelstrecken-Lauf, bei dem in 1 nicht dargestellte Läufer entlang der Laufstrecke 10 um die Wette laufen, während sie von zwei Kameras 11, 12 am Rand der Laufstrecke 10 gefilmt werden. Beispielhaft sind in 1 eine erste Kamera 11 und eine zweite Kamera 12 gezeigt, die an unterschiedlichen Positionen am Rand der Laufstrecke 10 angeordnet sind. Während des Laufes nimmt die erste Kamera 11 ein erstes Video-Signal 15 und die zweite Kamera 12 ein zweites Video-Signal 16 auf, was im Ablaufdiagramm der 2 skizziert dargestellt ist.
-
Beide Kameras 11, 12 sind jeweils mit einem integrierten Kamera-Sensor 13, 14 versehen, wobei der erste Kamera-Sensor 13 mit der ersten Kamera 11 und der zweite Kamera-Sensor 14 mit der zweiten Kamera 12 verbunden sind. Der erste Kamera-Sensor 13 erfasst während des Laufes lokale Kamera-Parameter der ersten Kamera 11. Lokale Kamera-Parameter sind im Beispiel der 1 die geographische Position der Kamera, deren Orientierung und deren Kamerawinkel. Die geographische Position der Kamera wird mit einem GPS-Sensor gemessen, die Orientierung mit einem elektrischen Kompass und der Kamerawinkel mit einem elektrischen Gyroskop in Kombination mit einer Software-Schnittstelle zur Kamera. Der GPS-Sensor, der elektrische Kompass, das elektrische Gyroskop und die Software-Schnittstelle sind integral als erster Kamera-Sensor 13 ausgebildet, der die erfassten Kamera-Parameter über eine weitere Schnittstelle ausgibt. Ebenso wie der erste Kamera-Sensor 13 erfasst der zweite Kamera-Sensor 14 die lokalen Kamera-Parameter der zweiten Kamera 12 während des Laufes.
-
Beispielsweise weist in 1 die erste Kamera 11 einen ersten Kamerawinkel 17 auf, der insbesondere eine Kurve 18 der Rennstrecke 10 erfasst und der größer ist als ein zweiter Kamerawinkel 19 der zweiten Kamera 12. Der zweite Kamerawinkel 19 der zweiten Kamera 12 ist auf einen Zielbereich 20 der Laufstrecke 10 ausgerichtet. Im gezeigten Beispiel bezeichnet der Kamerawinkel 17, 19 den geographischen Bereich, der von der Kamera 11, 12 erfasst wird. Indem also der zweite Kamerawinkel 19 kleiner ist als der erste Kamerawinkel 17, ergibt sich ein vergrößertes Bild, um besser beurteilen zu können, welcher der Läufer als erster den Zielbereich 20 überquert. Die Kamerawinkel 17, 19 der Kameras 11, 12 sind zeitlich veränderbar und werden kontinuierlich von den jeweils den Kameras 11, 12 zugeordneten Kamera-Sensoren 13, 14 als Kamera-Parameter erfasst.
-
Die in 1 nicht dargestellten Läufer sind jeweils mit einem Meta-Sensor 21 in Form eines GPS-Sensors versehen, um zu jeder Zeit des Laufes die geographischen Positionen der Läufer auf der Laufstrecke 10 zu erfassen. Beispielhaft ist im rechten Bereich der 1 ein GPS-Sensor 21 angeordnet. Zusätzlich ist ein zweiter Meta-Sensor 22 in Form eines Mikrofons auf der linken Seite der 1 angeordnet, um die Lautstärke der Zuschauer während des Laufes zu messen.
-
Die Kameras 11, 12, die Kamera-Sensoren 13, 14 und die Meta-Sensoren 21, 22 sind jeweils mit einer Datenverarbeitungseinrichtung 23 verbunden, wobei die Verbindungen in 1 zwar durch Verbindungsleitungen 24 dargestellt sind, aber alternativ auch drahtlos ausgestaltet sein können.
-
Das erfindungsgemäße Verfahren soll anhand der 1 und 2 erläutert werden, wobei 2 ein schematisches Ablaufdiagramm zeigt.
-
Während des Laufs wird ab dem Startsignal ein kontinuierliches Zeit-Signal erfasst, das die Zeit in Millisekunden angibt und das folglich als einheitlicher Zeitstempel dient. Dieser Verfahrensschritt ist mit 25 in der 2 dargestellt.
-
Zusätzlich nehmen die beiden Kameras 11, 12 der 1 während des Laufes jeweils kontinuierliche Video-Signale 15, 16 auf. Jedem Einzelbild der Video-Signale 15, 16 wird automatisch das jeweilige Zeit-Signal zugeordnet. Dieser Verfahrensschritt ist auf der linken oberen Seite der 2 als 26 markiert.
-
Zeitgleich zur Aufnahme der Video-Signale 15, 16 werden insbesondere die Positionen, Orientierungen und Kamerawinkel der beiden Kameras 11, 12 durch die Kamera-Sensoren 13, 14 als Kamera-Parameter erfasst und automatisch dem entsprechenden Zeit-Signal zugeordnet 27.
-
Gleichzeitig erfasst der GPS-Sensor 21 kontinuierlich die jeweils aktuelle Position des ihm zugeordneten Läufers und das Mikrofon 22 erfasst die aktuelle Lautstärke des Publikums. Beiden Meta-Daten wird bei deren Erfassung durch die Meta-Sensoren 21, 22 das jeweils aktuelle Zeit-Signal automatisch zugeordnet 28.
-
Noch während des Ereignisses werden in einem nächsten Verfahrensschritt 29 die dem Zeit-Signal zugeordneten Video-Signale, Kamera-Daten und Meta-Daten an die Datenverarbeitungseinrichtung 23 übermittelt. Im dargestellten Beispiel der 1 und 2 ist der Trainer des Läufers interessiert an der Leistung während des Laufes und tätigt daher in einem nächsten Verfahrensschritt 30 eine Nutzereingabe an die Datenverarbeitungseinrichtung 23, indem er solche Video-Signale anfordert, in denen dieser konkrete Läufer zu sehen ist. Diese Nutzereingabe wird in der Datenverarbeitungseinrichtung 23 registriert, so dass die aufgenommenen Video-Signale 15, 16 dahingehend analysiert werden, ob der Läufer in den Video-Signalen 15, 16 zu sehen ist, s. Verfahrensschritt 31 der 2.
-
Für die erste Kamera 11 ist dies beispielsweise dann der Fall, wenn die geographische Position des Läufers, die durch den GPS-Sensor 21 kontinuierlich erfasst wird, von dem ersten Kamerawinkel 17 abgedeckt ist. In diesem Fall stellt die Datenverarbeitungseinrichtung 23 nur den Teil des ersten Video-Signals 15 bereit, in dem der Läufer darauf zu sehen ist. Analog wird mit der automatischen Auswertung der zweiten Video-Signale 16 der zweiten Kamera 12 verfahren. Die Auswertung der Video-Signale 15, 16 erfolgt während des Ereignisses und simultan für sämtliche Video-Signale 15, 16. In einem letzten Verfahrensschritt 32 der 2 stellt die Datenverarbeitungseinrichtung 23 dem Benutzer die gewünschten Teile der Video-Signale 15, 16 bereit, auf denen der Läufer zu sehen ist.
-
In einem zweiten Beispiel handelt es sich bei der Nutzereingabe um eine Anfrage einer Sendeanstalt nach den Highlights des Rennens. Diese Nutzereingabe wird von der Datenverarbeitungseinrichtung 23 derart interpretiert, dass nach solchen Zeit-Signalen gesucht wird, in denen das Mikrofon 22 am Rand der Laufstrecke 10 signifikant hohe Lautstärken als Meta-Daten erfasst hat. Dies deutet auf ein besonders bedeutungsvolles Geschehnis hin. Nachdem die Datenverarbeitungseinrichtung 23 die Zeit-Signale ermittelt hat, in denen hohe Lautstärken gemessen wurden, werden die den Zeit-Signalen zugeordneten ersten Video-Signalen 15 der ersten Kamera 11 ermittelt, da die erste Kamera 11 am nächsten zum Mikrofon 22 angeordnet ist. Die übrige Auswertung und Bereitstellung des gewünschten Teils der Video-Signale 15, 16 erfolgen analog zum vorigen Beispiel. Auf diese Weise werden dem Benutzer die Highlights des Ereignisses bereitgestellt.
