DE60123786T2

DE60123786T2 - Verfahren und System zur automatischen Produktion von Videosequenzen

Info

Publication number: DE60123786T2
Application number: DE60123786T
Authority: DE
Inventors: Serge Ayer; Michel Moreaux; Olivier Volery
Original assignee: DARTFISH SA
Current assignee: DARTFISH SA
Priority date: 2001-08-29
Filing date: 2001-08-29
Publication date: 2007-03-15
Anticipated expiration: 2021-08-30
Also published as: EP1289282A1; EP1289282B1; DE60123786D1

Description

Die Erfindung bezieht sich auf ein Verfahren und ein System zur automatischen Herstellung von Videosequenzen, die besonders mit Sportveranstaltungen korrespondieren. Die vorliegende Erfindung bezieht sich insbesondere auf ein Verfahren und ein System zur Produktion und Wiederherstellung, in Echtzeit oder zeitlich verschoben, von Videosequenzen, besonders in einen geschlossenen Videokreislauf.
Viele Sportarten können nur dank Video ganz genossen werden. In dieser Hinsicht ist die Qualität der Produktion, besonders die Auswahl der Ansichten und der Bildverarbeitung, besonders wichtig. Die Möglichkeiten von slow-motion, das Zoomen von Details oder das Einbetten von zusätzlichen Daten macht es möglich, Ereignisse oder Bewegungen zu sehen, die anderenfalls mit dem blossen Auge schwer zu erfassen wären, und Leistungen von verschiedenen Athleten zu vergleichen. Solche Videosequenzen sind während dem Training der Athleten sehr nützlich, um ihre Bewegungen zu analysieren oder um diese mit denen der Konkurrenten oder Trainer zu vergleichen. Dies ist besonders der Fall für das Training von Autorennen, wo die Analyse von der Bahn des Gefährts in den Kurven den Fahrern ermöglicht, ihre Technik zu verbessern. Es ist auch der Fall für Training von nicht-sportlichen Aktivitäten, so zum Beispiel das Training beim Umgang mit Maschinen oder Geräten.
Neben den Filmsystemen, die für das Aussenden von Bildern bestimmt sind, besonders in Hinblick auf Televisionsübertragungen, sind auch Systeme bekannt, die bestimmt sind, Videosequenzen aufzunehmen und diese in Echtzeit oder zeitlich verschoben in einem geschlossenen Videokreislauf wiederherzustellen. Solche Systeme werden insbesondere für Trainingszwecke oder für den automatischen Erwerb von wiederhergestellten Bildern auf einer Grossleinwand für Zuschauer von Sportereignissen verwendet. Aus offensichtlichen ökonomischen Gründen gibt es einen Wunsch, Systeme zu verwenden, die fähig sind, ohne die Intervention eines Kameramanns oder eines Operators zu filmen und Bilder wiederherzustellen. Diese Kameras werden deshalb im Allgemeinen in einer festen Weise befestigt oder motorisiert und erwerben Videosequenzen, die aufgenommen oder direkt beispielsweise in einem geschlossenen Videokreislauf gesendet werden.
Gewisse Filmsysteme umfassen Freigabeschalter oder Trigger, die es ermöglichen, den Erwerb von einer Videosequenz automatisch zu triggern. Es wurde zum Beispiel vorgeschlagen, Kameras automatisch zu triggern oder diese in Standby zurückzusetzen, wenn ein Sensor das Ankommen und das Abfahren eines Konkurrenten aus der gefilmten Szene detektiert. Diese Lösungen sind besonders in WO-A-00/08856 oder in US-A-5229850 beschrieben.
Die Systeme zur Produktion und Wiederherstellung von Videosequenzen, besonders in einem geschlossenen Videokreislauf, bieten im Allgemeinen keine Produktionsmöglichkeiten an. Die erworbenen Bilder sind dafür gedacht, direkt wie sie sind und ohne vorherige digitale Verarbeitung auf einem Bildschirm wiederhergestellt zu werden. Ein menschlicher Operator kann möglicherweise einfache Produktionsoperationen durchführen, zum Beispiel eine Kamera auszuwählen, die auf jedem Monitor dargestellt ist. Diese Möglichkeiten sind jedoch begrenzt und benötigen die Intervention eines menschlichen Operators während der Aufnahme oder der Produktion.
Es ist ein Ziel der Erfindung, ein neues automatisches Produktionssystem und -verfahren zu schaffen, welches eine grössere Flexibilität für die Produktion von Videosequenzen gewährt, während die Anzahl von menschlichen Interventionen während der Produktion begrenzt werden.
Es ist ein anderes Ziel dieser Erfindung ein neues automatisches Produktionssystem und -verfahren zu schaffen, die neue Möglichkeiten für die Produktion und die Verarbeitung von Videosequenzen gewähren, die andernfalls mit traditionellen Systemen und Verfahren schwer oder teuer zu realisieren wären.
Es ist ein anderes Ziel dieser Erfindung ein neues automatisches Produktionssystem und -verfahren vorzuschlagen, die das Filmen von mehreren Athleten oder Personen ermöglicht, die nacheinander dieselbe Szene durchkreuzen, und ihre Bewegungen und ihre Leistungen miteinander zu vergleichen.
Es ist ein anderes Ziel dieser Erfindung, ein neues System und Verfahren zur automatischen Produktion von Videosequenzen vorzuschlagen, die das Storyboard im Voraus zu definieren, d.h. die Abfolge von erworbenen und wiederhergestellten Bildern, sowie die digitale Verarbeitungsoperationen, die auf diesen verschiedenen Ansichten durchgeführt werden. Das Storyboard umfasst vorzugsweise mindestens eine Sequenz oder mindestens eine digitale Verarbeitung abhängig von einem Triggersignal, das durch das Verhalten des gefilmten Athleten generiert wird.
Gemäss der Erfindung werden diese Ziele mit einem Produktionssystem mit den Merkmalen des Patentanspruchs 1 erreicht, wobei bevorzugte Ausführungsformen durch die Ansprüche, die vom Anspruch 1 abhängig sind, angezeigt werden. Diese Ziele werden auch durch ein Verfahren gemäss dem Anspruch 29 erreicht.
Die Erfindung wird besser verständlich mit der Hilfe von Beschreibung, die als Beispiel angeführt und durch die beigefügten Figuren illustriert ist, in welchen zeigen
Die 1 eine schematische Ansicht einer Autorennbahn, die mit einem Produktionssystem gemäss der vorliegenden Erfindung ausgestattet ist.
Die 2 ein Blockdiagramm eines Produktionssystems gemäss der Erfindung.
Die 3 bis 10 Beispiele von Videobildern, die dafür gedacht sind, verschiedene digitale Verarbeitungsoperationen, die auf den erworbenen Videosequenzen durchgeführt werden können, zu illustrieren.
Die 11 ein Beispiel einer Dialogbox, die es ermöglicht, die im System befestigten Kameras zu konfigurieren.
Die 12 ein Beispiel einer Dialogbox, die es ermöglicht, die im System befestigten Trigger zu konfigurieren.
Die 13 ein Beispiel einer Dialogbox, die ein „Story-Board" ermöglicht, d.h. die Abfolge aufgenommener und wiederhergestellter Ansichten, gemäss den Signalen, die von verschiedenen Triggern geliefert werden, zu definieren.
Die 14 ein Beispiel einer Dialogbox, die ermöglicht, die Videosequenzen vorzudefinieren.
Die Beispiele, die in dieser Anmeldung beschrieben und in den Figuren illustriert sind, beziehen sich besonders auf Autorennsport. Es versteht sich, dass das erfindungsgemässe System auch für die Produktion von Videosequenzen von anderen Sportarten angewendet werden kann, besonders für Sportarten, in welchen die Position der Athleten und die gewünschten Ansichten im Voraus bestimmt werden können, besonders alle Sportarten, in welchen die Athleten einen vordefinierten Weg oder Bahn abdecken, zum Beispiel Radfahren, Laufen, Skifahren oder Sportarten, in welchen die Athleten sich in einen begrenzten Raum bewegen, der vorher bekannt ist, zum Beispiel Gymnastik, Hochsprung oder Weitsprung, etc. Das Videosystem kann auch für Trainingsaktivitäten, die sich nicht auf Sportarten beziehen, verwendet werden.
Die 1 illustriert schematisch eine Autorennbahn 1, die mit einem Produktionssystem gemäss der Erfindung ausgestattet ist. Die Bahn 1 umfasst einen Kreislauf mit zwei Routen 10, 11. Ein Fahrer fährt diesen Kreislauf an Bord seines Gefährts 2 ab und kann eine der beiden Routen auswählen. Das erfindungsgemässe Produktionssystem umfasst verschiedene Kameras 41, 42, die es ermöglichen, Videosequenzen v1, v2 von verschiedenen Szenen auf der Bahn 1 zu erwerben. In diesem Beispiel sind zwei Kameras 41, 42 vorgesehen. Es versteht sich, dass die Anzahl der Kameras zu jeder Zeit variiert werden kann und im Allgemeinen grösser sein wird, um vorzugsweise die ganze Bahn oder mindestens alle schwierigen Teile zu filmen.
Gewisse Kameras sind vorzugsweise mit Sensoren 71, 72 ausgestattet, die Sensorsignale s1, s2 bereitstellen, die Filmbedingungen anzeigen, zum Beispiel die Beleuchtung und Chrominanz der Szene, die verwendete Blende, Fokuslänge und -abstand, die durchgeführten Kamerabewegungen, etc. In diesem illustrierten Beispiel ist die Kamera 41 mit einem einzigen Sensor 71 und die Kamera 42 mit einem einzigen Sensor 72 ausgestattet. Die Kameras kann weiter mit Stellgliedern 81, 82 ausgestattet werden, welche es ermöglicht, diese von der Ferne aus durch Stellsignale a1, a2 zu kontrollieren, die Zoomrate zu modifizieren oder dem Fokus oder die Blende anzupassen. Die Bewegungen der Kameras können vorprogrammiert werden oder durch das digitale System 5, das auf die Stellglieder 81, 82 einwirkt, kontrolliert werden. Auf diese Weise ist es möglich, besonders die Kamera zu bewegen und/oder den Fokusabstand anzupassen, um einem bewegten Objekt zu folgen, zum Beispiel durch Analyse des Inhalts der Videosequenz oder durch Informationen in Bezug auf die Position der gefilmten Objekte, durch ein Positionserkennungssystem zum Beispiel von GPS-Typ.
Die Sensorsignale s1, s2 und die Signale der Stellglieder a1, a2 können über ein digitales Videosignal s1 bis sm gemuliplexed werde, zum Beispiel über einen der Soundtracks, um die Anzahl von Kabeln zwischen den Kameras und dem digitalen Verarbeitungssystem 5 zu reduzieren. Jede Kamera kann mit verschiedenen Sensor und/oder Stellgliedern ausgestattet werden; es ist auch möglich, gewisse Kameras ohne Sensoren oder Stellgliedern zu haben, oder Sensoren, die nicht zu einer speziellen Kamera verbunden sind. Stellglieder können auch verwendet werden, um Lichtprojektoren auf der Szene oder andere Elemente, die fähig sind, das Filmen zu beeinflussen, zu kontrollieren.
Vorrichtungen für die Wiederherstellung von Videosequenzen 61, 62 machen es möglich, die ausgehenden Videosequenzen o1, o2, die durch die Kameras 41, 42 aufgenommen und durch das digitale Verarbeitungssystem 5 verarbeitet wurden, in Echtzeit oder möglicherweise zeitlich verzögert wiederherzustellen.
In diesem Beispiel bestehen die Wiederherstellungsvorrichtungen auf einem Display, welches in Richtung der Fahrer gerichtet ist, welche sich deshalb sehen und mit anderen Fahrern während des Trainings vergleichen können. Die Wiederherstellungsvorrichtungen könnten auch gigantische Displays, die in Richtung der Zuschauer von einem Wettbewerb gerichtet sind, umfassen, Rekorder, um die produzierte Videosequenzen aufzunehmen oder Monitore, die für den Fahrer oder seinen Trainer gedacht sind.
Das System umfasst Trigger 31, 32, die die Bahn 1 ausstatten und die Triggersignale t1, t2 in Reaktion auf ein bestimmtes Ereignis in Verbindung mit der gefilmten Szene bereitstellen. In diesem Beispiel umfasst die Bahn zwei Erkennungsschleifen 31 respektive 32, um ein vorbeifahrendes Gefährt zu detektieren, welche ein Signal t1 respektive t2 generieren, wenn ein Vehikel an einen präzisen Punkt der Bahn 10 respektive 11 vorbeifährt. Die Triggersignale t1, t2 werden zu dem digitalen Verarbeitungssystem 5 übermittelt.
Andere Triggerarten können auch gemäss der Sportart oder der Produktion bereitgestellt werden. Irgendeine Vorrichtung, die Informationen in Bezug auf die gefilmte Szene bereitstellt, und die nützlich für den Entscheid der Aufnahme, der Verarbeitung und/oder die Wiederherstellungsoperationen ist, kann als Trigger verwendet werden. Zum Beispiel ist es möglich, Trigger zu verwenden, die ein Signal generieren, wenn ein spezielles Geräusch oder ein Sound erkannt wird, zum Beispiel das Geräusch eines Balles, der in einer Sportart wie Tennis oder Golf geschlagen wird. Trigger können auch auf das Gefährt 2 oder nahe dem gefilmten Fahrer montiert werden und umfassen zum Beispiel ein Beschleunigungsmesser oder ein Positionssensoren, zum Beispiel von GPS-Typ (Global Positioning System). Ein Triggersignal ti wird dann generiert, wenn bestimmte Bedingungen der Beschleunigung, der Geschwindigkeit oder der Position erfüllt sind. Ein Triggersignal kann auch manuell durch den Fahrer, durch seinen Trainer, durch einen Operator oder durch einen Uhrkreislauf generiert werden. Weiter ist es auch möglich, Identifikationselemente, zum Beispiel Transponder, auf gewisse Gefährte oder Fahrer zu montieren. Ein Triggersignal kann dann selektiv generiert werden, wenn ein spezifizierter Fahrer eine spezielle Aktion erfüllt, was zum Beispiel ermöglicht, einen speziellen Fahrer auf der Bahn zu folgen. Die Trigger können auch vom visuellen Typ sein und auf der Analyse der erworbenen Videosequenzen basieren. Zum Beispiel kann das digitale Verarbeitungssystem 5 ein Triggersignal generieren, wenn ein Fahrer die Startlinie oder die Ziellinie des Rennens überkreuzt. Schlussendlich ist es möglich, die Signale der Sensoren 71, 72 auf den Kameras als Triggersignale zu verwenden. Es ist also möglich, zum Beispiel die Darstellung einer Sequenz zu triggern, wenn ein Autofokussensor einen vordefinierten Abstand zu dem Fahrer anzeigt, oder mit einer vorher aufgenommenen Videosequenz zu fusionieren, wenn der Sensor anzeigt, dass das Bild klar ist.
Es ist also möglich, Triggersignale zu generieren, wenn komplexere Konditionen erfüllt werden, die möglicherweise Signale benötigen, die durch mehrere Trigger oder Sensoren generiert werden. Softwareroutinen, die durch das digitale Verarbeitungssystem 5 ausgeführt werden, können auch verwendet werden, um diese Konditionen zu verifizieren. Ein Triggersignal kann also generiert werden, wenn eine geeignete Routine in dem digitalen Verarbeitungssystem 5 mit der Hilfe von Informationen, die von einem GPS-Sensor oder durch Bildverarbeitung bereitgestellt wird, ein Übernahmemanöver, eine Kollision, ein Auto, das die Bahn verlässt, oder irgendein anderes interessantes Ereignis detektiert. Das System ermöglicht daher, die automatische Aufnahme, Produktion und Wiederherstellung von Schlüsselszenen von einer Trainingseinheit oder einem Wettbewerb.
Das erfindungsgemässe Produktionssystem wird in grösserem Detail mit der Hilfe des Blockdiagramms der 2 beschrieben. Das zentrale Element des Produktionssystems besteht aus einem digitalen Verarbeitungssystem 5, zum Beispiel einem Personalcomputer oder einer Workstation. Das digitale Verarbeitungssystem 5 umfasst m Eingänge für digitale Videosignale v1 bis vm, die durch m digitale Videokameras 41 bis 4m generiert werden. m Pufferspeicher 531 bis 53m ermöglichen die Videodaten, die durch die Kameras 41 bis 4m bereitgestellt werden, zeitlich zu speichern. Die Grösse von jeder der m Pufferspeicher, d.h. die Anzahl der gespeicherten Bildern, kann vorzugsweise dynamisch variiert werden. Der Pufferspeicher 53 ermöglicht die Aufnahme von einem „pre-roll", d.h. einer begrenzten Anzahl von Bildern, von welchen es möglich sein wird, die Leseposition auszuwählen.
Das digitale Verarbeitungssystem 5 umfasst auch I digitale Eingänge für I Triggersignale t1 bis tl, die durch l Trigger 31 bis 3l generiert werden. Die l Triggersignale können auch auf den Signalen, die von den Kameras 41 to 4m herausgegeben werden, gemultiplexed werden, zum Beispiel auf einem der Soundkanäle oder auf einem Datenkanal, der mit diesem Effekt ausgestattet ist, wobei diese Ausführungsform den Vorteil bietet, die Anzahl von Kabeln, die zum System 5 gezogen werden müssen, reduziert werden. I Zähler 541 bis 54l ermöglichen das Einfügen einer variablen Zeitspanne für die Anwendung von den Triggersignalen. Wie vorher angedeutet, können die Triggersignale auch durch das digitale Verarbeitungssystem 5 generiert werden, zum Beispiel, wenn ein spezielles Ereignis durch Bilderkennung auf einer speziellen Videosequenz oder durch die Sensoren 71 bis 7k detektiert wird.
Der digitale Schaltkreis 5 umfasst zusätzlich k Eingänge für die Signale s1 bis sk, die von k Sensoren 71 bis 7k ausgehen, und o Ausgänge für die Kontrollsignale für die o Stellglieder 81 bis 8o.
Es versteht sich, dass die Verbindung zwischen dem Verarbeitungssystem 5 und den verschiedenen Komponenten 43i, 4i, 7i, 8i als ein Bus oder als ein lokales Kabel oder als drahtloses Netzwerk realiziert werden kann, und dass es deshalb nicht notwendig ist, physikalisch unterschiedliche Eingänge oder Ausgänge zu definieren. Es versteht sich auch, dass die Funktion des Pufferspeichers und des Zählers vorzugsweise komplett durch Software als mit der Hilfe von bestimmten elektronischen Schaltkreisen ausgeführt wird.
Das digitale Verarbeitungssystem 5 umfasst weiter eine oder mehrere Graphikkarten (nicht dargestellt), die mit n Ausgängen für n Wiederherstellungssystem 61 bis 6n versehen werden, was ermöglicht, n Videosequenzen o1 bis on von Videosequenzen, die durch die Kameras 41 bis 4n angenommen wurden, wiederherzustellen. Eine oder mehrere verarbeitete Videosequenz kann auch in einem Speicherbereich 55 gespeichert werden, der in der gleichen Weise wie die Eingangssignale, die von den Kameras ausgehen, zugänglich ist. Es ist beispielsweise auch möglich, in dem Speicher 55 Referenzvideosequenzen des Trainers oder eine Champions zu speichern, mit dem der gegenwärtig gefilmte Fahrer verglichen werden kann.
Das digitale Verarbeitungssystem 5 umfasst einen Prozessor 50 oder ein Prozessornetzwerk, um ein Programm auszuführen, das fähig ist, eine digitale Verarbeitung der Videosequenz, die durch die Kameras erworben oder vorher gespeichert wurden, in Echtzeit durchzuführen. Ein Computerprogramm, das in einem Speicherteil 51 gespeichert wird, macht es für einen Operator möglich, ein Storyboard im Voraus zu editieren, d.h. vor dem Dreh die Abfolge von aufgenommenen und wiederhergestellten Ansichten zu definieren (Vorproduktion). Das Programm 51 ermöglicht besonders die Abfolge von ausgewählten Ansichten und die in einer Funktion von verschiedenen, empfangenen Triggersignalen durchzuführenden digitalen Verarbeitungsoperationen. Das Storyboard kann vorzugsweise von einem entfernten Terminal 52 editiert werden, zum Beispiel von einem Laptop oder PDA, was dem Trainer oder einem Operator ermöglicht, die Produktionsparameter zu modifizieren, wobei er gleichzeitig nahe an der Bahn 1 bleibt.
Mit Bezug auf 1 kann das Storyboard, das durch Hilfe einer Software 51 editiert wird, definieren, dass die Kamera 41 und der Bildschirm 61 aktiviert werden muss, wenn der Trigger 31 ein vorbeifahrendes Gefährt 2 auf der Route 10 anzeigt. Der Prozessor 50 kann dann gemäss dem eingegebenen Storyboard auch die Stellglieder 81 kontrollieren, zum Beispiel dass sich die Kamera 51 automatisch bewegt (panning), während sie eine Zoombewegung macht und die Schärfe anpasst, um das Gefährt 1 auf einem grösseren Teil auf der Bahn 1 einzufangen.
Das Storyboard kann auch auf die Zähler 541 bis 54l einwirken, um die Aktion der Triggersignale ti zu verzögern. Es ist daher möglich, eine vordefinierte Zeitspanne zwischen dem Signal t1, das durch das Vorbeifahren des Vehikels 2 bei dem Trigger 31 getriggert wird, und der Operation der Kamera 41 oder die Auswahl des Videosignals, das durch diese Kamera aufgenommen wurde, auf dem Bildschirm 61 zu programmieren. Es ist auch möglich, die Leseadresse in dem zyklischen Pufferspeicher 53i zu verändern, wenn das Triggersignal ti empfangen wird, so dass zum Beispiel um Bilder zu lesen, die aufgenommen werden, bevor das Triggersignal generiert wurden (pre-roll). Auf diese Weise ist es zum Beispiel möglich, die automatische Wiederherstellung des Starts des Rennens auf einem der Bildschirme zu kontrollieren, sobald ein Trigger feststellt, dass die Ziellinie überschritten wurde.
Verschiedene digitale Verarbeitungsoperationen, die durch den Prozessor 50 gemäss dem Storyboard und dem Trigger durchgeführt werden, sind schematisch in den 3 bis 10 dargestellt. In 3 wird die Videosequenz vi, die durch eine Kamera 4l erworben wurde, einfach zu einem der Wiederherstellungssysteme 6l gesendet, die in dem Storyboard definiert sind. Die Sequenz kann also durch eine Veränderung der Leseadresse in einem Pufferspeicher 53i verzögert oder vorwärts bewegt werden. Es ist auch möglich, eine verlangsamte oder beschleunigte Wiederherstellung zu programmieren, zum Beispiel durch zeitliche Wiederabfrage der Videosequenz.
In der 4 wurde ein Zoom in Übereinstimmung mit einem Storyboard durchgeführt. Das Zoom kann entweder durch Einwirkung auf einen geeigneten Zoommotor 8l der Kamera oder durch digitale Verarbeitung einer Videosequenz (Interpolation) durchgeführt werden.
In der 5 wurden die Daten, die von einem Sensor 7i ausgehen, über von einer Kamera aufgenommene Bilder gelegt. Die übereinander gelegten Daten können zum Beispiel eine Zwischenzeit oder eine Endzeit, die Geschwindigkeit des Gefährts, der Herzrhythmus des Fahrers, etc. enthalten.
In der 6 wird die von einer Kamera aufgenommene Videosequenz in einem Speicherbereich 55 über eine vorher aufgenommene Referenzvideosequenz gelegt. Diese kann beispielsweise eine Videosequenz eines Trainers oder eines Fahrers an der Spitze des Rennens sein. Die zwei Videosequenzen sind räumlich angeglichen – um so die Kameraverschiebungen zu kompensieren, so dass ihr Hintergrund korrespondiert – und können zeitlich synchronisiert werden, so dass die Videosequenzen zu äquivalenten Momenten seit dem Beginn des Rennens oder seit dem Vorbeigehen an einem Trigger korrespondieren, und auf demselben Bildschirmteil übereinander gelagert werden. Die Überlagerung kann durch zeitliche Wiederabfrage von einer oder beiden Videosequenz verbessert werden, so dass ihre Länge korrespondiert. Der Vordergrund wird vorzugsweise anders als der Hintergrund verarbeitet.
In der 7 sind zwei Videosequenzen auf demselben Bildschirm nebeneinander gestellt (geteilter Bildschirm). Die zwei Sequenzen sind vorzugsweise zeitlich synchronisiert, so dass sie mit vergleichbaren Momenten seit dem Beginn des Rennens oder seit dem Vorbeigehen an einem Trigger übereinstimmen.
In der 8 wird eine Videosequenz, die durch eine der Kamera aufgenommen wurde, mit einer Darstellung, die in Echtzeit von einem dreidimensionalen Model der gefilmten Szene rekonstruiert wurde, kombiniert. In diesem Beispiel wurde der Hintergrund der Videosequenz durch ein virtuelles Bild, das aus einem dreidimensionalen Model der Bahn 1 berechnet wurde, ersetzt. Es ist auch möglich, nur einen Teil des Bildes durch ein virtuelles Bild zu ersetzen, zum Beispiel die Webetafel durch virtuelle Anzeigetafeln. Die Rekonstruktion von diesem dreidimensionalen Model kann auf der Basis von empfangenen Sensorsignalen 7i oder auf der Basis einer Videoanalyse geschehen. Es würde zum Beispiel möglich sein, die Position des Fahrers auf der Basis der aufgenommenen Videosequenzen zu extrahieren.
In 9 ist der Hintergrund der Videosequenz unverändert, während das mobile Objekt im Vordergrund stroboskopartig verarbeitet wird, d.h. die aufeinander folgenden Positionen des Objekts wird an verschiedenen diskreten Momenten i₁, i₂, i_i auf demselben Hintergrund dargestellt. Wenn die Kamera sich zwischen den Momenten i_i bewegt, um dem mobilen Objekt zu folgen, ist es also möglich, aus Teilansichten von verschiedenen Bildern eine vergrösserte Panoramaansicht auf dem Hintergrund zu rekonstruieren. Die Parameter des stroboskopischen Effekts, zum Beispiel der ausgewählte Hintergrund oder die Länge der Intervalle zwischen dem Momenten i_i, kann durch das digitale Verarbeitungssystem 5 kontrolliert werden und hängt von der Information, die durch die Sensoren 7i und die Trigger 3i bereitgestellt wird, ab, also beispielsweise von der Geschwindigkeit des beweglichen Objekts, die durch einen Geschwindigkeitssensor angezeigt wird.
10 illustriert eine Videosequenz, die in Echtzeit von einem zweidimensionalen oder dreidimensionalen Model der Bahn berechnet werden, wobei Informationen, die durch die Trigger 31 und die Sensoren 7i geliefert werden, in Betracht gezogen werden. In diesem Beispiel wird die Position der zwei Gefährte 100 und 101, bestimmt durch die Sensoren 7i oder auf der Basis der Videosequenzanalyse, in Echtzeit auf einer Darstellung der Bahn gezeigt. Gemäss demselben Prinzip ist es auch möglich, von einem dreidimensionalen Modell, was der Fahrer an jedem Punkt von seiner Bahn sieht, zu simulieren. Es versteht sich, dass die Erfindung nicht auf Verarbeitungstypen, die hier als ein illustratives Beispiel angezeigt sind, beschränkt ist. Weiter können verschiedene Verarbeitungsoperationen verbunden werden. Es würde zum Beispiel möglich sein, die Bilder von zwei Fahrern entgegenzustellen (geteilter Bildschirm) oder übereinander zu legen (Bildüberlagerung) und auf derselben Sequenz automatisch generierte Graphiken, die in Echtzeit die Position der beiden Fahrer veranschaulichen, einzufügen.
Gewisse digitale Verarbeitungsoperationen, die durch den Prozessor 50 durchgeführt werden, können durch die Verwendung von Information, die durch die Sensoren 7i und die Trigger 3i geliefert werden, optimiert werden. Die räumliche Anordnung der überlagerten Videosequenzen in 6 kann Informationen in Bezug auf die Position und die Orientierung der Kameras verwenden. Die Überlagerung selbst wird natürlicher erscheinen, wenn die Beleuchtung und/oder die Chrominanz der zwei Videosequenzen ausgeglichen werden, wobei Information in Betracht gezogen werden, die durch die Beleuchtungs- oder Chrominanzsensoren geliefert werden. Ähnlich kann die zeitliche Synchronisation auf der Basis von Triggersignalen geschehen, zum Beispiel durch Signal ti, welches ein Vorbeifahren eines Gefährts an einem gegebenen Punkt signalisiert. Das Extrahieren eines Vordergrundelements, zum Beispiel das Extrahieren von dem gefilmten Gefährt, um es vom dem Hintergrund zu unterscheiden, können Informationen verwenden, die durch die Positionsdetektoren 7i zum Beispiel vom GPS-Typ geliefert werden.
Gemäss einem Merkmal der Erfindung, wird der Effekt des Triggersignals auf der Produktion von Videosequenzen mit der Hilfe eines Storyboards, das mit einer Software editiert wird, vordefiniert. Das Storyboard kann aus einem Skript, einem Programm oder aus einem Datenkorpus gemäss irgendeinem geeigneten editierbaren Format konstituiert werden, um den Betrieb der Trigger zu definieren.
11 bis 14 illustrieren Beispiele von Dialogboxen, die verwendet werden, um das Storyboard mit der Hilfe einer Software 51, die mit einem graphischen Interface ausgestattet ist, zu editieren. 11 zeigt eine Dialogbox, die es ermöglicht, die Trigger 3i, die auf der Bahn vorhanden sind, zu konfigurieren. Diese Dialogbox erlaubt es, Trigger einzufügen oder zu entfernen, ihren Typ zu definieren und ihnen Namen zu geben. Der Typ der Trigger a, b oder c korrespondiert zum Beispiel zu einem Triggermodell oder zu einem Treiber, der mit dem Modell assoziiert ist. Ein Knopf Config ermöglicht, die Operation von diesem Trigger zu konfigurieren, zum Beispiel zu definieren, auf welchem Eingangsport des Systems 5 er installiert wird, ob eine Zeitverzögerung angewendet werden muss, was seine Operationsparameter sind, etc.
12 zeigt eine ähnliche Dialogbox, die es erlaubt, zu definieren, welche Kameras 4i an das System angeschlossen sind. Jede Kamera kann einen speziellen Typen haben und ihr kann ein Name gegeben werden. Das Format der Videosequenzen, die durch die verschiedenen Kameras bereitgestellt werden, kann variieren.
Andere ähnliche Dialogboxen ermöglichen, die Sensoren 7i, die Stellglieder 8i und die Wiederherstellungsvorrichtungen 6i, die an das System angeschlossenen sind, zu konfigurieren. In einer anderen Ausführungsform ist es auch möglich, mindestens gewisse Elemente zu verwenden, die keine Konfigurierung benötigen („plug-and-play"). Die Architektur des Systems kann deshalb ganz modifiziert werden und durch Einwirkung auf die Dialogboxen konfiguriert werden.
13 zeigt ein Beispiel einer Dialogbox, die es ermöglicht, eine Storyboard zu editieren. In dem Fall eines Produktionssystems, das zu Trainingszwecken verwendet wird, können verschiedene Storyboards vorgeschlagen werden, die zu verschiedenen Übungen, die durch die Athleten durchgeführt werden, korrespondieren. Jedes Storyboard kann einen Namen empfangen, der in dem Feld Name angezeigt wird.
Der Teil „Capture" der Dialogbox ermöglicht, die Sequenzen, die durch jede an das System angeschlossene Kamera 4i aufgenommen wurden, zu definieren. Die gegenwärtig konfigurierte Kamera wird aus den verbundenen Kameras durch ein Drop-down Menu (Feld CAMERA) ausgewählt. Eine Tabelle erlaubt es dann, eine Abfolge von Kameraoperationen, die durch von den Triggern 3i detektierten Ereignissen getriggert werden, zu definieren. In dem illustrierten Beispiel wird definiert, dass das Triggersignal Trig1 den Beginn einer Aufnahme anzeigt, dann das Signal Trig2 das Zoomen der Kamera kontrolliert, und das Signal Trig3 das Ende der Aufnahme befiehlt. Jeder Befehl kann vorzugsweise durch einen Klick darauf konfiguriert werden, um in Abhängigkeit von diesem Befehl auf eine weitere Dialogbox (nicht dargestellt) zuzugreifen. Es ist zum Beispiel möglich, durch eine Dialogbox die Aufnahmegeschwindigkeit (Anzahl der Bilder pro Sekunde), die Grösse des Aufnahmepufferspeichers 53i (pre-roll), die negative oder positive Zeitverzögerung zwischen dem Triggersignal und der Durchführung des Befehls, etc. zu definieren.
Es ist bevorzugt auch möglich, die Bedingungen für die Generierung von den Triggersignalen zu definieren. Es ist zum Beispiel möglich, durch eine Dialogbox (nicht dargestellt) zu definieren, dass ein Triggersignal generiert wird, nachdem ein Ereignis durch den Trigger detektiert wurde, oder nur nach der Detektierung von verschiedenen aufeinander folgenden Ereignissen, oder wenn irgendein Satz von bestimmten Bedingungen von diesem System erfüllt ist.
Der Teil „Play" der Dialogbox ermöglicht, die Sequenzen, die auf verschiedenen Wiederherstellungsgeräten 6i wiederhergestellt worden sind, zu konfigurieren. Im diesem Beispiel wurde definiert, dass das Triggersignal Trig4 die Wiederherstellung der Videosequenz Begriff 1 abfragt, das Triggersignal Trig5 erzeugt die Wiederherstellung der Videosequenz Begriff 2 und das Signal Trig6 stoppt die Wiederherstellung. Jeder Befehl des Wiederherstellungssystems kann bevorzugt durch eine Dialogbox (nicht dargestellt), der durch einen Klick auf diesen Befehl zugänglich ist, konfiguriert werden. Es ist zum Beispiel möglich, auf diese Weise die Wiederherstellungsgeschwindigkeit, eine positive oder negative Zeitverlagerung zwischen dem Triggersignal und der Wiederherstellung, etc. zu definieren.
14 illustriert eine Dialogbox, die es ermöglicht, die Videosequenzen zu definieren und einen Namen zu geben. Diese Namen können zum Beispiel in einer Dialogbox, die in 13 illustriert ist, verwendet werden. In dem illustrierten Beispiel definiert die erste Linie eine Videosequenz, die Begriff 1 genannt wird und durch die Kamera CAM1 aufgenommen wurde, wenn der Instruktor „Instruktor" bei normaler Geschwindigkeit (100%) gefilmt wird. Die zweite Linie definiert eine ähnliche Videosequenz, aber die bezieht sich auf einen Schüler „Auszubildender". Die dritte Linie korrespondiert zu einer Sequenz, die durch digitale Verarbeitung von zwei erworbenen Sequenzen v1, v2, vm erworben wurden, in diesem Fall eine Überlagerung von Bildern, die durch die Kamera CAM1, die bei normaler Geschwindigkeit gefilmt wurden, mit einer vordefinierten Referenzvideosequenz. In diesem Beispiel wurde beantragt, für die Überlagerung die Referenzvideosequenzen zu verwenden, in welcher der Instruktor die Geschwindigkeit am nächsten zu der des Schülers, der durch die Kamera CAM1 gefilmt wurde, hat.
Das erfindungsgemässe System ermöglicht es, die Videosequenzen, die erworben und ganz in einem parametrisierbaren Empfangssystem wiederhergestellt worden sind, durch den Einsatz von Software komplett zu parametrisieren, um Videosequenzen, die zum Beispiel in einem geschlossenen Kreislauf verwendet werden, herzustellen.
Obwohl die Videosequenzen, die durch die Kameras 4i erworben worden sind, hauptsächlich dazu bestimmt sind, sofort wiederhergestellt zu werden, ist es auch möglich, diese zu speichern, um sie nachher zu verwenden oder zu vergleichen oder diese später mit den Bildern von anderen Fahrern zu überlagern. Für diesen Effekt ist es vorteilhaft, die Videosequenzen, die durch die Kamera 4i produziert wurden oder durch das Verarbeitungssystem 5 vorproduziert wurden, zu speichern, während die Korrespondenz mit den assoziierten Daten, die durch die Sensoren 7i und/oder die Trigger 3i geliefert werden, beibehalten wird. Es wird so möglich sein, von den gespeicherten digitalen Daten, die Kameraparameter (Position, Zooming, etc.), die mit jedem Bild oder Gruppen von Bildern verbunden sind, sowie den Empfangsmoment der Triggersignale ti, die mit der gefilmten Sequenz verbunden ist, abzuleiten. Diese Daten können verwendet werden, die nachfolgende Analyse der Videosequenzen oder ihre Überlagerung mit Sequenzen, die an einem anderen Moment erworben wurden, zu erlauben.

Claims

System, um automatisch Videosequenzen zu produzieren, umfassend: eine oder mehrere Kameras (41, 42, 4m), um mit jeder eine Videosequenz (v1, v2, vm) aufzunehmen, ein digitales Verarbeitungssystem (5), um die Aufnahme von den besagten Videosequenzen (v1, v2, vm) zu kontrollieren, mindestens ein Wiederherstellungsgerät (61, 6n) von den besagten digital verarbeiteten Videosequenzen, mindestens einen Trigger (31, 32, 3l), um jeweils ein Triggersignal (t1, t2, tl) in Reaktion zu einem bestimmten Ereignis, das mit der gefilmten Szene in Verbindung gebracht wird, zu generieren, wobei die Aufnahme einer Videosequenz von den besagten Triggersignalen befohlen wird, gekennzeichnet dadurch, dass die Wiederherstellung der Videosequenzen unabhängig durch die Triggersignale befohlen wird.
Das Produktionssystem gemäss Anspruch 1, dadurch gekennzeichnet, in welchem besagte Videosequenzen (v1, v2, vm) in Echtzeit oder zeitlich verschoben in einem geschlossenen Videoschaltkreis wiederhergestellt werden.
Das Produktionssystem gemäss Anspruch 1 oder 2, in welchem das besagte digitale Verarbeitungssystem (5) weiter fähig ist, eine digitale Verarbeitung der Videosequenzen, die durch die Kameras aufgenommen werden, in Echtzeit durchzuführen, wobei die durchgeführte digitale Verarbeitung auch durch die besagten Triggersignale (t1, t2, tl) bestimmt wird.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, in welchem die durch die Triggersignale (t1, t2, tl) getriggerte Aktion vor dem Filmen durch eine Software, die in einem Speicher (51) gespeichert ist, parametrisiert werden kann.
Das Produktionssystem gemäss dem vorangegangen Anspruch, in welchem die besagte Software es erlaubt, die Abfolge von den erworbenen Videosequenzen und von der durchgeführten digitalen Verarbeitung gemäss den verschiedenen empfangenen Triggersignalen (t1, t2, tm) zu definieren.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, in welchem die Konfiguration der Kameras (41, 42, 4m) und der Trigger (31, 32, 3l) durch die Benutzung einer Software, die in einem Speicher (51) gespeichert ist, parametrisiert werden kann.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, umfassend mindestens einen Zähler (541, 542, 54l), um die Aktion von mindestens einem der besagten Triggersignalen zu verzögern.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, in welchem die besagte Videosequenz von einem Speicher (55) erworben werden kann.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, umfassend mindestens eine Kamera, welche mit mindestens einem der folgenden Stellgliedern (81, 82) durch das besagte digitale Verarbeitungssystem kontrolliert werden: – Motorisierter Zoom, – Verschiebungsmotor, – Motorisiertes Fokussystem, – Motorisiertes Anpassungssystem der Öffnung.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, umfassend mindestens einen Bufferspeicher (531, 532, 53m), um die Videosequenzen von mindestens einer der Kameras temporär zu speichern, wobei die Leseadresse in dem besagten Bufferspeicher fähig ist, durch das besagte digitale Verarbeitungssystem (5) kontrolliert zu werden.
Das Produktionssystem gemäss dem vorangegangen Anspruch, in welchem die Grösse des besagten Bufferspeichers durch das digitale Verarbeitungssystem (5) verändert werden kann.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 11, in welchem besagtes digitales Verarbeitungssystem (5) Routinen umfasst, um das Bildvergrösserungsverhältnis zu modifizieren, wenn eins der besagten Triggersignale (t1, t2, tl) empfangen wird.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 12, in welchem besagtes digitales Verarbeitungssystem (5) Routinen umfasst, um zwei Videosequenzen auf einem gleichen Bildschirmteil auszurichten, zu synchronisieren und übereinander zu legen, wenn eins der besagten Triggersignale (t1, t2, tl) empfangen wird.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 13, in welchem besagtes digitales Verarbeitungssystem Routinen umfasst, um eine Videosequenz, die in Echtzeit mit einer vorab aufgenommenen Videosequenz erworben wird, auszurichten, zu synchronisieren und übereinander zu legen.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 14, in welchem besagtes digitales Verarbeitungssystem Routinen umfasst, um eine Videosequenz temporär wieder abzutasten.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 15, in welchem besagtes digitales Verarbeitungssystem Routinen umfasst, um zwei Videosequenzen auf demselben Bild zu synchronisieren und entgegenzustellen, wenn eins der besagten Triggersignale (t1, t2, tl) empfangen wird.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 16, in welchem besagtes digitales Verarbeitungssystem Routinen umfasst, um mindestens ein Element der Videosequenz stroboskopmässig zu zerlegen, wenn eins der besagten Triggersignale (t1, t2, tl) empfangen wird, wobei die Parameter des Stroboskopeffekts fähig sind, durch das digitale Verarbeitungssystem kontrolliert zu werden.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 17, in welchem besagtes digitales Verarbeitungssystem Routinen umfasst, um eine Videosequenz zu generieren, welche Elemente enthält, die in Echtzeit von einem drei-dimensionalen Modell rekonstruiert wurden.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 18, in welchem das digitale Verarbeitungssystem Routinen umfasst, um Daten, die von einem Sensor herausgegeben werden, auf den besagten Bildern übereinander zu legen, wenn eines der besagten Triggersignale (t1, t2, tl) empfangen wird.
Das Produktionssystem gemäss einem der Ansprüche 3 bis 19, umfassend mindestens einen Sensor (71, 7k), welcher es erlaubt, die Qualität der durchgeführten digitalen Verarbeitung gemäss mindestens einem der Parameter der folgenden Liste zu verbessern: – Beleuchtung der Szene – Lichtfarbe – Bewegung von mindestens einer der besagten Kameras.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 20, in welchem das digitale Verarbeitungssystem Routinen umfasst, um eine der wiederhergestellten Videosequenzen zu verändern, wenn eines der besagten Triggersignale (t1, t2, tl) empfangen wird.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 21, in welchem das digitale Verarbeitungssystem Routinen umfasst, um eine der besagten Videosequenzen aufzunehmen, wenn eines der besagten Triggersignale (t1, t2, tl) empfangen wird.
Das Produktionssystem gemäss einem der vorangegangen Ansprüche, in welchem mindestens einer der besagten Trigger ein Triggersignal (t1, t2, tl) generiert, wenn ein Objekt vorbeizieht.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 23, in welchem mindestens einer der besagten Trigger ein Triggersignal (t1, t2, tl) generiert, wenn ein Geräusch oder ein Sound erkannt wird.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 24, in welchem mindestens einer der besagten Trigger (31, 32, 3l) ein Triggersignal (t1, t2, tl) generiert, wenn vorbestimmte Konditionen von Ausgangssignalen von einem Positionsdetektor erfüllt sind.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 25, in welchem in welchem einer der besagten Trigger (31, 32, 3l) ein Beschleunigungsmessgerät umfasst.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 26, in welchem mindestens einer der besagten Trigger (31, 32, 3l) ein Triggersignal basierend auf einer Videobildanalyse generiert.
Das Produktionssystem gemäss einem der Ansprüche 1 bis 26, in welchem mindestens eins der Triggersignale durch Software generiert wird, wenn eine Bedingung, die mehrere Trigger (31, 32, 3l) involviert, erfüllt ist.
Verfahren, um automatisch unabhängig mit Hilfe eines Systems, welches ein oder mehrere Kameras umfasst, Videosequenzen zu produzieren, ein digitales Verarbeitungssystem, mindestens ein Gerät, um die Videosequenzen wiederherzustellen und mindestens einen Trigger (31, 32, 3l), umfassend folgende Schritte: Aufnahme von einer Vielzahl von Videosequenzen (v1, v2, vm) in Funktion von Triggersignalen (t1, t2, tl) generiert durch die besagten Trigger (31, 32, 3l), digitale Verarbeitung der besagten Videosequenzen gemäss den Triggersignalen (t1, t2, tl) generiert durch die besagten Trigger (31, 32, 3l), Wiederherstellung der Videosequenzen in Echtzeit oder zeitlich verschoben auf dem Wiederherstellungsgerät, gekennzeichnet dadurch, dass besagte Wiederherstellung der Videosequenzen unabhängig von der Aufnahme durch die Triggersignale (t1, t2, tl) generiert durch die besagten Trigger (31, 32, 3l) befohlen wird.
Das Verfahren gemäss Anspruch 29, in welchem die erworbenen Videosequenzen, die durchgeführte digitale Verarbeitung und die gemäss Triggersignalen (t1, t2, tl) wiederhergestellten Videodaten vor der Aufnahme der Videosequenzen durch eine Software parametrisiert werden.
Computerdatenträger (51) umfassend eine Software, die geeignet ist, um auf einem digitalen Verarbeitungssystem (50) abzulaufen, um das Verfahren von Anspruch 29 durchzuführen.