DE4411261A1 - Interaktives Videosystem - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Steuerung und Beeinflussung von ablaufenden Bildfolgen oder einzelnen Bildern und interaktiven Videoszenen und/oder Bildfolgen unterhalb der vom menschlichen Auge wahrnehmbaren Reaktionszeit (Echtzeit, vor­ zugsweise in einem Simulator oder Schießstand, sowie eine Vorrichtung zur Durchführung des Verfahrens.

Die polizeiliche und militärische Schießausbildung erfolgt üblicherweise in einem Schießstand mit Schutzwällen, wobei am Ende eines Schießplatzes ein Ziel in Form einer Scheibe oder eines stehenden Bildes aufgestellt ist. Nach jedem Einzelschuß oder einer Schußserie erfolgt die Auswertung und Mitteilung über die Anzahl der Treffer oder Fehlschüsse. Mit einer solchen Vorrichtung kann praktisch nur der Umgang mit der Waffe geübt werden, während die eigentlichen Schießübungen in Reaktion auf das Objekt von der Praxis, insbesondere der Polizeipraxis weit entfernt sind.

Zur Verbesserung der Ausbildung ist es ferner bekannt, Stand­ bilder als Zielscheiben entlang einer Bahn zu bewegen. Auch mit einer solchen Vorrichtung kann die Ausbildung der Reak­ tionsgeschwindigkeit des Schützen nicht wesentlich verbessert werden, da die Bewegungsabläufe der Zielbilder gleichförmig und damit vorhersehbar sind.

In einer Weiterentwicklung der Schießausbildung ist es be­ kannt, dem Schützen eine Ablaufszene vorzuspielen, auf die er zu reagieren hat. Die Szene kann nach einem abgefeuerten Schuß gestoppt und die Trefferquote ermittelt werden. Die Ablaufs­ zene bleibt hierbei jedoch unverändert.

Der Erfindung liegt die Aufgabe zugrunde Mittel anzugeben, mit deren Hilfe die ablaufende Szene auf die Einwirkung des Schüt­ zen in einer Zeitspanne reagiert, welche der natürlichen Reaktionszeit und der Aufnahmefähigkeit des menschlichen Auges entspricht.

Die Lösung dieser Aufgabe besteht gemäß dem Verfahren nach der Erfindung darin, daß die Bilder, Bildfolgen oder Videoszenen lichtoptisch und/oder mechanisch beeinflußt werden und die hierdurch bewirkten Signale aufgenommen und mit Hilfe eines Rechners mit Datenkompressionshard- und Software in Echtzeit nach an sich bekannten JPEG- (Joint Photographik Expert Group) und MPEG- (Motion Picture Expert-Group) Verfahren zur Auslösung neuer oder geänderter Bilder, Bildfolgen oder Videoszenen verwendet werden, wobei ein Festplattenspeicher (HDD) als Ab­ spiel- und Aufnahmegerät dient.

Nach der Erfindung wird eine Bildfolge oder Videoszene als primärer Hauptfilm von einer externen Videoquelle, Video­ recorder oder Videodiskplayer rechnergesteuert abgespielt, und es werden sekundäre Alternativszenen, ausgelöst durch die lichtoptischen und/oder mechanischen Signale über das JPEG- oder MPEG-Verfahren von der Festplatte des Rechners oder PC- Rechners unter Verwendung eines Videoschalters und eines Lauf­ werksteuerungsinterface eingespielt. Hierdurch wird die auflaufende Scene nur aufgrund der Reaktion des Schützen entsprechend seiner Treffer oder Fehltreffer in Echtzeit geändert, wobei die jetzt automatische eingespielte Scene als "Reaktionsscene" vorbereitet ist und eingespielt wird, so daß der Eindruck einer echten Reaktion entsteht.

In Weiterbildung der Erfindung wird der primäre Hauptfilm mit Hilfe eines CD-ROM Players über die digitalen Daten der CD-ROM als Wiedergabe/Aufnahmegerät abgespielt, welche bei Bedarf mit den auf dem Festspeicher oder Festplattenspeicher gespei­ cherten sekundären Reaktionsszenen gemischt und abgespielt werden.

Anstelle eines Videorecorders kann gemäß der Erfindung auch ein Laserdiskplayer LVP/LD als Abspiel- bzw. Aufnahmegerät ver­ wendet werden.

Als Mittel zur lichtoptischen oder mechanischen Beeinflussung eines Bildes, einer Bildfolge oder einer Videoszene wird nach der Erfindung mindestens ein als Handfeuerwaffe ausgebildeter Apparat verwendet, welcher mit entsprechender Munition ladbar ausgebildet ist, wobei jede Handfeuerwaffe einen Sensor zur Registrierung eines abgefeuerten Schusses aufweist, welcher die aufgenommenen Signale mittels eines in der Handfeuerwaffe eingebauten Senders oder einer elektrischen Verbindungsleitung einem Empfänger überträgt, welcher mit dem Eingang des Rech­ ners verbunden ist. Damit können mehrere Schützen auf die angebotene Scene reagieren, wobei durch den Sensor an jeder Handfeuerwaffe sehr genau der Zeitpunkt des Abfeuerns er­ mittelt und dem entsprechenden Einschuß elektronisch zugeord­ net werden kann.

Jede Handfeuerwaffe kann in Weiterbildung der Erfindung als Lasergerät zur Aussendung von Laserblitzen ausgebildet sein und einen Sensor zur Registrierung und Signalübertragung des ausgesendeten Lichtblitzes an den Eingang des Rechners auf­ weisen.

Da die Geschoßgeschwindigkeiten meßbar sind und damit festlie­ gen, läßt sich der gleichzeitige Einsatz mehrerer Schützen nicht nur bei der Verwendung von Laserblitzen einsetzen, sondern auch bei der Verwendung üblicher ballistischer Ge­ schosse.

Die Bilder, Bildfolgen oder Videoszenen werden vorteilhaft auf einer Reflexionsfläche dargestellt, und die durch deren lichtoptische und/oder mechanische Beeinflussung durch die Handfeuerwaffen bewirkten Signale werden mittels einer Video­ kamera aufgenommen und die digitalen Signale dem Rechner zur Auswertung zugeführt.

Zur Sichtbarmachung eines Einschusses in die Reflexionsfläche ist es vorteilhaft hinter dieser einen Scheinwerfer anzuord­ nen, so daß das Einschußloch als Lichtfleck sichtbar ist und von der Videokamera aufgenommen werden kann. Durch Verwendung farbigen Lichts kann der Lichtfleck auch farbig dargestellt werden.

In einer weiteren Abwandlung der Erfindung kann die Videokame­ ra auch als Infrarotkamera ausgebildet sein und die Reflexionsfläche mit Infrarotlicht in nicht sichtbarer Weise von vorn bestrahlt werden.

Die Erfindung wird anhand der Zeichnungen näher erläutert. Hierbei zeigt

Fig. 1 ein Schaltbild der Vorrichtung in schematischer Darstellung;

Fig. 2 eine schematische Darstellung der Vorrichtung mit zwei Handfeuerwaffen, PC-Rechner und Projektions­ wand in funktioneller Verknüpfung, und

Fig. 3 eine schematische Darstellung der Vorrichtung mit zwei Handfeuerwaffen, PC-Rechner und Standbild.

Wie anhand von Fig. 1 zu entnehmen ist, spielt ein inter­ aktives Videosystem (VR2) über einen durchgeschalteten Video­ schalter (A) eine Szene über den Videoprojektor auf die Lein­ wand (G) ab.

Nach Auftreffen eines Geschosses, durchdringt dieses die Leinwand (G) und läßt das Licht, welches von Halogenscheinwer­ fern (H) erzeugt wird, durch das Schußloch austreten.

Wahlweise kann anstelle des Echtschusses auch ein Laser Ver­ wendung finden, welcher direkt einen Lichtfleck projiziert, der dem Lichtschein des hinterleuchteten Schußloches gleich­ kommt.

Die Aufnahmekamera (E) erkennt nun diesen Lichtfleck und gibt die Videoinformation an einen horizontal/vertikal Separator (F) ab, welcher diese Information dem Rechner (D) zuführt.

Der Rechner (D) der auch als PC ausgebildet sein kann, ver­ gleicht nun die angelieferte horizontal/vertikal Information mit der zur Bildnummer programmierten Maske und stellt fest, ob die Zeilen und Spalten der Computermaske, welche auf dem Festplattenspeicher (HDD) den entsprechenden Bildern zugeord­ net sind, mit der horizontalen/vertikalen Position bzw. den Koordinaten des Schußloches oder des Laserleuchtfleckes über­ einstimmt. Dabei wird eine Übereinstimmung als Treffer, eine Nichtübereinstimmung als Fehlschuß gewertet.

Bei einer Auswertung als Treffer, bei der die Horizontal- und Vertikalkoordinaten des Schußloches mit der Maske überein­ stimmt, steuert der Rechner (D) über das Laufwerkinterface (B) den Videorekorder (VR3) an, und schaltet gleichzeitig dessen Videosignal im Videoschaltmodus durch.

Durch die Laufwerkssteuerung (B) befand sich dieser bereits in der Pausenstellung und wurde über die Software bereits kurz vor Erreichen der Entscheidungssequenz in Wartestellung ge­ bracht.

Da das vom Videorekorder (VR2) ausgehende Videosignal auf den Videorekorder (VR3) umgeschaltet wurde und der Videorekorder (VR3) sich kurz vor der Umschaltung in Pausenstellung befand, entsteht nun der Eindruck einer Reaktion des Bildes bzw. der Szene, da die Umschaltung für das menschliche Auge nicht sichtbar ist.

Der Videorekorder (VR3) setzt nun die Projektion mit der Trefferszene fort, beispielsweise in dem eine vorbereitete Scene abgespielt wird, bei der das Zielobjekt getroffen umfällt. In dieser Zeit befindet sich der Videorekorder (VR2) bereits im schnellen Vorlauf zum Beginn der nächsten Szene um dort bereits in Pausenstellung auf die Rückschaltung (VR3) auf (VR2) in Pausenstellung zu warten.

Bei einem Nichttreffer, bei dem die Horizontal- und Vertikal­ koordinaten H/V nicht mit Maske übereinstimmen, wird nun von dem Videorekorder (VR2) auf den Videorekorder (VR1) umgeschal­ tet, welcher damit die Szene Nichttreffer, beispielsweise das Zielobjekt schießt zurück, abspielt. Nach erfolgter Projektion des Videorekorders (VR1) wird wieder auf den bereits in Pausenstellung befindlichen Videorekorder (VR2) umgeschaltet, welcher dann die Projektion fortsetzt.

Dieses erläuterte Verfahren läßt sich unter Verwendung einer größeren Anzahl Videorecorder erweitern und die Scenen ent­ sprechend ausgestalten.

Das Erzeugen von interaktiven Sequenzen unter Verwendung von von "n" Videorecordern vornehmlich für die Schießstandsimula­ tion, gestaltet sich damit wie folgt.

Über den Eingang des Rechners werden Videobilder bzw. Video­ filme digital zerlegt und in "Echtzeit" (25 Bilder/sec) durch eine Kompressionshardware bzw. eine Rechnersteckkarte auf die Festplatte geladen.

Die im Rechner bzw. bereits installierte Software steuert nun den Gesamtablauf, der wie folgt abläuft:

Bei Betätigung der Starttaste läuft der zuvor über Eingang des Rechners eingegebene Film über die Dekomprimierungshardware und einen VGA/TV Konverter über den Videoprojektor ab. Der Videoprojektor projiziert den Film auf die Leinwand, vor der der Schütze steht.

Der Schütze schießt nun auf das auf der Leinwand erscheinende Zielobjekt, das Geschoß durchdringt die Leinwand und gibt am Durchschoßloch das rückseitige Licht, erzeugt durch Schein­ werfer H, frei.

Die Schußaufnahmekamera (C1) erkennt nun den Lichtfleck, der wahlweise auch durch ein Lasergerät erzeugt sein kann, welcher einen gleichartigen Lichtfleck erzeugt, und führt diese Infor­ mation dem Kamera-A/D-Wandler zu. Hier wird nun die Position des Lichtfleckes in horizontale Zeilen und vertikale Spalten zerlegt.

Diese Information wird dann mit dem Pixelraster des Bild­ schirmhalters verglichen, und die entsprechenden Pixels werden festgelegt. Diese Pixels werden nun mit den Pixeln der zum Bild gehörigen Treffermaske verglichen und bei Übereinstimmung als Treffer gewertet.

Bei der Treffermaske handelt es sich um eine Anzahl von Pixels, welche in Lage und Position dem Zielobjekt eines Videobildes entsprechen und welche dem jeweiligen Videobild direkt zugeordnet sind.

Alle anderen Pixels, die sich außerhalb der Treffermaske befinden, werden bei einer Übereinstimmung mit den Licht­ fleckpixels als Nichttreffer gewertet.

Aufnahme 1

Der Schütze trifft das Zielobjekt auf der Leinwand, die Schußaufnahmekamera erkennt den Lichtfleck und gibt die Spalten und Zeilendaten an die Maskenvergleichssoftware weiter. Diese entscheidet nun, ob der Lichtfleck mit den vorprogrammierten Pixels für Treffer übereinstimmen.

Nun wird das Festplattenlaufwerk dahingehend angesteuert, daß vom primären Hauptfilm auf die Ausweichszene "Treffer" ge­ sprungen wird.

Da jedes Videobild seine eigene Adresse besitzt, ist dies bildgenau in "Echtzeit", wie oben definiert, möglich.

Auf der Leinwand wird nun die Szene "Treffer" abgespielt, beispielsweise das Zielobjekt bricht getroffen zusammen, welche von der Festplatte über die Dekomprimierungshardware an den Videoprojektor weitergegeben wurde.

Da nun die Spur/Spur Suchzeit nur ca. 5 ms beträgt und bei Verwendung eines Cachecontrollers sich auf 0,3 ms reduzieren läßt, für ein Halbbild jedoch 20 ms zur Verfügung stehen, ist der Bild/Szenensprung für das menschliche Auge nicht sichtbar, und es entsteht der Eindruck, als habe der Film bzw. die Projektion direkt auf das Eingreifen des Schützen reagiert. Diese Funktion wird als interaktive Funktion definiert.

Aufnahme 2

Trifft der Schütze das Zielobjekt nicht, ist der Funktions­ ablauf generell mit dem Funktionsablaufs "Treffer" identisch, bis auf die Reaktion der Maskenvergleichssoftware, welche nun die Szene "Nichttreffer" adressiert und abruft.

Hierbei wird die Szene Nichttreffer über die Dekompressions­ hardware und den Videoprojektor abgespielt.

Da auch hier die Bildzugriffszeit im Bereich von 5 ms bzw. 0,3 ms bei Verwendung eines Cachecontrolles liegt, ist wiederum der Bild/Szenensprung für das menschliche Auge nicht sichtbar, und es entsteht der unter der Funktion "Treffer" bereits beschriebene Effekt.

Aufnahme 3

Reagiert der Schütze überhaupt nicht, spielt die Festplatte den Film über die Dekompressionshardware kontinuierlich ab, und das Zielobjekt verhält sich passiv, da nur bei einer Reaktion des Schützen über die Aktivierung der Schußaufnahme­ kamera in die entsprechenden Reaktionsszenen Treffer/Nicht­ treffer gesprungen wird.

Bisher war es noch nicht möglich, Videobilder oder ganze Szenen in "Echtzeit" in vertretbarem bzw. wirtschaftlichem Aufwand auf eine Festplatte abzuspeichern; dies wird anhand einer Überschlagsrechnung verdeutlicht:

1 Bild TV/VGA = 640×480×256 Farben|= 786,432 KB
1 sec TV/VGA = 25 B/sec	= 19,66 MB
1 min TV/VGA = 60 sec	= 1.179,6 MB
Größtmögliche HDD ca. 4 GB SCSI	= 4,71 min
Größtmögliche Transferrate	ca 20 MB/sec
Benötigte Transferrate	25 MB/sec min

Dieses Problem ist nunmehr unter Verwendung einer von der Anmelderin entwickelten Komprimierungskarte gelöst.

Die Fig. 2 zeigt eine schematische Darstellung der Vorrich­ tung mit zwei Handfeuerwaffen W1 und Wn, einem PC-Rechner PC und einer Projektionswand Z in funktioneller Verknüpfung. Die Schaltung entspricht der Darstellung nach Fig. 1. Mit der Bezeichnung Wn für die zweite Handfeuerwaffe ist angedeutet, daß die Anzahl der Handfeuerwaffen noch wesentlich höher sein kann. Jede Handfeuerwaffe ist mit einem Sensor ausgerüstet, der den Zeitpunkt des Schusses registriert und das sich ergebende Signal einem Sender zuführt, der das Signal dem Empfänger R zuleitet. Das Signal kann auch über eine elek­ trische Leitung zum Rechner geführt werden. Die von den Hand­ feuerwaffen W1 und Wn bewirkten und von den Sensoren S1 und Sn aufgenommenen Signale werden dem Rechner PC zugeführt, der unmittelbar danach die Signale der Videokamera C1 über die Schußergebnisse erhält, welche im Rechner ausgewertet werden und der danach die Scenen ansteuert, die sich aus der Treffer­ auswertung, wie oben beschrieben, ergeben.

Die Fig. 3 zeigt eine schematische Darstellung der Vor­ richtung mit zwei Handfeuerwaffen W1, Wn, einem PC-Rechner PC und einem Standbild T als vereinfachte Ausführungsform der Erfindung. Die Handfeuerwaffen können hierbei als ballistische Waffen oder auch mit einer Laservorrichtung ausgerüstet sein. Ihre Anzahl kann erheblich größer als zwei sein. Das Standbild T kann mit Sensoren ausgerüstet sein, welche auf mechanische Erschütterungen reagieren, wenn nämlich ein Geschoß das Stand­ bild getroffen hat. Für den Empfang und die Lokalisierung von Laserblitzen auf dem Standbild lassen sich eine Reihe von Sensoren anordnen, welche jeweils einen bestimmten Bereich auf dem Bild erfassen, so daß auch hierbei die Trefferqualität ermittelt und dem Rechner PC zugeführt werden kann, welche eine Reaktion auf dem Standbild auslöst.

Claims (9)

1. Verfahren zur Steuerung und Beeinflussung von ablaufen­ den Bildfolgen oder einzelnen Bildern und interaktiven Videoszenen und/oder Bildfolgen unterhalb der vom menschlichen Auge wahrnehmbaren Reaktionszeit (Echt­ zeit), vorzugsweise in einem Simulator oder Schieß­ stand, dadurch gekennzeichnet, daß die Bilder, Bildfol­ gen oder Videoszenen lichtoptisch und/oder mechanisch beeinflußt werden und die hierdurch bewirkten Signale aufgenommen und mit Hilfe eines Rechners mit Datenkom­ pressionshard- und Software in Echtzeit nach an sich bekannten JPEG- (Joint Photographik Expert Group) und MPEG- (Motion Picture Expert Group) Verfahren zur Aus­ lösung neuer oder geänderter Bilder, Bildfolgen oder Videoszenen verwendet werden, wobei ein Festplatten­ speicher (HDD) als Abspiel- und Aufnahmegerät dient.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß eine Bildfolge oder Videoszene als primärer Hauptfilm von einer externen Videoquelle, Videorecorder oder Videodiskplayer rechnergesteuert abgespielt wird, und sekundäre Alternativszenen, ausgelöst durch die licht­ optischen und/oder mechanischen Signale über das JPEG- oder MPEG-Verfahren von der Festplatte des Rechners oder PC-Rechners unter Verwendung eines Videoschalters und eines Laufwerksteuerungsinterface eingespielt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich­ net, daß der primäre Hauptfilm mit Hilfe eines CD-ROM Players über die digitalen Daten der CD-ROM als Wieder­ gabe/Aufnahmegerät abgespielt werden, welche bei Bedarf mit den auf dem Festspeicher oder Festplattenspeicher gespeicherten sekundären Reaktionsszenen gemischt und abgespielt werden.

4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekenn­ zeichnet, daß anstatt eines Videorecorders ein Laser­ diskplayer LVP/LD als Abspiel bzw. Aufnahmegerät ver­ wendet wird.

5. Vorrichtung zur Durchführung des Verfahrens nach den Ansprüchen 1 bis 4, dadurch gekennzeichnet, daß als Mittel zur lichtoptischen oder mechanischen Beeinflus­ sung eines Bildes, einer Bildfolge oder einer Videosze­ ne mindestens ein als Handfeuerwaffe ausgebildeter Ap­ parat (W1, Wn) verwendet wird, welcher mit entsprechen­ der Munition betätigbar ausgebildet ist, wobei jede Handfeuerwaffe einen Sensor (S1, Sn) zur Registrierung eines abgefeuerten Schusses aufweist, welcher die auf ge­ nommenen Signale mittels eines in der Handfeuerwaffe eingebauten Senders oder einer elektrischen Verbin­ dungsleitung (Tr1, Trn) einem Empfänger (R) überträgt, welcher mit dem Eingang des Rechners verbunden ist.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß jede Handfeuerwaffe (W1, Wn) als Lasersender zur Aussendung von Laserblitzen ausgebildet ist und einen Sensor (S1, Sn) zur Registrierung und Signalübertragung des ausgesendeten Lichtblitzes an den Eingang des Rechners aufweist.

7. Vorrichtung nach Anspruch 5 oder 6, dadurch gekenn­ zeichnet, daß die Bilder, Bildfolgen oder Videoszenen auf einer Reflexionsfläche (G, Z) darstellbar sind und die durch deren lichtoptische und/oder mechanische Beeinflussung durch die Handfeuerwaffen (W1, Wn) bewirk­ ten Signale mittels mindestens einer Videokamera (C1) aufgenommen und die digitalen Signale dem Rechner (PC) zur Auswertung zugeführt werden.

8. Vorrichtung nach den Ansprüchen 5 bis 7, dadurch ge­ kennzeichnet, daß zur Sichtbarmachung eines Einschusses in die Reflexionsfläche (G, Z) hinter dieser ein Scheinwerfer (H) angeordnet ist.

9. Vorrichtung nach den Ansprüchen 5 bis 7, dadurch ge­ kennzeichnet, daß die Videokamera (C1) als Infrarot­ kamera ausgebildet ist und die Reflexionsfläche (G,H) mit Infrarotlicht von vorn bestrahlt wird.