-
Die Erfindung bezieht sich auf eine Einrichtung zum Erzeugen von Großbildern wie Übersichtsdarstellungen nach dem Oberbegriff des Anspruches 1.
-
Großbildsysteme wie Übersichtsdarstellungen oder Sichtnachbildungen werden seit geraumer Zeit auf verschiedenen Gebieten der Technik eingesetzt. Bevorzugte Anwendungen bestehen z. B. bei Fahrzeugsimulatoren, und zwar um dort eine Rundsicht nachzubilden, bzw. bei Warten oder strategischen Übersichtsdarstellungen. Grundlage für derartige Systeme ist Bildmaterial, welches entweder durch Erzeugung eines Filmes von einer Modellandschaft oder durch rechnergestützte Bilderzeugung (CGI = computer generated-images) hergestellt werden kann. CGI-Systeme erzeugen flächenhafte Bilder, und zwar durch Zusammenstellung von Sichtobjekten aus einer Vielzahl kleiner Flächen mit mindestens drei Kanten. Eine naturnahe Großbilderzeugung verlangt aber eine sehr große Anzahl von Kanten, welche die jeweiligen Flächen begrenzen, so daß der rechentechnische und schaltungsmäßige Aufwand einer dafür erforderlichen Programmsteuerung enorm ansteigt. Das Beherrschen der damit verbundenen Datenmengen bereitet große Probleme und daher gilt eine Bilderzeugung nur bis zu ca. 10 000 Kanten noch als sinnvoll. Eine solche Kantenzahl ist aber für Bildsysteme mit großen Blickwinkeln unzureichend, da durch sie lediglich künstlich wirkende Bilder erzeugt werden. Das aus Modellandschaften gewonnene Filmmaterial weist zwar gegenüber CGI-Systemen eine höhere Detailtreue auf, doch bei einem Einsatz ist es unflexibel und für Fahrzeugsimulatoren mit voller Bewegungsfreiheit kaum einsetzbar.
-
Zum Darstellen von Bildausschnitten mittels Bilddarstellungsgeräten ist es gemäß der US-PS 41 25 862 auch bekannt die Bilddaten z. B. einer Rundsicht abzutasten und nach Digitalisierung in einem Massenspeicher zu speichern. Von diesem Massenspeicher können die Daten eines auf einem Darstellungsgerät darstellbaren Ausschnittes in einen Zwischenspeicher übernommen und nach Rückwandlung in analoge Daten auf dem Darstellungsgerät wiedergegeben werden. Zusätzlich zu dem ausgewählten Bildausschnitt werden die jeweils benachbarten Bildausschnitte in weitere Zwischenspeicher übernommen, so daß (kontinuierlich) die Darstellung ( - ) auf die benachbarten Ausschnitte übergehen kann. Bei dieser Betriebsweise werden die Bilddaten der benachbarten Ausschnitte mit der Bildbewegung auf einer Seite ergänzt und auf der anderen Seite gelöscht. Für eine Großbilddarstellung mit variablen Bildinhalten ist dies nicht geeignet.
-
Der Erfindung liegt daher die Aufgabe zugrunde naturgetreue Großbilddarstellungen bei voller Flexibilität in den zur Verfügung stehenden Freiheitsgraden, zu präsentieren. Gleichzeitig ist es Aufgabe der Erfindung Sichtsysteme mit elektronischen Mitteln bei beherrschbarem Aufwand und beherrschbaren Datenmengen zu erzeugen.
-
Gemäß der Erfindung sind diese Aufgaben durch die Kennzeichenmerkmale des Anspruchs 1 gelöst.
-
Die erfindungsgemäße Maßnahme ermöglicht durch den Einsatz der Bildplattenspeicher die Erzeugung von Großbildern bei beherrschbarem Aufwand, wobei Fernsehprojektoren eine rechnermanipulierbare Sicht mit modularer Erweiterbarkeit zulassen, d. h. es besteht die Möglichkeit, durch überlappungsfreies Aneinanderreihen mehrerer Projektoren zu einer bis 360° großen Sichtdarstellung zu gelangen. Per Bildmanipulation werden dabei die geometrischen Verzerrungen in den projizierten Bildern korrigiert.
-
Mit der vorliegenden Erfindung können naturgetreue Großbilddarstellungen bei voller Flexibilität in den zur Verfügung stehenden Freiheitsgraden erzeugt werden. Dabei sind für das Basismaterial TV-Szenen hoher Auflösung, aufgenommen von Original-Landschaften oder einem Modell vorgesehen. Die Aufnahme der Bilddaten kann mit einer Videokamera, entweder mit umlaufender Kameraoptik zur Aufnahme von Rundsichtbilddaten oder mit starrer Optik zur richtungsabhängigen Aufnahme von Bilddaten erfolgen. Im Aufnahmesensor kann dabei sowohl bei umlaufender als auch bei starrer Kameraoptik ein zeilen- oder flächenförmiger Mosaikwandler zur Erzeugung elektronischer Bilddaten vorgesehen sein.
-
Dieses Bildmaterial kann nun über die Bildverarbeitungsanlage interaktiv verändert werden.
-
Zunächst werden die Rohdaten bearbeitet und Mutterdaten erzeugt, dazu gehören:
- - Verrechnung von Überlappungen einzeln aufgenommener Bilder,
- - Löschen von Bildteilen und Ersetzen durch andere Bildelemente,
- - Einfügen fester Objekte in eine Szene,
- - Halbautomatische Entfernungsbestimmung von Flächen für eine spätere Kulissenrechnung (Verschiebung),
- - Eventuell künstliche Texturierung von Flächen.
-
Während des Betriebes der Großbilddarstellungsanlage werden die Mutterdaten in den Bildspeicher eingegeben und einer Echtzeitverarbeitung unterworfen, dazu gehören:
- - Beliebiges Ändern der Geschwindigkeit und Richtung eines simulierten Fahrzeuges,
- - Einsatz von Nebel, Regen, Helligkeitsvariationen,
- - Erzeugung von Spezialeffekten wie Staubwolken und Bugwellen,
- - Einblendung von zusätzlichen Objekten in die Basisszene (z. B. Fahrzeuge) mit spezieller Eigendynamik,
- - Bildverzerrung.
-
Weiterbildungen und vorteilhafte Ausgestaltungen der Erfindung sind den Unteransprüchen zu entnehmen.
-
Die Erfindung wird anhand der beiliegenden Zeichnungen näher erläutert.
-
Es zeigt
-
Fig. 1 eine Übersichtsdarstellung von der Bilddatenaufnahme bis zur Bildwiedergabe
-
Fig. 2 ein Blockschaltbild zur Aufnahme und Speicherung von Bilddaten mit einer TV-Kamera.
-
Fig. 3 ein Blockschaltbild zur Aufnahme und Speicherung von Bilddaten mit einem zeilenförmigen Mosaik-Wandler,
-
Fig. 4 ein Blockschaltbild zur Darstellung des Datenflusses bei der Bildwiedergabe und
-
Fig. 5 ein Blockschaltbild des schaltungsgemäßen Aufbaues zur Bilddarstellung.
-
Wie die Übersichtsdarstellung nach Fig. 1 zeigt, besteht die Gesamtanordnung im wesentlichen aus drei Funktionsgruppen, und zwar der Bildaufnahme, einer Bilddatenverarbeitungsanlage, dem Bildplattenspeicher und der Bildwiedergabe. Die Bildaufnahme besteht aus einem Aufnahmesensor 10, der die jeweiligen Bilddaten von einem Modell 11 oder naturgetreu erfaßt. Die Ausgangsdaten des Aufnahmesensors 10 werden über entsprechende Zwischenstufen (z. B. Pufferspeicher) als Rohdaten auf einem digitalen Plattenspeicher (z. B. Giga- Disc) für eine spätere Weiterverarbeitung gespeichert. Hier stehen sie zur off-line Aufbereitung für eine spätere Simulation über eine interaktive Bildverarbeitungsanlage 13 zur Verfügung. Mit dem Aufnahmesensor 10 lassen sich somit Bilddaten von Modellen oder in der Natur aufnehmen und damit z. B. dynamische Außensichtdarstellungen für Simulatoren erzeugen. Die erforderlichen horizontalen und vertikalen Sichtwinkel werden dabei durch Module mit ca. 8,5° × 8,5° bei einer minimalen Auflösung von einer Winkelminute (1&min;) aufgebaut. Größere Sichtwinkel ergeben sich durch Aneinanderreihen der Module. Dynamische Außensichten (Rundsichten) für Fahrzeugsimulatoren werden daher als aneinandergereihte Momentaufnahmen mit einer umlaufenden Kameraoptik erzeugt. Für den vertikalen Darstellungswinkel können 3 × 8,5° ≈25° als Sichtwinkel vorgesehen werden. Im Regelfall wird nur im mittleren Bildbereich eine hohe Auflösung für die Sichtdarstellung verlangt. Der untere und der obere Bildrand zeigt normalerweise nur Wasser bzw. den Himmel.
-
Die mit dem Aufnahmesensor, z. B. einer Fernsehkamera, aufgenommenen Bilddaten werden als Rohdaten gespeichert und bei der späteren Weiterverarbeitung in der Simulation per Bilddatenverarbeitungsanlage zur Erzeugung einer kontinuierlichen Rundsicht durch Heraussuchen zueinander passender Bilder zusammengesetzt. Sollten die geometrischen Verzerrungen bei der Aufnahme mit einer üblichen Fernsehkamera zu groß werden oder sollte die Empfindlichkeit zu gering sein, dann können dafür auf sog. "CCD-Flächen-Arrays bzw. Zeilen-Arrays" eingesetzt werden. Hierunter werden Aufnahmesensoren verstanden mit flächen- oder zeilenförmigen Mosaikwandlern. Diese Aufnahmesensoren benötigen aber eine Formatierung der Bildinformationen gemäß der CCIR-Norm, um das Bildmaterial entsprechend verarbeiten zu können. Zeilen-Arrays verlangen aber eine hohe Konstanz für die Drehgeschwindigkeit der Kameraoptik bei der Bildaufnahme.
-
Bei der Anwendung der Erfindung zur Erzeugung von Übersichtsdarstellungen werden die Bilddaten durch statische Aufnahme von Fotos, Objekten, Modellen oder durch eine erwerbbare Graphic-Software erzeugt.
-
Wie aus dem Blockschaltbild nach Fig. 2 hervorgeht, wird die Aufnahme der Bilddaten mit einem als Fernsehkamera 10&min; ausgebildeten Aufnahmesensor 10 durch einen Aufnahmerechner 20 über ein Interface 21 gesteuert. Die erzeugten Bilddaten der Fernsehkamera 10&min; gelangen dann über einen Bildplattenspeicher 22 auf einen Recorder 23.
-
Sowohl der Speicher 22 als auch der Recorder 23 werden über das Interface 21 vom Aufnahmerechner 20 synchronisiert. Die im Recorder 23 aufgezeichneten Bilddaten stehen dann für eine Weiterverarbeitung in der Bilddatenverarbeitungsanlage 13 als Rohdaten zur Verfügung.
-
Wenn zur Aufnahme der Bilddaten ein CCD-Zeilensensor 10&sec; gemäß Fig. 3 eingesetzt wird, dann wird die Steuerung dieses Aufnahmesensors 10 vom Aufnahmerechner 20 über eine Steueranordnung 25 vorgenommen. Diese Steueranordnung 25 ist an den Aufnahmerechner 20 über ein Interface 30 angekoppelt, daß seinerseits mit einer Systemsteuerstufe 31 in gegenseitiger Funktionsverbindung steht. Mit dieser Systemsteuerstufe 31 stehen weiterhin eine Datenformatierstufe 32, eine Recorderstufe 33, eine Schreibsteuerstufe 34, eine Lesesteuerstufe 35, eine Taktsteuerstufe 36 und eine Ablenksteuerstufe 37 in gegenseitiger Funktionsverbindung. Die Taktsteuerstufe 36 steuert den CCD-Sensor 10&sec; direkt, während die Ablenksteuerstufe 37 auf ein dem CCD-Sensor 10&sec; vorgeschaltetes Spiegelsystem einwirkt. Die Schreibsteuerstufe 34 und die Lesesteuerstufe 35 steuern einen Adressenmultiplexer 38, der mit seinen beiden Ausgängen jeweils einen Speicher 39, 40 adressiert. Diese beiden als Doppelspeicher arbeitenden Speicher 39, 40 werden mit den über einen Analog-Digital-Wandler 41 geleiteten Bilddaten des CCD-Sensors 10&sec; versorgt und sie leiten die eingehenden Spaltenabtastungen als in die CCIR- Norm gewandelte Daten über einen Digital-Analog-Wandler 42 auf den Recorder 23 weiter. Diese Maßnahme ist notwendig, da ein normales Fernsehbild aus zwei ineinander verschachtelten Halbbildern besteht, das Ausgangssignal eines CCD-Sensors aber eine kontinuierliche Abtastung liefert. Dies würde neben einer um 90° verdrehten Bildaufnahme noch eine falsche Zeilenzuordnung im Speicher ergeben. Der Recorder 23 wird von der Datenformierstufe 32 und von der Rekordersteuerstufe 33 entsprechend gesteuert. Die Daten zur Formatsteuerung können zweckmäßigerweise auf der Tonspur eines zur Aufnahme der Bilddaten vorgesehenen Magnetbandes aufgezeichnet werden.
-
Die entweder mit einer Fernsehkamera 10&min; oder einem CCD-Sensor 10&sec; aufgenommenen Bilddaten stehen damit als gespeicherte Rohdaten zur Weiterverarbeitung zur Verfügung. Es besteht jetzt die Möglichkeit, diese Bilddaten in der Bildverarbeitungsanlage 13 zur Erzeugung spezieller Sichtnachbildungen aufzubereiten. So ist es möglich, bei der Aufnahme auftretende Verzeichnungen sowie Überlappungen angrenzender Bildausschnitte zu korrigieren oder bestimmte Bildausschnitte zu eliminieren bzw. einzufügen. Dazu werden die Daten in die aus Speichern, Bilddarstellungsgeräten und Steuerstufen bestehende Bildverarbeitungsanlage in Form von Bildausschnitten zu jeweils 8,5° eingegeben und aufbereitet. Mit einem Lichtgriffel oder mit einem Rechner können dann die gewünschten Aufbereitungsmaßnahmen durchgeführt werden. Es lassen sich damit z. B. Objekte, welche aus einem Bild eliminiert werden sollen, umreißen, und das Bild läßt sich durch angrenzende Bildmuster schließen. Diese Möglichkeit ist besonders zur Bearbeitung von Außenaufnahmen wichtig, weil sich hierdurch bestimmte ungewünschte Bildausschnitte radieren lassen. Mit einem Lichtgriffel oder Rechner können darüber hinaus feste Objekte bzw. Zeichen eingefügt oder umrissen und mit einer Entfernungsinformation versehen werden. Diese Information ist für eine spätere Sichtweitenberechnung wichtig. Die Bildverarbeitungsanlage bietet weiterhin die Möglichkeit, Daten bestimmter Objekte aus einer Datenbibliothek in die Bilddaten zu übernehmen und damit bestimmte Außensichten für Fahrzeugsimulatoren zusammenzustellen, was handgesteuert oder rechnerunterstützt ablaufen kann. Die so erzeugten Bilddaten stehen als Mutterdaten zur Herstellung von Bildplatten für Bildplattenspeicher zur Verfügung. Die Bilddatenverarbeitungsanlage ist im Prinzip bekannt und daher ohne nähere Darstellung lediglich funktionsmäßig beschrieben.
-
Die Wiedergabe der zuvor aufgenommenen und aufbereiteten Bilddaten zur Erzeugung von Sichtnachbildungen für Fahrzeugsimulatoren oder Übersichtsdarstellungen kann gemäß dem Blockschaltbild nach Fig. 4, welches den prinzipiellen Datenfluß zeigt, erfolgen. Zu jedem 8,5° Bildrahmen (Bildmodul) gehört dabei eine von einem Prozessor (Sichtrechner) gesteuerte Bildplattenwiedergabeeinheit. Sichtdarstellungen von mehr als 8,5° Sichtwinkel werden aus mehreren Bildrahmen zusammengesetzt. Eine Bildplatte eines Bildplattenspeichers kann die Daten von rund 54 000 Fernsehbildern speichern, wobei diese Daten einzeln adressierbar und damit auffindbar sind. Das Durchsuchen einer Bildplatte kann bis zu 23 Sekunden dauern und daher ist es innerhalb von 40 msec. möglich, mehrere Bilder zu überspringen. Im Blockschaltbild nach Fig. 4 werden die Bilddaten eines Bildplattenspeichers 50 über einen Analog-Digital-Wandler 51 auf einen Bildspeicher 52 mit einer Tiefe von 8-12 bit gegeben. Der Transport der digitalen Bilddaten vom Digitalausgang des Analog-Digital-Wandlers 51 erfolgt mit einem Echtzeit-Datenbus 53, der weitere Bildspeicher versorgen kann. Zur Steuerung dient eine als Block dargestellte Betriebsartensteuerstufe 54, welche normalerweise Teil eines in Fig. 5 dargestellten Prozessors ist. Die Betriebsartensteuerstufe steuert gleichzeitig eine Lesesteuerstufe 55, welche die Daten aus dem Bildspeicher 52 (bit-parallel, Wort seriell) ausliest und über eine Bildrahmensteuerstufe 56 auf einen Digital-Analog- Wandler 57 zur Weiterleitung auf ein Wiedergabegerät gibt. Die Darstellung der einzelnen Bilder kann entweder durch Aneinanderreihung von Bildschirmen mit Kollimatorlinsen, mit einer Linsenabbildung auf einer Rückprojektionsleinwand oder mit einem Fernsehprojektor und einer Rückprojektionsleinwand erfolgen. Eine Rückprojektionsleinwand hat den Vorteil, daß Spotprojektoren mit großer Helligkeitsdynamik zum Einblenden von Fremdobjekten oder Lichtern benutzt werden können. Außerdem kann eine allmähliche Sichtzunahme, wie bei Tagesaufgang, beginnend mit den Konturen, d. h. Bildern geringer Farbdynamik und geringer Informationsdichte, realisiert werden.
-
Das Herauslesen der Bilddaten aus den Bildspeichern und die Weiterleitung an Wiedergabegeräte erfolgt mit Hilfe der Lese-Steuerstufe 55 und einer Adressenmanipulation über die Betriebssteuerstufe 54. Alle Bildspeicher 52 bilden einen Speicherrahmen, aus dem jedes Wiedergabegerät Daten auslesen kann. Horizontale und vertikale Bildverschiebungen werden durch eine Adressenrechnung bewirkt. Die Anzahl der Bildspeicher 52 hängt hierbei vom Umfang der darzustellenden Sicht, z. B. 240° oder 360° eines Fahrzeugsimulators ab. Vertikale Bildverschiebungen lassen sich dann zusätzlich vornehmen, wenn der Bildspeicherbereich größer ist als der Bilddarstellungsbereich. In einer einfachen Version kann dies durch Wiederholen der Bildinformationen des Randbereiches realisiert werden. Bewegte Objekte, welche zusätzlich in die darzustellende Sicht eingeblendet werden, sollen einen eigenen Informationsweg erhalten mit einem zusätzlichen Bildplattenspeicher 50&min;, einem Analog-Digital-Wandler 51&min; und einem Bildspeicher 52&min;. Dies kann aus dem Blockschaltbild nach Fig. 5 ersehen werden, welches aus den parallelen Informationswegen nach Fig. 4 besteht einschließlich des Informationsweges für die zuvor erwähnten bewegten Objekte. Die Daten aus dem Bildspeicher 52&min; werden mit den Lese-Steuerstufen 55 abgerufen und über die Bildrahmensteuerstufen 56, die Digital-Analog-Wandler 57 auf den jeweiligen Monitor 58 geschaltet. Durch eine Adressenrechnung wird jeweils der Ort des Erscheinens für das bewegbare Objekt definiert und durch eine Prioritätsbewertung werden die Daten der oder des Objektes anstelle der Hintergrundinformation dem Speicher entnommen. Es ist möglich, bis zu drei Objekte sich gegenseitig verdecken zu lassen, z. B. ein Schiff hinter einer Insel verschwinden zu lassen. Die einzelnen Informationswege werden mit einem Prozessor 59 gesteuert, der über ein Interface 60 auf alle Bildplattenspeicher 50 einwirkt. Über ein weiteres Interface 61 und einen Systembus 62 wirkt dieser Prozessor auf die Betriebsartensteuerstufe 54 der Bildspeicher 52 und die Lese-Steuerstufe 55. Diese Betriebsartensteuerstufe besteht hier aus mehreren Einzelstufen, wie Stufen zur Speicherverwaltung (SPV) und Stufen zur Schreibsteuerung (SS).
-
Der Aufbau der Bildspeicher 51 läßt gleichzeitiges Lesen und Schreiben zu, und zwischen den Speicherblöcken sind Bildkoppler vorgesehen, welche über das Adressieren ein beliebig positionierbares Auslesen von Bildinformationen gestattet. Bildspeicheroperationen werden über den Systembus 62 vom Prozessor 59 gesteuert. Für den Fall, daß der Systembus durch die Operationen überladen wird, besteht die Möglichkeit, Mikroprozessoren daran anzuschließen und den Bildspeicher 52 damit zu steuern. Über den Systembus 62 wird auch die Lese-Steuerstufe abgewickelt. Diese Lese-Steuerung hat vier Eingänge (vergl. Fig. 4), so daß vier Bildquellen prioritätsmäßig gemischt werden können. Die Speicherverwaltung sorgt für eine zyklische Bilddatenauslesung mit einer Taktrate von 50 Hz.
-
Bei Fahrzeugsimulatoren ist es zweckmäßig, die Zahl der Aufnahmepunkte/Quellbilder möglichst klein zu halten, damit die Sichtinformationen eines möglichst großen Operationsgebietes abgespeichert werden können. Um dies zu erreichen, ist es sinnvoll, das dargestellte Bild so zu verzerren, damit es mit möglichst wenigen Sprüngen an das nachfolgende Bild angepaßt werden kann. Die jeweilige Bewegung eines einzelnen Bildpunktes ist von der Fahrzeuggeschwindigkeit, vom Winkel zwischen Bewegungs- und Blickrichtung und von der Entfernung des Bildpunktes abhängig. Es ist daher notwendig, diese Bildverzerrungen bei Bilddarstellung zu berücksichtigen, was durch Einschieben und/oder Auslassen von Bildpunktspalten mittels Adressenmanipulation beim Auslesen der Bilddaten aus dem Bildspeicher auf sinnvolle Weise vorgenommen werden kann.
- 10 Aufnahmesensor
11 Modell/naturgetreue Datenaufnahme
12 Analog-Digital-Umsetzer
13 Bildverarbeitungsanlage
14 Umsetzerstufe
15 Bilderzeugerstufe
16 Wiedergabegerät
20 Aufnahmerechner
21 Interface
22 Bildplattenspeicher
23 Recorder
25 Steueranordnung
30 Interface
31 Systemsteuerstufe
32 Datenformatierstufe
33 Recordersteuerstufe
34 Schreibsteuerstufe
35 Lese-steuerstufe
36 Taktsteuerstufe
37 Ablenksteuerstufe
38 Adressenmultiplexer
39 Speicher
40 Speicher
41 Analog-Digital-Wandler
42 Digital-Analog-Wandler
50 Bildplattenspeicher
51 Analog-Digital-Wandler
52 Bildspeicher
53 Echtzeit-Datenbus
54 Betriebsartensteuerstufe
55 Lese-steuerstufe
56 Bildrahmensteuerstufe
57 Digital-Analog-Wandler
58 Monitor
59 Prozessor ( Sichtrechner )
60 Interface
61 Interface
62 Systembus