DE3035213C2

DE3035213C2 - Process for the acquisition and reproduction of terrain images for visual simulators

Info

Publication number: DE3035213C2
Application number: DE19803035213
Authority: DE
Inventors: Hans Wolfgang Dipl.-Ing. Masch. 8012 Ottobrunn Pongratz
Original assignee: Messerschmitt Bolkow Blohm AG
Current assignee: Airbus Defence and Space GmbH
Priority date: 1980-09-18
Filing date: 1980-09-18
Publication date: 1983-11-03
Also published as: DE3035213A1

Description

Die Erfindung betrifft ein Verfahren zur Gewinnung und Wiedergabe von Geländebildern für Sichtsimulatoren, vorzugsweise für einen Flugsimulator für das Fiug- und Schießtraining von Flugzeugführern, mit echten Luftaufnahmen als Datenbasis und Abspeicherung der Bildsignale auf Videoplatten mit Einzeladressierung der Bilder.The invention relates to a method for obtaining and reproducing terrain images for vision simulators, preferably for a flight simulator for flight and shooting training for pilots, with real ones Aerial photographs as a database and storage of the image signals on video disks with individual addressing of the Pictures.

Sichtsimulatoren der vorgenannten Art sowie Verfahren zur Gewinnung der für sie benötigten Bilder sind aus dem Stand der Technik bekannt Aus der US 2385 291 ist ein Flugsimulator bekannt, mit dem zum ersten Mal eine realistische Simulierung eines überflogenen Geländes aus der Sicht des Piloten möglich wurde. Hierzu wurde ein vorher im Fluge aufgenommenes Büd projiziert, welches entsprechend dem Flugweg bewegt wurde.Vision simulators of the aforementioned type and methods for obtaining the images required for them are Known from the prior art From US 2385 291 a flight simulator is known with which to For the first time a realistic simulation of a flown area from the pilot's point of view is possible became. For this purpose, a Büd previously recorded in flight was projected, which corresponds to the flight path was moved.

Eine andere bekannte Methode der Flugsimulatoren arbeitet mit einem Geländemodell mit darüberfahrender Fernsehkamera. Das Bild der Fernsehkamera wird auf einem Sichtgerät abgebildet und soll dem Blickwinkel entsprechen, wie er sich einem Piloten beim Flug über das tatsächliche Gelände bietetAnother known method of flight simulators works with a terrain model with driving over it Television camera. The image from the television camera is displayed on a viewing device and is intended to match the viewing angle correspond to how it presents itself to a pilot when flying over the actual terrain

Diese zur Zeit sehr gebräuchliche Methode hat eine Reihe von entscheidenden Nachteilen. So h>t z. B. der Manövrierraum für ein überfliegendes Flugzeug auf etwa Sx 10 km begrenzt. Bei diesen Modellgrößen treten aber bereits Probleme mit der Nachführgeschwindigkeit der Aufnahmekamera auf. Bewegliche Ziele sind nur sehr aufwendig zu realisieren und werden bisher nicht verwendet. Das Modell hat einen großen Platzbedarf bei hohem Energieverbrauch, welcher für die intensive Beleuchtung des Modells notwendig ist. Die Aufnahmekamera kann nur mittels aufwendiger Mechanik nachgeführt werden.This method, which is currently very common, has a number of decisive disadvantages. So h> t z. B. the Maneuvering space for an overflying aircraft limited to about Sx 10 km. With these model sizes however, problems already arise with the tracking speed of the recording camera. Movable Goals can only be realized with great effort and have not yet been used. The model has a big one Space requirement with high energy consumption, which is necessary for the intensive lighting of the model. The recording camera can only be tracked using complex mechanics.

Daneben sind auch Flugsimulatoren mit synthetischem Bildaufbau bekanntgeworden.z. B. US 39 Il 597. Mit solchen rechnergesteuerten Systemen ist zwar ein im Prinzip unbegrenzter Manövrierbereich möglich, allerdings bestehen reale Grenzen durch den Modellerstellungsaufwand und die Speicherkapazität des verwendeten Rechners. Um bei bestehenden Systemen trotzdem in Echtzeit das Modellbild aus Einzelflächen erstellen zu können, wird der Detaillierungsgrad der erzeugten Szene begrenzt. Damit wird ein Nachteil in Kauf genommen, der sich noch ungünstiger auswirkt als der unzureichende Detaillierungsgrad bei einem Motiellgelände über das eine Fernsehkamera führt. Auf den Simulatoren wirkt das im Bild künstlich, etwa wie in einem Zeichentrickfilm, da das computergenerierte Bild eine andere Bildtektur aufweist wie ein echtes Bild. Die Erzeugung echter Färb- und Beleuchtungseffekte ist sehr rechenaufwendig und bisher nur mit minderer Qualität möglich. Wollte man trotzdem eine zufriedenstellende Simulation erreichen, so müßte eine sehr hohe Rechenkapazität bereitgestellt werden, was gegenwärtig nur mit speziellen festverdrahteten Rechnern möglich ist, die jedoch nur in geringen Stückzahlen benötigt werden und daher äußerst kostenaufwendig sind und hohe Wartungsprobleme aufwerfen.In addition, flight simulators with synthetic image structure have also become known. B. US 39 Il 597. With such computer-controlled systems, an in principle unlimited maneuvering range is possible, however, there are real limits due to the effort required to create the model and the storage capacity of the used Calculator. In order to still get the model image from individual surfaces in real time with existing systems To be able to create, the level of detail of the created scene is limited. This becomes a disadvantage in Taken a purchase, which has an even more unfavorable effect than the insufficient level of detail in a motif area over which a television camera leads. On the simulators, this appears artificial in the picture, for example as in a cartoon, as the computer-generated image has a different visual structure than a real image. the Generating real color and lighting effects very computationally intensive and so far only possible with inferior quality. If you still wanted a satisfactory one To achieve simulation, a very high computing capacity would have to be provided, which is currently the case only possible with special hard-wired computers, but only in small numbers are required and are therefore extremely expensive and pose high maintenance problems.

Außer diesen bisher in der Praxis verwendeten Flugsimulatoren sind auch Systeme bekannt, welche echte Luftaufnahmen als Datenbasis verwenden. Diese Aufnahmen enthalten bereits die richtige Perspektive und Verdeckung bzw. Sichtbarkeit der betrachteten Geländeansicht Ein solches Verfahren ist in AGARD PC-268 20, Seite 1, letzter Absatz beschrieben. Der Vorteil dieses Verfahrens ist es, daß keine Bilderzeugung vorgenommen zu werden braucht, sondern lediglich eice Bildtransformation durchgeführt werden muß, die wesentlich weniger Recher .;ifwand erfordert, es wird Rechenkapazität durch Speicherkapazität ersetzt Das System ist bisher in zwei Versionen realisiert Zum einen wird ein Sichtsystem mit Film als Massenspeicher, zum anderen wird, so wie aus dem AGARD-Bericht bekannt ein Sichtsystem mit Videoplatte als Massenspeicher verwendet Bei beiden Versionen besteht das Hauptproblem darin, daß ein sehr großer Massenbildspeicher mit ausreichender Zugriffsgeschwindigkeit vorhanden sein muß, außerdem muß die Bildtransformationseinheit eine sehr hohe Arbeitsgeschwindigkeit aufweisen, da z. B. die Bandbreite eines einzigen Videokanals bei 625 Fernsehzeilen bereits 5 MHz beträgt
Aufgabe der Erfindung ist es, ein Verfahren anzugeben, mit dem Geländebilder gewonnen und für Sichtsimulatoren verwendet werden können, welche sich durch eine große Auflösung und Detaillierung des Geländebildes über einen großen Sichtwinkel auszeichnen, so daß auch Tiefflugsituationen mit Einblendung von Boden- und Luftzielen sowie realistisches Pilotentram.ng für den Verbundeinsatz von Sensoren möglich wird.In addition to these flight simulators that have been used in practice up to now, systems are also known which use real aerial photographs as a database. These recordings already contain the correct perspective and concealment or visibility of the view of the terrain being viewed. Such a method is described in AGARD PC-268 20, page 1, last paragraph. The advantage of this method is that no image generation has to be carried out, but only one image transformation has to be carried out, which requires significantly less research.; If wall, computing capacity is replaced by storage capacity On the other hand, as is known from the AGARD report, a viewing system with a video disk is used as a mass storage device have a very high working speed, as z. B. the bandwidth of a single video channel with 625 television lines is already 5 MHz
The object of the invention is to provide a method with which terrain images can be obtained and used for vision simulators, which are characterized by a high resolution and detailing of the terrain image over a large viewing angle, so that even low-level flight situations with fading in of ground and air targets as well as realistic Pilotentram.ng for the joint use of sensors becomes possible.

Außerdem soll eine Vorrichtung angegeben werden, mit der die hochdetaillierte Geländebikter-Sichtsimulation realisiert werden kann.In addition, a device is to be specified, with which the highly detailed terrain view simulation can be realized.

Das Verfahren zur Gewinnung und Wiedergabe von Geländebildern für Sichtsimulatoren mit echten Luftaufnahmen als Datenbasis und Abspeicherung der Bildsignale auf Videoplatten mit Einzeladressierung derThe process for the acquisition and reproduction of terrain images for vision simulators with real aerial photographs as a database and storage of the image signals on video disks with individual addressing of the

Pictures is characterized by:

a) zusätzlich zu jede.η Geländebild ein zweites sy ithetisch erzeugtes Bild abgespeichert wird, das zu jedem Bildpunkt des Geländebildes die zugehörige Entfernung vom Aufnahmestandort fci radialer Richtung angibt, wobei diese Information in Form eines Entfei nungsmaskenbildes abgespeichert wird:a) in addition to each η terrain image, a second one sy ithetically generated image is stored, which is associated with each pixel of the terrain image Distance from the recording site fci radialer Indicates direction, this information being stored in the form of a removal mask image will:

b) für einen stetigen Übergang des projezierten Bildes bei FortDewegung von einem Aufnahmestandort zum nächsten eine digitale Bild transformation in Form einer Interpolation der wiedergegebenen Geländeansichten zwischen den zwei nächstgelegenen Aufnahmestandonen durchgeführt wird;
c) jedem Wiedergabeprojektor einer Wiedergabeeinheit eine eigene Bildtransformations- und.Zieleinblendeeinheit vorgeschaltet ist, wobei abzubildende Ziele auf einer eigenen Bildnlatte aus allen in Fräseb) for a continuous transition of the projected image when moving from one recording location to the next, a digital image transformation in the form of an interpolation of the reproduced terrain views between the two closest recording locations is carried out;
c) each display projector of a display unit is preceded by its own image transformation and target fade-in unit, with targets to be displayed on a separate image stick from all of them in milling

kommenden Richtungen abgebildet sind und in einer Bildverarbeitungseinheit das Zielbild in die richtige Lage gedreht und in die richtige Größe gezoomt wird, und daß das Ziel ebenfalls in Form je eines Videobildes und eines Entfernungsmaskenbildes abgespeichert wird;Coming directions are mapped and in an image processing unit the target image in the correct position is rotated and zoomed to the correct size, and that the target is also in shape depending a video image and a distance mask image is stored;

d) das Format der aufgenommenen Geländebilder so auf den Blickwinkel der Wiedergabeprojektoren abgestimmt wird, daß eine Bildtransformationseinheit eines Projektors jeweils nur ein Geländebild der Datenbasis sehen kann und somit nur eine Transformation durchführen muß.d) the format of the recorded terrain images as viewed from the viewing angle of the display projectors it is coordinated that an image transformation unit of a projector only ever shows one terrain image the database and therefore only has to carry out one transformation.

Weitere Verfahrensausbildungen im Rahmen der Erfindung und eine Einrichtung zur Durchführung des Verfahrens sind in den Unteransprüchen angegeben.Further method training within the scope of the invention and a device for performing the Process are specified in the subclaims.

Die Vorteile des Verfahrens und der der Realisierung dienenden Einrichtung liegen ausgehend von der bekannten Verwendung echter Luftaufnahmen, mit denen eine höchstmögliche Realitätsnähe der simulierten Bodensicht erreicht werden kann, darin, daß im Prinzip beliebig große Bildwinkel wiedergegeben werden können, daß eine hohe Auflösung des Geländehintergrundes erzielbar ist. daß das Geländemodell durch Wechseln einiger Bildplatten vollständig ausgetauscht werden kann, daß an beliebigen Stellen Ziele mit hoher Auflösung eingeblendet werden können, und darin, daß Tiefflüge durchgeführt werden können, ohne die Beschränkungen, welche aus mechanischen Gründen bei den bisher bekannten Simulatoren vorhanden sind.The advantages of the method and the device used for implementation are based on the known use of real aerial photographs, with which the simulated ones are as realistic as possible Bottom view can be achieved in that, in principle, any large angle of view is reproduced can be that a high resolution of the terrain background can be achieved. that the terrain model by changing some optical disks that can be completely exchanged at any point Targets with high resolution can be faded in, and in that low-level flights can be carried out, without the restrictions that for mechanical reasons in the previously known simulators available.

Das Geländemodell kann durch Vervielfältigen der Bildplatten leicht reproduziert werden, so daß es möglich ist, auch weitere Simulatoren auf einfache Weise mit den Geländemodellen auszurüsten. Von großem Vorteil ist auch, daß weitgehend gängige Geräte aus der kommerziellen Rechner- und Fernsehtechnik verwendet werden können, so daß der finanzielle Aufwand gering gehalten werden kann. Durch die Möglichkeit der höheren Detaillierung des erzeugten Bildes Ober einen großen Sichtbereich ergeben sich Einsatzgebiete für Simulatoren, die mit bisherigen Anlagen nur unvollständig abgedeckt werden konnten. So sind z. B. Luftbodensimulationen möglich, bei denen vom Tiefflieger aus Bodenzielen aufgefaßt und identifiziert werden, und bei denen Hubschrauber-Tiefflüge, z. B. von Panzerabwehr-Hubschraubern geübt werden können. Darüber hinaus sind Gefahrenzustände im Landeanflug und Tiefflug simulierbar, da hie-Λΐ eine detaillierte Bodensicht zur genauen Höhenschätzung erforderlich ist. Ebenso ist das Training von Operatoren für ferngelenkte Flugzeuge im Tiefflug leicht möglich. Es kann auch die Aufklärung vom Flugzeug aus mit mehreren Sensoren im Verbund z. B. Auge, IR-Sichtgerät, Millimeterwellenradar, sowie das realistische Training des Einsatzes von Auge und IR-Sichtgeräten gegen Bodenziele geübt werden.The terrain model can easily be reproduced by duplicating the image plates so that it it is possible to equip other simulators with the terrain models in a simple manner. from Another great advantage is that devices from commercial computer and television technology are widely used can be used, so that the financial outlay can be kept low. Due to the possibility of higher detailing of the generated image over a large field of view there are areas of application for simulators that are not fully covered by previous systems could. So are z. B. Air floor simulations are possible with those from the low-flying aircraft from ground targets be understood and identified, and where low-level helicopter flights, e.g. B. from anti-tank helicopters can be practiced. In addition, dangerous conditions can be simulated during landing and low-level flight, there here-Λΐ a detailed view of the ground accurate elevation estimate is required. Likewise is the training of operators for remote-controlled aircraft Easily possible at low altitude. It can also provide reconnaissance from the aircraft with multiple sensors in the network z. B. Eye, IR vision device, millimeter wave radar, as well as the realistic training of the use of eye and IR vision devices against ground targets will.

Innerhalb des Manövergebietes ist eine freie Bewegung des Beobachters möglich, mit der höchsten Geschwindigkeit und Drehrate, die Flugzeuge in diesem Höhenbereich erreichen können.Free movement of the observer is possible within the maneuvering area, with the highest possible The speed and rate of turn that aircraft can achieve at this altitude.

In den Figuren ist die Erfindung näher erläuten. Es zeigtThe invention is explained in more detail in the figures. It shows

F i g. 1 the structure of the terrain model;

Fig.2 den Ablauf der Transformation von der Geländemodellebene in die Projektorebene;2 shows the course of the transformation from the Terrain model level to projector level;

3 shows the computational sequence of interpolation

zwischen benachbarten Standpunkten:between neighboring positions:

Fig.4 das Blockschaltbild einer Vorrichtung für die Sichtsimulation;4 shows the block diagram of a device for Vision simulation;

F i g. 5 Teilschritte der affinen Verzerrung; F i g. 6 ein Beispiel für eine Kontrastmanipulation;F i g. 5 sub-steps of affine distortion; F i g. 6 shows an example of a contrast manipulation;

F i g. 7 eine Arbeitsfolge für eine affine, geradentreue Verzerrung eines Bildes;F i g. 7 shows a sequence of operations for an affine, straight-line distortion of an image;

F i g. 8 die Einblendung eines Zieles in den Geländehintergrund. F i g. 8 the overlay of a target in the background of the terrain.

Gemäß Fi g. 1 wird das Geländemodell aus zweimal fünf Bildern aufgebaut, die sich doppelt überdecken. Das Blickfeld eines jeden Wiedergabeprojektors wird w angepaßt, daß ein Projektor nur ein Bild des Geländemodells sieht. Dadurch wird ein Zusammensetzen mehrerer Bildteile zu einem Projektorbild vermieden. Die Anordnung der Datenbasis ist so gewählt, daß ein horizontaler Bildwinkel von 72* (Bildwinkel infolge SchrägprojeM«o»> RO* χ 64*} und ei.» vertikaler von 64" entsteht, wobei das Bild um 12* über und um 52* unter den Horizont reicht. Daraus folgt, daß für einen Aussichtspunkt zwei mal fünf Bilder benötigt werden. Wie aus der Figur entnehmbar, ist der erste Satz 1 von fünf Stereobildern gegen den zweiten Satz 2 von Bildern um eine halbe Bildbreite versetzt Die Diagonale des Projektorbildfeldes ist gleich oder kleiner als die halbe Bildbreite. Dadurch sieht ein Projektor stets nur ein Bild der CMtinbasis zur gleichen Zeit. Der Vorteil der Verwendung ebener Bilder als Datenbasis ist der, daß für die Transformation des Bildes aus der Geländebild· ebene in der Datenbasis in die P<-ojektorbildebene eine geradentreue Projektion von einer Ebene auf eine schräg dazu liegende zweite Ebene verwendet werden kann. Eine geradentreue Projektion ist rechnerisch einfacher durchzuführen als eine nicht geradentreue, was bei Echtzeitrechnung wichtig ist.According to Fig. 1, the terrain model is built up from two five images that overlap twice. The field of view of each reproduction projector w adapted to a projector only sees an image of the terrain model. This avoids combining several parts of the image into one projector image. The arrangement of the database is chosen in such a way that a horizontal image angle of 72 * (image angle due to oblique projection «o»> RO * χ 64 *} and ei. »Vertical of 64" is created, whereby the image is 12 * above and 52 * It follows that two by five images are required for a vantage point. As can be seen from the figure, the first set 1 of five stereo images is offset from the second set 2 of images by half an image width. The diagonal of the projector image field is equal to or smaller than half the image width. As a result, a projector only ever sees one image from the CMtin base at a time <-ojector image plane a true-to-the-line projection from one plane onto a second plane, which is inclined to it, can be used true to the truth, which is important for real-time calculations.

Statt des zuvor beschriebenen Verfahrens kann auch eine einzige durchgehende Rundumaufnahme mit vertikaler Zeilenrichtung verwendet werden. Bei diesem Verfahren werden zu jedem Aufnahme-Standort von vier in einem Quadrat mit 10 Metern Seitenlänge angeordneten Punkten a'is durchgehende Rundumbilder in der Art einer Zylin^erprojektion mit einem CCD-Line-scanner aufgeno^r men. Diese vier Rundumbilder mit einer Zeilenzihl von z. B. je 9 χ 575Instead of the method described above, a single continuous all-round recording with a vertical line direction can also be used. In this method, at each recording location of four arranged in a square with side length of 10 meters points are a'is continuous panoramic images in the manner of a Zylin ^ erprojektion with a CCD line-scanner aufgeno ^r men. These four all-round images with a line count of z. B. 9 χ 575 each

♦5 Zeilen werden auf Videoband in je 9 Folgebildern abgelegt Aus diesen vier Rundumbildern kann zu jedem Bildpunkt eine Stereoauswertung zur Ermittlung seiner Entfernung vom Aufnahmestandort durchgeführt werden. Bei der Wahl von neun Standardfernsehbildern mit 4:3 Seitenverhältnis zur Abspeicherung je eines Rundumbildes wird jede der neun Teilaufnahmen 40" breit und 51,8° hoch. Bei dieser Anordnung ist bei einem vergleichbaren Speicheraufwand und vergleichbarer Höhe des Rundumbildes damit die Auflösung des Bodenbildes um ca. 38% höher als bei Verwendung einer ebenen Bildbasis.♦ 5 lines are stored on video tape in 9 subsequent images each. From these four all-round images, each Pixel a stereo evaluation can be carried out to determine its distance from the recording location. With the choice of nine standard television pictures with 4: 3 aspect ratio for storage one each With the all-round image, each of the nine partial shots is 40 "wide and 51.8 ° high. In this arrangement, one comparable memory expenditure and comparable height of the all-round image, thus the resolution of the Floor image is approx. 38% higher than when using a flat image base.

Das Projektorbild kann durch einfaches Auslesen aus benachbarten Bildbasisaufnahmen zusammengesetzt werden, wobei für einen Projektor wiederum nur eineThe projector image can be put together by simply reading out neighboring image base recordings with only one for a projector

Direction of transformation is to be considered

Der Nachteil dieses Verfahrens ist, daß die Transformation aus der zylindrischen Geländebildebene in die ebene Projektorbüdebene nicht mehr geradentreu ist und daher rechnerisch wesentlich aufwendiger ausfällt so daß bei Echtzeitberechnungen die Anwendung dieses Verfahrens erschwert wird.The disadvantage of this method is that the transformation from the cylindrical terrain image plane into the plane south plane is no longer true to the line and therefore it turns out to be much more computationally complex, so that this is used for real-time calculations Procedure is made more difficult.

Gemäß Fig.4 besteht eine Vorrichtung für die Sichtsimulation aus einem zentralen Steuerrechner 10 iAccording to Figure 4 there is a device for Visual simulation from a central control computer 10 i

des Sichtsystems, der Flug- und Sichtdaten von einem Simulationsrechner übernimmt und die Steuerung der einzelnen Baugruppen und Unterrechner durchführt. Hiermit verbunden ist ein Interfacesystem II, welches alle Takt, Steuer- und Datenleitungen umfaßt. Für jede S der 10 Aufnahmerichtungen sind Bildplattenspieler 01 bis 020 vorhanden, wobei je ein Bildplattenspieler das VideoWd. enthält und der zweite Bildplattenspieler das zugehörige Entfernungsmaskenbild enthält. Die Bildplattenspieler 01 bis 020 sind mit einer Mikroprozessor-Bildauslesesteuerung versehen.the vision system, flight and vision data from one The simulation computer takes over and controls the individual assemblies and sub-computers. This is connected to an interface system II, which includes all clock, control and data lines. For each of the 10 recording directions, video recorders 01 to 020 are available, with one video recorder each VideoWd. and the second disk player contains the contains associated distance mask image. The video disk players 01 to 020 are with a microprocessor image readout control Mistake.

Weiterhin ist ein Bildplattenspieler 12 mit Bildern von Zielen aus allen in Frage kommenden Aufnahmerichtungen und ein weiterer Bildplattenspieler 13 mit den zugehörigen Entfernungsmaskenbildern des Zieles is vorhanden. Damit stehen parallel alle Bild- und Entfernungsinformationen zu einem Aufnahmestandort in analoger Form zur Verfugung.There is also an optical disc player 12 with images from Aiming from all possible recording directions and a further video disc player 13 with the Corresponding range mask images of the target are available. This means that all image and Distance information to a recording location is available in analog form.

Die Informationen gelangen zu einem Kreuzschienenverteiler 14, der die Analogvideosignale auf die zugehörige Projektorkette 22 mit Bildtransformationseinheit 15 mit 22 Eingängen und 22 Ausgängen bei 11 Wiedergabeprojektoren durchschaltet.The information arrives at a matrix switch 14, which transmits the analog video signals to the Associated projector chain 22 with image transformation unit 15 with 22 inputs and 22 outputs at 11 Playback projectors switched through.

Es sind mithin insgesamt bei 11 Wiedergabeprojektoren 11 Projektorketten 22 vorhanden, wobei in der F i g. 4 eine dargestellt ist. Die Bildtransformationseinheit 15 besteht aus Analog-Digital-Wandlern 16, einer Einheit 17 zum Ergänzen des Projektorbildausschnittes in den Himmel- und Erdbereichen, die von der Bildbasis nicht bedeckt werden, einem Kontrastmanipulationsrechner 18 zur Simulation von Dunst, Nebel oder tiefhängenden Wolken, einem Rechner 19 zum Einfügen der Zielentfernungsmaske in das Videobild, einem Rechner 20, der das Geländebild in die Projektorbildebene transformiert und zur Korrektur des Bildes auf einem neuen interpolierten Beobachterstand sowie zur Abspaltung des ZielentfsmungsmaskcssigRsls sus dem transformierten Videobild, einschließlich Digital-Analog-Wandler für Video und Ziel-Key-Maskensignal, Konturverbesserer 21, der das Videoausgangssignal leicht differenziert. 2-Ebenen-Chroma-Key-Bildmischer 23 zur Einblendung von Zielen in das Geländebild und Bildspeichern im Zieleingang des Bildmischers 24, der eine parallele Verschiebung des Zielbildes ermöglichtThere are therefore a total of 11 playback projectors 11 projector chains 22 are present, wherein in FIG. 4 is shown. The image transformation unit 15 consists of analog-to-digital converters 16, one Unit 17 for completing the projector image section in the sky and earth areas that are from the image base are not covered, a contrast manipulation computer 18 for simulating haze, fog or low-hanging clouds, a computer 19 for inserting the target distance mask in the video image, a Computer 20, which transforms the terrain image into the projector image plane and for correcting the image a new interpolated observer position as well as the splitting off of the target removal mask transformed video image, including digital-to-analog converters for video and target key mask signal, contour enhancer 21, which is the video output signal slightly differentiated. 2-level chroma key image mixer 23 for overlaying targets in the terrain image and image storage in the target input of the image mixer 24, the enables a parallel shift of the target image

Weiterhin ist vorhanden eine Zielbildtransformationseinheit 25. bestehend aus Analog-Digital-Wandler für Videobild und Entfernungsmaskenbildsignal, einem Rechner zum Einfügen der Zielentfernungsmaske in das Videobild, Bildverzerrungsrechner zum perspektivisch richtigen Aufbereiten des Zielbildes einem Rechner zur so Abspaltung des Entfernungslinienbildes aus dem transformierten Zielbild, Digital-Analog-Wandler für Videobild und Ziel-Key-Signalbild, Zwei-Ebenen-Chroma-Key-Bildmischer 26 zur Ausmaskierung des sichtbaren Teiles des Zieles und ein Kreuzschienenverteiler 27, der das Zielbildsignal auf den Zielbildeingang der richtigen Projektorkette durchschaltet. Die Einblendung des Zieles in den Geländehinterjrund wird, wie in Fig. 8 beschrieben ausgeführt.There is also a target image transformation unit 25 consisting of an analog-to-digital converter for video image and distance mask image signal, a computer for inserting the target distance mask into the Video image, image distortion computer for the correct perspective preparation of the target image a computer for so Separation of the distance line image from the transformed target image, digital-to-analog converter for video image and target key signal image, two-level chroma key image mixer 26 to mask out the visible part of the target and a crossbar distributor 27, the switches the target image signal through to the target image input of the correct projector chain. The display of the Target in the terrain behind, as in Fig. 8 described executed.

Die Bildtransformation geht in der Fig.4 im wesentlichen wie folgt vor sich. Zur Erläuterung sei zunächst in F i g. 6 die Funktion des Kontrastmanipulationsrechners 18 näher beschrieben. Der Kontrastmanipulationsrechner 18 nimmt eine punktweise Verarbeitung des Bildkontrastes in dem Geländebild vor, wobei die Lage bzw. Adresse der Bildpunkte nicht verändert werden.The image transformation is shown in FIG essential as follows. For an explanation, let us first refer to FIG. 6 the function of the contrast manipulation computer 18 described in more detail. The contrast manipulation calculator 18 takes point-by-point processing of the image contrast in the terrain image, the position or address of the image points not changing will.

The computer reads the one belonging to the picture

Entfernungsmaske ein und verändert die Farbe der einzelnen Bildpunkte ins Blaue und reduziert den Kontrast entsprechend der Entfernung des zu dem Bildpunkt gehörenden Entfernungsmaskenpunktes und derzu.simulierenden Dunststärke.Distance mask and changes the color of the individual pixels to blue and reduces the Contrast corresponding to the distance of the distance mask point belonging to the image point and the amount of haze to be simulated.

Weilerhin verändert der Kontrastmanipulationsrechner W die Farbe innerhalb einer Entfernungsmaske einheitlich ins Weiße, um Nebel oder tiefliegende Wolkenuntergrenzen zu simulieren.Weilerhin changed the contrast manipulation calculator W the color within a distance mask uniformly into white, around fog or deep-lying To simulate cloud bases.

Bei der Bildtransformation von der Geländebild- in die Projektionsebene und der Interpolation zwischen den Aufnahmestandpunkten kann bei der Verwendung von ebenen Bildern als Bildbasis die Transformation in mehrere einfache Teilschritte zerlegt werden. Diese Transformation entspricht im wesentlichen einer Projektion von einer Ebene auf eine zweite schräg dazu liegende Ebene, wie es in den F i g. 2 und 3 dargestellt ist. Die Einzelschritte sind:During the image transformation from the terrain image to the projection plane and the interpolation between The transformation into several simple sub-steps are broken down. This transformation corresponds essentially to a Projection from one plane onto a second plane inclined thereto, as shown in FIGS. 2 and 3 is shown. The individual steps are:

a) Parallelverschiebung der Projektorachse in die Mitte des neuen Bildes;a) parallel shift of the projector axis to the center of the new image;

b) Drehen der Rasterrichtung aus der Geländebildzeilenrichtung in die Projektorzeilenrichtung, so daß die Mittelzeile des Bildes parallel zur Projektorzeile liegt;b) Rotating the raster direction from the terrain image line direction in the projector line direction, so that the center line of the image is parallel to the projector line;

c) Projizieren des Bildes aus der Geländebildebene in die Projektorbildebene durch affine Verzerrung;c) projecting the image from the terrain image plane into the projector image plane by means of affine distortion;

d> Korrektur des Bildes auf den neuen (interpolierten Beobachterstandpunkt durch affine Verzerrung);d> Correction of the image to the new (interpolated Observer standpoint due to affine distortion);

e)- Zoomen des Bildes in die richtige Größe, bei Bewegung längs der Projektorachse.e) - zooming the image to the correct size, at Movement along the projector axis.

Die Teilschritte c) und d) können zu einem resultierenden Teilschritt zusammengefaßt werden.The sub-steps c) and d) can be combined to form a resulting sub-step.

Für die rechentechnische Behandlung der Transformation ist es zweckmäßig, diesen resultierenden Schritt \n Teilschritte aufzuspalten, die eine zeilenweise parallele Verarbeitung des Bildes zulassen. Damit dies mit der verfügbaren Hardware durchgeführt werden kann, muß innerhalb einer Bildzeile ein konstanter Vergrößerungsfaktor in Zeilenrichtung und senkrecht dazu beibehalten werden.For the computational handling of the transformation, it is useful to split up this resulting step \ n sub-steps that allow the image to be processed in parallel line by line. So that this can be carried out with the available hardware, a constant magnification factor must be maintained within an image line in the direction of the line and perpendicular to it.

Um damit eine affine, geradentreue Verzerrung des Bildes durchzuführen, muß zunächst eine Bildverzerrung in Zeilenrichtung durchgeführt werden, so daß der rechte und linke Bildrand parallel und vertikal sind. DaRn wird das Bild um 90° gedreht Nun wird das Bild erneut so verzerrt, daß die jetzt schräg verlaufenden linken und rechten Bildränder ebenfalls parallel und vertikal verlaufen, womit der Projektbildausschnitt Rechteckform annimmt siehe F i g. 5. Daraufhin wird das Bild wieder um 90° zurückgedreht Durch Zoomen wird das Bild dann auf projektorbildfüllendes Format vergrößert, siehe Fig.2. Diese Transformation kann auen? durch die Arbeitsfolge nach F ig. 7 bestehend aus Parallelverschiebung, Drehung der Ebene durch Geländebildachse und Projektorbildachse senkrecht zur Zeilenrichtung, Verzerrung des Bildes so, daß der Projektorbildausschnitt rechteckig wird. Paralleldrehen der Rasterrichtung und Vergrößern auf Projektorbildgröße mit Korrektur für Schrägprojektion "erreicht werden.In order to carry out an affine, straight-line distortion of the image, an image distortion must first be carried out in the line direction so that the right and left image edges are parallel and vertical. The image is then rotated by 90 °. Now the image is again distorted in such a way that the left and right edges of the image, which are now inclined, are also parallel and vertical, with the result that the project image section assumes a rectangular shape, see FIG. 5. The image is then rotated back by 90 °. By zooming the image is then enlarged to a format that fills the projector image, see Fig. 2. Can this transformation occur? by the work sequence according to Fig. 7 consisting of parallel displacement, rotation of the plane through the terrain image axis and projector image axis perpendicular to the line direction, distortion of the image so that the projector image section becomes rectangular. Parallel rotation of the raster direction and enlargement to projector image size with correction for oblique projection "can be achieved.

Bei der Bildtransformation wird nur eine Lageänderung der einzelnen Bildpunkte vorgenommen, der Inhalt {Helligkeit, Farbwert) bleibt unangetastetDuring the image transformation, only one change in the position of the individual pixels is made, the content {Brightness, color value) remains untouched

Die Verarbeitung des Entfernungsmaskenbildes kann in einem Arbeitsgang mit dem Videobild transformiert werden, da in der Bildtransformation wie obenThe processing of the removal mask image can be transformed in one operation with the video image as in the image transformation as above

ίοίο

beschrieben, der Inhalt der Bildpunkte nicht mehr verändert wird und die verfügbare Hardware eine höhere Bit-Anzahl pro Bildpunkt zur Verfügung hat, als unbedingt notwendig ist.described, the content of the pixels is no longer changed and the available hardware a has a higher number of bits available per pixel than is absolutely necessary.

Zur Verarbeitung des Entfernungsmaskenbildes wird aus dem digitalisierten Entfernungsmaskenbild die Entfernungsstu.'e ausgelesen, die der Entfernung des Zieles am nächsten liegt. Längs der Begrenzungslinie des Entfernungsbereiches wird nun das Bild in einen Vordergrundbereich, der das Ziel verdeckt, und einen Hintergrundbereich, der vom Ziel verdeckt wird.To process the distance mask image, the digitized distance mask image becomes the Distance stages read out that correspond to the distance of the Closest to the destination. Along the boundary line of the distance range, the image is now in a Foreground area that obscures the target and a Background area obscured by the target.

aufgespalten uriJ diese Information in die unterste Bit-Ebene des Videobildes eingeschrieben, so daß diese neben der Bilüformation nun auch die Vordergrund-Hintergrundaufteilung bezüglich des einzublendenden Zieles enthält.split uriJ this information written into the lowest bit level of the video image so that this In addition to the image formation, now also the foreground-background division with regard to the target to be displayed.

Dieses kombinierte Bild wird der Transformation, wie oben beschrieben, unterworfen. Nach Durchführung der Transformation wird die Vordergrund-Hintergrundinformation vom Videobild wieder abgespalten und in Form eines Schwarz/Weiß-Key-Bildes parallel zum Videobild ausgegeben.This combined image will be transforming how described above, subject. After the transformation has been carried out, the foreground background information becomes split off again from the video image and in the form of a black / white key image parallel to the Video image output.

Hierzu 4 Blatt ZeichnungenFor this purpose 4 sheets of drawings

Claims

Patent claims:

1. Method for obtaining and reproducing terrain images for vision simulators, preferably for a flight simulator for flight and shooting training by pilots, with real aerial photographs as a database and storage of the image signals on video disks with individual addressing of the images, characterized in that

10

a) in addition to each terrain image, a second synthetically generated image is saved, the corresponding distance from the recording location for each pixel of the terrain image in the radial direction, this information in the form of a distance mask image saved jvird,

b) for a continuous transition of the projected Forms a digital image transformation when moving from one location to the next in the form of an interpolation of the reproduced terrain views between the two closest recording locations is carried out.

c) each display projector of a display unit has its own image transformation and A target fade-in unit is connected upstream, with targets to be displayed on their own image plate are imaged from all relevant directions and in an image processing unit the target image is rotated into the correct position and converted to the correct size, and that the goal is also in the form of a video image and an entry mask image is saved.

c) the format of the recorded terrain images in relation to the viewing angle of the display projectors is coordinated that an image transformation unit of a projector only one Can see the terrain image of the database and thus only carry out one transformation got to.

2. The method according to claim 1, characterized in that that the associated distances from the recording location are coded as brightness levels in The form of the distance mask image can be saved, and for this purpose the aerial photographs the database can be recorded as stereo images with a large stereo image. so

3. The method according to claim 1 or 2, characterized in that a distance-dependent Deterioration of visibility conditions due to haze. Fog or low clouds is simulated by manipulating the image contrast as a function of the distance level.

4. The method according to claim I, characterized in that that using the distance information for the pixels and the direction of the Line of sight vector on which a missile moves and its distance from the observer, the point of impact of a missile in the terrain is determined and correctly displayed.

5. The method according to one or more of the preceding claims, characterized in that net that based on the known distances for each terrain pixel, moving targets in the correct concealment in the terrain can be displayed at any point and that the display the targets are carried out in an analogue way in a masking process for image components.

6. The method according to any one of the preceding claims, characterized in that the image base is composed of two stereo panorama recordings, which in turn consists of a large number consist of flat stereo images which together cover the all-round view of 360 ° twice, whereby the first set of stereo images against the second set of stereo images by half an image width is offset and the diagonal of the projector image field is equal to or smaller than half the image width.

7. The method according to claim 1, characterized in that for each recording location of four dots arranged in a square from continuous all-round images in the manner of a Cylinder projection are recorded with scanners and that for each of these four all-round images a stereo evaluation for each pixel to determine its distance from the recording location is carried out, and that the projector image by simply reading out from neighboring image base recordings is put together.

8. The method according to claim 5, characterized in that by reading out the dividing line between covered and uncovered terrain image parts from the distance mask image and The application uses this signal as the key signal in a 2-level chroma key video mixer of the moving target is made into a terrain picture with the target in the background is superimposed in the auto-key method and the foreground corresponds to the target Distance key signal is superimposed.

9. The method according to claim 5, characterized in that that by dividing the target image into distance zones and fire; changes in visibility of the target during radial movement a distance mask image as a key signal in an image mixer using the chroma key method sudden emergence of the Zi 'les in radial movements is avoided.

10. The method according to one or more of the preceding claims, characterized in that that a transformation and interpolation of stored aerial photographs for the projection is carried out in the flight simulator by an image transformation that is divided into the Single steps parallel shift. Rotation, affine straight line distortion, and magnification of the Image.

11. The method according to claim 10, characterized in that that the affine straight-line distortion is divided into a distortion with line by line constant enlargement factor perpendicular and parallel to the line direction, so that left and right Edge of the projector image section in the terrain image run perpendicular to the line direction, then Rotation by 90 °, further distortion as described above and reverse rotation by 90 °.

12. The method according to any one of the preceding claims, characterized in that the processing the video image and the removal mask image is done in one operation by both Information is written into a pixel data word in superimposed levels and the combined picture after the previous ones

Claims is transformed

13. The method according to one or more of the preceding claims, characterized that a transformation and interpolation of stored aerial photographs for the projection is carried out in the flight simulator by an image transformation that is divided into the Single steps parallel shift, rotation of the connecting lines from the aerial image axis to the projector image axis perpendicular to the line direction, distortion of the image with line-by-line constant enlargement factors in and perpendicular to the line direction, parallel rotation of the grid and enlargement of the Image.