CH675638A5 - Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model - Google Patents

Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model Download PDF

Info

Publication number
CH675638A5
CH675638A5 CH3528/87A CH352887A CH675638A5 CH 675638 A5 CH675638 A5 CH 675638A5 CH 3528/87 A CH3528/87 A CH 3528/87A CH 352887 A CH352887 A CH 352887A CH 675638 A5 CH675638 A5 CH 675638A5
Authority
CH
Switzerland
Prior art keywords
aircraft
model
image
dimensional
image plane
Prior art date
Application number
CH3528/87A
Other languages
German (de)
Inventor
Heinz Piccolruaz
Original Assignee
Contraves Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Contraves Ag filed Critical Contraves Ag
Priority to CH3528/87A priority Critical patent/CH675638A5/en
Publication of CH675638A5 publication Critical patent/CH675638A5/en

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G7/00Direction control systems for self-propelled missiles
    • F41G7/20Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22Homing guidance systems
    • F41G7/2226Homing guidance systems comparing the observed data with stored target data, e.g. target configuration data
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G3/00Aiming or laying means
    • F41G3/26Teaching or practice apparatus for gun-aiming or gun-laying
    • F41G3/2616Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device
    • F41G3/2694Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device for simulating a target
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G7/00Direction control systems for self-propelled missiles
    • F41G7/20Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22Homing guidance systems
    • F41G7/2253Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G7/00Direction control systems for self-propelled missiles
    • F41G7/20Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22Homing guidance systems
    • F41G7/2273Homing guidance systems characterised by the type of waves
    • F41G7/2293Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The aircraft identification system uses an evaluation micro-processor to determine the type of aircraft and its flight path from the information provided by at least one optoelectronic sensor. The 2-dimensional aircraft image is compared with data held in a memory representing a projection of a 3-dimensional aircraft model in the plane of the optoelectronic sensor, to allow a real aircraft to be identified via a disriminator. The difference between the actual aircraft orientation with that of the model is used by an estimator to calculate the aircraft flight path, to select the approporiate projection of the model for the next comparison. The processor model may comprise a grid with equidist-ant grid points depricing a sheld which depries the aircraft surface , all grid points joined together by a number of elementary steps. ADVANTAGE - Accurate identification of target.

Description

       

  
 



  Die Wellenlänge des Lichts ist etwa 70000 mal kürzer als jene von Radarwellen. Der Durchmesser des Objektivs eines optronischen Sensors ist hingegen nur etwa 20 mal kleiner als der Durchmesser der Antenne eines Folgeradars. Deshalb können optronische Sensoren nicht nur die Position des Ziels bestimmen, sondern auch seine Silhouette. 



  Bei klarer Sicht und kurzer Distanz oder langer Brennweite enthält diese Silhouette viele Informationen, die bisher nur sehr unvollständig ausgewertet wurden. 



  Aufgabe der vorliegenden Erfindung ist es, durch eine vollständige Auswertung der Silhouette
 - die winkelmässige Vermessung der Position des Schwerpunktes des Ziels zu verbessern
 - eine rein passive Schätzung der Entfernung des Ziels zu ermöglichen
 - verschiedene Zieltypen zu unterscheiden und
 - die rotatorische Fluglage des Ziels zu schätzen, daraus auf seine momentane aerodynamische Beschleunigung zu schliessen und so die Flugbahn des Ziels genauer zu schätzen und diese Schätzung rascher an Zielmanöver anzupassen. 



  Dabei setzt die Erfindung voraus,
 - dass das Ziel als System von starren Körpern mit definierter Relativbewegung betrachtet werden darf, welche Teilkörper ihre äussere, dreidimensionale Form nicht ändern und
 - dass aus der Flugbahn des Ziels auf seine Fluglage geschlossen werden kann und umgekehrt. 



  Beide Voraussetzungen sind bei Flugzeugen besser erfüllt als bei Vögeln. 



  Die Flugbahn eines Flugzeuges sei in einem inertiellen Koordinatensystem definiert durch die Position p, die Geschwindigkeit p min und die Beschleunigung p min  min  seines Schwerpunktes in Funktion der Zeit. Dann lässt sich bei Windstille und unter Vernachlässigung des Anstellwinkels die rotatorische Fluglage eines Starrflüglers wie folgt berechnen: 
EMI2.1
 



  Dabei stehen die Einheitsvektoren e1, e2 und e3 senkrecht aufeinander, wobei e1 parallel zur Längsachse des Starrflüglers ist, e2 in dessen Tragfläche liegt und e3 nach unten zeigt. g ist der Erdbeschleunigungsvektor und lp min l ist der Absolutbetrag von p min . Somit ist die translatorische Fluglage des Starrflüglers durch p und seine rotatorische Fluglage durch p min  sowie p min  min  bestimmt. Umgekehrt kann z.B. bei bekannter rotatorischer Fluglage auf die Beschleunigung p min  min  geschlossen werden. 



  Diese Zusammenhänge sind beim Drehflügler und Schwenkflügler etwas komplizierter und weniger eng. Insbesondere können beim Drehflügler e1, e2 und e3 unbestimmt werden, weil p min verschwindet. Der Vektor p min  min -g der aerodynamischen Beschleunigung steht beim Starrflügler und beim Schwenkflügler ungefähr senkrecht auf der Tragfläche und beim Drehflügler ziemlich genau senkrecht auf der Drehebene der Rotorblätter. Während ein Jet ohne Schwenkflügel und abwerfbare Aussenlasten zumeist als ein einziger starrer Körper betrachtet werden kann, falls man Landeklappen und Sturzflugbremsen vernachlässigt, erscheint der Rotor eines Helikopters nur dem menschlichen Auge als zellenfeste und durchsichtige Kreisscheibe, einer Fernsehkamera hingegen als drehender Flügel.

  Sowohl Flächenflugzeuge (Starrflügler und Schwenkflügler) als auch Helikopter (Drehflügler) können bemannt oder unbemannt sein und werden hier gemeinsam "Flugzeuge" genannt. 



  Ist auch die translatorische und rotatorische Lage der optronischen Sensoren und insbesondere ihrer gemeinsamen Bildebene bekannt, so kann man bestimmen, welchem Bildpunkt in der Bildebene welcher Oberflächenpunkt des Flugzeuges entspricht. Ist auch noch die Form dieser Oberfläche bekannt, so kann man das Bild dieser Form als ihre Projektion in die Bildebene bestimmen. Dabei stellen sich hauptsächlich 2 Fragen: 
 
   a) Wie kann man die Form eines starren Körpers (z.B. in einem digitalen Festwertspeicher) so speichern, dass sie möglichst wenig Speicherplatz beansprucht? 
   b) Wie kann man dieses Modell mit möglichst geringem (Rechen-) Aufwand in die Bildebene projizieren? 
 



  Diese Fragen werden durch die Erfindung wie folgt beantwortet: Die Form der Oberfläche wird definiert durch eine Schale, welche die Oberfläche enthält. (Die Schale ist endlich dünn bzw. dick, die Oberfläche hingegen ist unendlich dünn.) Die Schale wird ausgefüllt mit Schalenpunkten, welche in der Gestalt eines dreidimensionalen Gitters regelmässig angeordnet sind wie die Atome eines Kristalls. 



  Die Abstände der Schalenpunkte bzw. die Rasterweite des Gitters, die Dicke der Schale sowie die Grösse der Bildelemente (Pixel) der Bildebene werden so aufeinander und letztere auf die Projektionsrichtung abgestimmt, dass sich die Schale lückenlos in die Bildebene projiziert. Das bedeutet, dass jedes Element der Bildebene, das zum Bild der Schale gehört, die Projektion von mindestens einem Schalenpunkt enthält. Es wird vorzugsweise nicht unterschieden, ob dieses Pixel als Bild von einem oder mehreren Schalenpunkten betrachtet werden kann, ob diese Schalenpunkte im Gitter benachbart oder weit voneinander entfernt liegen, welcher Schalenpunkt am nächsten bei der Bildebene liegt, wie die Oberfläche des Flugzeuges gefärbt und beleuchtet ist und ob sie das Licht diffus oder gerichtet reflektiert.

  Mit andern Worten: es wird für jedes Pixel lediglich ent schieden, ob es zur Silhouette der Schale bzw. des Modells gehört oder nicht. Damit kann man viel Aufwand sparen ohne viel Realistik zu verlieren, weil ein Flugzeug dem erdgebundenen Beobachter zumeist als dunkle Silhouette vor hellem Himmel erscheint. 



  Dass die Schale im Gegensatz zu den Teilkörpern eines Flugzeugs innen hohl ist, hat keinen Einfluss auf die Form ihrer Silhouette, weil jedem Punkt des Hohlraums mindestens ein Punkt der Schale so entspricht, dass beide in den gleichen Punkt der Silhouette projiziert werden. 



  Auch die Reihenfolge der Projektion der Schalenpunkte hat keinen Einfluss auf die Form der Silhouette. Deshalb wird z.B. immer ein solcher Gitterpunkt projiziert, dessen Position sich von der Position des vorherigen Gitterpunktes um eine Rasterweite in z.B. einer Koordinaten, d.h. um einen von z.B. 6 verschiedenen Elementarschritten unterscheidet. (Ist das Gitter kubisch, bzw. das Koordinatensystem kartesisch, so sind es genau 6 verschiedene Elementarschritte, von denen je 3 senkrecht aufeinander stehen und je 2 entgegengesetzt gerichtet sind.) Damit lässt sich die Position aller Gitterpunkte aus der Position eines einzigen Gitterpunktes durch eine Folge von Elementarschritten aufbauen, welche einen Weg innerhalb des Gitters definiert.

   Dieser Weg ist vorzugsweise in sich geschlossen, damit man kontrollieren kann, ob die Folge der Elementarschritte wieder an ihren Ausgangspunkt zurückführt, oder ob irgendwo unterwegs ein Elementarschritt daneben ging. Auf diese Weise lässt sich die Form einer beliebigen Fläche darstellen durch ein digitales Modell, welches weniger als 3 bit Speicherplatz pro Schalenpunkt beansprucht, denn mit 3 bit liessen sich nicht nur 6 Elementarschritte definieren, sondern sogar deren 8. Es sind aber auch Gitterstrukturen mit 16 zugelassenen Elementarschritten denkbar. Dann steigt der Speicherplatzbedarf auf 1 Byte für 2 Schalenpunkte. Dafür sinkt die Zahl der Schalenpunkte, weil eine dünnere Schale für lückenlose Projektion genügt. 



  Sind mindestens 2 Teile des Modells gleich oder symmetrisch, so wird vorzugsweise nur der erste dieser Teile Punkt für Punkt gespeichert und projiziert. Von den andern Teilen wird nur ein Punkt projiziert, und zwar vorzugsweise der Beginn bzw. das Ende des geschlossenen Weges. 



  Ihre Teilbilder können dann nach dem Muster des 1. Teilbildes ergänzt werden. Allerdings bleibt die Symmetrie nur bei Normal-Projektion genau erhalten, nicht aber bei Zentral-Projektion. Weil die Ausdehnung des Flugzeuges viel kleiner ist als seine Entfernung von der Bildebene, wird seine Zentralprojektion durch die optronischen Sensoren vorzugsweise angenähert durch eine Normalprojektion seines Modells mit einem entfernungsabhängigen Massstabfaktor, welcher ungefähr gleich der Brennweite des Objektivs des optronischen Sensors, dividiert durch die Entfernung, ist. 



  Die Normal-Projektion eines Schalenpunktes in die Bildebene erfordert rechnerisch die Multiplikation einer 2x3-Matrix mit dem 3-Vektor der Position des Schalenpunktes und die Addition eines 2-Vektors. Die Matrix und der 2-Vektor sind bestimmt durch die relative Lage der Bildebene und des Modells (des Teilkörpers des Flugzeuges). Die Matrix-Vektor-Multiplikation kann man sich ersparen, indem man nicht die Schalenpunkt-Positionen projiziert, sondern nur deren Differenzen, d.h. die Elementarschritte, denn davon gibt es nur z.B. 6 verschiedene, und je 2 davon unterscheiden sich nur durch ihr Vorzeichen. Deshalb werden vorzugsweise zu Beginn der Bestimmung der Silhouette des Modells der Ausgangspunkt des Weges sowie alle z.B. 3 Rasterweiten ein für alle mal projiziert.

  Hierauf wird der Weg nicht mehr dreidimensional im Gitter abgeschritten, sondern zweidimensional in der Bildebene durch Addition eines 2-Vektors (als eine Elementarschrittprojektion) pro Gitterpunkt. Dabei müssen die Additionen so genau erfolgen, dass sich auch nach vielen Elementarschritten keine unzulässigen Rundungsfehler kumulieren. Diese treten nicht auf, wenn der Weg dreidimensional im Gitter abgeschritten wird, weil dann jeder Elementarschritt genau 1 bit weit führt. 



  Nun muss der Vergleicher auf die dreidimensionale Lage des Teilkörpers des Flugzeuges relativ zu seinem Modell schliessen, indem er ihre beiden zweidimensionalen Silhouetten miteinander vergleicht. 



  Die Bestimmung der echten Silhouette des Teilkörpers durch den Diskriminator und ihre Unterscheidung vom Hintergrund (bzw. Vordergrund) wird erleichtert durch den Vergleich der echten Bilder von mehreren optronischen Sensoren mit gleicher Bildebene, welche mit verschiedenen Lichtwellenlängen arbeiten. Sie kann auch durch Vergleich mit der künstlichen Silhouette des Modells verbessert werden. 



  Das ist aber hier nur sinnvoll, wenn es darum geht, überlappende Silhouetten von mehreren Teilkörpern auseinander zu halten. Im übrigen sollten die Silhouetten des Teilkörpers und des Modells unabhängig voneinander bestimmt werden, damit ihr Vergleich maximale Aussagekraft gewinnt. Hingegen empfiehlt sich die Benutzung der geschätzten und zumeist verschiedenen Bewegungen von Teilkörper und Hintergrund relativ zur Bildebene der optronischen Sensoren. Dabei vergleicht der Diskriminator entsprechende Teile von zeitlich verschobenen Bildern und stellt fest, ob sie sich mit (der Projektion in die Bildebene) der Geschwindigkeit des Teilkörpers oder jener des Hintergrunds (bzw. Vordergrunds) verschoben haben. Die Geschwindigkeit des Teilkörpers wird vom Estimator geschätzt. Vom Hintergrund und Vordergrund darf man zumeist annehmen, dass er erdfest ruht. 



  An sich kann man nicht von 2 auf 3 Dimensionen schliessen. Der Vergleicher tut es trotzdem, indem er den Detailreichtum der Silhouetten ausnützt und die angenommene Lage des Modells des Teilkörpers 28 mal zufällig oder in geeigneter Weise systematisch variiert und dabei jedesmal feststellt, wie gut die beiden Silhouetten überein stimmen. Das liefert 28 Stützpunkte eines Näherungs-Paraboloids in einem 7-dimensionalen Raum, von dem 6 Koordinaten die 6 Parameter sind, welche die Lage des Teilkörpers relativ zu seinem Modell in ihren 3 rotatorischen und 3 translatorischen Freiheitsgraden beschreiben. Die 7. Koordinate ist ein Mass für die Übereinstimmung der beiden Silhouetten, also z.B. gleich der Zahl der Pixel, die zu beiden Silhouetten oder zu keiner von beiden gehören, bzw. gleich dem Komplement der Zahl der Pixel, die zu einer der beiden Silhouetten gehören, nicht aber zur andern.

  Nach bekannten Verfahren der multidimensionalen Optimierung lässt sich der Scheitel des Paraboloids und damit jene Lage des Modells berechnen, bei der die beiden Silhouetten am besten überein stimmen sollten, was allenfalls durch iterative Wiederholung des Vergleichs überprüft werden muss. Ist das Modell und/oder die Bildebene grob quantisiert mit wenigen Schalenpunkten bzw. Pixeln, so empfiehlt sich eine Ausgleichsrechnung mit mehr als 28 Paraboloidpunkten. 



  Dieser Vorgang muss mit allen Modellkombinationen für die Teilkörper der in Frage kommenden Flugzeuge wiederholt werden, falls der Typ des Flugzeugs nicht bekannt ist. Dieser zeichnet sich dadurch aus, dass er die beste Übereinstimmung der Silhouetten ermöglicht. Diese Bestimmung des Typs des Flugzeuges muss höchstens nach einem Zielwechsel wiederholt werden, ausser wenn das Flugzeug seine Form durch Abwurf von (Aussenlasten oder) Nutzlastverkleidungen oder durch seine Zerlegung in Tochtergeschosse ändern kann. Sie kann der rein passiven Freund/Feind-Unterscheidung innerhalb der Reichweite der Geschosse einer Rohrflab-Feuereinheit dienen und so den Abschuss befreundeter und bemannter Flugzeuge verhindern.

   Hingegen kann sie kaum den Entscheid über den Einsatz der Feuereinheit erleichtern, solange das (vielleicht auch nur vermeintliche) Flugzeug so weit entfernt fliegt, dass auch mit Objektiven mit langer Brennweite nur wenige Details der Silhouette (bzw. des Fleckens im Hintergrund) erkennbar sind. 



  Schliesslich muss der Estimator aufgrund der Fluglagen des Flugzeuges bzw. seiner Teilkörper dessen Flugbahn sowie allenfalls die Relativbewegung seiner Teilkörper schätzen. Dafür existieren viele bekannte Verfahren, von denen sich das Extended Kalman Filter am besten eignet. Der Estimator steuert aufgrund der geschätzten Flugbahn und Relativbewegung sowohl den Servo und damit die Lage (der Bildebene) der optronischen Sensoren (was vorbekannt ist) als auch die Lage der Modelle (was neu ist). 



  Die Bestimmung der dreidimensionalen Form (der Teilkörper) eines unbekannten Flugzeuges aus vielen zweidimensionalen Bildern dieses Flugzeuges von allen Seiten ist mit einem fotogrammetrischen Verfahren möglich, welches sich von der bekannten Gelände-Fotogrammetrie dadurch unterscheidet, dass der Abstand des Objektivs vom Objekt viel grösser ist als die Ausdehnung des Objekts, sodass Normal-Projektion statt Zentral-Projektion des Objekts in die Bildebene angenommen werden darf und muss. 



  Die erfindungsgemässe Vorrichtung lässt sich durch eine einfache Abwandlung auch als Simulator für die Ausbildung von z.B. Piloten und Fliegerabwehrsoldaten verwenden. Zu diesem Zweck werden die Sensoren einem simulierten Ziel nachgeführt und statt den vom Sensor und vom Diskriminator gelieferten, zweidimensionalen echten Bildern der Flugzeuge die künstlichen Bilder der Modelle eingeblendet. Dabei können problemlos auch Bilder von Flächenflugzeugen mit grossem Anstellwinkel (Post-Stall-Flug) dargestellt werden, weil die Fluglage des Modells durch die Simulation vorgegeben ist, und sein Bild nicht mit einem realen Bild eines wirklichen Flugzeuges verglichen wird. Stattdessen dient hier das Bild des Modells einer realistischen Darstellung der simulierten Abläufe und verbessert damit den Lernerfolg. 



   Aus Gründen der Einfachheit wird in den Patentansprüchen der Begriff "Modell" auch für die Kombination der Modelle der Teilkörper des Flugzeuges benutzt. 



  
 



  The wavelength of light is about 70,000 times shorter than that of radar waves. The diameter of the lens of an optronic sensor, on the other hand, is only about 20 times smaller than the diameter of the antenna of a slave radar. Therefore, optronic sensors can determine not only the position of the target, but also its silhouette.



  With a clear view and a short distance or long focal length, this silhouette contains a lot of information that has so far been evaluated only incompletely.



  The object of the present invention is through a complete evaluation of the silhouette
 - improve the angular measurement of the position of the center of gravity of the target
 - enable a purely passive estimate of the distance of the target
 - differentiate between different types of targets and
 - to estimate the rotational flight position of the target, to infer its current aerodynamic acceleration from it and thus to estimate the trajectory of the target more accurately and to adapt this estimate more quickly to target maneuvers.



  The invention assumes
 - That the target may be viewed as a system of rigid bodies with a defined relative movement, which partial bodies do not change their outer, three-dimensional shape and
 - That the flight position of the target can be used to determine its flight position and vice versa.



  Both requirements are better met with airplanes than with birds.



  The flight path of an aircraft is defined in an inertial coordinate system by the position p, the speed p min and the acceleration p min min of its center of gravity as a function of time. Then, in the absence of wind and neglecting the angle of attack, the rotary attitude of a fixed-wing aircraft can be calculated as follows:
EMI2.1
 



  The unit vectors e1, e2 and e3 are perpendicular to one another, e1 being parallel to the longitudinal axis of the fixed-wing aircraft, e2 lying in its wing and e3 pointing downward. g is the gravitational acceleration vector and lp min l is the absolute value of p min. Thus, the translational flight attitude of the fixed-wing aircraft is determined by p and its rotational flight attitude by p min and p min min. Conversely, e.g. if the rotational attitude is known, the acceleration p min min can be concluded.



  These relationships are somewhat more complicated and less close for the rotary wing and swivel wing aircraft. In particular, the rotary wing aircraft e1, e2 and e3 can be undetermined because p min disappears. The vector p min min -g of the aerodynamic acceleration is approximately perpendicular to the wing of the fixed-wing aircraft and the swivel-wing aircraft, and almost exactly perpendicular to the rotary plane of the rotor blades of the rotary-wing aircraft. While a jet without a swivel wing and detachable external loads can mostly be regarded as a single rigid body, if you neglect flaps and dive brakes, the rotor of a helicopter only appears to the human eye as a cell-fixed and transparent circular disc, a television camera, however, as a rotating wing.

  Both planes (fixed-wing and swivel-wing aircraft) and helicopters (rotary-wing aircraft) can be manned or unmanned and are collectively referred to as "aircraft".



  If the translational and rotational position of the optronic sensors and in particular their common image plane is also known, it can be determined which image point in the image plane corresponds to which surface point of the aircraft. If the shape of this surface is also known, the image of this shape can be determined as its projection into the image plane. There are two main questions:
 
   a) How can you save the shape of a rigid body (e.g. in a digital read-only memory) so that it takes up as little space as possible?
   b) How can you project this model into the image plane with as little (computational) effort as possible?
 



  These questions are answered by the invention as follows: The shape of the surface is defined by a shell that contains the surface. (The shell is finally thin or thick, the surface, on the other hand, is infinitely thin.) The shell is filled with shell points, which are regularly arranged in the shape of a three-dimensional lattice like the atoms of a crystal.



  The spacing of the shell points or the grid spacing of the grid, the thickness of the shell and the size of the picture elements (pixels) of the image plane are matched to one another and the latter are matched to the projection direction in such a way that the shell projects into the image plane without gaps. This means that every element of the image plane that belongs to the image of the shell contains the projection of at least one shell point. It is preferably not distinguished whether this pixel can be viewed as an image of one or more shell points, whether these shell points are adjacent or far apart in the grid, which shell point is closest to the image plane, how the surface of the aircraft is colored and illuminated and whether it reflects the light diffusely or directionally.

  In other words: it is only decided for each pixel whether it belongs to the silhouette of the shell or the model or not. This can save a lot of effort without losing a lot of realism, because an airplane mostly appears to the earthbound observer as a dark silhouette against a bright sky.



  The fact that the shell is hollow on the inside, in contrast to the partial bodies of an aircraft, has no influence on the shape of its silhouette, because at least one point of the shell corresponds to each point of the cavity in such a way that both are projected into the same point on the silhouette.



  The order in which the shell points are projected also has no influence on the shape of the silhouette. Therefore e.g. always such a grid point is projected, whose position differs from the position of the previous grid point by a grid width in e.g. a coordinates, i.e. around one of e.g. 6 different elementary steps. (If the grid is cubic or the coordinate system is Cartesian, there are exactly 6 different elementary steps, of which 3 are perpendicular to each other and 2 are directed opposite each other.) This means that the position of all grid points can be determined from the position of a single grid point by one Build a sequence of elementary steps that define a path within the grid.

   This path is preferably self-contained, so that one can check whether the sequence of elementary steps leads back to their starting point or whether an elementary step went wrong somewhere along the way. In this way, the shape of any surface can be represented by a digital model, which takes up less than 3 bit memory space per shell point, because with 3 bit not only 6 elementary steps can be defined, but even their 8. However, there are also grid structures with 16 approved elementary steps conceivable. Then the storage space requirement increases to 1 byte for 2 shell points. In return, the number of shell points drops because a thinner shell is sufficient for gapless projection.



  If at least 2 parts of the model are identical or symmetrical, only the first of these parts is preferably saved and projected point by point. Only one point is projected from the other parts, preferably the beginning or the end of the closed path.



  Your drawing files can then be supplemented according to the pattern of the 1st drawing file. However, the symmetry is only preserved exactly with normal projection, but not with central projection. Because the plane is much smaller than its distance from the image plane, its central projection by the optronic sensors is preferably approximated by a normal projection of its model with a distance-dependent scale factor, which is approximately equal to the focal length of the lens of the optronic sensor, divided by the distance, is.



  The normal projection of a shell point into the image plane requires the multiplication of a 2x3 matrix by the 3-vector of the position of the shell point and the addition of a 2-vector. The matrix and the 2-vector are determined by the relative position of the image plane and the model (of the partial body of the aircraft). The matrix-vector multiplication can be saved by not projecting the shell point positions, but only their differences, i.e. the elementary steps, because there are only e.g. 6 different ones, and 2 of them differ only in their signs. Therefore, preferably at the beginning of the determination of the silhouette of the model, the starting point of the path and all e.g. 3 screen rulings projected once and for all.

  The path is then no longer paced three-dimensionally in the grid, but two-dimensionally in the image plane by adding a 2-vector (as an elementary step projection) per grid point. The additions must be so precise that no unacceptable rounding errors accumulate even after many elementary steps. These do not occur if the path is walked three-dimensionally in the grid, because then each elementary step leads exactly 1 bit.



  Now the comparator must conclude the three-dimensional position of the partial body of the aircraft relative to its model by comparing their two two-dimensional silhouettes with each other.



  The determination of the real silhouette of the partial body by the discriminator and its differentiation from the background (or foreground) is facilitated by comparing the real images from several optronic sensors with the same image plane, which work with different light wavelengths. It can also be improved by comparison with the artificial silhouette of the model.



  However, this only makes sense here when it comes to distinguishing overlapping silhouettes of several partial bodies. In addition, the silhouettes of the partial body and the model should be determined independently of each other, so that their comparison is of maximum significance. On the other hand, it is recommended to use the estimated and mostly different movements of the body and background relative to the image plane of the optronic sensors. The discriminator compares corresponding parts of temporally shifted images and determines whether they have shifted with (the projection into the image plane) the speed of the partial body or that of the background (or foreground). The estimator estimates the speed of the partial body. From the background and foreground you can usually assume that it is earth-proof.



  In itself, one cannot conclude from 2 to 3 dimensions. The comparator does it anyway by taking advantage of the richness of detail in the silhouettes and systematically varying the assumed position of the partial body model 28 times randomly or in a suitable manner, each time determining how well the two silhouettes match. This provides 28 bases of an approximation paraboloid in a 7-dimensional space, of which 6 coordinates are the 6 parameters that describe the position of the partial body relative to its model in its 3 rotary and 3 translational degrees of freedom. The 7th coordinate is a measure of the agreement of the two silhouettes, e.g. is the number of pixels that belong to both silhouettes or neither, or the complement of the number of pixels that belong to one of the two silhouettes but not the other.

  Known methods of multidimensional optimization can be used to calculate the vertex of the paraboloid and thus the position of the model at which the two silhouettes should best match, which may have to be checked by repeating the comparison iteratively. If the model and / or the image plane is roughly quantized with a few shell points or pixels, a compensation calculation with more than 28 paraboloid points is recommended.



  This process must be repeated with all model combinations for the partial bodies of the aircraft in question, if the type of the aircraft is not known. This is characterized by the fact that it enables the best match of the silhouettes. This determination of the type of aircraft must be repeated at most after a change of destination, unless the aircraft can change its shape by dropping off (external loads or) payload fairings or by dismantling it into subsidiary floors. It can serve as a purely passive friend / foe distinction within the range of the storeys of a Rohrflab fire unit and thus prevent the shooting down of friendly and manned aircraft.

   On the other hand, it can hardly make the decision about the use of the fire unit easier, as long as the (perhaps only supposed) plane flies so far that even with lenses with a long focal length only a few details of the silhouette (or the stain in the background) can be seen.



  Finally, the estimator has to estimate the flight path of the aircraft or its sub-bodies, as well as the relative movement of its sub-bodies, if necessary. There are many known methods for this, of which the Extended Kalman Filter is best suited. Based on the estimated trajectory and relative movement, the estimator controls both the servo and thus the position (the image plane) of the optronic sensors (which is already known) and the position of the models (which is new).



  The determination of the three-dimensional shape (the partial body) of an unknown aircraft from many two-dimensional images of this aircraft from all sides is possible with a photogrammetric method, which differs from the known terrain photogrammetry in that the distance of the lens from the object is much larger than the expansion of the object so that normal projection instead of central projection of the object into the image plane can and must be assumed.



  The device according to the invention can also be used as a simulator for the formation of e.g. Use pilots and anti-aircraft soldiers. For this purpose, the sensors are tracked to a simulated target and instead of the two-dimensional real images of the aircraft provided by the sensor and the discriminator, the artificial images of the models are faded in. Images of fixed-wing aircraft with a large angle of attack (post-stall flight) can also be displayed without any problems, because the flight attitude of the model is determined by the simulation and its image is not compared with a real image of a real aircraft. Instead, the image of the model serves as a realistic representation of the simulated processes and thus improves learning success.



   For the sake of simplicity, the term “model” is also used in the claims for the combination of the models of the partial bodies of the aircraft.


    

Claims (12)

1. Vorrichtung zur Schätzung der Flugbahn und der Bestimmung des Typs eines Flugzeuges mit einem Rechner, mit mindestens einem optronischen Sensor, mit einem Servo, welcher den Messbereich des Sensors der Position des Flugzeuges nachführt, sowie mit einem Diskriminator, welcher für jedes Bildelement der zweidimensionalen Bildebene des optronischen Sensors entscheidet, ob es zum zweidimensionalen Bild des Flugzeuges gehört oder nicht, gekennzeichnet durch einen Speicher, in welchem Daten für mindestens ein Modell der dreidimensionalen Form der Oberfläche mindestens eines Flugzeuges gespeichert sind.       1. Device for estimating the flight path and determining the type of an aircraft with a computer, with at least one optronic sensor, with a servo which tracks the measuring range of the sensor of the position of the aircraft, and with a discriminator, which for each picture element of the two-dimensional Image plane of the optronic sensor decides whether it belongs to the two-dimensional image of the aircraft or not, characterized by a memory in which data for at least one model of the three-dimensional shape of the surface of at least one aircraft are stored. Durch einen Projektor, welcher besagtes Modell fluglagegerecht in die Bildebene des optronischen Sensors projiziert und so das zweidimensionale künstliche Bild des Modells erzeugt, durch einen Vergleicher, welcher dieses künstliche Bild des Modells mit dem vom Diskriminator ermittelten echten Bild des Flugzeuges vergleicht und dabei die Unterschiede zwischen der angenommenen Fluglage des Modells und der tatsächlichen Fluglage des Flugzeuges feststellt und durch einen Estimator, welcher aufgrund der besagten Unterschiede und der bisherigen Annahme über die Fluglage die tatsächliche Fluglage und bisherige Flugbahn schätzt und eine zukünftige Annahme für die Fluglage des Modells erzeugt, welche bei der nächsten Projektion des Modells benutzt wird. By means of a projector which projects said model into the image plane of the optronic sensor in a manner appropriate to the attitude and thus generates the two-dimensional artificial image of the model, by means of a comparator which compares this artificial image of the model with the real image of the aircraft determined by the discriminator and thereby the differences between determines the assumed flight position of the model and the actual flight position of the aircraft and by an estimator, who estimates the actual flight position and previous flight path based on the said differences and the previous assumption about the flight position and generates a future assumption for the flight position of the model, which next projection of the model is used. 2. 2nd Verfahren zum Betrieb der Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Rechner das Modell in Form eines Gitters mit aequidistanten Gitterpunkten, die eine Schale bilden, welche die Oberfläche des Flugzeuges enthält, erzeugt, wobei ein Weg innerhalb des Gitters durchlaufen wird, welcher alle Gitterpunkte durch je einen von verschiedenen Elementar schritten miteinander verbindet, dergestalt, dass jeder Gitterpunkt mindestens einmal und möglichst nicht mehr als einmal in besagtem Weg enthalten ist und dass die Position aller Gitterpunkte definiert ist durch die Position eines einzigen Gitterpunktes und durch eine definierte Folge der Elementarschritte, welche als Modelldaten im Speicher gespeichert sind. Method of operating the device according to claim 1, characterized in that the computer generates the model in the form of a grid with equidistant grid points, which form a shell which contains the surface of the aircraft, whereby a path within the grid is traversed, which all Lattice points are connected with each other by one of different elementary steps in such a way that each lattice point is contained at least once and if possible not more than once in the said way and that the position of all lattice points is defined by the position of a single lattice point and by a defined sequence of the elementary steps which are stored in the memory as model data. 3. Verfahren nach Anspruch 2, gekennzeichnet durch sechs verschiedene Elementarschritte. 3. The method according to claim 2, characterized by six different elementary steps. 4. 4th Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass der Weg in sich geschlossen ist. A method according to claim 2 or 3, characterized in that the path is self-contained. 5. Verfahren nach einem der Ansprüche 2-4, dadurch gekennzeichnet, dass die Gitterpunkte in der Reihenfolge des erwähnten Weges in die Bildebene des optronischen Sensors projiziert werden. 5. The method according to any one of claims 2-4, characterized in that the grid points are projected in the order of the path mentioned in the image plane of the optronic sensor. 6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass gleiche oder symmetrische Teile des Modells gemeinsam projiziert werden. 6. The method according to claim 5, characterized in that the same or symmetrical parts of the model are projected together. 7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass je einer der verschiedenen Elementarschritte in die Bildebene des optronischen Sensors projiziert wird und dass der erwähnte Weg zweidimensional in der erwähnten Bildebene abgeschritten wird. 7. The method according to claim 5 or 6, characterized in that one of the various elementary steps is projected into the image plane of the optronic sensor and that the above-mentioned path is walked two-dimensionally in the mentioned image plane. 8. 8th. Verfahren zum Betrieb der Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Diskriminator ein Bild definiert, das die Kombination von mehreren echten Bildern ist, welche von mehreren optronischen Sensoren mit verschiedenen Lichtwellenlängen in die gleiche Bildebene projiziert werden. Method for operating the device according to claim 1, characterized in that the discriminator defines an image which is the combination of several real images which are projected into the same image plane by several optronic sensors with different light wavelengths. 9. Verfahren zum Betrieb der Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass beim erstmaligen Vergleich des vom Diskriminator ermittelten echten Bildes des Flugzeuges mit dem künstlichen Bild des Modells aus einer Mehrzahl von Modellen alle in Frage kommenden Modelle projiziert werden und jenes Modell ausgewählt und bei später anhaltender Übereinstimmung beibehalten wird, dessen künstliches Bild am besten mit dem echten Bild des Flugzeuges übereinstimmt. 9. The method for operating the device according to claim 1, characterized in that when comparing for the first time the real image of the aircraft determined by the discriminator with the artificial image of the model from a plurality of models, all the models in question are projected and that model is selected and selected Persistent correspondence is maintained later, the artificial image of which best matches the real image of the aircraft. 10. 10th Anwendung des Verfahrens nach Anspruch 9 zur Bestimmung des Flugzeugtyps, dadurch gekennzeichnet, dass von jedem in Frage kommenden Flugzeugtyp ein Modell gespeichert ist und vom ausgewählten Modell auf den Flugzeugtyp geschlossen wird.  Use of the method according to claim 9 for determining the aircraft type, characterized in that a model of each aircraft type in question is stored and the aircraft model is inferred from the selected model. 11. Verfahren zur Bestimmung der Daten des im Speicher der Vorrichtung nach Anspruch 1 zu speichernden dreidimensionalen Modells der Oberfläche eines unbekannten Flugzeuges aus zweidimensionalen Bildern dieses Flugzeuges, dadurch gekennzeichnet, dass diese Bilder fotogrammetrisch ausgewertet werden. 11. A method for determining the data of the three-dimensional model of the surface of an unknown aircraft to be stored in the memory of the device according to claim 1 from two-dimensional images of this aircraft, characterized in that these images are evaluated photogrammetrically. 12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass optronische zweidimensionale Bilder des Flugzeuges verwendet werden. 12. The method according to claim 11, characterized in that optronic two-dimensional images of the aircraft are used.  
CH3528/87A 1987-09-11 1987-09-11 Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model CH675638A5 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CH3528/87A CH675638A5 (en) 1987-09-11 1987-09-11 Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CH3528/87A CH675638A5 (en) 1987-09-11 1987-09-11 Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model

Publications (1)

Publication Number Publication Date
CH675638A5 true CH675638A5 (en) 1990-10-15

Family

ID=4257950

Family Applications (1)

Application Number Title Priority Date Filing Date
CH3528/87A CH675638A5 (en) 1987-09-11 1987-09-11 Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model

Country Status (1)

Country Link
CH (1) CH675638A5 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0579187A2 (en) * 1992-07-13 1994-01-19 Loral Vought Systems Corporation Guidance and targeting system
WO1998030860A2 (en) * 1996-12-17 1998-07-16 Raytheon Company Lock-on-after launch missile guidance system using three-dimensional scene reconstruction
EP1079198A1 (en) * 1999-08-23 2001-02-28 Bodenseewerk Gerätetechnik GmbH Method for estimating the relative motion between missile and target
EP1983292A1 (en) * 2007-04-18 2008-10-22 LFK-Lenkflugkörpersysteme GmbH Method for optimising the display-supported automatic navigation of an unmanned aircraft
EP2381208A1 (en) * 2010-04-24 2011-10-26 LFK-Lenkflugkörpersysteme GmbH Method for determining positional data of a target object in a reference system
CN110197233A (en) * 2019-06-05 2019-09-03 四川九洲电器集团有限责任公司 A method of aircraft classification is carried out using track

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0579187A2 (en) * 1992-07-13 1994-01-19 Loral Vought Systems Corporation Guidance and targeting system
EP0579187A3 (en) * 1992-07-13 1995-11-08 Loral Vought Systems Corp Guidance and targeting system
WO1998030860A2 (en) * 1996-12-17 1998-07-16 Raytheon Company Lock-on-after launch missile guidance system using three-dimensional scene reconstruction
WO1998030860A3 (en) * 1996-12-17 1998-11-12 Raytheon Ti Syst Inc Lock-on-after launch missile guidance system using three-dimensional scene reconstruction
US5881969A (en) * 1996-12-17 1999-03-16 Raytheon Ti Systems, Inc. Lock-on-after launch missile guidance system using three dimensional scene reconstruction
EP1079198A1 (en) * 1999-08-23 2001-02-28 Bodenseewerk Gerätetechnik GmbH Method for estimating the relative motion between missile and target
US6421116B1 (en) 1999-08-23 2002-07-16 Bodenseewerk Geratetechnik Gmbh Method for determining the relative movement between missile and target
EP1983292A1 (en) * 2007-04-18 2008-10-22 LFK-Lenkflugkörpersysteme GmbH Method for optimising the display-supported automatic navigation of an unmanned aircraft
EP2381208A1 (en) * 2010-04-24 2011-10-26 LFK-Lenkflugkörpersysteme GmbH Method for determining positional data of a target object in a reference system
US9453708B2 (en) 2010-04-24 2016-09-27 Lkf-Lenkflugkoerpersysteme Gmbh Method for determining position data of a target object in a reference system
CN110197233A (en) * 2019-06-05 2019-09-03 四川九洲电器集团有限责任公司 A method of aircraft classification is carried out using track

Similar Documents

Publication Publication Date Title
DE69006709T2 (en) System for determining the position on board an aircraft and its applications.
DE69012278T2 (en) Navigation systems.
DE60313319T2 (en) AIR EDUCATION SYSTEM
EP3596570B2 (en) Method for checking the electrical continuity of a lightning conductor of a wind turbine
DE69005956T2 (en) Method and system for remote control for the assembly of a first object with a second object.
EP0429952B1 (en) Automatic landing system
WO2010149132A1 (en) Method for determining the geographic coordinates of pixels in sar images
DE102020113154A1 (en) VIRTUAL SENSOR AND COMPASS CALIBRATION
DE69007040T2 (en) Method for displaying the position of a spaceship for astro navigation aid.
EP2381208B1 (en) Method for determining positional data of a target object in a reference system
DE102015120999A1 (en) A method of generating and displaying a computer-generated real-environment simulation environment
DE102021101877A1 (en) System for aerial imaging using a drone following a target vehicle based on reinforcement learning
DE102010018144A1 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
CH675638A5 (en) Opto-electronic aircraft identification system - uses comparison of actual two=dimensional image of aircraft with projection of aircraft model
DE102011052616A1 (en) Apparatus and method for defending a target object against at least one attacking missile
Room et al. Integration of Lidar system, mobile laser scanning (MLS) and unmanned aerial vehicle system for generation of 3d building model application: A review
DE102017118993A1 (en) Method for identifying a ship
EP0654776B1 (en) Pilot training device
WO2017092733A1 (en) Method for preparatory simulation of a military operation in an operational area
DE102007018187B4 (en) Method for optimizing the image-based automatic navigation of an unmanned missile
DE102020200728A1 (en) Reconstructing elevation information from radar data
DE102015002587B4 (en) Stationary test device for missiles
DE102019105015A1 (en) Construction of formwork and scaffolding using mobile devices
DE10127399A1 (en) Method and device for the autonomous navigation of satellites
EP3556088B1 (en) Method and device for determining intersections between two overlapping images of a surface

Legal Events

Date Code Title Description
PL Patent ceased