DE4218600A1 - Determination equipment for motion parameters of flying object - has optical sensing system with detector array outputs coupled to neural network based processor generating motion vectors - Google Patents
Determination equipment for motion parameters of flying object - has optical sensing system with detector array outputs coupled to neural network based processor generating motion vectorsInfo
- Publication number
- DE4218600A1 DE4218600A1 DE4218600A DE4218600A DE4218600A1 DE 4218600 A1 DE4218600 A1 DE 4218600A1 DE 4218600 A DE4218600 A DE 4218600A DE 4218600 A DE4218600 A DE 4218600A DE 4218600 A1 DE4218600 A1 DE 4218600A1
- Authority
- DE
- Germany
- Prior art keywords
- neural network
- image
- movement
- vector
- missile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 61
- 230000003287 optical effect Effects 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 14
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012886 linear function Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2226—Homing guidance systems comparing the observed data with stored target data, e.g. target configuration data
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2273—Homing guidance systems characterised by the type of waves
- F41G7/2293—Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
Description
Die Erfindung betrifft eine Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers, der mit einem bilderfassenden Sensor versehen ist.The invention relates to a device for determining Movement quantities of a missile that with a imaging sensor is provided.
Übliche Flugkörper enthalten ein Trägheitsreferenzsystem, welches die Eigenbewegungsgrößen des Flugkörpers wie Geschwindigkeit und Drehgeschwindigkeit unter Benutzung inertialer Sensoren wie Kreisel oder Beschleunigungsmesser liefert. Die so erhaltenen Eigenbewegungsgrößen werden benutzt, um die Flugbewegung des Flugkörpers mittels eines Flugreglers über Stellglieder wie Steuerflächen zu stabilisieren. Außerdem werden auf den Flugregler Lenkkommandos aufgeschaltet. Durch die Lenkkommandos wird eine gewünschte Bahn des Flugkörpers hervorgerufen.Common missiles contain an inertial reference system, which is the body's own motion quantities like Speed and rotational speed using inertial sensors such as gyroscopes or accelerometers delivers. The own motion quantities obtained in this way are used to measure the flight movement of the missile Flight controller via actuators such as control surfaces stabilize. Also, on the flight controller Steering commands activated. The steering commands make one desired trajectory of the missile.
Zielsuchende Flugkörper weisen außerdem einen Suchkopf auf. Ein solcher Suchkopf erfaßt und erkennt ein Ziel und erzeugt Lenkkommandos, welche den Flugkörper zu dem erfaßten Ziel führen. Bei modernen Flugkörpern enthält der Suchkopf einen bilderfassenden Sensor, also z. B. eine zweidimensionale Anordnung von Detektorelementen. Ein solcher Sensor gestattet eine Bildverarbeitung, um Ziele zu klassieren und zu erkennen. Auch der Sucher ist üblicherweise zur Stabilisierung der Sichtlinie kardanisch gelagert.Missile seekers also have a seeker head. Such a search head detects and recognizes a target and generates Steering commands that direct the missile to the detected target to lead. In modern missiles, the seeker head contains one image-capturing sensor, e.g. B. a two-dimensional Arrangement of detector elements. Such a sensor allows an image processing system to classify and recognize targets. The viewfinder is also usually used to stabilize the Line of sight gimbal mounted.
Die gesamte Anordnung ist sehr aufwendig. Die Anordnung enthält bewegliche Teile. An die Präzision der Lagerungen dieser beweglichen Teile werden hohe Anforderungen gestellt. Auch ist diese Anordnung empfindlich gegen hohe Beschleunigungen.The entire arrangement is very complex. The order contains moving parts. The precision of the bearings These moving parts are subject to high demands. This arrangement is also sensitive to high ones Accelerations.
Der Erfindung liegt die Aufgabe zugrunde, eine Anordnung der eingangs genannten Art zu vereinfachen. Insbesondere sollen bewegliche Teile vermieden werden.The invention has for its object an arrangement of to simplify the type mentioned at the beginning. In particular, should moving parts can be avoided.
Erfindungsgemäß wird diese Aufgabe dadurch gelöst, daß aus dem optischen Fluß der von dem Sensor erfaßten Bilder durch trainierte neuronale Netzmittel Daten erzeugbar sind, welche die Bewegungsgrößen des Flugkörpers wiedergeben.According to the invention this object is achieved in that from the optical flow of the images captured by the sensor trained neural network means data can be generated which reflect the movement quantities of the missile.
Wenn ein bilderfassender Sensor sich relativ zu einem Gesichtsfeld bewegt, dann bewegen sich die Bildpunkte der einzelnen Gesichtsfeldpunkte relativ etwa zu einer zweidimensionalen Anordnung von Detektorelementen. Betrachtet man das erfaßte Bild zu zwei aufeinanderfolgenden Zeitpunkten, dann ist der Bildpunkt jedes Gesichtsfeldpunktes in dem zweiten Zeitpunkt um einen bestimmten Verschiebungsvektor gegenüber seinem Ort zum ersten Zeitpunkt verschoben. Die Verschiebungsvektoren bilden ein Vektorfeld. Dieses Vektorfeld hängt von der Bewegung des Sensors gegenüber dem Gesichtsfeld ab. Man bezeichnet dieses Vektorfeld als "optischen Fluß". Aus dem optischen Fluß kann daher auf die Bewegung des Sensors geschlossen werden. Wenn der Sensor starr mit dem Flugkörper verbunden ist, kann aus dem optischen Fluß auf die Bewegung des Flugkörpers geschlossen werden. Der Zusammenhang ist allerdings sehr kompliziert. If an imaging sensor is relative to one Field of view moves, then the pixels of the move individual points of view relative to one two-dimensional arrangement of detector elements. Considered the captured image at two successive times, then the image point of each visual field point is in the second point in time by a certain displacement vector shifted from its location at the first time. The Displacement vectors form a vector field. This vector field depends on the movement of the sensor in relation to the visual field from. This vector field is called "optical flow". Out the optical flow can therefore affect the movement of the sensor getting closed. If the sensor is rigid with the missile connected, can move from the optical flow to the movement of the missile are closed. The connection is however very complicated.
Nach der Erfindung sind neuronale Netzmittel vorgesehen. Auf diese neuronalen Netzmittel werden Bildinformationen aufgeschaltet. Die neuronalen Netzmittel werden so trainiert, daß sie bei bestimmten, bekannten Bewegungen des Sensors und einer entsprechenden zeitlichen Änderung der Intensitäten an den betrachteten Detektorelementen, die sich aus dem optischen Fluß ergeben, die zugehörigen Bewegungsgrößen liefern. So trainierte neuronales Netzmittel erkennen somit die Bewegungsgrößen des Sensors und damit des Flugkörpers aus den zeitlichen Änderungen der Bildelemente des Gesichtsfeldbildes. Die Zusammenhänge brauchen nicht analytisch dargestellt und gerechnet zu werden. Vielmehr werden diese Zusammenhänge von den neuronalen Netzmitteln empirisch "gelernt".According to the invention, neural network means are provided. On these neural network means become image information activated. The neural network means are trained so that with certain known movements of the sensor and a corresponding temporal change in the intensities the considered detector elements, which result from the optical Flow, provide the associated movement quantities. So trained neural network means thus recognize the Movement quantities of the sensor and thus of the missile from the temporal changes in the image elements of the visual field image. The relationships do not need to be presented analytically and to be counted. Rather, these relationships of the neuronal network means empirically "learned".
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Embodiments of the invention are the subject of Subclaims.
Ein Ausführungsbeispiel der Erfindung ist nachstehend unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert.An embodiment of the invention is below Reference to the accompanying drawings explained in more detail.
Fig. 1 ist eine schematisch-perspektivische Darstellung und veranschaulicht den Aufbau einer Sucher- und Flugregelanordnung bei einem zielsuchenden Flugkörper. Fig. 1 is a schematic perspective view and illustrates the structure of a viewfinder and flight control arrangement in a target-seeking missile.
Fig. 2 ist eine schematisch-perspektivische Darstellung eines bilderfassenden Sensors mit einem von diesem beobachteten Gelände. FIG. 2 is a schematic perspective illustration of an image-capturing sensor with a terrain observed by it.
Fig. 3 ist eine schematisch-perspektivische Darstellung und veranschaulicht die verschiedenen Koordinatensysteme und Bezeichnungen für die Beschreibung des abbildenden, bilderfassenden Sensors. Fig. 3 is a schematic-perspective view illustrating the different coordinate systems and designations for the description of the imaging, image detecting sensor.
Fig. 4 ist eine schematische Darstellung und zeigt die neuronalen Netze für die Bestimmung der Bewegungsgrößen aus Intensitätsmessungen an einzelnen Detektorelementen. FIG. 4 is a schematic illustration and shows the neural networks for the determination of the movement variables from intensity measurements on individual detector elements.
Fig. 5 zeigt schematisch ein rückgekoppeltes neuronales Netz zur Umsetzung eines Vektors von Intensitätsdaten in einen Vektor von Bewegungsparametern. Fig. 5 a feedback neural network to implement schematically shows a vector of intensity data into a vector of motion parameters.
Fig. 6 zeigt ein Prozessor-Element bei dem neuronalen Netz von Fig. 5. FIG. 6 shows a processor element in the neural network of FIG. 5.
Fig. 7 zeigt ein "Backpropagation"-Netz zur Bestimmung der Bewegungsgrößen aus dem vorerwähnten Vektor der Bewegungsparameter. Fig. 7 shows a "back propagation" network for determining the movement quantities from the aforementioned vector of the movement parameters.
Fig. 8 veranschaulicht die Wirkungsweise des Backpropagation- Netzes von Fig. 7. FIG. 8 illustrates the operation of the back propagation network from FIG. 7.
Fig. 9 veranschaulicht die Lernphase des Backpropagation-Netzes zur Erzeugung der Bewegungsgrößen aus dem Vektor der Bewegungsparameter. Fig. 9, the learning phase of the back-propagation network illustrated for generating the movement amounts of the vector of the motion parameters.
Fig. 10 zeigt das gesamte neuronale Stabilisierungs- und Zielsuchsystem des Flugkörpers, bei welchem die Bewegungsgrößen entsprechend Fig. 1 bis 9 bestimmt werden. FIG. 10 shows the entire neural stabilization and target search system of the missile, in which the movement quantities are determined in accordance with FIGS. 1 to 9.
Fig. 11 zeigt als Blockschaltbild eine Abwandlung, bei welcher optimale Ausgangsdaten für die Navigation aus den neuronalen Netzen von Fig. 10 in Kombination mit einem Trägheitsnavigationssystem und einer Bildverarbeitung erhalten werden. Fig. 11 is a block diagram of a modification in which optimum output data for the navigation of the neural networks of FIG. 10 in combination with an inertial navigation system and an image processing can be obtained.
Fig. 12 zeigt als Blockschaltbild eine weitere Abwandlung, bei welcher eine Navigation kombiniert mit Bildverarbeitung und Trägheitsnavigation erfolgt. FIG. 12 shows a further modification as a block diagram, in which navigation is combined with image processing and inertial navigation.
In Fig. 1 ist mit 10 ein Flugkörper bezeichnet. In der Spitze des Flugkörpers 10 sitzt starr mit der Struktur des Flugkörpers 10 verbunden ein Sucher 12. Der Sucher 12 enthält einen abbildenden, bilderfassenden Sensor 14 mit einer Optik 16 und einem Detektorarray 18 mit einer zweidimensionalen Anordnung von Detektorelementen. Ein Gesichtsfeld wird durch die Optik 16 auf dem Detektorarray 18 abgebildet. Jedes Detektorelement des Detektorarrays 18 liefert dementsprechend ein Signal, das die auf dieses Detektorelement fallende Lichtintensität wiedergibt. Die Signale der Detektorelemente werden digitalisiert und beaufschlagen eine als neuronales Netz ausgebildete Bildverarbeitungs-Einrichtung 20. Daten von der Bildverarbeitungs-Einrichtung 20 sind auf verschiedene Signalverarbeitungs-Einrichtungen 22, 24 und 26 aufgeschaltet. Die Signalverarbeitungs-Einrichtungen 22, 24 und 26 liefern Daten für einen Lenkrechner 28. Der Lenkrechner 28 kann als neuronales Netz ausgebildet sein. Er kann aber auch ein Rechner sein, der programmiert ist und mit einem vorgegebenen Algorithmus arbeitet. Der Lenkrechner 28 liefert Lenkbefehle zur Ansteuerung von (nicht dargestellen) Stellgliedern. Die beschriebene Anordnung liefert, wie noch erklärt werden wird, sowohl Lage- und Geschwindigkeitssignale als auch Zielsignale für die Zielverfolgung. Die gesamte Anordnung enthält dabei jedoch keinerlei bewegliche Teile wie Kreisel oder Kardanrahmen.In Fig. 1, 10 denotes a missile. A finder 12 sits rigidly connected to the structure of the missile 10 in the tip of the missile 10 . The viewfinder 12 contains an imaging, image-capturing sensor 14 with optics 16 and a detector array 18 with a two-dimensional arrangement of detector elements. A field of view is imaged by the optics 16 on the detector array 18 . Each detector element of the detector array 18 accordingly provides a signal which reflects the light intensity falling on this detector element. The signals of the detector elements are digitized and act on an image processing device 20 designed as a neural network. Data from the image processing device 20 are applied to various signal processing devices 22 , 24 and 26 . The signal processing devices 22 , 24 and 26 provide data for a steering computer 28 . The steering computer 28 can be designed as a neural network. However, it can also be a computer that is programmed and works with a predetermined algorithm. The steering computer 28 supplies steering commands for actuating actuators (not shown). The arrangement described, as will be explained, provides both position and speed signals as well as target signals for target tracking. However, the entire arrangement contains no moving parts such as gyroscopes or gimbals.
Wie aus Fig. 2 ersichtlich ist, ist dem Sensor 14 ein Koordinatensystem mit den Achsen xs, ys und zs zugeordnet. Der Sensor beobachtet ein dreidimensional optisch strukturiertes Gesichtsfeld mit einem gesichtsfeldfesten Koordinatensystem xG, yG und zG. Ein Objekt P hat in dem gesichtsfeldfesten Koordinatensystem die angegebenen (G)-Koordinaten und in dem sensorfesten Koordinatensystem die (s)-Koordinaten. Wenn sich der Sensor 14 in dem gesichtsfeldfesten Koordinatensystem bewegt, dann ändern sich die (s)-Koordinaten des Objektes P als Funktion der Zeit. Der Sensor 14 erfaßt zwar immer noch das Objekt P. Der Sensor 14 "sieht" das Objekt P jedoch mit anderen (s)-Koordinaten. Betrachtet man das Objekt in den (s)- Koordinaten in zwei aufeinanderfolgenden, durch ein kurzes Zeitintervall getrennten Zeitpunkten, dann hat sich der Punkt P um einen Verschiebungsvektor in den (s)-Koordinaten verschoben. Das gilt auch für alle anderen Punkte des beobachteten Gesichtsfeldes. Jedem dieser Punkte ist ein Verschiebungsvektor im (s)-Koordinatensystem zugeordnet. Die Vektoren bilden ein Vektorfeld. Das Vektorfeld ist abhängig von den Bewegungsgrößen des Sensors 14 und des damit starr verbundenen Flugkörpers 10. Diese Bewegungsgrößen sind der Geschwindigkeitsvektor v und der Winkelgeschwindigkeitsvektor.As can be seen from FIG. 2, the sensor 14 is assigned a coordinate system with the axes x s , y s and z s . The sensor observes a three-dimensionally optically structured visual field with a coordinate system x G , y G and z G that is fixed to the visual field. An object P has the specified (G) coordinates in the coordinate system fixed to the field of view and the (s) coordinates in the coordinate system fixed to the sensor. If the sensor 14 moves in the coordinate system fixed in the field of view, then the (s) coordinates of the object P change as a function of time. The sensor 14 still detects the object P. However, the sensor 14 "sees" the object P with different (s) coordinates. If one looks at the object in the (s) coordinates at two successive times separated by a short time interval, then the point P has shifted by a displacement vector in the (s) coordinates. This also applies to all other points in the observed visual field. A displacement vector in the (s) coordinate system is assigned to each of these points. The vectors form a vector field. The vector field is dependent on the movement quantities of the sensor 14 and the missile 10 rigidly connected to it. These motion quantities are the velocity vector v and the angular velocity vector.
Quantitativ gilt für die Änderung der Koordinaten des Punktes P im sensorfesten KoordinatensystemQuantitatively applies to changing the coordinates of the point P in the sensor-fixed coordinate system
s = - v - ω × r s. s = -v -ω ×r s.
Dabei ist r der Ortsvektor des Punktes P im (s)- Koordinatensystem. Das Symbol "x" bezeichnet das Vektorprodukt. r s stellt das Vektorfeld dar.Here r is the location vector of point P in the (s) coordinate system. The symbol "x" denotes the vector product. r s represents the vector field.
Aus dem Vektorfeld kann daher auf die Bewegungsgrößen v und rückgeschlossen werden. Der Zusammenhang wird jedoch durch eine komplizierte, nichtlineare Gleichung beschrieben. Eine allgemeine, analytische Lösung dieser nichtlinearen Gleichung zur Gewinnung der Bewegungsgrößen v und ω ist nicht bekannt.The motion variables v and can therefore be inferred from the vector field. However, the relationship is described by a complicated, non-linear equation. A general, analytical solution to this nonlinear equation for obtaining the motion quantities v and ω is not known.
Fig. 3 veranschaulicht die durch den Sensor 14 erfaßten Größen: Das Gesichtsfeld, das für den Sensor 14 praktisch im Unendlichen liegt, wird in einer Ebene 30 abgebildet. Die Ebene 30 ist die Brennebene der Optik 16 (Fig. 1). Der Koordinatenursprung des (s)-Koordinatensystems ist in den Mittelpunkt der Optik 16 gelegt. Die Ebene 30 hat von der Hauptebene der Optik 16 den Abstand f. f ist die Brennweite der Optik. Die Punkte des Gesichtsfeldes werden in der Ebene in Bildpunkten mit den Koordinaten yB und zB abgebildet. Diese Bildpunkte hängen mit den Koordinaten der Punkte des Gesichtsfeldes im (s)-Koordinatensystem nach bekannten Abbildungsgesetzen zusammen. Auch in dieser Bildebene, in welcher die Detektorelemente des Detektorarrays 18 angeordnet sind, ergibt sich ein (zweidimensionales) Vektorfeld, das die Bewegung der den verschiedenen Gesichtsfeldpunkten zugeordneten Bildpunkte infolge der Bewegung des Sensors 14 darstellt. Man bezeichnet dieses Vektorfeld als "optischen Fluß" in der Bildebene 30. Auch aus diesem optischen Fluß kann auf die Bewegungsgrößen v und ω geschlossen werden. Der Vektor v und die Komponenten p, q und r der Drehgeschwindigkeit des Sensors 14 in Richtung der Koordinatenachsen des (s)- Koordinatensystems sind in Fig. 3 dargestellt. Fig. 3 illustrates the variables detected by the sensor 14: The field that is convenient for the sensor 14 at infinity is imaged in a plane 30. The plane 30 is the focal plane of the optics 16 ( FIG. 1). The coordinate origin of the (s) coordinate system is placed in the center of the optics 16 . The plane 30 is at a distance f from the main plane of the optics 16 . f is the focal length of the optics. The points of the visual field are represented in the plane in pixels with the coordinates y B and z B. These pixels are related to the coordinates of the points of the visual field in the (s) coordinate system according to known mapping laws. Also in this image plane, in which the detector elements of the detector array 18 are arranged, there is a (two-dimensional) vector field which represents the movement of the image points assigned to the various visual field points as a result of the movement of the sensor 14 . This vector field is referred to as "optical flow" in the image plane 30 . The movement variables v and ω can also be concluded from this optical flow. The vector v and the components p, q and r of the rotational speed of the sensor 14 in the direction of the coordinate axes of the (s) coordinate system are shown in FIG. 3.
Der optische Fluß in der Bildebene, der durch die Bewegung des Flugkörpers hervorgerufen wird, führt zu Änderungen der Intensitäten des auf die verschiedenen Detektorelemente fallenden Lichtes. Bezeichnet man mit I(yB, zB, t) die Intensität, die an einem Detektorelement im Bildpunkt (yB, zB) zum Zeitpunkt t wirksam ist, dann gilt für die zeitliche Änderung der Intensität infolge der Bewegung des Flugkörpers 10 und damit des Sensors 14:The optical flow in the image plane, which is caused by the movement of the missile, leads to changes in the intensities of the light falling on the various detector elements. If I (y B , z B , t) denotes the intensity which is effective at a detector element in the image point (y B , z B ) at time t, then the temporal change in intensity due to the movement of the missile 10 and with sensor 14 :
i T c + 1/f It. i T c + 1 / f I t .
Darin istIn it
i = g (Iy, Iz, yB, zB, f). i = g (I y , I z , y B , z B , f).
Das ist ein Vektor, der eine nichtlineare Funktion der Intensitätsgradienten Ix, Iz in der Umgebung des Bildpunktes (yB, zB) ist. It ist die zeitliche Änderung der in dem Bildpunkt auf das Detektorelement fallenden Intensität. Der Vektor c ist ein Parametervektor, dessen Elemente eine nichtlineare Funktion der Bewegungsgrößen v und ω des Flugkörpers sind. This is a vector which is a non-linear function of the intensity gradients I x , I z in the vicinity of the pixel (y B , z B ). I t is the temporal change in the intensity falling on the detector element in the pixel. The vector c is a parameter vector, the elements of which are a non-linear function of the motion quantities v and ω of the missile.
Es wird nun durch Messung der Zeitverläufe der Intensität an einer bestimmten Zahl von Detektorelementen den Vektor c der Bewegungsparameter ermittelt. Dieser Vektor c ist einerseits mit den durch die Bewegung des Flugkörpers 10 und Sensors 14 hervorgerufenen Änderungen der Intensitäten und andererseits mit den Bewegungsgrößen v und ω des Flugkörpers 10 und Sensors 14 verknüpft. Dabei brauchen nicht notwendig alle verfügbaren Detektorelemente des Detektorarrays 18 für die Bestimmung des Vektors c herangezogen zu werden. Die Intensitäten die von den verwendeten Detektorelementen geliefert werden, werden zu einem Intensitätsvektor I zusammengefaßt.The vector c of the movement parameters is now determined by measuring the time profiles of the intensity on a specific number of detector elements. This vector c is linked on the one hand to the changes in the intensities caused by the movement of the missile 10 and sensor 14 and on the other hand to the movement variables v and ω of the missile 10 and sensor 14 . All available detector elements of the detector array 18 need not necessarily be used for the determination of the vector c . The intensities that are supplied by the detector elements used are combined to form an intensity vector I.
Die neuronalen Netzmittel, die generell mit 32 bezeichnet sind, enthalten zwei neuronale Netze 34 und 36. Das neuronale Netz 34 erhält als Eingangsdaten Intensitäten von ausgewählten Detektorelementen des Detektorarrays 18, also den Intensitätsvektor I. Das neuronale Netz 34 ist so trainiert, daß es aus diesen Eingangsdaten den Vektor c erzeugt. Das neuronale Netz 36 erhält als Eingangsdaten den Vektor c der Bewegungsparameter von dem neuronalen Netz 34. Das neuronale Netz 36 ist so trainiert, daß es aus den Eingangsdaten die Bewegungsgrößen v und ω des Flugkörpers 10 und des damit starr verbundenen Sensors 14 erzeugt. Das ist in Fig. 4 dargestellt.The neural network means, generally designated 32 , contain two neural networks 34 and 36 . The neural network 34 receives, as input data, intensities from selected detector elements of the detector array 18 , that is to say the intensity vector I. The neural network 34 is trained so that it generates the vector c from this input data. The neural network 36 receives as input data the vector c of the movement parameters from the neural network 34 . The neural network 36 is trained in such a way that it generates the movement variables v and ω of the missile 10 and the sensor 14 rigidly connected to it from the input data. This is shown in Fig. 4.
Die beiden neuronalen Netze 34 und 36 sind von unterschiedlichem Typ: Wegen der räumlichen und zeitlichen Abhängigkeit des Vektors c der Bewegungsparameter von den Intensitätsvektor I wird zur Bestimmung des Vektors c der Bewegungsparameter aus den Intensitätsverläufen ein rückgekoppeltes Netz 34 verwendet. Ein solches Netz ist besonders für räumlich und zeitlich veränderbare Abbildungen geeignet. Zwischen den Bewegungsparametern des Vektors c und den Bewegungsgrößen v und ω des Flugkörpers 10 und des Sensors 14 besteht ein assoziativer Zusammenhang: Zu jedem Vektor c gehören bestimmte Werte von v und ω. Zur assoziativen Speicherung dieses Zusammenhanges ist ein mehrschichtiges Netz mit ausschließlich Vorwärtsverbindung vorgesehen, nämlich ein Netz vom Stimuli-Response-Typ.The two neural networks 34 and 36 are of different types: Because of the spatial and temporal dependence of the vector c of the motion parameters on the intensity vector I , a feedback network 34 is used to determine the vector c of the motion parameters from the intensity profiles. Such a network is particularly suitable for spatially and temporally changeable images. There is an associative relationship between the motion parameters of the vector c and the motion quantities v and ω of the missile 10 and the sensor 14 : each vector c has certain values of v and ω . For associative storage of this relationship, a multilayer network with only a forward connection is provided, namely a network of the stimulus-response type.
Das erste Netz 34 hat die in Fig. 5 dargestellte Struktur. Auf das Netz 34 sind jeweils Folgen von T aufeinanderfolgenden Intensitätsvektoren I(1), I(2) . . . I(m) . . . I(T) aufgeschaltet. Das entspricht einem Zeitfenster. Diese Folge liefert die zeitliche Veränderung der Intensitäten. Jeder der Intensitätsvektoren I(n) hat als Komponenten N Intensitäten I1(n), . . . IN(n) die an N ausgewählten Detektorelementen zum Abtastzeitpunkt n auftreten. Jeder dieser Vektoren liefert daher die räumliche Verteilung der Intensität.The first network 34 has the structure shown in FIG. 5. Sequences of T successive intensity vectors I (1), I (2) are in each case on the network 34 . . . I (m). . . I (T) activated. That corresponds to a time window. This sequence provides the change in intensity over time. Each of the intensity vectors I (n) has components N intensities I 1 (n),. . . I N (n) the detector elements selected at N occur at the sampling time n. Each of these vectors therefore provides the spatial distribution of the intensity.
Das Netz enthält N Prozessorelemente PE1, PE2, . . . PEm . . . PEN. Ein solches Prozessorelement PEi ist in Fig. 6 dargestellt. Auf die Prozessorelemente PEi sind die Ausgänge aller Prozessorelemente PE einschließlich des eigenen Ausganges xi des betrachteten Prozessorelements PEi aufgeschaltet. Das Prozessorelement PEi bildet die gewichtete Summe aller so rückgeführten Eingänge die zu der auf das Prozessorelement PEi aufgeschalteten Intensität Ii addiert wird. Es ergibt sich ein WertThe network contains N processor elements PE 1 , PE 2 ,. . . PE m . . . PE N. Such a processor element PE i is shown in FIG. 6. The outputs of all processor elements PE including its own output x i of the considered processor element PE i switched to the processor elements PE i. The processor element PE i forms the weighted sum of all inputs fed back in this way, which is added to the intensity I i applied to the processor element PE i . The result is a value
Der Ausgang des Prozessorelements wird dann:The output of the processor element then becomes:
xi = f (zi).x i = f (z i ).
Die Funktion f(zi) ist dabei eine bestimmte nichtlineare Funktion der "Aktivität" zi des Prozessorelements.The function f (z i ) is a certain non-linear function of the "activity" z i of the processor element.
Zum Lernen der räumlich-zeitlich veränderlichen Abbildung zwischen den Intensitätsvektoren I und den Vektoren c der Bewegungsparameter werden dem Netz 34 in einer Trainingsphase paarweise Folgen von Eingangsvektoren und zugehörigen Ausgangsvektoren zugeführt. Für Abtastfenster mit Intensitätsvektoren I(1) . . I(T) werden die jeweils aktuellen Ausgangsvektoren c(1) . . . c(T) mit den zugehörigen Sollvektoren c*(1) . . . c*(T) verglichen. Die Gewichtsmatrix des Netzes wird dann wie folgt adaptiert:In order to learn the mapping between the intensity vectors I and the vectors c of the movement parameters, which changes in space and time, the network 34 is supplied with pairs of sequences of input vectors and associated output vectors in a training phase. For scanning windows with intensity vectors I (1). . I (T) become the current output vectors c (1). . . c (T) with the associated target vectors c * (1). . . c * (T) compared. The network weight matrix is then adapted as follows:
mitWith
δ(K) = f′(Z(K)[WT δ(K+1) + HT(c*(K) - c(K))]. δ (K) = f ′ ( Z (K) [W T δ (K + 1) + H T ( c * (K) - c (K))].
In der Gewichtsmatrix W sind die Verbindungsgewichte wÿ des Netzes zusammengefaßt. Es gilt:The connection weights w ÿ of the network are summarized in the weight matrix W. The following applies:
Nach Durchführung der Trainingsphase sind die Verbindungsgewichte so gewählt, daß, wie in Fig. 5 dargestellt ist, für eine Folge von T N-dimensionalen Intensitätsvektoren als Eingangsvektoren des Netzes 34 die m Prozessorelemente PE1 bis PEm nacheinander die Komponenten der m-dimensionalen Vektoren c(1) bis c(T) der Bewegungsparameter liefern.After the training phase has been carried out, the connection weights are selected such that, as shown in FIG. 5, for a sequence of T N-dimensional intensity vectors as input vectors of the network 34, the m processor elements PE 1 to PE m are the components of the m-dimensional vectors in succession c (1) to c (T) of the motion parameters.
Zur Gewinnung der Bewegungsgrößen v und ω aus den Vektoren c der Bewegungsparameter dient ein Backpropagation-Netz 36, wie es in Fig. 7 dargestellt ist. Das Netz 36 besteht aus drei Schichten, nämlich einer Eingangsschicht 38, einer verborgenen Schicht 40 und einer Ausgangsschicht 42. Wie aus Fig. 7 ersichtlich ist, sind die Prozessorelemente 44, 46 und 48 der drei Schichten 38 bzw. 40 bzw. 42 vollständig vorwärts vernetzt. Die Prozessorelemente 44 der Eingangsschicht 38 enthalten keine nichtlineare Ausgangsfunktion f.A back propagation network 36 , as shown in FIG. 7, is used to obtain the movement variables v and ω from the vectors c of the movement parameters. The network 36 consists of three layers, namely an input layer 38 , a hidden layer 40 and an output layer 42 . As can be seen from FIG. 7, the processor elements 44 , 46 and 48 of the three layers 38, 40 and 42 are completely networked forward. The processor elements 44 of the input layer 38 do not contain a nonlinear output function f.
Fig. 8 veranschaulicht in einer vereinfachten Darstellung die Lernphase des Netzes 36. Der Lernvorgang erfolgt nach einem "Backpropagation"-Algorithmus. Auf das Netz 36 werden Eingangsvektoren c aufgeschaltet. Es werden die daraus erhaltenen Bewegungsgrößen v und l mit Sollgrößen v* und ω* verglichen. Der Eingangsvektor ist durch Block 50 in Fig. 8 dargestellt. Der Ausgangsvektor ist durch Block 52 dargestellt. Der Sollvektor ist durch Block 54 dargestellt. Der Vergleich ist durch einen Summierpunkt 56 symbolisiert. Die Differenz von Ausgangsvektor und Sollvektor wird multipliziert mit einer Gewichtsmatrix d. Daraus ergeben sich Korrekturen Δ wÿ für die Verbindungsgewichte wÿ. Die Multiplikation mit der Gewichtsmatrix d ist in Fig. 8 durch einen Block 58 dargestellt. Die Korrektur der Verbindungsgewichte wÿ ist durch den Block 60 symbolisiert. Nach Durchführung der Trainingsphase sind die Verbindungsgewichte wÿ so eingestellt, daß das Netz 36 den Zusammenhang zwischen c und v bzw. ω abbildet, d. h. die Assoziationen speichert. Fig. 8 illustrates in a simplified representation of the learning phase of the network 36th The learning process takes place according to a "back propagation" algorithm. Input vectors c are applied to the network 36 . There are movement amounts obtained therefrom v l and compared with desired sizes and v * ω *. The input vector is represented by block 50 in FIG. 8. The output vector is represented by block 52 . The target vector is represented by block 54 . The comparison is symbolized by a summing point 56 . The difference between the output vector and the target vector is multiplied by a weight matrix d . This results in corrections Δ w ÿ for the connection weights w ÿ . The multiplication by the weight matrix d is represented in FIG. 8 by a block 58 . The correction of the connection weights w ÿ is symbolized by block 60 . After the training phase has been carried out, the connection weights w ÿ are set in such a way that the network 36 depicts the relationship between c and v or ω , ie stores the associations.
In Fig. 9 ist der Backpropagation-Algorithmus für den Lernvorgang eines dreischichtigen Netzes 36 im einzelnen dargestellt. FIG. 9 shows the back propagation algorithm for the learning process of a three-layer network 36 in detail.
Ein bekannter Eingangsvektor u, der dem Vektor c entspricht, ist auf die Eingangsschicht geschaltet. Es werden die zj(1) gebildet, die hier direkt die Ausgangsgrößen xj(1) bilden. Aus den xj(1) der Prozessorelemente 62 der Eingangsschicht 38 wird von den Prozessorelementen 64 der verborgenen Schicht 40 mit Verbindungsgewichten wÿ(1) die zi(2) dieser verborgenen Schicht gebildet. Aus den so gebildeten zi(2) ergeben sich die Ausgangsgrößen xi(2) der Prozessorelemente 64 nach einer nichtlinearen Funktion fi zuA known input vector u , which corresponds to vector c , is connected to the input layer. The z j (1) are formed, which here directly form the output variables x j (1). From the x j (1) of the processor elements 62 of the input layer 38 , the processor elements 64 of the hidden layer 40 with connection weights w ÿ (1) form the z i (2) of this hidden layer. The output variables x i (2) of the processor elements 64 result from the z i (2) formed in this way according to a non-linear function f i
fi(zi(2)) = xi(2).f i (z i (2)) = x i (2).
Wie an dem j-ten Prozessorelement 64 der verborgenen Schicht 40 und dem i-ten Prozessorelement 66 der Ausgangsschicht 42 dargestellt ist, bildet jedes Prozessorelement 66 aus den Ausgangsgrößen der Prozessorelemente 64 mit Verbindungsgewichten wÿ(2) die zi(3). Das Prozessorelement 66 liefert dann eine Ausgangsgröße xi(3) wieder nach einer nichtlinearen Funktion der zi(3). Es istAs shown on the j-th processor element 64 of the hidden layer 40 and the i-th processor element 66 of the output layer 42 , each processor element 66 forms the z i (3) from the output variables of the processor elements 64 with connection weights w ÿ (2). The processor element 66 then supplies an output variable x i (3) again after a non-linear function of the z i (3). It is
fi(zi(3)) = xi(3).f i (z i (3)) = x i (3).
Die so erhaltenen xi(3), die man zu einem Ausgangsvektor y zusammenfassen kann, sollten bei richtiger Wahl der Verbindungsgewichte den Bewegungsgrößen entsprechen, die dem als Eingangsvektor u eingegebenen Vektor von Bewegungsparametern zugeordnet sind. Das wird zunächst nicht der Fall sein. Die Komponenten des Sollvektors werden mit den sich tatsächlich ergebenden Komponenten des Ausgangsvektors verglichen. Das ist für die Ausgangsgröße des betrachteten i- ten Prozessorelements 66 durch einen Summierpunkt 68 in Fig. 9 dargestellt.The x i (3) obtained in this way, which can be combined to form an output vector y , should, if the connection weights are selected correctly, correspond to the movement variables which are assigned to the vector of movement parameters entered as input vector u . At first, this will not be the case. The components of the target vector are compared with the actually resulting components of the output vector. For the output variable of the ith processor element 66 under consideration, this is represented by a summing point 68 in FIG. 9.
Die erhaltene Differenz wird multipliziert mit fi′(zi(3)). Das ist durch Block 70 in Fig. 9 dargestellt. Aus dieser Multiplikation ergibt sich eine Größe δi(3). Diese Größe δi(3) wird mit der Ausgangsgröße xj(2) des j-ten Prozessorelements 64 der verborgenen Schicht 40 multipliziert. Das ist durch das abgerundete Rechteck 72 in Fig. 9 dargestellt. Das so erhaltene Produkt wird mit einem Faktor µ, dargestellt durch Block 74 multipliziert und liefert einen Korrekturwert Δ wÿ für das Verbindungsgewicht wÿ zwischen dem j-ten Prozessorelement 64 der verborgenen Schicht 40 und dem i-ten Prozessorelement 66 der Ausgangsschicht 42.The difference obtained is multiplied by f i ′ (z i (3)). This is represented by block 70 in FIG. 9. This multiplication results in a quantity δ i (3). This quantity δ i (3) is multiplied by the output quantity x j (2) of the j-th processor element 64 of the hidden layer 40 . This is shown by the rounded rectangle 72 in FIG. 9. The product obtained in this way is multiplied by a factor μ, represented by block 74, and provides a correction value Δ w ÿ for the connection weight w ÿ between the j-th processor element 64 of the hidden layer 40 and the i-th processor element 66 of the output layer 42 .
Die Korrektur des Verbindungsgewichtes ist hier der Übersichtlichkeit halber nur für ein Paar von Prozessorelementen 64 und 66 dargestellt und beschrieben. Tatsächlich werden die in gleicher Weise die Verbindungsgewichte für alle möglichen Kombinationen von Prozessorelementen 64 und 66 korrigiert. i und j sind hier beliebige ganze Zahlen. Die z werden, ähnlich wie es oben im Zusammenhang mit dem Netz 34 beschrieben wurde, als gewichtete Summen der Ausgangsgrößen der Prozessorelemente in der vorhergehenden Schicht gebildet.For the sake of clarity, the correction of the connection weight is only shown and described for a pair of processor elements 64 and 66 . In fact, the connection weights are corrected in the same way for all possible combinations of processor elements 64 and 66 . i and j here are any integers. The z are formed, as described above in connection with the network 34 , as weighted sums of the output quantities of the processor elements in the previous layer.
In ähnlicher Weise werden die Verbindungsgewichte wÿ(1) zwischen der Eingangsschicht 38 und der verborgenen Schicht 40 korrigiert. Es werden Größen δi(2) gebildet nach der BeziehungSimilarly, the connection weights w ÿ (1) between the input layer 38 and the hidden layer 40 are corrected. Quantities δ i (2) are formed according to the relationship
Das ist in Fig. 9 durch einen Block 76 dargestellt. Die so gebildete Größe δi wird multipliziert mit der Ausgangsgröße xj(1) des j-ten Prozessorelements 62 der Eingangsschicht 38. Das ist in Fig. 9 durch das abgerundete Rechteck 78 dargestellt. Das Produkt wird multipliziert mit einem Faktor µ, wie durch das Rechteck 80 in Fig. 9 dargestellt ist. Das ergibt eine Korrekturgröße Δwÿ(1) für das Verbindungsgewicht wÿ(1) zwischen dem j-ten Prozessorelement 62 der Eingangsschicht 38 und dem i-ten Prozessorelement 64 der verborgenen Schicht 40. Auch hier werden in gleicher Weise alle Verbindungsgewichte wÿ(1) zwischen den verschiedenen Kombinationen der Prozessorelemente 62 der Eingangsschicht 38 und den Prozessorelementen 64 der verborgenen Schicht korrigiert. i und j sind beliebige ganze Zahlen. Es ist der Übersichtlichkeit halber nur ein Paar von Prozessorelementen 62 und 64 dargestellt. Die zi(2) sind wieder gewichtete Summen aller xj(1).This is represented by a block 76 in FIG. 9. The quantity δ i thus formed is multiplied by the output quantity x j (1) of the j-th processor element 62 of the input layer 38 . This is shown in FIG. 9 by the rounded rectangle 78 . The product is multiplied by a factor μ, as represented by the rectangle 80 in FIG. 9. This results in a correction quantity Δw ÿ (1) for the connection weight w ÿ (1) between the j-th processor element 62 of the input layer 38 and the i-th processor element 64 of the hidden layer 40 . Here, too, all connection weights w ÿ (1) between the different combinations of processor elements 62 of input layer 38 and processor elements 64 of the hidden layer are corrected in the same way. i and j are arbitrary integers. For the sake of clarity, only a pair of processor elements 62 and 64 are shown. The z i (2) are again weighted sums of all x j (1).
Fig. 10 zeigt ein mit neuronalen Netzen aufgebautes Führungs- und Lenksystem für einen Flugkörper. FIG. 10 shows a guidance and guidance system for a missile, which is constructed using neural networks.
Ein Flugregelkreis enthält den Sensor 14 und die beiden oben beschriebenen neuronalen Netze 34 und 36. Die von dem neuronalen Netz 36 gelieferten Bewegungsgrößen v und ω sind auf ein weiteres neuronales Netz 82 geschaltet. Das neuronale Netz 82 ist ein Netz vom Hopfield-Typ. Das neuronale Netz 82 ist ein Optimierer. Das neuronale Netz 82 ermittelt jeweils das optimale Stellsignal, derart, daß die Differenz zwischen tatsächlichem und gewünschtem Bewegungszustand möglichst klein wird. Diese Stellsignale sind auf eine Lenkvorrichtung 84 aufgeschaltet, die einmal die Stellsignale von dem Flugregelkreis erhält, durch welche der Flugkörper 10 stabilisiert wird, und zum anderen Lenkkommandos aus dem Führungskreis, durch welche der Flugkörper 10 zu einem Ziel geführt wird. Die Lenkvorrichtung 84 wirkt auf die Dynamik und Kinematik des Flugkörpers, die in Fig. 10 durch einen Block 86 symbolisiert ist.A flight control loop contains the sensor 14 and the two neural networks 34 and 36 described above. The movement variables v and ω supplied by the neural network 36 are connected to a further neural network 82 . The neural network 82 is a Hopfield type network. The neural network 82 is an optimizer. The neural network 82 in each case determines the optimal control signal in such a way that the difference between the actual and the desired state of motion becomes as small as possible. These control signals are applied to a steering device 84 , which on the one hand receives the control signals from the flight control loop, by means of which the missile 10 is stabilized, and on the other hand steering commands from the guidance loop, through which the missile 10 is guided to a target. The steering device 84 acts on the dynamics and kinematics of the missile, which is symbolized in FIG. 10 by a block 86 .
Von dem Sensor 14 werden weiter Bildinformationen abgenommen, die einer Einrichtung zur Merkmalserkennung 88 zugeführt werden. Der so erhaltene Merkmalsvektor wird auf ein neuronales Netz 90 aufgeschaltet. Das neuronale Netz 90 ist ein rekursives Netz. Das neuronale Netz 90 bewirkt eine Klassierung erfaßter Objekte und erzeugt Zielverfolgungs- Signale, durch welche der Flugkörper zu bestimmten, erkannten Zielen geführt wird. Die Zielverfolgungssignale sind auf die Lenkvorrichtung 84 aufgeschaltet.Image information is also taken from the sensor 14 and is supplied to a device for feature detection 88 . The feature vector obtained in this way is applied to a neural network 90 . The neural network 90 is a recursive network. The neural network 90 effects a classification of detected objects and generates target tracking signals through which the missile is guided to specific, recognized targets. The tracking signals are applied to the steering device 84 .
Bei der Ausführung nach Fig. 11 ist zusätzlich zu dem bilderfassenden Sensor 14 und den neuronalen Netzen ein Trägheitsnavigationssystem 92 vorgesehen. Die von dem Trägheitsnavigationssystem gelieferten Bewegungsgrößen, nämlich Drehgeschwindigkeit, Beschleunigung und Kurs- und Lagewinkel sind zusätzlich auf die neuronalen Netze 34 und 36 aufgeschaltet. Das ist in Fig. 11 durch Pfeile 94 und 96 dargestellt. Diese "Aufschaltung" erfolgt in der Weise, daß Gewichte in den neuronalen Netzen 34 und 36 im Sinne einer "Vorkenntnis" verändert werden. Die von dem neuronalen Netz 36 auf diese Weise aus dem vom Sensor 14 erfaßten Bild und von dem Trägheitsnavigationssystem erhaltenen Bewegungsgrößen beaufschlagen einen Prozessor 98, der optimale Schätzwerte für die Bewegungsgrößen liefert. Der Prozessor 98 ist auch von den Meßwerten der Bewegungsgrößen beaufschlagt, die von dem Trägheitsnavigationssystem 92 geliefert werden. Das ist in Fig. 11 durch einen Pfeil 100 dargestellt. Der Prozessor 98 beinhaltet ein sog. erweitertes ("extended") Kalman-Filter. Das erweiterte Kalman-Filter wirkt als optimaler Bewegungszustands-Schätzer. Es vergleicht die Bewegungsgrößen- Informationen von dem Sensor 14 mit der Bewegunsgrößen- Information von dem Trägheitsnavigationssystem 92. Die von dem Prozessor 98 gelieferten Bewegungsgrößen sind optimale Schätzwerte die sich aus den optisch gewonnenen Bewegungsgrößen und den Bewegungsgrößen des Trägheitsnavigationssystems ergeben. Außer den optimalen Schätzwerten der Bewegungsgrößen liefert der Prozessor 98 auch Schätzwerte für die Fehler des Trägheitsnavigationssystems 92. Diese Schätzwerte der Fehler, z. B. der Kreiseldrift, sind wiederum auf das Trägheitsnavigationssystem 92 aufgeschaltet und werden von diesem berücksichtigt. Das ist durch einen Pfeil 102 dargestellt.In the embodiment according to FIG. 11, an inertial navigation system 92 is provided in addition to the image-sensing sensor 14 and the neural networks. The movement variables supplied by the inertial navigation system, namely rotational speed, acceleration and course and position angle, are additionally connected to the neural networks 34 and 36 . This is shown in Fig. 11 by arrows 94 and 96 . This "connection" takes place in such a way that weights in the neural networks 34 and 36 are changed in the sense of a "previous knowledge". The movement quantities obtained from the neural network 36 in this way from the image acquired by the sensor 14 and from the inertial navigation system act on a processor 98 which provides optimal estimates of the movement quantities. The processor 98 is also acted upon by the measured values of the movement variables, which are supplied by the inertial navigation system 92 . This is shown in FIG. 11 by an arrow 100 . The processor 98 contains a so-called "extended" Kalman filter. The extended Kalman filter acts as an optimal motion state estimator. It compares the movement quantity information from the sensor 14 with the movement quantity information from the inertial navigation system 92 . The movement quantities supplied by the processor 98 are optimal estimates which result from the optically obtained movement quantities and the movement quantities of the inertial navigation system. In addition to the optimal estimates of the motion quantities, the processor 98 also provides estimates of the errors of the inertial navigation system 92 . These estimates of the errors, e.g. B. the gyro drift, are in turn connected to the inertial navigation system 92 and are taken into account by this. This is shown by an arrow 102 .
Die Bestimmung der Bewegungsgrößen aus der Bildinformation des bilderfassenden Sensors 14 und die Bestimmung der Bewegungsgrößen mittels des Trägheitsnavigationssystems stellen zwei einander vorteilhaft ergänzende Meßvorgänge dar:The determination of the movement quantities from the image information of the image-capturing sensor 14 and the determination of the movement quantities by means of the inertial navigation system represent two mutually advantageous measuring processes:
Die Bewegungsgrößen-Information von den Trägheitssensoren des Trägheitsnavigationssystems verbessert die Funktion der neuronalen Netze. Insbesondere werden die Bewegungsgrößen auch bei Wegfall der Bildinformation etwa durch Wolken oder ein kontrastloses Bildfeld weiter gemessen.The movement quantity information from the inertial sensors of the Inertial navigation system improves the function of the neural networks. In particular, the movement quantities too if the image information is lost, for example through clouds or a Contrastless field of view further measured.
Die Bestimmung der Bewegungsgrößen aus der Bildinformation gestattet es, mit Hilfe des erweiterten Kalman-Filters 98 Schätzwerte für die Fehler des Trägheitsnavigationssystems 92 zu gewinnen. Durch Kompensation dieser Fehler kann die Genauigkeit des Trägheitsnavigationssystems 92 verbessert werden. Es wird dadurch möglich, ein relativ einfaches und kostengünstiges Trägheitsnavigationssystem zu verwenden. The determination of the movement variables from the image information makes it possible to obtain estimates for the errors of the inertial navigation system 92 with the aid of the extended Kalman filter 98 . By compensating for these errors, the accuracy of the inertial navigation system 92 can be improved. This makes it possible to use a relatively simple and inexpensive inertial navigation system.
Bei der Ausführung von Fig. 12 ist der Ausgang des neuronalen Netzes 36 auf einen Navigations-Prozessor 104 aufgeschaltet. Die neuronalen Netze 34 und 36 sind ähnlich wie in Fig. 11 auch von den Bewegungsgrößen beaufschlagt, die von dem Trägheitsnavigationssystem geliefert werden.In the embodiment of FIG. 12, the output of the neural network 36 is connected to a navigation processor 104 . As in FIG. 11, the neural networks 34 and 36 are also acted upon by the movement variables that are supplied by the inertial navigation system.
Bei der Ausführung von Fig. 12 beaufschlagen die Bewegungsgrößen, die von dem Trägheitsnavigationssystem geliefert werden, außerdem eine Datenbank 106. Das ist durch Pfeil 108 dargestellt. Die Datenbank 106 speichert Informationen über das überflogene Gelände etwa nach Art einer Landkarte. Der Datenbank 106 kann etwa entnommen werden, daß bei bestimmten, dem Trägheitsnavigationssystem 92 entnommenen Werten von Kurs, Lage und Position eine Straßenkreuzung oder sonstige Landmarke unter bestimmten Sichtwinkeln erscheinen müßte. Die Datenbank-Informationen sind auf den Navigations- Prozessor 104 aufgeschaltet. Das ist durch einen Pfeil 110 dargestellt.In the embodiment of FIG. 12, the movement amounts, which are supplied by the inertial navigation system also apply a database 106.. This is shown by arrow 108 . The database 106 stores information about the terrain flown over, in the manner of a map. It can be gathered from the database 106 , for example, that with certain values of course, position and position taken from the inertial navigation system 92 , a road intersection or other landmark should appear at certain viewing angles. The database information is connected to the navigation processor 104 . This is shown by an arrow 110 .
Der bilderfassende Sensor 14 liefert Daten an eine Einrichtung 112 zur Bildvorverarbeitung. Das ist durch Pfeil 114 dargestellt. Durch die Einrichtung 112 werden bestimmte Merkmale des Bildes erkannt, beispielsweise Kanten. Die so verarbeiteten Bilddaten beaufschlagen ein neuronales Netz 116, welches darauf trainiert ist, aus solchen Merkmalen Navigations-Merkmale zu extrahieren, z. B. Linienorientierung und Linienschnittpunkte. Das ist durch einen Pfeil 118 dargestellt. Das neuronale Netz 116 ist ein selbstorganisierendes neuronales Netz, das als "Merkmalskarte" oder als sog. "Adaptive Resonator Theory Network" realisiert werden kann. Die so erhaltenen Navigationsmerkmale sind ebenfalls auf den Navigations-Prozessor 104 aufgeschaltet. Das ist durch Pfeil 120 dargestellt.The image-capturing sensor 14 supplies data to a device 112 for image preprocessing. This is shown by arrow 114 . The device 112 recognizes certain features of the image, for example edges. The image data processed in this way act on a neural network 116 which is trained to extract navigation features from such features, e.g. B. Line orientation and line intersections. This is shown by an arrow 118 . The neural network 116 is a self-organizing neural network that can be implemented as a “feature card” or as a so-called “adaptive resonator theory network”. The navigation features obtained in this way are likewise connected to the navigation processor 104 . This is shown by arrow 120 .
Der Navigations-Prozessor 104 vergleicht die Koordinaten eines bestimmten Navigationsmerkmals, das von der Bildverarbeitung erfaßt wird, mit den Koordinaten dieses Navigationsmerkmals, die sich aus der Datenbank 106 und den Kurs-, Lage- und Positionsdaten des Trägheitsnavigationssystems ergeben. Aus der Differenz können mit Hilfe eines Kalman-Filters einmal optimale Navigationsdaten erhalten werden. Das ist durch Pfeil 122 dargestellt. Zum anderen können aus dem Kalman-Filter Schätzwerte für die Fehler des Trägheitsnavigationssystems 92 gewonnen werden. Diese Schätzwerte der Fehler sind auf das Trägheitsnavigationssystem 92 zurückgeführt. Das ist in Fig. 12 durch die Verbindung 124 dargestellt.The navigation processor 104 compares the coordinates of a specific navigation feature, which is captured by the image processing, with the coordinates of this navigation feature, which result from the database 106 and the course, position and position data of the inertial navigation system. With the help of a Kalman filter, optimal navigation data can be obtained from the difference. This is shown by arrow 122 . On the other hand, estimates for the errors of the inertial navigation system 92 can be obtained from the Kalman filter. These estimates of the errors are traced back to the inertial navigation system 92 . This is shown in FIG. 12 by connection 124 .
Der Navigations-Prozessor 104 benutzt dabei nicht nur die Positions-Informationen sondern auch die Bewegungsgrößen wie Drehgeschwindigkeit und Geschwindigkeit, für die Meßwerte von dem neuronalen Netz 36 geliefert werden. Diese Stützinformation ist für die Funktion des Optimalfilters (Kalman-Filters) besonders wirksam, da sie bezüglich der Informationsverarbeitungs-Kette eines Trägheitsnavigationssystems sensornäher ist als die Positions- Information.The navigation processor 104 uses not only the position information but also the movement variables such as rotational speed and speed, for which measured values are supplied by the neural network 36 . This supporting information is particularly effective for the function of the optimal filter (Kalman filter), since it is closer to the sensor than the position information with regard to the information processing chain of an inertial navigation system.
Claims (15)
(a) die neuronalen Netzmittel ein rückgekoppeltes neuronales Netzwerk (34) enthalten, auf welches ein Vektor (I) mit Intensitätsdaten einer Mehrzahl von Bildelementen des Sensors (14) aufgeschaltet ist und welches einen Vektor (c) von Bewegungsparametern liefert, dessen Elemente eine Funktion der Bewegungsgrößen (v, ω) des Flugkörpers (10) sind, und
(b) die neuronalen Netzmittel weiterhin ein assoziatives, neuronales Netzwerk (36) enthalten, auf welches die Elemente des Vektors (c) der Bewegungsparameter aufgeschaltet sind und welches zur Erzeugung Daten trainiert ist, die den Bewegungsgrößen des Flugkörpers (10) entsprechen.3. Device according to claim 1 or 2, characterized in that
(a) the neural network means contain a feedback neural network ( 34 ), to which a vector ( I ) with intensity data of a plurality of picture elements of the sensor ( 14 ) is connected and which supplies a vector ( c ) of motion parameters, the elements of which function the movement quantities ( v , ω ) of the missile ( 10 ), and
(b) the neural network means also contain an associative, neural network ( 36 ) to which the elements of the vector ( c ) of the movement parameters are connected and which is trained to generate data which correspond to the movement quantities of the missile ( 10 ).
(a) die Bilddaten des bilderfassenden Sensors (14) zusätzlich auf Bildverarbeitungsmittel (112, 116) aufgeschaltet sind, durch welche aus den Bilddaten Navigationsmerkmale extrahiert werden,
(b) eine Datenbank (106) vorgesehen ist, in welcher Geländeinformationen gespeichert sind,
(c) die Datenbank (106) von den durch das Trägheitsnavigationssystem gelieferten Kurs-, Lage- und Positionswerten beaufschlagt ist und
(d) ein das Optimalfilter umfassender Navigations-Prozessor (104) aus den Positionen der Navigationsmerkmale, wie sie von den Bildverarbeitungsmitteln (112, 116) geliefert werden, und den Positionen der Navigationsmerkmale, wie sie sich nach dem Trägheitsnavigationssystem ergeben, optimale Navigationsdaten erzeugt.14. Device according to claim 11, characterized in that
(a) the image data of the image-capturing sensor ( 14 ) are additionally connected to image processing means ( 112 , 116 ), by means of which navigation features are extracted from the image data,
(b) a database ( 106 ) is provided, in which terrain information is stored,
(c) the database ( 106 ) is loaded with the course, position and position values provided by the inertial navigation system and
(d) A navigation processor ( 104 ) comprising the optimal filter generates optimal navigation data from the positions of the navigation features as supplied by the image processing means ( 112 , 116 ) and the positions of the navigation features as they result from the inertial navigation system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE4218600A DE4218600C2 (en) | 1992-06-05 | 1992-06-05 | Device for determining movement quantities of a missile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE4218600A DE4218600C2 (en) | 1992-06-05 | 1992-06-05 | Device for determining movement quantities of a missile |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE4218600A1 true DE4218600A1 (en) | 1993-12-09 |
| DE4218600C2 DE4218600C2 (en) | 1994-09-22 |
Family
ID=6460486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE4218600A Expired - Fee Related DE4218600C2 (en) | 1992-06-05 | 1992-06-05 | Device for determining movement quantities of a missile |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE4218600C2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999035460A1 (en) * | 1998-01-09 | 1999-07-15 | Raytheon Company | Neural network trajectory command controller |
| EP0974806A1 (en) * | 1998-07-21 | 2000-01-26 | BODENSEEWERK GERÄTETECHNIK GmbH | Method for training a neural network for guiding a missile towards a target |
| WO2000036362A1 (en) * | 1998-12-12 | 2000-06-22 | Bae Systems Plc | Combat pilot aid system |
| EP1014028A1 (en) * | 1998-12-15 | 2000-06-28 | Bodenseewerk Gerätetechnik GmbH | Guidance, navigation and control system for missile |
| EP1174675A1 (en) * | 2000-07-08 | 2002-01-23 | Bodenseewerk Gerätetechnik GmbH | Guidance structure for missile |
| EP1241431A1 (en) * | 2001-03-16 | 2002-09-18 | BODENSEEWERK GERÄTETECHNIK GmbH | Guidance structure for missile |
| DE10158666A1 (en) * | 2001-11-28 | 2003-06-18 | Lfk Gmbh | Missile independent guide device and method for guiding a missile independently uses orientation features lying outside a target point by means an optical homing head and an image processor |
| WO2015022681A1 (en) | 2013-08-15 | 2015-02-19 | Rafael Advanced Defense Systems Ltd | Missile system with navigation capability based on image processing |
| CN111742327A (en) * | 2018-02-19 | 2020-10-02 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN113916254A (en) * | 2021-07-22 | 2022-01-11 | 北京控制工程研究所 | Docking type capture spacecraft autonomous rendezvous and docking test method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10001519A1 (en) | 2000-01-15 | 2017-11-02 | LFK Lenkflugkörpersysteme GmbH | Device for steering a rolling missile |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2855951C2 (en) * | 1978-12-23 | 1983-12-01 | Messerschmitt-Boelkow-Blohm Gmbh, 8000 Muenchen, De | |
| DE3631944A1 (en) * | 1986-09-19 | 1988-04-07 | Messerschmitt Boelkow Blohm | Device for analysing an image for the purpose of target recognition |
-
1992
- 1992-06-05 DE DE4218600A patent/DE4218600C2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2855951C2 (en) * | 1978-12-23 | 1983-12-01 | Messerschmitt-Boelkow-Blohm Gmbh, 8000 Muenchen, De | |
| DE3631944A1 (en) * | 1986-09-19 | 1988-04-07 | Messerschmitt Boelkow Blohm | Device for analysing an image for the purpose of target recognition |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6542879B2 (en) | 1998-01-09 | 2003-04-01 | Raytheon Company | Neural network trajectory command controller |
| WO1999035460A1 (en) * | 1998-01-09 | 1999-07-15 | Raytheon Company | Neural network trajectory command controller |
| AU731363B2 (en) * | 1998-01-09 | 2001-03-29 | Raytheon Company | Neural network trajectory command controller |
| US6473747B1 (en) | 1998-01-09 | 2002-10-29 | Raytheon Company | Neural network trajectory command controller |
| EP0974806A1 (en) * | 1998-07-21 | 2000-01-26 | BODENSEEWERK GERÄTETECHNIK GmbH | Method for training a neural network for guiding a missile towards a target |
| US6658980B1 (en) * | 1998-12-12 | 2003-12-09 | British Aerospace Public Limited Co. | Combat pilot aid system |
| WO2000036362A1 (en) * | 1998-12-12 | 2000-06-22 | Bae Systems Plc | Combat pilot aid system |
| EP1014028A1 (en) * | 1998-12-15 | 2000-06-28 | Bodenseewerk Gerätetechnik GmbH | Guidance, navigation and control system for missile |
| EP1174675A1 (en) * | 2000-07-08 | 2002-01-23 | Bodenseewerk Gerätetechnik GmbH | Guidance structure for missile |
| EP1241431A1 (en) * | 2001-03-16 | 2002-09-18 | BODENSEEWERK GERÄTETECHNIK GmbH | Guidance structure for missile |
| DE10158666A1 (en) * | 2001-11-28 | 2003-06-18 | Lfk Gmbh | Missile independent guide device and method for guiding a missile independently uses orientation features lying outside a target point by means an optical homing head and an image processor |
| US10078339B2 (en) | 2013-08-15 | 2018-09-18 | Rafael Advanced Defense Systems Ltd | Missile system with navigation capability based on image processing |
| EP3033584A4 (en) * | 2013-08-15 | 2017-04-12 | Rafael Advanced Defense Systems Ltd | Missile system with navigation capability based on image processing |
| WO2015022681A1 (en) | 2013-08-15 | 2015-02-19 | Rafael Advanced Defense Systems Ltd | Missile system with navigation capability based on image processing |
| CN111742327A (en) * | 2018-02-19 | 2020-10-02 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN111771208A (en) * | 2018-02-19 | 2020-10-13 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN111771208B (en) * | 2018-02-19 | 2024-05-28 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN111742327B (en) * | 2018-02-19 | 2024-05-28 | 博朗有限公司 | Apparatus and method for implementing positioning of a movable processing device |
| CN113916254A (en) * | 2021-07-22 | 2022-01-11 | 北京控制工程研究所 | Docking type capture spacecraft autonomous rendezvous and docking test method |
Also Published As
| Publication number | Publication date |
|---|---|
| DE4218600C2 (en) | 1994-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2241896B1 (en) | Stabilising system for missiles | |
| DE3937427A1 (en) | IMAGE PROCESSING DEVICE | |
| EP1531343B1 (en) | Method for tracking objects | |
| EP1079198B1 (en) | Method for estimating the relative motion between missile and target | |
| DE4218600C2 (en) | Device for determining movement quantities of a missile | |
| DE3436839C2 (en) | Steering processor | |
| DE102007054950B4 (en) | Method for supporting the automatic navigation of a low-flying missile | |
| DE19950247A1 (en) | Regulation and procedure for Sstellites | |
| DE102011016521A1 (en) | Method for guiding the flight of an aircraft to a predetermined target object and flight guidance system | |
| DE4416557A1 (en) | Method and device for supporting the inertial navigation of a missile autonomously controlling a distant target | |
| DE19645556A1 (en) | Steering signal generating device for target tracking of e.g. military missile | |
| DE69931216T2 (en) | FLUGBAH COMMAND CONTROL WITH NEURONAL NETWORK | |
| EP2719990B1 (en) | Device for optical target assignment and guidance of a missile | |
| DE2932468C1 (en) | Seeker head | |
| DE3626030A1 (en) | METHOD AND DEVICE FOR DISCOVERING A PRESENT VISUAL INTERRUPTION BETWEEN A PLANE AND A TARGET, ESPECIALLY IN A LASER FIRE CONTROL SYSTEM | |
| EP0653600B2 (en) | Method for determining the rotation speed of the aiming line with a strapped down seeker head | |
| DE4205056A1 (en) | Scene scanning for classification of moving objects - involves assessment of average speeds deduced from processed images of subdivided scene obtd. during successive scans | |
| DE69730278T2 (en) | Passive distance estimation using image size dimensions | |
| DE19543048A1 (en) | Apparatus for generating steering signals for target tracking projectile | |
| DE3835883C2 (en) | Procedure for target detection for missiles with a seeker head | |
| DE19857895A1 (en) | Guiding, navigation and control system for missiles | |
| DE4223531C2 (en) | Device for guiding a powered missile shot from a launcher | |
| EP1174675A1 (en) | Guidance structure for missile | |
| EP3882569B1 (en) | Method for determining a target object, electro-optical sensor system, guided missile and method for navigating a guided missile | |
| DE19654924A1 (en) | Method of weapon guidance by target state estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| D2 | Grant after examination | ||
| 8364 | No opposition during term of opposition | ||
| 8327 | Change in the person/name/address of the patent owner |
Owner name: DIEHL BGT DEFENCE GMBH & CO. KG, 88662 UBERLINGEN, |
|
| 8339 | Ceased/non-payment of the annual fee |