-
Die Erfindung betrifft ein Verfahren zur Flugführung eines Flugzeugs zu einem vorgegebenen Zielobjekt und ein Flugführungssystem, mit dem das erfindungsgemäße Verfahren umgesetzt werden kann.
-
Aus dem allgemeinen Stand der Technik sind Flugzeuge mit einem Flugführungssystem mit einer Sensorik zur Steuerung des Flugzeugs derart bekannt, dass die Flugzeuge möglichst genau auf Bahn- oder Zielpunkte einer vorgegebenen Flugbahn oder auf einen einzelnen Bahn- oder Zielpunkt hingeführt werden. Beispielsweise können derartige bekannte Flugführungssysteme in einem Lenkflugkörper integriert und derart ausgeführt sein, dass mit diesen der Lenkflugkörper auf einen vorgegebenen Zielpunkt hingeführt wird, wobei eine möglichst geringe Abweichung des Lenkflugkörper vom vorgegebenen Zielpunkt zu erreichen ist.
-
Weiterhin sind aus allgemeinem Stand der Technik Bildverarbeitungsfunktionen zur Ermittlung von dreidimensional bestimmten Positionen gegenüber einem von einem Bildsensor erfassten Umgebung eines Referenzpunktes bekannt. Die Positionsbestimmung erfolgt auf Basis eines Vergleichs des durch den Sensor erfassten Umgebungsbildes mit einem dem Gerät vorab bekannten Referenzmodell. Derartige 3D-Positionsbestimmungsverfahren wurden jedoch nicht in Flugführungsvorrichtungen eingesetzt, da mit diesen moderne Anforderungen an solche Funktionen aufgrund anspruchsvoller Lenkgesetze nicht erfüllbar sind. Zum einen ist eine Flugführungsvorrichtung mit einem solchen dreidimensionalen Verfahren aus Rechenzeitgründen nur mit Einschränkungen in Echtzeit realisierbar. Zum anderen ist die Sensitivität oder Anfälligkeit solcher dreidimensionaler Verfahren bezüglich Referenzmodellfehler im Prinzip bedingt sehr hoch. Die für Flugführungsfunktionen erforderliche Genauigkeit der Identifizierung der Umgebungsstruktur eines Referenzpunktes ist nur mit sehr genauen Modellen, die in der Praxis selten verfügbar sind, zuverlässig zu erreichen.
-
Die
DE 10 2007 054 950 A1 offenbart ein Verfahren zur Stützung der selbsttätigen Navigation eines eine vorwärts schauende Kamera und ein INS-System aufweisenden Flugkörpers durch Vergleich von Daten aus der von der Kamera aufgenommenen aktuellen Szene mit dem Flugkörper zur Verfügung stehenden Referenzbildern, wobei aus der aufgenommenen Bildfolge der überflogenen Szene durch Tracking und 3-D-Rekonstruktion von signifikanten Liniensegmenten eine 3-D-Struktur der Szene gewonnen wird, die nach Projektion in die Referenzperspektive mit zur Verfügung stehendem 2-D-Referenzmaterial abgeglichen wird, um so die aktuelle Position und Lage des Flugkörpers zwecks Stützung seiner Navigation zu bestimmen.
-
Aufgabe der Erfindung ist, ein Verfahren zur Flugführung sowie ein Flugführungssystem zur Steuerung eines Flugzeug zu einem vorgegebenen Zielobjekt aufgrund von Bild-Informationen bereitzustellen, mit dem jeweils das Flugzeug mit ausreichender Genauigkeit und Zuverlässigkeit zu dem vorgegebenen Zielobjekt navigiert werden kann.
-
Diese Aufgabe wird mit den Merkmalen der unabhängigen Patentansprüche gelöst. Weitere Ausführungsformen sind in den auf diese rückbezogenen Unteransprüchen angegeben.
-
Dabei wird ein Flugpfad-Verfolgungs- und Flugführungs-System oder Flugpfad-Verfolgungs- und Flugführungs-Verfahren verwendet, das auch kurz als „Tracker“ bezeichnet wird und das mittels einer Sensorik erfasste Bilddaten der tatsächlichen Umgebung eines vorgegebenen Bahnpunktes zur Steuerung des Flugzeugs verwendet. Aus dem Vergleich von Bild-Informationen der tatsächlichen Umgebung eines vorgegebenen Bahnpunktes mit abgespeicherten Bild-Informationen, die der Flugkörper als vorgegebene Informationen von dem betroffenen Bahnpunkt gespeichert hat, ermittelt der Tracker eine Abweichung des Flugkörpers von dem jeweiligen Bahnpunkt und leitet daraus Steuerungskommandos zur Steuerung des Flugkörpers in Richtung zu dem Bahnpunkt ab.
-
Nach einer Ausführungsform der Erfindung erfolgt eine Ermittlung von zweidimensionalen Abweichungen des Flugkörpers von einem Bahnpunkt. Deren Datenaufbereitungs-Vorrichtung ist dabei derart gestaltet, dass diese aufeinander folgende Bilder vergleichen und aus den Bildunterschieden Abweichungen des Lenkflugkörpers vom gewünschten Kurs in zwei Dimensionen ermitteln kann. Ergebnisse dieses Vergleich können z.B. lauten: „zu weit links“ oder „zu weit unten“. Bei diesen zweidimensionalen Suchvorrichtungen wird die Entfernung zum Ziel nicht ermittelt.
-
Nach einer weiteren Ausführungsform der Erfindung kann alternativ oder zusätzlich zu der vorgenannten Funktion ein 3D-Positionsbestimmungsverfahren angewendet werden, das neben der Referenzdatenproblematik auch noch die Probleme einer zuverlässigen Merkmalsextraktion überwindet, so dass unscharfe Bilder oder schlechte Kontraste vermieden werden, die zu keinen oder sehr vielen Merkmalen führen würden. In beiden Fällen wäre eine Zuordnung zu den entsprechenden Merkmalen der Referenzstruktur schwierig oder unmöglich. Ein zu langer Ausfall von geeigneten Bildern würde zu einem Trackverlust, d. h. einem dauerhaften Unvermögen des Bilddaten-Vergleichs führen.
-
Erfindungsgemäß werden Bildverarbeitungsfunktionen zur Ermittlung von dreidimensionalen Abweichungen eines Flugzeugs von einem Bahnpunkt verwendet. Mit der Bildvorverarbeitungs-Vorrichtung werden die von der Umgebung des Bahnpunkts erfassten Bilddaten oder die aus einem Referenzmodell der Umgebung des Bahnpunkts gespeicherten Bilddaten gedreht und verzerrt, um aus einem Bildvergleich, also dem Vergleich der erfassten und der gespeicherten Bilddaten, die dreidimensionale Information über die aktuelle Flugkörperposition oder Abweichung des Flugkörpers von dem Bahnpunkt zu ermitteln. Die Flugführungsvorrichtung kann mit einer Betriebsart ausgestattet sein, mit der dreidimensional bestimmte Flugmanöver in Bezug auf den Bahnpunkt vorgegeben sein können.
-
Durch die Erfindung werden Funktionen für die Durchführung von Textur-Korrelationen durch Schätzung der translatorischen Bewegung des Flugzeugs aufgrund Bild-Informationen einer Abfolge von erfassten Bildern sowie durch Schätzung der dreidimensionalen Position des Flugzeugs aufgrund von Bild-Informationen, die aus dem Referenzmodell abgeleitet werden, so dass die Durchführung von Textur-Korrelationen in Echtzeit realisierbar ist. Zusammen mit den Ergebnissen aus der Merkmalsextraktion und Merkmalsvergleich (Matching) aus den Bild-Informationen mehrer Bilder der Abfolge von erfassten Bildern der Umgebung des Bahnpunktes und aus einem Referenzmodell der Umgebung des Bahnpunktes können Steuerungskommandos zur Erfüllung von anspruchsvollen Lenkgesetzen, die Entfernungsinformation erfordern erzeugt werden. Weiterhin wird durch die erfindungsgemäße Lösung mit einer Kombination der Durchführung von Merkmalsextraktion und Merkmalsvergleich (Matching) aus den Bild-Informationen mehrer Bilder und von Textur-Korrelationen eine gegebenenfalls beschränkte Sensitivität bezüglich der Genauigkeit des Referenzmodells kompensiert, so dass Flugführungsfunktionen mit der erforderlichen Genauigkeit ausgeführt werden können.
-
Diese Kombination kompensiert bei der Merkmalsextraktion entstehende Probleme, z.B. unscharfe Bilder oder schlechte Kontraste, die zu keinen oder sehr vielen Merkmalen führen können, wodurch jeweils eine Zuordnung zu den entsprechenden Merkmalen der Referenzstruktur oder dem Referenzmodell schwierig oder unmöglich ist. Ein dadurch möglicher zu langer Ausfall von geeigneten Bildern und einem Trackverlust, d. h. einem dauerhaften Unvermögen des Merkmalsvergleichs oder Matchings und somit einer Verfolgung einer Reihe von anzusteuernden Bahnpunkten, wird dadurch verhindert.
-
Nach der Erfindung ist ein Flugführungsverfahren eines Flugzeugs vorgesehen zur Hinführung desselben an ein mittels Bildinformationen vorgegebenes Zielobjekt und insbesondere an ein Objekt am Boden und/oder eine Umgebung eines vorgegebenen Zielpunkts am Boden, aufweisend die folgenden Schritte:
- • Durchführung einer Modellprojektion eines vorgegebenen Referenzmodells des Zielobjekts oder eines Teils des Zielobjektes oder der Umgebung des vorgegebenen Zielpunktes, bei der aufgrund der aktuellen Blickrichtung des Flugzeugs eine Projektion des Referenzmodells oder des Teils desselben auf eine Bildebene erzeugt wird, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts oder der Umgebung durch einen Bildsensor des Flugzeugs basiert, wobei Informationen zur aktuellen Blickrichtung des Flugzeugs aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden,
- • aus den Bildinformationen eines aktuellen oder quasi-aktuellen Bildes (B1) einer zeitlichen Abfolge von erfassten Bildern (B1, B2, B3) vom Zielobjekt oder der Umgebung und aus den in der Modellprojektion ermittelten Projektionsinformationen Durchführung einer Textur-Korrelation sowie aus Ermittlung einer geschätzten aktuellen Flugzeug-Zielobjekt-Relativposition relativ zur Position des Zielobjektes,
- • Durchführung einer Textur-Korrelation mit Bildinformationen eines aktuellen Bildes und Bildinformationen für ein Bild (B2), das als zeitlich früher angesehen wird als das jeweils aktuelle Bild (B1), jeweils aus der zeitlichen Abfolge von erfassten Bildern (B1, B2, B3) und Ermittlung einer geschätzten Ist-Bewegungsrichtung und Ist-Geschwindigkeit des Flugzeugs insbesondere relativ zur Position des Zielobjektes,
- • aufgrund der geschätzten Ist-Bewegungsrichtung und der Ist- Geschwindigkeit des Flugzeugs sowie aufgrund von Informationen zur aktuellen Position des Flugzeugs insbesondere relativ zum Zielobjekt Durchführung eines Schätzverfahrens zur Schätzung einer Information der aktuellen Flugzeug- Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und einer Bewegungsrichtung und eines Ist-Geschwindigkeitsvektors des Flugzeugs insbesondere relativ zum Zielobjekt und Übermittlung der Flugzeug- Zielobjekt-Relativposition und des Ist-Geschwindigkeitsvektors an ein Lenkungsmodul,
- • in dem Lenkungsmodul aufgrund der ermittelten Flugzeug-Zielobjekt-Relativposition und des ermittelten Ist-Geschwindigkeitsvektors Erzeugung von Steuerungskommandos an Stellantriebe zur Betätigung von aerodynamischen Steuerungsmitteln des Flugzeugs, um das Flugzeug zum Zielobjekt zu führen.
-
Erfindungsgemäß kann vorgesehen sein, dass die Informationen zur aktuellen Position des Fluggeräts und insbesondere relativ zum Zielobjekt und/oder die aktuelle Flugzeug-Zielobjekt-Relativposition des Flugzeugs und/oder die Position des Zielobjekts über Peildaten insbesondere durch das Flugführungssystem ermittelt werden.
-
Nach einer erfindungsgemäßen Ausführungsform des Flugführungsverfahrens ist vorgesehen, dass das Zielobjekt ein Objekt am Boden und/oder eine Umgebung eines vorgegebenen Zielpunkts am Boden ist.
-
Nach einer erfindungsgemäßen Ausführungsform des Flugführungsverfahrens ist vorgesehen, dass zur Durchführung des Schätzverfahrens die Information der aktuelle Position des Flugzeugs, die vorzugsweise eine absolute Position und alternativ auch eine relative Position, insbesondere eine Position relativ zur Position des Zielobjekts von einer optional nach der Erfindung vorgesehenen Kommunikationsplattform übermittelt wird.
-
Nach einer erfindungsgemäßen Ausführungsform des Flugführungsverfahrens ist vorgesehen, dass das Flugführungsverfahren zusätzlich aufweist:
- • Durchführung einer Merkmalsprojektion zumindest eines Merkmals des vorgegebenen Referenzmodells, bei der aufgrund der aktuellen Blickrichtung des Flugzeugs eine Projektion des Merkmals des Referenzmodells auf eine Bildebene erzeugt wird, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts durch einen Bildsensor des Flugzeugs basiert, wobei Informationen zur aktuellen Blickrichtung des Flugzeugs aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden,
- • Durchführung einer Merkmalsextraktion zur Extrahierung von Bildinformationen eines jeweils aktuellen Bildes, die Merkmalen des jeweiligen Bildes entsprechen, und Identifzierung von korrespondierenden Merkmalen des jeweils aktuellen Bildes und des Referenzmodells in der Merkmalsprojektion sowie Ermittlung von Disparitäten zwischen den jeweils verglichenen Merkmalen,
- • aufgrund der Disparitäten zwischen den jeweils verglichenen Merkmalen Ermittlung Ermittlung einer Position und/oder Lage des Flugzeugs im Raum,
- • mit dieser ermittelten Position und/oder Lage des Flugzeugs im Raum Durchführung eines Schätzverfahrens zur Schätzung einer Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und/ oder einer Bewegungsrichtung und/oder eines Ist-Geschwindigkeitsvektors des Flugzeugs insbesondere relativ zum Zielobjekt und Übermittlung der Flugzeug-Zielobjekt-Relativposition und/oder des Ist-Geschwindigkeitsvektors an ein Lenkungsmodul.
-
Nach einem weiteren Aspekt der Erfindung ist ein Flugführungsverfahren eines Flugzeugs vorgesehen zur Hinführung desselben an ein mittels Bildinformationen vorgegebenes Zielobjekt und insbesondere an ein Objekt am Boden und/oder eine Umgebung eines vorgegebenen Zielpunkts am Boden, aufweisend die folgenden Schritte:
- • Durchführung einer Merkmalsprojektion zumindest eines Merkmals des vorgegebenen Referenzmodells, bei der aufgrund der aktuellen Blickrichtung des Flugzeugs eine Projektion des Merkmals des Referenzmodells auf eine Bildebene erzeugt wird, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts durch einen Bildsensor des Flugzeugs basiert, wobei Informationen zur aktuellen Blickrichtung des Flugzeugs aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden,
- • Durchführung einer Merkmalsextraktion zur Extrahierung von Bildinformationen eines jeweils aktuellen Bildes (B1), die Merkmalen des jeweiligen Bildes entsprechen, und Identifizierung von korrespondierenden Merkmalen des jeweils aktuellen Bildes (B1) und des Referenzmodells in der Merkmalsprojektion sowie Ermittlung von Disparitäten zwischen den jeweils verglichenen Merkmalen,
- • aufgrund der Disparitäten zwischen den jeweils verglichenen Merkmalen Ermittlung einer Position und Lage des Flugzeugs im Raum,
- • mit dieser ermittelten Position und Lage des Flugzeugs im Raum Durchführung eines Schätzverfahrens zur Schätzung einer Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und einer Bewegungsrichtung und eines Ist- Geschwindigkeitsvektors des Flugzeugs insbesondere relativ zum Zielobjekt und Übermittlung der Flugzeug-Zielobjekt-Relativposition und des Ist- Geschwindigkeitsvektors an ein Lenkungsmodul,
- • in dem Lenkungsmodul aufgrund der ermittelten Flugzeug-Zielobjekt-Relativposition und des ermittelten Ist-Geschwindigkeitsvektors Erzeugung von Steuerungskommandos an Stellantriebe zur Betätigung von aerodynamischen Steuerungsmitteln des Flugzeugs, um das Flugzeug zum Zielobjekt zu führen.
-
Nach einem weiteren Aspekt der Erfindung ist ein Flugführungssystem eines Flugzeugs zur Hinführung desselben an ein mittels Bildinformationen vorgegebenes Zielobjekt und insbesondere an ein Objekt am Boden und/oder eine Umgebung eines vorgegebenen Zielpunkts am Boden vorgesehen, das Flugführungssystem aufweisend:
- • ein Bildsensor-Modul zur Erzeugung einer zeitlichen Abfolge von Bildern des Zielobjekts oder entsprechender Bildinformationen,
- • ein Referenzmodell-Modul, in dem ein dreidimensionales Referenzmodell des Zielobjekts oder der Umgebung des Zielpunktes abgespeichert ist
- • ein Modellprojektions-Modul mit einer Funktion, mit der aufgrund der jeweils aktuellen Blickrichtung des Flugzeugs auf das Zielobjekt Projektionsinformationen einer Projektion des Referenzmodells oder des Teils desselben auf eine Bildebene erzeugt werden, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts durch einen Bildsensor des Flugzeugs basiert,
- • ein erstes Texturkorrelations- und Lokalisierungsmodul, das funktional in Verbindung steht mit dem Modellprojektions-Modul (PM-B) zum Empfang der Projektionsinformationen und mit dem Bildsensor-Modul zum Empfang von aktuellen Bildinformationen eines jeweils aktuellen Bildes von dem Zielobjekt, und das eine Funktion aufweist zur Ermittlung einer Korrelation zwischen dem Projektionsinformationen und den aktuellen Bildinformationen eines jeweils aktuellen Bildes von dem Zielobjekt und eine Funktion, die darauf basierend eine geschätzte aktuelle Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjektes ermittelt,
- • ein zweites Texturkorrelations- und Lokalisierungsmodul, das funktional in Verbindung steht mit dem Bildsensor-Modul zum Empfang von von diesem erfassten Bildern (B1, B2, B3), und das aufweist: eine Funktion zur Ermittlung einer Textur- Korrelation zwischen Bildinformationen eines aktuellen Bildes (B1) und Bildinformationen für ein Bild (B2), das als zeitlich früher angesehen wird als das jeweils aktuelle Bild (B1), und eine Funktion zur Ermittlung einer geschätzten Ist- Bewegungsrichtung und Ist-Geschwindigkeit des Flugzeugs insbesondere relativ zur Position des Zielobjektes aufgrund der jeweils ermittelten Textur-Korrelation,
- • ein funktional mit dem ersten und dem zweiten Texturkorrelations- und Lokalisierungsmodul zum Empfang der geschätzten aktuellen Flugzeug-Zielobjekt-Relativposition und der geschätzten Ist-Bewegungsrichtung und Ist-Geschwindigkeit des Flugzeugs und einem Navigationsmodul zum Empfang von Flugzeug-Positionsinformationen in Verbindung stehendes Filtermodul, das eine Funktion aufweist zur Schätzung einer Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und eines Ist-Geschwindigkeitsvektors des Flugzeugs insbesondere relativ zum Zielobjekt jeweils auf der Basis der empfangenen Daten,
- • ein Lenkungsmodul, das eine Funktion aufweist zur Erzeugung von Steuerungskommandos an Stellantriebe zur Betätigung von aerodynamischen Steuerungsmitteln des Flugzeugs aufgrund der Flugzeug-spezifischen Lenkgesetze und der ermittelten Flugzeug-Zielobjekt-Relativposition und des ermittelten Ist-Geschwindigkeitsvektors um das Flugzeug zum Zielobjekt zu führen.
-
Nach einer erfindungsgemäßen Ausführungsform des Flugführungsverfahrens ist vorgesehen, dass das Flugführungssystem aufweist: eine funktionale Verbindung zu dem aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden, das mit dem Modellprojektionsmodul funktional verbunden ist, so dass dieses aufgrund der Informationen zur aktuellen Blickrichtung des Flugzeugs eine Projektion des Referenzmodells oder des Teils desselben auf eine Bildebene erzeugen kann.
-
Nach einem weiteren Aspekt der Erfindung ist ein Flugführungssystem eines Flugzeugs zur Hinführung desselben an ein mittels Bildinformationen vorgegebenes Zielobjekt und insbesondere an ein Objekt am Boden und/oder eine Umgebung eines vorgegebenen Zielpunkts am Boden vorgesehen, das Flugführungssystem aufweisend:
- • ein Bildsensor-Modul zur Erzeugung einer zeitlichen Abfolge von Bildern des Zielobjekts oder entsprechender Bildinformationen,
- • ein Referenzmodell-Modul, in dem ein dreidimensionales Referenzmodell des Zielobjekts oder der Umgebung des Zielpunktes abgespeichert ist
- • ein funktional mit dem Referenzmodell-Modul verbundenes Merkmalsprojektions-Modul, in dem aufgrund der aktuellen Blickrichtung des Flugzeugs eine Projektion des Merkmals des Referenzmodells auf eine Bildebene erzeugt wird, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts durch einen Bildsensor des Flugzeugs basiert, wobei Informationen zur aktuellen Blickrichtung des Flugzeugs aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden,
- • zumindest ein Merkmalsextraktions-Modul zur Extrahierung von Bildinformationen eines jeweils aktuellen Bildes (B1), die Merkmalen des jeweiligen Bildes entsprechen, und zur Identifizierung von korrespondierenden Merkmalen des jeweils aktuellen Bildes (B1) und des Referenzmodells in der Merkmalsprojektion sowie Ermittlung von Disparitäten zwischen den jeweils verglichenen Merkmalen,
- • ein Modul zur Ermittlung einer Position und Lage des Flugzeugs im Raum aufgrund der Disparitäten zwischen den jeweils verglichenen Merkmalen,
- • ein Modul zur Durchführung eines Schätzverfahrens zur Schätzung einer Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs insbesondere relativ zur Position des Zielobjekts und einer Bewegungsrichtung und eines Ist-Geschwindigkeitsvektors des Flugzeugs insbesondere relativ zum Zielobjekt und Übermittlung der Flugzeug-Zielobjekt- Relativposition und des Ist-Geschwindigkeitsvektors an ein Lenkungsmodul, wobei die Schätzung aufgrund der ermittelten Position und Lage des Flugzeugs im Raum erfolgt,
- • ein Lenkungsmodul, das eine Funktion aufweist zur Erzeugung von Steuerungskommandos an Stellantriebe zur Betätigung von aerodynamischen Steuerungsmitteln des Flugzeugs aufgrund der Flugzeug-spezifischen Lenkgesetze und der ermittelten Flugzeug-Zielobjekt-Relativposition und des ermittelten Ist-Geschwindigkeitsvektors um das Flugzeug zum Zielobjekt zu führen.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung an Hand der beigefügten 1 beschrieben, die ein funktionales Schaubild einer erfindungsgemäßen Ausführungsform eines Teils des erfindungsgemäßen Flugführungssystems zeigt. Die Figur zeigt eine Ausführungsform des erfindungsgemäßen Flugführungssystems mit einer Basiskonfiguration und einigen optionalen Zusatzfunktionen. Das erfindungsgemäße Flugführungssystem dient der Hinführung des Flugzeugs an ein Zielobjekt oder einen Bahnpunkt mit Bezug auf eine Umgebung desselben am Boden, so dass nach der Definition dieses Begriffes „Zielobjekt“ bei der Darstellung der Erfindung insbesondere auch die Umgebung eines Bahnpunktes, im folgenden auch kurz „Umgebung“ genannt, bezeichnen kann.
-
Die Darstellung der 1 ist nicht so zu verstehen, dass diese die Software- und/ oder Hardware-Realisierung darstellt. Insbesondere sind die dargestellten Funktionskästen Teilfunktionen, die in einem Software-Programm-Produkt realisiert sein können, das insgesamt auf einem Computer oder in Teilen auf mehreren Computern implementiert sein kann.
-
Das Flugführungssystem weist ein Referenzmodell-Modul RM auf, in dem ein dreidimensionales Referenzmodell des Zielobjekts oder der Umgebung des vorgegebenen Zielpunktes, abgespeichert ist. An das Referenzmodell-Modul RM ist funktional ein Modellprojektions-Modul PM-B und optional zusätzlich ein Merkmalsprojektions-Modul PF-B angebunden, um vorbestimmte Bildinformationen des Referenzmodells des Zielobjekts vom Referenzmodell-Modul RM an das Modellprojektions-Modul PM-B und das Modellprojektions-Modul PM-B zu übermitteln.
-
Das Modellprojektionsmodul PM-B weist eine Funktion zur Durchführung einer Modellprojektion des Referenzmodells des Zielobjekts auf eine Bildebene auf. Insbesondere wird dabei, anschaulich ausgedrückt, das Zielobjekt als Gebilde insgesamt oder ein Teil dieses Gebildes in eine Lage gebracht, das der Lage des Zielobjekts relativ zu einem Bildsensor des Flugzeugs entspricht, mit der zu dem jeweiligen Zeitpunkt das Gebilde bzw. der Teil desselben von dem Bildsensor des Flugzeugs oder gesehen erfasst wird. Das Referenzmodell bzw. der Teil desselben wird somit auf eine Bildebene projiziert oder die Bildinformationen werden entsprechend einer Bildebene transponiert, die möglichst und mit in einer in Kauf genommenen Abweichung von der Bildebene abweicht, auf der die Bildinformationen von mit dem Bildsensor gemachten Bildern oder diese Bilder basieren. Dadurch können für das erfindungsgemäße Verfahren von dem mittels der Modellprojektion PM-B aus dem Referenzmodell abgeleitete Bilder oder Bildinformationen über das gesamte Zielobjekt oder eines Teils desselben, die von dem und mittels des Bildsensors erzeugt werden, mit Bildinformationen oder einer Darstellung des gesamten Zielobjekts oder eines Teils desselben verglichen und miteinander korreliert werden, um daraus eine aktuelle Position des Flugzeugs oder eine aktuelle Flugzeug-Zielobjekt-Relativposition in Bezug auf die Position und/oder Lage des Zielobjekts und/oder Ableitungen derselben abzuleiten, also insbesondere zu filtern oder zu schätzen.
-
Zur Durchführung der Modellprojektion PM-B empfängt das Modellprojektionsmodul PM-B eine Information über oder Daten zur Beschreibung einer aktuellen Blickrichtung des Flugzeugs auf das Referenzmodell insbesondere als dreidimensionales Gebilde. Mit dieser Information kann die Funktion zur Durchführung der Modellprojektion des Referenzmodells dasselbe derart projizieren, dass die Bildinformationen des Referenzmodells des Zielobjekts derart projiziert oder transformiert werden können, dass die sich dann aus dem transformierten Referenzmodell ergebenden Bildinformationen mit Bildinformationen vergleichbar sind, die aus einem von einem Bildsensor des Flugzeugs erzeugten Bild des Zielobjekts entnommen oder abgeleitet werden, insbesondere um nachfolgend ein Schätzverfahren oder eine Korrelation zur Ermittlung einer Position, einer Bewegungsrichtung oder einer Geschwindigkeit des Flugzeugs relativ zum Zielobjekt durchführen zu können. Somit wird bei der Durchführung der Modellprojektion des Referenzmodells aufgrund der aktuellen Blickrichtung des Flugzeugs eine Projektion des Referenzmodells oder des Teils desselben auf eine Bildebene erzeugt, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts durch einen Bildsensor des Flugzeugs basiert, wobei Informationen zur aktuellen Blickrichtung des Flugzeugs aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden.
-
Die funktionale Bereitstellung der Informationen der Modellprojektionsdaten des Modellprojektionsmoduls PM-B an eine verfahrentechnisch weitere Funktion ist symbolisch als Funktionslinie mit dem Bezugszeichen 28 in die 1 eingetragen.
-
Das optional mit dem Referenzmodell-Modul RM funktional verbundene Merkmalsprojektions-Modul PF-B weist eine Funktion zur Durchführung einer Projektion von Merkmalen des Referenzmodells des Zielobjekts auf eine jeweilige Bezugs-Bildebene auf. Mit dieser Funktion wird zumindest ein Merkmal des Zielobjekts, die aufgrund des Referenzmodells verfügbar sind oder aus diesem abgeleitet werden, in eine Lage gebracht, das der Lage des Zielobjekts relativ zu einem Bildsensor des Flugzeugs entspricht, mit der zu dem jeweiligen Zeitpunkt das jeweilige Merkmal des Gebildes oder des Referenzmodells von dem Bildsensor des Flugzeugs oder gesehen erfasst wird. Das jeweilige zumindest eine Merkmal des Referenzmodells wird somit auf eine Bildebene projiziert oder die Bildinformationen desselben werden entsprechend einer Bildebene transponiert, die möglichst und mit in einer in Kauf genommenen Abweichung von der Bildebene abweicht, auf der die Bildinformationen von mit dem Bildsensor gemachten Bildern oder diese Bilder bzw. die Merkmale derselben basieren. Dadurch können für das erfindungsgemäße Verfahren von dem mittels der Merkmalsprojektion PF-B aus dem Referenzmodell abgeleitete Bildinformationen des zumindest einen Merkmals, die von dem und mittels des Bildsensors erzeugt oder aus von diesem erzeugten Bildern extrahiert werden, mit Bildinformationen oder einer Darstellung des gesamten Zielobjekts oder eines Teils desselben verglichen und miteinander korreliert werden, um daraus eine aktuelle Position des Flugzeugs oder eine aktuelle Flugzeug-Zielobjekt-Relativposition in Bezug auf die Position und/oder Lage des Zielobjekts relativ zur Lage des Bildsensors oder des Flugzeugs und/oder Ableitungen derselben abzuleiten, also insbesondere zu filtern oder zu schätzen.
-
Zur Durchführung der Merkmalsprojektion empfängt das Merkmalsprojektionsmodul PF-B eine Information über oder Daten zur Beschreibung einer aktuellen Blickrichtung des Flugzeugs auf das Referenzmodell insbesondere als dreidimensionales Gebilde. Mit dieser Information kann die Funktion zur Durchführung der Merkmalsprojektion von zumindest einem Merkmal des Referenzmodells dasselbe derart projizieren, dass die Bildinformationen des zumindest einen Merkmals des Zielobjekts derart projiziert oder transformiert werden kann, dass die sich dann aus dem transformierten Merkmal des Referenzmodells ergebenden Bildinformationen mit Bildinformationen vergleichbar sind, die aus einem von einem Bildsensor des Flugzeugs erzeugten Bild des Zielobjekts mit den jeweiligen Merkmal entnommen oder abgeleitet werden, insbesondere um nachfolgend ein Schätzverfahren oder eine Korrelation zur Ermittlung einer Position, einer Bewegungsrichtung oder einer Geschwindigkeit des Flugzeugs relativ zum Zielobjekt durchführen zu können. Somit wird bei der Durchführung der Merkmalsprojektion PF-B aufgrund der aktuellen Blickrichtung des Flugzeugs eine Projektion des jeweiligen Merkmals des Referenzmodells auf eine Bildebene erzeugt, die mit einer zulässigen Abweichung der Bildebene entspricht, auf der die Erfassung des Zielobjekts durch einen Bildsensor des Flugzeugs basiert, wobei Informationen zur aktuellen Blickrichtung des Flugzeugs aus einem Navigationsmodul oder einem Schnittstellenmodul des Flugführungssystems oder einem Filtermodul insbesondere als Ergebnis eines Schätzverfahrens aus einer früheren Iteration des Flugführungsverfahrens verwendet werden.
-
Die funktionale Bereitstellung der Informationen der Merkmalsprojektionsdaten des Merkmalsprojektionsmoduls PF-B an eine verfahrentechnisch weitere Funktion ist symbolisch als Funktionslinie mit dem Bezugszeichen 27 in die 1 eingetragen.
-
Als Bildsensor kann nach der Erfindung insbesondere eine Infrarot-Kamera, eine Kamera für den sichtbaren Spektralbereich oder ein bildgebender Radarsensor oder eine Kombination einer Mehrzahl eines einzelnen solcher Kameratypen und/oder einer Kombination verschiedener Kameratypen verwendet werden.
-
Mit dem zumindest einen Bildsensor werden in einer zeitlichen Abfolge mehrere Bilder vom Zielobjekt erfasst. Die in einer zeitlichen Abfolge erzeugten Bildern werden in einem oder für einen Zeitraum erzeugt, in dem das erfindungsgemäße Flugführungsverfahren aktiv ist und im Lenkungsmodul LM Stellkommandos zur Bahnsteuerung des Flugzeugs auf der Basis eines erfindungsgemäßen Flugführungsverfahrens zu erzeugen sind. Das Lenkungsmodul ist ein Modul, das z.B. aus der Position und Lage insbesondere relativ zum Ziel die aktuellen Beschleunigungskommandos des Flugkörpers errechnet und insbesondere über einen Flugzustandsregler die Ruderauschläge des Fluggeräts ermittelt oder bestimmt. In der 1 ist von einer solchen zeitlichen Abfolge von Bildern schematisch und beispielartig
- • das Bild B1, das zu einem oder für einen zeitlich aktuellen oder quasi-aktuellen Zeitpunkt erfasst wurde, für den in die 1 die Bezeichnung „T(n)“, also die Bezeichnung eines Zeitpunkts mit dem Index „n“, eingetragen ist,
- • das Bild B2, das zu einem oder für einen zeitlich relativ kurz vor dem aktuellen oder quasi-aktuellen Zeitpunkt und insbesondere dem zeitlich zuletzt vor dem aktuellen Bild erfasst wurde, für den in die 1 die Bezeichnung „T(n-1)“, also die Bezeichnung eines Zeitpunkts mit dem Index „n-1“, eingetragen ist,
- • das Bild B3, das zu einem oder für einen zeitlich relativ weiter vor dem aktuellen oder quasi-aktuellen Zeitpunkt und vor dem Zeitpunkt T(n-1) gelegenen und insbesondere einige Bilder vor dem oder für den Zeitpunkt T(n-1) erzeugten Bild erfasst wurde, für den in die 1 die Bezeichnung „T(n-k)“, also die Bezeichnung eines Zeitpunkts mit dem Index „n-k“, eingetragen ist.
-
Die funktionale Bereitstellungen der Informationen der dargestellten Bilder B1, B2, B3 an eine verfahrentechnisch weitere Funktion sind symbolisch jeweils als Funktionslinien mit den Bezugszeichen 11, 12 bzw. 13 in die 1 eingetragen.
-
Unter „quasi-aktuell“ wird hier ein Zeitpunkt verstanden, der real nicht der aktuelle Zeitpunkt ist, sondern der während des erfindungsgemäßen Verfahrens insbesondere bezüglich anderer in diesem Verfahren verwendeten Zeitpunkte als aktuell angesehen oder gewertet wird.
-
Jedes erfasste Bild B1, B2, B3 vom Zielobjekt können jeweils insbesondere Bildinformationen sein, die einem jeweils zu einem bestimmten Zeitpunkt erzeugten Bild zugeordnet werden.
-
Nach der Erfindung ist insbesondere ein Bildsensor-Modul mit einem derartigen Bildsensor und einer Sensorsignal-Verarbeitungsvorrichtung vorgesehen, mit der die vom Bildsensor erzeugten Signale in einem jeweiligen Zeitpunkt zugeordnete Bildinformationen eines Bildes formatiert oder umwandelt.
-
Eine Ausführungsform des Flugführungssystems nach der Erfindung weist ein erstes Textur-Korrelationsmodul T3-TK1, T3-S1 auf, das über eine Signalleitung funktional in Verbindung steht mit dem Modellprojektionsmodul PM-B zum Empfang der Projektionsinformationen, die sich bei einer Projektion des Referenzmodells oder des Teils desselben auf eine Bildebene aufgrund der jeweils aktuellen Blickrichtung des Flugzeugs auf das Zielobjekt ergeben, und mit dem Bildsensor-Modul zum Empfang von aktuellen Bildinformationen eines jeweils aktuellen Bildes von dem Zielobjekt, und das eine Funktion zur Ermittlung einer Korrelation T3-TK1 und insbesondere Textur-Korrelation zwischen den jeweils erzeugten Projektionsinformationen und den „aktuellen“ Bildinformationen eines jeweils aktuellen Bildes von dem Zielobjekt und eine Funktion T3-S1 aufweist, die darauf basierend eine geschätzte aktuelle Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjektes ermittelt.
-
Die funktionale Verbindung zwischen diesen Funktionen zur Bereitstellung des jeweiligen Zwischenergebnisses von einer Funktion zur nächsten ist symbolisch als Funktionslinie mit dem Bezugszeichen 56 in die 1 eingetragen.
-
Die „aktuelle Flugzeug-Zielobjekt-Relativposition“ kann insbesondere ein aktueller Abstand sein zwischen dem Flugzeug und dem Zielobjekt und optional auch zusammen mit der jeweils aktuellen Blickrichtung des Flugzeugs oder dessen Bildsensor-Moduls auf das Zielobjekt.
-
Unter „Textur-Korrelation“ wird erfindungsgemäß generell eine funktionale Beziehung und insbesondere eine Abweichung zwischen Bildinformationen von zwei Bildern verstanden. Im zuvor genannten Fall oder der zuvor genannten Ausführungsform wird eine funktionale Beziehung und insbesondere eine Abweichung zwischen der sich aus den von dem Modellprojektions-Modul PM-B jeweils erzeugten Projektionsinformationen, die einer Modellprojektion auf die Bildebene entsprechen, und den aktuellen Bildinformationen eines jeweils aktuellen Bildes von dem Zielobjekt, die ebenfalls einer Projektion auf eine Bildebene entsprechen, wobei insbesondere nach dem erfindungsgemäßen Verfahren die Bildinformationen derart transformiert sind, dass die die im Vergleich jeweils zugeordneten Bildebenen innerhalb einer zulässigen Abweichung gleich im dreidimensionalen Raum orientiert sind oder dass die Bildebene der Modellprojektion innerhalb einer zulässigen Abweichung in die Orientierung der vom Bildsensor erzeugten Bild gebracht sind. Die Bildinformationen sind jeweils insbesondere zweidimensionale Zuordnungen von Bildinhalten auf einen Bildbereich. Insbesondere wird erfindungsgemäß unter dem Begriff „Textur-Korrelationsverfahren T“ ein Verfahren zur Verarbeitung der erfassten Bild-Informationen von zumindest zwei Bildern einer Abfolge von Bildern verstanden, bei dem die Bild-Informationen von zumindest zwei Bildern direkt miteinander hinsichtlich von Unterschieden oder einer Veränderung der auf den jeweiligen Bildern wiedergegebenen Textur oder Struktur durchgeführt wird. Dabei werden somit durch direkten Vergleich die unmittelbar entnehmbaren Unterschiede der Texturen von miteinander zu vergleichenden Bildern identifiziert. Die den Bild-Informationen eines jeweils erfassten Bildes entnehmbare Textur kann insbesondere durch die jeweils einem Pixelpunkt des Bildes zugeordneten und bei dem Erfassung eines Bildes durch einen Sensor jeweils entstehenden Pixelwerte auf dem Bild gegeben sein, der z.B. aus dem jeweiligen Pixelpunkt jeweils zugeordneten Helligkeitswert und/oder Farbwert ermittelt werden kann.
-
Nach einer Ausführungsform der Erfindung weist das Flugführungssystem ein zweites Texturkorrelations- und Lokalisierungsmodul T3-TK2, T3-S1 auf, das funktional mit dem Bildsensor-Modul in Verbindung steht zum Empfang von von diesem erfassten Bildern B1, B2, B3 und aufweist:
- • eine Funktion zur Durchführung einer Textur-Korrelation T3-TK2, mit der Bildinformationen eines aktuellen Bildes und Bildinformationen für ein Bild B2, das als zeitlich früher angesehen wird als das jeweils aktuelle Bild B3, miteinander korreliert werden, um einen entsprechenden Zusammenhang zwischen den jeweils miteinander korrelierten oder verglichenen Bildinformationen abzuleiten, und
- • eine Funktion T3-S2 zur Ermittlung einer geschätzten Ist-Bewegungsrichtung und/oder Ist-Geschwindigkeit des Flugzeugs relativ zur Position des Zielobjektes aufgrund der jeweils ermittelten Textur-Korrelation T3-TK2.
-
Die funktionale Verbindung zwischen diesen Funktionen zur Bereitstellung des jeweiligen Zwischenergebnisses von einer Funktion zur nächsten ist symbolisch als Funktionslinie mit dem Bezugszeichen 55 in die 1 eingetragen.
-
Erfindungsgemäß weist das erfindungsgemäße Flugführungssystem ein Filtermodul F-Ges auf, das in Verbindung steht mit:
- • dem ersten Texturkorrelations- und Lokalisierungsmodul T3-TK1, T3-S1 zum Empfang der geschätzten aktuellen Flugzeug-Zielobjekt-Relativposition,
- • dem zweiten Texturkorrelations- und Lokalisierungsmodul T3-TK2, T3-S2 zum Empfang der geschätzten Ist-Bewegungsrichtung und/oder Ist-Geschwindigkeit des Flugzeugs und
- • mit einem Navigationsmodul N (symbolische Funktionslinie 73) zum Empfang von Flugzeug-Positionsinformationen, also der Flugzeug-Position - in zwei Dimensionen eine Horizontalebene oder drei Dimensionen des Raumes - und optional eine oder mehrerer Ableitungen derselben.
-
Das Filtermodul F-Ges weist eine Funktion auf, das auf der Basis der vorgenannten Eingangsgrößen insbesondere aufgrund einer Filterung eine Schätzung einer Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und/ oder einer Bewegungsrichtung und/oder eines Ist-Geschwindigkeitsvektors des Flugzeugs relativ zum Zielobjekt jeweils auf der Basis der empfangenen Daten durchführt.
-
Nach einer Ausführungsform der Erfindung kann vorgesehen sein, dass die jeweils aktuelle Flugzeug-Zielobjekt-Relativposition und die jeweils geschätzte Ist-Bewegungsrichtung und/oder ein zweidimensionaler (in der Horizontalebene) oder dreidimensionaler Ist-Geschwindigkeitsvektor des Flugzeugs aus den Funktionen T3-S2 bzw. T3-S1 einem Filtermodul T3-F mit einer Funktion zur lokalen Filterung zugeführt wird (Funktionslinien 55, 56), die derart ausgeführt ist, dass die von den Modulen jeweils erzeugten Ausgangsgrößen (Funktionslinien 55, 56) zusammengeführt werden und aus den von den Modulen jeweils erzeugten Ausgangsgrößen (Funktionslinien 55, 56) für einen aktuellen Zeitpunkt oder eine aktuelle Iterationsrate jeweils einheitliche Signalwerte ermittelt zur Übermittlung (Funktionslinie 66) an das Filtermodul F-Ges. Die Bildung von einheitlichen, also möglichst für eine Iterationsrate nicht widersprechenden oder zu weit streuenden Signalwerten erfolgt hierbei insbesondere durch eine Mittelung und/oder eine Glättung von Werten, optional mit Hilfe von Navigationsdaten.
-
Nach einer Ausführungsform der Erfindung ist vorgesehen, dass in das Modellprojektionsmodul PM-B und optional in das Merkmalsprojektions-Modul PF-B Informationen über eine aktuelle Blickrichtung des Fluggeräts auf das Referenzmodell und/oder die Position des Fluggeräts, die jeweils in einem der erfindungsgemäß vorgesehenen Module oder einer externen Kommunikationsplattform ermittelt worden ist, eingehen. Nach einer Ausführungsform der Erfindung kann vorgesehen sein, dass die in das Modellprojektionsmodul PM-B und optional in das Merkmalsprojektions-Modul PF-B eingehende Information über eine aktuelle Blickrichtung des Fluggeräts auf das Referenzmodell und/oder die Position des Fluggeräts alternativ oder zusätzlich den folgenden Modulen oder Funktionen entnommen wird:
- • einem spezifischen Filtermodul des Flugführungssystems oder
- • dem Navigationssystem N, das funktionaler Bestandteil des erfindungsgemäßen Flugführungssystem ist oder diesem funktional zugeordnet ist, oder
- • vorzugsweise wie im in der 1 dargestellten Beispiel dem Filtermodul F-Ges (symbolische Funktionsleitung 84).
-
Alternativ kann diese Information einer aktuellen Blickrichtung und/oder Position des Fluggeräts auf das Referenzmodell auch von einer boden- oder wassergestützten oder fliegenden Kommunikationsplattform an ein entsprechendes Empfangsmodul, also generell Schnittstellenmodul des Flugführungssystems übermittelt werden. In diesem Fall wird die Information einer aktuellen Blickrichtung des Fluggeräts auf das Referenzmodell und/oder Position des Fluggeräts über eine entsprechende Signalleitung von dem Empfangsmodul an das Modellprojektionsmodul PM-B und/oder das Merkmalsprojektions-Modul PF-B übermittelt. In dem Fall, dass die Information über eine aktuelle Blickrichtung des Fluggeräts auf das Referenzmodell einem Filtermodul entnommen wird, ist insbesondere vorgesehen, dass diese Information einer früheren und insbesondere der vorigen Iteration eines Schätzverfahrens oder Filterung, also einer früheren oder vorigen Iterationsschleife des erfindungsgemäßen Verfahrens entnommen wird. Für die erste Iteration oder auch zur Stützung dieser Rückkopplungsschleife kann insbesondere vorgesehen sein, dass ein vorbestimmter Wert, der vor Beginn des Flugführungsverfahrens eingegeben wird, für die jeweils durchzuführende Modellprojektion PM-B verwendet wird.
-
Nach einer Ausführungsform des erfindungsgemäßen Flugführungsverfahrens ist also nach Durchführung der Modellprojektion PM-B des vorgegebenen Referenzmodells RM des Zielobjektes, bei der aufgrund der aktuellen Blickrichtung des Flugzeugs projizierter Merkmale des Referenzmodells erzeugt wird, insbesondere vorgesehen:
- • aus den Bildinformationen eines aktuellen Bildes einer zeitlichen Abfolge von erfassten Bildern B1, B2, B3, und aus den in der Modellprojektion PM-B ermittelten Informationen Durchführung einer Textur-Korrelation T3-TK2 mit Ermittlung einer geschätzten Ist-Position des Flugzeugs relativ zur Position des Zielobjektes,
- • Durchführung einer Textur-Korrelation T3-TK1 mit Bildinformationen eines aktuellen Bildes und Bildinformationen für ein Bild B2, das als zeitlich früher angesehen wird als das jeweils aktuelle Bild B1, jeweils aus der zeitlichen Abfolge von erfassten Bildern B1, B2, B3 und Ermittlung einer geschätzten Ist-Bewegungsrichtung und/oder Ist-Geschwindigkeit des Flugzeugs relativ zur Position des Zielobjektes,
- • aufgrund der geschätzten Ist-Bewegungsrichtung und/oder der Ist-Geschwindigkeit des Flugzeugs sowie aufgrund von Positionsinformationen (aus Navigationssystem; zumindest ein Teil aus Position und/oder erste und/oder auch zweite Ableitung davon) Durchführung eines Schätzverfahrens (=Filterung) F-Ges zur Schätzung einer Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und eines Ist-Geschwindigkeitsvektors des Flugzeugs relativ zum Zielobjekt und Übermittlung der Flugzeug-Zielobjekt-Relativposition und des Ist-Geschwindigkeitsvektors an ein Lenkungsmodul LM,
- • in dem Lenkungsmodul LM aufgrund der ermittelten Flugzeug-Zielobjekt-Relativposition und des ermittelten Ist-Geschwindigkeitsvektors sowie aufgrund der Flugzeug-spezifischen Lenkgesetze Erzeugung von Steuerungskommandos an Stellantriebe zur Betätigung von aerodynamischen Steuerungsmitteln des Flugzeugs, um das Flugzeug zum Zielobjekt zu führen.
-
Nach einer Ausführungsform der Erfindung kann auf der Basis des jeweils aktuellen Bildes B1 (symbolische Funktionslinie 65) und auf der Basis von on dem Filtermodul F-Ges erzeugten Daten (symbolische Funktionslinie 85) in einem Referenzbild-Bestimmungsmodul RB ein spezielles Referenzbild und insbesondere gegenüber dem Referenzmodell RM verbessertes abgeleitet werden. Das spezielle oder verbesserte Referenzmodell kann an das Referenzmodell-Modul RM gesendet werden, um das bisherige Referenzmodell durch das verbesserte Referenzmodell zu erstetzen (Funktionslinien nicht eingezeichnet). Das Referenzbild-Bestimmungsmodul RB kann eine Funktion aufweisen, mit der das jeweils aktuelle Bild B1 auf der Basis der im Filtermodul F-Ges ermittelten Information der aktuellen Flugzeug-Zielobjekt-Relativposition des Flugzeugs relativ zur Position des Zielobjekts und/ oder eines Ist-Geschwindigkeitsvektors des Flugzeugs relativ zum Zielobjekt korrigiert wird. Dieses korrigierte Bild und das jeweils aktuelle Bild B1 - oder die diesen Bildern jeweils diesen zugeordneten Bildinformationen - werden einem Textur-Korrelator TK zugeführt (symbolische Funktionslinien 86 bzw. 65), der eine funktionale Beziehung und insbesondere Abweichungen zwischen den Bildinformationen dieser Bilder ermittelt. Diese funktionale Beziehung und insbesondere diese Abweichungen werden dem Lenkungsmodul LM zugeführt (symbolische Funktionslinie 95). Das Lenkungsmodul LM ist bei dieser Ausführungsform derart ausgeführt, das dieses mittels dieser Funktion die Beziehung die Differenz zwischen Flugzeug-Zustandsgrößen und Zustandsgrößen des Zielobjekts oder eine Umgebung eines Bahnpunktes genauer ermittelt und diesen genaueren Werte zur Verbesserung der Lenkung des Flugzeugs verwendet. Hierbei ikann insbesondere vorgesehen sein, dass die jeweils genaueren Werte insbesondere zur Verstärkung von Steuerungskommandos mit einem dem jeweiligen Abweichungswerden entsprechenden verwendet werden. Zu diesem Zweck können auch zusätzlich Navigationsdaten aus dem Navigationsmodul N in der Lenkungsmodul LM zugeführt werden (symbolische Funktionslinie 93).
-
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung ist eine Kombination vorgesehen aus:
- • einer Merkmalsextraktions-Filterungs-Funktionskette auf der Basis einer merkmalsbezogenen Ermittlung von Flugzeugs-bezogenen Daten mit Durchführung eines Merkmalsextraktionsverfahrens und eines Merkmalsvergleichs, oder auch Matching genannt, aus den Bild-Informationen mehrerer Bilder der Abfolge von erfassten Bildern des Zielobjektes oder der Umgebung des vorgegebenen Zielpunktes und aus einem Referenzmodell RM des Zielobjektes bzw. der Umgebung, mit einem Schätzverfahren insbesondere zur Bildung von Flugzustandsdaten des Flugzeugs sowie
- • einer vorangehend beschriebenen Ausführungsform eines Textur-Korrelationsverfahrens T aufgrund der Bild-Informationen einer Abfolge von erfassten Bildern und den Bild-Informationen, die aus dem Referenzmodell mittels aktueller Flugzeug-Zustandsdaten abgeleitet, mit einer Textur-Korrelation T1 zur Ermittlung von Veränderungen der Texturen und daraus Durchführung eines Schätzverfahrens T2 zur Schätzung der translatorischen von Flugzeugbezogenen Daten einschließlich der Bewegung des Flugzeugs in Bezug auf den Bahnpunkt und der dreidimensionalen Position des Flugzeugs.
-
Dadurch werden die Vorteile des Merkmalsextraktions-Verfahrens M1 und des Textur-Korrelationsverfahrens T auf besondere Weise miteinander kombiniert. Das Merkmalsextraktions-Verfahren M1 ermöglicht die Erkennung und Verfolgung eines Bahnpunkts bei klar detektierbaren und bekannten Merkmalen desselben und das Textur-Korrelationsverfahren T erlaubt die Erkennung und Zielverfolgung bei unscharfen Kanten, die sich aus den Bildinformationen der Bilder B1, B2, B3 ergeben können.
-
Dabei wird für einzelne oder jedes Bild B1, B2, B3 mittels eines Merkmals-Extraktionsmoduls T2-ME1, T2-ME2 bzw. T2-ME3 Merkmale extrahiert. Unter dem Begriff „Merkmals-Extraktionsverfahren M1“ wird hierin insbesondere ein Verfahren verstanden, bei dem aus den jeweils erfassten Bildern Merkmalen, wie z.B. Ecken, Kanten oder ausgezeichnete Punkte, aus den jeweiligen Bildern B1, B2, B3 extrahiert werden (sog. Merkmalstracker).
-
In einem Matching-Schritt T2-M1, T2-M2, T2-M3 wird an Hand der aus den jeweiligen Bildern B1, B2, B3 (Funktionslinien 21, 22 bzw. 23) ein Vergleich von Merkmalen gemäß Bildinformationen des jeweiligen vom Sensor erzeugten Bilds B1, B2, B3 mit Merkmalen des vorgegebenen Referenzmodells RM aus der Merkmalsprojektion PF-B (symbolische Funktionslinie 27) vorgenommen. Dabei erfolgt eine Zuordnung von zumindest einer Mehrzahl von Referenzdaten-Merkmalen aus dem abgespeicherten Referenzmodell RM aus der Merkmalsprojektion PF-B jeweils einem der Bildmerkmale eines jeweils erfassten Bildes B1, B2, B3 zuzuordnen.
-
Nach einer Ausführungsform der Erfindung wird für das jeweils aktuelle Bild 1 ein Matching-Schritt T2-M1 vorgenommen und ein Vergleich von Merkmalen gemäß Bildinformationen des jeweiligen vom Sensor erzeugten Bilds B1 mit Merkmalen des vorgegebenen Referenzmodells RM aus der Merkmalsprojektion PF-B (symbolische Funktionslinie 27) durchgeführt. Dabei erfolgt eine Zuordnung von zumindest einer Mehrzahl von Referenzdaten-Merkmalen aus dem abgespeicherten Referenzmodell RM aus der Merkmalsprojektion PF-B jeweils einem der Bildmerkmale eines jeweils erfassten aktuellen Bildes B1 zuzuordnen. Bei anschließend angewendeten Schätzverfahren T2-S3 wird die Veränderung von jeweils aus den erfassten Bildern extrahierten Merkmalen ermittelt.
-
Das Ergebnis des Matchingprozesses T2-M1 kann direkt dem Lokalisierung/Disparitäten-Modul T2-S3 zugeführt werden (symbolische Funktionslinie 34). Die darin enhaltene Lokalisierungsfunktion schätzt aus den zueinander in Beziehung gesetzten Merkmalen direkt die Position und evtl. Lage der Kamera bzw. des Flugzeugs im Raum. Je nach Anwendungsfall kann die Lokalisierung mittels der Lokalisierungsfunktion durch Verwendung bereits ermittelter gefilterter Daten oder Navigationsdaten erleichtert werden. Alternativ oder zusätzlich kann das Lokalisierungs/Disparitäten-Modul T2-S3 eine Funktion aufweisen zur Bestimmung von Disparitäten, die insbesondere Maßzahlen für die Abweichung der zueinander in Beziehung gesetzten Merkmale sein können.
-
Die Ergebnisse können (im Falle von verwendeten Disparitäten ist dieser Schritt obligatorisch) an ein lokales Filter T2-F1 übermittelt werden (symbolische Funktionslinie 44), in dem eine Funktion zur verbesserten Schätzung von Position und gegebenenfalls Lage der Kamera oder des Flugzeugs insbesondere relativ zum Zielobjekt oder der Umgebung des Soll-Bahnpunktes verarbeitet werden. Diese Ergebnisse werden an das Filtermodul F-Ges zur Durchführung des beschriebenen Schätzverfahrens übermittelt (symbolische Funktionslinie 54). Alternativ oder zusätzlich können durch gleichzeitiger Spurbildung (d. h. der Verfolgung der Position von Merkmalen im Bild über zumindest zwei oder mehrere Bilder hinweg und Ermittlung des Positionsverlaufs) bei Bedarf für den Matching-Schritt T2-M1 Informationen über die Güte und Wahrscheinlichkeit des Auftretens von Merkmalen geliefert werden.
-
Nach einem Ausführungsbeispiel der Erfindung wird auch in einem Matching-/ Spurbildungs-Modul T2-M2 ein Matchingprozess und insbesondere ein Vergleich von Merkmalen gemäß Bildinformationen des jeweiligen vom Sensor als aktuell angesehenen Bilds B1 (Bereitstellung gemäß symbolische Funktionslinie 21) mit Merkmalen des mit Merkmalen des früheren oder zeitlichen vorigen Bilds B2 (Bereitstellung gemäß symbolische Funktionslinie 22) durchgeführt. Dabei erfolgt eine Zuordnung von zumindest einer Mehrzahl von Merkmalen des jeweils erfassten aktuellen Bildes B1 mit Merkmalen des Bilds B2. Dabei wird insbesondere die Veränderung von jeweils aus den erfassten Bildern B1, B2 extrahierten Merkmalen ermittelt und einem Schätzmodul T2-S2 bereitgestellt. Das Schätzmodul T2-S2 weist insbesondere eine Schätzverfahren T2-S2 zur Durchführung einer Schätzung der translatorischen Bewegung des Flugkörpers in dem Schätzmodul T2-S2 (Bereitstellung an diese über symbolische Funktionslinie 52). Die translatorische Bewegung kann an das Filtermodul F-Ges bereitgestellt. Das Filtermodul F-Ges kann insbesondere eine Funktion aufweisen, mit der die translatorische Bewegung aus dem Modul T3-S2 mit der in dem in dem Schätzmodul T2-S2 geschätzten translatorischen Bewegung des Flugkörpers abgeglichen wird, z.B. durch Mittelwertbildung. Dadurch können die Schätzverfahren in dem Filtermodul F-Ges verbessert werden.
-
Aufgrund eines optional vorgesehenen Matching-Moduls T2-M3, das eine Funktion zur Durchführung eines Vergleichs von Merkmalen gemäß Bildinformationen des jeweiligen vom Sensor als aktuell angesehenen Bilds B1 (Bereitstellung gemäß symbolische Funktionslinie 21) mit Merkmalen des mit Merkmalen eines zeitlichen vorigen und insbesondere um eine Mehrzahl (n-k) von Bildern oder Iterationsraten früher gelegenen Bilds B3 (Bereitstellung gemäß symbolischer Funktionslinien 21 bzw. 23) aufweist, können die Schätzverfahren in dem Filtermodul F-Ges verbessert werden. In dem Matching-Moduls T2-M3 werden somit Bilder mit größerem zeitlichem Abstand verglichen. Die Maßzahl „k“ kann dabei insbesondere aufgrund einer geforderten Güte definiert sein.
-
Aus diesem Vergleich des Matching-Moduls T2-M3, mit dem insbesondere die Ermittlung von Positionsdifferenzen zumindest eines Merkmals und insbesondere mehrere Merkmale vorgenommen wird, wird einem Fundamentalmatrix-Schätzmodul T2-S3 bereit gestellt (symbolische Funktionslinie 43). Das Fundamentalmatrix-Schätzmodul T2-S3 weist eine Funktion auf, mit der auf der Basis der genannten Merkmals-Abweichung eine numerisch sinnvolle Schätzung der Fundamentalmatrix oder der essentiellen Matrix für die Kamera oder das Flugzeug erfolgt, also der Matrix, die translatorische und rotatorische Bewegungen der Kamera und insbesondere die Epipolargeometrie zwischen mehreren Bildern der Kamera bzw. des Flugzeugs beschreibt.
-
Nach einer Ausführungsform der Erfindung kann vorgesehen sein, dass dem Filtermodul F-Ges die Schätzung der translatorischen Bewegung aus dem Schätzmodul T2-S2 und die geschätzte Fundamentalmatrix aus dem Fundamentalmatrix-Schätzmodul T2-S3 über ein Filtermodul T2-S23 bereitgestellt werden (symbolische Funktionslinien 52, 53, 62). In dem Filtermodul T2-S23 kann insbesondere vorgesehen sein, dass die geschätzte translatorischen Bewegung aus dem Schätzmodul T2-S2 und die geschätzte Fundamentalmatrix durch einen gegenseitigen Vergleich verbessert werden. Insbesondere kann vorgesehen sein, dass dann eine verbesserte Fundamentalmatrix dem Filtermodul F-Ges bereitgestellt wird.
-
Bei erfindungsgemäßen Ausführungsformen werden somit in einer Texturkorrelationszweig-Funktionskette und/oder in einer Merkmalsextraktions-Filterungs-Funktionskette jeweils ermittelten Navigationsdaten des Flugzeugs werden in einer globalen Filtervorrichtung F-Ges fusioniert. Die globale Filtervorrichtung F-Ges kann derart gestaltet sein, dass diese die Position des Flugzeugs relativ zum Ziel, weitere Zustände sind optional die Flugkörperlage sowie der geographische Fehler des Referenzmodells schätzt. Gleichbedeutend mit der Schätzung der Flugkörperposition oder -lage ist die Schätzung der zugehörigen Navigationsfehler. Bei sich bewegenden Bahnpunkten oder Zielen kann mit den erfindungsgemäße vorgesehenen Funktionen und der globalen Filtervorrichtung F auch die Zielbewegung geschätzt werden. Liegen genügend Informationen vor, wird die globale Filtervorrichtung F-Ges zuverlässige Ergebnisse liefern, die direkt für den Anflug oder Endanflug auf den jeweiligen Bahnpunkt genutzt werden können.
-
Sollte - etwa durch ein ungenaues Referenzmodell oder schlechte Kontraste - nach einer erfolgreichen Einweisung durch einen Piloten, der im Flugzeug sitzt oder das Flugzeug fernsteuert, nicht ausreichende Referenzmodell-Übereinstimmungen vorliegen, wird die Endanflugs-Algorithmik mit den Ergebnissen einer zweidimensionalen Texturkorrelations-Filterungsfunktionskette versorgt, die zwar alleine in der Regel keine vollwertige Vermessung der Flugkörperposition relativ zum Ziel leisten kann, da die Entfernungsinformation fehlt oder zu ungenau ist, jedoch wenigstens die Sichtlinien-Drehraten des Flugzeugs an die Endanflugs-Algorithmik weitergeben kann. Diese Informationen reichen für einfache Lenkgesetze wie z.B. eine PN-Lenkung aus, mit denen ein genauer Anflug oder Überflug oder ein genaues Treffen eines Bahnpunktes garantiert werden kann.
-
Bei Bedarf ermöglicht die erfindungsgemäße Vorrichtung mit der Texturkorrelations-Filterungs-Funktionskette und der Merkmalsextraktions-Filterungs-Funktionskette die Gewinnung weiterer Navigationsinformation aus den prozessierten Bilddaten: Sowohl aus der Wanderung von Merkmalen im Bild als auch aus den Veränderung des Bildes selbst lassen sich optional Navigationsinformationen gewinnen, die einer Verschlechterung der Navigation während des Zielanflugs entgegenwirken.
-
Das Lenkungsmodul LM oder die Steuereinheit kann nach einer erfindungsgemäßen Ausführungsform auch außerhalb des Flugzeugs in einem externen Cockpit angeordnet sein, wenn die dem Lenkungsmodul LM bereitgestellten Daten über Funk an das Lenkmodul übermittelt werden. Dabei kann das Lenkungsmodul auf einer Kommunikationsplattform außerhalb des Fluggeräts implementiert sein. Die Kommunikationsplattform kann ein weiteres Fluggerät oder einer Bodenstation oder eine Satelliten-Station oder ein funktionaler Bestandteil jeweils derselben sein, in der jeweils ein solches Lenkungsmodul implementiert ist und das jeweils mit dem erfindungsgemäßen Flugführungssystem oder einem darin funktional integrierten Aktuator-Kommandierungsmodul in einer Kommunikationsverbindung steht. Das Lenkungsmodul ist dabei wie generell hierin ein Modul, das z.B. aus der Position und Lage insbesondere relativ zum Ziel die aktuellen Aktuator-Kommandos wie Steuerklappen-Stellkommandos und/oder Beschleunigungskommandos des Fluggeräts zur Kommandierung der Soll-Beschleunigungen und/oder der Soll-Drehraten des Fluggeräts auf der Basis des erfindungsgemäßen Verfahrens zur Hinführung des Fluggeräts zum jeweiligen Ziel errechnet. Die Steuerklappen-Stellkommandos können dabei insbesondere über einen Flugzustandsregler z.B. als Soll-Ruderausschläge des Fluggeräts ermittelt oder bestimmt werden. Die jeweilige Kommunikationsplattform übermittelt die durch das jeweilige Lenkungsmodul ermittelten Soll-Beschleunigungen und/oder Soll-Drehraten und/oder die insbesondere über einen Flugzustandsregler aus diesen abgeleiteten Soll-Ruderausschläge des Fluggeräts an das erfindungsgemäße Flugführungssystem oder ein darin funktional integriertes Aktuator-Kommandierungsmodul des Fluggeräts, um die Hinführung des Fluggeräts zum jeweiligen Ziel zu erreichen. Diese Ausführungsform nach der Erfindung ist insbesondere vorteilhaft, weil mit dieser eine möglich nachträgliche Präzisierung des Ziels möglich ist. Die Kommunikationsplattform kann dabei aufgrund von dieser selbst ermittelten Informationen wie Sensorbilder aufgrund eigener Sensorik und/oder der Übermittlung entsprechender Zielinformationen durch andere Kommunikationsplattformen wie übermittelter Sensorbilder wie Sensorbilder das jeweilige Ziel und dabei insbesondere ein sich bewegendes Ziel oder in Position und Art zunächst nur grob bekannte Ziele zu spezifizieren.
-
Alternativ oder zusätzlich kann auch ein Sensor wie insbesondere der optische Sensor zu Ermittlung von Sensorbildern von einer solchen Kommunikationsplattform gesteuert werden. Hierbei kann vorgesehen sein, dass die Kommunikationsplattform eine oder mehrer der vorgenannten Informationen ermittelt und aufgrund dieser Daten Soll-Stellungen und insbesondere Soll-Lagen des jeweiligen Sensors relativ zur Fluggerät-Längsachse ermittelt und dieser und/oder Stellkommandos an den jeweiligen Sensor zur Verstellung und/oder Einstellung des Sensors an das Führungssystem des Fluggeräts sendet. Dabei kann weiterhin insbesondere vorgesehen sein, dass die Stellkommandos an den jeweiligen Sensor in Abhängigkeit der Fluglage und/oder der Position des Fluggeräts relativ zum Ziel ermittelt wird. Dadurch kann der Sensor in eine Stellung und/oder Einstellung gebracht werden, bei der das Fluggerät bzw. dessen Flugführungssystem verbesserte oder bisher vorliegende Daten ergänzende Daten oder Informationen wie für das erfindungsgemäße Verfahren benötigte Sensorbilder über das Ziel zur Durchführung des erfindungsgemäßen Verfahrens erhält.
