DE69826860T2

DE69826860T2 - Verfahren und vorrichtung zur visiongewinnung durch virtuelle bilder

Info

Publication number: DE69826860T2
Application number: DE69826860T
Authority: DE
Inventors: G. Richard HOFFMAN; S. Gregory HAWKINS
Original assignee: Raytheon Co
Current assignee: Raytheon Co
Priority date: 1997-07-02
Filing date: 1998-07-01
Publication date: 2005-10-06
Anticipated expiration: 2018-07-02
Also published as: EP0993658A1; DE69826860D1; EP0993658B1; WO1999001845A8; WO1999001845A1

Description

Die vorliegende Erfindung bezieht sich allgemein auf das Bereitstellen eines Bilds einer Szene unter Verwendung von Information von einem Sensor, insbesondere auf ein Verfahren und ein Gerät zum Bereitstellen eines genauen Bilds einer Szene, sogar wenn ein Bereich der Szene durch den Sensor nicht deutlich beobachtbar ist.
Eines der aktuellen Hauptprobleme der Luftfahrt, des Handels wie auch des Militärs besteht darin, maximale Operationsfähigkeit unter ungünstigen Wetterbedingungen bereitzustellen. Sowohl für die kommerzielle als auch die militärische Luftfahrt sind zwei der Haupteinschränkungen die Fähigkeit zu navigieren und die Fähigkeit, ein Ziel innerhalb einer Szene zu sehen. Das Ziel kann beispielsweise das Ende einer Landebahn während des Landens oder ein militärische Ziel unter Angriff und/oder Observierung sein.
Zahlreiche Methodiken wurden durchgeführt und/oder werden zurzeit verwendet oder werden erwogen, die Fähigkeit von im Flugzeug eingebauten Flugzeugsystemen zu verbessern, um unter widrigen Wetterbedingungen zu arbeiten. Eine dieser Methodik besteht darin, zu navigieren, und im Fall eines Militärflugzeugs, Waffen unter Verwendung von Radar zu befördern. Diese Methodik hat zumindest zwei wesentliche Nachteile. Zunächst ist sie abhängig von aktiven Sensoren, welche im Fall eines Militärflugzeugs die Verletzlichkeit des sensor-aufweisenden Luftfahrtsystems in bezug auf entgegenwirkende Ermittlungssysteme vergrößern. Zweitens haben Radarsysteme allgemein eine relative geringe Auflösung, speziell diejenigen, welche in Realzeit arbeiten.
Eine weitere Methodik besteht in der Verwendung optischer Sensoren, beispielsweise Infrarotsensoren (IR-Sensoren) unter der Annahme, dass das Luftfahrtsystem unter den signifikanten Widrigkeitswetterzuständen für den Endanflug zur Landebahn oder zum Ziel arbeiten kann. Diese Systeme können jedoch nicht genau arbeiten, wenn die Bedingungen für optische Verwendung (beispielsweise Infrarotverwendung) zu widrig sind.
Es wurden Versuche getätigt und laufen weiter, Radar- und Infrarotbilder zur Verwendung durch die Bedienungsperson eines Luftfahrtsystems zu kombinieren. Eine derartige Alternative besteht darin, eine synthetische Schnappschussausschnitts-Radarkarte (SAR) weit weg vom Ziel zu erhalten, und dann das IR-Bild zu verwenden, um die SAR-Karte zu verbessern. Ein weiter derartiger Vorschlag war derart, die SAR-Karte zu transformieren und diese mit dem Realzeit-IR-Bild zu kombinieren, um die Fähigkeit der Bedienungsperson zu verbessern, Ziele vom Wirrwarr zu unterscheiden. Diese Versuche können bessere Information als die oben beschriebenen Systeme bereitstellen, die lediglich Radar oder Infrarotsensoren alleine nutzen. Widriges Wetter kann jedoch noch die Fähigkeit unmöglich machen oder wesentlich vermindern, um nützliche Information von IR-Sensoren oder von anderen Sensorarten einschließlich Radar zu erhalten. Eine andere Methodik gegenüber der, die praktiziert wird und/oder die aktuell durch den Stand der Technik betrachtet wird, ist für die nächste Generation von ziel-suchenden Luftfahrtsystemen erforderlich, gleich, ob das Ziel eine Luftlandebahn oder ein Militärobjekt ist.
Die EP 47 69 59 beschreibt ein System und ein Verfahren zum Verschmelzen eines Videobilds von mehreren Quellen in Realzeit.
Aus den obigen Ausführungsformen sieht man, dass die Notwendigkeit nach einem Verfahren und einem Gerät aufgetreten ist, um ein genaues Bild einer Szene bereitzustellen, sogar dann, wenn ein Bereich der Szene durch eine Sensoranordnung nicht deutlich erkennbar ist, wobei die Fähigkeit nach Genauigkeit ohne die Verwendung einer aktiven Sensoreinrichtung realisiert wird. Gemäß einem ersten Merkmal der vorliegenden Erfindung wird ein Verfahren und ein Gerät bereitgestellt, die sich auf diese Notwendigkeit richten, und die aufweisen:
Veranlassen, dass ein Sensor Information einer Szene erzeugt, die Information enthält, die für einen Gegenstand von Interesse repräsentativ ist, und Information, die für einen anderen Gegenstand repräsentativ ist; gekennzeichnet durch
Aufrechterhalten virtueller Bildinformation einer besten Schätzung der Szene einschließlich des Schritts, um erste virtuelle Information, die für den Gegenstand von Interesse repräsentativ ist, und zweite virtuelle Information, die für den anderen Gegenstand repräsentativ ist, separat aufrechtzuerhalten;
Aktualisierung der virtuellen Bildinformation unter Verwendung der Sensorbildinformation in einer Weise, welche die Qualität der Darstellung des Gegenstands von Interesse in der ersten virtuellen Information und die Qualität des anderen Gegenstands in der zweiten virtuellen Information verbessert; und
Vorbereiten kombinierter Bildinformation durch Kombinieren von Information von der Sensorbildinformation mit Information von der ersten virtuellen Information, wobei die kombinierte Bildinformation ein Bild des Gegenstands von Interesse aufweist.
Gemäß einem zweiten Merkmal der vorliegenden Erfindung wird ein Verfahren bereitgestellt, welches folgende Schritte aufweist:
Veranlassen, dass ein Sensor eine Sensorbildinformation einer Szene erzeugt, die Information aufweist, die für einen Gegenstand von Interesse repräsentativ ist, und Information, die für ein anderen Gegenstand repräsentativ ist; gekennzeichnet durch
Aufrechterhalten virtueller Bildinformation einer besten Schätzung der Szene, welches den Schritt aufweist, die erste virtuelle Information separat aufrechtzuerhalten, die für den Gegenstand von Interesse repräsentativ ist, und die zweite virtuelle Information, die für den anderen Gegenstand repräsentativ ist;
Aktualisieren der virtuellen Bildinformation unter Verwendung der Sensorbildinformation in einer Weise, welche die Qualität der Darstellung des Gegenstands von Interesse in der ersten virtuellen Information und die Qualität des anderen Gegenstands in der zweiten virtuellen Information verbessert; und
Vorbereiten einer Ausgabebildinformation, die Information von der ersten virtuellen Information umfasst, wobei die Ausgabebildinformation ein Bild des Gegenstands von Interesse umfasst.
Kurzbeschreibung der Zeichnungen
1 ist ein Blockdiagramm eines Systems, welches realitäts-aktualisierte virtuelle Bildsynthetikvision gemäß der vorliegenden Erfindung bereitstellt;
2 ist ein weiteres Blockdiagramm des Systems von 1, bei dem ein Teil des Systems ausführlicher als in 1 dargestellt ist;
3 ist ein noch weiteres Blockdiagramm des Systems von 1, bei dem ein Teil des Systems ausführlicher als in 1 und 2 dargestellt ist;
4 ist ein Blockdiagramm, welches einen Teil eines Prozesses, der in 3 dargestellt ist, insbesondere ein Teil, der ein grobes Sensorbild auf eine zweidimensionale Erdebene projiziert, ausführlicher zeigt;
5 ist ein Blockdiagramm, welches einen Teil des Prozesses ausführlicher zeigt, der in 3 gezeigt ist, insbesondere einen Teil, welcher ein virtuelles Bild hält und welcher Draufsichten von Karten und eines bestimmten Terrains und von Wolkencharakteristiken abschätzt;
6 ist ein Blockdiagramm, welches ausführlich einen Teil des Prozesses zeigt, der in 5 gezeigt ist, insbesondere einen Teil, welcher Wolkengeschwindigkeit schätzt; und
7 ist ein Blockdiagramm, welches ausführlicher einen Teil des Prozesses zeigt, der in 3 gezeigt ist, insbesondere einen Teil, welcher ein geschätztes projiziertes Terrainbild zurück zu Sensorbildkoordinaten liefert.
Ausführliche Beschreibung der Erfindung
1 ist ein Blockdiagramm eines Systems, welches die vorliegende Erfindung verkörpert. Das System 10 erzeugt ein Bild, welches eine Kombination von Realbildinformation und virtueller Bildinformation ist, wie ausführlicher später erläutert wird. Bei der offenbarten Ausführungsform ist das System in einem Flugzeug angeordnet, welches grafisch mit 11 angedeutet ist. Das System 10 könnte jedoch alternativ in irgendeiner anderen Fahrzeugart vorgesehen sein, oder bei einer Anwendung verwendet werden, wo dieses stationär angeordnet ist.
Das System 10 besitzt einen Sensor 12, einen Kardanring 13, der den Sensor 12 für eine gesteuerte Bewegung in bezug auf das Flugzeug 11 lagert, ein Navigationssystem 14 für das Flugzeug 11 und einen Prozessor 17, der Ausgangssignale vom Sensor 12, vom Kardanring 13 und vom Navigationssystem 14 empfängt und verarbeitet. Der Prozessor 17 kann ein Computer bekannter Bauart sein, der Software besitzt, um die Information, die vom Sensor 12, vom Kardanring 13 und vom Navigationssystem empfangen wird, zu verarbeiten, wobei die Software Bereiche 21–24 umfasst, die später erläutert werden. Der Kardanring 13 ist optional, da der Sensor 12 fest im Flugzeug befestigt werden kann, solange, wie die feste Orientierung des Sensors in bezug auf das Flugzeug bekannt ist. Es ist jedoch vorteilhaft, wenn der Kardanring vorgesehen wird.
Der Sensor 12 in der offenbarten Ausführungsform ist ein zweidimensionaler Infrarotdetektor, der manchmal auch als starrender Matrixdetektor bekannt ist. Der Sensor 12 könnte anstelle davon ein eindimensionaler Infrarotdetektor mit einem Abtastmechanismus sein. Es könnte alternativ möglich sein, eine Sensorenbank oder eine andere Art von Sensor zu verwenden.
Der Sensor 12 gibt Infrarotbildinformation an den Prozessor 17 aus. Bei der offenbarten Ausführungsform schließt dies eine Serie von zweidimensionalen Infrarotbildern ein, wobei jede durch mehrere Pixel definiert ist. Idealerweise kann das System 10 nacheinander jedes dieser Bilder in Realzeit verarbeiten. Wenn notwendig, kann jedoch die Bildinformation vom Sensor 12 zeitweilig abgetastet werden, beispielsweise durch Auswählen und Verarbeiten jedes zweiten Bilds und der Rest gelöscht werden.
Der Kardanring 13, der den Sensor 12 im Flugzeug 11 bewegbar lagert, gibt Information an den Prozessor 17 aus, welche die laufende Orientierung des Sensors 12 in bezug auf das Flugzeug 11 zeigt. Das Navigationssystem des Flugzeugs gibt Information an den Prozessor 17 aus, welche die Höhe, die Geschwindigkeit und die Lage des Flugzeugs in bezug auf einen Zielbereich oder ein Terrain, beispielsweise eine Flugzeuglandebahn zeigt.
Um eine klare Erläuterung der vorliegenden Erfindung zu liefern, sei angenommen, dass das Flugzeug 11 in einer Umgebung ist, bei der es auf einer Luftlandebahn landen soll, mit lediglich kurzen periodischen Abtastungen, die für den Sensor vom Ende der Landebahn und deren Nachbarschaft verfügbar sind. Beispielsweise können während der meisten Zeit eines Anflugs an die Landebahn die Landebahn und der Umgebungsbereich teilweise oder voll vom Sensor durch dazwischen liegende Wolken verdeckt sein. Dieses Szenario wurde willkürlich ausgewählt, und es wird erkannt, dass es zahlreiche andere Szenarien geben wird, bei dem das System 10 verwendet werden könnte. Außerdem könnte die plötzliche eintretende Hauptursache etwas anderes sein als Wolken, beispielsweise Staub oder Sand, der durch den Wind aufgewirbelt wird.
Das Flugzeug ist mit dem Prozessor 17 ausgerüstet, der Daten von einer virtuellen Datenbank 23 empfangen kann und Daten darin speichern kann. Die virtuelle Datenbank 23 enthält Daten zum Anzeigen des Landebahnziels als Funktion des Abstands vom Landebahnziel und als Funktion der Orientierung des Flugzeugs in bezug auf das Landebahnziel. Das Flugzeug ist außerdem mit dem Sensor 12 ausgestattet, der Daten zum Ausführen einer Anzeige des Landebahnziels liefert. Das Navigationssystem 14 liefert Navigationsdaten, welche von GPS, INS und/oder an Bord befindlicher Instrumentation bereitgestellt werden, und liefert daher Lokalisierungsdaten zum Prozessor 17. Der Prozessor 17 akzeptiert die virtuellen Daten 23 von der Datenbank, die Navigationsdaten vom Navigationssystem 12 und die Sensordaten vom Sensor 12, deren Akzeptierbarkeit durch das Qualitätsschätzorgan 22 in einer Weise ausgewertet wird, die später beschrieben wird. Der Prozessor nutzt diese Information bei 21, um die virtuellen Daten 23 zu aktualisieren und zu verbessern und um ein Bild 31 des Landebahnziels bereitzustellen, welches angezeigt werden kann. Beim Schätzen der relativen Qualität der Information vom Sensor 12 und der virtuellen Daten 23 kann das Qualitätsschätzorgan 22 Attribute berücksichtigen, beispielsweise das Signal-Rausch-Verhältnis, das Frequenzansprechen des Sensors und Signalübertragungsumgebung, den Frequenzinhalt der Daten und/oder andere Faktoren.
Bei der erläuterten Ausführungsform basiert das Ausgangsbild 31 auf einer Kombination von virtuellen Daten 23 und einem aktuellen Bild vom Sensor 12. Der Prozessor 17 nutzt die virtuellen Daten 23 (bis zu dem Ausmaß, mit dem diese verfügbar sind), um das Ausgangsbild 31 zu bilden, wobei der Rest des Ausgangsbilds 31 aus groben Daten vom laufenden Bild vom Sensor 12 gebildet sein kann. Die Art und Weise, mit der dies bewirkt wird, wird später ausführlicher beschrieben.
Alternativ könnte jedoch das Ausgangsbild 31 auf dem laufenden Bild vom Sensor 12 basieren, bis zu dem Ausmaß, dass das Bild akzeptierbar oder verlässlich ist. Bis zu dem Ausmaß, dass die gesamte Information vom Sensor 12 als verlässlich erscheint, kann die Szeneninformation gesehen durch den Sensor 12 in die virtuellen Daten 23 zur Verwendung für den Fall eingebracht sein, dass virtuelle Daten später erforderlich sind, und die laufende Szene kann als Ausgangsbild 31 bereitgestellt werden. Wenn die Daten vom Sensor 12 als nichtakzeptierbar oder unverlässlich für jedes Pixel oder jede Gruppe von Pixeln erscheinen, können dagegen die berechneten Daten diese Pixel substituieren. Die Anzahl von Pixeln, die unverlässliche Daten in einem beliebigen Zeitpunkt bereitstellen, kann von null bis zur gesamten Szene sein. Die virtuellen oder berechneten Daten werden durch den Prozessor 17 von den virtuellen Daten 23 bereitgestellt, die auf der Basis der Flugzeuglage, Geschwindigkeit und Orientierung in bezug auf das Ziel in diesem Zeitpunkt basieren, wenn diese durch Navigationsdaten vom System 14 und früheren Sensordaten bereitgestellt werden, um dadurch die virtuelle oder erwartete Szene oder den Szenenbereich bereitzustellen. Diese Prozedur wird mit einer vorher festgelegten Rate wiederholt, welche die Rate ist, mit der der Sensor 12 Bilder ausgibt. Beispielsweise kann dies eine Rate von 20 Hz sein, wobei die letzten verlässlichen Daten (virtuell und real) für jedes Pixel mit mathematischer Aktualisierung anstelle von oder in Verbindung mit den Daten, die für dieses Pixel von früheren Szenen gespeichert sind, verwendet werden. Alle diese Annäherungen liefern fortlaufend eine genaue Realzeitanzeige und/oder Daten, welche die Szene vom Flugzeug zeigen. Dieses Verfahren verbessert den Sicherheitsfaktor beim Landen eines Flugzeugs unter widrigen Wetterbedingungen wesentlich.
2 ist eine weitere grafische Ansicht des Systems 10 von 1, welche eine ausführlichere grafische Darstellung der Software aufweist, welche im Prozessor 17 ausgeübt wird. Im Hinblick darauf können beim Systemstart die virtuellen Daten optional mit vorher festgelegten Terraindaten 34 für den Zielbereich von Interesse initialisiert werden. Da diese Initialisierung optional ist, sind die vorher festgelegten Daten 34 mit gestrichelten Linien dargestellt.
Der Prozessor 17 führt zwei Transformationsroutinen 36 und 37 durch. Die Transformationsroutine 36 setzt die Realbildinformation, die vom Sensor 12 erhalten wird, in ein vorher festgelegtes Koordinatensystem um, und die Transformationsroutine 37 setzt virtuelle Daten 23 in das gleiche Koordinatensystem um. Bei der offenbarten Ausführungsform ist die Transformationsroutine 37 aktuell Eins, und die Transformationsroutine 36 setzt die Realbildinformation in das Koordinatensystem um, welches für die virtuellen Daten bei 23 verwendet wird. Die Transformationsroutine 37 ist trotzdem in 2 gezeigt, um ein besseres Verständnis der vorliegenden Erfindung zu ermöglichen.
Das Relativ-Qualitätsschätzorgan 22 arbeitet mit der Realinformation von der Transformationsroutine 36 und mit der virtuellen Information von der Transformationsroutine 37 und möglicherweise mit optionalen externen Qualitätssteuerungsindikatoren 38. Das Schätzorgan gibt Information aus, die bei 24 verwendet wird, um die Realinformation und die virtuelle Information geeignet zu kombinieren, um das Ausgangsbild 31 zu erzeugen, welches reale und virtuelle Information enthält.
In 2 können die Online-Navigations-Daten (NAV) vom Navigationssystem 14 durch ein oder mehrere Hilfssysteme erzeugt werden, die jedoch nicht auf GPS, INS, Bordinstrumentation und dgl. beschränkt sind, deren Ausgangssignale die Position, die Geschwindigkeit, die Lage und mögliche Lageratendaten sind. Diese Navigationsdaten werden normalerweise mit Zeitmarkierungen (Zeitinformation) verknüpft, um Interpolation und Extrapolation der Daten über die Zeit zu unterstützen. Wenn die optional gespeicherten Merkmals-/Terraindaten 34 bereitgestellt werden, wird deren Inhalt dazu verwendet, das Initialisieren und Aktualisieren der virtuellen Daten 23 zu unterstützen. Ansonsten werden die virtuellen Daten 23 durch entweder eine leere Szene oder eine Szene initialisiert, die mit den Anfangsdaten vom Sensor 12 konform ist.
In Verbindung mit den Navigationsdaten vom Navigationssystem 14 werden die Daten, welche vom Sensor 12 und den virtuellen Daten 23 empfangen werden, in das gemeinsame Koordinatensystem durch den Block 36 bzw. 37 transformiert. Wenn dieses gemein same Koordinatensystem entweder mit dem Koordinatensystem, welches durch den Sensor 12 verwendet wird, oder den virtuellen Daten 23 identisch ist, wird die entsprechende Transformation im Block 36 oder im Block 37 zur identischen Transformation, und die Sensormesswerte oder die virtuellen Bilddaten werden im Wesentlichen ungeändert durchgelassen. Die transformierten Sensordaten und das transformierte virtuelle Bild werden dem Block 22 bereitgestellt, der die Qualität der transformierten Sensordaten und der transformierten virtuellen Bilddaten schätzt, und geschätzte Qualitäts- und Wichtungsfaktoren werden dem Block 24 bereitstellt. Der Block 24 aktualisiert die virtuellen Daten 23 und stellt das Ausgangsbild 31 zur Anzeige, zur Speicherung oder zur Übertragung einem oder mehreren externen Systemen bereit, beispielsweise einer automatischen Zielregieeinrichtung oder einem automatischen Zielerkenner.
3 ist eine grafische Ansicht ähnlich 1 und 2, die jedoch die Software, die durch den Prozessor 11 ausgeführt wird, ausführlicher zeigt. 3 reflektiert außerdem die Tatsache, dass in der offenbarten Ausführungsform die Transformationsroutine 37 von 2 so ausgewählt wird, eine Übertragungsfunktion zu haben, die effektiv die gleiche ist. Somit ist lediglich die Transformationsroutine 36 gezeigt.
Der Zielbereich wird in einem dreidimensionalen Koordinatensystem, welches effektiv fest gegenüber der Erde ist, innerhalb des Computers dargestellt. Aus Einfachheitsgründen wird dieser lokale Pegelkoordinatenrahmen in dieser Beschreibung als Trägheitskoordinatenrahmen bezeichnet. Mit dem Sensor 12 ist ein dreidimensionaler Sichtlinien-Koordinatenrahmen (LOS) verknüpft, der gegenüber dem Sensor 12 fest ist und eine Achse senkrecht zur Abtastebene des Sensors 12 besitzt. Das Flugzeug oder eine andere Plattform, auf welcher der Kardanring 13 den Sensor 12 lagert, wird hier als "Eigenbereich" (ownship) bezeichnet. Der Kardanring 13 wird dazu verwendet, den Sensor 12 in bezug auf den "Eigenbereich" auszurichten, so dass der Sensor 12 einen Zielbereich auf dem Boden sehen kann, beispielsweise das Ende einer Flugzeuglandebahn. Eigenbereich-Lagen vom Navigationssystem 14 und Kardanring-Winkelmesswerte in Verbindung mit der Position des Sensors 12 werden als Eingangssignale dem Block 41 der Transformationsroutine 36 bereitgestellt. Der Block 41 verwendet diese dann, um eine mathematische Drehmatrix 3 × 3 zu berechnen, welche Transformationen zwischen dem Trägheitskoordinatenrahmen und dem Sensorsichtlinien-Koordinatenrahmen (LOS) ausführen kann. Diese Drehmatrix wird dem Block 42 bereitgestellt, der die Matrix verwendet, gemeinsam mit den Sensorkennlinien (beispielsweise das Blickfeld oder die Anzahl von Pixeln in jeder Achse), den Vektor vom Eigenbereich zum Zielbereich im Trägheitskoordinatenrahmen, und das grobe Sensorbild (d.h., das gemessene Sensorbild), um das grobe Sensorbild auf eine zweidimensionale Grundebene zu projizieren. Im Hinblick darauf wird die Abtastebene des Sensors 12 üblicherweise nicht parallel zur Ebene sein, welche den Zielbereich annähert. Sie ist daher das Bild vom Sensor, das effektiv in die Ebene des Zielbereichs projiziert wird, was hier auch als Grundebene bezeichnet wird. Die Art und Weise, mit der dies ausgeführt wird, wird später ausführlicher beschrieben.
Das projizierte grobe Sensorbild und die Eigenbereich-Trägheitsgeschwindigkeit werden dem Block 22 bereitgestellt, der diese verwendet, die virtuellen Daten 23 zu aktualisieren, die geschätzte zweidimensionale Gitterebenen-Draufsichtkarten der Wolke (Wolken) und des Geländes zeigen. Das geschätzte Draufsicht-Terrainbild wird als Ausgangssignal zur möglichen Anzeige und/oder weiteren Verarbeitung bereitgestellt. Die Drehmatrix, das geschätzte Draufsicht-Terrainbild, die Sensorkennlinie, der Eigenbereich zum Zielvektor und das grobe Sensorbild werden dem Block 24 bereitgestellt, der diese nutzt, um ein geschätztes Terrainbild zurück zum Sensorbildrahmen zu projizieren und der das kombinierte Bild 31 zur Anzeige und/oder zur weiteren Verarbeitung erzeugt.
4 ist eine grafische Ansicht, die den Block 42 von 3 ausfuhrlicher zeigt. Insbesondere zeigt 4 einen Prozessorgrafikbetrieb, bei welchem das grobe Sensorbild als Textur interpretiert wird und auf ein Bildgitter in der Bodenebene projiziert wird. Diese Sensorkennlinie einschließlich des Sensorfeldblickwinkels (FOV) und die Anzahl von Pixeln in jeder Achse werden dem Block 46 bereitgestellt, der diese verwendet, eine Beschreibung eines Texturpolygons im Sensorsichtlinien-Koordinatenrahmen zu bilden, wo die Textur dem groben Sensorbild (d.h., dem gemessenen Sensorbild) entspricht. Es sei angemerkt, dass der Block 46 nichts mit dem tatsächlichen Bild zu tun hat, sondern lediglich die Ecken des Sensorpolygons mit den Pixelkoordinaten der Ecken des groben Sensorbilds verknüpft.
Die Beschreibung des Textursensorpolygons und der Drehmatrix in bezug auf die Trägheit und die Zeilensicht-Koordinatenrahmen werden dem Block 47 bereitgestellt, der die Matrix verwendet, das Polygon zum Trägheitskoordinatenrahmen zu drehen. Das resultierende Polygon wird dem Block 49 bereitgestellt, welcher Z-Ausschneiden durchführt. Das Z-Ausschneiden ist ein Prozessorgrafikbetrieb, bei dem Polygone gegenüber nahen und/oder weiten Ausschneideebenen geprüft werden, und dann die Bereiche des zugeführten Polygons, die sich über die Ausschneideebene (Ebenen) erstrecken, entfernt oder "ausgeschnitten" werden. Der Block 49 führt lediglich Nahebenen-Ausschneiden durch. Weitebenen-Ausschneiden wird bei der offenbarten Ausführungsform nicht verwendet. Als ein Beispiel des Z-Aus schneidens kann ein Bereich des Sensorbilds einen Teil des Himmels darstellen, der nicht genau in den Bereich der Grundebene übertragen werden kann, die dem Zielbereich entspricht. Folglich wird dieser Bereich des Sensorbilds beseitigt oder ausgeschnitten und nicht übertragen.
Das Z-ausgeschnittene Polygon und der Vektor, der vom Eigenbereich zum Zielbereich im Trägheitskoordinatenrahmen zeigt, werden dem Block 51 bereitgestellt, der das Polygon auf die zweidimensionale Trägheitsgrundebene projiziert. Anders ausgedrückt werden die dreidimensionalen Koordinaten eines Polygons in zweidimensionale Koordinaten in der Grundebene umgesetzt. Das projizierte Polygon und der Vektor, der vom Eigenbereich zum Zielbereich im Trägheitskoordinatenrahmen zeigt, werden dem Block 53 bereitgestellt, der die projizierten Polygonkoordinaten auf den zweidimensionalen Terrainfleck überträgt, dessen Erscheinungsform geschätzt wird.
Das übertragene Polygon wird dann dem Block 55 bereitgestellt, der das XY-Ausschneiden gegenüber dem Umriss des Terrainflecks durchführt. XY-Ausschneiden ist ein Prozessorgrafikbetrieb ähnlich in einigen Merkmalen dem oben beschriebenen Z-Ausschneiden. Beim XY-Ausschneiden werden diejenigen Bereiche des zugeführten Polygons, die außerhalb eines angrenzenden Rechtecks (in diesem Fall die äußere Linie des Terrainflecks) liegen, abgeschnitten, bevor das resultierende Polygon als Ausgangssignal bereitgestellt wird. Anders ausgedrückt hat der Zielbereich oder der Terrainfleck von Interesse eine bekannte Grenze, und Bereiche des übertragenen Eingangspolygons, die außerhalb dieser Grenze liegen, werden ausgeschnitten oder vom Eingangspolygon entfernt. Das XY-ausgeschnittene Polygon wie auch das grobe Sensorbild werden dann dem Block 57 bereitgestellt, der das projizierte grobe Sensorbild auf ein zweidimensionales Gitter in der Grundebene liefert. Anders ausgedrückt wird es üblicherweise nicht eine eins-zu-eins Pixelausrichtung zwischen dem groben Sensorbild und dem Zielbereich geben, und der Block 57 führt daher eine Interpolation oder einen Vergleichsbetrieb durch, um die Information vom Pixelformat des Sensorbilds in das Pixelformat des Zielbereichs und der Grundebene zu übertragen.
5 ist ein Blockdiagramm, welches die Arbeitsweise des Blocks 22 und 23 in 3 ausführlicher zeigt. Insbesondere beschreibt 5, wie das projizierte grobe Sensorbild dazu verwendet wird, das geschätzte Draufsicht-Terrainbild und die geschätzte Draufsicht-Wolkenübertragungskarte und Wolkenhelligkeitskarte zu aktualisieren. Die bevorzugte Ausführungsform umfasst eine vereinfachte Variation eines erweiterten Kalman-Filters. Bei diesem vereinfachten Filter sind die Messwerte die Helligkeit der Pixel (Pixelelemente) in dem projizierten Draufsicht-Sensorbild, und die Zustandsschätzungen sind Elemente von 3 zweidimensionalen Gruppen, die entsprechend Schätzwerte von (1) der Terrainhelligkeit, (2) der Wolkenübertragung, und (3) der Wolkenhelligkeit enthalten. Diese Gruppen können als 3 zweidimensionale Gitter betrachtet werden, wo die Wolkenübertragungs- und die Helligkeitsgitter dem Terrainhelligkeitsgitter überlagert werden können.
In 5 werden das projizierte grobe Draufsicht-Sensorbild und die Eigenbereich-Trägheitsgeschwindigkeit dem Block 59 bereitgestellt, der die Wolkengeschwindigkeit in der zweidimensionalen Ebene schätzt, wie ausführlicher später beschrieben wird. Wenn die Zeit weitergeht, werden die Gruppen, welche die Wolkenübertragung und die Wolkenhelligkeitsschätzungen enthalten, bedient, um den Übergang realer Wolken über dem realen Terrain zu simulieren. In der Kalman-Filterterminologie wird dies als "Statusverbreitung" bezeichnet und wird allgemein durch die Matrixgleichung dargestellt: x ^– – k = Φk-1x ^k-1 + Σk-1υk-1.
Die bevorzugte Ausführungsform führt diese Operation in Matrixform nicht durch, da es einfacher und schneller ist, explizit die Komponenten der Wolkenübertragungsgruppe und der Wolkenhelligkeitsgruppe zu bewegen, als die Φ_k-1-Matrix zu bilden (was später beschrieben wird) und dann die Φ_k-1-Matrix mit dem x ^_k-1-Vektor zu multiplizieren. In dieser Gleichung bezeichnet der Ausdruck Σ_k-1υ_k-1 die Wirkung einer externen Steuerung, oder allgemeiner einen bekannten Eingangsausdruck. Bei der bevorzugten Ausführungsform ist dieser Ausdruck immer null. Der Ausdruck x ^_k-1 zeigt die Zustandsschätzung vom vorherigen Zeitschritt. Der Ausdruck Φ_k-1 wird allgemein als Statusverbreitungsmatrix oder Statusübertragungsmatrix bezeichnet. Ihr Zweck besteht darin, die vorherige Statusschätzung zum Zeitpunkt der laufenden Schätzung zu verbreiten (d.h., zu extrapolieren). Wenn die Matrixgleichung verwendet werden würde, würde die Φ_k-1 Matrix eine dünne Matrix sein, die aus Einsen und Nullen bestehen würde, die in einer Weise angeordnet sind, die Komponenten der Wolkenübertragungsgruppe und der Wolkenhelligkeitsgruppe in einer Weise zu bewegen, dass diese mit der geschätzten Wolkengeschwindigkeit konform sind. Da es jedoch einfacher und schneller ist, explizit die Elemente der Wolkenübertragungs- und der Wolkenhelligkeitsgruppen zu bewegen, wird die Φ_k-1-Matrix bei der bevorzugten Ausführungsform nicht gebildet.
Zusätzlich werden die Randbereiche der zweidimensionalen Wolkenübertragungs- und Wolkenhelligkeitsgruppen, die hereinkommende vorher nicht gesehene Wolkenbereiche zeigen, mit vernünftigen Anfangswerten initialisiert. Das Ergebnis der Statusverbreitungsoperation ist die verbreitete (d.h., der extrapolierte) Statusschätzung vor der Einbindung irgendwelcher laufender Messwerte. Der Verbreitungsstatus-Schätzvektor wird symbolisch als x ^ – / k bezeichnet, wobei das Minusvorzeichen in der Überschrift zeigt, dass der Verbreitungsstatus-Schätzvektor dies ist, und das herabgesetzte Zeichen k zeigt, dass dieser mit dem k-ten Zeitschritt verknüpft ist.
In der Kalman-Filtertheorie gibt es eine P-Matrix, welche die Statusschätzfehler-Kovarianzmatrix ist. Die Elemente der P-Matrix werden ebenfalls in einer ähnlichen Weise verbreitet (d.h. extrapoliert), und eine nominale Prozess-Rausch-Matrix wird der P-Matrix in jedem Zeitschritt hinzugefügt (normalerweise mit der Videorahmenrate). Die nominale Prozess-Rausch-Matrix wird allgemein außerdem als "Anlagen-Rausch-Matrix" oder symbolisch als Q . / k-1 bezeichnet, wobei k der Zeitschrittindex ist.
In der Kalman-Filterterminologie wird dies als "Kovarianz-Matrix-Ausbreitung" bezeichnet und allgemein durch folgende Matrixgleichung dargestellt: P– – k = Φk-1Pk-1ΦTk-1 + Q.k-1
In diesem Ausdruck ist P_k-1 die Statusschätzfehler-Kovarianz-Matrix vom vorherigen Rahmen. Die Φ_k-1-Matrix ist die oben beschriebene Statusverbreitungsmatrix. Die Q . / k-1 -Matrix ist die Prozess-Rausch-Matrix mit Varianz-Werten längs der Diagonalen und Nullen irgendwo. Die verbreitete P-Matrix wird symbolisch als P – / k bezeichnet, wobei das Minusvorzeichen in der angehobenen Position zeigt, dass dies die ausgebreitete P-Matrix ist, und das nach unten gesetzte Zeichen k zeigt, dass diese mit dem k-ten Zeitschritt verknüpft ist. Die bevorzugte Ausführungsform führt diese Operation in Matrixform nicht durch, da es einfacher und schneller ist, die Komponenten der P-Matrix explizit zu bewegen und die Prozess-Rausch-Komponenten bevorzugt hinzuzufügen, als die Φ_k-1 Matrix zu bilden und die Matrixmultiplikations- und die Matrixadditionsoperationen durchzuführen.
Wenn neue Teile einer Wolke den Bereich betreten, der durch die Statusschätznetze abgedeckt ist und wenn vernünftige Anfangsschätzungen für die neue Wolkenübertragungs- und Wolkenhelligkeitswerte erzeugt werden, werden die entsprechenden P-Matrixeinträge auf Werte festgelegt, die einen hohen Unzuverlässigkeitswert zeigen. Diese Ausbreitungsoperationen sind als Block 61 dargestellt, bei dem die Wolkengeschwindigkeit vom Block 59 verwendet wird, um Verbreitung mittels eines geeigneten Betrags entsprechend dem aktuellen Zeitschritt durchzuführen. Ausführlicher ausgedrückt werden das projizierte grobe Draufsichtsensorbild, die geschätzte Wolkengeschwindigkeit, das geschätzte Draufsicht-Geländebild vom vorherigen Rahmen, die geschätzte Draufsichtwolkenübertragungs- und Helligkeitskarte vom vorherigen Rahmen, und die P_k-1-Matrixeinträge vom vorherigen Rahmen als Eingänge zu dem Block 61 bereitgestellt, der die P-Matrixeinträge und die geschätzte Draufsichtwolkenübertragungs- und Helligkeitskarte verbreitet (d.h. extrapoliert). Das projizierte grobe Draufsichtsensorbild ist eine optionale Eingabe zum Block 61. Dies kann beim Bilden der Anfangsannahmen für ankommende Wolkencharakteristiken verwendet werden, obwohl dies streng nicht notwendig ist.
In dem besonderen hypothetischen hier verwendeten Zusammenhang, um die vorliegende Erfindung zu erläutern, nämlich die eines Flugzeugs, welches auf einer Landebahn landet, bewegt sich die Landebahn nicht relativ zur Erde, und die Ausbreitung des geschätzten Terrainbilds würde daher zu null werden. Es gibt jedoch andere Zusammenhänge, in denen sich der Gegenstand von Interesse bewegen kann. Beispielsweise wird die Bedienungsperson üblicherweise die Fähigkeit haben, den Terrain- oder Zielbereich in bezug auf die Erde zu verschieben. In dem speziellen hypothetischen Zusammenhang, der in der vorliegenden Erläuterung verwendet wird, kann die Bedienungsperson entscheiden, den Zielbereich längs der Erde zu schieben, um in der Lage zu sein, auf eine andere Landebahn zu schauen, entweder im gleichen Flughafen oder in einem nahe gelegenen Flughafen. In dieser Art von Situation müsste das geschätzte Bild des Gegenstands von Interesse geeignet ausgebreitet werden.
Das projizierte grobe Draufsichtsensorbild, die verbreiteten P-Matrixeinträge, die verbreitete geschätzte Draufsicht-Wolkenübertragungskarte, die verbreitete geschätzte Draufsichtwolken-Helligkeitskarte und das verbreitete geschätzte Draufsichtgeländebild vom vorherigen Rahmen werden dem Block 63 bereitgestellt, der eine Kalman-artige Filterungsoperation durchführt, um die P-Matrixeinträge und außerdem die Statusschätzungen (d.h., das geschätzte Draufsichtgeländebild, die geschätzte Draufsichtwolkenübertragungskarte und die geschätzte Draufsichtwolken-Helligkeitskarte) zu aktualisieren. Der erwartete Messwert bei jedem Pixel auf der Geländefläche wird berechnet folgendermaßen: hi,j(xx →) = (αi,j(ti,j – ci,j) + ci,j)(1 – δx)(1 – δy) + (αi-1,j(ti,j – ci-1,j) + ci-1,j)δx(1 – δy) + (αi,j-1(ti,j – ci,j-1) + ci,j-1)(1 – δx)δy + (αi-1,j-1(ti,j – ci-1,j-1) + ci,1,j-1)δx·δywobei x → einen Vektor stellt, der einen Gesamtstatus-Schätzvektor enthält (Terrainhelligkeit, Wolkenübertragung und Wolkenhelligkeit), δx und δy den Teilversatz in der x- und y-Achse der Wolkenübertragungs- und Helligkeitsnetze in bezug auf das darunterliegende Terrainhelligkeitsnetz darstellen, t_i,j die Terrainhelligkeit bei der (i,y)-Netzkoordinate zeigt (normiert, um zwischen null und eins zu liegen), α_i,y die geschätzte Wolkenübertragung (im Intervall von null bis eins) bei der (i,y)-Netzkoordinate zeigt, und c_i,y die Wolkenhelligkeit (normiert, um zwischen null und eins zu liegen) bei der (i,y)-Netzkoordinate zeigt. Die H_k-Matrix (allgemein als "Beobachtungsmatrix" bezeichnet) wird als Matrix definiert, welche aus Teilherleitungen der Funktion h () besteht, die bei der Statusschätzung ausgewertet wird. Diese Definitionen h () und H_k folgen eng den Definitionen, die bei bekannten erweiterten Kalman-Filtern verwendet werden.
Beim Bilden der offenbarten Ausführungsform der vorliegenden Erfindung bestand eines der Hauptprobleme darin, einen Entwurf zu bilden, der ausgeführt werden könnte, bei Realzeit-Rahmenraten zu laufen. Bei einem wirklichen erweiterten Kalman-Filter könnte vernünftigerweise erwartet werden, einen Statusschätzvektor zur Folge zu haben, der Tausende von Elementen enthält, und eine Statusschätz-Fehler-Kovarianz-Matrix (die P-Matrix), die Millionen von Elementen enthält. Dieser Versuch würde für den Computer eine große Last sein. Die P-Matrix, die in der offenbarten Ausführungsform verwendet wird, ist daher beträchtlich vereinfacht im Vergleich zum herkömmlichen erweiterten Kalman-Filter.
Insbesondere wird die Annahme getroffen, dass die lediglich Nicht-Null-Außerdiagonal-Elemente der P-Matrix die Kovarianz-Ausdrücke sind, die sich auf Wolkenhelligkeit zur Wolkenübertragung im gleichen Gitterpunkt beziehen. Das heißt, dass lediglich die Elemente der P-Matrix, für die erlaubt wird, Nicht-Null-Werte anzunehmen, die geschätzten Varianzen der Fehler in den Geländehelligkeitsschätzungen, die geschätzten Varianzen der Fehler in den Wolkenhelligkeitsschätzungen, die geschätzten Kovarianz zwischen den Fehlern in den Wolkenhelligkeitsschätzungen und die entsprechenden Wolkenübertragungsschätzungen und die geschätzten Varianzen der Fehler in den Wolkenübertragungsschätzungen sind.
Auf der Basis dieser vereinfachenden Annahmen über die Natur der P-Matrix ist es möglich, einen Verstärkungsvektor K zu berechnen, der analog zum Kalman-Verstärkungsfaktor ist: Kk = P–k HTk (HkP–k HTk + Rk)–1 wobei erzwungen ist, dass die P – / k-Matrix spärlich ist, wie oben beschrieben (um dadurch das meiste der Berechnungsbelastung zu eliminieren), H die Beobachtungsmatrix ist, und R ein Skalar ist, der die erwartete Varianz des Messfehlers zeigt. Diese Statusschätzungen werden wie folgt aktualisiert: x ^k = x ^–k + Kk(zk – h(x ^–k ))
Die Elemente der P-Matrix, für die erlaubt wird, dass diese nicht null sind, werden gemäß der folgenden Matrixgleichung aktualisiert: Pk = P–k – KkHkP–k
Die Elemente P – / k und P_k, für die erzwungen wird, immer gleich null zu sein, werden ignoriert. In Wirklichkeit wird kein Speicherplatz für die Elemente P zugeteilt, für die angenommen wird, immer gleich null zu sein. Für jeden zeitlichen Schritt (wobei ein zeitlicher Schritt normalerweise die Umkehrung der Videorahmenrate ist) wird die Ausbreitungsoperationen des Blocks 61 lediglich einmal durchgeführt (und arbeiten über dem gesamten Statusvektor und die P-Matrix). Die Berechnungen im Block 63 von h (), H_k, K_k x ^_k und P_k werden jedoch pixelweise mehrmals pro Zeitschritt durchgeführt, so dass die Inovationskovarianzmatrix (H_kP – / kH T / k + R_k) in Wirklichkeit eine einfache skalare Menge sein wird. Dies vermeidet das Invertieren einer großen Matrix, wodurch die Prozessordurchsatzerfordernisse vermindert werden und eine Ausbildung zugelassen wird, welche bei Videorahmenraten laufen kann.
Aus verschiedenen Gründen müssen die Ausgangssignale des Kalman-artigen Filters begrenzt werden und in Richtung auf vernünftige Werte eingestellt werden, oder die Filterausgangssignale neigen dazu, zu divergieren. Das vorläufig-geschätzte Terrainbild, die vorläufig-geschätzte Wolkenübertragungskarte, die vorläufig-geschätzte Wolkenhelligkeitskarte und die aktualisierten P-Matrixeinträge werden daher dem Block 65 bereitgestellt, der die Statusschätzungen in Richtung auf vernünftige Werte einstellt, die Statusschätzungen begrenzt, um zu garantieren, dass diese zwischen minimalen und maximalen Begrenzungen liegen, die P-Matrix-Diagonaleinträge hält, um nicht zu groß zu werden, und die Größe der Außerdiagonalelemente der P-Matrix begrenzt (auf der Basis der erwarteten Fehlervarianzwerte längs der P-Diagonale), um die P-Matrix zu zwingen, positiv bestimmt zu bleiben. Der Ausdruck "positiv bestimmt" bezieht sich auf eine Matrixeigenschaft, wo gesagt wird, dass eine Matrix M mit einer Reihe n und einer Spalte n, welche lediglich Realelemente enthält, als positiv bestimmt wird, wenn oder wenn nur x^TMx > 0 für alle nicht Nullen, real, n Reihe für einen Spaltenvektor x. Es wird angenommen, dass die P-Matrix die Statusschätzfehlerkovarianz zeigt, und die Kovarianz-Matrizen immer positiv halbbestimmt sind (d.h. x^TMx ≥ 0). Es ist allgemein eine Praxis beim Ausführen von Kalman-Filtern, die P-Matrix in einer Weise ähnlich der zu zwingen, um gegen numerische Fehler (beispielsweise Unterlauf) bei den P-Mat rixberechnungen zu wachen, was zu Problemen bei dem Filterbetrieb führen könnte. Ein Ausgangssignal des Blocks 65 ist das geschätzte Draufsicht-Terrainbild.
6 ist eine grafische Ansicht, die die Arbeitsweise des Blocks 59 in 5 ausführlicher zeigt, wobei die Wolkengeschwindigkeit geschätzt wird. Das projizierte grobe Draufsicht-Sensorbild wird dem Block 67 bereitgestellt. Der Block 67 speichert das laufende Eingangsbild und subtrahiert sein vorheriges Eingangsbild vom laufenden Eingangsbild, um ein Delta-Bild zu erzeugen, welches die Differenz zwischen aufeinanderfolgenden Rahmen ist. Dieses Delta-Bild wird dem Block 71 bereitgestellt, der das aktuelle Delta-Bild speichert und der einen zweidimensionalen Korrelations-Betrieb zwischen dem laufenden Delta-Bild und dem vorherigen Delta-Bild durchführt. Dieser Korrelations-Betrieb kann eine echte zweidimensionale Summenprodukt-Korrelation sein, oder sie kann eine ähnliche mathematische Operation sein, beispielsweise das Summieren der Absolutwerte der Unterschiede zwischen den Pixeln in den sequentiellen Delta-Bildern. Als ein spezielles Beispiel kann die Korrelation durch Ausführen einer Fourier-Transformation aller laufenden Delta-Bilder und des vorherigen Delta-Bilds ausgeführt werden, durch Multiplizieren des Ergebnisses einer Fourier-Transformation durch die Hermitian des Ergebnisses des anderen und durch Ausführen einer inversen Fourier-Transformation in bezug auf das Produkt. Der Block 71 speichert das laufende Delta-Bild, so dass es während des nächsten Rahmens verwendet werden kann. Der Block 71 stellt ein grobes Korrelationsprofil (d.h., eine zweidimensionale Matrix) dem Block 73 bereit.
Der Block 69 akzeptiert die Eigenbereichs-Trägheitsgeschwindigkeit und initialisiert das gefilterte Korrelationsprofil beim Starten zur späteren Verwendung durch den Block 73 während der ersten Korrelation nach dem Starten. Der Block 69 ist für den Betrieb des Wolkengeschwindigkeitsorgans nicht streng notwendig, da die gefilterte Korrelationsprofilmatrix einfach auf Null initialisiert werden könnte und das Filter noch arbeiten würde. Da folglich der Block 69 optional ist, ist er in gestrichelten Linien dargestellt. Jedoch wird der Anfangsbetrieb des Wolkengeschwindigkeitsschätzorgans dazu neigen werden, mit Hilfe des Blocks 69 reibungsloser zu laufen. Der Block 73 akzeptiert das anfängliche gefilterte Korrelationsprofil und das grobe Korrelationsprofil und die filtert das gesamte zweidimensionale Korrelationsprofil mit einem Tiefpassfilter. Im Wesentlichen eliminiert der Block 73 zeitliche Spitzen, um das zweidimensionale Korrelationsprofil zu glätten.
Das gefilterte Korrelationsprofil wird im Block 75 bereitgestellt, der den Spitzenwert (Maximum oder Minimum in Abhängigkeit von der Ausführung) in der gefilterten Kor relationsprofilmatrix ermittelt und die Spitzenlage in bezug auf die Teilpixelauflösung interpoliert. In einem Sinn, wenn das Korrelationsprofil vorbereitet wird, führt der Block 71 eine Form von Vergleich des laufenden Delta-Bilds und des vorherigen Delta-Bilds in jeder einer Anzahl unterschiedlicher Positionen in bezug zueinander durch. Danach wählt der Block 75 effektiv den Spitzenkorrelationswert aus, um die bestimmte Relativposition zu identifizieren, die die engste Anpassung zwischen dem laufenden Delta-Bild und dem vorherigen Delta-Bild liefert.
Die interpolierte Spitzenlage (d.h., die auftretende Änderung der Wolkenposition zwischen aufeinanderfolgenden Bildern) wird als grobe gemessene Wolkengeschwindigkeit dem Block 77 bereitgestellt, der den groben Wert mittels eines Filters einer Tiefpassfilterung unterzieht, um die schließliche geschätzte Wolkengeschwindigkeit zu erzeugen. Im Wesentlichen beseitigt der Block 77 zeitliche Störungen in der Lage innerhalb der zweidimensionalen Matrix, welche der Block 75 als Spitzenwert identifiziert. Optional kann der Block 77 auch die Eigenbereichs-Trägheitsgeschwindigkeit empfangen, um den Tiefpassfilterungsbetrieb zu initialisieren und/oder zu unterstützen. Die Verwendung der Eigenbereichs-Trägheitsgeschwindigkeit ist nicht streng erforderlich, jedoch vorteilhaft. Da diese Anschaltung optional ist, ist diese in gestrichelten Linien in 6 dargestellt.
7 ist eine grafische Ansicht, die den Betrieb des Blocks 24 in 3 ausführlicher zeigt. 7 zeigt eine Prozessorgrafikoperation, bei der das geschätzte, projizierte Terrainbild als eine Textur interpretiert wird und auf die Sensorbildebene projiziert wird. Ausführlicher ausgedrückt bildet der Block 79 eine Beschreibung eines Texturpolygons im Trägheitskoordinatenrahmen, wobei die Textur dem geschätzten, projizierten Terrainbild entspricht. Der Block 79 verwendet nicht das aktuelle Bild, sondern verknüpft lediglich die Ecken des Trägheitspolygons mit den Pixelkoordinaten der Ecken des geschätzten, projizierten Terrainbilds. Die Beschreibung des Texturträgheitspolygons und der Drehmatrix in bezug auf die Trägheits- und Sichtlinienkoordinatenrahmen werden dem Block 81 bereitgestellt, der das Polygon in die korrekte Winkelorientierung in bezug auf den Sensorkoordinatenrahmen dreht. Das resultierende Polygon wird dem Block 83 in Trägheitskoordinaten bereitgestellt, gemeinsam mit der Drehmatrix und dem Vektor vom Eigenbereichssensor in bezug auf den Zielbereich. Der Block 83 überträgt das Polygon auf die korrekte Position in bezug auf den Sensor.
Das resultierende Polygon wird im Block 85 bereitgestellt, der das Polygon prüft, um zu verifizieren, dass das gedrehte, umgesetzte Geländebild dem Sensor zugewandt ist.
Unter der Annahme, dass das Terrain dem Sensor zugewandt ist, wird ein unverändertes Polygon dem Block 87 bereitgestellt, der das Z-Ausschneiden durchführt. Das Z-ausgeschnittene Polygon und die Sensorcharakteristik (einschließlich des Sensorblickfelds und der Anzahl von Pixel in jeder Achse) werden im Block 89 bereitgestellt, der das Polygon auf die Sensorbildebene projiziert. Das projizierte Polygon und die Sensorcharakteristik werden dem Block 91 bereitgestellt, der das XY-Ausschneiden in bezug auf die Kontur des Sensorbilds durchführt. Das XY-ausgeschnittene Polygon sowie auch das grobe Sensorbild und das geschätzte projizierte Terrainbild werden dem Block 93 bereitgestellt, der das geschätzte, projizierte Terrainbild mit dem groben Sensorbild kombiniert. Dieser Betrieb kann einige oder alle Pixel im groben Sensorbild durch Pixel vom geschätzten oder virtuellen Bild ersetzen. Alternativ kann dieser das geschätzte Terrainbild mit dem groben Bild mischen, entweder durch Kombination entsprechender Pixel vom groben Bild und dem geschätzten Terrainbild unter Verwendung geeigneter Wichtungsfaktoren oder durch Bringen des geschätzten Terrainbilds in eine andere Farbeebene gegenüber der, die für das grobe Sensorbild verwendet wird. In der offenbarten Ausführungsform bereitet der Block 93 das kombinierte Bild unter Verwendung von Pixeln, die vom geschätzten Terrainbild hergeleitet werden, zu dem Ausmaß vor, dass diese innerhalb des XY-ausgeschnittenen Polygons und des Zielbereichs verfügbar sind, und nutzt Pixel vom groben Sensorbild für Bereiche des Zielbereichs, welche nicht Pixeln des ausgeschnittenen, geschätzten Terrainbilds entsprechen.
Obwohl die offenbarte Ausführungsform Sensorinformation und virtuelle Information bei 24 in 2 kombiniert, könnte es alternativ möglich sein, die Verwendung der Sensorinformation bei 24 zu eliminieren und das Ausgangssignal 31 unmittelbar alleine von der virtuellen Information zu bilden.
Die vorliegende Erfindung liefert eine Anzahl von technischen Vorteilen. Gemäß der vorliegenden Erfindung werden ein Verfahren und Gerät bereitgestellt, welche die Probleme minimieren, die vorher existierenden Systemen, die oben erläutert wurden, anhaften, und welche ein laufend aktuelles Bild des Ziels bereitstellen oder, wenn das Ziel nicht völlig durch die Sensoren beobachtbar ist, ein am besten geschätztes Bild des Ziels oder der Szene bereitstellen. Die beste Schätzung basiert auf zumindest eines Teils von laufenden und/oder früheren Daten, welche von einem Sensor oder einer Gruppe von Sensoren erhalten werden, wobei die Gruppe von Sensoren die gleiche Art oder eine verschiedene Art ist. Die beste Schätzung ist auf einer Normalanzeige, einer Kopfanzeige oder auf einer Helmanzeige anzeigbar, und/oder die Schätzung kann zu einem Prozessor zur Speicherung, Zielerkennung oder zum Aufrufen geliefert werden. Die Position und die Geschwindigkeit des Sensors in bezug auf das Ziel werden dazu verwendet, die Schätzung zeitlich früher zu extrapolieren, wenn die Information der Sensorszene entweder nicht verfügbar oder gänzlich nicht verfügbar ist.
Gespeicherte Datenbankinformation beispielsweise eine digitale Karte kann separat angezeigt werden und/oder kann mit anderen Szenendaten, beispielsweise vom Sensorsystem verschmolzen werden (beispielsweise in Form einer Überlagerung). Die beste Schätzung der Szene vom augenblicklichen Ort des Flugzeugsystems wird angezeigt, sogar, wenn Wolken die Szene verdecken und deren Ermittlung ganz oder teilweise verhindern, wodurch eine Fähigkeit bereitgestellt ist, die enger an einem Gesamtwetterideal liegt.
Obwohl die vorliegende Beschreibung der Erfindung in einem speziellen Zusammenhang eines bemannten Flugzeugs dargestellt wurde, kann die Erfindung auch bei anderen Anwendungen verwendet werden, beispielsweise autonomen oder ferngesteuerten Flugzeugen, der On-Board- oder Off-Board-Verarbeitung von Daten von Orbit-Satelliten und der Beobachtung von Unterwasserobjekten, die durch Wellen verdeckt sind, die sich über die Fläche des Wassers bewegen. Diese Systeme werden angesehen, innerhalb des Rahmens der vorliegenden Erfindung zu liegen.
Die Erfindung liefert eine Datenbank, die eine Beschreibung einer "virtuellen Welt" enthält, die einer Bedienungsperson angezeigt werden kann und/oder einem Prozessor zum Speichern, zur Zielerkennung und zum Melden bereitgestellt werden kann. Da die Sensoranordnung sich durch den Raum (insowohl geradlinigen als auch winkelförmigen Sinne) bewegt, liefert diese Datenbank in Verbindung mit aktualisierter Navigationsinformation Daten zum Extrapolieren der Änderung, die in der Szene auf Grund der Änderung der Perspektive des Sensors stattfinden würde, die bei dem im Flugzeug angeordneten System in bezug auf die Sicht des Ziels stattfinden würde. Wenn neue Sensormesswerte ankommen, wird die gespeicherte Datenbank ständig aktualisiert und durch den Prozessor betrieben, um ein bestes Schätzergebnis der Szene bereitzustellen. In dem Fall, dass die Daten von der Sensoranordnung unverlässlich werden, beispielsweise, wenn eine Wolke alle oder einen Teil der Szene verbirgt, kann die virtuelle Szene durch irgendeinen Teil der laufenden Sensordaten, die als unverlässlich erscheinen, ersetzt werden. In dem Fall, dass Daten von der Sensorordnung als verlässlich angesehen werden, werden diese verwendet, um die Datenbank, die die gespeicherte virtuelle Welt beschreibt, zu verfeinern. In diesem Fall können entweder die virtuelle Szene, die Sensordaten oder die Kombination von beiden angezeigt oder für weitere Verar beitung verwendet werden. Auf diese Weise und unter Annahme eines Beispiels, dass eine Wolke zeitweilig eintritt und den IR-Datenstrom unterbricht, wird fortgefahren, dass die Bedienungsperson mit einer geschätzten laufenden Anzeige des Zielbereichs in dem geeigneten geometrischen Raum vom augenblicklichen Ort des an Board befindlichen Systems beliefert wird, wobei dies ein "virtuelles Realzeitbild" der Szene und/oder des Ziels ist. Die Szene oder das Ziel können auch von diesen Daten identifiziert oder klassifiziert werden.
Wenn zwei oder mehrere verschiedene Sensorsysteme verfügbar sind (beispielsweise zwei verschiedene EO-Sensorsysteme oder ein IR-Sensorsystem und ein Radarsensorsystem), werden die Daten von jedem Sensorsystem in einen gemeinsamen Koordinatensatz transformiert, und die Daten von den beiden Sensorsystemen werden danach verschmolzen und angezeigt oder gespeichert, um eine einzelne Szene und/oder Ziel zu zeigen. Alternativ können die Daten von jedem Sensorsystem in einem Überlagerungszustand, beispielsweise in zwei unterschiedlichen Farben, auf einer Kathodenstrahlröhre angezeigt werden, und/oder können in diesem Zustand in einem Prozessor gespeichert werden. Wenn die Daten von zwei unterschiedlichen Sensorsystemen verschmolzen werden, werden die Daten für Pixel von jedem System, die den gleichen Bereich einer Szene darstellen, analysiert und in einer gewichteten Weise kombiniert, wobei das Wichten von der relativen Verlässlichkeit der gemeinsamen Pixel von den beiden Sensorsystemen abhängt. Beispielsweise sind einige der Erwägungen für ein Angriffszenario bei widrigen Wetter, welche das Verfahren, welches für de Sensorverschmelzung gewählt wird, beeinflussen könnten, (1), dass die Verwendung der aktiven Sensorsysteme minimiert werden sollte, um die Verletzbarkeit zu minimieren, (2), dass die typischen widrigen Wetterbedingungen ausreichend intermittierend sind, um zumindest einen gelegentlichen Zugriff auf das Ziel zuzulassen, und (3), dass die Rate des Wechsels der Information ausreichend niedrig sein sollte (vergleichen mit der Anzeigerate), um Zeit zur Verarbeitung der Information, welche von den Sensoren empfangen wird, zuzulassen.
Obwohl die Erfindung im Zusammenhang einer speziell bevorzugten Ausführungsform beschrieben wurde, wird der Fachmann viele Variationen und Modifikationen erkennen, die in den Rahmen der Erfindung fallen, wie in den folgenden Ansprüchen definiert.

Claims

Verfahren, welches folgende Schritte aufweist: Veranlassen, dass ein Sensor (12) Information einer Szene erzeugt, die Information enthält, die für einen Gegenstand von Interesse repräsentativ ist, und Information, die für einen anderen Gegenstand repräsentativ ist; gekennzeichnet durch Aufrechterhalten virtueller Bildinformation (23) einer besten Schätzung der Szene einschließlich des Schritts, um erste virtuelle Information, die für den Gegenstand von Interesse repräsentativ ist, und zweite virtuelle Information, die für den anderen Gegenstand repräsentativ ist, separat aufrechtzuerhalten; Aktualisierung der virtuellen Bildinformation (23) unter Verwendung der Sensorbildinformation in einer Weise, welche die Qualität der Darstellung des Gegenstands von Interesse in der ersten virtuellen Information und die Qualität des anderen Gegenstands in der zweiten virtuellen Information verbessert; und Vorbereiten kombinierter Bildinformation (24) durch Kombinieren von Information von der Sensorbildinformation mit Information von der ersten virtuellen Information, wobei die kombinierte Bildinformation ein Bild des Gegenstands von Interesse aufweist.
Verfahren nach Anspruch 1, welches den Schritt aufweist, eine Anzeige der kombinierten Bildinformation (24) bereitzustellen.
Verfahren nach Anspruch 1 oder 2, wobei die Sensorbildinformation eine Folge von Bildern aufweist, und wobei die Schritte zum Aktualisieren und Vorbereiten für jedes der Bilder in der Sensorbildinformation durchgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Vorbereitungsschritt durch Überlagern eines Teils der Sensorbildinformation und eines Teils der ersten virtuellen Information ausgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der Vorbereitungsschritt durch selektives Substituieren von Pixeln von einer von der Sensorbildinformationen und der ersten virtuellen Information für entsprechende Pixel in einem Bild von der anderen davon ausgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Aktualisierungsschritt die Schritte zum Ermitteln in der Sensorbildinformation eines sich bewegenden Gegenstands aufweist, welcher sich in bezug auf den Gegenstand von Interesse bewegt, wie durch den Sensor (12) gesehen, und welcher zwischen dem Sensor (12) und dem Gegenstand von Interesse angeordnet ist, wobei der andere Gegenstand den sich bewegenden Gegenstand aufweist.
Verfahren nach Anspruch 6, welches den Schritt aufweist, den Sensor (12) in einem Flugzeug (11) vorzusehen, wobei der Gegenstand von Interesse auf der Erde angeordnet ist und der sich bewegende Gegenstand Wolken aufweist.
Verfahren nach Anspruch 7, wobei der Aktualisierungsschritt die Schritte umfasst, in der zweiten virtuellen Information ein geschätztes Bild der Wolkenhelligkeit und ein geschätztes Bild der Wolkentransparenz aufrechtzuerhalten, und ein geschätztes Bild des Gegenstandes von Interesse in der ersten virtuellen Information aufrechtzuerhalten.
Verfahren nach Anspruch 8, wobei der Aktualisierungsschritt den Schritt zum Halten einer Zustandsschätz-Fehler-Kovarianz-Martrix umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, welches den Schritt aufweist, Relativbewegung zwischen dem Sensor (12) und dem Gegenstand von Interesse auszuführen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensorbildinformation und die virtuelle Bildinformation (23) entsprechend in Sensor- und virtuellen Koordinatensystemen ausgedrückt werden, und welches den Schritt aufweist, eine Transformation auszuführen, so dass die Sensorbildinformation und die virtuelle Bildinformation (23) in einem gemeinsamen Koordinatensystem ausgedrückt werden.
Verfahren nach Anspruch 11, wobei der Schritt zum Ausführen einer Transformation durch Transformation der Sensorbildinformation vom Sensorkoordinatensystem zum virtuellen Koordinatensystem ausgeführt wird; wobei der Aktualisierungsschritt unter Verwendung der transformierten Sensorbildinformation durchgeführt wird; einschließlich des Schritts, Information danach von der ersten virtuellen Information vom virtuellen Koordinatensystem zum Sensorkoordinatensystem zu transformieren, um transformierte virtuelle Information zu erzielen; und wobei der Vorbereitungsschritt im Sensorkoordinatensystem unter Verwendung der Sensorbildinformation und der transformierten virtuellen Information durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Aktualisierungsschritt den Schritt umfasst, Kalman-Filterungs-Verfahren zu verwenden.
Gerät, welches aufweist: einen Sensor (12), welcher Sensorbildinformation einer Szene erzeugt, die Information umfasst, die für einen Gegenstand von Interesse repräsentativ ist, und Information, die für einen anderen Gegenstand repräsentativ ist; und einen Prozessor (17), der auf die Sensorbildinformation vom Sensor anspricht, gekennzeichnet dadurch, dass der Prozessor arbeitsfähig ist, um: virtuelle Bildinformation (23) einer besten Schätzung der Szene aufrechtzuerhalten einschließlich erster virtueller Information, die für den Gegenstand von Interesse repräsentativ ist, und zweiter virtueller Information, die für den anderen Gegenstand repräsentativ ist; die virtuelle Bildinformation (23) zu aktualisieren, wobei die Bildsensorinformation in einer Weise verwendet wird, welche die Qualität der Darstellung des Gegenstands von Interesse in der ersten virtuellen Information und die Qualität des anderen Gegenstands in der zweiten virtuellen Information verbessert; und die kombinierte Bildinformation (24) durch Kombinieren von Information von der Sensorbildinformation mit Information von der ersten virtuellen Information vorzubereiten, wobei die kombinierte Bildinformation ein Bild des Gegenstands von Interesse enthält.
Gerät nach Anspruch 14, welches ein Flugzeug (11) aufweist, an dem der Sensor (12) angebracht ist, wobei der Gegenstand von Interesse auf der Erde angeordnet ist und ein Navigationssystem (14) umfasst, welches betriebsfähig ist, um Navigationsinformation in bezug auf das Flugzeug (11) dem Prozessor (17) bereitzustellen.
Gerät nach Anspruch 15, welches einen Kardanring (13) aufweist, der den Sensor (12) auf dem Flugzeug (11) bewegbar lagert und der betriebfähig ist, dem Prozessor (17) Information bereitzustellen, welche eine laufende Orientierung des Sensors (12) in bezug auf das Flugzeug (11) identifiziert.
Gerät nach einem der Ansprüche 14 bis 16, welches eine Anzeige aufweist, die mit dem Prozessor (17) gekoppelt ist, wobei die Anzeige betriebsfähig ist, eine optische Anzeige der kombinierten Bildinformation (24) bereitzustellen.
Gerät nach einem der Ansprüche 14 bis 17, wobei der Prozessor (17) betriebsfähig ist, die Aktualisierung der virtuellen Bildinformation durch Ermitteln in der Sensorbildinformation (23) der Bewegung des Gegenstands, welcher sich in bezug auf den Gegenstand von Interesse bewegt, wie durch den Sensor (12) gesehen, zu bewirken, und welcher zwischen dem Sensor (12) und dem Gegenstand von Interesse angeordnet ist, wobei der andere Gegenstand den sich bewegenden Gegenstand umfasst.
Verfahren, welches folgende Schritte aufweist: Veranlassen, dass ein Sensor (12) eine Sensorbildinformation einer Szene erzeugt, die Information aufweist, die für einen Gegenstand von Interesse repräsentativ ist, und Information, die für ein anderen Gegenstand repräsentativ ist; gekennzeichnet durch Aufrechterhalten virtueller Bildinformation (23) einer besten Schätzung der Szene, welches den Schritt aufweist, die erste virtuelle Information separat aufrechtzuerhalten, die für den Gegenstand von Interesse repräsentativ ist, und die zweite virtuelle Information, die für den anderen Gegenstand repräsentativ ist; Aktualisieren der virtuellen Bildinformation (23) unter Verwendung der Sensorbildinformation in einer Weise, welche die Qualität der Darstellung des Gegenstands von Interesse in der ersten virtuellen Information und die Qualität des anderen Gegenstands in der zweiten virtuellen Information verbessert; und Vorbereiten einer Ausgabebildinformation (24), die Information von der ersten virtuellen Information umfasst, wobei die Ausgabebildinformation ein Bild des Gegenstands von Interesse umfasst.