EP1505556A1

EP1505556A1 - Verfahren und Vorrichtung zur Erkennung eines Flughindernisses

Info

Publication number: EP1505556A1
Application number: EP04018510A
Authority: EP
Inventors: Holger Dr. Voos; Rene Dr. Koch; Claus Dr. Dähne; Martin Dr. Arndt; Michael Dr. Gross
Original assignee: Bodenseewerk Geratetechnik GmbH
Current assignee: Diehl Defence GmbH and Co KG
Priority date: 2003-08-07
Filing date: 2004-08-05
Publication date: 2005-02-09
Anticipated expiration: 2024-08-05
Also published as: US7061401B2; EP1505556B1; DE502004000085D1; ATE306112T1; US20050109872A1

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erkennung eines Flughindernisses (28,30,32,34) in einer Umgebung (50) eines Fluggeräts (4), insbesondere zur Kollisionswarnung, bei dem Bilder der Umgebung (50) aufgenommen werden, aus den Bildern das Flughindernis (28,30,32,34) erkannt und mit einer Kennung versehen wird und ein der Kennung zugeordnetes Signal (66,68) in einer Bodenstation ausgegeben wird.

Um eine hohe Sicherheit einer durch einen Bodenpiloten oder automatisch ausgeführten Steuerung des Fluggeräts (4) zu gewährleisten, wird vorgeschlagen, dass die Erkennung und die Vergabe der Kennung an Bord des Fluggeräts (4) vorgenommen werden und die Kennung an die Bodenstation gesendet wird.

Description

Die Erfindung geht aus von einem Verfahren zur Erkennung eines Flughindernisses in einer Umgebung eines Fluggeräts, insbesondere eines unbemannten Fluggeräts, bei dem mindestens zwei Bilder jeweils zumindest eines Teils der Umgebung aufgenommen werden, aus den Bildern das Flughindernis erkannt und mit einer Kennung versehen wird und ein der Kennung zugeordnetes Signal in einer Bodenstation ausgegeben wird.

Die Erfindung geht außerdem aus von einer Vorrichtung zur Erkennung eines Flughindernisses in einer Umgebung eines Fluggeräts, insbesondere eines unbemannten Fluggeräts, mit mindestens einer Kameraeinheit zur Aufnahme zumindest eines Teils der Umgebung und einer Auswertevorrichtung zur Erkennung des Flughindernisses und einer Zuordnung einer Kennung zum Flughindernis.

Aus der EP 1 296 213 A1 ist ein Verfahren zur Darstellung eines Flugobjekts bekannt, bei dem eine Umgebung eines unbemannten Fluggeräts mit einer Anzahl von Kameras aufgenommen wird und die Bilder zu einer Bodenstation gesendet und für einen Bodenpiloten auf einer Anzeige dargestellt werden. Der Bodenpilot kann das Fluggerät anhand der dargestellten Bilder steuern, wobei er auf Flugobjekte in der Nähe des Fluggeräts durch Hilfsmittel, wie beispielsweise blinkende Symbole im dargestellten Bild, hingewiesen wird. Das ständige aktive Beobachten von elektronisch erzeugten Bildern, in denen nur gelegentlich ein Flugobjekt erkennbar wird, ist jedoch für einen Bodenpiloten sehr ermüdend, wodurch er seiner Verantwortlichkeit für die Sicherheit des Fluggeräts bezüglich einer Kollisionswarnung nur mit erheblicher Konzentration über eine lange Zeitdauer Rechnung tragen kann.

Der Erfindung liegt daher die Aufgabe zugrunde, ein insbesondere bezüglich der Handhabbarkeit verbessertes Verfahren zur Darstellung eines Flughindernisses anzugeben. Der Erfindung liegt außerdem die Aufgabe zugrunde, eine Vorrichtung anzugeben, mit der ein solches Verfahren in einfacher Weise eingeleitet werden kann.

Die erstgenannte Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem erfindungsgemäß die Erkennung und die Vergabe der Kennung an Bord des Fluggeräts vorgenommen werden und die Kennung an die Bodenstation gesendet wird.

Durch die Übersendung der Kennung und gegebenenfalls weiterer Detailinformationen an die Bodenstation wird die dem Bodenpiloten zur Verfügung gestellte Information auf ein notwendiges und sinnvolles Minimum reduziert. Der Bodenpilot steht somit nicht mehr vor der Aufgabe, einen Luftraum um das Fluggerät anhand von Bildern aktiv beobachten zu müssen. Hiermit kann die Effizienz der Arbeit des Bodenpiloten gesteigert und somit die Sicherheit erhöht werden. Durch den Verzicht auf die Übersendung von bewegten Bildern aus der gesamten Umgebung des Fluggeräts wird außerdem die vom Fluggerät an die Bodenstation übermittelte Datenmenge gering gehalten. Die Datenfernübertragung kann somit mit geringer Kapazität und kostengünstig erfolgen.

Als Flughindernisse können Flugobjekte wie Flugzeuge, Helikopter, Ballone oder dergleichen und bodengebundene Gegenstände wie Türme, Gebäude, Brücken, Masten, Kabel usw. erkannt werden. Es ist ausreichend, wenn die Flughindernisse als solche erkannt werden. Die Flughindernisse sollen erkannt werden, wenn sie sich in der Umgebung des Fluggeräts befinden, mithin in einer Entfernung bis maximal 3 km, vorteilhafterweise bis zu 5 km und insbesondere bis zu 8 km, beispielsweise je nach Sichtbedingungen und/oder Größe und Sichtbarkeit des Flughindernisses. Hierzu werden Bilder der Umgebung des Fluggeräts aufgenommen, innerhalb der Flughindernisse vorrangig erwartet werden, beispielsweise in einem Raumwinkelbereich von mindestens 110° in horizontaler Richtung beidseitig einer Längsachse des Fluggeräts und mindestens 30° in vertikaler Richtung beidseitig der Längsachse. Die Bilder werden vorzugsweise von einer passiven Weitwinkelsensorik mit einer hohen Auflösung aufgenommen. Die Sensorik ist so konzipiert, dass in der Umgebung befindliche Flughindernisse in ausreichendem Umfang und in ausreichender Entfernung und mit einer möglichst geringen Falschalarmrate erkannt werden können, um ausreichend Zeit für ein Ausweichmanöver zur Verfügung stellen zu können. Die Auflösung dieser Bilder beträgt zweckmäßigerweise mindestens 2 mrad, insbesondere mindestens 0,3 mrad, was der maximalen fovealen Auflösung des menschlichen Auges entspricht.

Die Bilder, aus denen eine Auswertevorrichtung das Flughindernis erkennt, können durch eine kontinuierliche Aufzeichnung von Bildinformationen entstanden sein. Es ist auch möglich, Bilder in einer beliebigen oder vorgegebenen zeitlichen Taktung aufzunehmen. Dabei können die Bildrate, das Sehfeld und die Auflösung so ausgelegt sein, dass entweder mit einer oder wenigen starr angeordneten Kameras hoher Pixelzahl oder mit einer oder mehreren Kameras mit kleinerer aber ausreichender Pixelzahl und einem zusätzlichen Scannersystem die gewünschte Umgebung abgedeckt wird.

Zur Erkennung des Flughindernisses können zwei oder mehr zeitlich hintereinander aufgenommene Bilder mit Hilfe einer Bildverarbeitungseinheit an Bord des Fluggeräts verarbeitet, beispielsweise miteinander verglichen, werden. Eine Bildverarbeitung an sich, die eine solche Erkennung eines Objekts aus Bildern erlaubt, ist beispielsweise bekannt aus Görz, Rollinger, Schneeberger:"Handbuch der Künstlichen Intelligenz", Oldenbourg Verlag, 2000, Kapitel 21.4. Es können zur Erkennung auch zwei oder mehr Bilder, die in einem unterschiedlichen Spektralbereich aufgenommen wurden, beispielsweise im visuellen Bereich und im infraroten Bereich, miteinander verglichen werden. Nach der Erkennung wird dem Flughindernis eine Kennung zugeordnet. Eine solche Kennung kann ein Signal, beispielsweise eine Zeichenkette sein. Die Kennung wird anschließend an eine Sendeeinrichtung weitergegeben, die die Kennung an die Bodenstation sendet. Hierbei ist es nicht notwendig, dass die Sendeeinrichtung die Kennung unmittelbar an diejenige Bodenstation sendet, in der ein der Kennung zugeordnetes Signal ausgegeben wird. Die Kennung kann mittelbar über eine weitere Bodenstation, einen Satelliten, oder über ein als Relaisstation dienendes Flugzeug zur ausgebenden Bodenstation übermittelt werden. Dort wird das zugeordnete Signal so ausgegeben, dass der Bodenpilot es wahrnehmen kann, beispielsweise als visuelles Objekt auf einem Anzeigemittel wie einem Bildschirm oder Projektionsgerät, oder als ein akustisches Signal oder beides zusammen. Das Verfahren ist besonders geeignet als Kollisionswarnverfahren einsetzbar.

In einer vorteilhaften Ausgestaltung der Erfindung wird eine Klassifizierung eines Gefahrenpotentials des Flughindernisses an Bord des Fluggeräts vorgenommen. Eine solche Klassifizierung kann einer Steuerungsvorrichtung an Bord des Fluggeräts als Entscheidungsgrundlage dienen, ob ein Eingriff in den momentan geflogenen Kurs ohne einen entsprechenden Befehl eines Bodenpiloten durchgeführt werden soll. Zweckmäßigerweise wird die Klassifizierung des Gefahrenpotentials an die Bodenstation gesendet. Ein Bodenpilot kann auf diese Weise schnell erkennen, ob ein zügiges Eingreifen aufgrund einer Gefahrensituation notwendig ist. Das Gefahrenpotential kann sich aus der Sichtliniendrehgeschwindigkeit, der scheinbaren Größe des Flughindernisses, dessen Veränderungsgeschwindigkeit in den aufgenommenen Bildern, dem Elevationswinkel oder Höhenwinkel, der relative Höhe zum Fluggerät oder einer verbleibenden Reaktionszeit bis zu einer errechneten Kollision ergeben. Auch eine unsichere Erkennung kann eine oder mehrere Kategorien in der Klassifizierung bilden, so dass unsicher erkannte Flughindernisse nur dann an die Bodenstation gemeldet werden, wenn sie ein signifikantes Gefahrenpotential für das Fluggerät darstellen. Hierdurch können Fehlalarme gering gehalten werden. Die Klassifizierung kann in die Klassen "hoch", "mittel" und "gering", in eine feinere oder kontinuierliche Einteilung oder, noch differenzierter, nach unterschiedlichen Arten von Gefahren erfolgen.

Wichtige Informationen zu einem erkannten Flughindernis können gewonnen werden, indem eine Messung mit Bezug auf das Flughindernis mit einem aktiven Messsignal durchgeführt wird. Ein solches Messsignal kann vom Fluggerät ausgesendet werden und ist beispielsweise ein Laserstrahl oder ein Radarsignal. Das Messsignal kann zu einer Entfernungsmessung oder zu einer Messung der Differenzgeschwindigkeit zwischen dem Flughindernis und dem Fluggerät verwendet werden. Solche Messungen können zur Berechnung einer verbleibenden Reaktionszeit bis zu einer möglichen Kollision herangezogen werden. Die gewonnene Information kann an den Bodenpiloten weitergegeben und/oder zur Klassifizierung des Gefahrenpotentials herangezogen werden. Die Durchführung der Messung mit dem aktiven Messsignal kann vom Bodenpiloten gesteuert oder automatisch durchgeführt werden, beispielsweise bei Überschreitung eines vorgegebenen Gefahrenpotentials. Es ist auch möglich, zu jedem erkannten Flughindernis grundsätzlich eine aktive Messung, beispielsweise eine Entfernungsmessung, durchzuführen, wobei diese Art von Messungen zur Nichtberücksichtigung von beispielsweise sich entfernenden Flughindernissen dienen kann, die für einen Bodenpiloten nur von geringem oder keinem Interesse sind. Eine aktive Sensorik hat üblicherweise einen eingeschränkten Sichtbereich, weshalb sie zweckmäßigerweise eigenständig bewegbar und auf ein interessierendes Flughindernis einschwenkbar ist.

Als weitere Ausgestaltung der Erfindung wird vorgeschlagen, dass an Bord eine Ausweichtrajektorie ermittelt wird und insbesondere der Ausweichtrajektorie zugeordnete Daten an die Bodenstation übermittelt werden. Durch die Ermittlung der Ausweichtrajektorie an Bord des Fluggeräts entfällt nicht nur die Berechnung einer entsprechenden Ausweichtrajektorie in der Bodenstation, sondern es wird die Grundvoraussetzung für einen Flug des Fluggeräts mit Autopilot ohne einen zwingend notwendigen Funkkontakt zur Bodenstation geschaffen. Hierdurch kann die Sicherheit des Fluggeräts wesentlich erhöht werden, da bei einem Ausfall eines Funkkontakts zwischen einer Bodenstation und dem Fluggerät die Fähigkeit des Fluggeräts erhalten bleibt, selbständig eine Ausweichtrajektorie zu ermitteln und entlang dieser Ausweichtrajektorie zu fliegen. Eine Steuerung des Fluggeräts mit Hilfe eines Autopiloten selbständig um ein Hindernis herum kann dann sinnvoll sein, wenn die Reaktionszeit bis zu einer berechneten Kollision nicht mehr ausreicht, um dem Bodenpiloten die Entscheidungsverantwortung für ein Ausweichmanöver zu übergeben. Bei einer ausreichenden Reaktionszeit werden der Ausweichtrajektorie zugeordnete Daten zweckmäßigerweise an die Bodenstation übermittelt. Einem Bodenpiloten kann die Ausweichtrajektorie als Ausweichvorschlag angezeigt werden.

Vorteilhafterweise wird die Ausweichtrajektorie unter Einbeziehung von an Bord ermittelten Informationen über die Umgebung und/oder die Flugsituation des Fluggeräts ermittelt. Informationen über die Umgebung können weitere erkannte Flughindernisse und insbesondere deren Gefahrenpotential sein oder die das Fluggerät umgebende Landschaft, wie beispielsweise Berge und Täler. Informationen über die Flugsituation können die Geschwindigkeit des Fluggeräts, dessen Lage im Raum, dessen Entfernung von einem Flugziel oder die Stellung von Flugaktuatoren zur Beeinflussung der Flugbahn sein. Auf diese Weise kann verhindert werden, dass das Fluggerät beim Führen entlang der Ausweichtrajektorie in die Gefahr eines Zerschellens, beispielsweise an einem Berg oder an einem weiteren Flughindernis gebracht wird. Informationen über die Umgebung und insbesondere über die Flugsituation des Fluggeräts liegen üblicherweise in einer Bodenstation in nur geringerem Umfang als im Fluggerät vor. Das Berechnen der Ausweichtrajektorie an Bord des Fluggeräts ermöglicht somit die Einbeziehung wesentlich vollständigerer Informationen, als dies üblicherweise bei einer Berechnung in der Bodenstation möglich wäre.

Üblicherweise wird ein Bodenpilot über den Flug auf einer Ausweichtrajektorie entscheiden und ein solches Ausweichmanöver einleiten. Bei einer sehr geringen Reaktionszeit kann es jedoch der Sicherheit des Fluggerät dienlich sein, dass eine Entscheidung, ob das Fluggerät auf einer Ausweichtrajektorie fliegen soll, von einer Steuerungsvorrichtung an Bord des Fluggeräts getroffen wird. Außerdem kann die Handlungsfähigkeit des Fluggeräts bei einer gestörten Kommunikation zwischen dem Fluggerät und der Bodenstation in einer Gefahrensituation erhalten bleiben. Zweckmäßigerweise ist eine solche Automatik vom Bodenpiloten manuell ausschaltbar, damit das Fluggerät nicht unvorhergesehene Ausweichmanöver durchführt, die vom Bodenpiloten explizit nicht gewollt sind.

Dem Bodenpiloten kann als Entscheidungsgrundlage, ob ein Ausweichmanöver eingeleitet werden soll, sinnvolle Zusatzinformation angeboten werden, indem ein das Flughindernis darstellendes Detailbild zur Bodenstation gesendet und dort angezeigt wird. Ein solches Detailbild zeigt nur ein Detail des Gesamtbilds des überwachten Raums. Dem Bodenpiloten wird anhand dieses Detailbilds zusätzlich zur Information in Form eines Symbols ein Realbild, beispielsweise im infraroten oder im visuellen Spektralbereich, gezeigt, anhand dessen er das vom Flughindernis ausgehende Gefahrenpotential besser einschätzen kann. Dieses Detailbild, das das Flughindernis und vorzugsweise einen kleinen Ausschnitt der Umgebung des Flughindernisses darstellt, kann auf Anforderung des Bodenpiloten oder automatisch mit der Kennung zur Bodenstation gesendet werden. Es ist auch möglich, dass das Detailbild ab einem voreingestellten Gefahrenpotential automatisch vom Fluggerät zur Bodenstation übermittelt wird.

Das Detailbild kann durch eine im Fluggerät beweglich angeordnete und auf das Flughindernis richtbare Detailkamera aufgenommen werden. In diesem Fall ist das Detailbild zweckmäßigerweise optisch zoombar, wodurch dem Bodenpiloten das einfache Erkennen des Flughindernisses erleichtert wird. In einer weiteren Ausgestaltung der Erfindung ist das Detailbild ein Bildausschnitt eines zur Erkennung des Flughindernisses verwendeten Bilds. Es kann auf eine zusätzliche Aufnahme des Detailbilds verzichtet und das Detailbild sehr schnell aus vorhandenem Datenmaterial ausgesucht und an die Bodenstation übermittelt werden. Es ist auch möglich, dass das Detailbild zuerst aus vorhandenem Bildmaterial ausgesucht und an die Bodenstation gesendet wird, beispielsweise automatisch mit der Kennung, und auf eine spezielle Anforderung des Bodenpiloten hin zusätzlich eine Detailkamera auf das angegebene Flughindernis gerichtet wird.

Ein weiterer Vorteil kann erzielt werden, indem Bilder, aus denen das Flughindernis erkannt wird, im infraroten Spektralbereich aufgenommen werden. Es können Flughindernisse, die aufgrund von schlechter Sicht oder Dunkelheit für das menschliche Auge nicht zu erkennen wären, erkannt werden. Eine Infrarot-Kameraeinheit kann auf der Basis eines Zeilenscanners oder eines Weitwinkelscanverfahrens konzipiert werden.

Für die Einschätzung des Gefahrenpotentials wichtige Zusatzinformation für den Bodenpiloten kann gewonnen werden, indem das Detailbild in einem Spektralbereich aufgenommen wird, der sich von dem Spektralbereich der zur Erkennung des Flughindernisses verwendeten Bilder unterscheidet. Bei Dunkelheit oder Dämmerung können beispielsweise die zur Erkennung des Flughindernisses verwendeten Bilder im infraroten Spektralbereich aufgenommen sein, wobei das Detailbild zur leichteren Interpretierung im sichtbaren Spektralbereich aufgenommen wird. Umgekehrt ist es auch möglich, dass die zur Erkennung des Flughindemisses verwendeten Bilder im sichtbaren Spektralbereich aufgenommen wurden und der Bodenpilot ein Detailbild im infraroten Spektralbereich anfordert, beispielsweise zur Einschätzung des Gefahrenpotentials des Flughindernisses.

Das Detailbild kann ein Einzelbild sein, das das Flughindernis ähnlich wie ein Foto zeigt. Ebenfalls möglich ist ein durch Bildverarbeitung aufbereitetes Bild mit z.B. nur Konturen. Zweckmäßigerweise wird ein Bewegtbild des Flughindernisses zur Bodenstation gesendet, beispielsweise in der Art eines Videos, wodurch dem Bodenpiloten zusätzliche Information über die Bewegung des Flughindernisses geliefert werden kann.

Die auf die Vorrichtung bezogene Aufgabe wird durch eine Vorrichtung der eingangs genannten Art gelöst, bei der erfindungsgemäß die Auswertevorrichtung elektrisch mit der Kamera und einer Sendeeinrichtung zur Sendung der Kennung an eine Bodenstation verbunden ist. Durch die elektrische Verbindung der Auswertevorrichtung mit der Kamera und der Sendeeinrichtung entfällt die Notwendigkeit der Datenübertragung vollständiger Bilder und damit großer Datenmengen vom Fluggerät zur Bodenstation. Außerdem kann das Fluggerät in einer Gefahrensituation unabhängig von einem Funkkontakt zur Bodenstation geführt werden. Zusätzlich wird die dem Bodenpiloten angebotene Information auf ein wesentliches Minimum beschränkt. Die elektrische Verbindung kann beispielsweise über einen Draht oder mittelbar über eine elektrische Schaltung erreicht werden. Anstelle der elektrischen Verbindung ist ebenso eine mechanische Verbindung zwischen der Auswertevorrichtung und der Kamera und Sendeeinrichtung möglich, beispielsweise indem diese Geräte zur gemeinsamen Anordnung im Fluggerät vorgesehen sind.

Ein Detailbild kann einem Bodenpiloten schnell und mit wenig Aufwand übermittelt werden, wenn die Vorrichtung eine Detailbildeinheit zur Extraktion eines das Flughindernis abbildenden Detailbilds und zur Weitergabe des Detailbilds zur Sendeeinrichtung aufweist.

Zweckmäßigerweise umfasst die Vorrichtung eine erste Kameraeinheit zur Aufnahme eines Gesamtbilds in einem ersten Spektralbereich und eine zweite Kameraeinheit zur Aufnahme eines Bilds, insbesondere eines Detailbilds, in einem vom ersten unterschiedlichen Spektralbereich. Das Bild kann ein Gesamtbild oder ein Detailbild sein, wobei die zweite Kameraeinheit zur Aufzeichnung im visuellen oder infraroten Spektralbereich oder zur Aufzeichnung von reflektierten Laseroder Radarstrahlen vorgesehen ist.

Zeichnung

Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.

Es zeigen:

Fig. 1: ein schematisches Blockdiagramm einer Vorrichtung zur Erkennung und zum Führen eines Fluggeräts,
Fig. 2: eine schematische Darstellung einer Umgebung eines Fluggeräts und
Fig. 3: eine Bildschirmdarstellung der Umgebung aus Fig. 2.

Beschreibung der Ausführungsbeispiele

Figur 1 zeigt in einer Blockdarstellung eine Vorrichtung 2 zur Erkennung und zur Führung eines Fluggeräts 4 (Figur 2), die vollständig an Bord des Fluggeräts 4 angeordnet ist. Das Fluggerät 4 ist ein unbemanntes Fluggerät 4, beispielsweise ein Aufklärungsflugzeug oder Transportflugzeug. In einer Bodenstation 6 sind eine Vorrichtung 8 zur graphischen Darstellung und eine Vorrichtung 10 zur Kommunikation mit einem Bodenpiloten zur Zusammenarbeit mit der Vorrichtung 2 angeordnet. Die Vorrichtung 10 zur Kommunikation mit einem Bodenpiloten umfasst ein Anzeigemittel 12 in Form eines Bildschirms, zwei weitere Bildschirme zur Anzeige von Detailbildern 38, einen weiteren Bildschirm 13 zur schriftlichen Anzeigen von Zusatzinformationen und eine Reihe von Steuermitteln 14 zur Eingabe von Steuerbefehlen.

Durch die gestrichelten Pfeile 16 ist ein Funkkontakt zwischen der Bodenstation 6 und einer Steuerungsvorrichtung 18 der Vorrichtung 2 angedeutet. Zur Kommunikation über Datenfernübertragung mit der Bodenstation 6 umfasst die Steuerungsvorrichtung 18 eine Sendeeinrichtung zur Sendung von Kennungen und eine Empfangseinrichtung. Die Steuerungsvorrichtung 18 ist elektrisch verbunden mit einer Einheit 20 zur Aussendung und zum Empfang von Laserlicht und einer Einheit 22 zur Entfernungsberechnung. Ebenfalls mit der Steuerungsvorrichtung 18 elektrisch verbunden ist eine Kameraeinheit 24 zur Aufnahme eines Gesamtbilds im Spektralbereich des sichtbaren Lichts. Zwischen der Kameraeinheit 24 und der Steuerungsvorrichtung 18 ist eine Auswertevorrichtung 26 angeordnet, die eine Bildverarbeitungseinheit umfasst. Die Auswertevorrichtung 26 ist zur Erkennung eines Flughindernisses 28, 30, 32, 34 (Figur 2) und zur Zuordnung einer Kennung zum Flughindernis 28, 30, 32, 34 vorgesehen. Außerdem umfasst die Vorrichtung 2 eine zweite Kameraeinheit 36, die zur Aufnahme eines Detailbilds 38 vorgesehen ist.

Die Steuerungsvorrichtung 18 ist unter anderem für die Berechnung einer Ausweichtrajektorie 42 (Figur 3) vorgesehen und steht hierzu in einer Datenverbindung mit einer Fluginformationseinheit 44. Die Fluginformationseinheit 44 umfasst Daten über die direkte Umgebung des Fluggeräts 4, wie beispielsweise die landschaftliche Umgebung und Daten über die Flugsituation des Fluggeräts 4, wie beispielsweise die momentane Fluggeschwindigkeit und die Ausrichtung des Fluggeräts 4 im Raum. Ebenfalls mit der Steuerungsvorrichtung 18 elektrisch verbunden ist eine Flugregeleinheit 46, die zur Steuerung einer Flugaktorik 48 mit Motoren und Hydraulikeinrichtungen vorgesehen ist.

Ein Verfahren zur Darstellung von Flughindernissen 28, 30, 32, 34 in der Umgebung des Fluggeräts 4 und zur Führung des Fluggeräts 4 wird anhand der schematischen Darstellung in den Figuren 2 und 3 im Folgenden näher erläutert. Mit der Kameraeinheit 24 zur Aufnahme eines Gesamtbilds wird eine Umgebung 50 des Fluggeräts 4 in einem oder mehreren Bildern aufgenommen. Dieses Gesamtbild ist symmetrisch um die Flugrichtung 52 des Fluggeräts 4 angeordnet und überdeckt einen Raumwinkelbereich von 220° in der Horizontalen und 60° in der Vertikalen. Zur Aufnahme des Gesamtbilds umfasst die Kameraeinheit 24 vier Kameras mit jeweils einem Sensor-Array mit einer Bildauflösung von 1 mrad. Nach der Aufnahme eines ersten Gesamtbilds der Umgebung 50 wird von der Kameraeinheit 24 ein zweites und gegebenenfalls weitere Gesamtbilder der Umgebung 50 aufgenommen. Die Gesamtbilder werden der Auswertevorrichtung 26 übergeben und dort mit Hilfe von Bildverarbeitungsmethoden auf Flughindernisse 28, 30, 32, 34 in der Umgebung 50 untersucht. Hierbei werden zwei Flughindernisse 28, 30 direkt erkannt und zwei weitere Objekte werden als mögliche Kandidaten für weitere Flughindernisse 32, 34 erkannt. Anhand der nachfolgend von der Kameraeinheit 24 aufgenommenen und von der Auswertevorrichtung 26 verarbeiteten Bilder werden die Flughindernisse 28, 30, 32, 34 weiter verarbeitet und Informationen über sie in der Auswertevorrichtung 26 abgelegt. Außerdem werden die Flughindernisse 28, 30, 32, 34 jeweils mit einer Kennung versehen und diese Gesamtinformation wird an die Steuerungsvorrichtung 18 weitergegeben. Die Steuerungsvorrichtung 18 errechnet ein aus den Bildern erschließbares Gefahrenpotential der Flughindernisse 28, 30, 32, 34 für das Fluggerät 4 mit Hilfe der Sichtliniendrehgeschwindigkeit und Entfernung der Flughindernisse 28, 30, 32, 34, einer sich von Bild zu Bild verändernden Form und Größe sowie der relativen Höhe der Flughindernisse 28, 30, 32, 34.

Durch das Zusammenwirken der Steuerungsvorrichtung 18 und der Auswertevorrichtung 26 werden die beiden Flughindernisse 28, 30 als sich auf einer Flugbahn 54 bzw. 56 bewegende Luftfahrzeuge erkannt. Hierbei stellt das Flughindernis 28 keine Gefahr für das Fluggerät 4 dar, weil das Flughindernis 28 wesentlich tiefer fliegt als das Fluggerät 4. Das Gefahrenpotential des Flughindernisses 28 wird daher als gering eingestuft. Das Flughindernis 30 wird allerdings als auf Kollisionskurs mit dem Fluggerät 4 fliegend berechnet. Hierbei kann auch ein voraussichtlicher Kollisionspunkt 60 ermittelt werden. Das Gefahrenpotential des Flughindemisses 30 wird daher als sehr hoch eingestuft. Durch diese hohe Einklassifizierung wird automatisch eine Berechnung der Ausweichtrajektorie 42 angestoßen. Die Berechnung wird durch die Steuerungsvorrichtung 18 unter Einbeziehung von Informationen über die Umgebung 50 und die Flugsituation des Fluggeräts 4, die in der Fluginformationseinheit 44 abgelegt sind, durchgeführt.

Die den Flughindernissen 28, 30 zugeordnete Kennung wird zusammen mit der ermittelten Klassifizierung des Gefahrenpotentials der Flughindernisse 28, 30 der Bodenstation 6 per Funk übermittelt, wo diese Daten mit Hilfe der Vorrichtung 8 zur graphischen Darstellung aufbereitet und auf dem Anzeigemittel 12 dargestellt werden. Eine mögliche Darstellung auf dem Anzeigemittel 12 ist in Figur 3 gezeigt. Das Anzeigemittel 12 umfasst einen Bildschirm 62 auf dem ein Fluggerätsymbol 64 gezeigt ist, mit dem die Position des Fluggeräts 4 dargestellt werden soll. Auf dem Bildschirm 62 ist außerdem das Flughindernis 28 durch ein Objekt 66 dargestellt und die Flugbahn 54 des Flughindernisses 28. In einer anderen und auffälligeren Farbe und/oder Form ist ein Objekt 68 dargestellt, das die Position des Flughindernisses 30 wiedergibt. Die Objekte 66, 68 sind übliche, in TCAS (Traffic Collision Avoiding System) verwendete Symbole. Zusätzlich wird der Bodenpilot durch eine synthetische Stimme auf alle Flughindernisse 30, 34 aufmerksam gemacht, die eine vorgegebene Gefahrenklasse überschreiten. Es ist auch möglich, die vom Fluggerät 4 übermittelte Kennung nur in Form eines akustischen Signals wie einer Stimme oder einer Tonfolge auszugeben.

Aus den Farben und/oder Formen der Objekte 66, 68 und/oder einem akustischen Signal kann ein Bodenpilot unmittelbar das Gefahrenpotential der Flughindernisse 28, 30 erkennen. Als zusätzliche Information dienen ihm die Flugbahnen 54, 56 sowie der mögliche Kollisionspunkt 60. Außerdem sind auf dem Bildschirm 13 (Figur 1) weitere Zusatzinformationen, wie beispielsweise die verbleibende Reaktionszeit bis zum Erreichen des Kollisionspunkts 60 sowie Informationen über die Flugsituation des Fluggeräts sowie gegebenenfalls über die Umgebung des Fluggeräts 4, angezeigt.

Liegt die verbleibende Reaktionszeit oberhalb eines vorbestimmten Zeitwerts, so kann der Bodenpilot ein Ausweichmanöver einleiten, wobei er frei ist, dem Ausweichvorschlag entlang der Ausweichtrajektorie 42 zu folgen oder eine andere Route zu wählen. Liegt die verbleibende Reaktionszeit unter dem voreingestellten Zeitwert, so wird das Fliegen eines Ausweichmanövers automatisch von der Steuerungsvorrichtung 18 eingeleitet. Hierbei wirken die Steuerungsvorrichtung 18, die Fluginformationseinheit 44, die Flugregeleinheit 46 und die Flugaktorik 48 in der Weise zusammen, dass das Fluggerät 4 entlang der Ausweichtrajektorie 42 geführt wird.

Die beiden von der Auswertevorrichtung 26 nicht als Luftfahrzeuge identifizierten Flughindernisse 32, 34 werden anhand weiterer Bilder untersucht. Hierbei wird von der Auswertevorrichtung 26 erkannt, dass das Flughindernis 32 eine sehr geringe Fluggeschwindigkeit auf einer Flugbahn 72 hat. Diese Flugbahn 72 kommt nicht in die Nähe der Flugbahn 58 des Fluggeräts 4. Außerdem wird erkannt, dass das Flughindernis 32 weit vom Fluggerät 4 entfernt ist. Das dem Flughindernis 32 zugeordnete Gefahrenpotential wird daher von der Steuerungsvorrichtung 18 als so niedrig klassifiziert, dass die dem Flughindernis 32 zugeordnete Kennung nicht der Bodenstation 6 übermittelt wird. Die Entscheidung, ab welchem Gefahrenpotential Flughindernisse auf dem Anzeigemittel 12 der Bodenstation 6 angezeigt werden, kann von einem Bodenpiloten mit Hilfe der Steuermittel 14 eingestellt werden.

Das ebenfalls nicht als Luftfahrzeug identifizierbare Flughindernis 34 weist eine sehr geringe Sichtliniendrehgeschwindigkeit auf, so dass dem Flughindernis 34 ein Gefahrenpotential zugeordnet wird, das die vom Bodenpiloten eingestellte Anzeigeschwelle überschreitet. Dadurch, dass die Objektgröße in der Folge der aufgenommenen Bilder nicht wächst, kann dem Flughindernis 34 jedoch keine mehr oder minder exakte Entfernung zugeordnet werden, wobei lediglich feststellbar ist, dass sich das Flughindernis durch die nicht wachsende Objektgröße in einer relativ großen Entfernung befindet. Die dem Flughindernis 34 zugeordnete Kennung wird somit der Bodenstation 6 übermittelt und es wird ein möglicher Aufenthaltsbereich 74 des Flughindernisses 34 auf dem Bildschirm 62 angezeigt.

Um zusätzliche Informationen zu erhalten, kann der Bodenpilot die zweite Kameraeinheit 36 zur Aufnahme eines Detailbilds, die im sichtbaren Spektralbereich empfindlich ist, auf die Flughindernisse 28, 30, 34 richten. Durch die Kameraeinheit 36 wird ein optisch zoombares bis maximal 10° mal 10° großes Detailbild mit einer Auflösung von maximal 0,1 mrad aufgezeichnet, der Steuerungsvorrichtung 18 übergeben, der Bodenstation 6 übermittelt und auf der Vorrichtung 10 (Figur 1). Der Bodenpilot kann auf diesen Detailbildern 38 erkennen, dass es sich bei dem Flughindernis 30 um eine Verkehrsmaschine und bei dem Flughindernis 28 um einen Helikopter handelt. Die Detailbilder 38 werden laufend aktualisiert, so dass dem Bodenpiloten jeweils ein Bewegtbild von den Flughindernissen 28, 30 angezeigt wird.

Im Fall eines Fehlens der zweiten Kameraeinheit 36 kann ein entsprechender Steuerbefehl des Bodenpiloten über die Steuerungsvorrichtung 18 zur Auswertevorrichtung 26 gesendet werden, die ein die Flughindernisse 28, 30 jeweils zeigendes Detailbild aus einem zuvor aufgenommenen Gesamtbild extrahiert und der Steuerungsvorrichtung 18 zur Übersendung an die Bodenstation 6 übergibt. Hierzu umfasst die Auswertevorrichtung 26 eine Detailbildeinheit zur Extraktion eines ein Flughindernis 28, 30, 34 abbildenden Detailbilds 38 und zur Weitergabe des Detailbilds 38 zur Sendeeinrichtung.

Da die Objektgröße des Flughindernisses 34 als sehr klein angegeben ist, kann der Bodenpilot auf eine Darstellung des Flughindernisses 34 in einem weiteren Detailbild verzichten, auf dem das Flughindernis 34 als ein kleiner Wetterballon zu erkennen gewesen wäre. Anstelle dessen kann die Einheit 20 zur Aussendung und zum Empfang von Laserlicht aktiviert werden und mit Hilfe der Einheit 22 die Entfernung des Flughindernisses 34 ermittelt werden. Die ermittelte Entfernung wird von der Einheit 22 der Steuerungsvorrichtung 18 übergeben, die dem Flughindemis 34 gegebenenfalls ein neues Gefahrenpotential zuordnet und dieses zusammen mit der Kennung des Flughindernisses 34 zur Bodenstation 6 sendet. Relativ kurze Zeit nach der Aktivierung der Einheit 20 durch den Bodenpiloten wird daher der Aufenthaltsbereich 74 auf dem Bildschirm 62 durch ein weiteres Objekt ersetzt, das die Entfernung des Flughindernisses 34 wiedergibt. Die Farbe und Form des Objekts ist der Klassifikation des Gefahrenpotentials des Flughindernisses 34 angepasst.

Die vier Kameras der Kameraeinheit 24 zur Aufnahme eines Gesamtbilds sind im sichtbaren Spektralbereich empfindlich. Ebenso gut ist es möglich, dass diese vier Kameras im infraroten Spektralbereich empfindlich sind, wodurch eine Nachtsichtfähigkeit erreichbar wäre. Wie oben beschrieben, wird die Erkennung der Flughindernisse 28, 30, 32, 34 auch in diesem Fall anhand einer von der Kameraeinheit 24 aufgezeichneten Bildfolge vorgenommen. Als weitere Variante ist es möglich, die Kameraeinheit 24 mit einer Anzahl von Kameras auszustatten, von denen einige im infraroten Spektralbereich und andere im visuellen Spektralbereich empfindlich sind. Eine Erkennung der Flughindernisse 28, 30, 32, 34 kann in diesem Fall anhand einer Bildfolge oder anhand von Vergleichen von Bildern in unterschiedlichen Spektralbereichen durchgeführt werden.

Bezugszeichen

2: Vorrichtung
4: Fluggerät
6: Bodenstation
8: Vorrichtung
10: Vorrichtung
12: Anzeigemittel
13: Bildschirm
14: Steuermittel
16: Pfeil
18: Steuerungsvorrichtung
20: Einheit
22: Einheit
24: Kameraeinheit
26: Auswertevorrichtung
28: Flughindernis
30: Flughindernis
32: Flughindernis
34: Flughindernis
36: Kameraeinheit
38: Detailbild
42: Ausweichtrajektorie
44: Fluginformationseinheit
46: Flugregeleinheit
48: Flugaktorik
50: Umgebung
52: Flugrichtung
54: Flugbahn
56: Flugbahn
58: Flugbahn
60: Kollisionspunkt
62: Bildschirm
64: Fluggerätsymbol
66: Objekt
68: Objekt
72: Flugbahn
74: Aufenthaltsbereich

Claims

Verfahren zur Erkennung eines Flughindernisses (28, 30, 32, 34) in einer Umgebung (50) eines Fluggeräts (4), insbesondere eines unbemannten Fluggeräts (4), bei dem mindestens zwei Bilder jeweils zumindest eines Teils der Umgebung (50) aufgenommen werden, aus den Bildern das Flughindernis (28, 30, 32, 34) erkannt und mit einer Kennung versehen wird und ein der Kennung zugeordnetes Signal (66, 68, 76) in einer Bodenstation (6) ausgegeben wird,
dadurch gekennzeichnet, dass
die Erkennung und die Vergabe der Kennung an Bord des Fluggeräts (4) vorgenommen werden und die Kennung an die Bodenstation (6) gesendet wird.
Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
eine Klassifizierung eines Gefahrenpotentials des Flughindernisses (28, 30, 32, 34) an Bord des Fluggeräts (4) vorgenommen und insbesondere an die Bodenstation (6) gesendet wird.
Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
eine Messung mit Bezug auf das Flughindernis (28, 30, 32, 34) mit einem aktiven Messsignal durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
an Bord eine Ausweichtrajektorie (42) ermittelt und insbesondere der Ausweichtrajektorie (42) zugeordnete Daten an die Bodenstation (6) übermittelt werden.
Verfahren nach Anspruch 4,
dadurch gekennzeichnet, dass
die Ausweichtrajektorie (42) unter Einbeziehung von an Bord ermittelten Informationen über die Umgebung (50) und/oder die Flugsituation des Fluggeräts (4) ermittelt wird.
Verfahren nach Anspruch 4 oder 5,
dadurch gekennzeichnet, dass
eine Entscheidung, ob das Fluggerät (4) auf der Ausweichtrajektorie (42) fliegen soll, von einer Steuerungsvorrichtung (18) an Bord des Fluggeräts (4) getroffen wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
ein das Flughindernis (28, 30) darstellendes Detailbild (38) zur Bodenstation (6) gesendet und dort angezeigt wird.
Verfahren nach Anspruch 7,
dadurch gekennzeichnet, dass
als Detailbild (38) ein Bildausschnitt eines zur Erkennung des Flughindernisses (28, 30) verwendeten Bilds verwendet wird.
Verfahren nach Anspruch 7 oder 8,
dadurch gekennzeichnet, dass
das Detailbild (38) in einem Spektralbereich aufgenommen wird, der sich von dem Spektralbereich der zur Erkennung des Flughindernisses (28, 30, 32, 34) verwendeten Bilder unterscheidet.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Bilder, aus denen das Flughindernis (28, 30, 32, 34) erkannt wird, im infraroten Spektralbereich aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
ein Bewegtbild des Flughindernisses (28, 30) zur Bodenstation (6) gesendet wird.
Vorrichtung zur Erkennung eines Flughindernisses (28, 30, 32, 34) in einer Umgebung (50) eines Fluggeräts (4), insbesondere eines unbemannten Fluggeräts (4), mit mindestens einer Kameraeinheit (24) zur Aufnahme zumindest eines Teils der Umgebung (50) und einer Auswertevorrichtung (26) zur Erkennung des Flughindernisses (28, 30, 32, 34) und einer Zuordnung einer Kennung zum Flughindernis (28, 30, 32, 34),
dadurch gekennzeichnet, dass
die Auswertevorrichtung (26) elektrisch mit der Kameraeinheit (24) und einer Sendeeinrichtung zur Sendung der Kennung an eine Bodenstation (6) verbunden ist.
Vorrichtung nach Anspruch 12,
gekennzeichnet durch
eine Detailbildeinheit zur Extraktion eines das Flughindernis (28, 30) abbildenden Detailbilds (38) und zur Weitergabe des Detailbilds (38) an die Sendeeinrichtung.
Vorrichtung nach Anspruch 12 oder 13,
gekennzeichnet durch eine erste Kameraeinheit (24) zur Aufnahme eines Gesamtbilds in einem ersten Spektralbereich und eine zweiten Kameraeinheit (36) zur Aufnahme eines Bilds, insbesondere eines Detailbilds (38), in einem vom ersten unterschiedlichen Spektralbereich.