-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Bei einem unbemannten Luftfahrzeug, das auch als Drohne bezeichnet werden kann, besteht bei einem autonomen Betrieb die Gefahr, dass das Luftfahrzeug mit einem Objekt oder Hindernis kollidiert, welches sich in einer geplanten Flugbahn des Luftfahrzeugs befindet beziehungsweise in die Flugbahn gerät.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Vermeiden einer möglichen zukünftigen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt, weiterhin ein Steuergerät, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Es wird ein Verfahren zum Vermeiden einer möglichen zukünftigen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Erkennen eines möglichen zukünftigen Kollisionsorts und einer möglichen zukünftigen Kollisionszeit der möglichen zukünftigen Kollision unter Verwendung einer Objektinformation über das Objekt und einer geplanten Flugbahn des Luftfahrzeugs;
Bestimmen einer alternativen Flugbahn für das Luftfahrzeug unter Verwendung der geplanten Flugbahn, des Kollisionsorts und der Kollisionszeit; und
Bereitstellen eines Steuersignals für das Luftfahrzeug unter Verwendung der alternativen Flugbahn.
-
Unter einer Kollision kann ein Ereignis verstanden werden, bei dem das Luftfahrzeug und das Objekt einander so nahe kommen, dass mit einer hohen Wahrscheinlichkeit eine Berührung zwischen dem Luftfahrzeug und dem Objekt stattfindet. Insbesondere kann eine zukünftige mögliche Kollision erkannt werden, wenn ein Sicherheitsabstand zwischen dem Luftfahrzeug und dem Objekt unterschritten würde. Unter einer Bildinformation kann ein Datensatz von Bilddaten verstanden werden, die von einer Kamera des Luftfahrzeugs aufgezeichnet wurden, wobei die Bildinformation Einzelbilder zu unterschiedlichen Aufnahmezeitpunkten oder eine aus Einzelbildern bestehende Bildsequenz enthält, die eine Bewegung des Objektes im Umfeld des Luftfahrzeugs abbildet. Ein optisches Merkmal kann hier beispielsweise ein optischer Fluss, ein Muster oder eine Struktur sein. Unter einem optischen Merkmal oder optischen Fluss kann beispielsweise ein Differenzvektor oder eine Menge von Differenzvektoren verstanden werden, die eine Verschiebung von einander entsprechenden Bildpunkten in den zwei Einzelbildern repräsentieren, die je von der Kamera des Luftfahrzeugs aufgenommen wurden. Solche einander entsprechende Bildpunkte in den zwei Einzelbildern können beispielsweise Ecken oder Kanten von in den Einzelbildern abgebildeten Objekten sein, wobei die Lage der Ecken oder Kanten in dem ersten der Einzelbilder erfasst wird und mit einer Lage dieser Ecken oder Kanten in dem zweiten der Einzelbilder verglichen wird, um aus der unterschiedlichen Lage der Ecken oder Kanten in den Einzelbildern je einen Differenzvektor zu ermitteln. Eine Objektinformation kann ein Parameter sein, der eine Ausdehnung und/oder eine Bewegung des Objekts charakterisier. Beispielsweise kann ein solcher Parameter als Objektinformation eine Relativgeschwindigkeit und/oder ein Relativabstand des Objektes in Bezug zum Luftfahrzeug sein oder eine Größe oder Ausdehnung des Objektes bezeichnen. Eine geplante Flugbahn kann einen geplanten zukünftigen Platzbedarf des Luftfahrzeugs repräsentieren, beispielsweise in der Form einer Flugtrajektorie, die das Luftfahrzeug bei seinem Flug höchstwahrscheinlich nehmen wird.
-
Der Kollisionsort und die Kollisionszeit können unter Verwendung einer in der Objektinformation enthaltenen Objekttrajektorie des Objekts erkannt werden. Die Objekttrajektorie kann eine Relativbewegung zwischen dem Luftfahrzeug und dem Objekt abbilden. Bei bewegten Objekten kann die Objekttrajektorie eine zukünftige Bewegungsbahn des Objekts abbilden.
-
Die Objektinformation kann über eine Schnittstelle zu zumindest einem Sensor des Luftfahrzeugs eingelesen werden. Die Objektinformation kann auch über eine Datenschnittstelle zu einem Informationsdienst eingelesen werden. Ebenso kann die Objektinformation über eine Datenschnittstelle zu dem Objekt eingelesen werden. Ein Sensor kann eine Umfelderfassungseinrichtung, wie beispielsweise eine Kamera sein. Die Objektinformation kann auch außerhalb des Luftfahrzeugs ermittelt werden, beispielsweise durch externe Sensoren. Ein Informationsdienst kann großflächig Informationen über vorhandene Objekte und Luftfahrzeuge verarbeiten und relevante Objektinformationen an das Luftfahrzeug übermitteln. Die Objektinformation kann auch direkt von dem Objekt empfangen werden. Beispielsweise kann das Objekt seine geplante Flugbahn verbreiten. Durch externe Informationen ist das Vermeiden einer Kollision vereinfacht, da ein größeres Gebiet überwacht werden kann.
-
Das Verfahren kann einen Schritt des Bereitstellens umfassen, in dem eine die geplante Flugbahn und alternativ oder ergänzend die alternative Flugbahn abbildende Flugbahninformation über eine Datenschnittstelle zu einem Informationsdienst bereitgestellt wird. Dadurch können andere interessierte Beteiligte direkt auf genaue Informationen über das Luftfahrzeug zugreifen.
-
Die alternative Flugbahn kann unter Verwendung eines über eine Datenschnittstelle zu einem Informationsdienst eingelesenen möglichen zukünftigen Kollisionsorts und einer über die Datenschnittstelle eingelesenen möglichen zukünftigen Kollisionszeit bestimmt werden. Der Kollisionsort und die Kollisionszeit können extern bestimmt werden. Damit benötigt das Kollisionsvermeidungssystem eine verringerte Rechenleistung.
-
Die alternative Flugbahn kann unter Verwendung einer über eine Datenschnittstelle zu einem Informationsdienst eingelesenen Gebietsbeschränkungsinformation bestimmt werden. Eine Gebietsbeschränkungsinformation kann ein momentan für das Luftfahrzeug gesperrten Bereich kennzeichnen. Durch gesperrte Bereiche, beispielsweise rund um ein anderes Flugobjekt, können Kollisionen einfach vermieden werden.
-
Denkbar ist ferner eine Ausführungsform des hier vorgestellten Ansatzes, bei dem im Schritt des Bestimmens die alternative Flugbahn zur Weitergabe an zumindest ein weiteres Luftfahrzeug an einer Datenschnittstelle bereitgestellt wird und/oder wobei im Schritt des Bestimmens die alternative Flugbahn unter Verwendung einer über die Datenschnittstelle eingelesenen Flugbahn eines weiteren Luftfahrzeugs bestimmt wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass die alternative Flugbahn einem weiteren Luftfahrzeug zur Verfügung gestellt werden kann und/oder dass die alternative Flugbahn unter Berücksichtigung der Flugbahn des weiteren Luftfahrzeugs bestimmt werden kann, wodurch sich die Gefahr einer Kollision des weiteren Luftfahrzeugs mit dem Luftfahrzeug weiter reduzieren lässt.
-
Das Steuersignal kann unter Verwendung einer über eine Datenschnittstelle zu einem Informationsdienst eingelesenen alternativen Flugbahninformation bereitgestellt werden. Die Ausweichtrajektorie kann extern berechnet werden. Dadurch kann die Ausweichtrajektorie schnell und sicher berechnet werden.
-
Ein Bildbereich der Bildinformation kann als Objekt erkannt werden, wenn Bildpunkte in dem Bildbereich einen ähnlichen optischen Fluss oder ein ähnliches optisches Merkmal aufweisen. Unter einem ähnlichen optischen Fluss oder ähnlichen optischen Merkmal kann beispielsweise verstanden werden, dass sich die Differenzvektoren von Bildpunkten in diesem Bereich in ihrer Richtung und ihrem Betrag um nicht mehr als beispielsweise 10 Prozent voneinander unterscheiden. Beispielsweise kann ein Objekt anhand einer im Wesentlichen übereinstimmenden Geschwindigkeit und Richtung der das Objekt repräsentierenden Bildpunkte (beispielsweise in der Bildinformation) erkannt werden.
-
Der optische Fluss als optisches Merkmal resultiert dabei aus einer Relativbewegung zwischen einer Kamera und abgebildeten Objekten. Dabei ist es unerheblich, ob sich die Kamera aufgrund einer Eigenbewegung auf die Objekte zu bewegt, oder ob sich die Objekte auf die Kamera zu bewegen. So wie ein Bediener eines Fluggeräts ein mögliches Hindernis oder Kollisionsobjekt aufgrund des optischen Flusses zwischen zumindest zwei Bildern der Kamera erkennen kann, kann ein Kollisionsvermeidungssystem eine Flussinformation über den optischen Fluss auswerten, um das Hindernis beziehungsweise Kollisionsobjekt zu identifizieren.
-
Wenn eine extrapolierte momentane Flugbahn einen Sicherheitsbereich um das Hindernis oder Kollisionsobjekt verletzt, kann eine mögliche zukünftige Kollision erkannt werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann das Steuergerät zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine Darstellung eines unbemannten Luftfahrzeugs mit einem Steuergerät zum Vermeiden einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel;
-
2 eine Übersichtsdarstellung eines Kollisionsvermeidungssystems gemäß einem Ausführungsbeispiel;
-
3 eine Darstellung eines unbemannten Luftfahrzeugs mit einem Kollisionsvermeidungssystem gemäß einem Ausführungsbeispiel;
-
4 eine Darstellung einer Abfolge von Schritten zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel;
-
5 eine Darstellung einer geänderten Flugbahn zum Vermeiden einer Kollision gemäß einem Ausführungsbeispiel;
-
6 eine Darstellung eines unbemannten Luftfahrzeugs vor einer möglichen zukünftigen Kollision mit einem Vogel;
-
7 eine Darstellung eines autonomen Flugs eines unbemannten Luftfahrzeugs mit einem Kollisionsvermeidungssystem gemäß einem Ausführungsbeispiel;
-
8 eine Darstellung von Ausbaustufen eines Kollisionsvermeidungssystems für ein unbemanntes Luftfahrzeug gemäß einem Ausführungsbeispiel; und
-
9 ein Ablaufdiagramm eines Verfahrens zum Vermeiden einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine Darstellung eines unbemannten Luftfahrzeugs 100 mit einer Erkennungseinrichtung 102 zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel. Das Luftfahrzeug 100 kann als Drohne 100 bezeichnet werden. Hier ist das Luftfahrzeug 100 ein Quadrokopter 100.
-
Die Erkennungseinrichtung 102 weist eine Sucheinrichtung 104, eine Zuordnungseinrichtung 106 und eine Vergleichseinrichtung 108 auf. Die Erkennungseinrichtung 102 ist ein Bestandteil eines Steuergeräts 110 zum Vermeiden einer möglichen zukünftigen Kollision des Luftfahrzeugs 100. Das Steuergerät 110 kann als Kollisionserkennungssystem 110 (das in der nachfolgenden Beschreibung auch synonym als eMSS-System 110, eMSS = expandable Modular Safety System, engl. erweiterbares modulares Sicherheitssystem bezeichnet werden kann)bezeichnet werden. Das Luftfahrzeug 100 weist zumindest eine Kamera 112 zum Bereitstellen einer Bildinformation 114 auf. Die Kamera 112 ist in eine Hauptflugrichtung 116 des Luftfahrzeugs 100 ausgerichtet und bildet eine vor dem Luftfahrzeug 100 liegende Umgebung des Luftfahrzeugs 100 in der Bildinformation 114 ab. Die Bildinformation 114 besteht aus einer Abfolge von Einzelbildern, die ein Video beziehungsweise Bewegtbild der Umgebung ergeben.
-
Die Kamera 112 bildet hier beispielhaft ein Objekt 118 in der Bildinformation 114 ab. Bei einer Relativbewegung zwischen der Kamera 112 und dem abgebildeten Objekt 118 wird es in den Einzelbildern an verschiedenen Stellen und mit einer unterschiedlichen Abbildungsgröße abgebildet. Mit anderen Worten ergibt sich jeweils ein Verschiebungsvektor zwischen Bildkoordinaten, an denen in den Einzelbildern jeweils ein Merkmal des Objekts 118 abgebildet ist. Eine Gesamtheit der Verschiebungsvektoren wird als optischer Fluss 120 bezeichnet. Das Suchen des Objektes 118 kann auch durch andere Methoden erfolgen, die beispielsweise ein optisches Merkmal verwendet oder auswertet. Der optische Fluss ist hier nur eine Variante des optischen Merkmals. Ebenso kann eine Klassifizierer-Kaskade oder eine Mustererkennung, „Structure from Motion“, was insbesondere für Monokameras geeignet ist und/oder eine Erkennung von gemappten Objekte verwendet werden.
-
Die Sucheinrichtung 104 ist dazu ausgebildet, das Objekt 118 beziehungsweise Objekte in der Bildinformation 114 zu suchen. Dazu liest die Sucheinrichtung 104 die Bildinformation 114 und den optischen Fluss 120 ein. Dabei wird ein Bildbereich 122 der Bildinformation 114 als das Objekt 118 erkannt, wenn Bildpunkte in dem Bildbereich 122 einen ähnlichen optischen Fluss 120 aufweisen. Beispielsweise können die Verschiebungsvektoren eine ähnliche Länge aufweisen. Ebenso können die Verschiebungsvektoren einen gemeinsamen Fluchtpunkt aufweisen. Die Zuordnungseinrichtung 106 ist dazu ausgebildet, unter Verwendung des optischen Merkmals 120 Objektinformationen 124 zu dem Objekt 118 beziehungsweise den Objekten zuzuordnen. Dabei werden eine Geschwindigkeitsinformation 126, eine Positionsinformation 128 und eine Richtungsinformation 130 des Objekts 118 aus dem optischen Merkmal 120 der, das erkannte Objekt 118 repräsentierenden Bildpunkte ermittelt. Die Vergleichseinrichtung 108 ist dazu ausgebildet, die Objektinformationen 124 mit einer Flugbahninformation 132 des Luftfahrzeugs 100 zu vergleichen. Dabei werden die Geschwindigkeitsinformation 126, die Positionsinformation 128 und die Richtungsinformation 130 des Objekts 118 mit einer Fluggeschwindigkeit 134, einer Fahrzeugposition 136 und einer Flugrichtung 138 des Luftfahrzeugs 100 verglichen, um einen möglichen zukünftigen Kollisionsort 140 und eine mögliche zukünftige Kollisionszeit 142 der möglichen zukünftigen Kollision zu erkennen.
-
Die Objektinformationen 124 und die Flugbahninformationen 132 werden extrapoliert. Eine mögliche zukünftige Kollision kann dann erkannt werden, wenn die extrapolierten Objektinformationen 124 und die extrapolierten Flugbahninformationen 132 ein zukünftiges Unterschreiten eines Sicherheitsabstands anzeigen.
-
Der mögliche zukünftige Kollisionsort 140 und die mögliche zukünftige Kollisionszeit 142 werden an eine Bestimmungseinrichtung 144 zum Bestimmen einer alternativen Flugbahn 146 für das Luftfahrzeug 100 weitergeleitet. Die Bestimmungseinrichtung 144 ist dazu ausgebildet, unter Verwendung der Flugbahninformation 132, des möglichen zukünftigen Kollisionsorts 140 und der möglichen zukünftigen Kollisionszeit 142 die alternative Flugbahn 146 des Luftfahrzeugs 100 zu beeinflussen, um der Kollision auszuweichen. Eine Bereitstellungseinrichtung 148 stellt Steuersignale 150 zum Ansteuern des Luftfahrzeugs 100 unter Verwendung der alternativen Flugbahn 146 bereit.
-
2 zeigt eine Übersichtsdarstellung eines Kollisionsvermeidungssystems 110 gemäß einem Ausführungsbeispiel. Das Kollisionsvermeidungssystem 110 entspricht im Wesentlichen dem Kollisionsvermeidungssystem in 1. Hier stellt die Kamera 112 ein RGB-Signal 114 bereit. Sollte es sich bei der Kamera 112 nicht um eine RGB-Kamera handeln, kann es sich bei dem Signal 114 auch um ein Signal handeln, das dann nicht als RGB-Signal ausgestaltet ist. Die Sucheinrichtung 104 und die Zuordnungseinrichtung 106 zur Objekterkennung und Objektklassifizierung sind hier zusammengefasst. Wie in 1 werden die Geschwindigkeitsinformation 126, die Positionsinformation 128 und die Richtungsinformation 130 für die Vergleichseinrichtung 108 bereitgestellt. In der Vergleichseinrichtung 108 werden diese Informationen mit der Fluggeschwindigkeit 134, der Fahrzeugposition 136 und der Flugrichtung 138 der Flugbahninformationen 132 des Luftfahrzeugs 100 verglichen, um den möglichen zukünftigen Kollisionsort 140 und die mögliche zukünftige Kollisionszeit 142 zu erhalten. Hier ist die Ausweicheinrichtung 144 dazu ausgebildet, direkt Solldrehzahlen 200 der Rotoren des Quadrokopters 100 zu beeinflussen, um den Quadrokopter 100 von seinem Kollisionskurs abzubringen. Dazu werden eine Änderung der Flugtrajektorie und eine Drehzahländerung der Rotoren über einen Algorithmus berechnet.
-
In einem Ausführungsbeispiel weist das Luftfahrzeug 100 eine Basissensorik 202 auf, die eine tatsächliche Lageinformation 204 über eine Fluglage des Luftfahrzeugs 100 für die Vergleichseinrichtung 108 bereitstellt. Dabei umfasst die Lageinformation 204 eine Position, eine Ausrichtung und Geschwindigkeit des Luftfahrzeugs 100. Die Basissensorik 202 kann beispielsweise Radar, Ultraschall und/oder Infrarot umfassen.
-
Die Lageinformation 204 kann auch eine Position, eine Ausrichtung und Geschwindigkeit des Objekts repräsentieren.
-
Die Lageinformation 204 wird in der Vergleichseinrichtung 108 dazu verwendet, um den möglichen zukünftigen Kollisionsort 140 und die mögliche zukünftige Kollisionszeit 142 zu bestimmen.
-
Mit anderen Worten wird in der Vergleichseinrichtung 108 ein Algorithmus zum Abgleich der Objektinformationen 124 aus der Kamera mit den Sensorikdaten 204 ausgeführt. Dabei werden die Flugbahn des Luftfahrzeugs 100 und Bewegungsdaten des Objekts abgeglichen, wobei die Bewegungsdaten einmal über die Objektinformationen 124 und einmal über die Sensorikdaten 204 abgeglichen werden. Die Flugbahn des Luftfahrzeugs 100 wird bezüglich der Geschwindigkeit, Position, Richtung und Lage überprüft. Das Objekt wird ebenfalls bezüglich der Geschwindigkeit, Position, Richtung und/oder Lage überprüft. Es wird eine time-to-collision 142 und eine position-of-collision 140 berechnet.
-
In einem Ausführungsbeispiel weist das Luftfahrzeug 100 ein Kartenmodul 206 auf. Das Kartenmodul 206 ist dazu ausgebildet geografische Daten 208 für die Sucheinrichtung 104 und die Zuordnungseinrichtung 106 bereitzustellen. Beispielsweise empfängt das Kartenmodul 206 Kartendaten über eine drahtlose Datenverbindung, wie beispielsweise Mobilfunk. Unter Verwendung der geografischen Daten 208 wird die Bildinformation 114 zum Erfassen der Umgebung des Luftfahrzeugs 100 verwendet. Dabei kann beispielsweise eine inverse Perspektive erzeugt werden, die einer entzerrten Ansicht der Umgebung entspricht.
-
In einem Ausführungsbeispiel wird in der Sucheinrichtung 104 und der Zuordnungseinrichtung 106 eine dreidimensionale Vermessung der erfassten Objekte ausgeführt, woraus wieder geografische Daten der Umgebung erzeugt werden können.
-
3 zeigt eine Darstellung eines unbemannten Luftfahrzeugs 100 mit einem Kollisionsvermeidungssystem 110 gemäß einem Ausführungsbeispiel. Das Luftfahrzeug 100 beziehungsweise die Drohne 100 ist wie in den 1 und 2 ein Drehflügler, insbesondere ein Multikopter 100. Das Luftfahrzeug 100 kann auch ein Starrflügler sein. In einer ersten Ausbaustufe weist die Drohne 100 hier einen Sensor 300 zum Erfassen der Umgebung auf. Der Sensor 300 kann wie in den 1 und 2 eine Kamera 112 sein. Ebenso kann der Sensor 300 ein Lasersensor sein.
-
In einer erweiterten Ausbaustufe weist die Drohne 100 ein Radar 302 auf, das ebenso dazu ausgebildet ist, die Umgebung zu erfassen. Dabei weist das Radar 302 eine größere Reichweite als der Sensor 300 auf. Das Radar 302 ist auch unabhängig von Sichtbedingungen, da die Radarwellen beispielsweise Nebel, Wolken und Rauch durchdringen können.
-
Um einen Boden zu erfassen, weist die Drohne 100 hier zwei nach unten gerichtete Bodenerfassungssensoren 304 auf. Die Bodenerfassungssensoren 304 sind hier Ultraschallsensoren 304. Um eine räumliche Lage der Drohne 100 zu erfassen, sind die Ultraschallsensoren 304 an einem Rumpf der Drohne 100 diametral gegenüberliegend angeordnet.
-
Die Drohne 100 weist in einer weiteren Ausbaustufe einen drahtlosen Transponder 306 auf, der eine Kommunikation mit einer Bodenstation 308 (der in der nachfolgenden Beschreibung auch synonym als Zentralkoordinator, Informationsdienst oder Cloud-Zone-Koordinator bezeichnet werden kann) aufrechterhält. Die Bodenstation 308 kann Teil eines Informationsdiensts 308 sein. Die Bodenstation überwacht dabei den Luftraum, um potenzielle Konflikte zwischen der Drohne 100 und anderen Luftfahrzeugen zu erkennen und zu lösen. Dazu stellt ein Flugkontrollmodul 310 der Drohne 100 über den Transponder 306 geplante Fluginformationen zur Verfügung. Von der Bodenstation 308 werden dann Freigaben für den Luftraum erteilt oder zurückgehalten. So wird ein Konfliktpotenzial zwischen mehreren autonomen Drohnen stark verringert.
-
In einer weiteren Ausbaustufe weist die Drohne 100 einen Transponder 312 zur Kommunikation von Drohne zu Drohne auf. Über den Transponder 312 werden ebenfalls geplante Fluginformationen zur Verfügung gestellt und geplante Fluginformationen von anderen Drohnen empfangen. Das Flugkontrollmodul 310 erkennt zukünftige Konflikte zwischen den beteiligten Drohnen und passt einen geplanten Flugpfad entsprechend an. Ebenso können die anderen Drohnen ihre Flugpfade anpassen, wenn die Drohne 100 beispielsweise eine höhere Priorität zugewiesen hat.
-
In der Abbildung ist das eMSS System 110 mit möglichen Komponenten dargestellt. Die fünf Aufbaustufen sind unterschiedlich gekennzeichnet.
-
4 zeigt eine Darstellung einer Abfolge von Schritten zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel. In dieser Darstellung ist ein Luftfahrzeug 100 mit einer in Flugrichtung ausgerichteten Kamera 112, wie in 1 dargestellt. Durch eine Relativbewegung zwischen dem Luftfahrzeug 100 und Objekten 118 in einem Erfassungsbereich 400 der Kamera 112 ergibt sich ein optisches Merkmal 120 zwischen Einzelbildern der Kamera 112.
-
Beispielhaft ist ein Einzelbild 402 mit den optischen Fluss bzw. optischen Merkmal 120 repräsentierenden Verschiebungsvektoren 404 dargestellt. Die Verschiebungsvektoren 404 sind hier für ein einzelnes bewegtes Objekt 118 in dem Einzelbild 402 dargestellt. Das Objekt 118 ist hier zur Veranschaulichung ein fahrendes Straßenfahrzeug. Die Verschiebungsvektoren 404 des Objekts sind ähnlich. Die Verschiebungsvektoren 404 des Objekts 118 repräsentieren den optischen Fluss oder das optische Merkmal 120 des Objekts 118 zwischen dem dargestellten Einzelbild 402 und einem vorhergehenden Einzelbild. Dabei weisen die Verschiebungsvektoren 404 alle eine ähnliche Länge auf, was eine Geschwindigkeit des Objekts 118 repräsentiert. Weiterhin konvergieren die Verschiebungsvektoren 404 alle in einem gemeinsamen Fluchtpunkt. Das Objekt 118 kann also als Bereich erkannt werden, in dem das optische Merkmal 120 ähnlich ist.
-
In einer geplanten Flugtrajektorie des Luftfahrzeugs 100 sind ein Baum 406 und ein Mensch 408 angeordnet. Analog zu dem dargestellten Einzelbild 402 werden der Baum 406 und der Mensch 408 durch Auswerten des optischen Merkmals 120 als Objekte 118 erkannt und ein möglicher zukünftiger Kollisionsort sowie eine mögliche zukünftige Kollisionszeit bestimmt. Um die mögliche Kollision zu vermeiden, werden ansprechend auf das Bestimmen Ansätze 410 zur Kollisionsvermeidung ausgeführt. Diese Ansätze 410 werden bereits im Straßenverkehr angewendet. Hier werden die Ansätze 410 um die dritte Dimension beziehungsweise Raumrichtung erweitert, was eine Vielzahl von Möglichkeiten zum Vermeiden der zukünftigen Kollision bietet.
-
Durch den hier vorgestellten Ansatz werden autonome Flüge ohne Eingreifmöglichkeit des Steuerers ermöglicht. Es wird ein redundantes Sicherheitssystem via Kamera 112 und Basissensorik vorgestellt. Beispielsweise werden so Anwendungen, die das Fliegen in der Nähe von Personen 408 erfordern, wie Auslieferdrohnen ermöglicht.
-
Es wird eine Kombination von Ansätzen und Lösungen aus der Fahrerassistenz mit einem unbemannten Luftfahrzeug 100 vorgeschlagen. Hierfür können bekannte Algorithmen aus der Fahrerassistenz erweitert sowie neue Algorithmen hinzugefügt werden. In 4 ist das Ergebnis des angewandten Algorithmus aus der Fahrerassistenz zur Kollisionsvermeidung im Straßenverkehr für die Umsetzung auf dem unbemannten Luftfahrzeug 100 dargestellt.
-
Es ist schematisch die Funktion des Kollsionsvermeidungssystems für unbemannte Luftfahrzeuge dargestellt. Der Kopter 100 ist mit einer Kamera 112 ausgestattet, die ein Kamerabild in Flugrichtung aufnimmt. Da die meisten unbemannten Luftfahrzeuge bereits mit Kameras ausgestattet sind, beispielsweise für Luftaufnahmen oder dem First Person View, also Bilder aus Sicht des Flugobjekts für den Pilot, entstehen keine Zusatzkosten für die Sensorik des Kollisionsvermeidungssystems.
-
Dabei erfolgt eine Auswertung des optischen Merkmals 120 zur Objekterkennung. Das ist ein Ansatz aus der Fahrerassistenz, der für den Einsatz im Quadrokopter 100 angepasst ist.
-
Wie hier links unten und rechts oben dargestellt, bewegen sich Bildpunkte bei sich schnell nähernden Objekten 118 von einem Bild 402 zum nächsten ebenfalls schnell, dargestellt durch die langen Vektoren 404. Bei entfernten Objekten 118, die sich langsam nähern, bewegen sich die Bildpunkte langsam, sodass der Algorithmus kurze Vektoren 404 berechnet. Aus diesem Ansatz können Objekte 118 erkannt und deren Abstand beziehungsweise die time-to-collision berechnet werden. Diese Daten werden mit der Flugtraktorie des Kopters 100 verglichen. Falls eine Kollision vorhergesagt wird, kann ein Regler die Flugbahn des unbemannten Luftfahrzeugs ändern und greift direkt auf die Drehzahlregelungen der Rotoren zu, die direkt Fluggeschwindigkeit und Flugrichtung beeinflussen.
-
In einer Erweiterung ist das unbemannte Luftfahrzeug 100 mit weiterer Basissensorik, wie Radar, Ultraschall, Infrarot und lnertialsensorik ausgestattet. Das System zur Kollisionsvermeidung kann auf alle Sensorsignale zugreifen. Es wird ein Abgleich beziehungsweise eine Fusion von Sensordaten durchgeführt, der eine robuste und totzeitarme Schätzung der Position, Ausdehnung und des Bewegungszustands der erkannten Objekte 118 ermöglicht.
-
In einem Ausführungsbeispiel weist das unbemannte Luftfahrzeug 100 eine 360°-Kamera 112 auf. Die Auswertung des Kamerabildes erfolgt immer zumindest in der Flugrichtung beziehungsweise in Richtung der bekannten Flugtrajektorie des unbemannten Luftfahrzeugs 100. Die Kamera 112 kann auch entsprechend der aktuell herrschenden Schwerkraft ausgerichtet werden. Auf diese Weise wird eine einfache Lageschätzung des unbemannten Luftfahrzeugs 100 in der Welt möglich.
-
Die Auswertung des Kamerabildes, das heißt, die Berechnung des optischen Merkmals bzw. des optischen Flusses und des Algorithmus zur Objekterkennung inklusive Abgleich mit weiteren Sensordaten und die Änderung der Flugtrajektorie kann auf einem System on Chip erfolgen. Das Kollisionsvermeidungssystem ist damit abhängig vom Sensor set-up und ist kostengünstig.
-
5 zeigt eine Darstellung einer geänderten Flugbahn 500 zum Vermeiden einer Kollision gemäß einem Ausführungsbeispiel. Dabei entspricht die Darstellung im Wesentlichen der Darstellung in 4. Der Baum 406 befindet sich innerhalb eines Toleranzbereichs um eine geplante Flugbahn 502 beziehungsweise geplante Flugtrajektorie 502. Unter Verwendung des hier vorgestellten Ansatzes sind der Baum 406 und der Mensch 408 als Objekte 118 erkannt worden. Mit dem Baum 406 droht eine mögliche zukünftige Kollision.
-
Daher erfolgt eine Änderung der Flugtrajektorie 502 im Bereich des Baums 406 abgeändert. Hier beschreibt die geänderte Flugbahn 500 einen Bogen über den Baum 406.
-
Stehende Objekte 406 können erkannt werden, indem das erwartete optische Merkmal bzw. Fluss mit dem gemessenen optischen Merkmal bzw. Fluss verglichen wird. Das ist unter Kenntnis der Position und der Bewegung sowie dem Profil der Landschaft möglich. Diese Informationen können aus detaillierten 3-D-Karten entnommen werden. In einer einfachen Ausprägung genügt bereits die grobe Höhenlage der Landschaft. Ergeben sich zusammenhängende Bildregionen, in denen das gemessene Merkmal bzw. der gemessene Fluss in einer vergleichbaren Art vom erwarteten Merkmal bzw. einem erwarteten Fluss abweicht, wird die Bildregion als Objektkandidat weiterbetrachtet.
-
Eine Berechnung von 3-D-Informationen aus einer Folge von Monobildern ist unter Verwendung eines Verfahren, wie "Structure-from-Motion" möglich. Damit kann ein Hindernis 406 grob in 3-D vermessen werden. Auf Basis der Hindernisvermessung ist dann wieder die Planung einer 3-D Ausweichtrajektorie 500 möglich.
-
Weitere Kritikalitätsmaße wie die Time-To-Brake beziehungsweise wie viel Zeit das Luftfahrzeug 100 noch zur Verfügung hat, um durch ein Abbremsen in der Luft die Kollision zu vermeiden, oder die Time-To-Steer beziehungsweise wie viel Zeit das Luftfahrzeug 100 noch zur Verfügung hat, um durch einen Lenkeingriff 500 die Kollision zu vermeiden, werden berechnet. Bei Unterschreiten von Schwellwerten auf die genannten Kritikalitätsmaße liegt eine Situation mit Kollisionsgefahr vor. Das unbemannte Luftfahrzeug 100 kann dann abbremsen, in der Luft stehen bleiben oder seine Trajektorie 502 autonom ändern. Bei Vertikalflüglern ist auch das stehen bleiben möglich. Abhängig von der klassifizierten Objektart, kann das Ausweichmanöver 500 entsprechend angepasst werden. Für neugierige Vögel reicht eventuell ein Warnton.
-
6 zeigt eine Darstellung eines unbemannten Luftfahrzeugs 100 vor einer möglichen zukünftigen Kollision mit einem Vogel 600. Der Vogel 600 fliegt im Bereich einer geplanten Flugbahn 502 des Luftfahrzeugs 100. Durch den Vergleich der geplanten Flugbahn 502 mit einer Flugtrajektorie 602 des Vogels 600 wird erkannt, dass eine Wahrscheinlichkeit für die Kollision abnimmt, da der Vogel 600 vor dem Luftfahrzeug 100 ausweicht. Das Ausweichen kann unterstützt werden, indem ein akustisches Warnsignal ausgesandt wird. Beispielsweise kann ein Warnruf eines Raubvogels abgespielt werden, um den Vogel 600 zu verscheuchen.
-
Wenn sich ein bewegtes, dynamisches Objekt 600 in der Flugbahn 502 des unbemannten Luftfahrzeugs 100 befindet, wird das Objekt 600 über das optische Merkmal bzw. den optischen Fluss als dynamisch erkannt und es wird die "time-to-collision" beziehungsweise die mögliche zukünftige Kollisionszeit berechnet. Hierbei kann ein sogenannter Focus-of-Expansion genutzt werden. Im Falle einer bewegten Kamera erzeugen alle stationären Objekte Flussvektoren, die aus einem Punkt im Bild hervorgehen, dem Focus-of-Expansion. Die Flussvektoren dynamischer Objekte 600 zeigen durch die Objektbewegung 602 eine vom Focus-of-Expansion abweichende Richtung. Ein Schwellwert auf den so berechenbaren Richtungsfehler dient zur Erkennung dynamischer Objekte 600.
-
Ebenso kann der Algorithmus berechnen, ob sich ein Objekt 600 aus der Flugbahn 502 des unbemannten Luftfahrzeugs heraus bewegt und somit keine Kollision stattfindet. Der Zustand des unbemannten Luftfahrzeugs, das heißt, seine Geschwindigkeit, Lage und seine Flugbahn werden daher an den Algorithmus übergeben. Das unbemannte Luftfahrzeug benötigt daher Sensordaten dieser Größen.
-
7 zeigt eine Darstellung eines autonomen Flugs eines unbemannten Luftfahrzeugs 100 mit einem Kollisionsvermeidungssystem gemäß einem Ausführungsbeispiel. Dabei ist ein verfügbarer Luftraum in Cloud-Zones 700, 702 geteilt. Jede Cloud-Zone 700, 702 wird von einem Zentralkoordinator 308 (der in der nachfolgenden Beschreibung auch synonym als Cloud-Zone-Koordinator bezeichnet werden kann) überwacht. Die Aufgabe des Zentralkoordinators 308 ist die Überwachung des Luftraums. Dabei können Luftfahrzeuge 100, 704 überwacht werden, die zumindest die Fluginformationen für den Zentralkoordinator 308 bereitstellen. Es ist eine frühzeitige Kollisionserkennung zwischen fliegenden Luftfahrzeugen 100, 704 möglich. Dazu werden Freigaben für den Flug in einer Cloud Zone 700, 702 erteilt. Falls eine mögliche Kollision 706 erkannt wird, werden Ausweichtrajektorien 500 zur Kollisionsvermeidung berechnet.
-
Hier fliegt das erste Luftfahrzeug 100 in der ersten Cloud-Zone 700 und teilt seinen Flugplan mit dem zuständigen Cloud-Zone-Koordinator 308. Das zweite Luftfahrzeug 704 will in die erste Cloud-Zone 700 hineinfliegen und fordert dafür die Erlaubnis an. Dafür teilt das zweite Luftfahrzeug 704 seinen Flugplan mit dem zuständigen Cloud-Zone-Koordinator 308. Der Cloud-Zone-Koordinator 308 erkennt eine mögliche Kollision 706 zwischen beiden Luftfahrzeugen 100, 704. Der Cloud-Zone-Koordinator 308 überträgt dem zweiten Luftfahrzeug 704 eine neue Flugroute 500, um die Kollision mit dem ersten Luftfahrzeug 100 zu vermeiden. Das erste Luftfahrzeug 100 fliegt weiter ungestört und erkennt ein unerwartetes Objekt 318 mit den Sensoren an Bord. Das erste Luftfahrzeug 100 berechnet eine neue Flugroute 500. Dann fliegt das erste Luftfahrzeug 100 weiter in die zweite Cloud-Zone 702 und teilt seinen Flugplan mit dem neuen zuständigen Zentralkoordinator 308. Das Konzept mit dem "Cloudzonen" 700, 702 ähnelt den Funkzellen eines Mobilfunknetzes.
-
8 zeigt ein Konzeptdiagramm von Ausbaustufen eines Kollisionsvermeidungssystems 110 für ein unbemanntes Luftfahrzeug gemäß einem Ausführungsbeispiel. Das Kollisionsvermeidungssystem 110 baut dabei auf einer automatisierten Erkennung 800 einer möglichen zukünftigen Kollision mit einem Objekt auf, wie sie beispielsweise in den 4 bis 6 beschrieben ist.
-
Es wird ein System 110 vorgeschlagen, das einen kollisionsfreien Flug für unbemannte Luftfahrzeuge sicherstellt. Der hier vorgestellte Ansatz stellt sicher, dass keine Kollision mit anderen unbemannten Luftfahrzeugen und stationären oder sich bewegenden Objekten vorkommen kann. Das System 110 verwendet Komponenten zur Objekterkennung oder Cloud-Kommunikation, wie Sensoren, eine Kamera, Algorithmen zur Objekterkennung, Service zum Überwachen von Luftraum und Software, die den Luftraum überwacht und Konflikte zwischen unbemannten Luftfahrzeugen löst.
-
Es erfolgt eine Beschreibung der Modulstufen des eMSS Systems für die Früherkennung und Vermeidung von Kollisionen.
-
In einer ersten Ausbaustufe 800 kann das Kollisionsvermeidungssystem 110 als Non Co-Operative Sensor System 800 bezeichnet werden. Hier werden Kollisionen durch Objekterkennung und Abstandsmessung zwischen unbemanntem Luftfahrzeug und Hindernis vorausberechnet. Es gibt keine Kommunikation mit dem Hindernis. Dabei wird die Ausweichtrajektorie ohne eine Absprache mit dem anderen Objekt auf der Flugbahn ausgewählt, was trotz Ausweichtrajektorie zur Kollision führen könnte. Typische Sensoren dafür sind RGB-D Kameras, Ultraschallsensoren oder Laser. Anwendungsfälle umfassen beispielsweise die Überwachung von Agrarfeldern, lndoor Kartierung und Feuerbekämpfung. Das System ist dann vorteilhaft, wenn der Luftraum eingeschränkt und bekannt ist.
-
In einer zweiten Ausbaustufe 802 kann das Kollisionsvermeidungssystem 110 als Cloud Based Traffic Control System 802 bezeichnet werden. Hier wird die vorprogrammierte Flugbahn mit einem Zentralkoordinator geteilt, der die Flugerlaubnis für einen bestimmten Luftraum erteilt. Wenn ein unbemanntes Luftfahrzeug keine Erlaubnis bekommt, dann wartet es an der Grenze zum Luftraum, bis die Flugbahn innerhalb des Luftraums wieder frei ist. Durch die Wartezeit werden die Flugzeiten verlängert und damit die Reichweite gekürzt. In einem Ausführungsbeispiel weist das Luftfahrzeug einen ein Transponder zur Kommunikation mit dem Zentralkoordinator auf. Diese zweite Ausbaustufe 802 kann zur Überwachung von Brücken, zur Überwachung eines Werksgeländes oder zur Inspektion von Ölplattformen verendet werden.
-
In einer dritten Ausbaustufe 804 kann das Kollisionsvermeidungssystem 110 als Cloud Solves Conflict Situations in Real Time 804 bezeichnet werden. Hier wird die vorprogrammierte Flugbahn mit einem Zentralkoordinator geteilt, der Zentralkoordinator berechnet in Echtzeit die Ausweichtrajektorien und überträgt diese zu den betroffenen Luftfahrzeugen im Kollisionskonflikt, die sofort das Ausweichmanöver umsetzen können. Hier gibt es keine Wartezeiten mehr. Ein Zentralkoordinator erforderlich. Die dritte Ausbaustufe 804 kann bei Lieferung innerhalb Ortschaften, zur Überwachung von Baustellen oder zur Überwachung von Menschenansammlungen verwendet werden.
-
In einer vierten Ausbaustufe 806 kann das Kollisionsvermeidungssystem 110 als UAV-To-UAV Communication 806 bezeichnet werden. Für den Fall, dass das Luftfahrzeug aus der Cloud-zone in einen nicht kontrollierten Luftraum eintritt, beispielsweise in einen Bereich ohne Cloudkoordinator, wie bei Lieferdrohen in entlegenen Gebieten oder Seerettung, wird ein erweitertes beziehungsweise modifiziertes Konzept zur Berechnung von Konflikten zwischen mehreren Flugobjekten verlangt. Hier wird die vorprogrammierte Flugbahn mit anderen Teilnehmern im Luftraum geteilt. Anschließend wird eine Vereinbarung zwischen den Luftfahrzeugen über die Ausweichtrajektorie getroffen. Die vierte Ausbaustufe 806 kann zur Lieferung in entlegenen Orten oder zur Überwachung von Tierbestand verwendet werden.
-
In einer fünften Ausbaustufe 808 kann das Kollisionsvermeidungssystem 110 als Radar/ACAS 808 bezeichnet werden. In der letzten Aufbaustufe 808 ist ein System zur Integration des Luftfahrzeugs in den zivilen Luftraum, in dem auch bemannte Luftfahrzeuge fliegen, in das Kollisionsvermeidungssystem 110 integriert. Dabei ist zu erwarten, dass unbemannte Luftfahrzeuge immer bemannten Luftfahrzeugen auszuweichen haben. Dafür ist ein Einbau entweder eines Radars zur Erkennung von anderen Flugzeugen und deren Geschwindigkeit sinnvoll, da über die Doppler-Spur sehr schnell der Flugzeugtyp und damit die wichtigste Information das heißt, die Größe erkannt werden kann. Alternativ kann ein ACAS-System eingebaut werden. Die fünfte Ausbaustufe 808 kann zur Grenzüberwachung und zum Bereitstellen von Internet in entlegenen Orten verwendet werden.
-
Da unbemannte Luftfahrzeuge in sehr unterschiedliche Anwendungen eingesetzt werden können, stellen nicht alle Einsatzbereiche beziehungsweise Anwendungen die gleichen Anforderungen an das System 110 zur Kollisionsvermeidung. Daher wird hier eine umfassende und modular aufbaubare Sicherheitsplattform 110 vorgeschlagen. Mit der zunehmenden Komplexität der Aufgabe, die ein unbemanntes Luftfahrzeug durchführen soll, steigt gleichzeitig die Komplexität und Reichweite des Sicherheitssystems, das in Luftfahrzeug eingebaut werden kann und das Luftfahrzeug während des Fluges unterstützt.
-
Wird ein unbemanntes Luftfahrzeug beispielsweise für die Ermittlung von Dünger- und Wasserbedarf auf Agrarfeldern eingesetzt, dann sind die Anforderungen an das Kollisionsvermeidungssystem 110 eher gering, da der Luftraum eingeschränkt und kontrollierbar ist. Mit anderen Worten ist die Anzahl der Flugteilnehmer bekannt und kann vom Grundstückseigentümer nach aktueller Gesetzeslage beeinflusst werden, da er Flüge über seinem Grundstück zulassen oder ablehnen kann. Außerdem sind mögliche Hindernisse in der Flugbahn beziehungsweise stationäre Objekte wie beispielsweise Strommasten oder Bäume generell bekannt. Kollisionsgefahr besteht durch unerwartete Flugobjekte, beispielsweise durch Vögel. Unter solchen Voraussetzungen ist ein System 110 zur Kollisionsvermeidung, das auf Sensoren wie Kameras, Ultraschallsensoren oder Laser basiert, ausreichend. Die Sensoren übernehmen die Objekterkennung und Abstandsmessung. Es kann aber nicht sichergestellt werden, dass durch die Ausweichtrajektorie neue Kollisionskonflikte zu erwarten sind, da die Trajektorie des unerwarteten Objektes nicht bekannt ist. Dennoch ist das Risiko von Kollisionen durch das "non-comparative sensor system" 800 erheblich reduziert. Hier ist daher die beispielhaft beschriebene Anwendung "Precision Farming" der untersten Modulebene 800 zugeordnet, die lediglich "non-cooperative" Sensor systems benötigt und die geringste Komplexität des Sicherheitssystems 110 erfordert.
-
Wird jedoch ein unbemanntes Luftfahrzeug beispielsweise zur Paketlieferung eingesetzt, dann werden die Anforderungen an das System 110 zunehmen. Beispielhaft ist hier der Anwendungsfall "delivery" der 3. Modulstufe 804 "cloud solves conflict situtations" zugeordnet. Ein unbemanntes Luftfahrzeug soll in diesem Fall innerhalb von Ortschaften fliegen, das heißt, mit Überflug von Menschen. Zudem werden auch andere Flugteilnehmer, wie andere unbemannte Luftfahrzeuge im Luftraum erwartet, die nicht im Vorfeld bekannt sein können. Es ist auch zu erwarten, dass sich die Struktur innerhalb des Luftraumes ständig ändert, beispielsweise durch Zubau von Gebäuden in Baugebieten. Um diesen neuen Herausforderungen gerecht zu werden, wird zusätzlich zu dem Modul 800 auch ein System 110 benötigt, das Konfliktpotenzial mit anderen Flugteilnehmern zu 100% risikofrei lösen kann. Da der Flugplan von einem unbemannten Luftfahrzeug im Vorfeld bekannt ist, kann der Flugplan mit einem Zentralkoordinator geteilt werden, der mögliche Konflikte im Voraus berechnen und lösen kann. Das heißt, Flugerlaubnis und Eintritt in einen definierten Luftraum wird nur erteilt, wenn die angestrebte Flugbahn frei von anderen unbemannten Luftfahrzeugen ist. Dieses System 110 ist zuverlässiger als das sensorbasierte System 800 und erweitert die unterlagerten Modulstufen 800, 802.
-
Beide Beispiele begründen den Nutzen und Vorteil eines modular aufbaubaren Systems 110 zur Kollisionsvermeidung für unbemannte Luftfahrzeuge. Bei dem hier vorgestellten System 110 kann jede Aufbaustufe die vorherige Systemstufe enthalten.
-
Mit anderen Worten wird eine Sicherheitsplattform für unbemannte Flugobjekte vorgestellt. Die Sicherheitsplattform umfasst Sicherheitsfunktionen, wie Kollisionsvermeidung, zuverlässige Sensorik und ausfallsichere Komponenten.
-
9 zeigt ein Ablaufdiagramm eines Verfahrens 900 zum Vermeiden einer möglichen zukünftigen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt. Das Verfahren weist einen Schritt 902 des Erkennens, einen Schritt 904 des Bestimmens und einen Schritt 906 des Bereitstellens auf. Das Verfahren 900 kann auf einem Steuergerät eines Luftfahrzeugs, wie es beispielsweise in 1 dargestellt ist, ausgeführt werden. Im Schritt 902 des Erkennens werden ein möglicher zukünftiger Kollisionsort und eine mögliche zukünftige Kollisionszeit der möglichen zukünftigen Kollision unter Verwendung einer Objektinformation über das Objekt und einer geplanten Flugbahn des Luftfahrzeugs erkannt. Im Schritt 904 des Bestimmens wird eine alternative Flugbahn für das Luftfahrzeug unter Verwendung der geplanten Flugbahn, des Kollisionsorts und der Kollisionszeit bestimmt. Im Schritt 906 des Bereitstellens wird ein Steuersignal für das Luftfahrzeug unter Verwendung der alternativen Flugbahn bereitgestellt.
-
Es wird eine automatisierte Kollisionsvermeidung für ein unbemanntes Luftfahrzeug (unmanned aerial vehicle, UAV) vorgestellt.
-
Unbemannte Luftfahrzeuge, wie Quadrokopter, Multikopter oder Drohnen (UAVs, Unmanned Aerial Vehicles) werden in Zukunft häufig Verwendung finden, da sie sehr vielfältige Einsatzmöglichkeiten haben. Beim Betrieb der Luftfahrzeuge sind Safety, Security und Privacy wichtig, also dass keine Kollisionen und Abstürze, kein Missbrauch der Drohne und der Schutz der Privatsphäre gewährleistet sind.
-
Aktuell ist es beispielsweise in Deutschland gestattet unbemannte Luftfahrzeuge lediglich außerhalb geschlossener Ortschaften, nicht über Personen, und nicht autonom, sondern nur in Sichtkontakt und mit Eingriffsmöglichkeit für den Steuerer zu fliegen. Zudem sind für gewerbliche Zwecke Flugerfahrung und eine Aufstiegsgenehmigung nötig. Dies ist unter anderem der Tatsache geschuldet, dass handelsübliche unbemannte Luftfahrzeuge zwar autonom fliegen könnten, jedoch kein Konzept zur Vermeidung von Kollisionen aufweisen.
-
Die Sicherheit von unbemannten Luftfahrzeugen kann verbessert werden, indem Abstandssensorik wie Infrarotsensoren, Radar oder Ultraschall zum Einsatz kommen.
-
Konventionelle Autopilotsysteme arbeiten bei einem detektierten Objekt über die Weitergabe von Warnsignalen an den Piloten und sind somit auf das richtige Reagieren des Piloten angewiesen.
-
Um zukünftigen Sicherheitsanforderungen gerecht zu werden, können unbemannte Luftfahrzeuge mit dem hier beschriebenen Konzept zur automatisierten Kollisionsvermeidung ausgerüstet werden.
-
Der hier vorgestellte Ansatz umfasst ein kamerabasiertes Konzept zur Kollisionsvermeidung, basierend auf der Auswertung eines Kamerabildes durch Bildverarbeitungsalgorithmen. Nahezu alle unbemannten Luftfahrzeuge haben bereits eine Kamera verbaut oder verfügen über einen Gimbal beziehungsweise eine Aufhängung zum Anbringen von Kameras.
-
Auf Basis einer Folge von Kamerabildern kann der optische Fluss bzw. allgemeiner das optische Merkmal berechnet werden. Dieser kann verwendet werden, um die Zeit bis zu einer Kollision zu schätzen (Time-To-Collision) sowie um dynamische Objekte vom Hintergrund zu separieren.
-
Weiterhin kann eine Objektklassifikation vorgenommen werden. Dabei können insbesondere spezifisch unter Verwendung des optischen Merkmals bzw. Flusses als eigenbewegt erkannte Objekte, wie Vögel, andere unbemannte Luftfahrzeuge, Heißluftballons oder Gleitschirmflieger klassifiziert werden.
-
Es kann eine Berechnung der inversen Perspektive beziehungsweise einer sogenannten Bird's eye view erfolgen, wenn eine Höhe und Lage der Kamera beziehungsweise des Luftfahrzeugs bekannt ist. Damit kann eine metrische, verzerrungsfreie Draufsicht auf die Umgebung generiert werden, die in Verbindung mit einer Karte zur Lokalisierung genutzt werden kann.
-
Ferner kann unter Verwendung von Structure-From-Motion oder Bewegungsstereo eine dreidimensionale Ausdehnung von Objekten bestimmt werden.
-
Die genannten Bildverarbeitungsalgorithmen können mithilfe eines embedded system (System on Chip) an Bord des unbemannten Luftfahrzeugs online berechnet und zur Objektbewegungserkennung eingesetzt werden.
-
Durch die Verwendung solcher embedded systems, wie sie beispielsweise in Smartphones und Tablets verwendet werden, entstehen geringe Kosten, da die Prozessoren geringe Stückkosten aufweisen, eine geringe Verlustleistung aufweisen und ein geringes Gewicht haben. Dabei ist keine aktive Kühlung notwendig und die embedded systems können aus der Batterie des unbemannten Luftfahrzeugs versorgt werden.
-
Bei dem hier vorgestellten Ansatz werden Lösungsansätze aus der Fahrerassistenz, wie die Auswertung eines Kamerabildes, die Objekterkennung und die Kollisionsvermeidung mit einer neuen Technologie, dem unbemannten Luftfahrzeug kombiniert. Die Besonderheiten der Plattform unbemanntes Luftfahrzeug ermöglichen jedoch eine Reihe von Algorithmen, die so in der Fahrassistenz nicht verbreitet beziehungsweise möglich sind. Insbesondere erfolgt bei einem Flugobjekt eine Berechnung einer dreidimensionalen kollisionsvermeidenden Trajektorie.
-
Bei der Anwendung auf ein unbemanntes Luftfahrzeug werden die aus der Fahrerassistenz bekannten Kritikalitätsmaße zur Situationsbewertung erweitert. Insbesondere werden neue Luftfahrzeug-spezifische Bewegungsmodelle erstellt. Neue Maße werden hinzugefügt, beispielsweise erfolgt ein Ausweichen nach oben durch Anlegen der Maximalspannung auf die Rotor-Motoren. Ein Ausweichen nach unten erfolgt dagegen durch Anhalten oder starkes Abbremsen der Rotoren ohne Absturz des unbemannten Luftfahrzeugs.
-
Durch den hier vorgestellten Ansatz wird das autonome Fliegen von Drohnen ermöglicht, da die Kollisionsvermeidung für unbemannte Luftfahrzeuge einen Sicherheitsaspekt hinzufügt, dem zuvor nicht Rechnung getragen wurde. Bewegte und unvorhergesehene Objekte innerhalb der Flugbahn werden erkannt und die Kollision vermieden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
