DE202014104937U1

DE202014104937U1 - Navigation system for flying objects

Info

Publication number: DE202014104937U1
Application number: DE202014104937.1U
Authority: DE
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2014-10-16
Filing date: 2014-10-16
Publication date: 2014-10-28
Anticipated expiration: 2024-10-17

Abstract

Navigationssystem (1) für Flugobjekte mit
a) mindestens einer an dem Flugobjekt anordbaren Kamera (2), die zum Erfassen von das überfliegende Gelände enthaltenen Bilddaten innerhalb eines Erfassungsbereiches (3) ausgebildet ist, und
b) einer Navigationseinheit (4), die zum Ermitteln einer Eigenbewegung des Flugobjektes über Grund in Abhängigkeit von einer Auswertung der das überfliegende Gelände enthaltenen Bilddaten eingerichtet ist,
dadurch gekennzeichnet, dass
c) eine Schattenberechnungseinheit (5) vorgesehen ist, die zum Berechnen eines Schattenwurfes des Flugobjektes auf das überfliegende Gelände in Abhängigkeit von einer aktuellen Flughöhe des Flugobjektes und einem ermittelten Sonnenstand an der aktuellen Position des Flugobjektes eingerichtet ist, und
d) die Navigationseinheit (4) zum Ermitteln der Eigenbewegung durch Auswertung der Bilddaten unter Berücksichtigung des berechneten Schattenwurfes des Flugobjektes eingerichtet ist.Navigation system (1) for flying objects with
a) at least one camera (2) which can be arranged on the flying object and which is designed to detect image data contained in the flying terrain within a detection area (3), and
b) a navigation unit (4), which is set up to determine a self-movement of the flying object over ground as a function of an evaluation of the image data containing the over-flying terrain,
characterized in that
c) a shadow calculation unit (5) is provided, which is set up for calculating a shadow cast of the flying object on the overlying terrain as a function of a current altitude of the flying object and a determined position of the sun at the current position of the flying object, and
d) the navigation unit (4) is designed to determine the proper motion by evaluating the image data taking into account the calculated shadow of the flying object.

Description

Die Erfindung betrifft ein Navigationssystem für Flugobjekte mit einer an dem Flugobjekt anordenbaren Kamera und einer Navigationseinheit zum Auswerten von Bilddaten. The invention relates to a navigation system for flying objects with a camera that can be arranged on the flying object and a navigation unit for evaluating image data.

Die Ortung von Fahrzeugen gleich welcher Art spielt heutzutage eine wichtige Rolle. So muss insbesondere bei unbemannten Flugobjekten eine rein technische Möglichkeit gegeben werden, die aktuelle Position des Flugobjektes bestimmen zu können. The location of vehicles of any kind plays an important role nowadays. Thus, especially for unmanned aerial vehicles a purely technical possibility must be given to be able to determine the current position of the flying object.

Die Berechnung der aktuellen Ortsposition mit Hilfe eines satellitengestützten Positionsermittlungsverfahrens (oft auch als GNSS: Global Navigation Satellite System bezeichnet) erfolgt dabei anhand einer Laufzeitberechnung von Signalen zwischen dem Empfänger, dessen Position bestimmt werden soll, und mehreren zeitlich synchronisierten Satelliten. Aus der Laufzeitermittlung des Signals zwischen dem Empfänger und dem jeweiligen Satelliten lässt sich die Entfernung bestimmen, sodass bei einer hinreichenden Anzahl von Satellitenentfernungen aufgrund einer Schnittpunktberechnung die exakte Position des Empfängers ermittelbar ist. Hierfür ist es jedoch erforderlich, dass zumindest vier Satelliten uneingeschränkt empfangbar sind, wobei der Empfang durch Abschattung oder Reflexion gestört sein kann und so eine hinreichend genaue Ortspositionsermittlung nicht mehr gewährleistet werden kann. The calculation of the current spatial position using a satellite-based position determination method (often referred to as GNSS: Global Navigation Satellite System) takes place on the basis of a transit time calculation of signals between the receiver whose position is to be determined, and a plurality of temporally synchronized satellite. From the transit time determination of the signal between the receiver and the respective satellite, the distance can be determined, so that at a sufficient number of satellite distances due to an intersection calculation, the exact position of the receiver can be determined. For this purpose, however, it is necessary that at least four satellites are unrestricted receivable, the reception may be disturbed by shading or reflection and so a sufficiently accurate location determination can no longer be guaranteed.

Es ist daher neben dieser sehr einfachen und kostengünstigen Positionsermittlung insbesondere im Bereich der unbemannten Flugobjekte notwendig, Redundanzsysteme zu schaffen, die bei Ausfall des Hauptsystems oder bei einer zumindest nur temporär vorliegenden Störung eine hinreichend genaue Positionsermittlung zur Verfügung stellen, die den Betrieb des unbemannten Flugobjektes zumindest innerhalb der gewährleisteten Systemgrenzen ermöglichen. Neben klassischen navigationsunterstützenden Systemen, wie bspw. Radarsysteme zur Ermittlung der Flughöhe über Grund kommen auch vermehrt visuelle Systeme zum Einsatz, bei denen Bilddaten der Umgebung des Flugobjektes erfasst, ausgewertet und anhand einer Auswertung der zeitlich aufeinander folgenden Bilddaten bzw. Bilder dann eine Eigenbewegung des Flugobjektes ermittelt wird. It is therefore necessary in addition to this very simple and cost-effective position determination, especially in the field of unmanned aerial vehicles to provide redundancy systems that provide a sufficiently accurate position determination in case of failure of the main system or at least temporarily present fault, the operation of the unmanned aerial object at least within the guaranteed system boundaries. In addition to classical navigation-supporting systems, such as radar systems for determining the altitude over ground also increasingly visual systems are used in which recorded image data of the environment of the flying object, evaluated and based on an evaluation of temporally successive image data or images then own motion of the flying object is determined.

Derartige visuelle Verfahren sind auch unter dem Begriff der visuellen Odometrie bekannt, bei der saliente Merkmale innerhalb von aufgenommenen Bilddaten erkannt und aufgrund einer Bewegung dieser salienten Merkmale innerhalb des Bildes dann auf eine Eigenbewegung des Flugobjektes in Bezug auf die Objekte und/oder den Grund geschlossen wird. Ein derartiges Verfahren zur visuellen Odometrie ist bspw. aus der DE 10 2011 054 379 A1 bekannt. Such visual methods are also known by the term of visual odometry, which recognizes salient features within captured image data and then, due to a movement of these salient features within the image, is closed to self-motion of the flying object relative to the objects and / or the ground , Such a method for visual odometry is, for example, from the DE 10 2011 054 379 A1 known.

Ein Problem der visuellen Odometrie besteht jedoch darin, dass bei Aufnahme der Bilddaten die Bereiche der salienten Merkmale möglichst störungsfrei aufgenommen werden sollten. Denn aufgrund von störenden Einflüssen in Bezug auf die Ausleuchtung des aufgenommenen Bereiches besteht die Wahrscheinlichkeit, dass die Bildverarbeitung zur Auswertung der Bilddaten saliente Merkmale nicht erkennt oder fehlerhaft berechnet, wodurch sich eine fehlerhafte Eigenbewegung ergibt. Das Ergebnis ist dann eine unzureichende Navigation auf Basis visueller Daten. A problem of visual odometry, however, is that when taking the image data, the areas of the salient features should be recorded as smoothly as possible. Because of disturbing influences with respect to the illumination of the recorded area, there is the probability that the image processing for evaluating the image data does not recognize salient features or calculates them incorrectly, resulting in a faulty proper motion. The result is insufficient navigation based on visual data.

Es ist daher Aufgabe der vorliegenden Erfindung ein verbessertes Navigationssystem für Flugobjekte zu schaffen, mit dem derartige Störeinflüsse, insbesondere selbstverschuldete, verringert oder vermieden werden können. It is therefore an object of the present invention to provide an improved navigation system for flying objects with which such disturbing influences, in particular self-inflicted, can be reduced or avoided.

Die Aufgabe wird mit dem Navigationssystem der eingangs genannten Art gemäß Anspruch 1 erfindungsgemäß gelöst. The object is achieved with the navigation system of the type mentioned according to claim 1 according to the invention.

Demnach wird erfindungsgemäß ein Navigationssystem für Flugobjekte vorgeschlagen, das eine an dem Flugobjekt anordenbare Kamera hat, die zum Erfassen von das überfliegende Gelände enthaltenen Bilddaten von Bildern innerhalb eines Erfassungsbereiches ausgebildet ist. Darüber hinaus ist eine Navigationseinheit vorgesehen, die zum Ermitteln einer Eigenbewegung des Flugobjektes über Grund in Abhängigkeit von einer Auswertung der das überfliegende Gelände enthaltenen Bilddaten der Bilder eingerichtet ist. According to the invention, a navigation system for flying objects is proposed which has a camera which can be arranged on the flying object and which is designed to detect image data of images contained within the flying terrain in a detection area. In addition, a navigation unit is provided, which is set up for determining a proper movement of the flying object over ground as a function of an evaluation of the image data of the images containing the overlying terrain.

Demnach wird zunächst vorgeschlagen, dass das Navigationssystem mindestens eine Kamera und eine Navigationseinheit hat, sodass auf Basis einer Bildauswertung aufgenommener Bilder eine Eigenbewegung des Flugobjektes berechnet werden kann. Die Navigationseinheit ist somit zum Ausführen eines Verfahrens zur visuellen Odometrie ausgebildet. Das Navigationssystem kann dabei auch ein Kamerasystem mit mehreren Kameras sein, um so bspw. zusätzliche Tiefeninformationen der Szene zu ermitteln. Denkbar ist aber auch, dass weitere Sensoren vorgesehen sind, die zum Ermitteln einer Tiefe der aufgenommenen Szene ausgebildet sind. Accordingly, it is first proposed that the navigation system has at least one camera and a navigation unit, so that a self-motion of the flying object can be calculated on the basis of an image analysis of recorded images. The navigation unit is thus designed to carry out a method for visual odometry. The navigation system can also be a camera system with several cameras in order to determine, for example, additional depth information of the scene. It is also conceivable that further sensors are provided, which are designed to determine a depth of the recorded scene.

Um Störeinflüsse innerhalb der Bilddaten zu vermeiden bzw. erkennen zu können, ist erfindungsgemäß eine Schattenberechnungseinheit vorgesehen, die zum Berechnen eines Schattenwurfes des Flugobjektes auf das überfliegende Gelände in Abhängigkeit von einer aktuellen Flughöhe des Flugobjektes und einem ermittelten Sonnenstand an der aktuellen Position des Flugobjektes eingerichtet ist. Zumindest unter Kenntnis der Flughöhe sowie eines an der Position des Flugobjektes ermittelten Sonnenstandes lässt sich der Schattenwurf des Flugobjektes berechnen, der aufgrund der Sonneneinstrahlung auf das Flugobjekt zu einem entsprechenden Schatten am Boden führen würde. In order to be able to avoid or detect disturbing influences within the image data, a shadow calculation unit is provided according to the invention which is set up for calculating a shadow cast of the flying object on the overlying terrain as a function of a current flying height of the flying object and a determined position of the sun at the current position of the flying object , At least with knowledge of the altitude and a determined at the position of the flying object position of the sun, the shadow of the flying object can be calculated, which would lead to a corresponding shadow on the ground due to the sunlight on the flying object.

Die Navigationseinheit ist erfindungsgemäß zum Ermitteln der Eigenbewegung durch Auswertung der Bilddaten unter Berücksichtigung des Schattenwurfes des Flugobjektes eingerichtet, sodass insbesondere diejenigen Bildbereiche unberücksichtigt bleiben, in denen der berechnete Schattenwurf des Flugobjektes angenommen wird. The navigation unit is inventively designed to determine the proper motion by evaluating the image data, taking into account the shadow of the flying object, so that in particular those image areas remain unconsidered in which the calculated shadow of the flying object is assumed.

Dadurch wird es möglich, dass die Auswertung der Bilddaten der aufgenommenen Bilder auf diejenigen Bilddaten beschränkt wird, die von einem Schattenwurf des Flugobjektes nicht betroffen sind. Dadurch können fehlerhafte saliente Merkmale, die insbesondere in Randbereichen des Schattenwurfes aufgrund eines Kontrastverlaufes entstehen können, eliminiert. This makes it possible that the evaluation of the image data of the recorded images is limited to those image data that are not affected by a shadow of the flying object. As a result, faulty salient features, which can arise in particular in the peripheral areas of the shadow cast due to a contrast course, are eliminated.

Der Sonnenstand bezeichnet dabei die Position der Sonne, bspw. in Form eines Höhenwinkels und Azimuts (Horizontalwinkel). Der Sonnenstand ist dabei die scheinbare, momentane Position der Sonne über dem Horizont. The sun's position designates the position of the sun, for example in the form of an elevation angle and azimuth (horizontal angle). The position of the sun is the apparent, instantaneous position of the sun over the horizon.

Aufgrund der Tatsache, dass sich bspw. ein Hubschrauber als Flugobjekt bewegt und nicht fix stehen bleibt, entsteht an den Schattenkanten des Schattenwurfes auf den Boden ein falscher Bewegungseindruck, der an und für sich von der Navigationseinheit detektiert werden würde. Gerade in unmittelbarer Bodennähe, wenn der Schatten einen großen Teil des Bildes einnimmt, kann der Fall eintreten, dass die Bewegung der Schattenkante von den Bildverarbeitungsmethoden als Hubschrauberbewegung in Bezug auf den feststehenden Boden gewertet wird. Der dadurch entstehende verfälschte Geschwindigkeitseindruck kann bei der Landung zu einer Beschädigung des Fluggerätes führen. Mit Hilfe der vorliegenden Schattenberechnungseinheit und der Kombination der Ermittlung der Eigenbewegung unter Berücksichtigung des berechneten Schattenwurfes des Flugobjektes kann dieses Problem beseitigt werden. Due to the fact that, for example, a helicopter moves as a flying object and does not remain fixed, a false impression of movement arises at the shadow edges of the shadow cast on the ground, which would in and of itself be detected by the navigation unit. Especially in the immediate vicinity of the ground, when the shadow occupies a large part of the image, it may happen that the movement of the shadow edge is considered by the image processing methods to be a helicopter movement with respect to the fixed ground. The resulting falsified speed impression can lead to damage to the aircraft when landing. This problem can be eliminated with the help of the present shadow calculation unit and the combination of the determination of the proper motion taking into account the calculated shadow cast of the flying object.

Gemäß einer vorteilhaften Ausführungsform ist die Schattenberechnungseinheit eingerichtet, eine digitale 3D-Szene zu erstellen, in der der Sonnenstand als künstliche Lichtquelle verwendet wird, mit der dann ein künstliches Flugmodell als Flugobjekt beleuchtet wird. Der aus der Beleuchtung des künstlichen Flugobjektes mittels der künstlichen Lichtquelle berechnete Schatten wird dann bspw. auf eine Ebene projiziert, die dem Blickfeld der Kamera des Flugobjektes vorteilhafter Weise entsprechen sollte. In Abhängigkeit von dem berechneten Schatten wird dann der Schattenwurf des Flugobjektes berechnet. Die Erstellung der 3D-Szene kann bspw. mit Hilfe bekannter Visualisierungsverfahren, wie bspw. OpenGL gelöst werden. Aufgrund der großen Entfernung der Sonne wird hierbei bspw. eine orthografische Projektion verwendet. According to an advantageous embodiment, the shadow calculation unit is set up to create a digital 3D scene in which the sun's position is used as an artificial light source, with which an artificial flying model is then illuminated as a flying object. The shadow calculated from the illumination of the artificial flying object by means of the artificial light source is then, for example, projected onto a plane which should advantageously correspond to the field of view of the camera of the flying object. Depending on the calculated shadow, the shadow of the flying object is calculated. The creation of the 3D scene can be solved, for example, with the aid of known visualization methods, such as, for example, OpenGL. Due to the great distance of the sun, an orthographic projection is used here, for example.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Schattenberechnungseinheit eingerichtet, den Sonnenstand in Abhängigkeit von der aktuellen Position des Flugobjektes sowie der aktuellen Uhrzeit an der aktuellen Position des Flugobjektes und dem aktuellen Datum an der aktuellen Position des Flugobjektes zu berechnen. Sowohl aus der Position (Latitude, Longitude) als auch aus der aktuellen Uhrzeit und dem vorliegenden Datum lässt sich exakt der Sonnenstand ermitteln, bspw. aus Sonnenstandstabellen oder mittels Berechnung auf Basis von Formeln. According to a further advantageous embodiment, the shadow calculation unit is set up to calculate the position of the sun depending on the current position of the flying object and the current time at the current position of the flying object and the current date at the current position of the flying object. From the position (latitude, longitude) as well as from the current time and date, the exact position of the sun can be determined, for example, from solar altitude tables or by calculation based on formulas.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Schattenberechnungseinheit eingerichtet, den Schattenwurf weiterhin unter Berücksichtigung einer aktuellen Orientierung des Flugobjektes (Pitch, Roll, Yaw), einer Geometrie des Flugobjektes, einer Kameraposition am Flugobjekt und/oder einer Kameraorientierung in Bezug auf das Flugobjekt zu berechnen. Die Orientierung des Flugobjektes stellt dabei die Lage in Bezug auf die horizontale Ebene dar und kann somit die Berechnung des Schattenwurfes verfeinern, da je nach Lage eine unterschiedliche Schattenprojektion auf die Oberfläche erfolgt. Auch die Geometrie des Flugobjektes kann in die Berechnung des Schattenwurfes mit einfließen. Auch Kameraposition sowie Kameraorientierung können mit einfließen, da sich hieraus der Erfassungsbereich der Kamera ableiten lässt und so feststellbar ist, ob der berechnete Schatten für die aufgenommenen Bilddaten relevant ist oder nicht. According to a further advantageous embodiment, the shadow calculation unit is set up to further calculate the shadow cast taking into account a current orientation of the flying object (pitch, roll, yaw), a geometry of the flying object, a camera position on the flying object and / or a camera orientation with respect to the flying object. The orientation of the flying object thereby represents the position with respect to the horizontal plane and can thus refine the calculation of the shadow cast, since, depending on the position, a different shadow projection takes place on the surface. The geometry of the flying object can also be included in the calculation of the shadow cast. The camera position as well as the camera orientation can also be taken into account, since the camera's coverage area can be deduced therefrom and thus it can be determined whether the calculated shadow is relevant for the recorded image data or not.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Navigationseinheit eingerichtet, einen Schattenbereich in den Erfassungsbereich in Abhängigkeit von dem berechneten Schattenwurf zu ermitteln und die Bilddaten zumindest eines Teils des Schattenbereiches bei der Auswertung der erfassten Bilddaten zur Ermittlung der Eigenbewegung unberücksichtigt zu lassen. So lässt sich mit Hilfe des berechneten Schattens ermitteln, welcher Teil des Bildes der erfassten Bilddaten von einem möglichen Schattenwurf des Flugobjektes kompromittiert ist oder nicht. Dabei können diejenigen Bilddaten, die nicht in dem Teil des Bildes liegen, der von dem berechneten Schatten kompromittiert ist, ausschließlich zur Ermittlung der Eigenbewegung herangezogen werden, während diejenigen Daten, die in dem Schattenbereich (Bereich des Bildes, der von dem berechneten Schatten kompromittiert ist) liegen, unberücksichtigt bleiben. Einer konkreten Erfassung des Schattens innerhalb des Bildes bedarf es bei dieser Ausführungsform daher nicht. According to a further advantageous embodiment, the navigation unit is set up to determine a shadow area in the detection area as a function of the calculated shadow and to disregard the image data of at least part of the shadow area in the evaluation of the acquired image data for determining the proper motion. Thus it can be determined with the help of the calculated shadow, which part of the image of the captured image data from a possible shadow of the flying object is compromised or not. In this case, those image data that are not in the part of the image that is compromised by the calculated shadow can be used exclusively for determining the proper motion, while those data in the shadow region (region of the image that is compromised by the calculated shadow ) are disregarded. A concrete acquisition the shadow within the image is therefore not required in this embodiment.

In einer weiteren Ausführungsform ist die Navigationseinheit eingerichtet, in Abhängigkeit von dem berechneten Schattenwurf diejenigen Bilddaten im Erfassungsbereich zu ermitteln, die in einem Randbereich eines in den Bilddaten enthaltenen erfassten Schattenwurfes des Flugobjektes liegen. Hierdurch wird der konkrete Schatten des Flugobjektes, der sich in den aufgenommenen Bilddaten befindet, mit Hilfe des berechneten Schattens lokalisiert, sodass diejenigen Bildpunkte, die klar zu dem aufgenommenen Schatten des Flugobjektes gehören, bei der Auswertung der Bilddaten zum Zwecke der Ermittlung der Eigenbewegung unberücksichtigt bleiben. Insbesondere in Randbereichen des Schattens entstehen Kontrastsprünge, die zu einer fehlerhaften Berechnung der Eigenbewegung des Flugobjektes führen, sodass insbesondere gerade diese Bereiche bei der Auswertung der Bilddaten ausgeklammert werden. In a further embodiment, the navigation unit is set up to determine, as a function of the calculated shadowing, those image data in the detection area that are located in an edge region of a captured shadow of the flying object contained in the image data. As a result, the concrete shadow of the flying object, which is located in the recorded image data, located using the calculated shadow, so that those pixels that are clearly associated with the recorded shadow of the flying object, disregarded in the evaluation of the image data for the purpose of determining the proper motion , In particular in edge regions of the shadow arise jumps in contrast, which lead to an incorrect calculation of the intrinsic motion of the flying object, so that especially these areas are excluded in the evaluation of the image data.

Hierbei ist es vorteilhaft, wenn die Navigationseinheit zum Erkennen eines Randbereiches in Abhängigkeit von einem Kontrastverlauf im Bereich des berechneten Schattenwurfes eingerichtet ist. In this case, it is advantageous if the navigation unit is set up to detect an edge area as a function of a contrast course in the area of the calculated shadow.

Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:The invention will be explained in more detail by way of example with reference to the attached figures. Show it:

1 schematische Darstellung des Navigationssystems; 1 schematic representation of the navigation system;

2 schematische Darstellung einer künstlich erzeugten 3D-Szene; 2 schematic representation of an artificially generated 3D scene;

3 schematische Darstellung des Erfassungsbereiches der Kamera. 3 schematic representation of the detection range of the camera.

1 zeigt schematisch das Navigationssystem 1, das zunächst eine Kamera 2 hat, mit der das überfliegende Gelände enthaltene Bilddaten in Form von Bildern aufgenommen werden können. Die Kamera 2 hat dabei einen Erfassungsbereich 3, innerhalb dessen die Kamera die einzelnen Bilder mit ihren Bilddaten aufnimmt. 1 schematically shows the navigation system 1 , first a camera 2 has, with the overlying terrain image data can be recorded in the form of images. The camera 2 has a coverage area 3 within which the camera takes the individual images with their image data.

Dabei ist die Kamera 2 eingerichtet, im Erfassungsbereich jeweils zeitlich nacheinander eine Mehrzahl von Bildern aufzunehmen, wobei jedes Bild aus einer Mehrzahl von einzelnen Bilddaten (bspw. Bildpunkte) besteht. Here is the camera 2 arranged to record in the detection area in each case temporally successively a plurality of images, wherein each image consists of a plurality of individual image data (for example, pixels).

Die Kamera 2 ist dabei so eingerichtet, dass sie an einem Flugobjekt, bspw. einem Hubschrauber, angeordnet werden kann, sodass sie das überfliegende Gelände während des Fluges des Flugobjektes innerhalb des Erfassungsbereiches 3 aufnehmen kann. The camera 2 is set up so that it can be arranged on a flying object, for example a helicopter, so that it covers the overlying terrain during the flight of the flying object within the detection area 3 can record.

Die erfassten Bilddaten der Kamera 2 werden dann an eine Navigationseinheit 4 übertragen, die zum Ausführen eines Bildverarbeitungsverfahrens ausgebildet ist. Mit Hilfe des durch die Navigationseinheit 4 ausgeführten Bildverarbeitungsverfahrens sollen bestimmte Merkmale innerhalb der aufgenommenen Bilder erkannt werden, umso mittels bekannter visueller Odometrieverfahren dann eine Eigenbewegung des Flugobjektes über Grund ermitteln zu können. Denn beim Erkennen von Merkmalen in zeitlich nacheinander aufgenommenen Bildern und deren absolute oder relative Verschiebung in der zeitlichen Abfolge der Bilder kann auf eine hinreichende Eigenbewegung des Flugobjektes über Grund geschlossen werden, da die Eigenbewegung des Flugobjektes mit den Bewegungen der Merkmale korreliert. The captured image data of the camera 2 will be sent to a navigation unit 4 transferred, which is adapted to carry out an image processing method. With the help of the navigation unit 4 executed image processing method to recognize certain features within the recorded images, so as to be able to determine by means of known visual odometry then a proper movement of the flying object over reason. For when recognizing features in successive recorded images and their absolute or relative shift in the temporal sequence of images can be concluded that a sufficient proper motion of the flying object on ground, since the proper motion of the flying object correlates with the movements of the features.

Die Navigationseinheit 4 ist des Weiteren mit einer Schattenberechnungseinheit 5 verbunden, die auch integraler Bestandteil der Navigationseinheit 4 sein kann. Mit Hilfe der Schattenberechnungseinheit 5 wird der durch das Flugobjekt am Boden verursachte Schattenwurf berechnet, sodass dieser bei der Auswertung der Bilddaten zwecks Ermittlung der Eigenbewegung des Flugobjektes mitberücksichtigt werden kann. Hierfür ist die Schattenberechnungseinheit 5 ausgebildet, in Abhängigkeit der Flughöhe sowie des Sonnenstandes an der aktuellen Position zur aktuellen Uhrzeit und zum aktuellen Datum den Schattenwurf zu berechnen. Zur Verfeinerung der Berechnung können dabei noch weitere Parameter in die Schattenwurfberechnung einfließen, wie bspw. die Orientierung des Fluggerätes sowie die Geometrie des Fluggerätes. The navigation unit 4 is further with a shadow calculation unit 5 connected, which is also an integral part of the navigation unit 4 can be. Using the shadow calculation unit 5 the shadow cast caused by the flying object on the ground is calculated so that it can be taken into account in the evaluation of the image data in order to determine the proper motion of the flying object. This is the shadow calculation unit 5 designed to calculate the shadow cast according to the altitude and the position of the sun at the current position at the current time and date. In order to refine the calculation, further parameters can be included in the shadow design calculation, such as, for example, the orientation of the aircraft and the geometry of the aircraft.

Der berechnete Schattenwurf wird nun mit den aufgenommenen Bilddaten verglichen, um zunächst erst einmal festzustellen, ob der Schattenwurf überhaupt im Erfassungsbereich der Kamera liegt. Ist dies der Fall, so ist es bspw. denkbar, dass die Navigationseinheit 4 sämtliche Bilddaten bei der Auswertung zur Ermittlung der Eigenbewegung des Flugobjektes außer Betracht lässt, die innerhalb des Bereiches liegen, der von dem berechneten Schatten im Erfassungsbereich abgedeckt wird. The calculated shadow is now compared with the recorded image data to first determine first whether the shadow is ever in the detection range of the camera. If this is the case, it is, for example, conceivable that the navigation unit 4 disregards all image data in the evaluation for determining the self-motion of the flying object, which are within the range that is covered by the calculated shadow in the detection area.

In einer vorteilhaften Ausführungsform ist es dabei auch denkbar, dass die Navigationseinheit 4 den berechneten Schatten mit dem Inhalt der aufgenommenen Bilder vergleicht, um so die Bilddaten identifizieren zu können, die möglicherweise den tatsächlichen Schattenwurf des Flugobjektes beinhalten. Hierfür wird insbesondere der Randbereich des berechneten Schattens in den Bilddaten untersucht, wobei bei Feststellung eines entsprechenden Kontrastverlaufes in diesem Randbereich des berechneten Schattens innerhalb der Bilddaten dann auf den Randbereich des tatsächlichen aufgenommenen Schattens in den Bilddaten geschlossen wird. Hierdurch lässt sich der tatsächlich aufgenommene Schatten innerhalb der Bilder identifizieren, sodass auch hier zumindest die Merkmale im Randbereich oder sämtliche Merkmale innerhalb des aufgenommenen Schattens bei der Ermittlung der Eigenbewegung des Flugobjektes unberücksichtigt bleiben. In an advantageous embodiment, it is also conceivable that the navigation unit 4 compares the calculated shadow with the content of the captured images to identify the image data that may include the actual shadow cast of the flying object. For this purpose, in particular the edge region of the calculated shadow in the image data is examined, whereby, when a corresponding contrast profile is detected in this edge region of the calculated shadow within the image data, then the boundary region of the actual recorded shadow in the image data is closed. In this way, the actually recorded shadow can be identified within the images, so that here too at least the features in the edge area or all the features within the recorded shadow remain unconsidered when determining the proper motion of the flying object.

2 zeigt schematisch eine erstellte künstliche 3D-Szene, um den Schattenwurf zu berechnen. Das Erstellen der künstlichen 3D-Szene kann bspw. mit Hilfe der OpenGL Schnittstelle erfolgen. Hierfür wird zunächst der Boden bzw. Grund erzeugt. Mittels vorhandener Tiefeninformationen kann der Untergrund auch komplett künstlich nachgebildet werden. Über der Ebene 10 wird dann entsprechend der aktuellen Flughöhe des Flugobjektes ein Modell des Flugobjektes 11 positioniert. Anhand des berechneten Sonnenstandes wird dann eine Lichtquelle 12 positioniert, die das Modell 11 des Flugobjektes beleuchtet. Der sich hieraus ergebene künstliche Schattenwurf 13, projiziert auf die Ebene 10, stellt dann die Basis für die Berechnung des Schattenwurfes dar. Im einfachsten Fall kann bspw. der Schattenwurf als ein Objekt relativ zum Flugobjekt 11 berechnet werden. 2 schematically shows a created artificial 3D scene to calculate the shadow cast. The creation of the artificial 3D scene can take place, for example, with the aid of the OpenGL interface. For this purpose, the soil or ground is first generated. By means of existing depth information, the ground can also be reproduced completely artificially. Above the level 10 Then, according to the current altitude of the flying object, a model of the flying object 11 positioned. Based on the calculated position of the sun then becomes a light source 12 positioned the model 11 illuminated of the flying object. The resulting artificial shadow cast 13 projected onto the plane 10 , then represents the basis for the calculation of the shadow cast. In the simplest case, for example, the shadow cast as an object relative to the flying object 11 be calculated.

3 zeigt schematisch den Erfassungsbereich 3 der Kamera des Navigationssystems. Die in dem Erfassungsbereich 3 markierten Kreuze 21 stellen dabei die salienten Merkmale dar, die von der Navigationseinheit ermittelt und zum Zwecke der Eigenbewegung des Flugobjektes ausgewertet werden. Im unteren Bereich des Erfassungsbereiches 3 ist dabei der aufgenommene Schatten 22 erkennbar, mit seinem Randbereich 23. Der Randbereich 23 ist dabei derjenige Bereich des Erfassungsbereiches 3, der bei der Ermittlung der salienten Merkmale 21 sowie der Auswertung der einzelnen Bilddaten zum Zwecke der Erfassung der Eigenbewegung des Flugobjektes unberücksichtigt bleibt. Dieser entfernte Randbereich 23 wurde dabei derart ermittelt, indem der berechnete Schatten in den Erfassungsbereich 3 überlagert wurde, sodass durch Analyse der Bilddaten, die mit dem Randbereich des berechneten Schattens übereinstimmen, ein Kontrastverlauf detektiert werden kann, der dann den tatsächlichen Schattenverlauf darstellen soll. 3 shows schematically the detection area 3 the camera of the navigation system. The in the coverage area 3 marked crosses 21 represent the salient features that are determined by the navigation unit and evaluated for the purpose of proper motion of the flying object. In the lower area of the detection area 3 is the recorded shadow 22 recognizable, with its edge area 23 , The border area 23 is the area of the detection area 3 , in determining the salient characteristics 21 and the evaluation of the individual image data for the purpose of detecting the intrinsic motion of the flying object is disregarded. This remote edge area 23 was determined in such a way by the calculated shadow in the detection area 3 was superimposed so that by analysis of the image data, which coincide with the edge region of the calculated shadow, a contrast profile can be detected, which should then represent the actual shadow.

Merkmale, die sich in dem entfernten Randbereich 23 befinden, werden dabei bei der Berechnung der Eigenbewegung unberücksichtigt gelassen, sodass mögliche Auswertungsfehler, die sich auf den durch den Schattenwurf erzeugten Kontrastfehler zurückführen lassen, eliminiert werden. Features that are in the far edge area 23 are disregarded in the calculation of the eigenmovement, so that possible evaluation errors, which can be attributed to the contrast error caused by the shadowing, are eliminated.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Navigationssystem navigation system
22: Kamera camera
33: Erfassungsbereich detection range
44: Navigationseinheit navigation unit
55: Schattenberechnungseinheit The Shadow Unit
1010: projizierte Ebene projected level
1111: Modell des Flugobjektes Model of the flying object
1212: künstliche Lichtquelle artificial light source
1313: künstlicher Schattenwurf artificial shadow
2121: saliente Merkmale salient features
2222: aufgenommener Schatten recorded shadow
2323: Randbereich des Schattens Edge of the shadow

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102011054379 A1 [0005]

Claims

Navigation system ( 1 ) for flying objects with a) at least one camera which can be arranged on the flying object ( 2 ), which is used to detect image data contained in the overlying terrain within a detection area ( 3 ), and b) a navigation unit ( 4 ), which is set up to determine a self-movement of the flying object over ground as a function of an evaluation of the image data containing the over-flying terrain, characterized in that c) a shadow calculation unit ( 5 ) is provided, which is set up for calculating a shadow cast of the flying object on the overlying terrain as a function of a current flight altitude of the flying object and a determined position of the sun at the current position of the flying object, and d) the navigation unit ( 4 ) is set up to determine the proper motion by evaluating the image data taking into account the calculated shadow of the flying object.

Navigation system ( 1 ) according to claim 1, characterized in that the shadow calculation unit ( 5 ) is set up to create a 3D digital scene in which the position of the sun as an artificial light source ( 12 ) is used, then illuminated with an artificial model aircraft as a flying object and the resulting shadow is determined to calculate the shadow of the flying object on the overlying terrain.

Navigation system ( 1 ) according to claim 1 or 2, characterized in that the shadow calculation unit ( 5 ) is set up to calculate the position of the sun as a function of the current position of the flying object as well as the current time at the current position of the flying object and the current date at the current position of the flying object.

Navigation system ( 1 ) according to one of the preceding claims, characterized in that the shadow calculation unit ( 5 ) is arranged to continue to calculate the shadow cast taking into account a current orientation of the flying object, a geometry of the flying object, a camera position on the flying object and / or camera orientation with respect to the flying object.

Navigation system ( 1 ) according to one of the preceding claims, characterized in that the navigation unit ( 4 ), a shadow area in the detection area ( 3 ) as a function of the calculated shadow and to disregard the image data of at least part of the shadow area in the evaluation of the acquired image data for determining the proper motion.

Navigation system ( 1 ) according to one of the preceding claims, characterized in that the navigation unit ( 4 ) is set up, depending on the calculated shadowing, those image data in the detection area ( 3 ) in a peripheral area ( 23 ) of a recorded shadow image of the flying object contained in the image data, wherein the image data in the edge region ( 23 ) of the detected shadow cast in the evaluation of the acquired image data to determine the proper motion disregarded.

Navigation system ( 1 ) according to claim 6, characterized in that the navigation unit ( 4 ) for recognizing a border area ( 23 ) is set up as a function of a contrast course in the area of the calculated shadow.

Flying object with a navigation system ( 1 ) according to any one of the preceding claims.