DE102014115046B4

DE102014115046B4 - Method and assistance system for determining a flight parameter of a flying object during the flight

Info

Publication number: DE102014115046B4
Application number: DE102014115046.5A
Authority: DE
Inventors: Alexander Gatter
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2014-10-16
Filing date: 2014-10-16
Publication date: 2020-07-23
Anticipated expiration: 2034-10-17
Also published as: DE102014115046A1

Abstract

Verfahren zum Ermitteln eines Flugparameters eines Flugobjektes während des Fluges, mit den Schritten:- Aufnehmen von Bilddaten enthaltenen Bildern eines überfliegenden Geländes innerhalb eines Erfassungsbereiches (3) mittels einer an dem Flugobjekt angeordneten Kamera (2),- Berechnen jeweils eines Schattenwurfes des Flugobjektes auf das überfliegende Gelände für eine Mehrzahl von verschiedenen, vorgegebenen Werten des Flugparameters jeweils in Abhängigkeit von einem ermittelten Sonnenstand an der aktuellen Position des Flugobjektes und dem jeweiligen vorgegebenen Wert des Flugparameters mittels einer Schattenberechnungseinheit (5),- Vergleichen der für die verschiedenen, vorgegebenen Werte des Flugparameters berechneten Schattenwürfe (22a, 22b, 22c) mit einem in den aufgenommenen Bildern enthaltenen tatsächlichen Schattenwurf (21) des Flugobjektes auf das Gelände und Feststellen, welcher der berechneten Schattenwürfe (22a, 22b, 22c) dem tatsächlichen Schattenwurf (21) des Flugobjektes hinsichtlich der Geometrie, Abmessung und/oder Orientierung am nächsten kommt, mittels einer Auswerteeinheit (4) und- Ermitteln des Wertes des Flugparameters in Abhängigkeit von dem vorgegebenen Wert des Flugparameters, für den der am nächsten kommende Schattenwurf berechnet wurde, mittels der Auswerteeinheit (4).Method for determining a flight parameter of a flying object during the flight, comprising the steps: - taking images of overflowing terrain within image detection area (3) by means of a camera (2) arranged on the flying object, - calculating in each case a shadow cast by the flying object on the overflying terrain for a plurality of different, predetermined values of the flight parameter, each as a function of a determined sun position at the current position of the flying object and the respective predetermined value of the flight parameter by means of a shadow calculation unit (5), - comparing the values for the various, predetermined values of the flight parameter calculated shadow casts (22a, 22b, 22c) with an actual shadow cast (21) of the flying object contained in the recorded images on the terrain and determining which of the calculated shadow casts (22a, 22b, 22c) the actual shadow cast (21) of the flying object comes closest in terms of geometry, dimensions and / or orientation, using an evaluation unit (4) and - determining the value of the flight parameter as a function of the specified value of the flight parameter for which the closest shadow cast was calculated, using the evaluation unit (4 ).

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Flugparameters eines Flugobjektes während des Fluges. Die Erfindung betrifft ebenso ein Assistenzsystem für Flugobjekte zur Ermittlung eines Flugparameters eines Flugobjektes während des Fluges sowie ein Flugobjekt hierzu.The invention relates to a method for determining a flight parameter of a flying object during the flight. The invention also relates to an assistance system for flying objects for determining a flight parameter of a flying object during the flight and a flying object for this.

Das Erfassen bzw. Sensieren von Flugparametern gleich welcher Art, die mehr oder weniger den Flugzustand eines Flugobjektes im Flug beschreiben, spielt heutzutage in der modernen Avionik eine immer größer werdende Rolle. Gerade im Bereich der unbemannten Flugobjekte muss es redundante technische Systeme geben, die verschiedene Flugparameter detektieren, sodass das unbemannte Flugobjekt selbstständig einen stabilen Flugzustand beibehalten kann. Das korrekte Erfassen der einzelnen Flugparameter ist daher ein essentieller Bestandteil des Sicherheitskonzeptes eines jeden unbemannten Flugobjektes.The detection or sensing of flight parameters of any kind, which more or less describe the flight status of a flying object in flight, is playing an ever increasing role in modern avionics. Especially in the area of unmanned flying objects, there must be redundant technical systems that detect different flight parameters so that the unmanned flying object can independently maintain a stable flight state. The correct recording of the individual flight parameters is therefore an essential part of the safety concept of every unmanned flying object.

Derartige Flugparameter können neben der aktuellen Position des Flugobjektes insbesondere die Höhe über Grund des Flugobjektes, die Lage des Flugobjektes in Bezug auf die horizontale Ebene insbesondere die Orientierung des Flugobjektes (Heading) sein. Diese Flugparameter werden in der Regel mit Hilfe von an dem Flugobjekt angeordneten Sensoren ermittelt. Insbesondere im Bereich der unbemannten Flugobjekte ist es jedoch wünschenswert, neben diesen Sensoren zur Ermittlung der Flugparameter auch andere Sensorsysteme einzusetzen, die als redundante Ausfallebene bei Defekt eines der Sensoren dienen können.In addition to the current position of the flying object, such flight parameters can in particular be the height above the ground of the flying object, the position of the flying object in relation to the horizontal plane, and in particular the orientation of the flying object (heading). These flight parameters are generally determined with the aid of sensors arranged on the flying object. Particularly in the area of unmanned aerial objects, however, it is desirable to use other sensor systems in addition to these sensors to determine the flight parameters, which can serve as a redundant failure level if one of the sensors is defective.

Des Weiteren ist es gerade auch für langsam fliegende bzw. schwebfliegende Flugobjekte sinnvoll, wenn diese Informationen über die Bodenbeschaffenheit bzw. Geländeeigenschaften des überfliegenden Geländes haben. Hierdurch können bspw. Hindernisse erkannt oder aber auch landefähige Orte identifiziert werden, sodass das Flugobjekt sicher landen kann.Furthermore, it makes sense especially for slow-flying or hovering flying objects if they have information about the nature of the ground or the terrain properties of the overflying terrain. In this way, for example, obstacles can be recognized or locations that are capable of landing can be identified so that the flying object can land safely.

Eine Möglichkeit, entsprechende Geländeinformationen zu erhalten, besteht aus dem Abgleich der aktuellen Ortsposition des Flugobjektes mit Informationen aus einer digitalen Karte. Allerdings setzt dies voraus, dass die digitale Karte hinsichtlich ihrer dort gespeicherten Informationen vollständig und auf dem aktuellen Stand ist. Gerade in abgelegenen Gebieten jedoch, die für eine entsprechende Vermessung des Geländes nur schwer zugänglich sind, ist dies nicht immer gegeben.One way to obtain appropriate terrain information is to compare the current location of the flying object with information from a digital map. However, this presupposes that the digital map is complete and up to date with regard to the information stored there. However, this is not always the case, especially in remote areas, which are difficult to access for a corresponding measurement of the site.

Aus der US 7,376,284 B2 ist ein Verfahren zum Ermitteln von dreidimensionalen Messinformationen bekannt, bei dem bspw. die Höhe eines Gebäudes anhand des Schattenwurfs in aufgenommenen zweidimensionalen Bildern ermittelt werden soll. Hierbei ist vorgesehen, dass der Benutzer händisch am Bildschirm den aufgenommenen Schattenwurf vermisst, um so die Höhe des Gebäudes zu berechnen.From the US 7,376,284 B2 A method for determining three-dimensional measurement information is known, in which, for example, the height of a building is to be determined on the basis of the shadow cast in recorded two-dimensional images. It is provided here that the user manually measures the shadow cast on the screen in order to calculate the height of the building.

Aus der US 7,733,342 B2 ist ein ähnliches Verfahren bekannt, bei dem die Gebäudehöhe mit dem aufgezeichneten Schattenwurf korreliert und die Gebäudehöhe dabei iterativ ermittelt wird, bis die maximale Ausdehnung des Schattenwurfs erreicht wurde. Auch dieses Verfahren wird manuell und händisch durchgeführt.From the US 7,733,342 B2 A similar method is known in which the building height correlates with the recorded shadow cast and the building height is determined iteratively until the maximum extent of the shadow cast has been reached. This procedure is also carried out manually and manually.

Aus Weiliang Fan; Chen, J.M.; Weimin Ju; Gaolong Zhu: GOST: A Geometric-Optical Model for Sloping Terrains. In: IEEE Transactions on Geoscience and Remote Sensing, Vol.52, No.9, S. 5469-5482, Sept. 2014. IEEE Xplore [online]. DOI: 10.1109/TGRS.2013.2289852, In: IEEE ist bekannt, die Neigung der Geländeoberfläche anhand von Schattenwürfen von Bäumen zu bestimmen.From Weiliang Fan; Chen, J.M .; Weimin Ju; Gaolong Zhu: GOST: A Geometric-Optical Model for Sloping Terrains. In: IEEE Transactions on Geoscience and Remote Sensing, Vol.52, No.9, pp. 5469-5482, Sept. 2014. IEEE Xplore [online]. DOI: 10.1109 / TGRS.2013.2289852, In: IEEE is known to determine the slope of the terrain surface using shadows from trees.

Aus der DE 10 2004 051 625 A1 ist ein Verfahren zur Pilotenunterstützung bei der Landung von Helikoptern im Sichtflug unter Brown-Out und White-Out Bedingungen, wobei zuvor der Landeplatz des Hubschraubers aufgezeichnet wurde.From the DE 10 2004 051 625 A1 is a procedure for pilot support for the landing of helicopters in visual flight under brown-out and white-out conditions, whereby the landing site of the helicopter was recorded beforehand.

Schließlich ist aus Seegmiller, N.; Wettergreen, D.: Optical flow odometry with robustness to self-shadowing. In: 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), S. 613-618, 25-30 Sept. 2011. IEEE Explore [online]. DOI: 10.1109/IROS.2011.6094670, In: IEEE bekannt, wie unter Beachtung des Eigenschattens mit Hilfe der visuellen Odometrie die Ermittlung der Eigenbewegung verbessert werden kann.Finally, from Seegmiller, N .; Wettergreen, D .: Optical flow odometry with robustness to self-shadowing. In: 2011 IEEE / RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 613-618, Sept. 25-30, 2011. IEEE Explore [online]. DOI: 10.1109 / IROS.2011.6094670, In: IEEE known how, taking into account the inherent shadow, the determination of the own movement can be improved with the help of visual odometry.

Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren anzugeben, mit dem Werte eines Flugparameters eines Flugobjektes im Flug ermittelt werden können, um so insbesondere ein redundantes System zur Detektion von Flugparametern zu schaffen. Es ist darüber hinaus auch Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren zum Ermitteln von Geländeeigenschaften eines überfliegenden Geländes anzugeben, mit dem schnell und sicher entsprechende Geländeinformationen ermittelt werden können.Against this background, it is an object of the present invention to provide an improved method with which values of a flight parameter of a flying object can be determined in flight, in order to create a redundant system for the detection of flight parameters. It is also an object of the present invention to provide an improved method for determining terrain properties of a flying terrain, with which corresponding terrain information can be determined quickly and reliably.

Der erste Aspekt der Aufgabe wird erfindungsgemäß mit den Merkmalen des Verfahrens gemäß Anspruch 1 gelöst. Der zweite Aspekt der Erfindung wird erfindungsgemäß mit den Merkmalen des Verfahrens gemäß Anspruch 3 gelöst. The first aspect of the object is achieved according to the invention with the features of the method according to claim 1. The second aspect of the invention is solved according to the invention with the features of the method according to claim 3.

Gemäß Anspruch 1 wird ein Verfahren zum Ermitteln eines Flugparametes eines Flugobjektes während des Fluges vorgeschlagen, wobei zunächst mit Hilfe einer an dem Flugobjekt angeordneten Kamera entsprechende Bilder des überfliegenden Geländes innerhalb eines Erfassungsbereiches der Kamera aufgenommen werden. Die Bilder enthalten dabei eine Vielzahl von Bilddaten und können insbesondere digitaler Art sein. According to claim 1, a method for determining a flight parameter of a flying object during the flight is proposed, first of all corresponding images of the overflighting terrain being recorded within a detection range of the camera with the aid of a camera arranged on the flying object. The images contain a large number of image data and can in particular be digital.

Mit Hilfe einer Schattenberechnungseinheit wird nun ein Schattenwurf des Flugobjektes, der aufgrund der Beleuchtung des Flugobjektes durch die Sonne auf dem Gelände entstehen würde, berechnet, und zwar unter Erkenntnis eines an der aktuellen Position des Flugobjektes ermittelten Sonnenstandes. Der Sonnenstand kann dabei bspw. anhand der aktuellen Position, der aktuellen Uhrzeit an der aktuellen Position sowie anhand des aktuellen Datums an der Position des Flugobjektes ermittelt bzw. auch berechnet werden.With the help of a shadow calculation unit, a shadow cast by the flying object, which would arise due to the lighting of the flying object by the sun on the terrain, is now calculated, and indeed with the knowledge of a sun position determined at the current position of the flying object. The position of the sun can be determined, for example, on the basis of the current position, the current time at the current position and on the basis of the current date at the position of the flying object.

Da der entstehende Schattenwurf jedoch nicht nur abhängig ist von dem Sonnenstand, sondern auch von den Flugzustand des Flugobjektes beschreibenden Parametern, wird des Weiteren der Schattenwurf auch in Abhängigkeit von verschiedenen, vorgegebenen Werten eines gesuchten Flugparameters berechnet, sodass sich für verschiedene Werte des Flugparameters bei gleichbleibenden ermittelten Sonnenstand verschiedene Schattenwürfe ergeben, die sich hinsichtlich der Geometrie, Abmessung und/oder Orientierung unterscheiden. Mit anderen Worten, bei der Berechnung des Schattenwurfs werden verschiedene Werte für einen gesuchten Flugparameter zugrunde gelegt, sodass sich für jeden vorgegebenen Wert eines Flugparameters ein jeweils unterschiedlicher Schattenwurf ergibt.Since the resulting shadow is not only dependent on the position of the sun, but also on parameters describing the flight status of the flying object, the shadow cast is also calculated as a function of different, specified values of a searched flight parameter, so that different values of the flight parameter remain the same determined position of the sun result in different shadows that differ in terms of geometry, dimensions and / or orientation. In other words, the calculation of the shadow cast is based on different values for a searched flight parameter, so that a different shadow cast results for each given value of a flight parameter.

Mit Hilfe einer mikroprozessorgesteuerten Auswerteeinheit werden im nächsten Schritt die für die verschiedenen, vorgegebenen Werte des Flugparameters berechneten Schattenwürfe mit einem in den aufgenommenen Bildern enthaltenen tatsächlichen Schattenwurf des Flugobjektes verglichen. Dabei wird festgestellt, welcher der berechneten Schattenwürfe dem tatsächlichen Schattenwurf des Flugobjektes hinsichtlich der Geometrie, Abmessung und/oder Orientierung am Nächsten kommt bzw. größtmöglich annähert, sodass im Nachgang darauf auf den gesuchten Wert des Flugparameters geschlossen werden kann.With the aid of a microprocessor-controlled evaluation unit, the next step is to compare the shadow casts calculated for the various predetermined values of the flight parameter with an actual shadow cast by the flying object contained in the recorded images. It is determined which of the calculated shadow casts comes closest to the actual shadow cast of the flying object in terms of geometry, dimensions and / or orientation or approximates as closely as possible, so that the value of the flight parameter sought can be inferred thereafter.

Denn durch die Feststellung, welcher der berechneten Schattenwürfe dem tatsächlichen Schattenwurf am Nächsten kommt, kann der für den Flugparameter gesuchte Wert aus dem vorgegebenen Wert des berechneten Schattenwurfs abgeleitet werden, da bei Identität bzw. einer gewissen Ähnlichkeit innerhalb eines Toleranzbereiches angenommen werden kann, dass das Flugobjekt den entsprechenden Flugparameter aufweist, der zu dem tatsächlichen Schattenwurf auf dem Gelände führt. Wie bereits oben erwähnt, hängt der Schattenwurf neben dem Sonnenstand auch von dem momentanen Flugzustand des Flugobjektes ab, wobei beim Erkennen eines berechneten Schattens mit einem vorgegebenen Wert innerhalb aufgenommener Bilder dieser Wert des Flugparameters, der zu dem Flugzustand mit dem abgebildeten Schatten führt, herangezogen werden kann.Because by determining which of the calculated shadows comes closest to the actual shadows, the value searched for the flight parameter can be derived from the specified value of the calculated shadows, since with identity or a certain similarity within a tolerance range it can be assumed that this Flying object has the corresponding flight parameter that leads to the actual shadow cast on the site. As already mentioned above, the shadow cast depends not only on the position of the sun but also on the current flight status of the flying object, whereby when recognizing a calculated shadow with a predetermined value within recorded images, this value of the flight parameter, which leads to the flight status with the shadow depicted, is used can.

Erfindungsgemäß hat der Erfinder dabei erkannt, dass anhand von aufgenommenen Bildern, die einen tatsächlichen Schattenwurf des Flugobjektes auf dem Gelände zeigen, ein Wert eines Flugparameters, der einen Teil des Flugzustands des Flugobjektes beschreibt, ermittelt werden kann, indem für verschiedene Werte dieses Flugparameters Schattenwürfe berechnet werden, die dann mit dem tatsächlichen Schattenwurf verglichen werden können, um so denjenigen Flugzustand ermitteln zu können, der zu diesem tatsächlichen Schattenwurf führt.According to the invention, the inventor has recognized that on the basis of recorded images that show an actual shadow cast by the flying object on the terrain, a value of a flight parameter that describes a part of the flight state of the flying object can be determined by calculating shadow casts for different values of this flying parameter which can then be compared with the actual shadow cast, in order to be able to determine the flight state which leads to this actual shadow cast.

Hierdurch wird ein Verfahren geschaffen, das redundant zu den bereits bestehenden Sensoren zur Ermittlung des Flugzustands eingesetzt werden kann, was insbesondere beim Ausfall eines derartigen Systems vorteilhaft ist.This creates a method that can be used redundantly to the already existing sensors for determining the flight status, which is particularly advantageous in the event of failure of such a system.

Da die Berechnung des Schattenwurfs durchaus zeitintensiv ist, ist es vorteilhaft, wenn zunächst nur für eine vorgegebene Auswahl von vorgegebenen Werten der Schattenwurf berechnet wird. Wird nun im Vergleich mit dem tatsächlichen Schattenwurf festgestellt, dass der tatsächliche Schattenwurf hinsichtlich der Geometrie, Abmessung und/oder Orientierung zwischen zwei berechneten Schattenwürfen liegt, so kann die Berechnung verfeinert werden, indem weitere Werte des Flugparameters zur Berechnung von Schattenwürfen verwendet werden, und zwar diejenigen, die zwischen den Werten liegen, zwischen denen auch der tatsächliche Schattenwurf liegt. Denkbar ist auch, dass mittels eines binären Baumes jeweils immer ein Wert eines Flugparameters ausgesucht wird, um dann einen weiteren Schattenwurf zu berechnen und ihn mit dem tatsächlichen Schattenwurf zu vergleichen.Since the calculation of the shadow cast is quite time-consuming, it is advantageous if the shadow cast is initially only calculated for a specified selection of specified values. If, in comparison with the actual shadow cast, it is found that the actual shadow cast lies in terms of geometry, dimensions and / or orientation between two calculated shadow casts, the calculation can be refined by using further values of the flight parameter to calculate shadow casts, namely those that lie between the values between which the actual shadow cast lies. It is also conceivable that a value of a flight parameter is always selected using a binary tree in order to then calculate a further shadow cast and to compare it with the actual shadow cast.

Ein so ermittelter Flugparameter kann bspw. die Höhe über Grund des Fluggerätes, die Lage des Fluggerätes und/oder die Orientierung des Fluggerätes darstellen.A flight parameter determined in this way can represent, for example, the height above the aircraft, the position of the aircraft and / or the orientation of the aircraft.

Gemäß den Merkmalen des Patentanspruchs 3 wird der zweite Aspekt der vorliegenden Aufgabe gelöst, wobei auch hier mittels einer an dem Flugobjekt angeordneten Kamera innerhalb eines Erfassungsbereichs entsprechende Bilder des überfliegenden Geländes aufgenommen werden. Mittels einer Schattenberechnungseinheit wird dann in Abhängigkeit von einem ermittelten Sonnenstand an der aktuellen Position des Flugobjektes sowie gegebenenfalls einem oder mehrerer Flugparameter, die den Flugzustand des Flugobjektes beschreiben, ein Schattenwurf des Flugobjektes auf das überfliegende Gelände berechnet. Insbesondere unter Kenntnis aller den Flugzustand des Flugobjektes beschreibender Flugparameter und deren Werte sowie unter Kenntnis des ermittelten Sonnenstands an der aktuellen Position des Flugobjektes kann sehr genau der entstehende Schatten des Flugobjektes berechnet werden.According to the features of claim 3, the second aspect of the present object is achieved, wherein here too, corresponding images of the overflighting terrain are recorded within a detection area by means of a camera arranged on the flying object. Means A shadow calculation unit then calculates a shadow cast by the flying object onto the overflown terrain as a function of a determined sun position at the current position of the flying object and possibly one or more flight parameters that describe the flying state of the flying object. In particular, with knowledge of all flight parameters describing the flight status of the flying object and their values, as well as with knowledge of the sun position determined at the current position of the flying object, the shadow of the flying object that arises can be calculated very precisely.

Im nächsten Schritt wird dann der so berechnete Schattenwurf mit einem in den Bildern enthaltenen tatsächlichen Schattenwurf verglichen, wobei durch den Vergleich eine Abweichung zwischen dem berechneten Schattenwurf und dem tatsächlichen Schattenwurf erkannt werden soll. In Abhängigkeit einer derartigen Abweichung, insbesondere in den Randbereichen des Schattens, kann dann auf die gewünschten Geländeeigenschaften geschlossen werden.In the next step, the shadow cast calculated in this way is then compared with an actual shadow cast contained in the images, the comparison being used to detect a deviation between the calculated shadow cast and the actual shadow cast. Depending on such a deviation, especially in the edge areas of the shadow, the desired terrain properties can then be inferred.

Der erfinderische Gedanke hierbei ist, dass durch Geländeunebenheiten insbesondere in den Randbereichen des tatsächlichen Schattens es zu abweichenden Schattenverläufen kommt, die bei einer Projektion des tatsächlichen Schattens auf eine Ebene nicht entstehen würde. Da der berechnete Schatten von einer geraden Projektionsfläche ausgeht, ist der berechnete Schattenwurf hinsichtlich von Unebenheiten frei. Durch den Vergleich mit dem tatsächlichen Schattenwurf, der aufgrund von Geländeunebenheiten eine Abweichung hinsichtlich Geometrie und/oder Abmessung aufweisen kann, können diese Geländeunebenheiten als Geländeeigenschaften detektiert werden.The inventive idea here is that unevenness in the terrain, in particular in the edge regions of the actual shadow, leads to deviating shadow profiles which would not arise if the actual shadow were projected onto a plane. Since the calculated shadow originates from a straight projection surface, the calculated shadow throw is free with regard to unevenness. By comparing the actual shadow cast, which may have a deviation in geometry and / or dimensions due to uneven terrain, these uneven terrain can be detected as terrain properties.

Somit lassen sich auch größere Hindernisse erkennen.This means that larger obstacles can also be identified.

Gemäß einer vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, eine digitale 3D-Szene zu erstellen, in der der Sonnenstand als künstliche Lichtquelle verwendet wird, mit der dann ein künstliches Flugmodell des Flugobjektes beleuchtet und der daraus entstehende Schatten ermittelt wird, um den Schattenwurf des Flugobjektes auf das überfliegende Gelände zu berechnen. Die Erstellung der 3D-Szene kann bspw. mit Hilfe bekannte Visualisierungsverfahren, wie bspw. OpenGL, gelöst werden. Aufgrund der großen Entfernung der Sonne wird hierbei bspw. eine orthografische Projektion verwendet.According to an advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up to create a digital 3D scene in which the position of the sun is used as an artificial light source, with which an artificial flight model of the flying object is then illuminated and the resulting shadow is determined by to calculate the shadow cast by the flying object on the overflying terrain. The creation of the 3D scene can be solved, for example, using known visualization methods, such as OpenGL. Because of the large distance from the sun, an orthographic projection is used, for example.

Gemäß einer weiteren vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, den Sonnenstand in Abhängigkeit von der aktuellen Position des Flugobjektes sowie der aktuellen Uhrzeit an der aktuellen Position des Flugobjektes und dem aktuellen Datum an der aktuellen Position des Flugobjektes zu berechnen. Sowohl aus der Position (Latitude, Longitude) als auch aus der aktuellen Uhrzeit und dem vorliegenden Datum lässt sich exakt der Sonnenstand ermitteln, bspw. aus Sonnenstandtabellen oder mittels Berechnung auf Basis von Formeln.According to a further advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up to calculate the position of the sun as a function of the current position of the flying object and the current time at the current position of the flying object and the current date at the current position of the flying object. Exactly the position of the sun can be determined from the position (latitude, longitude) as well as from the current time and the present date, for example from sun position tables or by calculation based on formulas.

Gemäß einer weiteren vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, den Schattenwurf weiterhin unter Berücksichtigung einer aktuellen Höhe des Flugobjektes über Grund, einer aktuellen Orientierung des Flugobjektes, einer Geometrie des Flugobjektes, einer Kameraposition am Flugobjekt und/oder einer Kameraorientierung in Bezug auf das Flugobjekt zu berechnen. Die Lage des Flugobjektes stellt dabei die Lage in Bezug auf die horizontale Ebene dar, während die Orientierung des Flugobjektes die Richtung des Flugobjektes (Heading) in Bezug auf das globale Koordinatensystem darstellt. Auch die Geometrie des Flugobjektes kann in die Berechnung des Schattenwurfs mit einfließen. Auch Kameraposition sowie Kameraorientierung können mit einfließen, da sich hieraus der Erfassungsbereich der Kamera ableiten lässt und so feststellbar ist, ob der berechnete Schatten für die aufgenommenen Bilddaten relevant ist oder nicht.According to a further advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up to continue casting the shadow, taking into account a current height of the flying object above ground, a current orientation of the flying object, a geometry of the flying object, a camera position on the flying object and / or a camera orientation to calculate the flying object. The position of the flying object represents the position in relation to the horizontal plane, while the orientation of the flying object represents the direction of the flying object (heading) in relation to the global coordinate system. The geometry of the flying object can also be included in the calculation of the shadow cast. Camera position and camera orientation can also be included, since the detection range of the camera can be derived from this and it can thus be determined whether the calculated shadow is relevant for the recorded image data or not.

In einer weiteren vorteilhaften Ausführungsform werden die beiden Aspekte der vorliegenden Erfindung dahingehend erweitert, dass die Auswerteeinheit einen tatsächlichen Schattenwurf in den aufgenommenen Bilddaten erkennt, indem ein berechneter Schattenwurf mit einem zu untersuchenden Bild verglichen und in einem Randbereich des berechneten Schattenwurfs in den Bilddaten des zu untersuchenden Bildes ein Kontrastverlauf festgestellt wird. So ist es bspw. denkbar, dass bevor die einzelnen Schattenwürfe mit dem tatsächlichen Schattenwurf verglichen werden, zunächst ein Schattenwurf detektiert wird, um so auch die richtigen Bilddaten mit dem berechneten Schattenwurf vergleichen zu können.In a further advantageous embodiment, the two aspects of the present invention are expanded such that the evaluation unit recognizes an actual shadow cast in the recorded image data by comparing a calculated shadow cast with an image to be examined and in an edge region of the calculated shadow cast in the image data of the subject to be examined Image a contrast curve is determined. For example, it is conceivable that before the individual shadow casts are compared with the actual shadow cast, a shadow cast is first detected so that the correct image data can also be compared with the calculated shadow cast.

Hierbei ist es besonders vorteilhaft, wenn mittels der Auswerteeinheit ein in einem aufgenommenen Bild erkannter tatsächlicher Schattenwurf in den darauffolgenden aufgenommenen Bildern verifiziert wird, sodass beim Bewegen des Flugobjektes und einem sich damit verändernden Schattenwurf bzw. einer veränderten Position des Schattenwurfs im Erfassungsbereich der einmal erkannte Schattenwurf weiterhin verfolgt werden kann, ohne dass er hierfür neu in den Bildern gesucht werden muss.It is particularly advantageous here if the evaluation unit verifies an actual shadow cast detected in a captured image in the subsequent captured images, so that when the flying object is moved and a shadow cast changing therewith or a changed position of the shadow cast in the detection area, the shadow throw once recognized can still be followed without having to search for it again in the pictures.

In einer weiteren vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, einen Schattenwurf bzgl. eines ersten Zeitpunktes zu berechnen, wobei zu einem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt der bzgl. des ersten Zeitpunktes berechnete Schattenwurf in Abhängigkeit von Navigationsinformationen, die zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt durch das Flugobjekt detektiert werden, korrigiert wird. Denn die Berechnung sowohl der Schattenwürfe als auch der Vergleiche mit den Bildern ist durchaus sehr zeitaufwendig, was eine Echtzeitfähigkeit unter Umständen erschweren könnte. Daher wird zu einem ersten Zeitpunkt, zu dem sämtliche notwendigen Informationen vorliegen, der Schattenwurf bzw. die Schattenwürfe berechnet, wobei die Zeit für die Berechnung bspw. bis zum zweiten Zeitpunkt dauern können. In dem Zeitraum zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt stattfindende Bewegungen des Flugobjektes, die zu einer Veränderung des berechneten Schattenwurfs führen könnten, fließen dann im Nachgang mit in die Berechnung ein, indem mit Hilfe von Navigationsinformationen, die den sich verändernden Flugzustand zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt charakterisieren, der berechnete Schattenwurf bzw. die berechneten Schattenwürfe unter Zugrundelegung dieser Navigationsinformationen korrigiert werden.In a further advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up, one Calculate shadow cast with respect to a first point in time, with the shadow cast calculated with respect to the first point in time being corrected at a second point in time following the first point in time as a function of navigation information which is detected by the flying object between the first point in time and the second point in time. Because the calculation of both the shadow casts and the comparisons with the images is very time-consuming, which could make real-time capability difficult under certain circumstances. Therefore, the shadow or the shadow cast is calculated at a first point in time at which all the necessary information is available, the time for the calculation being able to last until the second point in time, for example. Movements of the flying object taking place in the period between the first point in time and the second point in time, which could lead to a change in the calculated shadow cast, are then subsequently incorporated into the calculation by using navigation information to determine the changing flight state between the first Characterize the point in time and the second point in time, the calculated shadow cast or shadow casts are corrected on the basis of this navigation information.

Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:

1 schematische Darstellung des Assistenzsystems;
2 schematische Darstellung einer künstlich erzeugten 3D-Szene;
3 schematische Darstellung des Schattenvergleichs;
4 schematische Darstellung zur Bestimmung der Geländeeigenschaften.

The invention is explained in more detail by way of example with reference to the accompanying figures. Show it:

1 schematic representation of the assistance system;
2nd schematic representation of an artificially generated 3D scene;
3rd schematic representation of the shadow comparison;
4th schematic representation for determining the terrain properties.

1 zeigt schematisch das Assistenzsystem 1, das zunächst eine Kamera 2 hat, mit der das überfliegende Gelände enthaltene Bilddaten in Form von Bildern aufgenommen werden können. Die Kamera 2 hat dabei einen Erfassungsbereich 3, innerhalb dessen die Kamera 2 die einzelnen Bilder mit ihren Bilddaten aufnimmt. 1 schematically shows the assistance system 1 that first a camera 2nd with which the image data containing the overflowing terrain can be recorded in the form of images. The camera 2nd has a detection area 3rd inside which the camera 2nd takes the individual pictures with their picture data.

Dabei ist die Kamera 2 eingerichtet, im Erfassungsbereich jeweils zeitlich und nacheinander eine Mehrzahl von Bildern aufzunehmen, wobei jedes Bild aus einer Mehrzahl von einzelnen Bilddaten (bspw. Bildpunkte) besteht.Here is the camera 2nd set up to record a plurality of images in time and successively in the detection area, each image consisting of a plurality of individual image data (for example pixels).

Die Kamera 2 ist dabei so eingerichtet, dass sie an einem Flugobjekt bspw. einem Hubschrauber, angeordnet werden kann, sodass sie das überfliegende Gelände während des Fluges des Flugobjektes innerhalb des Erfassungsbereichs 3 aufnehmen kann.The camera 2nd is set up in such a way that it can be arranged on a flying object, for example a helicopter, so that it covers the overflying terrain during the flight of the flying object within the detection range 3rd can record.

Die erfassten Bilddaten der Kamera 2 werden dann an eine Auswerteeinheit 4 übertragen, die zum Ausführen eines Bildverarbeitungsverfahrens ausgebildet ist. Mit Hilfe des durch die Auswerteeinheit 4 ausgeführten Bildverarbeitungsverfahren wird zunächst versucht, in den Bildern, die von der Kamera 2 aufgenommen wurden, einen tatsächlichen Schatten eines Flugobjektes zu erkennen, den tatsächlich erkannten Schatten in weiteren Bildern zu verifizieren bzw. zu verfolgen sowie den tatsächlichen Schatten mit zuvor berechneten Schattenwürfen zu vergleichen.The captured image data from the camera 2nd are then sent to an evaluation unit 4th transmitted, which is designed to carry out an image processing method. With the help of the evaluation unit 4th Image processing method is first attempted in the images taken by the camera 2nd were recorded, to recognize an actual shadow of a flying object, to verify or track the shadow actually recognized in further images and to compare the actual shadow with previously calculated shadow casts.

Hierfür ist die Auswerteeinheit 4 mit einer Schattenberechnungseinheit 5 verbunden, die auch integraler Bestandteil der Auswerteeinheit 4 sein kann. Mit Hilfe der Schattenberechnungseinheit 5 wird der durch das Flugobjekt am Boden verursachte Schattenwurf berechnet, sodass dieser beim Vergleich mit dem tatsächlich aufgenommenen Schattenwurf herangezogen werden kann. Hierfür ist die Schattenberechnungseinheit 5 ausgebildet, in Abhängigkeit eines ermittelten Sonnenstands an der aktuellen Position zur aktuellen Uhrzeit und zum aktuellen Datum einen Schattenwurf zu berechnen. Zur Verfeinerung der Berechnung können dabei weitere Parameter in die Schattenwurfberechnung einfließen, wie bspw. die Lage des Flugobjektes, die Orientierung des Fluggerätes, die Höhe des Flugobjektes sowie die Geometrie des Flugobjektes.This is the evaluation unit 4th with a shadow calculation unit 5 connected, which is also an integral part of the evaluation unit 4th can be. With the help of the shadow calculation unit 5 the shadow cast by the flying object on the ground is calculated so that it can be used for comparison with the shadow cast actually recorded. The shadow calculation unit is for this 5 trained to calculate a shadow cast as a function of a determined position of the sun at the current position at the current time and date. To refine the calculation, further parameters can be included in the shadow cast calculation, such as the position of the flying object, the orientation of the aircraft, the height of the flying object and the geometry of the flying object.

Die Schattenberechnungseinheit 5 ist darüber hinaus so eingerichtet, dass sie in Abhängigkeit verschiedener Werte eines Flugparameters, wie bspw. die Höhe, Lage und/oder Orientierung des Flugobjektes, zu ein und demselben ermittelten Sonnenstand verschiedene Schattenwürfe berechnet, da bei unterschiedlichen Werten eines Flugparameters jeweils auch ein unterschiedlicher Flugzustand der Berechnung des Schattenwurfs zugrunde liegt. Durch die Variation eines Flugparameters können so verschiedene Schattenwürfe für unterschiedliche vorgegebene Werte eines Flugparameters berechnet werden, wobei die Auswerteeinheit 4 so eingerichtet ist, dass sie diese verschiedenen berechneten Schattenwürfe mit einem in den Bildern detektierten Schattenwurf vergleicht, um so herauszufinden, welcher der berechneten Schattenwürfe den tatsächlich aufgenommenen Schattenwurf am Nächsten bzw. am Ähnlichsten ist.The shadow calculation unit 5 is also set up in such a way that depending on different values of a flight parameter, such as the height, position and / or orientation of the flying object, it calculates different shadows for the same sun position, since different values of a flight parameter also cause a different flight state is used to calculate the shadow cast. By varying a flight parameter, different shadow casts can thus be calculated for different predefined values of a flight parameter, the evaluation unit 4th is set up in such a way that it compares these different calculated shadow casts with a shadow cast detected in the images, in order to find out which of the calculated shadow casts is closest or most similar to the shadow cast actually recorded.

Wurde ein berechneter Schattenwurf festgestellt, der dem tatsächlichen Schattenwurf am Nächsten bzw. am Ähnlichsten ist, so wird der Wert des variierten Parameters, der diesem am Nächsten kommenden berechneten Schattenwurf zugrunde gelegt wurde, als Wert für den Flugparameter herangenommen, sodass sich hierfür der entsprechende Wert des Flugparameters ableiten lässt.If a calculated shadow cast that is closest or most similar to the actual shadow cast was found, the value of the varied parameter that was used as the basis for this closest calculated shadow cast is used as the value for the flight parameter, so that the corresponding value is used for this derives the flight parameter.

Denkbar ist auch, dass ein exakter Schattenwurf in Abhängigkeit des ermittelten Sonnenstands sowie des tatsächlichen Flugzustands ermittelt wird, wobei die Auswerteeinheit 4 dann ausgebildet ist, den tatsächlichen Schatten mit dem berechneten Schatten zu vergleichen und so Abweichungen hinsichtlich der Abmessung, Geometrie und/oder Orientierung feststellen zu können, woraus sich dann entsprechende Geländeinformationen ableiten lassen. So können Abweichungen bspw. in Form von Ausfaserungen am Rand des Schattens oder in Form von affinen Transformationen des ganzen Schattens erkannt werden.It is also conceivable that an exact shadow cast is determined as a function of the determined sun position and the actual flight condition, the evaluation unit 4th is then designed to compare the actual shadow with the calculated shadow and thus to be able to determine deviations with regard to the dimensions, geometry and / or orientation, from which corresponding terrain information can then be derived. For example, deviations can be recognized in the form of fraying at the edge of the shadow or in the form of affine transformations of the entire shadow.

Der Vergleich zwischen einem errechneten Schattenwurf und einem tatsächlichen Schattenwurf kann bspw. mittels eines Templatevergleichs durchgeführt werden. Insbesondere in einem Randbereich entstehende Kontrastverläufe in den Bilddaten lassen auf einen Randbereich eines Schattens schließen, wobei bei der Feststellung der Ähnlichkeit eines berechneten Schattens mit einem tatsächlichen Schatten festgestellt wird, ob innerhalb eines Randbereiches des berechneten Schattens der Kontrastverlauf des tatsächlichen Schattens zu finden ist.The comparison between a calculated shadow cast and an actual shadow cast can be carried out, for example, by means of a template comparison. Contrast profiles in the image data that arise in particular in an edge area suggest an edge area of a shadow, and when determining the similarity of a calculated shadow to an actual shadow, it is determined whether the contrast curve of the actual shadow can be found within an edge area of the calculated shadow.

2 zeigt schematisch eine erstellte künstliche 3D-Szene, um den Schattenwurf, insbesondere für verschiedene Werte von Flugparametern, zu berechnen. Das Erstellen der künstlichen 3D-Szene kann bspw. mit Hilfe einer 0-penGL-Schnittstelle erfolgen. Hierfür wird zunächst der Boden bzw. der Grund 10 erzeugt, der als ebene Fläche ausgebildet oder auch mit entsprechenden Geländeinformationen, bspw. Tiefeninformationen des Geländes, beinhalten kann. Über den künstlichen Grund 10 wird dann ein Modell des Flugobjektes 11 positioniert. Anhand des berechneten Sonnenstands wird dann eine Lichtquelle 12 positioniert, die das Modell 11 des Flugobjektes beleuchtet. Der sich hieraus ergebende künstliche Schattenwurf 13, der auf den Grund 10 projiziert wird, stellt dann die Basis für die Berechnung des Schattenwurfs dar. Im einfachsten Fall kann bspw. der Schattenwurf als ein Objekt relativ zum Flugobjekt 11 berechnet werden. 2nd shows schematically a created artificial 3D scene in order to calculate the shadow cast, in particular for different values of flight parameters. The artificial 3D scene can be created, for example, using a 0-penGL interface. For this, first the soil or the bottom 10th generated, which can be designed as a flat surface or can also contain corresponding terrain information, for example depth information of the terrain. About the artificial reason 10th then becomes a model of the flying object 11 positioned. Based on the calculated position of the sun, a light source is then created 12th positioned the model 11 of the flying object illuminated. The resulting artificial shadow 13 who gets to the bottom 10th is then the basis for calculating the shadow cast. In the simplest case, for example, the shadow cast can be an object relative to the flying object 11 be calculated.

Durch Variation eines Flugparameters, bspw. die Flughöhe, verändert sich die Größe bzw. Geometrie des künstlichen Schattenwurfs 13. Diese verschiedenen berechneten Schattenwürfe unterscheiden sich so bei verschiedenen Variationen von Flugparameterwerten und dienen als Vergleich mit dem tatsächlichen Schattenwurf.The size or geometry of the artificial shadow cast changes by varying a flight parameter, for example the flight altitude 13 . These different calculated shadows differ in different variations of flight parameter values and serve as a comparison with the actual shadow.

3 zeigt schematisch den Erfassungsbereich 3 der Kamera des Assistenzsystems. Im Erfassungsbereich 3 befindet sich ein tatsächlicher Schattenwurf 21, der durch das Flugobjekt auf den Boden bzw. Grund geworfen wird. Um nun den nächst kommenden berechneten Schattenwurf zu ermitteln, werden die berechneten Schattenwürfe 22a, 22b und 22c, die jeweils auf Basis unterschiedlicher Werte eines Flugparameters berechnet wurden, mit dem tatsächlichen Schatten 21 verglichen. Im Ausführungsbeispiel der 3 ist dabei der berechnete Schatten 22c letztlich der dem tatsächlichen Schattenwurf 21 am Nächsten kommende, sodass der Wert des Flugparameters, der zur Berechnung des Schattenwurfs 21c herangezogen wurde, schließlich auch als Wert für diesen Flugparameter übernommen wird, und so bspw. dem Piloten angezeigt, dargestellt oder in sonstiger Art und Weise in der Regelung des Flugobjektes verwendet wird. 3rd shows the detection area schematically 3rd the camera of the assistance system. In the detection area 3rd there is an actual shadow cast 21 that is thrown on the ground by the flying object. In order to determine the next calculated shadow cast, the calculated shadow casts are 22a , 22b and 22c , each calculated based on different values of a flight parameter, with the actual shadow 21 compared. In the embodiment of the 3rd is the calculated shadow 22c ultimately the actual shadow cast 21 closest coming, so the value of the flight parameter used to calculate the shadow cast 21c was finally used as a value for this flight parameter, and thus, for example, displayed to the pilot, displayed or used in some other way in the control of the flight object.

4 zeigt schematisch den Erfassungsbereich 3 der Kamera des Assistenzsystems, wobei auch hier ein tatsächlicher Schatten 21 aufgenommen und mit einem zuvor konkret berechneten Schattenwurf 22 verglichen wird. Im Idealfall, wenn der Boden bzw. Grund des überfliegenden Geländes vollständig eben ist, ist der berechnete Schattenwurf 22 mit dem tatsächlichen Schattenwurf 21 in den Bildern deckungsgleich, d.h. innerhalb eines gewissen Toleranzrahmens stimmen diese beiden Schattenwürfe miteinander überein. 4th shows the detection area schematically 3rd the camera of the assistance system, here too an actual shadow 21 recorded and with a previously calculated shadow cast 22 is compared. In the ideal case, when the ground or bottom of the overflowing terrain is completely flat, the calculated shadow cast 22 with the actual shadow cast 21 in the pictures congruent, ie within a certain tolerance, these two shadows coincide with each other.

Ist das Gelände jedoch uneben und weist verschiedene Tiefeninformationen auf, so entstehen insbesondere an den Randbereichen Abweichungen 23 des tatsächlichen Schattens, die durch einen Vergleich zwischen dem berechneten Schatten 22 und dem tatsächlichen Schatten 21 erkannt werden können. In diesem Bereich 23, wo der berechnete Schatten 22 von dem tatsächlichen Schatten 21 abweicht, kann anhand der Quantität der Abweichung 23 dann eine Tiefeninformation generiert werden, die an dieser Stelle dem Boden bzw. Grund des überfliegenden Geländes zugeordnet wird. So lassen sich bspw. Hindernisse oder dergleichen erkennen.However, if the terrain is uneven and has various depth information, deviations occur in particular at the edge areas 23 the actual shadow by comparing the calculated shadow 22 and the actual shadow 21 can be recognized. In this area 23 where the calculated shadow 22 from the actual shadow 21 deviates, can be based on the quantity of the deviation 23 then a depth information is generated, which is assigned to the ground of the overflowing terrain at this point. For example, obstacles or the like can be recognized.

Es ist möglich, durch das Wissen der Flughöhe, dem Neigungswinkel des Fluggerätes, dem Neigungswinkel der Kamera am Fluggerät und intrinsischen Kameraparametern unter Annahme, dass die Erde komplett flach ist, jedem aufgenommen Punkt im Kamerabild eine Tiefe zuzuordnen. Durch den Versatz zwischen dieser so geschätzten Tiefe und dem tatsächlichen Schattenverlauf lässt sich mittels Triangulation die tatsächliche Tiefe des Geländes an den Ecken des Schattenverlaufs berechnen. Dadurch lassen sich Rückschlüsse über die Rauigkeit des Geländes und eventuelle auftretende größere Hindernisse ziehen.By knowing the flight altitude, the angle of inclination of the aircraft, the angle of inclination of the camera on the aircraft and intrinsic camera parameters, it is possible to assign a depth to each recorded point in the camera image, assuming that the earth is completely flat. Due to the offset between this estimated depth and the actual shadow gradient, the actual depth of the terrain at the corners of the shadow gradient can be calculated using triangulation. This allows conclusions to be drawn about the roughness of the terrain and any major obstacles that may arise.

Claims

Method for determining a flight parameter of a flying object during the flight, with the steps: Recording images containing images of a flying area within a detection area (3) by means of a camera (2) arranged on the flying object, - each calculating a shadow cast by the flying object on the flying area for a plurality of different, predetermined values of the flight parameter, each as a function of a determined sun position at the current position of the flying object and the respective predefined value of the flight parameter by means of a shadow calculation unit (5), - comparing the shadow casts (22a, 22b, 22c) calculated for the various predefined values of the flight parameter with one contained in the recorded images actual shadow cast (21) of the flying object on the terrain and determining which of the calculated shadow casts (22a, 22b, 22c) comes closest to the actual shadow casting (21) of the flying object in terms of geometry, dimensions and / or orientation by means of an evaluation unit (4) and - determining the value of the flight parameter as a function of the predetermined value of the flight parameter for which the closest shadow was calculated, using the evaluation unit (4).

Procedure according to Claim 1 , characterized in that the flight parameter represents the height above the aircraft, the position of the aircraft and / or the orientation of the aircraft.

A method for determining a terrain property of a terrain overflown by a flying object during the flight, comprising the steps: Recording images of the overflighting terrain containing image data within a detection area (3) by means of a camera (2) arranged on the flying object, - Calculating a shadow cast by the flying object onto the overflighting terrain as a function of a determined sun position at the current position of the flying object by means of a shadow calculation unit (5), - Comparing the calculated shadow cast (22a, 22b, 22c) with an actual shadow cast (21) of the flying object on the terrain contained in the recorded images and recognizing a deviation between the calculated shadow cast (22a, 22b, 22c) and the actual shadow cast (21st ), by means of an evaluation unit (4) and - Determination of terrain properties depending on the detected deviations of the calculated and actual shadows (21, 22a, 22b, 22c).

Method according to one of the preceding claims, characterized in that a digital 3D scene is created by means of the shadow calculation unit (5), in which the position of the sun is used as an artificial light source (12), with which an artificial flight model (11) of the flying object is then illuminated and the resulting shadow is determined in order to calculate the shadow cast by the flying object on the overflowing terrain.

Method according to one of the preceding claims, characterized in that the shadow position unit (5) is used to calculate the position of the sun depending on the current position of the flying object and the current time at the current position of the flying object and the current date at the current position of the flying object.

Method according to one of the preceding claims, characterized in that by means of the shadow calculation unit (5) the shadow cast by the flying object continues, taking into account a current height of the flying object above ground, a current orientation of the flying object, a geometry of the flying object, a camera position on the flying object and / or a camera orientation is calculated in relation to the flying object.

Method according to one of the preceding claims, characterized in that the evaluation unit (4) detects an actual shadow cast (21) in the recorded images by comparing a calculated shadow cast (22a, 22b, 22c) with an image to be examined and in one Edge area of the calculated shadow cast (22a, 22b, 22c) in the image data of the image to be examined, a contrast curve is determined.

Method according to one of the preceding claims, characterized in that by means of the evaluation unit (4) an actual shadow cast (21) recognized in a captured image is verified in subsequent captured images.

Method according to one of the preceding claims, characterized in that the shadow calculation unit (5) is used to calculate a shadow cast with respect to a first point in time, the shadow cast (22a, 22b, 22c) calculated with respect to the first point in time following a first point in time. as a function of navigation information which is detected by the flying object between the first point in time and the second point in time.

Assistance system (1) for flying objects with a camera (2), a shadow calculation unit (5) and an evaluation unit (4), the device for implementing the method being set up according to one of the preceding claims.

Flying object with an assistance system (1) Claim 10 .