DE102014115046A1

DE102014115046A1 - Method and assistance system for determining a flight parameter of a flying object in flight

Info

Publication number: DE102014115046A1
Application number: DE102014115046.5A
Authority: DE
Inventors: Alexander Gatter
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2014-10-16
Filing date: 2014-10-16
Publication date: 2016-04-21
Anticipated expiration: 2034-10-17
Also published as: DE102014115046B4

Abstract

Die Erfindung betrifft ein Verfahren zum Berechnen eines Schattenwurfs eines Flugobjektes, wobei fehlende Flugparameter anhand eines Vergleichs eines tatsächlich aufgenommenen Schattenwurfs mit einer Vielzahl von berechneten Schattenwürfen, die für verschiedene Werte eines Flugparameters berechnet wurden, ermittelt werden kann. Auch Ungenauigkeiten im Gelände lassen sich durch Vergleich zwischen berechnetem und tatsächlichem Schattenwurf ermitteln.The invention relates to a method for calculating a shadow of a flying object, wherein missing flight parameters can be determined on the basis of a comparison of an actually recorded shadow with a plurality of calculated shadow throws, which were calculated for different values of a flight parameter. Also inaccuracies in the terrain can be determined by comparing between calculated and actual shadow.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Flugparameters eines Flugobjektes im Flug. Die Erfindung betrifft ebenso ein Assistenzsystem für Flugobjekte zur Ermittlung eines Flugparameters eines Flugobjektes im Flug sowie ein Flugobjekt hierzu. The invention relates to a method for determining a flight parameter of a flying object in flight. The invention also relates to an assistance system for flying objects for determining a flight parameter of a flying object in flight and a flying object for this purpose.

Das Erfassen bzw. Sensieren von Flugparametern gleich welcher Art, die mehr oder weniger den Flugzustand eines Flugobjektes im Flug beschreiben, spielt heutzutage in der modernen Avionik eine immer größer werdende Rolle. Gerade im Bereich der unbemannten Flugobjekte muss es redundante technische Systeme geben, die verschiedene Flugparameter detektieren, sodass das unbemannte Flugobjekt selbstständig einen stabilen Flugzustand beibehalten kann. Das korrekte Erfassen der einzelnen Flugparameter ist daher ein essentieller Bestandteil des Sicherheitskonzeptes eines jeden unbemannten Flugobjektes. The detection or sensing of flight parameters of any kind, which more or less describe the flight status of a flying object in flight, plays an increasingly important role in modern avionics today. Particularly in the field of unmanned aerial vehicles, there must be redundant technical systems that detect various flight parameters, so that the unmanned aerial object can independently maintain a stable flight state. The correct recording of the individual flight parameters is therefore an essential part of the safety concept of every unmanned flying object.

Derartige Flugparameter können neben der aktuellen Position des Flugobjektes insbesondere die Höhe über Grund des Flugobjektes, die Lage des Flugobjektes in Bezug auf die horizontale Ebene insbesondere die Orientierung des Flugobjektes (Heading) sein. Diese Flugparameter werden in der Regel mit Hilfe von an dem Flugobjekt angeordneten Sensoren ermittelt. Insbesondere im Bereich der unbemannten Flugobjekte ist es jedoch wünschenswert, neben diesen Sensoren zur Ermittlung der Flugparameter auch andere Sensorsysteme einzusetzen, die als redundante Ausfallebene bei Defekt eines der Sensoren dienen können. Such flight parameters may be, in addition to the current position of the flying object, in particular the height above ground of the flying object, the position of the flying object with respect to the horizontal plane, in particular the orientation of the flying object (heading). These flight parameters are generally determined by means of sensors arranged on the flying object. In particular, in the field of unmanned aerial vehicles, however, it is desirable to use other sensor systems in addition to these sensors for determining the flight parameters, which can serve as a redundant Ausfallebene in case of failure of one of the sensors.

Des Weiteren ist es gerade auch für langsam fliegende bzw. schwebfliegende Flugobjekte sinnvoll, wenn diese Informationen über die Bodenbeschaffenheit bzw. Geländeeigenschaften des überfliegenden Geländes haben. Hierdurch können bspw. Hindernisse erkannt oder aber auch landefähige Orte identifiziert werden, sodass das Flugobjekt sicher landen kann. Furthermore, it makes sense, especially for slow-flying or hovering flying objects, if they have information about the nature of the ground or terrain characteristics of the overlying terrain. As a result, for example, obstacles can be detected or even landable locations can be identified, so that the flying object can land safely.

Eine Möglichkeit, entsprechende Geländeinformationen zu erhalten, besteht aus dem Abgleich der aktuellen Ortsposition des Flugobjektes mit Informationen aus einer digitalen Karte. Allerdings setzt dies voraus, dass die digitale Karte hinsichtlich ihrer dort gespeicherten Informationen vollständig und auf dem aktuellen Stand ist. Gerade in abgelegenen Gebieten jedoch, die für eine entsprechende Vermessung des Geländes nur schwer zugänglich sind, ist dies nicht immer gegeben. One way to get appropriate terrain information is to reconcile the current location of the flying object with information from a digital map. However, this assumes that the digital map is complete and up-to-date with regard to the information stored there. However, especially in remote areas, which are difficult to access for a corresponding survey of the terrain, this is not always the case.

Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren anzugeben, mit dem Werte eines Flugparameters eines Flugobjektes im Flug ermittelt werden können, um so insbesondere ein redundantes System zur Detektion von Flugparametern zu schaffen. Es ist darüber hinaus auch Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren zum Ermitteln von Geländeeigenschaften eines überfliegenden Geländes anzugeben, mit dem schnell und sicher entsprechende Geländeinformationen ermittelt werden können. Against this background, it is an object of the present invention to specify an improved method with which values of a flight parameter of a flying object in flight can be determined so as to create in particular a redundant system for the detection of flight parameters. It is also an object of the present invention to provide an improved method for determining terrain properties of a flying terrain, with the appropriate terrain information can be determined quickly and safely.

Der erste Aspekt der Aufgabe wird erfindungsgemäß mit den Merkmalen des Verfahrens gemäß Anspruch 1 gelöst. Der zweite Aspekt der Erfindung wird erfindungsgemäß mit den Merkmalen des Verfahrens gemäß Anspruch 3 gelöst. The first aspect of the object is achieved according to the invention with the features of the method according to claim 1. The second aspect of the invention is achieved according to the invention with the features of the method according to claim 3.

Gemäß Anspruch 1 wird ein Verfahren zum Ermitteln eines Flugparametes eines Flugobjektes im Flug vorgeschlagen, wobei zunächst mit Hilfe einer an dem Flugobjekt angeordneten Kamera entsprechende Bilder des überfliegenden Geländes innerhalb eines Erfassungsbereiches der Kamera aufgenommen werden. Die Bilder enthalten dabei eine Vielzahl von Bilddaten und können insbesondere digitaler Art sein. According to claim 1, a method for determining a flight parameter of a flying object in flight is proposed, wherein initially with the aid of a camera arranged on the flying object corresponding images of the flying terrain within a detection range of the camera are recorded. The images contain a large number of image data and can be digital in particular.

Mit Hilfe einer Schattenberechnungseinheit wird nun ein Schattenwurf des Flugobjektes, der aufgrund der Beleuchtung des Flugobjektes durch die Sonne auf dem Gelände entstehen würde, berechnet, und zwar unter Erkenntnis eines an der aktuellen Position des Flugobjektes ermittelten Sonnenstandes. Der Sonnenstand kann dabei bspw. anhand der aktuellen Position, der aktuellen Uhrzeit an der aktuellen Position sowie anhand des aktuellen Datums an der Position des Flugobjektes ermittelt bzw. auch berechnet werden. With the help of a shadow calculation unit is now a shadow of the flying object, which would arise due to the illumination of the flying object by the sun on the site, calculated, with knowledge of a determined at the current position of the flying object sun. The position of the sun can, for example, be determined or also calculated based on the current position, the current time at the current position and on the basis of the current date at the position of the flying object.

Da der entstehende Schattenwurf jedoch nicht nur abhängig ist von dem Sonnenstand, sondern auch von den Flugzustand des Flugobjektes beschreibenden Parametern, wird des Weiteren der Schattenwurf auch in Abhängigkeit von verschiedenen, vorgegebenen Werten eines gesuchten Flugparameters berechnet, sodass sich für verschiedene Werte des Flugparameters bei gleichbleibenden ermittelten Sonnenstand verschiedene Schattenwürfe ergeben, die sich hinsichtlich der Geometrie, Abmessung und/oder Orientierung unterscheiden. Mit anderen Worten, bei der Berechnung des Schattenwurfs werden verschiedene Werte für einen gesuchten Flugparameter zugrunde gelegt, sodass sich für jeden vorgegebenen Wert eines Flugparameters ein jeweils unterschiedlicher Schattenwurf ergibt. However, since the resulting shadow is not only dependent on the position of the sun, but also on the flight condition descriptive parameters, the shadow is also calculated depending on various predetermined values of a searched flight parameter, so that for different values of the flight parameter at the same ascertained sun position result in different shadows, which differ in terms of geometry, dimension and / or orientation. In other words, the calculation of the shadow cast is based on different values for a searched flight parameter, so that for each given value of a flight parameter a different shadow cast results.

Mit Hilfe einer mikroprozessorgesteuerten Auswerteeinheit werden im nächsten Schritt die für die verschiedenen, vorgegebenen Werte des Flugparameters berechneten Schattenwürfe mit einem in den aufgenommenen Bildern enthaltenen tatsächlichen Schattenwurf des Flugobjektes verglichen. Dabei wird festgestellt, welcher der berechneten Schattenwürfe dem tatsächlichen Schattenwurf des Flugobjektes hinsichtlich der Geometrie, Abmessung und/oder Orientierung am Nächsten kommt bzw. größtmöglich annähert, sodass im Nachgang darauf auf den gesuchten Wert des Flugparameters geschlossen werden kann. With the help of a microprocessor-controlled evaluation unit, in the next step, the shadow throws calculated for the various, predefined values of the flight parameter are included with one contained in the recorded images actual shadow of the flying object compared. It is determined which of the calculated shadow throws the actual shadow of the flying object in terms of geometry, dimension and / or orientation comes closest to or approaches as close as possible, so that subsequently can be concluded on the searched value of the flight parameter.

Denn durch die Feststellung, welcher der berechneten Schattenwürfe dem tatsächlichen Schattenwurf am Nächsten kommt, kann der für den Flugparameter gesuchte Wert aus dem vorgegebenen Wert des berechneten Schattenwurfs abgeleitet werden, da bei Identität bzw. einer gewissen Ähnlichkeit innerhalb eines Toleranzbereiches angenommen werden kann, dass das Flugobjekt den entsprechenden Flugparameter aufweist, der zu dem tatsächlichen Schattenwurf auf dem Gelände führt. Wie bereits oben erwähnt, hängt der Schattenwurf neben dem Sonnenstand auch von dem momentanen Flugzustand des Flugobjektes ab, wobei beim Erkennen eines berechneten Schattens mit einem vorgegebenen Wert innerhalb aufgenommener Bilder dieser Wert des Flugparameters, der zu dem Flugzustand mit dem abgebildeten Schatten führt, herangezogen werden kann. By determining which of the calculated shadow throws is closest to the actual shadow cast, the value sought for the flight parameter can be derived from the predefined value of the calculated shadow cast, since it can be assumed that the identity or a certain similarity within a tolerance range Flight object has the appropriate flight parameters, which leads to the actual shadow cast on the area. As already mentioned above, the shadow cast depends not only on the position of the sun, but also on the momentary flight condition of the flying object, and upon detection of a calculated shadow having a predetermined value within recorded images, this value of the flight parameter leading to the flight state with the shadow depicted is used can.

Erfindungsgemäß hat der Erfinder dabei erkannt, dass anhand von aufgenommenen Bildern, die einen tatsächlichen Schattenwurf des Flugobjektes auf dem Gelände zeigen, ein Wert eines Flugparameters, der einen Teil des Flugzustands des Flugobjektes beschreibt, ermittelt werden kann, indem für verschiedene Werte dieses Flugparameters Schattenwürfe berechnet werden, die dann mit dem tatsächlichen Schattenwurf verglichen werden können, um so denjenigen Flugzustand ermitteln zu können, der zu diesem tatsächlichen Schattenwurf führt. According to the invention, the inventor has recognized that on the basis of recorded images which show an actual shadow cast of the flying object on the terrain, a value of a flight parameter which describes a part of the flight status of the flying object can be determined by calculating shadow throws for different values of this flight parameter which can then be compared to the actual shadow cast to determine the flight condition leading to this actual shadow cast.

Hierdurch wird ein Verfahren geschaffen, das redundant zu den bereits bestehenden Sensoren zur Ermittlung des Flugzustands eingesetzt werden kann, was insbesondere beim Ausfall eines derartigen Systems vorteilhaft ist. As a result, a method is provided which can be used redundantly to the already existing sensors for determining the flight condition, which is particularly advantageous in the event of failure of such a system.

Da die Berechnung des Schattenwurfs durchaus zeitintensiv ist, ist es vorteilhaft, wenn zunächst nur für eine vorgegebene Auswahl von vorgegebenen Werten der Schattenwurf berechnet wird. Wird nun im Vergleich mit dem tatsächlichen Schattenwurf festgestellt, dass der tatsächliche Schattenwurf hinsichtlich der Geometrie, Abmessung und/oder Orientierung zwischen zwei berechneten Schattenwürfen liegt, so kann die Berechnung verfeinert werden, indem weitere Werte des Flugparameters zur Berechnung von Schattenwürfen verwendet werden, und zwar diejenigen, die zwischen den Werten liegen, zwischen denen auch der tatsächliche Schattenwurf liegt. Denkbar ist auch, dass mittels eines binären Baumes jeweils immer ein Wert eines Flugparameters ausgesucht wird, um dann einen weiteren Schattenwurf zu berechnen und ihn mit dem tatsächlichen Schattenwurf zu vergleichen. Since the calculation of the shadow cast is quite time-consuming, it is advantageous if initially the shadow cast is calculated only for a given selection of predefined values. If, in comparison to the actual shadow cast, it is determined that the actual shadow cast in terms of geometry, dimension and / or orientation lies between two calculated shadow throws, then the computation can be refined by using further values of the flight parameter to calculate shadow throws, namely those that lie between the values, between which lies the actual shadow. It is also conceivable that a value of a flight parameter is always selected by means of a binary tree in order then to calculate another shadow cast and to compare it with the actual shadow cast.

Ein so ermittelter Flugparameter kann bspw. die Höhe über Grund des Fluggerätes, die Lage des Fluggerätes und/oder die Orientierung des Fluggerätes darstellen. A flight parameter determined in this way can represent, for example, the altitude above ground of the aircraft, the position of the aircraft and / or the orientation of the aircraft.

Gemäß den Merkmalen des Patentanspruchs 3 wird der zweite Aspekt der vorliegenden Aufgabe gelöst, wobei auch hier mittels einer an dem Flugobjekt angeordneten Kamera innerhalb eines Erfassungsbereichs entsprechende Bilder des überfliegenden Geländes aufgenommen werden. Mittels einer Schattenberechnungseinheit wird dann in Abhängigkeit von einem ermittelten Sonnenstand an der aktuellen Position des Flugobjektes sowie gegebenenfalls einem oder mehrerer Flugparameter, die den Flugzustand des Flugobjektes beschreiben, ein Schattenwurf des Flugobjektes auf das überfliegende Gelände berechnet. Insbesondere unter Kenntnis aller den Flugzustand des Flugobjektes beschreibender Flugparameter und deren Werte sowie unter Kenntnis des ermittelten Sonnenstands an der aktuellen Position des Flugobjektes kann sehr genau der entstehende Schatten des Flugobjektes berechnet werden. According to the features of claim 3, the second aspect of the present object is achieved, wherein also here by means of a camera disposed on the flying object within a detection range corresponding images of the overlying terrain are recorded. By means of a shadow calculation unit, depending on a determined position of the sun at the current position of the flying object and optionally one or more flight parameters which describe the flight status of the flying object, a shadow cast of the flying object on the overlying terrain is calculated. In particular, knowing all flight parameters describing the flight status of the flying object and their values as well as knowing the ascertained position of the sun at the current position of the flying object, the resulting shadow of the flying object can be calculated very accurately.

Im nächsten Schritt wird dann der so berechnete Schattenwurf mit einem in den Bildern enthaltenen tatsächlichen Schattenwurf verglichen, wobei durch den Vergleich eine Abweichung zwischen dem berechneten Schattenwurf und dem tatsächlichen Schattenwurf erkannt werden soll. In Abhängigkeit einer derartigen Abweichung, insbesondere in den Randbereichen des Schattens, kann dann auf die gewünschten Geländeeigenschaften geschlossen werden. In the next step, the shadow cast calculated in this way is then compared with an actual shadow cast contained in the images, whereby the comparison is intended to detect a deviation between the calculated shadow cast and the actual shadow cast. Depending on such a deviation, in particular in the edge regions of the shadow, it is then possible to deduce the desired terrain properties.

Der erfinderische Gedanke hierbei ist, dass durch Geländeunebenheiten insbesondere in den Randbereichen des tatsächlichen Schattens es zu abweichenden Schattenverläufen kommt, die bei einer Projektion des tatsächlichen Schattens auf eine Ebene nicht entstehen würde. Da der berechnete Schatten von einer geraden Projektionsfläche ausgeht, ist der berechnete Schattenwurf hinsichtlich von Unebenheiten frei. Durch den Vergleich mit dem tatsächlichen Schattenwurf, der aufgrund von Geländeunebenheiten eine Abweichung hinsichtlich Geometrie und/oder Abmessung aufweisen kann, können diese Geländeunebenheiten als Geländeeigenschaften detektiert werden. The inventive idea here is that due to unevenness in the terrain, in particular in the edge regions of the actual shadow, there are deviating shadows, which would not occur if the actual shadow were projected onto a plane. Since the calculated shadow starts from a straight projection surface, the calculated shadow is free from any unevenness. By comparison with the actual shadow, which may have a deviation in geometry and / or dimension due to uneven terrain, these terrain bumps can be detected as terrain properties.

Somit lassen sich auch größere Hindernisse erkennen. Thus, even larger obstacles can be detected.

Gemäß einer vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, eine digitale 3D-Szene zu erstellen, in der der Sonnenstand als künstliche Lichtquelle verwendet wird, mit der dann ein künstliches Flugmodell des Flugobjektes beleuchtet und der daraus entstehende Schatten ermittelt wird, um den Schattenwurf des Flugobjektes auf das überfliegende Gelände zu berechnen. Die Erstellung der 3D-Szene kann bspw. mit Hilfe bekannte Visualisierungsverfahren, wie bspw. OpenGL, gelöst werden. Aufgrund der großen Entfernung der Sonne wird hierbei bspw. eine orthografische Projektion verwendet. According to an advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up to create a digital 3D scene in which the sun's position is used as an artificial light source, with which an artificial flying model of the flying object is illuminated and the resulting shadow is determined calculate the shadow of the flying object on the overlying terrain. The creation of the 3D scene can be achieved, for example, with the aid of known visualization methods, such as, for example, OpenGL. Due to the great distance of the sun, an orthographic projection is used here, for example.

Gemäß einer weiteren vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, den Sonnenstand in Abhängigkeit von der aktuellen Position des Flugobjektes sowie der aktuellen Uhrzeit an der aktuellen Position des Flugobjektes und dem aktuellen Datum an der aktuellen Position des Flugobjektes zu berechnen. Sowohl aus der Position (Latitude, Longitude) als auch aus der aktuellen Uhrzeit und dem vorliegenden Datum lässt sich exakt der Sonnenstand ermitteln, bspw. aus Sonnenstandtabellen oder mittels Berechnung auf Basis von Formeln. According to a further advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up to calculate the position of the sun as a function of the current position of the flying object and the current time at the current position of the flying object and the current date at the current position of the flying object. From the position (latitude, longitude) as well as from the current time and date, the exact position of the sun can be determined, for example from sun position tables or by calculation based on formulas.

Gemäß einer weiteren vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, den Schattenwurf weiterhin unter Berücksichtigung einer aktuellen Höhe des Flugobjektes über Grund, einer aktuellen Orientierung des Flugobjektes, einer Geometrie des Flugobjektes, einer Kameraposition am Flugobjekt und/oder einer Kameraorientierung in Bezug auf das Flugobjekt zu berechnen. Die Lage des Flugobjektes stellt dabei die Lage in Bezug auf die horizontale Ebene dar, während die Orientierung des Flugobjektes die Richtung des Flugobjektes (Heading) in Bezug auf das globale Koordinatensystem darstellt. Auch die Geometrie des Flugobjektes kann in die Berechnung des Schattenwurfs mit einfließen. Auch Kameraposition sowie Kameraorientierung können mit einfließen, da sich hieraus der Erfassungsbereich der Kamera ableiten lässt und so feststellbar ist, ob der berechnete Schatten für die aufgenommenen Bilddaten relevant ist oder nicht. In accordance with a further advantageous embodiment of the two aspects of the invention, the shadow computation unit is configured to continue shading while taking into account a current elevation of the flying object over ground, a current orientation of the flying object, a geometry of the flying object, a camera position on the flying object and / or a camera orientation to calculate the flying object. The position of the flying object represents the position with respect to the horizontal plane, while the orientation of the flying object represents the direction of the flying object (heading) with respect to the global coordinate system. The geometry of the flying object can also be included in the calculation of the shadow cast. The camera position as well as the camera orientation can also be taken into account, since the camera's coverage area can be deduced therefrom and thus it can be determined whether the calculated shadow is relevant for the recorded image data or not.

In einer weiteren vorteilhaften Ausführungsform werden die beiden Aspekte der vorliegenden Erfindung dahingehend erweitert, dass die Auswerteeinheit einen tatsächlichen Schattenwurf in den aufgenommenen Bilddaten erkennt, indem ein berechneter Schattenwurf mit einem zu untersuchenden Bild verglichen und in einem Randbereich des berechneten Schattenwurfs in den Bilddaten des zu untersuchenden Bildes ein Kontrastverlauf festgestellt wird. So ist es bspw. denkbar, dass bevor die einzelnen Schattenwürfe mit dem tatsächlichen Schattenwurf verglichen werden, zunächst ein Schattenwurf detektiert wird, um so auch die richtigen Bilddaten mit dem berechneten Schattenwurf vergleichen zu können. In a further advantageous embodiment, the two aspects of the present invention are extended to the effect that the evaluation unit detects an actual shadow in the recorded image data by comparing a calculated shadow with an image to be examined and in an edge region of the calculated shadow in the image data of the examined Picture a contrast gradient is detected. Thus, for example, it is conceivable that before the individual shadow throws are compared with the actual shadow cast, a shadow cast is first detected in order to be able to compare the correct image data with the calculated shadow cast.

Hierbei ist es besonders vorteilhaft, wenn mittels der Auswerteeinheit ein in einem aufgenommenen Bild erkannter tatsächlicher Schattenwurf in den darauffolgenden aufgenommenen Bildern verifiziert wird, sodass beim Bewegen des Flugobjektes und einem sich damit verändernden Schattenwurf bzw. einer veränderten Position des Schattenwurfs im Erfassungsbereich der einmal erkannte Schattenwurf weiterhin verfolgt werden kann, ohne dass er hierfür neu in den Bildern gesucht werden muss. In this case, it is particularly advantageous if, by means of the evaluation unit, an actual shadow cast detected in a captured image is verified in the subsequent recorded images, so that when the flying object is moved and the shadow cast thereby changes or an altered position of the shadow is reflected in the detection area can still be tracked without having to be re-searched for in the pictures.

In einer weiteren vorteilhaften Ausführungsform der beiden Aspekte der Erfindung ist die Schattenberechnungseinheit eingerichtet, einen Schattenwurf bzgl. eines ersten Zeitpunktes zu berechnen, wobei zu einem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt der bzgl. des ersten Zeitpunktes berechnete Schattenwurf in Abhängigkeit von Navigationsinformationen, die zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt durch das Flugobjekt detektiert werden, korrigiert wird. Denn die Berechnung sowohl der Schattenwürfe als auch der Vergleiche mit den Bildern ist durchaus sehr zeitaufwendig, was eine Echtzeitfähigkeit unter Umständen erschweren könnte. Daher wird zu einem ersten Zeitpunkt, zu dem sämtliche notwendigen Informationen vorliegen, der Schattenwurf bzw. die Schattenwürfe berechnet, wobei die Zeit für die Berechnung bspw. bis zum zweiten Zeitpunkt dauern können. In dem Zeitraum zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt stattfindende Bewegungen des Flugobjektes, die zu einer Veränderung des berechneten Schattenwurfs führen könnten, fließen dann im Nachgang mit in die Berechnung ein, indem mit Hilfe von Navigationsinformationen, die den sich verändernden Flugzustand zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt charakterisieren, der berechnete Schattenwurf bzw. die berechneten Schattenwürfe unter Zugrundelegung dieser Navigationsinformationen korrigiert werden. In a further advantageous embodiment of the two aspects of the invention, the shadow calculation unit is set up to calculate a shadow with respect to a first point in time, wherein at a second point in time following the first point in time the shadow is calculated in relation to the first point in time depending on navigation information between the first time and the second time are detected by the flying object is corrected. Because the calculation of both the shadows as well as the comparisons with the images is quite time consuming, which could complicate a real-time capability under certain circumstances. Therefore, at a first time when all the necessary information is available, the shadow cast or shadows are calculated, and the time for the calculation may, for example, be up to the second time. In the period between the first time and the second time occurring movements of the flying object, which could lead to a change in the calculated shadow, then flow into the calculation in by using the navigation information that changes the flight condition between the first Characterize the time and the second time, the calculated shadow cast or the calculated shadows shadows are corrected on the basis of this navigation information.

Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:The invention will be explained in more detail by way of example with reference to the attached figures. Show it:

1 schematische Darstellung des Assistenzsystems; 1 schematic representation of the assistance system;

2 schematische Darstellung einer künstlich erzeugten 3D-Szene; 2 schematic representation of an artificially generated 3D scene;

3 schematische Darstellung des Schattenvergleichs; 3 schematic representation of the shadow comparison;

4 schematische Darstellung zur Bestimmung der Geländeeigenschaften. 4 schematic representation for determining the terrain properties.

1 zeigt schematisch das Assistenzsystem 1, das zunächst eine Kamera 2 hat, mit der das überfliegende Gelände enthaltene Bilddaten in Form von Bildern aufgenommen werden können. Die Kamera 2 hat dabei einen Erfassungsbereich 3, innerhalb dessen die Kamera 2 die einzelnen Bilder mit ihren Bilddaten aufnimmt. 1 schematically shows the assistance system 1 , first a camera 2 has, with the overlying terrain image data can be recorded in the form of images. The camera 2 has a coverage area 3 within which the camera 2 takes the individual pictures with their picture data.

Dabei ist die Kamera 2 eingerichtet, im Erfassungsbereich jeweils zeitlich und nacheinander eine Mehrzahl von Bildern aufzunehmen, wobei jedes Bild aus einer Mehrzahl von einzelnen Bilddaten (bspw. Bildpunkte) besteht. Here is the camera 2 arranged to record in the detection area in each case in time and in succession a plurality of images, wherein each image consists of a plurality of individual image data (for example, pixels).

Die Kamera 2 ist dabei so eingerichtet, dass sie an einem Flugobjekt bspw. einem Hubschrauber, angeordnet werden kann, sodass sie das überfliegende Gelände während des Fluges des Flugobjektes innerhalb des Erfassungsbereichs 3 aufnehmen kann. The camera 2 is set up such that it can be arranged on a flying object, for example a helicopter, so that it covers the overlying terrain during the flight of the flying object within the detection area 3 can record.

Die erfassten Bilddaten der Kamera 2 werden dann an eine Auswerteeinheit 4 übertragen, die zum Ausführen eines Bildverarbeitungsverfahrens ausgebildet ist. Mit Hilfe des durch die Auswerteeinheit 4 ausgeführten Bildverarbeitungsverfahren wird zunächst versucht, in den Bildern, die von der Kamera 2 aufgenommen wurden, einen tatsächlichen Schatten eines Flugobjektes zu erkennen, den tatsächlich erkannten Schatten in weiteren Bildern zu verifizieren bzw. zu verfolgen sowie den tatsächlichen Schatten mit zuvor berechneten Schattenwürfen zu vergleichen. The captured image data of the camera 2 are then sent to an evaluation unit 4 transferred, which is adapted to carry out an image processing method. With the help of the evaluation unit 4 executed image processing method is first tried in the pictures taken by the camera 2 to recognize an actual shadow of a flying object, to verify the actually detected shadow in further images, and to compare the actual shadow with previously calculated shadows.

Hierfür ist die Auswerteeinheit 4 mit einer Schattenberechnungseinheit 5 verbunden, die auch integraler Bestandteil der Auswerteeinheit 4 sein kann. Mit Hilfe der Schattenberechnungseinheit 5 wird der durch das Flugobjekt am Boden verursachte Schattenwurf berechnet, sodass dieser beim Vergleich mit dem tatsächlich aufgenommenen Schattenwurf herangezogen werden kann. Hierfür ist die Schattenberechnungseinheit 5 ausgebildet, in Abhängigkeit eines ermittelten Sonnenstands an der aktuellen Position zur aktuellen Uhrzeit und zum aktuellen Datum einen Schattenwurf zu berechnen. Zur Verfeinerung der Berechnung können dabei weitere Parameter in die Schattenwurfberechnung einfließen, wie bspw. die Lage des Flugobjektes, die Orientierung des Fluggerätes, die Höhe des Flugobjektes sowie die Geometrie des Flugobjektes. This is the evaluation unit 4 with a shadow calculation unit 5 connected, which is also an integral part of the evaluation unit 4 can be. Using the shadow calculation unit 5 the shadow cast by the flying object on the ground is calculated so that it can be used in comparison with the actually recorded shadow. This is the shadow calculation unit 5 designed to calculate a shadow at the current position and the current date as a function of a determined position in the sun. In order to refine the calculation, further parameters can be included in the shadow cast calculation, such as, for example, the position of the flying object, the orientation of the aircraft, the height of the flying object and the geometry of the flying object.

Die Schattenberechnungseinheit 5 ist darüber hinaus so eingerichtet, dass sie in Abhängigkeit verschiedener Werte eines Flugparameters, wie bspw. die Höhe, Lage und/oder Orientierung des Flugobjektes, zu ein und demselben ermittelten Sonnenstand verschiedene Schattenwürfe berechnet, da bei unterschiedlichen Werten eines Flugparameters jeweils auch ein unterschiedlicher Flugzustand der Berechnung des Schattenwurfs zugrunde liegt. Durch die Variation eines Flugparameters können so verschiedene Schattenwürfe für unterschiedliche vorgegebene Werte eines Flugparameters berechnet werden, wobei die Auswerteeinheit 4 so eingerichtet ist, dass sie diese verschiedenen berechneten Schattenwürfe mit einem in den Bildern detektierten Schattenwurf vergleicht, um so herauszufinden, welcher der berechneten Schattenwürfe den tatsächlich aufgenommenen Schattenwurf am Nächsten bzw. am Ähnlichsten ist. The shadow calculation unit 5 In addition, it is set up in such a way that it calculates different shadows according to different values of a flight parameter, such as the altitude, position and / or orientation of the flying object, to one and the same ascertained position of the sun, since different values of a flight parameter also result in a different flight condition underlying the calculation of the shadow. By varying a flight parameter, different shadows can be calculated for different predefined values of a flight parameter, wherein the evaluation unit 4 is set up to compare these different calculated shadows with a shadow cast detected in the images to find out which of the calculated shadows is closest to, or most similar to, the shadow cast actually taken.

Wurde ein berechneter Schattenwurf festgestellt, der dem tatsächlichen Schattenwurf am Nächsten bzw. am Ähnlichsten ist, so wird der Wert des variierten Parameters, der diesem am Nächsten kommenden berechneten Schattenwurf zugrunde gelegt wurde, als Wert für den Flugparameter herangenommen, sodass sich hierfür der entsprechende Wert des Flugparameters ableiten lässt. If a calculated shadow is found closest to or closest to the actual shadow cast, then the value of the varied parameter that was used as the basis for this next calculated shadow cast is taken as the value of the flight parameter, so that the corresponding value derived from the flight parameter.

Denkbar ist auch, dass ein exakter Schattenwurf in Abhängigkeit des ermittelten Sonnenstands sowie des tatsächlichen Flugzustands ermittelt wird, wobei die Auswerteeinheit 4 dann ausgebildet ist, den tatsächlichen Schatten mit dem berechneten Schatten zu vergleichen und so Abweichungen hinsichtlich der Abmessung, Geometrie und/oder Orientierung feststellen zu können, woraus sich dann entsprechende Geländeinformationen ableiten lassen. So können Abweichungen bspw. in Form von Ausfaserungen am Rand des Schattens oder in Form von affinen Transformationen des ganzen Schattens erkannt werden.It is also conceivable that an exact shadow is determined as a function of the ascertained position of the sun as well as the actual state of flight, wherein the evaluation unit 4 then it is designed to compare the actual shadow with the calculated shadow and thus be able to determine deviations in terms of size, geometry and / or orientation, from which then appropriate terrain information can be derived. Thus deviations can be detected, for example, in the form of fraying at the edge of the shadow or in the form of affine transformations of the entire shadow.

Der Vergleich zwischen einem errechneten Schattenwurf und einem tatsächlichen Schattenwurf kann bspw. mittels eines Templatevergleichs durchgeführt werden. Insbesondere in einem Randbereich entstehende Kontrastverläufe in den Bilddaten lassen auf einen Randbereich eines Schattens schließen, wobei bei der Feststellung der Ähnlichkeit eines berechneten Schattens mit einem tatsächlichen Schatten festgestellt wird, ob innerhalb eines Randbereiches des berechneten Schattens der Kontrastverlauf des tatsächlichen Schattens zu finden ist. The comparison between a calculated shadow cast and an actual shadow cast can, for example, be carried out by means of a template comparison. In particular, in an edge region resulting contrast gradients in the image data suggest a border area of a shadow, it is determined in determining the similarity of a calculated shadow with an actual shadow, whether within a border area of the calculated shadow, the contrast of the actual shadow is found.

2 zeigt schematisch eine erstellte künstliche 3D-Szene, um den Schattenwurf, insbesondere für verschiedene Werte von Flugparametern, zu berechnen. Das Erstellen der künstlichen 3D-Szene kann bspw. mit Hilfe einer OpenGL-Schnittstelle erfolgen. Hierfür wird zunächst der Boden bzw. der Grund 10 erzeugt, der als ebene Fläche ausgebildet oder auch mit entsprechenden Geländeinformationen, bspw. Tiefeninformationen des Geländes, beinhalten kann. Über den künstlichen Grund 10 wird dann ein Modell des Flugobjektes 11 positioniert. Anhand des berechneten Sonnenstands wird dann eine Lichtquelle 12 positioniert, die das Modell 11 des Flugobjektes beleuchtet. Der sich hieraus ergebende künstliche Schattenwurf 13, der auf den Grund 10 projiziert wird, stellt dann die Basis für die Berechnung des Schattenwurfs dar. Im einfachsten Fall kann bspw. der Schattenwurf als ein Objekt relativ zum Flugobjekt 11 berechnet werden. 2 schematically shows a created artificial 3D scene to calculate the shadow, especially for different values of flight parameters. The creation of the artificial 3D scene can take place, for example, with the aid of an OpenGL interface. For this, first the soil or the ground 10 generated, which may be formed as a flat surface or with appropriate terrain information, for example. Depth information of the terrain may include. About the artificial ground 10 then becomes a model of the flying object 11 positioned. Based on the calculated position of the sun then becomes a light source 12 positioned the model 11 illuminated of the flying object. The resulting artificial shadow cast 13 who is on the ground 10 is then the basis for the calculation of the shadow cast dar. In the simplest case, for example, the shadow as an object relative to the flying object 11 be calculated.

Durch Variation eines Flugparameters, bspw. die Flughöhe, verändert sich die Größe bzw. Geometrie des künstlichen Schattenwurfs 13. Diese verschiedenen berechneten Schattenwürfe unterscheiden sich so bei verschiedenen Variationen von Flugparameterwerten und dienen als Vergleich mit dem tatsächlichen Schattenwurf. By varying a flight parameter, for example the flight altitude, the size or geometry of the artificial shadow cast changes 13 , These different calculated shadows thus differ in different variations of flight parameter values and serve as a comparison with the actual shadow cast.

3 zeigt schematisch den Erfassungsbereich 3 der Kamera des Assistenzsystems. Im Erfassungsbereich 3 befindet sich ein tatsächlicher Schattenwurf 21, der durch das Flugobjekt auf den Boden bzw. Grund geworfen wird. Um nun den nächst kommenden berechneten Schattenwurf zu ermitteln, werden die berechneten Schattenwürfe 22a, 22b und 22c, die jeweils auf Basis unterschiedlicher Werte eines Flugparameters berechnet wurden, mit dem tatsächlichen Schatten 21 verglichen. Im Ausführungsbeispiel der 3 ist dabei der berechnete Schatten 22c letztlich der dem tatsächlichen Schattenwurf 21 am Nächsten kommende, sodass der Wert des Flugparameters, der zur Berechnung des Schattenwurfs 21c herangezogen wurde, schließlich auch als Wert für diesen Flugparameter übernommen wird, und so bspw. dem Piloten angezeigt, dargestellt oder in sonstiger Art und Weise in der Regelung des Flugobjektes verwendet wird. 3 shows schematically the detection area 3 the camera of the assistance system. In the coverage area 3 there is an actual shadow cast 21 thrown by the flying object on the ground or ground. In order to determine the next calculated shadow cast, the calculated shadows are calculated 22a . 22b and 22c , each calculated on the basis of different values of a flight parameter, with the actual shadow 21 compared. In the embodiment of 3 is the calculated shadow 22c ultimately the actual shadow cast 21 next, so that the value of the flight parameter used to calculate the shadow 21c was finally used as a value for this flight parameters, and so, for example, the pilot displayed, displayed or used in any other way in the control of the flying object.

4 zeigt schematisch den Erfassungsbereich 3 der Kamera des Assistenzsystems, wobei auch hier ein tatsächlicher Schatten 21 aufgenommen und mit einem zuvor konkret berechneten Schattenwurf 22 verglichen wird. Im Idealfall, wenn der Boden bzw. Grund des überfliegenden Geländes vollständig eben ist, ist der berechnete Schattenwurf 22 mit dem tatsächlichen Schattenwurf 21 in den Bildern deckungsgleich, d.h. innerhalb eines gewissen Toleranzrahmens stimmen diese beiden Schattenwürfe miteinander überein. 4 shows schematically the detection area 3 the camera of the assistance system, although here is an actual shadow 21 recorded and with a previously specifically calculated shadow 22 is compared. Ideally, if the ground of the overlying terrain is completely flat, the calculated shadow is 22 with the actual shadow 21 in the images congruent, ie within a certain tolerance frame these two shadows coincide with each other.

Ist das Gelände jedoch uneben und weist verschiedene Tiefeninformationen auf, so entstehen insbesondere an den Randbereichen Abweichungen 23 des tatsächlichen Schattens, die durch einen Vergleich zwischen dem berechneten Schatten 22 und dem tatsächlichen Schatten 21 erkannt werden können. In diesem Bereich 23, wo der berechnete Schatten 22 von dem tatsächlichen Schatten 21 abweicht, kann anhand der Quantität der Abweichung 23 dann eine Tiefeninformation generiert werden, die an dieser Stelle dem Boden bzw. Grund des überfliegenden Geländes zugeordnet wird. So lassen sich bspw. Hindernisse oder dergleichen erkennen. However, if the terrain is uneven and has different depth information, deviations occur especially at the edge areas 23 the actual shadow caused by a comparison between the calculated shadow 22 and the actual shadow 21 can be recognized. In this area 23 where the calculated shadow 22 from the actual shadow 21 may differ based on the quantity of deviation 23 then a depth information is generated, which is assigned to the ground or ground of the overlying terrain at this point. Thus, for example, obstacles or the like can be detected.

Es ist möglich, durch das Wissen der Flughöhe, dem Neigungswinkel des Fluggerätes, dem Neigungswinkel der Kamera am Fluggerät und intrinsischen Kameraparametern unter Annahme, dass die Erde komplett flach ist, jedem aufgenommen Punkt im Kamerabild eine Tiefe zuzuordnen. Durch den Versatz zwischen dieser so geschätzten Tiefe und dem tatsächlichen Schattenverlauf lässt sich mittels Triangulation die tatsächliche Tiefe des Geländes an den Ecken des Schattenverlaufs berechnen. Dadurch lassen sich Rückschlüsse über die Rauigkeit des Geländes und eventuelle auftretende größere Hindernisse ziehen. It is possible, by knowing the altitude, the incline angle of the aircraft, the incline angle of the camera on the aircraft, and intrinsic camera parameters, assuming that the earth is completely flat, to assign a depth to each captured point in the camera image. The offset between this estimated depth and the actual shadow can be used to triangulate the actual depth of the terrain at the corners of the shadow. This allows conclusions to be drawn about the roughness of the terrain and possible larger obstacles.

Claims

Method for determining a flight parameter of a flying object in flight, comprising the steps of: - capturing images of an overlying terrain within a detection area ( 3 ) by means of a camera arranged on the flying object ( 2 ), In each case calculating a shadow cast of the flying object on the flying terrain for a plurality of different, predetermined values of the flight parameter depending on a determined position of the sun at the current position of the flying object and the respective predetermined value of the flight parameter by means of a shadow calculation unit ( 5 ), - compare the shadow throws calculated for the different predetermined values of the flight parameter ( 22a . 22b . 22c ) with an actual shadow cast contained in the recorded images ( 21 ) of the flying object on the terrain and determining which of the calculated shadow throws ( 22a . 22b . 22c ) the actual shadow ( 21 ) of the flying object in terms of geometry, dimension and / or orientation comes closest, by means of an evaluation unit ( 4 ) and - determining the value of the flight parameter as a function of the predetermined value of the flight parameter for which the closest shadow cast was calculated, by means of the evaluation unit ( 4 ).

A method according to claim 1, characterized in that the flight parameter represents the height above the ground of the aircraft, the position of the aircraft and / or the orientation of the aircraft.

A method for determining a terrain property of a terrain overcoming a flying object, comprising the steps of: - capturing images of the overflowing terrain contained within a detection area ( 3 ) by means of a camera arranged on the flying object ( 2 ), - calculating a shadow of the flying object on the overlying terrain as a function of a determined position of the sun at the current position of the flying object by means of a shadow calculation unit ( 5 ), - comparing the calculated shadow ( 22a . 22b . 22c ) with an actual shadow cast contained in the recorded images ( 21 ) of the flying object on the terrain and detecting a deviation between the calculated shadow ( 22a . 22b . 22c ) and the actual shadow ( 21 ), by means of an evaluation unit ( 4 ) and - determining terrain properties as a function of the detected deviations of the calculated and actual shadow throws ( 21 . 22a . 22b . 22c ).

Method according to one of the preceding claims, characterized in that by means of the shadow calculation unit ( 5 ) creates a digital 3D scene in which the position of the sun as an artificial light source ( 12 ), with which an artificial flight model ( 11 ) of the flying object and the resulting shadow is determined to calculate the shadow of the flying object on the overlying terrain.

Method according to one of the preceding claims, characterized in that by means of the shadow calculation unit ( 5 ) the position of the sun is calculated as a function of the current position of the flying object as well as the current time at the current position of the flying object and the current date at the current position of the flying object.

Method according to one of the preceding claims, characterized in that by means of the shadow calculation unit ( 5 ) the shadow cast of the flying object is further calculated taking into account a current height of the flying object over ground, a current orientation of the flying object, a geometry of the flying object, a camera position on the flying object and / or a camera orientation with respect to the flying object.

Method according to one of the preceding claims, characterized in that by means of the evaluation unit ( 4 ) an actual shadow ( 21 ) is detected in the recorded images by a calculated shadow ( 22a . 22b . 22c ) compared with an image to be examined and in an edge region of the calculated shadow ( 22a . 22b . 22c ) in the image data of the image to be examined a contrast profile is detected.

Method according to one of the preceding claims, characterized in that by means of the evaluation unit ( 4 ) an actual shadow cast detected in a recorded image ( 21 ) is verified in subsequent recorded images.

Method according to one of the preceding claims, characterized in that by means of the shadow calculation unit ( 5 ) a shadow is calculated with respect to a first point in time, wherein at a second point in time following the first point in time the shadow 22a . 22b . 22c ) is corrected in response to navigation information detected between the first time and the second time by the flying object.

Assistance system ( 1 ) for flying objects with a camera ( 2 ), a shadow calculation unit ( 5 ) and an evaluation unit ( 4 ), wherein the device is arranged for carrying out the method according to one of the preceding claims.

Flying object with an assistance system ( 1 ) according to claim 10.