DE102019218283A1

DE102019218283A1 - Method for the representation of environmental information of an aircraft, as well as system

Info

Publication number: DE102019218283A1
Application number: DE102019218283.6A
Authority: DE
Inventors: Laura Johanna Karwehl; Vitalij Sadovitch; Micha Helbig; Felix Heinrich; Johannes Sperber; Alexander Fladung
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-05-27

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fluggeräts (1), bei welchem ein
- 3-dimensionales Darstellen eines realen Umgebungsbereichs (7) am Boden aus der Perspektive einer Flughöhe des Fluggeräts (1) auf einer Anzeigeeinheit (5) erfolgt, mit
- Einblendung von Zusatzinformationen (8, 9, 13, 14, 15 16, 17, 18) auf der Anzeigeeinheit (5), die dem Bild des realen Umgebungsbereichs (7), das auf der Anzeigeeinheit (5) erkennbar ist, überlagert werden, wobei Objekten im Bild zugehörige Zusatzinformationen (8, 9, 13 bis 18) ortsgenau zu den Objekten überlagert im Bild dargestellt werden;
- Verändern der 3-dimensionalen Darstellung eines realen Umgebungsbereichs (7) auf der Anzeigeeinheit (5) und/oder Verändern der Einblendung der Zusatzinformation (8, 9, 13 bis 18) auf der Anzeigeeinheit (5) abhängig von einer Blickrichtung des Nutzers (2) und/oder einer Blickrichtungsänderung des Nutzers (2) und/oder abhängig von einem die Blickrichtung des Nutzers (2) charakterisierenden Parameter und/oder die Blickrichtungsänderung des Nutzers (2) charakterisierenden Parameters.

The invention relates to a method for displaying information about the surroundings of an aircraft (1) in which a
- 3-dimensional representation of a real surrounding area (7) on the ground from the perspective of a flight altitude of the aircraft (1) on a display unit (5) takes place, with
- Superimposition of additional information (8, 9, 13, 14, 15, 16, 17, 18) on the display unit (5), which is superimposed on the image of the real surrounding area (7) which can be seen on the display unit (5), additional information (8, 9, 13 to 18) associated with objects in the image is displayed superimposed on the objects in the image with precise location;
- Changing the 3-dimensional representation of a real surrounding area (7) on the display unit (5) and / or changing the display of the additional information (8, 9, 13 to 18) on the display unit (5) depending on the direction in which the user is looking (2 ) and / or a change in the direction of gaze of the user (2) and / or depending on a parameter characterizing the direction of gaze of the user (2) and / or a parameter characterizing the change in gaze direction of the user (2).

Description

Ein Aspekt der Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fluggeräts. Ein weiterer Aspekt der Erfindung betrifft ein System mit einem Fluggerät, einer Anzeigeeinheit und einem Nutzer des Fluggeräts.One aspect of the invention relates to a method for displaying information about the surroundings of an aircraft. Another aspect of the invention relates to a system with an aircraft, a display unit and a user of the aircraft.

Bei bodengebundenen Fahrzeugen, wie es beispielsweise bei Kraftfahrzeugen der Fall ist, sind vielfältigste Fahrzeugführungssysteme bekannt. Beispielsweise sind in dem Zusammenhang auch Head-up-Displays bekannt. Bekannte Head-up-Displays werden mittlerweile auch als sogenannte AR (Augmented Reality - erweiterte Realität)-Head-up-Displays ausgeführt. Diese ermöglichen eine dynamische Mitbewegung von angezeigten Informationen mit Objekten, die in der Realität im Umgebungsbereich des Kraftfahrzeugs auftreten und erkannt werden. Damit kann auch dynamisch eine stetige örtliche Zuordnung von angezeigten Informationen mit den in der Realität im Umgebungsbereich vorhandenen Objekten in einem von dem Fahrzeugführer wahrgenommenen Bild erfolgen.A wide variety of vehicle guidance systems are known in ground-based vehicles, as is the case, for example, with motor vehicles. For example, head-up displays are also known in this context. Known head-up displays are now also designed as so-called AR (Augmented Reality) head-up displays. These enable a dynamic movement of displayed information with objects that occur and are recognized in reality in the area surrounding the motor vehicle. In this way, a constant local assignment of displayed information with the objects present in reality in the surrounding area can also take place dynamically in an image perceived by the vehicle driver.

Da die zukünftige Mobilität nicht nur bodengebunden ist, sondern auch vertikale Mobilität und somit ein Flugbetrieb vermehrt stattfinden wird, sind solche Informationen, die eingeblendet werden, auch dort von Interesse.Since future mobility is not only ground-based, but also vertical mobility and thus flight operations will increasingly take place, such information that is displayed is also of interest there.

Aus der DE 10 2007 014 015 B4 ist ein Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start und Landung eines Fluggeräts bei verminderter Außensicht bekannt. Es kann dort eine dreidimensionale Darstellung eines Umgebungsbereichs des Fluggeräts im Betrieb einer Anzeigeeinheit angezeigt werden. Dadurch kann nur der Pilot selbst und somit der Fluggeräteführer optisch informiert werden. Es werden Objekte in diesem Umgebungsbereich, insbesondere am Boden, dreidimensional angezeigt. Zusätzlich können Hilfslinien zur Erkennung dieser Objekte auf dem Bild dargestellt werden. Entsprechendes ist auch aus der DE 10 2004 051 625 B4 bekannt. Es werden bei diesem bekannten Stand der Technik somit lediglich Informationen dargestellt, die das Fliegen des Fluggeräts für sich betrachtet sicherer machen sollen und stellen somit nur Hilfen für den Fluggeräteführer selbst dar.From the DE 10 2007 014 015 B4 a man-machine interface for pilot support during take-off and landing of an aircraft with reduced external visibility is known. A three-dimensional representation of an area around the aircraft can be displayed there when a display unit is in operation. This means that only the pilot himself and thus the aircraft operator can be visually informed. Objects in this surrounding area, in particular on the ground, are displayed three-dimensionally. In addition, auxiliary lines for recognizing these objects can be displayed on the image. The same is also from the DE 10 2004 051 625 B4 known. In this known state of the art, only information is presented which, viewed in isolation, is intended to make flying the aircraft safer and thus only provides assistance for the aircraft operator himself.

Bei zukünftigen Fluggeräten, die als Transportgeräte für Passagiere genutzt werden, ist jedoch auch eine umfänglichere Informationsvermittlung für derartige Fluggäste vorteilhaft.In the case of future aircraft that will be used as transport devices for passengers, however, more extensive information transfer for such passengers is also advantageous.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren und ein System zu schaffen, bei welchem die sichtbare Darstellung von Umgebungsinformationen eines Fluggeräts beim Flugbetrieb des Fluggeräts bezüglich einem umfänglicheren Informieren eines Nutzers verbessert ist.It is the object of the present invention to create a method and a system in which the visible display of information about the surroundings of an aircraft during flight operation of the aircraft is improved with regard to more extensive information for a user.

Diese Aufgabe wird durch ein Verfahren und ein System gemäß den unabhängigen Ansprüchen gelöst.This object is achieved by a method and a system according to the independent claims.

Ein Aspekt der Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fluggeräts. Bei dem Verfahren erfolgt eine 3-dimensionale Darstellung eines realen Umgebungsbereichs am Boden aus der Perspektive einer Flughöhe des Fluggeräts auf einer Anzeigeeinheit eines Nutzers des Fluggeräts. Es erfolgt ein Einblenden von Zusatzinformationen auf der Anzeigeeinheit. Diese Zusatzinformationen werden im Bild dem dargestellten realen Umgebungsbereich überlagert. Objekten im Bild werden zugehörige Zusatzinformationen ortsgenau zu den Objekten überlagert im Bild dargestellt. Es erfolgt ein Verändern der dreidimensionalen Darstellung eines realen Umgebungsbereichs auf der Anzeigeeinheit und/oder ein Verändern der Einblendung der Zusatzinformation auf der Anzeigeeinheit abhängig von einer Blickrichtung des Nutzers und/oder abhängig von einer Blickrichtungsänderung des Nutzers. Zusätzlich oder anstatt dazu kann vorgesehen sein, dass ein Verändern der dreidimensionalen Darstellung eines realen Umgebungsbereichs auf der Anzeigeeinheit und/oder ein Verändern der Einblendung der Zusatzinformation auf der Anzeigeeinheit abhängig von einem die Blickrichtung des Nutzers charakterisierenden Parameter und/oder die Blickrichtungsänderung des Nutzers charakterisierenden Parameter erfolgt. Damit ist es erreicht, dass für einen Nutzer des Fluggeräts flexibler und variabler eine Darstellung von Umgebungsinformationen und/oder zugehöriger Zusatzinformationen für Objekte im Umgebungsbereich erfolgen kann. Damit kann ein Nutzer individuell im Flugbetrieb eines Fluggeräts gewünschte interessierende Umgebungsbereiche angezeigt bekommen beziehungsweise beobachten und es können individueller Zusatzinformationen angezeigt bekommen. Damit wird für einen Nutzer des Fluggeräts der Betrieb einerseits informativer und gegebenenfalls interessanter gestaltet. Andererseits kann der Nutzer auf Zusatzinformationen gegebenenfalls individueller reagieren und/oder für die Zukunft vorbereitet sein. Es ist somit ermöglicht, dass abhängig von der Blickrichtung und/oder einer Blickrichtungsänderung des Nutzers direkt oder abhängig von Parametern, die die Blickrichtung und/oder eine Blickrichtungsänderung des Nutzers somit indirekt charakterisieren, eine dynamische Anpassung der Anzeige eines Bilds bezüglich des Umgebungsbereichs und/oder eine dynamische Anpassung von Zusatzinformationen durchgeführt werden. Eine besonders für den Nutzer zugeschnittene bildhafte Informationspräsentation auf der Anzeigeeinheit ist dadurch ermöglicht. Damit kann besonders schnell und bedarfsgerecht auf den jeweiligen Moment zugeschnitten eine nutzerindividuelle Informationsdarstellung auf der Anzeigeeinheit erfolgen.One aspect of the invention relates to a method for displaying information about the surroundings of an aircraft. In the method, a 3-dimensional representation of a real surrounding area on the ground takes place from the perspective of an altitude of the aircraft on a display unit of a user of the aircraft. Additional information is displayed on the display unit. This additional information is superimposed on the real surrounding area shown in the image. Objects in the picture are shown superimposed on the objects in the picture with additional information. There is a change in the three-dimensional representation of a real surrounding area on the display unit and / or a change in the insertion of the additional information on the display unit depending on the user's viewing direction and / or depending on a change in the user's viewing direction. In addition to or instead of this, it can be provided that changing the three-dimensional representation of a real surrounding area on the display unit and / or changing the insertion of the additional information on the display unit depending on a parameter characterizing the viewing direction of the user and / or the changing viewing direction of the user he follows. This means that a user of the aircraft can display information about the surroundings and / or associated additional information for objects in the area around them in a more flexible and variable manner. In this way, a user can individually view or observe desired environmental areas of interest during flight operations of an aircraft, and individual additional information can be displayed. In this way, the operation is made more informative and possibly more interesting for a user of the aircraft. On the other hand, the user can react more individually to additional information and / or be prepared for the future. It is thus possible, depending on the viewing direction and / or a change in the viewing direction of the user, directly or depending on parameters that thus indirectly characterize the viewing direction and / or a change in viewing direction of the user, a dynamic adaptation of the display of an image with respect to the surrounding area and / or a dynamic adaptation of additional information can be carried out. This enables pictorial information presentation on the display unit that is specially tailored for the user. This means that the respective A user-specific information presentation on the display unit takes place at the moment.

In einer vorteilhaften Ausführung ist vorgesehen, dass die Umgebungsinformationen einem zu einem Fluggerätführer des Fluggeräts unterschiedlichen Passagier als Nutzer dargestellt werden. Das Verfahren zielt somit insbesondere auf Nutzer ab, die nicht die Piloten des Fluggeräts selbst sind. Insbesondere werden somit keine Zusatzinformationen angezeigt, die den Flugbetrieb des Fluggeräts für einen Piloten sicherer machen würden. Vielmehr werden bei dieser vorteilhaften Ausführung nur Informationen angezeigt, die für den Nutzer, der einen Passagier darstellt, von Interesse sind. Ob diese Informationen für den sicheren Flugbetrieb des Fluggeräts von Bedeutung sind oder nicht, spielt dabei keine Rolle. Gerade bei einem Passagier, der mit einem Fluggerät fliegt, können somit zur Unterhaltung und/oder im Hinblick auf sein eigenes Interesse über den von ihm erkennbaren Umgebungsbereich Zusatzinformationen dargestellt werden.In an advantageous embodiment it is provided that the information about the surroundings is displayed as a user to a passenger who is different from an aircraft operator of the aircraft. The method is therefore aimed in particular at users who are not the pilots of the aircraft themselves. In particular, no additional information is displayed that would make the flight operation of the aircraft safer for a pilot. Rather, in this advantageous embodiment, only information is displayed that is of interest to the user who represents a passenger. It does not matter whether this information is important for the safe flight operation of the aircraft or not. Particularly in the case of a passenger who flies with an aircraft, additional information can thus be displayed for entertainment and / or with regard to his own interest about the surrounding area that can be recognized by him.

Es kann vorgesehen sein, dass der Passagier während des Flugbetriebs des Fluggeräts im Fluggerät selbst sich befindet. Das Fluggerät kann beispielsweise mit einem Piloten geflogen werden. Es kann jedoch auch sein, dass das Fluggerät ohne einen derartigen Piloten und somit ohne Fluggeräteführer geflogen wird. Beispielsweise können dies Flugtaxis sein. Mit derartigen Fluggeräten können Passagiere ohne Pilot geflogen werden.It can be provided that the passenger is in the aircraft itself while the aircraft is in flight. The aircraft can for example be flown with a pilot. However, it can also be the case that the aircraft is flown without such a pilot and thus without an aircraft operator. For example, these can be air taxis. With such aircraft, passengers can be flown without a pilot.

Es kann jedoch auch vorgesehen sein, dass das Fluggerät ein unbemanntes Fluggerät ist und nicht zum Transport von Personen vorgesehen ist. Beispielsweise kann ein derartiges Fluggerät eine Drohne sein. Insbesondere wird ein derartiges Fluggerät vom Boden aus gesteuert. Es kann in dem Zusammenhang vorgesehen sein, dass diejenige Person, die ein derartiges Fluggerät steuert, der Nutzer des Fluggeräts ist. Auch bei einer derartigen Ausgestaltung kann es dann von besonderem Interesse sein, dass der am Boden befindliche Nutzer eine Darstellung des Umgebungsbereichs des Fluggeräts aus der jeweiligen Flughöhe und von einer bestimmten Perspektive haben möchte und dazu dann auch entsprechende Zusatzinformationen in dem Bild auf der Anzeigeeinheit überlagert eingeblendet haben möchte. Auch bei einer derartigen Ausgestaltung eines unbemannten Fluggeräts wird die Blickrichtung und/oder die Blickrichtungsänderung und/oder ein die Blickrichtung charakterisierender Parameter und/oder eine Blickrichtungsänderung charakterisierender Parameter des am Boden befindlichen Nutzers erfasst und ausgewertet. Abhängig davon erfolgt dann auch bei diesem Beispiel eine nutzerindividuell angepasste Darstellung des Umgebungsbereichs auf der Anzeigeeinheit und/oder eine nutzerangepasste Darstellung von Zusatzinformationen auf der Anzeigeeinheit.However, it can also be provided that the aircraft is an unmanned aircraft and is not intended for the transport of people. For example, such an aircraft can be a drone. In particular, such an aircraft is controlled from the ground. In this context, it can be provided that the person who controls such an aircraft is the user of the aircraft. In such a configuration, too, it can then be of particular interest that the user on the ground would like to have a representation of the surrounding area of the aircraft from the respective flight altitude and from a certain perspective and then also superimposed corresponding additional information in the image on the display unit would like to have. Even with such a configuration of an unmanned aerial vehicle, the viewing direction and / or the change in viewing direction and / or a parameter characterizing the viewing direction and / or a parameter characterizing a viewing direction change of the user on the ground is recorded and evaluated. As a function of this, in this example, too, a user-customized display of the surrounding area takes place on the display unit and / or a user-adapted display of additional information on the display unit.

Vorzugsweise erfolgt die Anzeige der Zusatzinformationen als erweiterte Realität. Dies bedeutet auch, dass die Anzeigeeinheit eine AR-Anzeigeeinheit ist und somit eine Augmented-Reality-Anzeigeeinheit darstellt. Somit können die Zusatzinformationen örtlich an die Objekte des Umgebungsbereichs, die in dem Bild dargestellt werden, gekoppelt werden. Ändert sich somit die Position dieser Objekte im Bild auf der Anzeigeeinheit, so ändert sich diesbezüglich entsprechend gekoppelt auch die zugehörige Zusatzinformation. Es ist also eine dynamische Positionskopplung zwischen einem Objekt im Umgebungsbereich am Boden, welches in dem Bild angezeigt wird, und einer zugehörigen Zusatzinformation gegeben.The additional information is preferably displayed as augmented reality. This also means that the display unit is an AR display unit and thus represents an augmented reality display unit. The additional information can thus be locally linked to the objects in the surrounding area that are represented in the image. If the position of these objects changes in the image on the display unit, the associated additional information changes in a correspondingly coupled manner. There is therefore a dynamic positional coupling between an object in the surrounding area on the ground, which is displayed in the image, and associated additional information.

In einer vorteilhaften Ausführung ist vorgesehen, dass die Blickrichtung des Nutzers und/oder die Blickrichtungsänderung des Nutzers direkt mit zumindest einer Erfassungseinheit erfasst werden. Dies kann beispielsweise mit einem Tracking-System erfolgen. Dies kann beispielsweise im Fluggerät selbst verbaut sein. Ein derartiges Tracking-System kann beispielsweise ein Augen-Tracking-System sein.In an advantageous embodiment it is provided that the viewing direction of the user and / or the change in viewing direction of the user are detected directly with at least one detection unit. This can be done with a tracking system, for example. This can be built into the aircraft itself, for example. Such a tracking system can be an eye tracking system, for example.

Möglich ist jedoch auch, dass dann, wenn der Nutzer am Boden ist und das unbemannte Fluggerät steuert, eine direkte oder indirekte Erfassung der Blickrichtung und/oder einer Blickrichtungsänderung des Nutzers erfolgt. So kann beispielsweise an dem Ort, an dem sich der Nutzer befindet, ein entsprechendes Tracking-System installiert sein. Beispielsweise kann dies in einem Gebäude sein, in dem sich der Nutzer am Boden aufhält. Möglich ist jedoch auch, dass der Nutzer ein mobiles Gerät mit sich führt. Beispielsweise kann dieses mobile Gerät zum Steuern des Fluggeräts ausgebildet sein. Dieses Gerät kann ein Tracking-System aufweisen, mittels welchem die Kopfrichtung und/oder die Kopfneigung und/oder die Blickrichtung des Nutzers erfasst werden kann.However, it is also possible that when the user is on the ground and controls the unmanned aerial vehicle, a direct or indirect detection of the viewing direction and / or a change in viewing direction of the user takes place. For example, a corresponding tracking system can be installed at the location where the user is located. For example, this can be in a building where the user is on the ground. However, it is also possible that the user has a mobile device with him. For example, this mobile device can be designed to control the aircraft. This device can have a tracking system by means of which the head direction and / or the head tilt and / or the viewing direction of the user can be recorded.

In einer vorteilhaften Ausführung ist vorgesehen, dass die Blickrichtung des Nutzers und/oder die Blickrichtungsänderung des Nutzers direkt mit zumindest einer Erfassungseinheit in Echtzeit erfasst wird und in Abhängigkeit davon in Echtzeit die 3-dimensionale Darstellung des realen Umgebungsbereichs und/oder die Einblendung der Zusatzinformationen in dem Bild in Echtzeit auf der Anzeigeeinheit durchgeführt wird. In an advantageous embodiment, it is provided that the user's viewing direction and / or the user's change of viewing direction is recorded directly with at least one recording unit in real time and, depending on this, the 3-dimensional representation of the real surrounding area and / or the display of additional information in real time the image is performed in real time on the display unit.

Dadurch kann eine besonders dynamische und bedarfsgerechte Informationspräsentation an den Nutzer erfolgen.This enables a particularly dynamic and needs-based information presentation to the user.

Vorzugsweise ist vorgesehen, dass die Position des Fluggeräts bestimmt wird. Dies kann beispielsweise mit einer Lokalisierungseinheit erfolgen. Beispielsweise kann hier zumindest ein Lokalisierungssensor vorhanden sein. Dieser Lokalisierungssensor kann beispielsweise ein GPS-Sensor oder ein Gyroskop sein. Es kann vorgesehen sein, dass unter Verwendung der Informationen des Lokalisierungssensors und einer digitalen Karte des Umgebungsbereichs des Fluggeräts eine Echtzeitlokalisierung des Fluggeräts durchgeführt wird. Insbesondere kann abhängig von diesen Informationen des Lokalisierungssensors und einer digitalen Karte der Umgebung auch eine Kartenanpassung oder ein Kartenabgleich (Map Matching) durchgeführt werden. Abhängig von der Position des Fluggeräts und der Blickrichtung und/oder der Blickrichtungsänderung des Nutzers und/oder abhängig von einem die Blickrichtung des Nutzers charakterisierenden Parameter und/oder abhängig von einem die Blickrichtungsänderung des Nutzers charakterisierenden Parameter, und abhängig von Karteninformationen des Umgebungsbereichs am Boden wird ein 3-dimensionales Erstellen einer Grafik aus diesen als Rohdaten bereitgestellten virtuellen Informationen für den Nutzer insbesondere für die Beobachtungsperspektive des Nutzers durchgeführt beziehungsweise erzeugt. Dies erfolgt insbesondere durch eine Recheneinheit. So kann es vorgesehen sein, dass in dieser Recheneinheit das Koordinatensystem des Fluggeräts, das Koordinatensystem des Kopfes des Nutzers und Karteninformationen mit Transformationsverfahren in Übereinstimmung gebracht werden und ein 3D-Rendering der virtuellen Informationen für die Perspektive des Nutzers generiert wird.It is preferably provided that the position of the aircraft is determined. This can take place for example with a localization unit. For example, at least one localization sensor can be present here. This localization sensor can be, for example, a GPS sensor or a gyroscope. Provision can be made for real-time localization of the aircraft to be carried out using the information from the localization sensor and a digital map of the area around the aircraft. In particular, a map adaptation or a map matching can also be carried out as a function of this information from the localization sensor and a digital map of the surroundings. Depending on the position of the aircraft and the viewing direction and / or the change in viewing direction of the user and / or depending on a parameter characterizing the viewing direction of the user and / or depending on a parameter characterizing the changing viewing direction of the user, and depending on map information of the surrounding area on the ground a 3-dimensional creation of a graphic from this virtual information provided as raw data for the user, in particular for the user's observation perspective, is carried out or generated. This is done in particular by a computing unit. Thus, it can be provided that the coordinate system of the aircraft, the coordinate system of the head of the user and map information are brought into agreement with transformation methods in this computing unit and a 3D rendering of the virtual information is generated for the perspective of the user.

Es kann vorgesehen sein, dass Karteninformationen aus einer Karten-Datenbank entnommen werden. Insbesondere können die dargestellten Informationen aus einer Datenbank extrahiert werden.Provision can be made for map information to be taken from a map database. In particular, the information presented can be extracted from a database.

In einer vorteilhaften Ausführung ist vorgesehen, dass die Art und/oder der Umfang der Zusatzinformationen abhängig von Präferenzen des Nutzers ausgewählt und angezeigt werden. Unter einer Art kann beispielsweise die Darstellung durch Symbole und/oder Buchstaben und/oder Zahlen gemeint sein. Unter einem Umfang kann die Menge von Zusatzinformationen und/oder deren Aufbereitung, welche Informationen in welcher Reihenfolge dargestellt werden, verstanden werden. Unter einer Art der Informationspräsentation kann darüber hinaus auch beispielsweise eine blinkende Darstellung und/oder eine farblich individuell eingefärbte Darstellung verstanden werden. In an advantageous embodiment it is provided that the type and / or the scope of the additional information is selected and displayed depending on the preferences of the user. A type can mean, for example, the representation by symbols and / or letters and / or numbers. A scope can be understood to mean the amount of additional information and / or its preparation, which information is presented in which order. A type of information presentation can also be understood to mean, for example, a flashing display and / or a display that is individually colored.

Ebenso kann eine Verknüpfung von Zusatzinformationen erfolgen. Beispielsweise kann dies dann erfolgen, wenn mehrere Objekte im Umgebungsbereich in der aktuellen Blickrichtung des Nutzers vorhanden sind und der Nutzer somit zumindest zwei verschiedene Objekte im Umgebungsbereich gleichzeitig wahrnehmen kann. Es kann in dem Zusammenhang eine gleichzeitige Anzeige von Zusatzinformationen dieser zumindest zwei Objekte auf der Anzeigeeinheit erfolgen. Es kann bezüglich der Art der Informationsdarstellung jedoch auch eine Darstellung von zunächst der ersten Zusatzinformationen und dann der zweiten Zusatzinformationen erfolgen. Werden die zweiten Zusatzinformationen für das zweite Objekt angezeigt, können die Zusatzinformationen des ersten Objekts wieder ausgeblendet werden. Zusatzinformationen für die beiden Objekte können zeitlich auch alternierend auf der Anzeigeeinheit dargestellt werden. Es ist möglich, dass der Nutzer durch eine Interaktion auswählen kann, welche von zumindest zwei unterschiedlichen Zusatzinformationen für zwei unterschiedliche Objekte er aktuell angezeigt haben möchte. Beispielsweise kann dies durch ein Sprachsignal erfolgen. Ebenso kann dies zusätzlich oder anstatt dazu jedoch auch beispielsweise durch ein Augenzwinkern mit dem Augenlid erfolgen, welches auch auf der Karte an der entsprechenden Position zum anderen Objekt angeordnet ist. Ist beispielsweise auf der Anzeigeeinheit das erste Objekt linksseitig zum zweiten Objekt positioniert, kann dann, wenn der Nutzer Zusatzinformationen zum linksseitigen Objekt bevorzugt oder in der Reihenfolge als erstes angezeigt haben möchte, ein Blinzeln mit dem linken Auge durchgeführt werden.Additional information can also be linked. For example, this can take place when several objects are present in the surrounding area in the current viewing direction of the user and the user can thus perceive at least two different objects in the surrounding area at the same time. In this context, additional information about these at least two objects can be displayed on the display unit at the same time. However, with regard to the type of information display, first the first additional information and then the second additional information can also be displayed. If the second additional information for the second object is displayed, the additional information for the first object can be hidden again. Additional information for the two objects can also be shown alternately in time on the display unit. It is possible for the user to be able to select which of at least two different pieces of additional information for two different objects he currently wants to have displayed by means of an interaction. For example, this can be done by a voice signal. Likewise, in addition to or instead of this, this can also take place, for example, by winking with the eyelid, which is also arranged on the map at the corresponding position relative to the other object. If, for example, the first object is positioned on the display unit on the left-hand side of the second object, then if the user prefers additional information on the left-hand object or would like to have it displayed first in the order, blinking with the left eye can be performed.

Referenzen des Nutzers können durch eine Eingabe des Nutzers in eine Eingabeeinheit festgelegt werden. Zusätzlich oder anstatt dazu können Präferenzen des Nutzers durch Auswerten eines vergangenen Nutzerverhaltens des Nutzers über eine Informationsplattform, beispielsweise im Internet, durch ein Auswertesystem ausgewertet werden. Hierzu kann beispielsweise ein vergangenes Nutzerverhalten ausgewertet werden. Somit kann abgeschätzt werden, welche Zusatzinformationen zu welchen spezifischen Objekten einen Nutzer interessieren könnten.References of the user can be determined by an input of the user in an input unit. In addition to or instead of this, the preferences of the user can be evaluated by an evaluation system by evaluating past user behavior of the user via an information platform, for example on the Internet. For example, past user behavior can be evaluated for this purpose. It is thus possible to estimate which additional information on which specific objects could interest a user.

Zusätzlich oder anstatt dazu kann vorgesehen sein, dass Präferenzen des Nutzers abhängig von einer aktuellen Zeitdauer einer Blickrichtung des Nutzers im Betrieb des Fluggeräts bestimmt werden. Blickt ein Nutzer beispielsweise relativ lange in eine Richtung, so kann erkannt werden, dass ihn diesbezüglich vorhandene Objekte im Umgebungsbereich gegebenenfalls mit gesteigertem Interesse interessieren.In addition to or instead of this, it can be provided that the user's preferences are determined as a function of a current period of time in a viewing direction of the user while the aircraft is in operation. If, for example, a user looks for a relatively long time in one direction, it can be recognized that existing objects in the surrounding area may interest him with increased interest.

Auch dies wird durch ein Auswertesystem, in diesem Fall insbesondere durch ein Tracking-System, erfasst und bestimmt.This is also recorded and determined by an evaluation system, in this case in particular by a tracking system.

In einer vorteilhaften Ausführung ist vorgesehen, dass als Zusatzinformationen Textinformationen zu Gebäuden oder Landschaften oder Verkehrswegen oder Verkehrsmitteln, die im Umgebungsbereich vorhanden sind, angezeigt werden. Zusätzlich oder anstatt dazu können als Zusatzinformationen Markierungen von Gebäuden und/oder Verkehrswegen vorgesehen werden. Als Zusatzinformationen können insbesondere auch Nutzungsinformationen und/oder historische Informationen und/oder Verkehrsinformationen und/oder Interessenschwerpunktinformationen von Interessenschwerpunkten des Nutzers angezeigt werden. Damit kann der Nutzer individuelle Informationen über den Verkehr am Boden an bestimmten Regionen und/oder Verkehrswegen erfahren. Er kann diesbezüglich das Ganze auch optisch einfach erkennen. Auch Gebäude und/oder Landschaften können somit optisch einfach erkannt und beurteilt werden.In an advantageous embodiment it is provided that as additional information text information on buildings or landscapes or traffic routes or means of transport that are in the surrounding area are present. Additionally or instead of this, markings of buildings and / or traffic routes can be provided as additional information. In particular, usage information and / or historical information and / or traffic information and / or information on the main interests of the user can also be displayed as additional information. This allows the user to find out individual information about traffic on the ground in certain regions and / or traffic routes. In this regard, he can easily see the whole thing visually. Buildings and / or landscapes can also be easily recognized and assessed optically.

In einer vorteilhaften Ausführung ist vorgesehen, dass die Blickrichtung des Nutzers und/oder die Blickrichtungsänderung des Nutzers indirekt abhängig von einer Position und/oder abhängig von der Orientierung eines Kommunikationsgeräts des Nutzers bestimmt werden. So kann dann, wenn der Nutzer ein Kommunikationsgerät bei sich führt, beispielsweise in Händen hält, durch einen Sensor oder mehrere Sensoren in diesem Kommunikationsgerät deren Orientierung im Raum bestimmt werden. Abhängig davon kann dann auf die Blickrichtung und/oder die Blickrichtungsänderung des Nutzers geschlossen werden. Beispielsweise kann ein derartiges Kommunikationsgerät ein Kommunikationsendgerät sein. Dieses kann beispielsweise ein Mobilfunkendgerät wie ein Smartphone oder ein Tablet sein.In an advantageous embodiment it is provided that the viewing direction of the user and / or the change in viewing direction of the user are determined indirectly as a function of a position and / or as a function of the orientation of a communication device of the user. Thus, if the user has a communication device with him, for example holds it in his hands, a sensor or several sensors in this communication device can determine their orientation in space. Depending on this, conclusions can then be drawn about the viewing direction and / or the change in viewing direction of the user. For example, such a communication device can be a communication terminal. This can be, for example, a mobile radio terminal such as a smartphone or a tablet.

Die Anzeigeeinheit kann in dem Fluggerät selbst angeordnet sein. Sie kann ortsfest darin verbaut sein. Beispielsweise kann dies eine als Hülle ausgebildete transparente Wand des Fluggeräts sein, durch welche der Nutzer, wenn er Passagier ist, hindurchblicken kann. Hierbei dient dann diese transparente Hülle als Projektionsfläche für die Zusatzinformationen, wie dies beispielsweise auch bei einer Windschutzscheibe eines Kraftfahrzeugs mit einem Head-up-Display der Fall ist.The display unit can be arranged in the aircraft itself. It can be installed in a fixed location. For example, this can be a transparent wall of the aircraft designed as a cover, through which the user can look when he is a passenger. This transparent cover then serves as a projection surface for the additional information, as is also the case, for example, with a windshield of a motor vehicle with a head-up display.

Es kann jedoch auch vorgesehen sein, dass die Anzeigeeinheit eine mobile Anzeigeeinheit ist. Beispielsweise kann diese vom Nutzer mitgeführt werden. Insbesondere kann die Anzeigeeinheit Bestandteil einer Brille sein, die der Nutzer tragen kann. Beispielsweise kann dies eine AR (Augmented Reality)-Brille sein, die der Nutzer am Kopf trägt.However, it can also be provided that the display unit is a mobile display unit. For example, this can be carried by the user. In particular, the display unit can be part of glasses that the user can wear. For example, this can be AR (augmented reality) glasses that the user wears on his head.

Das Fluggerät kann beispielsweise auch einen zumindest bereichsweise transparenten Boden aufweisen. In dem Fall dient auch dieser Boden als Anzeigeeinheit, wie es bereits oben erläutert wurde.The aircraft can for example also have a floor that is transparent at least in some areas. In this case, this floor also serves as a display unit, as has already been explained above.

Ist der Nutzer extern zum Fluggerät angeordnet und am Boden positioniert, so ist die Anzeigeeinheit beispielsweise eine derartige Brille, wie sie bereits oben genannt wurde. Die Anzeigeeinheit kann jedoch auch beispielsweise Bestandteil eines tragbaren Kommunikationsgeräts sein, wie es ebenfalls oben bereits dargelegt wurde.If the user is arranged externally to the aircraft and positioned on the ground, the display unit is, for example, glasses of the type already mentioned above. The display unit can, however, also be part of a portable communication device, for example, as has also already been explained above.

Die genannte Durchführung des Verfahrens kann, wie es ebenfalls bereits oben genannt wurde, auch für unbemannte Fluggeräte erfolgen, beispielsweise in Form einer Video-See-Through-Augmented-Reality-Anwendung (Video-Durchsicht-Anwendung einer erweiterten Realität). Ist das Fluggerät unbemannt, kann dieses ein oder mehrere Erfassungseinheiten, insbesondere Kameras, aufweisen. Mit diesen kann ein Umgebungsbereich am Boden von der jeweiligen Flughöhe des Fluggeräts aus erfasst werden. Es kann insbesondere ein Video aufgezeichnet werden. Insbesondere kann ein Echtzeit-Video aufgezeichnet werden und an ein Kommunikationsgerät am Boden, welches insbesondere der Nutzer mitführt, übertragen werden. Insbesondere stellt bei einer derartigen Ausgestaltung dieses Kommunikationsgerät ein Gerät dar, welches die oben genannte Recheneinheit und/oder die Anzeigeeinheit aufweist. Vorzugsweise kann die Lokalisierung dieses unbemannten Fluggeräts als auch die Erweiterung der Realität mittels dieser Recheneinheit dieses Kommunikationsgeräts erfolgen. Insbesondere kann dies durch die Schritte erfolgen, wie sie bereits oben erläutert wurden.The aforementioned implementation of the method can, as has also already been mentioned above, also take place for unmanned aircraft, for example in the form of a video see-through augmented reality application (video see-through application of an augmented reality). If the aircraft is unmanned, it can have one or more detection units, in particular cameras. With these, a surrounding area on the ground can be recorded from the respective flight altitude of the aircraft. In particular, a video can be recorded. In particular, a real-time video can be recorded and transmitted to a communication device on the ground, which the user in particular carries. In particular, in such a configuration, this communication device represents a device which has the above-mentioned computing unit and / or the display unit. The localization of this unmanned aerial vehicle and the expansion of reality can preferably take place by means of this computing unit of this communication device. In particular, this can be done through the steps as already explained above.

Ein weiterer Aspekt der Erfindung betrifft ein System zur Darstellung von Umgebungsinformationen eines Fluggeräts. Das System weist ein Fluggerät, eine Anzeigeeinheit und insbesondere auch einen Nutzer des Fluggeräts auf. Das System ist insbesondere zum Durchführen der Schritte, wie sie durch das oben genannte Verfahren genannt wurden, ausgebildet. Insbesondere werden die Schritte des Verfahrens gemäß dem oben genannten Aspekt oder einer vorteilhaften Ausgestaltung davon mit dem System durchgeführt.Another aspect of the invention relates to a system for displaying information about the surroundings of an aircraft. The system has an aircraft, a display unit and, in particular, also a user of the aircraft. The system is designed in particular to carry out the steps as mentioned by the above-mentioned method. In particular, the steps of the method according to the above-mentioned aspect or an advantageous embodiment thereof are carried out with the system.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

1 eine Teildarstellung eines Systems gemäß einem Ausführungsbeispiel der Erfindung mit einer Darstellung von ersten Zusatzinformationen als überlagerte Darstellung in einem Bild einer Anzeigeeinheit;
2 eine Darstellung gemäß 1 mit zu 1 unterschiedlichen Zusatzinformationen;
3 eine Darstellung gemäß 1 und 2 mit zu 1 und 2 unterschiedlichen Zusatzinformationen; und
4 eine schematische Darstellung eines weiteren Ausführungsbeispiels eines Systems gemäß der Erfindung.

An exemplary embodiment of the invention is described below. This shows:

1 a partial representation of a system according to an embodiment of the invention with a representation of first additional information as a superimposed representation in an image of a display unit;
2 a representation according to 1 with to 1 different additional information;
3rd a representation according to 1 and 2 with to 1 and 2 different additional information; and
4th a schematic representation of a further embodiment of a system according to the invention.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference symbols.

In 1 ist in einer Teildarstellung ein Fluggerät 1 gezeigt. Das Fluggerät 1 ist im Flugbetrieb dargestellt. Es weist daher eine spezifische Flughöhe gegenüber dem Boden auf. Das Fluggerät 1 ist somit nicht am Boden und somit berührungslos zum Boden angeordnet.In 1 is a partial representation of an aircraft 1 shown. The aircraft 1 is shown in flight operations. It therefore has a specific altitude in relation to the ground. The aircraft 1 is therefore not arranged on the floor and is therefore not in contact with the floor.

In dem in 1 gezeigten Ausführungsbeispiel ist ein Nutzer 2, der eine Person ist, im Fluggerät 1 gezeigt. Die Person 2 ist ein Passagier. Die Person 2 ist somit kein Fluggerätführer, wie ein Pilot oder dergleichen. Die Person 2 ist somit lediglich ein Fluggast. Das Fluggerät 1 kann beispielsweise ein Flugtaxi sein. Das Fluggerät 1 weist eine Kabine 3 auf. Diese Kabine 3 ist durch Wände 4, die zumindest teilweise transparent sind, begrenzt. In der Kabine 3 ist die Person 2 positioniert. Die Wände sind somit auch eine Hülle. Die Wand 4 stellt im Ausführungsbeispiel zumindest teilweise eine Anzeigeeinheit 5 des Systems 6 dar. Der Nutzer 2 kann durch diese Wand 4 hindurch den Umgebungsbereich 7 des Fluggeräts 1 erkennen. Es ist hier der Umgebungsbereich 7 am Boden zu erkennen. Dieser Umgebungsbereich 7 am Boden ist somit aus der Perspektive des Fluggeräts 1 heraus zu erkennen. Es erfolgt ein 3-dimensionales Darstellen eines realen Umgebungsbereichs 7 am Boden aus der Perspektive der momentanen Flughöhe des Fluggeräts 1 auf dieser Anzeigeeinheit 5. Zusätzlich werden gemäß dem Ausführungsbeispiel in 1 Zusatzinformationen 8 und 9 auf der Anzeigeeinheit 5 eingeblendet. Diese Zusatzinformationen 8 und 9 werden dem Bild des realen Umgebungsbereichs 7, der auf der Anzeigeeinheit 5 erkennbar ist, überlagert. Beim vorliegenden Ausführungsbeispiel sind reale Objekte 10 und 11, die im realen Umgebungsbereich 7 am Boden vorhanden sind, in diesem Bild auf der Anzeigeeinheit 5 dargestellt beziehungsweise werden von dem Nutzer 2 erkannt. Allgemein gilt, dass diese Zusatzinformationen mit einem optischen Gerät erzeugt werden. Das optische Gerät kann Bestandteil des Systems sein. Das optische Gerät kann ein Projektor sein. Als Zusatzinformationen 8 und 9 werden hier Gebäudeinformationen zu diesen Objekten 10 und 11, die spezifische Gebäude darstellen, überlagert angezeigt. Dies erfolgt derart, dass die aktuelle Blickrichtung und/oder eine Blickrichtungsänderung des Nutzers 2 mit einer Erfassungseinheit 12 erfasst werden. Diese Erfassungseinheit 12 kann beispielsweise ein Tracking-System sein. Im Ausführungsbeispiel ist die Erfassungseinheit 12 im Fluggerät 1 selbst angeordnet. Die Erfassungseinheit 12 ist hier Bestandteil des Fluggeräts 1. Insbesondere kann mit der Erfassungseinheit 12 die Blickrichtung des Nutzers 2 und/oder die Blickrichtungsänderung des Nutzers 2 direkt erfasst werden. Abhängig von der Blickrichtung des Nutzers 2 und/oder einer Veränderung der Blickrichtung des Nutzers 2 wird eine Veränderung der 3-dimensionalen Darstellung des realen Umgebungsbereichs 7 auf der Anzeigeeinheit 5 und/oder ein Verändern der Einblendung der Zusatzinformation 8, 9 auf der Anzeigeeinheit 5 durchgeführt. Bei den Zusatzinformationen in 1 handelt es sich beispielsweise um Textinformation und um Symbole. Sie können auch farblich unterschiedlich gekennzeichnet werden. Damit sind sie für einen Nutzer einfach und schnell erkennbar.In the in 1 embodiment shown is a user 2 who is a person in the aircraft 1 shown. The person 2 is a passenger. The person 2 is therefore not an aircraft operator like a pilot or the like. The person 2 is therefore only a passenger. The aircraft 1 can for example be an air taxi. The aircraft 1 has a cabin 3rd on. This cabin 3rd is through walls 4th that are at least partially transparent. In the cabin 3rd is the person 2 positioned. The walls are thus also a shell. The wall 4th represents at least partially a display unit in the exemplary embodiment 5 of the system 6th represents. The user 2 can through this wall 4th through the surrounding area 7th of the aircraft 1 detect. It is the surrounding area here 7th recognizable on the ground. This surrounding area 7th on the ground is thus from the perspective of the aircraft 1 to recognize out. A 3-dimensional representation of a real surrounding area takes place 7th on the ground from the perspective of the aircraft's current altitude 1 on this display unit 5 . In addition, according to the embodiment in 1 Further information 8th and 9 on the display unit 5 faded in. This additional information 8th and 9 become the image of the real surrounding area 7th that is on the display unit 5 is recognizable, superimposed. In the present exemplary embodiment, there are real objects 10 and 11 that are in the real environment 7th are present on the ground, in this picture on the display unit 5 represented or are presented by the user 2 recognized. In general, this additional information is generated with an optical device. The optical device can be part of the system. The optical device can be a projector. As additional information 8th and 9 building information about these objects is displayed here 10 and 11 representing specific buildings are shown overlaid. This is done in such a way that the current viewing direction and / or a change in viewing direction of the user 2 with one registration unit 12th are recorded. This registration unit 12th can be a tracking system, for example. In the exemplary embodiment, the detection unit is 12th in the aircraft 1 arranged itself. The registration unit 12th is part of the aircraft here 1 . In particular, with the acquisition unit 12th the direction in which the user is looking 2 and / or the change in the user's line of sight 2 can be recorded directly. Depending on the direction in which the user is looking 2 and / or a change in the user's line of sight 2 becomes a change in the 3-dimensional representation of the real surrounding area 7th on the display unit 5 and / or changing the insertion of the additional information 8th , 9 on the display unit 5 carried out. With the additional information in 1 it is, for example, text information and symbols. They can also be marked in different colors. This means that they can be easily and quickly recognized by a user.

In 2 ist die Szenerie wie in 1 dargestellt. Im Unterschied zu 1 werden hier andere Zusatzinformationen dargestellt. Es werden hier nicht Zusatzinformationen für spezifische Gebäude dargestellt, sondern Verkehrsinformationen dargestellt. Beispielsweise können dies Routen von öffentlichen Verkehrsmitteln, wie beispielsweise einem Bus und/oder einer Straßenbahn, angezeigt werden. Beispielsweise wird hier als eine Zusatzinformation 13 eine Route eines ersten Busses dargestellt, der ein öffentliches Verkehrsmittel darstellt. Als Zusatzinformation 14 wird eine Route eines weiteren Busses dargestellt. Als Zusatzinformation 15 wird eine weitere Route eines weiteren Busses dargestellt.In 2 the scenery is like in 1 shown. In contrast to 1 other additional information is shown here. Additional information for specific buildings is not shown here, but traffic information. For example, these routes of public transport, such as a bus and / or a tram, can be displayed. For example, here as additional information 13th shows a route of a first bus, which is a public transport. As additional information 14th a route of another bus is displayed. As additional information 15th another route of another bus is shown.

In 3 ist in einem weiteren Ausführungsbeispiel die Szenerie gemäß 1 und 2 gezeigt. Zusätzlich oder im Unterschied zu 1 und 2 kann hier auf der Anzeigeeinheit 5 die Verkehrsinformation dargestellt werden. Beispielsweise kann hier ortsgenau das Verkehrsaufkommen an spezifischen Straßen im Umgebungsbereich 7 am Boden in dem Bild angezeigt werden. Beispielsweise können hier Zusatzinformationen 16 angezeigt werden, die insbesondere grün eingefärbt sind. Dadurch wird signalisiert, dass das Verkehrsaufkommen in diesen Straßen gering ist. Als weitere Zusatzinformation kann die Zusatzinformation 17 angezeigt werden. Sie kann in einer spezifischen Farbe, beispielsweise gelb, markiert sein. Dies bedeutet, dass das Verkehrsaufkommen in diesen Straßen höher ist. Darüber hinaus kann als Zusatzinformation 18 eine ebenfalls vorgesehene Linienmarkierung vorgesehen sein. Damit wird eine weitere Verkehrsinformation, beispielsweise ein Verkehrsaufkommen in dieser zugehörigen Straße im Umgebungsbereich 7 am Boden, in dem Bild 5 angezeigt. Beispielsweise kann hier, wenn das Verkehrsaufkommen in dieser Straße sehr hoch ist und sich beispielsweise ein Stau oder ein zähflüssiger Verkehr ergibt, eine rote Liniendarstellung der Zusatzinformation 18 erfolgen.In 3rd in a further exemplary embodiment, the scenery is shown in FIG 1 and 2 shown. In addition to or in contrast to 1 and 2 can be here on the display unit 5 the traffic information can be displayed. For example, the exact location of the traffic volume on specific streets in the surrounding area 7th displayed on the ground in the picture. For example, additional information 16 are displayed, which are in particular colored green. This signals that there is little traffic on these streets. The additional information 17th are displayed. It can be marked in a specific color, for example yellow. This means that the traffic on these streets is higher. It can also be used as additional information 18th a line marking that is also provided may be provided. This provides additional traffic information, for example the volume of traffic in this associated street in the surrounding area 7th at the Ground in the picture 5 displayed. For example, if the volume of traffic on this street is very high and there is, for example, a traffic jam or slow-moving traffic, a red line display of the additional information can be used 18th respectively.

Zusätzlich oder anstatt dazu können als Zusatzinformationen Interessenschwerpunkte des Nutzers 2 auf dem jeweiligen Bild angezeigt werden. Ebenso können beispielsweise, wenn über Berge oder sonstige freie Landschaften geflogen wird, andere Verkehrswege, wie beispielsweise Wanderrouten oder dergleichen, als Zusatzinformationen angezeigt werden. Auch Topologieinformationen können angezeigt werden.In addition to or instead of this, the user's focal points of interest can be used as additional information 2 are displayed on the respective picture. Likewise, for example, when flying over mountains or other open landscapes, other traffic routes, such as hiking routes or the like, can be displayed as additional information. Topology information can also be displayed.

Vorzugsweise weist das Fluggerät 1 eine Lokalisierungseinheit 19 auf, wie dies in 1 bis 3 symbolhaft gezeigt ist. Durch diese Lokalisierungseinheit 19 kann in einer vorteilhaften Ausführung die Position des Fluggeräts 1 erfasst werden. Es kann abhängig von dieser Position des Fluggeräts 1 und einer digitalen Karte des Umgebungsbereichs 7 eine Echtzeitlokalisierung und ein Map Matching des Fluggeräts 1 durchgeführt werden.The aircraft preferably has 1 a localization unit 19th on how to do this in 1 to 3rd is shown symbolically. Through this localization unit 19th can, in an advantageous embodiment, the position of the aircraft 1 are recorded. It can depend on this position of the aircraft 1 and a digital map of the surrounding area 7th real-time localization and map matching of the aircraft 1 be performed.

Zusätzlich kann auch eine Kartendatenbank bereitgestellt sein. Die dargestellten Informationen können aus dieser Datenbank extrahiert werden.In addition, a map database can also be provided. The information presented can be extracted from this database.

Zusätzlich oder anstatt dazu kann in einer Recheneinheit 20 abhängig von der Position des Fluggeräts 1 und der Blickrichtung des Nutzers 2 und/oder der Blickrichtungsänderung des Nutzers 2 und abhängig von Karteninformationen des Umgebungsbereichs 7 am Boden ein 3-dimensionales Erstellen einer Grafik aus diesen als Rohdaten bereitgestellten virtuellen Informationen für die Beobachtungsperspektive des Nutzers 2 durchgeführt werden.In addition to or instead of this, in a processing unit 20th depending on the position of the aircraft 1 and the direction in which the user is looking 2 and / or the change in the user's line of sight 2 and depending on map information of the surrounding area 7th On the ground, a 3-dimensional creation of a graphic from this virtual information provided as raw data for the user's observation perspective 2 be performed.

Die Anzeigeeinheit 5 kann jedoch auch beispielsweise als Brille für den Nutzer 2 ausgebildet sein. Die Anzeigeeinheit 5 ist insbesondere als AR-Anzeigeeinheit ausgebildet. The display unit 5 however, it can also be used, for example, as glasses for the user 2 be trained. The display unit 5 is designed in particular as an AR display unit.

Insbesondere ist es auch möglich, dass die Art und/oder der Umfang der Zusatzinformationen abhängig von Präferenzen des Nutzers 2 ausgewählt und angezeigt werden. Die Präferenzen des Nutzers 2 können durch eine Eingabe des Nutzers 2 in eine Eingabeeinheit vorgegeben werden. Zusätzlich oder anstatt dazu können die Präferenzen des Nutzers 2 durch Auswerten eines Nutzerverhaltens des Nutzers 2 beispielsweise im Internet durch ein Auswertesystem bestimmt werden. Beispielsweise können hier Interessenschwerpunkte des Nutzers analysiert und erkannt werden. Zusätzlich oder anstatt dazu können die Präferenzen des Nutzers 2 abhängig von einer aktuellen Zeitdauer einer Blickrichtung des Nutzers 2 im Betrieb des Fluggeräts 1 bestimmt werden.In particular, it is also possible that the type and / or the scope of the additional information depends on the preferences of the user 2 selected and displayed. The preferences of the user 2 can be entered by the user 2 can be specified in an input unit. In addition to or instead of this, the preferences of the user 2 by evaluating user behavior of the user 2 be determined for example on the Internet by an evaluation system. For example, the user's main interests can be analyzed and identified here. In addition to or instead of this, the preferences of the user 2 depending on a current period of viewing direction of the user 2 while the aircraft is in operation 1 to be determined.

In einem weiteren Ausführungsbeispiel, wie es in 4 dargestellt ist, kann das Fluggerät 1 ein unbemanntes Fluggerät sein. Beispielsweise kann es eine Drohne sein. Im Flugbetrieb des Fluggeräts 1 ist hier kein Passagier an Bord. Vielmehr ist ein Nutzer 2 am Boden. Er kann insbesondere das Fluggerät 1 selbst steuern. Dazu kann er eine entsprechende Einheit 21 aufweisen. Die Einheit 21 kann auch eine Anzeigeeinheit 5 aufweisen. Die Einheit 21 kann zusätzlich oder anstatt der bisher genannten Funktionen ein Kommunikationsgerät sein. Insbesondere kann es ein Kommunikationsendgerät sein. Es kann beispielsweise ein Smartphone oder ein Tablet sein. Es weist somit insbesondere zumindest eine weitere Funktion auf, die unabhängig von einem Steuern des Fluggeräts 1 und/oder unabhängig von einer Darstellung des Umgebungsbereichs 7 auf einer Anzeigeeinheit 5 ist. Beispielsweise kann dies eine Funktion Telefonieren sein. Es können auch zahlreiche weitere, insbesondere herkömmliche und bekannte, Funktionen vorgesehen sein, die ein derartiges Smartphone oder ein derartiges Tablet haben. Insbesondere kann diese Einheit 21 eine Erfassungseinheit 6 aufweisen. Zusätzlich oder anstatt dazu kann die Einheit 21 eine Positionserkennungseinheit 22 aufweisen. Damit kann die Position und/oder Orientierung der Einheit 21 gegenüber einem Koordinatensystem, insbesondere im Weltkoordinatensystem, bestimmt werden. Insbesondere kann abhängig von den Informationen der Erfassungseinheit 6 und/oder der Positionserkennungseinheit 22 die Blickrichtung des Nutzers 2 und/oder die Blickrichtungsänderung des Nutzers 2 direkt und/oder indirekt bestimmt werden. Ist dies nur auf Basis der Informationen der Positionserkennungseinheit 22 der Fall, können die Blickrichtung und/oder die Blickrichtungsänderung des Nutzers 2 nur indirekt bestimmt werden. Es kann abhängig von dieser Position und/oder Orientierung auch die Blickrichtung des Nutzers 2 geschätzt werden. Es wird dabei vermutet, dass der Nutzer 2 auf diese Einheit 21 blickt und somit auch mit seinem Blick entsprechend orientiert ist. Abhängig davon kann dann erkannt werden, wohin der Nutzer 2 blickt. Insbesondere ist dies dahingehend bestimmbar, dass auf der Anzeigeeinheit 5 der von dem Fluggerät 1, insbesondere von zumindest einer Kamera 23 des Fluggeräts 1, erfasste Umgebungsbereich 7 angezeigt wird. Da der Nutzer 2 dies auf der Anzeigeeinheit 5 als Bild erkennt, kann abhängig von der jeweiligen Bewegung des Nutzers 2 dann auch erkannt werden, wohin er auf diesem Bild blickt oder wohin er blicken wird oder blicken will, sodass abhängig davon wiederum die Objekte des Umgebungsbereichs 7 in dem Bild auf der Anzeigeeinheit 5 erkannt werden, die von dem Nutzer 2 angesehen werden. Dazu können dann, wie dies bereits für 1 bis 3 erläutert wurde, die jeweiligen Zusatzinformationen als Überblendung auf dem Bild auf der Anzeigeeinheit 5 angezeigt werden.In a further embodiment, as shown in 4th is shown, the aircraft 1 be an unmanned aerial vehicle. For example, it can be a drone. While the aircraft is in flight 1 there is no passenger on board here. Rather, is a user 2 on the ground. In particular, he can use the aircraft 1 steer yourself. For this he can use an appropriate unit 21 exhibit. The unit 21 can also be a display unit 5 exhibit. The unit 21 can be a communication device in addition to or instead of the functions mentioned above. In particular, it can be a communication terminal. For example, it can be a smartphone or a tablet. It thus has in particular at least one further function that is independent of controlling the aircraft 1 and / or independently of a representation of the surrounding area 7th on a display unit 5 is. For example, this can be a telephoning function. Numerous other, in particular conventional and known, functions can also be provided that such a smartphone or such a tablet have. In particular, this unit 21 a registration unit 6th exhibit. In addition to or instead of this, the unit 21 a position detection unit 22nd exhibit. This allows the position and / or orientation of the unit 21 be determined with respect to a coordinate system, in particular in the world coordinate system. In particular, depending on the information from the registration unit 6th and / or the position detection unit 22nd the direction in which the user is looking 2 and / or the change in the user's line of sight 2 can be determined directly and / or indirectly. Is this only based on the information from the position detection unit 22nd the case, the viewing direction and / or the change in viewing direction of the user can 2 can only be determined indirectly. Depending on this position and / or orientation, the viewing direction of the user can also be 2 to be appreciated. It is assumed that the user 2 on this unit 21 looks and is thus oriented accordingly with his gaze. Depending on this, it can then be recognized where the user is going 2 looks. In particular, this can be determined to the effect that on the display unit 5 that of the aircraft 1 , in particular from at least one camera 23 of the aircraft 1 , captured surrounding area 7th is shown. Because the user 2 this on the display unit 5 Recognized as an image, may depend on the user's particular movement 2 then it can also be recognized where he is looking in this image or where he will look or wants to look, so that the objects of the surrounding area in turn are dependent on this 7th in the picture on the display unit 5 recognized by the user 2 be considered. This can then, as has already been done for 1 to 3rd has been explained, the respective additional information as a dissolve on the image on the display unit 5 are displayed.

BezugszeichenlisteList of reference symbols

11: FluggerätAircraft
22: NutzerUsers
33: Kabinecabin
44th: Wandwall
55: AnzeigeeinheitDisplay unit
66th: Systemsystem
77th: UmgebungsbereichSurrounding area
88th: Zusatzinformationextra information
99: Zusatzinformationextra information
1010: reales Objektreal object
1111: reales Objektreal object
1212th: ErfassungseinheitRegistration unit
1313th: Zusatzinformationextra information
1414th: Zusatzinformationextra information
1515th: Zusatzinformationextra information
1616: Zusatzinformationextra information
1717th: Zusatzinformationextra information
1818th: Zusatzinformationextra information
1919th: LokalisierungseinheitLocalization unit
2020th: RecheneinheitArithmetic unit
2121: Einheitunit
2222nd: PositionserkennungseinheitPosition detection unit
2323: Kameracamera

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102007014015 B4 [0004]
DE 102004051625 B4 [0004]

Claims

A method for displaying information about the surroundings of an aircraft (1), in which a 3-dimensional display of a real surrounding area (7) on the ground from the perspective of a flight altitude of the aircraft (1) takes place on a display unit (5), characterized by the following steps: - Superimposition of additional information (8, 9, 13, 14, 15, 16, 17, 18) on the display unit (5), which is superimposed on the image of the real surrounding area (7) which can be seen on the display unit (5), additional information (8, 9, 13 to 18) associated with objects in the image is displayed superimposed on the objects in the image with precise location; and - changing the 3-dimensional representation of a real surrounding area (7) on the display unit (5) and / or changing the insertion of the additional information (8, 9, 13 to 18) on the display unit (5) depending on the direction in which the user is looking ( 2) and / or a change in the direction of gaze of the user (2) and / or depending on a parameter characterizing the direction of gaze of the user (2) and / or a parameter characterizing the change in gaze direction of the user (2).

Procedure according to Claim 1 , characterized in that the environmental information (7) is displayed as a user (2) to a passenger who is different from an aircraft operator of the aircraft (1), the passenger being in the aircraft (1) when the aircraft (1) is flying.

Procedure according to Claim 1 or 2 , characterized in that the aircraft (1) is an unmanned aircraft (1) and is controlled from the ground by the user (2).

Method according to one of the preceding claims, characterized in that the viewing direction of the user (2) and / or the change in viewing direction of the user (2) is recorded directly with at least one recording unit (6), in particular recorded in real time and, depending on this, in real time 3-dimensional representation of the real surrounding area (7) and / or the insertion of the additional information (8, 9, 13 to 18) is carried out in real time on the display unit (5).

Method according to one of the preceding claims, characterized in that the position of the aircraft (1) is determined and depending on this position and the viewing direction and / or the change in viewing direction of the user (2) and / or depending on one of the viewing direction of the user (2 ) parameters characterizing and / or parameters characterizing the change in viewing direction of the user (2), and depending on map information of the surrounding area (7) on the ground, a 3-dimensional creation of a graphic from this virtual information provided as raw data for the observation perspective of the user (2) is carried out becomes.

Method according to one of the preceding claims, characterized in that the type and / or the scope of the additional information is selected and displayed depending on the preferences of the user (2).

Procedure according to Claim 7 , characterized in that the preferences of the user (2) by an input of the user (2) in an input unit and / or by evaluating a user behavior of the user (2) on the Internet with regard to focal points of interest and / or depending on a current period of a viewing direction of the user (2) can be determined during operation of the aircraft (1).

Method according to one of the preceding claims, characterized in that text information on buildings or landscapes is displayed as additional information (8, 9, 13 to 18) and / or as additional information (8, 9, 13 to 18) markings of buildings and / or traffic routes are performed and / or are displayed as additional information (8, 9, 13 to 18) usage information and / or historical information and / or traffic information and / or information about the main interests of the user (2).

Method according to one of the preceding claims, characterized in that the viewing direction of the user (2) and / or the change in viewing direction of the user (2) is determined indirectly as a function of a position and / or the orientation of a communication device (23) of the user (2) .

System (6) for displaying information about the surroundings of an aircraft (1), with an aircraft (1), a display unit (5) and with a user (2), in which a 3-dimensional display of a real surrounding area (7) on the ground takes place from the perspective of an altitude of the aircraft (1) on a display unit (5), characterized by the following steps: - insertion of additional information (8, 9, 13, 14, 15, 16, 17, 18) on the display unit (5), which are superimposed on the image of the real surrounding area (7) that can be seen on the display unit (5), additional information (8, 9, 13 to 18) associated with objects in the image being displayed superimposed on the objects in the image; and - changing the 3-dimensional representation of a real surrounding area (7) on the display unit (5) and / or changing the display of the Additional information (8, 9, 13 to 18) on the display unit (5) depending on a viewing direction of the user (2) and / or a change in viewing direction by the user (2) and / or depending on a parameter characterizing the viewing direction of the user (2) and / or the parameter characterizing the change in the viewing direction of the user (2).