DE102016009506A1

DE102016009506A1 - Method for displaying environmental information of a vehicle

Info

Publication number: DE102016009506A1
Application number: DE102016009506.7A
Authority: DE
Inventors: Stephan Schmid; Marc Necker; Christian Grünler
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-08-04
Filing date: 2016-08-04
Publication date: 2017-04-13

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges, bei welchem reale Objekte der Umgebung im Fahrzeug optisch angezeigt werden, wobei virtuelle Objekte in Form einer erweiterten Realität den realen Objekten überlagert werden. Bei einem Verfahren wird aufgrund eines aktuellen Bewegungsprofils des Fahrzeuges und/oder eines Bewegungsprofils mindestens eines realen Objektes in der Umgebung des Fahrzeuges ein Zeitpunkt zur Anzeige des virtuellen Objektes bestimmt.The invention relates to a method for displaying environmental information of a vehicle, in which real objects of the surroundings are optically displayed in the vehicle, wherein virtual objects in the form of an augmented reality are superimposed on the real objects. In one method, a time for displaying the virtual object is determined on the basis of a current movement profile of the vehicle and / or a movement profile of at least one real object in the surroundings of the vehicle.

Description

Die Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges, bei welchem reale Objekte der Umgebung im Fahrzeug optisch angezeigt werden, wobei virtuelle Objekte in Form einer erweiterten Realität den realen Objekten überlagert werden.The invention relates to a method for displaying environmental information of a vehicle, in which real objects of the surroundings are optically displayed in the vehicle, wherein virtual objects in the form of an augmented reality are superimposed on the real objects.

Aus der DE 10 2014 014 833 A1 ist ein Verfahren zur Darstellung von Umgebungsinformationen bekannt, bei welchem optische Umgebungsinformationen mittels zumindest einer Anzeigeeinheit innerhalb des Fahrzeuges dargestellt werden, wobei in einem ersten Darstellungsmodus virtuelle Informationen realen optischen Umgebungsinformationen eines Objektes in der Umgebung oder einem Umgebungsbereich kontaktanalog überlagert dargestellt werden und in einem zweiten Darstellungsmodus virtuelle Informationen den realen optischen Umgebungsinformationen in einer gegenüber dem ersten Darstellungsmodus degradierten Darstellung mit verringertem Grad einer Kontaktanalogie überlagert werden, wobei vom ersten Darstellungsmodus in den zweiten Darstellungsmodus umgeschaltet wird in Abhängigkeit eines zwischen einer Bewegungsrichtung des Fahrzeuges und einer von einer Ansicht auf die reale Umgebung des Fahrzeuges definierte Blickrichtung der Anzeigeeinheit gebildeten Differenzwinkels.From the DE 10 2014 014 833 A1 a method for displaying environmental information is known in which optical environment information is displayed by means of at least one display unit within the vehicle, wherein in a first display mode virtual information real environmental information of an object in the environment or a surrounding area are displayed contact-analogously superimposed and in a second display mode virtual information is superimposed on the real optical environment information in a degraded relative to the first display mode display with reduced degree of contact analogy, being switched from the first display mode in the second display mode depending on a between a direction of movement of the vehicle and a view of the real environment of the Vehicle defined viewing direction of the display unit formed differential angle.

Aus der US 2013/0194110 A1 ist ein Verfahren bekannt, bei welchem einer realen Umgebung virtuelle Objekte mithilfe Kameradaten oder Kartendaten überlagert werden.From the US 2013/0194110 A1 a method is known in which a real environment virtual objects are superimposed using camera data or map data.

Bei Augmentierungen in den Bildern einer vorwärts gerichteten Fahrzeugkamera kann es zu Verdeckungsproblemen der virtuellen Objekte kommen. Dabei können sich die virtuellen Objekte gegenseitig verdecken. Es kann aber auch eine Verdeckung zwischen realer Szenerie und virtuellen Objekten erfolgen. Der kritische Fall ist hierbei, wenn sich die virtuellen Objekte hinter der realen Szenerie befinden. Dies führt dazu, dass die virtuellen Objekte nicht oder nur teilweise sichtbar sind. Aufgabe der Erfindung ist es, ein Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges anzugeben, bei welchem durch eine geschickte Positionierung der virtuellen Objekte die bei einer Verdeckungsberechnung auftretenden Probleme reduziert werden.Augmentations in the images of a forward-looking vehicle camera can lead to masking problems of the virtual objects. The virtual objects can hide each other. But it can also be a concealment between real scenery and virtual objects. The critical case here is when the virtual objects are behind the real scene. As a result, the virtual objects are not or only partially visible. The object of the invention is to provide a method for displaying environmental information of a vehicle, in which the problems occurring in a concealment calculation are reduced by skillful positioning of the virtual objects.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description, as well as the explanation of embodiments of the invention, which are illustrated in the figures.

Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass aufgrund eines aktuellen Bewegungsprofils des Fahrzeuges und/oder eines Bewegungsprofils mindestens eines realen Objektes in der Umgebung des Fahrzeuges ein Zeitpunkt zur Anzeige des virtuellen Objektes bestimmt wird. Durch die Bestimmung des Zeitpunktes der Anzeige in Abhängigkeit der Bewegungsprofile werden gegenseitige Verdeckungen der virtuellen Objekte oder Verdeckungen zwischen realen Objekten und virtuellen Objekten weitgehend unterbunden. Somit wird sichergestellt, dass die virtuellen Objekte jederzeit sichtbar sind und die durch diese gegebene Information dem Fahrzeugführer jederzeit zugänglich ist.The object is achieved with a method in that a time for displaying the virtual object is determined on the basis of a current movement profile of the vehicle and / or a movement profile of at least one real object in the surroundings of the vehicle. By determining the time of the display as a function of the movement profiles, mutual concealment of the virtual objects or concealment between real objects and virtual objects is largely prevented. This ensures that the virtual objects are visible at all times and that the information provided by them is always accessible to the vehicle driver.

Vorteilhafterweise wird der Zeitpunkt zur Anzeige der Überlagerung von virtuellen und realen Objekten so gewählt, dass das virtuelle Objekt eine Position gegenüber dem realen Objekt nach einer erstmaligen Anzeige während des aktuellen Bewegungsprofils von Fahrzeug und/oder realem Objekt beibehält. Durch diese zeitlich fixe Positionierung des virtuellen Objektes wird gewährleistet, dass das virtuelle Objekt immer ausreichend sichtbar ist. Andererseits wird der Tatsache Rechnung getragen, dass sich in Straßenszenen der Beobachter fast ausschließlich auf die realen Objekte zu bewegt, wodurch eine zeitliche Kontinuität erreicht wird.Advantageously, the time for displaying the superposition of virtual and real objects is selected so that the virtual object maintains a position relative to the real object after a first display during the current motion profile of the vehicle and / or the real object. This fixed positioning of the virtual object ensures that the virtual object is always sufficiently visible. On the other hand, the fact is taken into account that in street scenes the observer moves almost exclusively towards the real objects, whereby a temporal continuity is achieved.

In einer Ausgestaltung wird die Positionierung des virtuellen Objektes zum realen Objekt kurz vor der Anzeige bestimmt. Da zu diesem Zeitpunkt die vorausschauende Position des realen Objektes bereits bekannt ist, kann das virtuelle Objekt zum realen Objekt besonders genau positioniert werden, ohne dass sich bei der Bewegung des Fahrzeuges oder des realen Objektes noch gravierende Änderungen zueinander ergeben.In one embodiment, the positioning of the virtual object to the real object is determined shortly before the display. Since the forward-looking position of the real object is already known at this time, the virtual object can be positioned particularly accurately relative to the real object without significant changes to one another in the movement of the vehicle or the real object.

In einer Variante erfolgt die Positionierung von dem virtuellen Objekt zu dem realen Objekt, wenn das zugeordnete reale Objekt einen vorgegebenen Abstand zum Fahrzeug einnimmt. Indem man die Positionierung des entfernten realen Objektes bis auf kurz vor dem Zeitpunkt der ersten Anzeige verzögert, können die neuesten Informationen aus der Umgebung genutzt werden. Da die Informationen aus der Umgebungserkennung mit sinkender Distanz besser und genauer werden.In a variant, the positioning of the virtual object to the real object takes place when the assigned real object occupies a predetermined distance from the vehicle. By delaying the positioning of the remote real object until shortly before the time of the first display, the latest information from the environment can be used. Since the information from the environment detection with distance becoming better and more accurate.

In einer Ausführungsform werden die virtuellen Objekte in mindestens zwei Gruppen unterteilt, wobei sich die virtuellen Objekte der mindestens zwei Gruppen räumlich und/oder hinsichtlich ihrer Einsehbarkeit unterscheiden. Dadurch kann ein Positionierungsproblem für jede der Gruppe separat gelöst werden, ohne dass die Positionierung wesentlich schlechter als bei einem globalen Positionierungsansatz ist. Die Verarbeitung kleiner, lokaler Gruppen von virtuellen Objekten verringert generell die Komplexität und den Rechenaufwand eines verwendeten Positionierungsalgorithmus.In one embodiment, the virtual objects are subdivided into at least two groups, wherein the virtual objects of the at least two groups differ spatially and / or in terms of their visibility. This allows a positioning problem to be solved separately for each of the groups without the positioning being significantly worse than with a global positioning approach. The processing of small, local groups of virtual objects generally decreases the complexity and computational complexity of a positioning algorithm used.

In einer Weiterbildung werden Informationen über das reale Objekt aus der Umgebung aus Kartendaten und/oder mit Umgebungssensoren und/oder aus einer Vorhersage einer aktuellen Position des Fahrzeuges gewonnen. Kartendaten beinhalten zum einen die Information über die Geometrie der Szene und zum anderen die Semantik, welches virtuelle Objekt zu welchem Gebäude, zu welcher Straße oder zu welchem anderen realen Objekt gehört. Die Umgebungssensoren umfassen eine große Palette von Sensorik mit genügender Reichweite, wie beispielsweise Monokameras, Geometriesensoren oder beispielsweise eine Car-2-x-Kommunikation. Durch die Berücksichtigung von Vorhersagen, also durch einen Blick in die Zukunft, wird sichergestellt, dass eine anfängliche Positionierung des virtuellen Objektes gegenüber dem realen Objekt so ist, dass sie auch für zukünftige Bilder möglichst gut geeignet ist.In a development, information about the real object from the environment is obtained from map data and / or with environmental sensors and / or from a prediction of a current position of the vehicle. Map data contain on the one hand the information about the geometry of the scene and on the other hand the semantics, which virtual object belongs to which building, to which street or to which other real object. The environmental sensors include a wide range of sensors with sufficient range, such as monocameras, geometry sensors or, for example, a Car-2-x communication. By taking into account predictions, ie by looking into the future, it is ensured that an initial positioning of the virtual object in relation to the real object is such that it is as well suited for future images as possible.

In einer Ausgestaltung werden die aus Kartendaten und/oder mit Umgebungssensoren gewonnenen Informationen in deren gesamten Datenvolumen oder als reduziertes Datenvolumen zur Positionierung des virtuellen Objektes gegenüber dem realen Objekt genutzt. Somit können also bei den Kartendaten volle 3D-Informationen, aber auch reduzierte Daten für die Positionsbestimmung verwendet werden. Dies trifft auch bei den von den Umgebungssensoren bereitgestellten Informationen zu, wo neben den an sich bereitgestellten Rohdaten der Umgebungssensorik eine zusammengefasste und aufbereitete Version der Daten der Umgebungssensorik verwendet werden kann, analog zu den reduzierten Daten aus Kartenmaterial. Dies hat den Vorteil, dass man die Behandlung der Eigenheiten der einzelnen Sensoren dem Umgebungserfassungssystem überlassen kann, damit in jeder Situation auf eine Quelle einheitlicher und qualitativ hochwertiger Daten zurückgegriffen werden kann.In one embodiment, the information obtained from map data and / or with environmental sensors is used in their entire data volume or as a reduced data volume for positioning the virtual object relative to the real object. Thus, in the map data full 3D information, but also reduced data for the position determination can be used. This also applies to the information provided by the environmental sensors, where in addition to the raw data provided by the environmental sensors a summarized and edited version of the data from the environmental sensor can be used, analogous to the reduced data from map material. This has the advantage that one can leave the handling of the peculiarities of the individual sensors to the environmental detection system, so that in each situation a source of uniform and high-quality data can be used.

Vorteilhafterweise werden die virtuellen Objekte bei der Positionsbestimmung in einer Ebene angeordnet. Somit liegt für den Positionierungsalgorithmus ein eindimensionales Positionierungsproblem vor, welches mit reduziertem Rechenaufwand und Rechenzeit zu behandeln ist.Advantageously, the virtual objects are arranged in the position determination in a plane. Thus, there is a one-dimensional positioning problem for the positioning algorithm, which is to be treated with reduced computational effort and computing time.

In einer Variante werden durch die Bestimmung der Position der virtuellen Objekte in einer Ebene eine Güte der Positionierung des virtuellen Objektes als solches und/oder eine Güte der Positionierung der virtuellen Objekte zueinander ermittelt. Diese Güte bestimmt die Quantifizierung einer gegenseitigen Verdeckung der Objekte und ist somit ein Maß für die Positionierung der virtuellen Objekte zueinander. Somit können hohe Kosten für die Verdeckung wichtiger Szenenteile und geringere Kosten für unwichtigere Szenenteile definiert werden.In a variant, determining the position of the virtual objects in a plane determines a quality of the positioning of the virtual object as such and / or a quality of the positioning of the virtual objects relative to one another. This quality determines the quantification of mutual obscuration of the objects and is thus a measure of the positioning of the virtual objects to one another. Thus, high costs can be defined for obscuring important parts of the scene and lower costs for less important parts of the scene.

In einer Ausführungsform wird als Ebene zur Positionierung der virtuellen Objekte das Straßenniveau verwendet. Ein solches Straßenniveau ist von den Umgebungssensoren gut aufnehmbar und erlaubt als Maßstab eine einfache Positionierung der virtuellen Objekte zu den realen Objekten.In one embodiment, the street level is used as the plane for positioning the virtual objects. Such a street level is easily absorbable by the environmental sensors and allows as scale a simple positioning of the virtual objects to the real objects.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein.Further advantages, features and details will become apparent from the following description in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. Described and / or illustrated features may form the subject of the invention itself or in any meaningful combination, optionally also independent of the claims, and in particular may also be the subject of one or more separate application / s.

Als Ausführungsbeispiel soll ein Verfahren zur Darstellung von Umgebungsinformationen in einem Fahrzeug erläutert werden. Dabei werden von einer Fahrzeugkamera aufgenommene Informationen über die Umgebung, welche als reale Objekte im Fahrzeug angezeigt werden, durch virtuelle Objekte in Form einer erweiterten Realität, welche auch als Augmented Reality bezeichnet wird, überlagert. Zur Überlagerung dieser virtuellen Objekte der erweiterten Realität ist im Fahrzeug ein Headup-Display vorhanden, wobei die virtuellen Objekte den realen Objekten so überlagert werden, dass für einen Betrachter der Eindruck entsteht, dass das virtuelle Objekt vor das Fahrzeug projiziert ist. Die Projektion erfolgt dabei typischerweise in der Art, dass das virtuelle Bild in einer festen Entfernung von dem Fahrzeug steht. Bei der Überlagerung in Form von einer erweiterten Realität wird die reale Umgebung um virtuelle Objekte erweitert, so dass die virtuellen Objekte lagerichtig zu realen Objekten verortet und angeordnet sind. Dadurch entsteht für den Betrachter der Anschein, als seien die virtuellen Objekte Bestandteil der realen Umgebung. Ein Beispiel einer solchen Anwendung stellt eine lagerichtige Verortung und Anordnung von sogenannten Points of Interest (kurz POI bezeichnet) dar.As an exemplary embodiment, a method for displaying environmental information in a vehicle will be explained. Here, information recorded by a vehicle camera about the environment, which are displayed as real objects in the vehicle, superimposed by virtual objects in the form of an augmented reality, which is also referred to as augmented reality. To overlay these virtual objects of augmented reality, a head-up display is present in the vehicle, wherein the virtual objects are superimposed on the real objects in such a way that the observer gets the impression that the virtual object is projected in front of the vehicle. The projection is typically done in such a way that the virtual image is at a fixed distance from the vehicle. When superimposed in the form of an augmented reality, the real environment is expanded by virtual objects, so that the virtual objects are located and arranged in the correct position to form real objects. This gives the viewer the impression that the virtual objects are part of the real environment. An example of such an application is a positionally correct location and arrangement of so-called points of interest (POI).

Die Umgebungsinformationen können durch unterschiedliche Datenquellen bereitgestellt werden. Eine erste Datenquelle stellen dabei Kartendaten dar, die zum einen die Information über die Geometrie der Szene und zum anderen die Semantik zeigen, welches virtuelle Objekt zu welchem Gebäude, zu welcher Straße oder zu welchem anderen realen Objekt gehört, zu dem die Karte Geometrieinformationen bereitstellt. Bei den Geometriedaten können volle 3D-Informationen (als Polygonnetz oder Punktwolke oder ähnliches) als auch reduzierte Daten verwendet werden. Bei den reduzierten Daten ist anzumerken, dass z. B. die Gebäudegrundrisse, welche z. B. in OpenStreetMaps für viele Städte verfügbar sind, bereits ausreichend sind, um für die meisten Straßenszenen die Makrostruktur der Szene zu beschreiben.The environmental information may be provided by different data sources. In this case, a first data source represents map data which on the one hand shows the information about the geometry of the scene and on the other hand the semantics, which virtual object belongs to which building, to which street or to which other real object to which the map provides geometry information. The geometry data can contain full 3D information (as a mesh or point cloud or similar) as well as reduced data be used. With the reduced data it should be noted that z. B. the building floor plans, which z. As in OpenStreetMaps available for many cities, are already sufficient to describe the macro structure of the scene for most street scenes.

Als zweite Datenquelle sind Umgebungssensoren zu nennen. Zu solchen Umgebungssensoren gehören Monokameras zur Erkennung von Objekten mittels Bildverarbeitung und Geometriesensoren, wie eine Stereokamera, ein Radarsensor, ein Lidarsensor oder eine Time-of-Flight Kamera. Darüber hinaus sind sonstige Kommunikationsmöglichkeiten mit Fahrzeugen möglich, wenn diese beispielsweise eine Car-2-x-Schnittstelle aufweisen, mittels welcher Informationen zwischen den einzelnen Fahrzeugen übertragen werden.As a second data source environment sensors are mentioned. Such environmental sensors include monocameras for detecting objects by image processing and geometry sensors, such as a stereo camera, a radar sensor, a lidar sensor or a time-of-flight camera. In addition, other communication options with vehicles are possible if they have, for example, a Car-2-x interface, by means of which information is transmitted between the individual vehicles.

Bei diesen Umgebungssensoren können neben Rohdaten auch eine zusammengefasste und aufbereitete Version der Daten der Umgebungssensorik verwendet werden. So liefern bereits aktuelle Umgebungserfassungssysteme von bekannten Fahrerassistenzsystemen ein abstrahiertes Bild der Umgebung, welches mit zusätzlichen Informationen, wie Klassifikationen in Objekttypen (Straße, Fahrzeug, Fußgänger) oder Geschwindigkeiten versehen sind. Dadurch kann die Behandlung der situationsabhängigen Eigenschaft der einzelnen Sensoren dem Umgebungserfassungssystem überlassen werden.In addition to raw data, these environmental sensors can also be used with a summarized and prepared version of the ambient sensor data. For example, current environment detection systems of known driver assistance systems provide an abstracted image of the environment which is provided with additional information, such as classifications in object types (road, vehicle, pedestrian) or speeds. As a result, the treatment of the situation-dependent property of the individual sensors can be left to the environmental detection system.

Als dritte Datenquelle ist eine vorausschauende Betrachtung möglich, welche als Blick in die Zukunft angesehen wird. Idealerweise sollen virtuelle Objekte der erweiterten Realität nach dem ersten Bild, in dem sie angezeigt werden, nicht mehr verschoben werden. Deshalb muss schon die anfängliche Positionierung des virtuellen Objekts so sein, dass dieses auch für die zukünftigen Bilder genutzt werden kann. Bei der fahrzeugbasierten erweiterten Realität (Augmented Realität) lassen sich zukünftige Fahrzeugpositionen einfach vorhersagen. So ist in der Situation, dass ein Fahrzeug eine Straße entlangfährt, eine sehr wahrscheinliche Hypothese darüber möglich, dass das Fahrzeug mit einer vorgeschriebenen Geschwindigkeit die Straße weiter entlangfährt. Eine Hypothese mit geringerer Wahrscheinlichkeit ist, dass das Fahrzeug in eine Seitenstraße abbiegt, während die Hypothese, dass sich das Fahrzeug irgendwo abseits der Straße bewegt, praktisch ausgeschlossen ist. Eine weitere Möglichkeit besteht darin, eine im Navigationsgerät des Fahrzeuges eingestellte Route als Vorhersage zu verwenden oder einen eingeschalteten Blinker als Ankündigung eines Abbiegemanövers zu interpretieren. Aber auch ausgefeiltere aufkommende Technologien wie die Erlernung der Gewohnheiten des Fahrers bei häufigen Fahrstrecken durch ein Navigationsgerät lassen sich relativ direkt für die Vorhersage der Fahrzeugpositionen verwenden.As a third data source, a forward-looking view is possible, which is regarded as a view into the future. Ideally, virtual objects of augmented reality should not be moved after the first image in which they are displayed. Therefore, even the initial positioning of the virtual object must be such that it can also be used for the future images. In the vehicle-based augmented reality, future vehicle positions can be easily predicted. Thus, in the situation that a vehicle is traveling down a street, a very probable hypothesis is that the vehicle is traveling along the road at a prescribed speed. A less likely hypothesis is that the vehicle will turn off into a side street, while the hypothesis that the vehicle is moving off-road somewhere is virtually eliminated. Another possibility is to use a route set in the navigation device of the vehicle as a prediction or to interpret an activated turn signal as an announcement of a turning maneuver. But more sophisticated emerging technologies such as learning the habits of the driver with frequent routes through a navigation device can be used relatively directly for the prediction of vehicle positions.

Für andere Verkehrsteilnehmer können ebenfalls Vorhersagen wie soeben beschrieben getroffen werden. Für ein vorausfahrendes Fahrzeug gilt, dass es mit großer Wahrscheinlichkeit weiter vorausfährt und eine gewisse Wahrscheinlichkeit hat abzubiegen. Routingdaten des Fremdfahrzeuges stehen nicht unmittelbar im eigenen Fahrzeug zur Verfügung, können jedoch über die Car-2-x-Schnittstelle von dem Fremdfahrzeug zu dem eigenen Fahrzeug übertragen werden. Aus Kartendaten kann beispielsweise die zulässige Höchstgeschwindigkeit ermittelt werden. Auch kann durch Bestimmung eines Typs eines Verkehrsteilnehmers, wie beispielsweise einem Fußgänger oder Radfahrer, welcher sich mit einer gewissen Maximalgeschwindigkeit bewegt, die zukünftigen Bewegungen von Verkehrsteilnehmern eingegrenzt werden. Für alle Verkehrsteilnehmer können die reduzierten Daten der Umgebungserfassung zur Vorhersage von deren Bewegungen herangezogen werden.For other road users, predictions can also be made as just described. For a vehicle in front, it is likely that it will continue ahead and have a certain likelihood to turn. Routing data of the other vehicle are not directly available in their own vehicle, but can be transmitted via the Car-2-x interface of the other vehicle to the own vehicle. For example, the permissible maximum speed can be determined from map data. Also, by determining a type of road user, such as a pedestrian or cyclist, who is moving at a certain maximum speed, the future movements of road users may be limited. For all road users, the reduced data of the environment detection can be used to predict their movements.

Dabei ist es vorteilhaft, wenn in den Straßenszenen gewisse Gruppen von virtuellen Objekten der erweiterten Realität räumlich und bezüglich ihrer Einsehbarkeit voneinander getrennt sind. Dadurch kann das Positionierungsproblem für jede Gruppen separat gelöst werden, ohne dass die Positionierung wesentlich schlechter als bei einem globalen Positionierungsansatz ist.It is advantageous if in the street scenes certain groups of virtual objects of augmented reality are spatially separated from each other in terms of their visibility. This allows the positioning problem to be solved separately for each group, without the positioning being much worse than with a global positioning approach.

Weiterhin können inkrementelle Positionierungsstrategien verwirklicht werden. So sind beispielsweise virtuelle Objekte der erweiterten Realität in Seitenstraßen, von denen von der aktuell befahrenen Straße aus nur ein kurzes Anfangsstück einsehbar ist, getrennt von den virtuellen Objekten in der befahrenen Straße. Die Gruppierung der virtuellen Objekte im nicht einsehbaren Bereich der Seitenstraße kann solange zurückgestellt werden, bis das Fahrzeug tatsächlich ansetzt, in die Seitenstraße abzubiegen. Weiterhin sind virtuelle Objekte der erweiterten Realität in der befahrenen Straße, die noch so weit entfernt sind, dass sie ohnehin nicht angezeigt werden, unabhängig von den näheren und angezeigten Objekten zu betrachten, denn durch die große Entfernung ist der gegenseitige Einfluss der Positionierung gering. Weiterhin wird die Positionierung dieser entfernten Objekte erst relevant, wenn sie so nah sind, dass sie tatsächlich angezeigt werden. Indem man die Positionierung der entfernten Objekte bis auf kurz vor dem Zeitpunkt der ersten Anzeige verzögert, können die neuesten Informationen aus den Datenquellen genutzt werden.Furthermore, incremental positioning strategies can be realized. Thus, for example, virtual objects of the augmented reality are in side streets, of which only a short initial section is visible from the currently traveled street, separated from the virtual objects in the busy street. The grouping of the virtual objects in the non-visible area of the side street can be postponed until the vehicle actually begins to turn into the side street. Furthermore, virtual objects of the augmented reality in the busy street, which are still so far away that they are not displayed anyway, are to be considered independent of the closer and displayed objects, because the great distance causes the mutual influence of the positioning to be small. Furthermore, the positioning of these removed objects becomes relevant only when they are so close that they are actually displayed. By delaying the positioning of the removed objects until shortly before the time of the first display, the latest information from the data sources can be used.

Zur Positionierung der virtuellen Objekte der erweiterten Realität wird ein Positionierungsalgorithmus benutzt, durch welchen eine geringe gegenseitige Überdeckung der virtuellen Objekte realisiert wird. Die Anzeige von virtuellen Objekten über davorliegende reale Objekte wird ebenfalls reduziert. Dabei soll eine möglichst natürliche Positionierung von zu realen Objekten assoziierten virtuellen Objekten erfolgen, um dem Betrachter die Assoziierung zu erleichtern. Eine feste Position erlaubt die Kontaktanalogie der virtuellen Objekte zu wahren, wobei einmal positionierte virtuelle Objekte später nicht umpositioniert werden. Bei dem Positionierungsalgorithmus erfolgt eine Anpassung mit dem Blickpunkt auf das Straßenniveau. Dadurch werden die virtuellen Objekte der erweiterten Realität zeitlich fix positioniert. Gleichzeitig wird dabei die Tatsache berücksichtigt, dass sich in Straßenszenen der Beobachter fast ausschließlich auf reale Objekte zu bewegt.For positioning the virtual objects of the augmented reality, a positioning algorithm is used by which a small mutual overlap of the virtual objects is realized. The display of virtual objects above real objects is also reduced. there should be as natural as possible positioning associated with real objects associated virtual objects to facilitate the viewer's association. A fixed position allows the contact analogy of the virtual objects to be preserved, once positioned virtual objects are not repositioned later. The positioning algorithm is adapted to the street level. As a result, the virtual objects of the augmented reality are fixed in time. At the same time, the fact is taken into account that in street scenes the observer moves almost exclusively towards real objects.

Die spezielle Struktur des Blickwinkels auf Straßenniveau wird ausgenutzt, um Optimierungsansätze beim Beispiel der Minimierung einer Kostenfunktion praktikabel zu machen. Da sich bei diesem Blickwinkel der Betrachter und die virtuellen Objekte der erweiterten Realität im Wesentlichen in einer Ebene befinden, sind die virtuellen Objekte entlang des Horizonts aufgereiht. Damit besteht das Positionierungsproblem darin, die Position der virtuellen Objekte auf dem eindimensionalen Horizont festzustellen. Im vorliegenden Fall kommt die Minimierung einer Kostenfunktion der Form

in Anwendung, wobei p₁ bis p_n die Positionen der virtuellen Objekte o₁ bis o_n sind. Jede der Funktionen f_i quantifiziert die Güte der Positionierung des einzelnen Objektes o_i in der Umgebung, während die Funktion g die gegenseitige Verdeckung der Objekte quantifiziert und somit ein Maß für die Güte der Positionierung der virtuellen Objekte zueinander ist. In der Funktion f_i werden Kostenterme für vermeidenswerte Verhaltensweisen, wie beispielsweise Überdeckung eines davor liegenden realen Objektes durch ein virtuelles Objekt o_i oder Positionierung des virtuellen Objektes o_i weit entfernt von einem assoziierten realen Objekt vermieden. Die Kosten für die Überdeckung eines davor liegenden Objektes können je nach Wichtigkeit des davor liegenden Objektes unterschiedlich sein. So können hohe Kosten für Verdeckung wichtiger Szenenteile (z. B. andere Verkehrsteilnehmer) und geringere Kosten für unwichtigere Szenenteile definiert werden. Für Szenenteile, bei denen Überdeckung durch virtuelle Objekte der erweiterten Realität sogar erwünscht ist, beispielsweise die Herbeiführung eines Röntgenblicks bei großen Bäumen, die die Sicht verdecken, können die Kosten auf null oder sogar auf einen negativen Wert definiert werden.The special structure of the street level perspective is exploited to make optimization approaches practical in the example of minimizing a cost function. Since the viewer and the virtual objects of augmented reality are essentially in one plane, the virtual objects are lined up along the horizon. Thus, the positioning problem is to determine the position of the virtual objects on the one-dimensional horizon. In the present case, the minimization of a cost function of the form comes

in application, where p ₁ to p _{n are} the positions of the virtual objects o ₁ to o _n . Each of the functions f _i quantifies the quality of the positioning of the individual object o _i in the environment, while the function g quantifies the mutual concealment of the objects and thus is a measure of the quality of the positioning of the virtual objects to one another. In the function f _i cost terms for avoidable behaviors, such as coverage of a preceding real object by a virtual object o _i or positioning of the virtual object o _{i are} far away from an associated real object avoided. The cost of covering a preceding object may vary depending on the importance of the object in front of it. This can be used to define high costs for covering important parts of the scene (eg other road users) and lower costs for less important parts of the scene. For scene parts where coverage by augmented reality virtual objects may even be desirable, for example, providing X-ray vision on large trees obscuring the view, the cost can be set to zero or even to a negative value.

Vorhersageinformationen über zukünftige Blickwinkel bzw. Szenenzustände lassen sich ganz natürlich in die Kostenfunktion integrieren, indem eine gegebenenfalls mit den jeweiligen Wahrscheinlichkeiten gewichtete Summe der Einzelkosten der vorhergesagten Zustände gebildet wird.Prediction information about future perspectives or scene states can naturally be integrated into the cost function by forming a sum, possibly weighted with the respective probabilities, of the individual costs of the predicted states.

In einem Spezialfall, der die Reihenfolge der virtuellen Objekte der erweiterten Realität entlang des Horizonts festlegt, verbunden mit einer räumlichen Diskretisierung der möglichen Positionen p₁ bis p_n der virtuellen Objekte o₁ bis o_i, kann die Kostenfunktion K mittels dynamischer Programmierung sehr effizient global minimiert werden.In a special case, which defines the order of the virtual objects of the augmented reality along the horizon, combined with a spatial discretization of the possible positions p ₁ to p _{n of} the virtual objects o ₁ to o _i , the cost function K can be very efficiently globalized by means of dynamic programming be minimized.

Generell kann die beschriebene Methode eingesetzt werden, um die Gesamtmenge der virtuellen Objekte der erweiterten Realität in weitgehend unabhängige Gruppen zu trennen und den verwendeten Positionierungsalgorithmus für die Gruppen separat anzuwenden.In general, the method described can be used to separate the totality of the virtual objects of the augmented reality into largely independent groups and to apply the positioning algorithm used separately for the groups.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description of the figures enable one skilled in the art to practice the exemplary embodiments, and those skilled in the art, having the benefit of the disclosed inventive concept, can make various changes, for example, to the function or arrangement of individual elements recited in an exemplary embodiment, without Protection area defined by the claims and their legal equivalents, such as further explanations in the description.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102014014833 A1 [0002]
US 2013/0194110 Al [0003]

Claims

A method for displaying environmental information of a vehicle, in which real objects of the environment in the vehicle are visually displayed, wherein virtual objects are superimposed in the form of an augmented reality to the real objects, characterized in that due to a current movement profile of the vehicle and / or a movement profile at least of a real object in the environment of the vehicle, a time for displaying the virtual object is determined.

A method according to claim 1, characterized in that the time for displaying the superposition of virtual and real object is selected so that the virtual object maintains a position relative to the real object after a first display during the current motion profile of the vehicle and / or real object ,

A method according to claim 2, characterized in that the positioning of the virtual object to the real object is determined shortly before the display.

A method according to claim 2 or 3, characterized in that the positioning of the virtual object takes place when the associated real object occupies a predetermined distance from the vehicle.

Method according to at least one of the preceding claims, characterized in that the virtual objects are subdivided into at least two groups, wherein the virtual objects of the at least two groups differ spatially and / or in terms of their visibility.

Method according to at least one of the preceding claims, characterized in that information about the real object of the environment is obtained from map data and / or with environmental sensors and / or from a prediction of a current position of the vehicle.

A method according to claim 6, characterized in that the information obtained from map data and / or environmental sensors are used in their entire data volume or as a reduced volume of data for positioning the virtual object relative to the real object.

Method according to at least one of the preceding claims, characterized in that the virtual objects are arranged in the position determination in a plane.

A method according to claim 8, characterized in that by determining the position of the virtual objects in a plane, a quality of the positioning of the virtual objects and / or a quality of the positioning of the virtual objects to each other is determined.

Method according to claim 8 or 9, characterized in that the street level is used as the plane for positioning the virtual objects.