DE102021117848A1

DE102021117848A1 - System with vehicle and AR glasses

Info

Publication number: DE102021117848A1
Application number: DE102021117848.7A
Authority: DE
Inventors: Tobias Moll; Ulrich Müller; Roland Sager
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2021-07-09
Filing date: 2021-07-09
Publication date: 2023-01-12

Abstract

Verfahren zum Betreiben einer Augmented Reality (AR)-Brille, bei dem ein Anzeigeschirm einer AR-Brille ein Überlagerungsbild anzeigt und eine teildurchlässige Reflexionsfläche der AR-Brille das angezeigte Überlagerungsbild in ein Auge eines Insassen eines Fahrzeugs reflektiert, Kontrastreiche AR-Brille in Synergie mit einem Fahrzeug, sowie AR-Brille für ein Fahrzeug und Steuergerät für ein Fahrzeug.A method for operating augmented reality (AR) glasses, in which a display screen of AR glasses displays an overlay image and a partially transmissive reflection surface of the AR glasses reflects the displayed overlay image into an eye of a vehicle occupant, high-contrast AR glasses in synergy with a vehicle, as well as AR glasses for a vehicle and control unit for a vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Augmented Reality (AR)-Brille. Bei dem Verfahren zeigt ein Anzeigeschirm einer AR-Brille ein Überlagerungsbild an und reflektiert eine teildurchlässige Reflexionsfläche der AR-Brille das angezeigte Überlagerungsbild in ein Auge eines Insassen eines Fahrzeugs. Ferner betrifft die Erfindung eine AR-Brille für ein Fahrzeug und ein Steuergerät für ein Fahrzeug.The invention relates to a method for operating augmented reality (AR) glasses. In the method, a display screen of AR glasses displays a superimposed image, and a semi-transmissive reflecting surface of the AR glasses reflects the displayed superimposed image into an eye of an occupant of a vehicle. Furthermore, the invention relates to AR glasses for a vehicle and a control device for a vehicle.

AR-Brillen gehören in unterschiedlichen Ausgestaltungen zum Stand der Technik und dienen dazu, ein natürliches Umgebungsbild mit einem künstlichen Überlagerungsbild zu überlagern. Eine AR-Brille stellt ein von einem Auge, in der Regel beiden Augen, eines Nutzers, d. h. eines Trägers, der AR-Brille erfassbares Kombinationsbild aus natürlichen Elementen des Umgebungsbilds und künstlichen Elementen des Überlagerungsbilds bereit.AR glasses are part of the prior art in various configurations and are used to overlay a natural image of the surroundings with an artificial superimposed image. AR glasses represent one eye, usually both eyes, of a user, i. H. a wearer, the AR glasses detectable combination image of natural elements of the environmental image and artificial elements of the superimposed image ready.

Zu diesem Zweck umfasst die AR-Brille üblicherweise eine teildurchlässige Reflexionsfläche und einen Anzeigeschirm zum Bereitstellen, d. h. Anzeigen, des künstlichen Überlagerungsbilds. Der Anzeigeschirm ist relativ zu der teildurchlässigen Reflexionsfläche und einem Auge des Nutzers derart angeordnet und ausgerichtet, dass die teildurchlässige Reflexionsfläche das von dem Anzeigeschirm bereitgestellte künstliche Überlagerungsbild für das Auge des Nutzers erfassbar in das Auge des Nutzers reflektiert. Auf diese Weise kombiniert die AR-Brille ein von einer Umgebung bereitgestelltes und von dem Auge durch die teildurchlässige Reflexionsfläche erfassbares natürliches Umgebungsbild mit dem von der AR-Brille bereitgestellten künstlichen Überlagerungsbild.For this purpose, the AR glasses usually comprise a semi-transparent reflection surface and a display screen for providing, i. H. Displaying the artificial overlay image. The display screen is arranged and oriented relative to the partially transmissive reflection surface and an eye of the user such that the partially transmissive reflection surface reflects the artificial overlay image provided by the display screen into the user's eye in a manner that can be detected by the user's eye. In this way, the AR glasses combine a natural surrounding image that is provided by an environment and that can be detected by the eye through the partially transparent reflection surface with the artificial overlay image provided by the AR glasses.

Wie AR-Brillen gehören auch Head-Up-Displays (HUD) für Fahrzeuge zum Stand der Technik. Ein HUD kombiniert in analoger Weise ein von einer Umgebung eines Fahrzeug bereitgestelltes, d. h. reflektiertes, und durch eine Windschutzscheibe des Fahrzeugs erfassbares natürliches Umgebungsbild mit einem von einem Anzeigeschirm des Fahrzeugs bereitgestellten und von der Windschutzscheibe reflektierten künstlichen Überlagerungsbild. Mittels des HUD erhält der Nutzer, beispielsweise ein Fahrer, des Fahrzeugs von dem Fahrzeug Informationen, ohne einen Blick von der Umgebung des Fahrzeugs, insbesondere einer Verkehrssituation des Fahrzeugs, abzuwenden.Like AR glasses, head-up displays (HUD) for vehicles are also state-of-the-art. In an analogous manner, a HUD combines a H. reflected and detectable through a windshield of the vehicle natural surrounding image with an artificial overlay provided by a display screen of the vehicle and reflected by the windshield. The user, for example a driver, of the vehicle receives information from the vehicle by means of the HUD without taking his eyes off the surroundings of the vehicle, in particular a traffic situation of the vehicle.

Ein der AR-Brille und dem HUD-Display gemeinsames Problem besteht darin, dass das Überlagerungsbild aufgrund des natürlichen Umgebungsbilds einen sehr geringen Kontrast aufweisen kann. Aufgrund des sehr geringen Kontrasts können Elemente des Überlagerungsbilds in dem Kombinationsbild von dem Nutzer nicht oder zumindest nicht deutlich genug erfasst werden. Beispielsweise kann ein heller, d. h. viel Licht reflektierender, Bereich des Umgebungsbilds mit einem Element des Überlagerungsbilds zusammenfallen, wodurch das Element des im Allgemeinen lichtschwächeren Überlagerungsbilds unerfassbar überstrahlt wird.A problem common to the AR glasses and the HUD display is that the overlay image can have very low contrast due to the natural surrounding image. Due to the very low contrast, elements of the overlay image in the combination image cannot be detected by the user, or at least not clearly enough. For example, a bright, i. H. area of the surrounding image that reflects a lot of light coincide with an element of the overlay image, as a result of which the element of the overlay image, which is generally weaker in light, is undetectably outshone.

Zum Vermeiden dieses Problems offenbart DE 10 2018 215 272 A1 ein Head-Up-Display (HUD), welches das Überlagerungsbild automatisch in einem dunklen Bereich des durch die Windschutzscheibe des Fahrzeugs erfassbaren Umgebungsbilds anordnet.Disclosed to avoid this problem DE 10 2018 215 272 A1 a head-up display (HUD) that automatically places the overlay image in a dark area of the surrounding image viewable through the vehicle's windshield.

Mit demselben Ziel offenbart US 2018/0088323 A1 eine AR-Brille, welche ein angezeigtes Überlagerungsbild mittels eines Bereichs einer teildurchlässigen Reflexionsfläche in ein Auge eines Betrachters reflektiert und eine Durchlässigkeit des reflektierenden Bereichs abhängig von einer Situation des Betrachters und/oder einem Inhalt des Überlagerungsbilds abgestuft verringert, d. h. eine Helligkeit des Überlagerungsbilds im Bereich eines Elements des Überlagerungsbilds verringert.Revealed with the same goal US 2018/0088323 A1 AR glasses that reflect a displayed sub-image into a viewer's eye by means of a partially transmissive reflecting surface area and gradually reduce a transmittance of the reflecting area depending on a situation of the viewer and/or a content of the sub-image, ie, a brightness of the sub-image in the area of an element of the sub-picture is reduced.

Es wird angemerkt, dass die AR-Brille bei einer vollständig undurchlässigen, d. h. opaken, Reflexionsfläche praktisch zu einer Virtual-Reality (VR)-Brille wird. Dank der opaken Reflexionsfläche ist nämlich das natürliche Umgebungsbild unerfassbar und einzig das künstliche Überlagerungsbild als virtuelle Realität erfassbar. Entsprechend bedeutet Opazität einen Grad von Undurchlässigkeit.It is noted that the AR goggles in a fully opaque, i. H. opaque, reflective surface practically becomes virtual reality (VR) glasses. Thanks to the opaque reflection surface, the natural surrounding image cannot be captured and only the artificial superimposed image can be captured as virtual reality. Similarly, opacity means a degree of imperviousness.

Speziell für AR-Brillen besteht abgesehen davon das weitere Problem, dass ein Element des Überlagerungsbilds mit einem dunklen, d. h. wenig Licht reflektierenden, Bereich des Umgebungsbilds zusammenfallen kann. Dadurch wird der dunkle Bereich des Umgebungsbilds von dem Element des Überlagerungsbilds unerfassbar überstrahlt. Dies ist vor allem dann inakzeptabel, wenn ein wichtiges Element, beispielsweise ein Betätigungselement oder ein Anzeigeelement, des Fahrzeugs in dem dunklen Bereich angeordnet ist.Apart from that, there is another problem, especially for AR glasses, that an element of the superimposed image has a dark, i. H. reflecting little light, area of the environment image can coincide. As a result, the dark area of the surrounding image is undetectably outshined by the element of the overlay image. This is particularly unacceptable when an important element, such as an operating element or a display element, of the vehicle is located in the dark area.

DE 10 2018 211 261 A1 widmet sich diesem für AR-Brillen spezifischen Problem und offenbart eine AR-Brille, welche automatisch einen zu einer vorbestimmten ein Hintergrundbild bildenden Innenfläche des Fahrzeugs korrespondierenden Bereich der teildurchlässigen Reflexionsfläche von dem Überlagerungsbild freihält oder allenfalls redundant, d. h. gleichwertig zu der Innenfläche, überlagert. DE 10 2018 211 261 A1 addresses this problem, which is specific to AR glasses, and discloses AR glasses which automatically keep a region of the partially transparent reflection surface corresponding to a predetermined interior surface of the vehicle forming a background image free of the superimposed image or, at most, superimpose it redundantly, i.e. equivalent to the interior surface.

Allerdings führt einerseits eine verringerte Durchlässigkeit eines Bereichs der teildurchlässigen Reflexionsfläche dazu, dass ein wichtiger von der verringerten Durchlässigkeit betroffener Bereich des Umgebungsbilds schlecht oder nicht genügend deutlich erfassbar ist. Andererseits schränkt jeder freigehaltene Bereich eine Anordnung von Elementen des Überlagerungsbilds bzw. eine redundante Überlagerung eine Auswahl bzw. Anordnung von Elementen des Überlagerungsbilds erheblich ein.However, on the one hand, a reduced permeability of an area of the partially transparent reflection surface leads to the fact that an important part of the reduced permeability affected area of the environmental image is poorly or not sufficiently clearly detectable. On the other hand, each area kept free limits an arrangement of elements of the overlay image or a redundant overlay considerably restricts a selection or arrangement of elements of the overlay image.

Es ist daher eine Aufgabe der Erfindung, ein Verfahren zum Betreiben einer AR-Brille vorzuschlagen, welches eine freie Auswahl von Elementen des Überlagerungsbilds erlaubt und einen Kontrast der Elemente gezielt vergrößert. Weitere Aufgaben der Erfindung sind, eine AR-Brille für ein Fahrzeug und ein Steuergerät für ein Fahrzeug bereitzustellen.It is therefore an object of the invention to propose a method for operating AR glasses which allows a free selection of elements of the superimposed image and increases a contrast of the elements in a targeted manner. Further objects of the invention are to provide AR glasses for a vehicle and a control device for a vehicle.

Ein Gegenstand der Erfindung ist ein Verfahren zum Betreiben einer AR-Brille, bei dem ein Anzeigeschirm einer AR-Brille ein Überlagerungsbild anzeigt und eine teildurchlässige Reflexionsfläche der AR-Brille das angezeigte Überlagerungsbild in ein Auge eines Insassen eines Fahrzeugs reflektiert. Mittels des Anzeigeschirms und der teildurchlässigen Reflexionsfläche stellt die AR-Brille für den Insassen des Fahrzeugs ein Kombinationsbild aus einem natürlichen Umgebungsbild und dem künstlichen Überlagerungsbild bereit. Die Erfindung lässt sich somit praktisch auf jede gängige AR-Brille anwenden.An object of the invention is a method for operating AR glasses, in which a display screen of AR glasses displays a superimposed image and a semi-transmissive reflection surface of the AR glasses reflects the displayed superimposed image into an eye of an occupant of a vehicle. By means of the display screen and the partially transparent reflection surface, the AR glasses provide the occupant of the vehicle with a combination image of a natural environment image and the artificial overlay image. The invention can thus be applied to practically any conventional AR glasses.

Erfindungsgemäß ordnet die AR-Brille das Überlagerungsbild abhängig von einer Position und einer Ausrichtung der AR-Brille automatisch relativ zu einer vorbestimmten Innenfläche des Fahrzeugs auf der teildurchlässigen Reflexionsfläche an. Die AR-Brille bestimmt eine Anordnung des Überlagerungsbilds, insbesondere eines Elements des Überlagerungsbilds, relativ zu dem Umgebungsbild dynamisch, d. h. in Echtzeit.According to the invention, the AR glasses automatically arrange the superimposed image relative to a predetermined inner surface of the vehicle on the partially transparent reflection surface depending on a position and an orientation of the AR glasses. The AR glasses dynamically determine an arrangement of the overlay image, in particular an element of the overlay image, relative to the environmental image, i. H. Real time.

Die AR-Brille verschiebt das Überlagerungsbild, insbesondere das Element des Überlagerungsbilds, auf der teildurchlässigen Reflexionsfläche bei jeder Bewegung der AR-Brille relativ zu dem Fahrzeug automatisch. Dank der automatischen Verschiebung überlagert das Überlagerungsbild, insbesondere das Element des Überlagerungsbilds, stets die vorbestimmte Innenfläche des Fahrzeugs. Entsprechend bildet die vorbestimmte Innenfläche des Fahrzeugs einen Hintergrund für das Überlagerungsbild, insbesondere das Element des Überlagerungsbilds. Durch eine geeignete Wahl der vorbestimmten Innenfläche kann ein Kontrast des Überlagerungsbilds, insbesondere des Elements des Überlagerungsbilds, vergrößert werden.The AR glasses automatically shift the superimposed image, in particular the element of the superimposed image, on the partially transparent reflection surface with each movement of the AR glasses relative to the vehicle. Thanks to the automatic displacement, the overlay image, in particular the element of the overlay image, always superimposes on the predetermined interior surface of the vehicle. Correspondingly, the predetermined interior surface of the vehicle forms a background for the overlay image, in particular the element of the overlay image. A contrast of the overlay image, in particular of the element of the overlay image, can be increased by a suitable choice of the predetermined inner surface.

In bevorzugten Ausführungsformen stellt die AR-Brille eine Größe des Überlagerungsbilds und/oder eine Perspektive des Überlagerungsbilds korrespondierend zu der vorbestimmten Innenfläche ein. Die AR-Brille skaliert das Überlagerungsbild, insbesondere ein Element des Überlagerungsbilds, korrespondierend zu einer Größe der vorbestimmten Innenfläche. Die AR-Brille stellt bei einer größeren vorbestimmten Innenfläche ein größeres Überlagerungsbild und bei einer kleineren vorbestimmten Innenfläche ein kleineres Überlagerungsbild bereit.In preferred embodiments, the AR glasses adjust a size of the overlay image and/or a perspective of the overlay image corresponding to the predetermined inner surface. The AR glasses scale the overlay image, in particular an element of the overlay image, corresponding to a size of the predetermined inner surface. The AR glasses provide a larger overlay image with a larger predetermined inner surface and a smaller overlay image with a smaller predetermined inner surface.

Abgesehen davon passt die AR-Brille das Überlagerungsbild, insbesondere das Element des Überlagerungsbilds, an eine von der Anordnung des Überlagerungsbilds auf der teildurchlässigen Reflexionsfläche abhängigen Blickrichtung des Auges an. Die AR-Brille dreht ein Element, insbesondere jedes Element, des Überlagerungsbilds in drei Dimensionen und projiziert jedes gedrehte Element zweidimensional auf eine Normalebene zu der Blickrichtung.Apart from that, the AR glasses adapt the superimposed image, in particular the element of the superimposed image, to a viewing direction of the eye that is dependent on the arrangement of the superimposed image on the partially transparent reflection surface. The AR glasses rotate an element, specifically each element, of the superimposed image in three dimensions and two-dimensionally project each rotated element onto a normal plane to the line of sight.

In weiteren Ausführungsformen erfasst ein mit einer Trackingeinheit der AR-Brille verbundener Sensor der AR-Brille oder ein mit einem mit der AR-Brille gekoppelten Steuergerät des Fahrzeugs verbundener Sensor des Fahrzeugs die Position und die Ausrichtung der AR-Brille relativ zu der dunklen Innenfläche. Die Trackingeinheit ermittelt abhängig von sensorisch erfassten Daten die Position der AR-Brille und die Ausrichtung der AR-Brille jeweils relativ zu dem Fahrzeug. Die sensorisch erfassten Daten können von einem Sensor oder mehreren Sensoren der AR-Brille und/oder von einem Sensor oder mehreren Sensoren des Fahrzeugs bereitgestellt werden.In further embodiments, a sensor of the AR glasses connected to a tracking unit of the AR glasses or a sensor of the vehicle connected to a control unit of the vehicle coupled to the AR glasses detects the position and alignment of the AR glasses relative to the dark inner surface. Depending on data recorded by sensors, the tracking unit determines the position of the AR glasses and the alignment of the AR glasses relative to the vehicle. The data recorded by sensors can be provided by one or more sensors of the AR glasses and/or by one or more sensors of the vehicle.

Idealerweise ordnet die Trackingeinheit das Überlagerungsbild derart an, dass ein von dem Auge erfasstes kombiniertes Gesamtbild eine einen Hintergrund bildende dunkle Innenfläche des Fahrzeugs als die vorbestimmte Innenfläche und das einen Vordergrund bildende Überlagerungsbild umfasst. Die dunkle Innenfläche des Fahrzeugs vergrößert den Kontrast des Überlagerungsbilds. Je dunkler die Innenfläche des Fahrzeugs ist, desto größer ist der Kontrast des Überlagerungsbilds. Durch eine geeignete Wahl der vorbestimmten Innenfläche lässt sich der Kontrast des Überlagerungsbilds optimieren. Idealerweise wird eine schwarze Innenfläche des Fahrzeugs vorbestimmt.Ideally, the tracking unit arranges the overlay image such that an overall combined image captured by the eye includes a dark inner surface of the vehicle forming a background as the predetermined inner surface and the overlay image forming a foreground. The dark inner surface of the vehicle increases the contrast of the overlay image. The darker the interior surface of the vehicle, the greater the contrast of the overlay image. The contrast of the overlay image can be optimized by a suitable choice of the predetermined inner surface. Ideally, a black interior surface of the vehicle is predetermined.

Auf diese Weise kann die dunkle Innenfläche für das Überlagerungsbild einen dunklen Farbton, insbesondere die Farbe Schwarz, bereitstellen, welcher von der AR-Brille aus technischen Gründen nicht selbst erzeugt werden kann. Zwar erzeugt der Anzeigeschirm einen schwarzen Bereich, wenn kein Pixel des Bereichs aktiv ist und folglich der schwarze Bereich kein Licht emittiert. Jedoch wird lediglich von dem Anzeigeschirm emittiertes Licht von der teildurchlässigen Reflexionsfläche reflektiert.In this way, the dark inner surface can provide a dark hue, in particular the color black, for the overlay image, which for technical reasons cannot be generated by the AR glasses themselves. It is true that the display screen produces a black area when no pixel of the area is active and consequently the black area does not emit light. However, only light emitted from the display screen is reflected by the semi-transparent reflection surface.

Die Trackingeinheit oder das Steuergerät bestimmt bevorzugt einen verdunkelten Bereich eines Anzeigeschirms des Fahrzeugs, einen Dachhimmel des Fahrzeugs, eine Sonnenblende des Fahrzeugs und/oder eine Mittelkonsole des Fahrzeugs als die vorbestimmte Innenfläche. Mit anderen Worten können die AR-Brille oder das Fahrzeug jeweils exklusiv oder gemeinsam die Innenfläche des Fahrzeugs vorbestimmen. Wenn der Anzeigeschirm vorbestimmt wird, kann das Steuergerät gezielt einen Bereich des Anzeigeschirms abdunkeln, um den abgedunkelten Bereich als eine dunkle Innenfläche bereitzustellen. Der Dachhimmel, die Sonnenblende oder die Mittelkonsole können weitere dunkle Innenflächen des Fahrzeugs bereitstellen.The tracking unit or the controller preferably determines a darkened area of a display screen of the vehicle, a headliner of the vehicle, a sun visor of the vehicle, and/or a center console of the vehicle as the predetermined interior surface. In other words, the AR glasses or the vehicle can each exclusively or jointly predetermine the inner surface of the vehicle. When the display screen is predetermined, the controller can selectively darken an area of the display screen to provide the darkened area as a dark interior surface. The headliner, sun visor, or center console may provide additional dark interior surfaces of the vehicle.

Während des Betriebs der AR-Brille können die AR-Brille oder das Fahrzeug zwischen einer Mehrzahl von vorbestimmten Innenflächen des Fahrzeugs wechseln. Die vorbestimmte Innenfläche wird stets abhängig von der Position oder der Ausrichtung der AR-Brille relativ zu dem Fahrzeug gewählt. Auf diese Weise wird gewährleistet, dass bei jeder Position oder Ausrichtung der AR-Brille relativ zu dem Fahrzeug eine geeignete Innenfläche als die vorbestimmte Innenfläche bereitsteht. Entsprechend ist ein Kontrast des Überlagerungsbilds bei jeder Position oder Ausrichtung der AR-Brille relativ zu dem Fahrzeug vergrößert.During operation of the AR goggles, the AR goggles or the vehicle may transition between a plurality of predetermined interior surfaces of the vehicle. The predetermined inner surface is always chosen depending on the position or the orientation of the AR glasses relative to the vehicle. This ensures that a suitable inner surface is available as the predetermined inner surface for every position or orientation of the AR glasses relative to the vehicle. Accordingly, a contrast of the overlay image is increased at each position or orientation of the AR glasses relative to the vehicle.

Alternativ oder zusätzlich kann die AR-Brille Innenflächen des Fahrzeugs sensorisch erfassen und eine oder mehrere geeignete Innenflächen des Fahrzeugs dynamisch bestimmen.Alternatively or additionally, the AR glasses can detect interior surfaces of the vehicle by sensors and dynamically determine one or more suitable interior surfaces of the vehicle.

Vorteilhaft kann die AR-Brille ein virtuelles Betätigungselement vor der vorbestimmten Innenfläche des Fahrzeugs anordnen. Das virtuelle Betätigungselement ersetzt ein physisches Betätigungselement, welches an der vorbestimmten Innenfläche angebracht ist. Infolge der Virtualisierung des Betätigungselements braucht einerseits das Betätigungselement nicht physisch hergestellt zu werden. Andererseits erlaubt die Virtualisierung des Betätigungselements eine jederzeitige Konfiguration des Betätigungselements, was mit einer großen Flexibilität hinsichtlich eines Betätigungskonzepts des Fahrzeugs einhergeht.The AR glasses can advantageously arrange a virtual actuating element in front of the predetermined inner surface of the vehicle. The virtual actuator replaces a physical actuator attached to the predetermined interior surface. As a result of the virtualization of the actuating element, on the one hand the actuating element does not have to be produced physically. On the other hand, the virtualization of the actuating element allows the actuating element to be configured at any time, which is associated with great flexibility with regard to an actuating concept of the vehicle.

Bei diesen Ausführungsformen kann eine mit dem Steuergerät verbundene Innenkamera des Fahrzeugs ein gestisches Betätigen des virtuellen Betätigungselements durch den Insassen erfassen und das Steuergerät korrespondierend zu dem erfassten Betätigen eine dem virtuellen Betätigungselement zugeordnete Funktion des Fahrzeugs ansteuern. Auch die Zuordnung der Funktion zu dem virtuellen Betätigungselement lässt sich jederzeit konfigurieren, wodurch sich eine große Flexibilität hinsichtlich des Betätigungskonzepts des Fahrzeugs ergibt.In these embodiments, an interior camera of the vehicle connected to the control unit can detect a gestural actuation of the virtual actuating element by the occupant and the control unit can control a function of the vehicle assigned to the virtual actuating element corresponding to the actuation detected. The assignment of the function to the virtual actuating element can also be configured at any time, resulting in great flexibility with regard to the vehicle's actuating concept.

In weiteren Ausführungsformen zeigt die AR-Brille das Überlagerungsbild in einer Nachtbetriebsart der AR-Brille größer und/oder dunkler als in einer Tagbetriebsart der AR-Brille an. In einer Nacht können größere Innenflächen des Fahrzeugs dunkel bzw. Innenflächen des Fahrzeugs dunkler sein. Entsprechend sind größere und/oder dunklere Überlagerungsbilder kontrastreich bzw. augenschonend erfassbar.In further embodiments, the AR glasses display the overlay image larger and/or darker in a night operating mode of the AR glasses than in a day operating mode of the AR glasses. During a night, larger interior areas of the vehicle may be dark or interior areas of the vehicle may be darker. Correspondingly, larger and/or darker overlay images can be detected with high contrast or in a way that is easy on the eyes.

Noch ein Gegenstand der Erfindung ist eine AR-Brille für ein Fahrzeug. Die Erfindung ist auf jede AR-Brille anwendbar, welche von einem Insassen eines Fahrzeugs während einer Fahrt des Fahrzeugs getragen wird. Entsprechend ergeben sich vielfältige Anwendungsmöglichkeiten.Another subject of the invention is AR glasses for a vehicle. The invention is applicable to any AR glasses worn by an occupant of a vehicle while the vehicle is driving. Accordingly, there are a variety of possible applications.

Erfindungsgemäß ist die AR-Brille konfiguriert, gemeinsam mit einem Steuergerät eines Fahrzeugs ein erfindungsgemäßes Verfahren auszuführen. Die AR-Brille ist ausgebildet, durch eine geeignete Anordnung eines Überlagerungsbilds relativ zu einer vorbestimmten Innenfläche des Fahrzeugs einen Kontrast eines Überlagerungsbilds, insbesondere eines Elements des Überlagerungsbilds, zu vergrößern.According to the invention, the AR glasses are configured to carry out a method according to the invention together with a control unit of a vehicle. The AR glasses are designed to increase a contrast of an overlay image, in particular an element of the overlay image, by a suitable arrangement of an overlay image relative to a predetermined inner surface of the vehicle.

Ein weiterer Gegenstand der Erfindung ist ein Steuergerät für ein Fahrzeug. Die Erfindung ist auf jedes Steuergerät eines Fahrzeugs anwendbar, welches mit einem Sensor des Fahrzeugs verbunden ist und dazu ausgelegt ist, abhängig von sensorisch erfassten Daten eine Position oder eine Ausrichtung einer AR-Brille eines Insassen des Fahrzeugs relativ zu dem Fahrzeug zu ermitteln oder eine Innenfläche des Fahrzeugs vorzubestimmen oder einen Bereich eines Anzeigeschirms des Fahrzeugs abzudunkeln. Entsprechend ergeben sich vielfältige Anwendungsmöglichkeiten.Another subject of the invention is a control device for a vehicle. The invention can be applied to any control unit of a vehicle that is connected to a sensor of the vehicle and is designed to determine a position or an alignment of AR glasses of a vehicle occupant relative to the vehicle or an interior surface depending on sensor-detected data of the vehicle or to darken a portion of a display screen of the vehicle. Accordingly, there are a variety of possible applications.

Erfindungsgemäß ist das Steuergerät konfiguriert, gemeinsam mit einer AR-Brille ein erfindungsgemäßes Verfahren auszuführen. Das Steuergerät ist ausgebildet, eine AR-Brille dabei zu unterstützen, durch eine geeignete Anordnung eines Überlagerungsbilds relativ zu einer vorbestimmten Innenfläche des Fahrzeugs einen Kontrast eines Überlagerungsbilds, insbesondere eines Elements des Überlagerungsbilds, zu vergrößern.According to the invention, the control unit is configured to carry out a method according to the invention together with AR glasses. The control unit is designed to support AR glasses in enlarging a contrast of an overlay image, in particular of an element of the overlay image, by suitably arranging an overlay image relative to a predetermined interior surface of the vehicle.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass ein Kontrast eines Überlagerungsbilds einer AR-Brille gezielt vergrößert und eine freie Auswahl von Elementen des Überlagerungsbilds erlaubt wird. Entsprechend werden ein Nutzererlebnis und eine Sicherheit beim Verwenden der AR-Brille in einem Fahrzeug stark verbessert.An essential advantage of the method according to the invention is that a contrast of an overlay image of AR glasses is increased in a targeted manner and elements of the overlay image can be freely selected. Accordingly, a user experience and security in Ver Greatly improved the ability to use the AR glasses in a vehicle.

Die Erfindung ist anhand einer Ausführungsform in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung weiter beschrieben. Es zeigt:

1 ein Fahrzeug nach einer Ausführungsform der Erfindung;
2 eine AR-Brille nach einer Ausführungsform der Erfindung für ein Fahrzeug.

The invention is shown schematically using an embodiment in the drawing and is further described with reference to the drawing. It shows:

1 a vehicle according to an embodiment of the invention;
2 AR glasses according to an embodiment of the invention for a vehicle.

1 zeigt ein Fahrzeug 2 nach einer Ausführungsform der Erfindung. Das Fahrzeug 2 umfasst eine dunkle Innenfläche 3, genauer gesagt eine Mehrzahl von dunklen Innenflächen 3, welche lediglich beispielhaft und nicht einschränkend als ein Anzeigeschirm 23 eines Infotainmentsystem des Fahrzeugs 2, eine Cockpit-Innenverkleidung 27 des Fahrzeugs 2, ein Dachhimmel 24 des Fahrzeugs 2, eine Sonnenblende 25 des Fahrzeugs 2 und/oder eine Mittelkonsole 26 des Fahrzeugs 2 ausgebildet sein können. Ferner kann das Fahrzeug 2 ein Steuergerät 20 für ein Fahrzeug 2, einen mit dem Steuergerät 20 verbundenen Sensor 21 des Fahrzeugs 2 und/oder eine Innenkamera 22 des Fahrzeugs 2 umfassen. 1 Figure 1 shows a vehicle 2 according to an embodiment of the invention. The vehicle 2 comprises a dark interior surface 3, more precisely a plurality of dark interior surfaces 3, which can be used, purely by way of example and not by way of limitation, as a display screen 23 of an infotainment system of the vehicle 2, a cockpit interior panel 27 of the vehicle 2, a headliner 24 of the vehicle 2, a sun visor 25 of the vehicle 2 and/or a center console 26 of the vehicle 2 can be formed. Furthermore, the vehicle 2 can include a control unit 20 for a vehicle 2 , a sensor 21 of the vehicle 2 connected to the control unit 20 and/or an interior camera 22 of the vehicle 2 .

2 zeigt eine AR-Brille 1 nach einer Ausführungsform der Erfindung für ein Fahrzeug 2. Die AR-Brille 1 umfasst einen Anzeigeschirm 13 und eine teildurchlässige Reflexionsfläche 12 und kann ferner eine Trackingeinheit 10 und einen Sensor 11, beispielsweise eine Kamera, umfassen. 2 1 shows AR glasses 1 according to an embodiment of the invention for a vehicle 2. The AR glasses 1 comprise a display screen 13 and a partially transparent reflection surface 12 and can also comprise a tracking unit 10 and a sensor 11, for example a camera.

Die AR-Brille 1 ist konfiguriert, gemeinsam mit dem Fahrzeug 2 ein nachfolgend beschriebenes Verfahren auszuführen. Weiterhin kann das Steuergerät 20 konfiguriert sein, gemeinsam mit der AR-Brille 1 das nachfolgend beschriebene Verfahren auszuführen.The AR glasses 1 are configured to carry out a method described below together with the vehicle 2 . Furthermore, the control unit 20 can be configured to carry out the method described below together with the AR glasses 1 .

Der Anzeigeschirm 13 der AR-Brille 1 zeigt ein Überlagerungsbild 4 an, und die teildurchlässige Reflexionsfläche 12 der AR-Brille 1 reflektiert das angezeigte Überlagerungsbild 4 in ein Auge eines Insassen (nicht dargestellt) eines Fahrzeugs 2.The display screen 13 of the AR glasses 1 displays an overlay image 4, and the semi-transmissive reflecting surface 12 of the AR glasses 1 reflects the displayed overlay image 4 into an eye of an occupant (not shown) of a vehicle 2.

Dabei ordnet die AR-Brille 1 das Überlagerungsbild 4 abhängig von einer Position und einer Ausrichtung der AR-Brille 1 automatisch relativ zu der dunklen Innenfläche 3 des Fahrzeugs 2 auf der teildurchlässigen Reflexionsfläche 12 an.In this case, the AR glasses 1 automatically arrange the overlay image 4 on the partially transparent reflection surface 12 relative to the dark inner surface 3 of the vehicle 2 depending on a position and an alignment of the AR glasses 1 .

Vorteilhaft stellt die AR-Brille 1 eine Größe des Überlagerungsbilds 4 und/oder eine Perspektive des Überlagerungsbilds 4 korrespondierend zu der dunklen Innenfläche 3 ein.The AR glasses 1 advantageously adjust a size of the overlay image 4 and/or a perspective of the overlay image 4 to correspond to the dark inner surface 3 .

Wenn die AR-Brille 1 die Trackingeinheit 10 und den Sensor 11 umfasst, kann der mit der Trackingeinheit 10 der AR-Brille 1 verbundene Sensor 11 der AR-Brille 1 die Position und die Ausrichtung der AR-Brille 1 relativ zu der dunklen Innenfläche 3 erfassen.If the AR glasses 1 include the tracking unit 10 and the sensor 11, the sensor 11 of the AR glasses 1 connected to the tracking unit 10 of the AR glasses 1 can determine the position and alignment of the AR glasses 1 relative to the dark inner surface 3 capture.

Wenn das Fahrzeug das Steuergerät 20 und den Sensor 21 umfasst, kann alternativ oder zusätzlich der mit dem mit der AR-Brille 1 gekoppelten Steuergerät 20 des Fahrzeugs 2 verbundene Sensor 21 des Fahrzeugs 2 die Position und die Ausrichtung der AR-Brille 1 relativ zu der dunklen Innenfläche 3 erfassen.If the vehicle includes the control unit 20 and the sensor 21, the sensor 21 of the vehicle 2 connected to the control unit 20 of the vehicle 2 coupled to the AR glasses 1 can determine the position and the orientation of the AR glasses 1 relative to the capture dark inner surface 3.

In beiden Fällen ordnet die Trackingeinheit 10 das Überlagerungsbild 4 vorzugsweise derart an, dass ein von dem Auge erfasstes kombiniertes Gesamtbild die dunkle Innenfläche 3 als einen Hintergrund und das Überlagerungsbild 4 als einen Vordergrund umfasst.In both cases, the tracking unit 10 preferably arranges the overlay image 4 in such a way that a combined overall image captured by the eye includes the dark inner surface 3 as a background and the overlay image 4 as a foreground.

Dabei können die Trackingeinheit 10 und/oder das Steuergerät 20 einen verdunkelten Bereich des Anzeigeschirms 23 des Fahrzeugs 2, den Dachhimmel 24 des Fahrzeugs 2, die Sonnenblende 25 des Fahrzeugs 2, die Mittelkonsole 26 des Fahrzeugs 2 und/oder die Innenverkleidung 27 des Fahrzeugs 2 als die dunkle Innenfläche 3 vorbestimmen.The tracking unit 10 and/or the control unit 20 can display a darkened area of the display screen 23 of the vehicle 2, the roof liner 24 of the vehicle 2, the sun visor 25 of the vehicle 2, the center console 26 of the vehicle 2 and/or the interior paneling 27 of the vehicle 2 as the dark inner surface 3.

Vorteilhaft ordnet die AR-Brille 1 ferner ein virtuelles Betätigungselement 40, lediglich beispielhaft und nicht einschränkend einen Tastschalter, vor der dunklen Innenfläche 3 des Fahrzeugs 2 an.Advantageously, the AR glasses 1 also arrange a virtual actuating element 40 , a pushbutton switch merely by way of example and not by way of limitation, in front of the dark inner surface 3 of the vehicle 2 .

Wenn das Fahrzeug 2 die Innenkamera 22 umfasst, kann die mit dem Steuergerät 20 verbundene Innenkamera 22 des Fahrzeugs 2 ein gestisches Betätigen des virtuellen Betätigungselements 40 durch den Insassen erfassen und das Steuergerät 20 korrespondierend zu dem erfassten Betätigen eine dem virtuellen Betätigungselement 40 zugeordnete Funktion des Fahrzeugs 2 ansteuern.If the vehicle 2 includes the interior camera 22, the interior camera 22 of the vehicle 2 connected to the control unit 20 can detect a gestural actuation of the virtual actuating element 40 by the occupant and the control unit 20 corresponding to the detected actuation can detect a function of the vehicle assigned to the virtual actuating element 40 2 drive.

Weiterhin kann die AR-Brille 1 das Überlagerungsbild 4 in einer Nachtbetriebsart der AR-Brille 1 größer und/oder dunkler als in einer Tagbetriebsart der AR-Brille 1 anzeigen.Furthermore, the AR glasses 1 can display the overlay image 4 larger and/or darker when the AR glasses 1 are in a night operating mode than when the AR glasses 1 are in a day operating mode.

Bezugszeichenlistereference list

11: AR-BrilleAR glasses
1010: Trackingeinheittracking unit
1111: Sensorsensor
1212: Reflexionsflächereflection surface
1313: Anzeigeschirmdisplay screen
22: Fahrzeugvehicle
2020: Steuergerätcontrol unit
2121: Sensorsensor
2222: Innenkameraindoor camera
2323: Anzeigeschirmdisplay screen
2424: Dachhimmelheadliner
2525: Sonnenblendesun visor
2626: Mittelkonsolecenter console
2727: Cockpit-InnenverkleidungCockpit inner lining
33: dunkle Innenflächedark inner surface
44: Überlagerungsbildoverlay image
4040: virtuelles Betätigungselementvirtual actuator

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102018215272 A1 [0006]
US20180088323A1 [0007]
DE 102018211261 A1 [0010]

Claims

Method for operating AR glasses (1), in which - A display screen (13) of AR glasses (1) displays an overlay image (4) and a partially transparent reflection surface (12) of the AR glasses (1) reflects the displayed overlay image (4) into an eye of an occupant of a vehicle (2). ; - The AR glasses (1) automatically arrange the overlay image (4) relative to a predetermined inner surface (3) of the vehicle (2) on the partially transparent reflection surface (12) depending on a position and an alignment of the AR glasses (1).

procedure after claim 1 , in which the AR glasses (1) adjust a size of the overlay image (4) and/or a perspective of the overlay image (4) corresponding to the predetermined inner surface (3).

procedure after claim 1 or 2 , in which a sensor (11) of the AR glasses (1) connected to a tracking unit (10) of the AR glasses (1) or a control unit (20) of the vehicle (2 ) Connected sensor (21) of the vehicle (2) detects the position and orientation of the AR glasses (1) relative to the predetermined inner surface (3).

procedure after claim 3 , in which the tracking unit (10) arranges the overlay image (4) in such a way that a combined overall image captured by the eye shows a dark inner surface of the vehicle (2) forming a background as the predetermined inner surface (3) and the overlay image (4 ) includes.

procedure after claim 3 or 4 , in which the tracking unit (10) or the control unit (20) a darkened area of a display screen (23) of the vehicle (2), a headliner (24) of the vehicle (2), a sun visor (25) of the vehicle (2) and /or a center console (26) of the vehicle (2) as the predetermined interior surface (3).

Procedure according to one of Claims 1 until 5 , In which the AR glasses (1) arranges a virtual actuating element (40) in front of the predetermined inner surface (3) of the vehicle (2).

procedure after claim 6 , in which an interior camera (22) of the vehicle (2) connected to the control unit (20) detects a gestural actuation of the virtual actuating element (40) by the occupant and the control unit (20) corresponding to the detected actuation sends a message to the virtual actuating element (40 ) assigned function of the vehicle (2) controls.

Procedure according to one of Claims 1 until 7 In which the AR glasses (1) display the overlay image (4) larger and/or darker in a night mode of the AR glasses (1) than in a day mode of the AR glasses (1).

AR glasses (1) for a vehicle (2), which is configured, together with a control unit (20) of a vehicle (2), a method according to one of Claims 1 until 8th to execute.

Control unit (20) for a vehicle (2), which is configured, together with AR glasses (1), a method according to one of Claims 1 until 8th to execute.