DE102022124274A1

DE102022124274A1 - Method and device for controlling a display of data glasses

Info

Publication number: DE102022124274A1
Application number: DE102022124274.9A
Authority: DE
Inventors: Tobias Bauernfeind; Manfred Pauli; Wolfgang Haberl; Alan Keim
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-09-21
Filing date: 2022-09-21
Publication date: 2024-03-21

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung einer Anzeige einer Datenbrille sowie eine entsprechend eingerichtete Datenbrille. Das Verfahren zur Steuerung einer Anzeige einer Datenbrille umfasst ein Ermitteln mindestens eines Helligkeitswertes und ein Anpassen eines Anzeigemodus der Anzeige der Datenbrille in Abhängigkeit des ermittelten Helligkeitswertes, wobei das Anpassen des Anzeigemodus eine Änderung der Farbdarstellung der Anzeige umfasst. Die Datenbrille zur Anzeige eines Bildes im Sichtfeld eines Nutzers ist dazu eingerichtet, ein erfindungsgemäßes Verfahren auszuführen.The invention relates to a method for controlling a display of data glasses and a correspondingly set up data glasses. The method for controlling a display of data glasses includes determining at least one brightness value and adjusting a display mode of the display of the data glasses depending on the determined brightness value, wherein adjusting the display mode includes changing the color representation of the display. The data glasses for displaying an image in a user's field of vision are set up to carry out a method according to the invention.

Description

Die Erfindung betrifft Datenbrillen, und insbesondere Verfahren zur Steuerung einer Anzeige einer Datenbrille sowie eine entsprechend eingerichtete Datenbrille.The invention relates to data glasses, and in particular to methods for controlling a display of data glasses and to correspondingly configured data glasses.

Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Bei sogenannten Augmented-Reality-Datenbrillen können die Anzeigeflächen Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.Data glasses, also called head-mounted displays, are known which, using a display device, can display an image on one or two display surfaces in the field of vision of the wearer of the data glasses. In so-called augmented reality data glasses, the display surfaces can correspond to reflective surfaces that direct images into the eyes of the wearer of the data glasses. The viewing openings of the data glasses are transparent, so that the real environment can be perceived in the usual way through the data glasses. The display surfaces are located in the viewing openings, so that information to be displayed, such as text, symbols, graphics, video displays and the like, can be displayed overlaying the perception of the surroundings.

Diese Datenbrillen, auch AR-Brillen genannt, können auch in einem Fahrzeug eingesetzt werden, um beispielsweise dem Fahrer des Fahrzeugs mithilfe von AR Informationen zum Umfeld des Fahrzeugs anzeigen zu lassen. Um eine stets gute Sichtbarkeit der Informationen zu gewährleisten, können Datenbrillen mit Sensoren ausgestattet sein, die das Umfeld der Datenbrille erkennen und die Anzeige entsprechend anpassen können.These data glasses, also called AR glasses, can also be used in a vehicle, for example to display information about the vehicle's surroundings to the driver of the vehicle using AR. In order to ensure that the information is always clearly visible, data glasses can be equipped with sensors that recognize the environment around the data glasses and can adapt the display accordingly.

Ein Nutzer eines Fahrzeuges kann unterschiedlichen Lichtverhältnissen ausgesetzt sein, die sich auch in kürzester Zeit ändern können. Bisher bekannte AR-Brillen verfügen lediglich über eine Anpassung der Helligkeit der angezeigten Informationen, weshalb sie nicht optimal auf die sich ändernden Lichtverhältnisse und auf das sich ändernde Helligkeitsempfinden eines Nutzers ausgelegt sind.A user of a vehicle can be exposed to different lighting conditions, which can change in a very short time. Previously known AR glasses only have an adjustment of the brightness of the information displayed, which is why they are not optimally designed for changing lighting conditions and a user's changing perception of brightness.

Eine Aufgabe der Erfindung ist, die Anzeige einer Datenbrille in einem Fahrzeug an das Helligkeitsempfinden eines Nutzers anzupassen und eine Blendung des Nutzers zu vermeiden.One object of the invention is to adapt the display of data glasses in a vehicle to a user's perception of brightness and to avoid dazzling the user.

Die Aufgabe wird gelöst durch ein Verfahren zur Steuerung einer Anzeige einer Datenbrille gemäß dem Hauptanspruch sowie eine Datenbrille gemäß dem nebengeordneten Anspruch.The task is solved by a method for controlling a display of data glasses according to the main claim and data glasses according to the secondary claim.

Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.Advantageous further training is the subject of the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Steuern einer Anzeige einer Datenbrille vorgesehen, mit folgenden Schritten:

- Ermitteln mindestens eines Helligkeitswertes;
- Anpassen eines Anzeigemodus der Anzeige der Datenbrille in Abhängigkeit des ermittelten Helligkeitswertes, wobei das Anpassen des Anzeigemodus eine Änderung der Farbdarstellung der Anzeige umfasst.

According to a first aspect, a method for controlling a display of data glasses is provided, with the following steps:

- Determine at least one brightness value;
- Adjusting a display mode of the display of the data glasses depending on the determined brightness value, wherein adjusting the display mode includes changing the color representation of the display.

Die Datenbrille wird für gewöhnlich von einem Insassen als Brille (auf der Nase und/oder vor den Augen) getragen.The data glasses are usually worn by an occupant as glasses (on the nose and/or in front of the eyes).

Auf Basis des Helligkeitswertes kann ein Anzeigemodus der Datenbrille ermittelt bzw. eingestellt werden. Unter einem Anzeigemodus wird eine Darstellungsart der Informationen der Anzeige der Datenbrille verstanden. Dabei können mehrere Anzeigemodi definiert werden, die jeweils unterschiedliche Farb- und/oder Helligkeitswerte, Größen-, Auflösungs- und/oder Skalierungswerte umfassen können. Als bevorzugte Anzeigemodi können die folgenden Anzeigemodi definiert sein: Day Mode (hohe Helligkeit, gut sichtbare Farben), Dark Mode (Anzeige mit invertierten Farben), Night Mode (Anzeige mit lediglich roten Farben) sowie ein Modus mit reduziertem Blaulichtanteil. Ebenfalls kann eine Orientierung des angezeigten Bildes in einem Anzeigemodus verändert werden.Based on the brightness value, a display mode of the data glasses can be determined or set. A display mode is a type of display of the information on the data glasses display. Several display modes can be defined, each of which can include different color and/or brightness values, size, resolution and/or scaling values. The following display modes can be defined as preferred display modes: Day Mode (high brightness, clearly visible colors), Dark Mode (display with inverted colors), Night Mode (display with only red colors) and a mode with reduced blue light content. An orientation of the displayed image can also be changed in a display mode.

In einer bevorzugten Ausführungsform wird bei Unterschreiten mindestens eines Schwellenwerts durch den Helligkeitswert zum Anpassen des Anzeigemodus ein Modus mit invertierten Farben, vorzugsweise ein Dark Mode, ausgewählt.In a preferred embodiment, if the brightness value falls below at least one threshold value, a mode with inverted colors, preferably a dark mode, is selected for adjusting the display mode.

Im RGB-Farbraum wird eine invertierte Farbe errechnet, indem der Farbwert vom Maximalwert abgezogen wird. Bei einem Bild mit 8-Bit-Farbtiefe und einer Farbauflösung von 0-255 würde ein Bildpunkt mit den Farbwerten Rot = 50, Grün = 120 und Blau = 236 invertiert werden, indem die Werte vom Maximalwert 255 abgezogen würden. Somit hätte der invertierte Bildpunkt die Werte Rot = 255 - 50 = 205, Grün = 255 - 120 = 135, Blau = 255 - 236 = 19.In the RGB color space, an inverted color is calculated by subtracting the color value from the maximum value. For an image with 8-bit color depth and a color resolution of 0-255, a pixel with the color values red = 50, green = 120 and blue = 236 would be inverted by subtracting the values from the maximum value of 255. The inverted pixel would therefore have the values red = 255 - 50 = 205, green = 255 - 120 = 135, blue = 255 - 236 = 19.

Solch ein Anzeigemodus wird meist als Dark Mode bezeichnet und eignet sich besonders in dunkler Umgebung, in welcher nicht die gesamte Helligkeit benötigt wird.Such a display mode is usually referred to as dark mode and is particularly suitable in dark environments where not all of the brightness is needed.

Die Änderung des Anzeigemodi der Anzeige umfasst eine Änderung der Farbdarstellung der Anzeige, sodass bei Ermittlung eines niedrigen Helligkeitswertes, also bei dunklerem Umfeld, beispielsweise Dämmerung, weniger grelle bzw. dunklere Farben verwendet werden können, um den Nutzer nicht zusätzlich zu blenden. Ebenso kann die Farbtemperatur angepasst werden. So kann bei geringen Helligkeitswerten wärmeres Licht, beispielsweise im Bereich von weniger als 4000 Kelvin, verwendet und bei hohen Helligkeitswerten kaltes Licht im Bereich von mehr als 4000 Kelvin verwendet werden.Changing the display mode of the display includes changing the color representation of the display, so that when a low brightness value is determined, i.e. in a darker environment, for example twilight, less bright or darker colors can be used in order not to additionally blind the user. The color temperature can also be adjusted. For example, at low brightness values, warmer light, for example in the range of less than 4000 Kelvin, can be used and at high brightness values, cold light in the range of more than 4000 Kelvin can be used.

Weiter bevorzugt wird bei Unterschreiten mindestens eines Schwellenwerts durch den Helligkeitswert zum Anpassen des Anzeigemodus ein Modus mit reduziertem Blaulichtanteil der Farben ausgewählt.Further preferably, if the brightness value falls below at least one threshold value, a mode with a reduced blue light component of the colors is selected for adjusting the display mode.

In dunklerer Umgebung kann ein hoher Anteil an blauem Licht den Nutzer blenden und dessen Sicht beeinträchtigen. Zudem verengen sich durch Licht mit hohem Blaulichtanteil die Pupillen sehr stark und erschweren dadurch die Wahrnehmung von Objekten in schlecht ausgeleuchteter Umgebung. Durch die Reduzierung des Blaulichtanteils kann der Nutzer bzw. dessen Augen geschont werden, sodass dieser weniger vom Verkehrsgeschehen abgelenkt wird.In darker environments, a high proportion of blue light can dazzle the user and impair their vision. In addition, light with a high proportion of blue light causes the pupils to constrict significantly, making it more difficult to perceive objects in poorly lit surroundings. By reducing the proportion of blue light, the user and their eyes can be protected so that they are less distracted by what is happening on the road.

Der Blendungs-Effekt wird durch den Purkinje-Effekt beschrieben, welcher beschreibt, dass sich die Empfindlichkeit des menschlichen Auges bei reduzierter Helligkeit in den Blaubereich des Lichts verschiebt. Durch das erhöhte Helligkeitsempfinden bei blauem Licht steigt das Risiko des Blendens eines Nutzers.The glare effect is described by the Purkinje effect, which describes that the sensitivity of the human eye shifts to the blue range of light when brightness is reduced. The increased perception of brightness in blue light increases the risk of a user being blinded.

Der Wellenlängenbereich des sichtbaren Lichts liegt typischerweise zwischen 380 und 780 Nanometer (nm), wobei blaues Licht im Bereich zwischen 380 und 500 nm liegt. Eine Reduzierung des Blaulichtanteils kann demnach zur Folge haben, dass der Anteil des Lichts auf Wellenlängen von unter 500 nm reduziert wird.The wavelength range of visible light is typically between 380 and 780 nanometers (nm), with blue light in the range between 380 and 500 nm. A reduction in the proportion of blue light can therefore result in the proportion of light being reduced to wavelengths of less than 500 nm.

Ein Anzeigemodus mit reduziertem Blaulichtanteil eignet sich typischerweise für Nutzungen der Datenbrille bei Dämmerung bzw. nach der Dämmerung, wenn die Sonne bereits unter dem Horizont steht, ihr gestreutes Restlicht jedoch am Himmel noch sichtbar ist.A display mode with a reduced proportion of blue light is typically suitable for using the data glasses at dusk or after dusk, when the sun is already below the horizon but its scattered remaining light is still visible in the sky.

Weiter bevorzugt wird bei Unterschreiten mindestens eines Schwellenwerts durch den Helligkeitswert zum Anpassen des Anzeigemodus ein Modus mit lediglich roten Farben oder ein Night Mode, ausgewählt.Further preferably, if the brightness value falls below at least one threshold value, a mode with only red colors or a night mode is selected for adjusting the display mode.

Unter rotem Licht wird Licht im Wellenlängenbereich von mindestens 650 nm verstanden. Durch die Verwendung von lediglich rotem Licht wird die Sicht des Nutzers bei Dunkelheit nicht beeinträchtigt. Dieser Anzeigemodus eignet sich besonders für die Nutzung der Datenbrille bei Nacht, in welcher die Helligkeit des Umfeldes des Fahrzeugs sowie die Helligkeit des Umfeldes der Datenbrille sehr gering sein kann.Red light is understood to mean light in the wavelength range of at least 650 nm. By using only red light, the user's vision in the dark is not impaired. This display mode is particularly suitable for using the data glasses at night, in which the brightness of the vehicle's surroundings and the brightness of the data glasses' surroundings can be very low.

In einer besonders bevorzugten Ausführungsform umfasst das Verfahren ferner folgenden Schritt:

- Verbinden der Datenbrille mit einem Fahrzeug zum Empfangen/Austausch von Sensordaten, die einen oder mehrere Helligkeitswerte angeben.

In a particularly preferred embodiment, the method further comprises the following step:

- Connecting the smart glasses to a vehicle to receive/exchange sensor data that indicates one or more brightness values.

Die Datenbrille kann Einrichtungen zur drahtlosen Verbindung der Datenbrille mit dem Fahrzeug umfassen. Über diese drahtlose Verbindung kann die Datenbrille Informationen, vorzugsweise Sensordaten des Fahrzeuges, mit dem Fahrzeug austauschen. Die Verbindung ist eingerichtet, um einen Informationsaustausch in beide Richtungen zu ermöglichen.The data glasses can include devices for wirelessly connecting the data glasses to the vehicle. The data glasses can exchange information, preferably sensor data from the vehicle, with the vehicle via this wireless connection. The connection is set up to enable information exchange in both directions.

Weiter bevorzugt umfasst das Ermitteln des Helligkeitswertes eine Auswertung der vom Fahrzeug übermittelten Sensordaten.Further preferably, determining the brightness value includes an evaluation of the sensor data transmitted by the vehicle.

Mögliche Sensoren für den Informationsaustausch können sein: Helligkeits- und/oder Lichtsensor, Infrarot- oder Bildsensoren. Ebenfalls können Informationen bzw. Daten des Navigationssystems des Fahrzeugs mit der Datenbrille ausgetauscht werden. Diese Informationen können sein: eine Orientierung und/oder Himmelsrichtung, Uhrzeit- und/oder Tageszeitinformationen, Neigungs- und/oder Höheninformationen.Possible sensors for exchanging information can be: brightness and/or light sensors, infrared or image sensors. Information or data from the vehicle's navigation system can also be exchanged with the data glasses. This information can be: an orientation and/or compass direction, time and/or time of day information, inclination and/or altitude information.

Auf Basis der mit dem Fahrzeug ausgetauschten Informationen ermittelt das Verfahren einen Helligkeitswert, wobei die Ermittlung des Helligkeitswertes auch eine bloße Entgegennahme eines bereits vorhandenen Helligkeitswertes, der vom Fahrzeug übermittelt wird, umfassen kann.Based on the information exchanged with the vehicle, the method determines a brightness value, whereby the determination of the brightness value can also include simply receiving an existing brightness value that is transmitted by the vehicle.

Zusätzlich dazu kann die Datenbrille selbst über einen der zuvor genannten Sensoren verfügen, so dass der Helligkeitswert auf Basis der Sensoren der Datenbrille ermittelt werden kann.In addition, the data glasses themselves can have one of the aforementioned sensors, so that the brightness value can be determined based on the sensors of the data glasses.

Hierin wird also vorgeschlagen, zusätzlich zu den Sensordaten der Datenbrille Sensordaten des Fahrzeugs zu verwenden, um ebenfalls die Helligkeit des Umfeldes des Fahrzeugs zur Steuerung der Datenbrille zu verwenden. Dies hat den Effekt, dass nicht nur die Helligkeit des Umfeldes der Datenbrille berücksichtigt wird, da der Innenraum eines Fahrzeugs, in welchem sich die Datenbrille für gewöhnlich befindet, meist dunkler ist als das Umfeld des Fahrzeugs. Ein Nutzer einer Datenbrille blickt für gewöhnlich aus einem Fenster des Fahrzeugs, sodass für ihn die Helligkeit des Umfeldes relevanter ist als die Helligkeit des Innenraumes.It is therefore proposed here to use sensor data from the vehicle in addition to the sensor data from the data glasses in order to also use the brightness of the vehicle's surroundings to control the data glasses. This has the effect that not only the brightness of the area surrounding the data glasses is taken into account, since the interior of a vehicle in which the data glasses are usually located is usually darker than the area surrounding the vehicle. A user of data glasses usually looks out of a vehicle window, so the brightness of the surroundings is more relevant to him than the brightness of the interior.

In einer weiter bevorzugten Ausführungsform umfassen die vom Fahrzeug übermittelten Sensordaten mindestens einen weiteren Helligkeitswert.In a further preferred embodiment, the sensor data transmitted by the vehicle includes at least one further brightness value.

Die vom Fahrzeug übermittelten Sensordaten können einen oder mehrere weitere Helligkeitswerte umfassen. So können beispielsweise die Daten mehrerer Helligkeitssensoren einzeln übergeben werden oder die vorhandenen Helligkeitswerte in dem Fahrzeug oder in der Datenbrille zu einem Wert verrechnet werden.The sensor data transmitted by the vehicle can have one or more additional brightness levels include values. For example, the data from several brightness sensors can be transferred individually or the existing brightness values in the vehicle or in the data glasses can be calculated into one value.

Der mindestens eine weitere Helligkeitswert kann durch einen weiteren Sensor oder aber durch denselben Sensor ermittelt werden, wobei der weitere Helligkeitswert in zeitlichem Abstand zu einem zuvor ermittelten Helligkeitswert ermittelt werden kann. So kann eine zeitliche Veränderung der Helligkeit in die Anpassung des Anzeigemodus einfließen. Kurzzeitige, sprunghafte Änderungen von Helligkeitswerten können so überprüft werden, ohne dass der Anzeigemodus unmittelbar geändert wird.The at least one further brightness value can be determined by a further sensor or by the same sensor, wherein the further brightness value can be determined at a time interval from a previously determined brightness value. This means that a change in brightness over time can be incorporated into the adjustment of the display mode. Short-term, sudden changes in brightness values can be checked without immediately changing the display mode.

Des Weiteren ist es bevorzugt, wenn der vom Fahrzeug übermittelte weitere Helligkeitswert auf Basis einer Orientierung, vorzugsweise einer Himmelsrichtung, des Fahrzeugs und/oder der Datenbrille bestimmt wird.Furthermore, it is preferred if the further brightness value transmitted by the vehicle is determined based on an orientation, preferably a compass direction, of the vehicle and/or the data glasses.

Durch die Kenntnis des Standes der Sonne bzw. des Sonnenauf- bzw. Sonnenuntergangs im Osten bzw. Westen kann in Kombination mit der Erkennung der Helligkeitswerte eine verbesserte Anpassung des Anzeigemodus erreicht werden. Ist ein Nutzer beispielsweise in Richtung Norden unterwegs, so kann erwartet werden, dass der Helligkeitswert weniger von der Sonne beeinflusst wird als in Richtung Süden.By knowing the position of the sun or the sunrise or sunset in the east or west, in combination with the recognition of the brightness values, an improved adjustment of the display mode can be achieved. For example, if a user is traveling towards the north, it can be expected that the brightness value will be less influenced by the sun than towards the south.

Weiterhin ist es bevorzugt, wenn der vom Fahrzeug übermittelte weitere Helligkeitswert auf Basis einer Tageszeit und/oder in Abhängigkeit einer Uhrzeit bestimmt wird, wobei jeder Tageszeit und/oder jeder Uhrzeit ein Helligkeitswert zugewiesen ist.Furthermore, it is preferred if the further brightness value transmitted by the vehicle is determined on the basis of a time of day and/or depending on a time of day, with a brightness value being assigned to each time of day and/or each time of day.

Durch die Uhrzeit bzw. Tageszeit und die Kenntnis über den Stand der Sonne bzw. der Helligkeit zu gegebener Uhrzeit bzw. Tageszeit kann eine bessere Anpassung des Anzeigemodus erreicht werden. Solche Steuerungen ermöglichen es, dass ein Nutzer einstellen kann, dass zu einer bestimmten Uhrzeit ein Anzeigemodus ausgewählt werden kann. So kann beispielsweise eingestellt werden, dass ab einer bestimmten Uhrzeit der Anzeigemodus mit reduziertem Blaulichtanteil oder der Dark Mode verwendet werden soll. Diese Anzeigemodi können durch einen Nutzer einstellbar oder automatisch ermittelt werden.Better adjustment of the display mode can be achieved through the time or time of day and knowledge of the position of the sun or brightness at a given time or time of day. Such controls allow a user to set a display mode to be selected at a specific time. For example, you can set that the display mode with reduced blue light content or dark mode should be used from a certain time onwards. These display modes can be set by a user or determined automatically.

In einer weiter bevorzugten Ausführungsform umfasst das Ermitteln des Helligkeitswertes eine Bildung des Mittelwerts der Helligkeitswerte.In a further preferred embodiment, determining the brightness value includes forming the average value of the brightness values.

Dabei können die diversen Helligkeitswerte in gleichem Maße für den Mittelwert verwendet werden, ebenso kann jedem Helligkeitswert eine Gewichtung zugewiesen werden. So kann ein Helligkeitswert beispielsweise zu 40%, vorzugsweise zu 30%, weiter vorzugsweise zu 20%, in die Berechnung eingehen. Somit kann einem der beiden Helligkeitswerte eine höhere Wichtigkeit zugeordnet werden.The various brightness values can be used equally for the average value, and a weighting can also be assigned to each brightness value. For example, a brightness value can be included in the calculation at 40%, preferably at 30%, more preferably at 20%. This means that one of the two brightness values can be assigned a higher importance.

Fener bevorzugt erfolgt das Ermitteln des Helligkeitswertes auf Basis einer Bilderfassungseinrichtung, vorzugsweise einer Kamera.Furthermore, the brightness value is preferably determined on the basis of an image capture device, preferably a camera.

Meist verfügen Datenbrillen oder Fahrzeuge bereits über eine Bilderfassungseinrichtung, sodass diese zur Ermittlung der Helligkeitswerte verwendet werden kann. Dadurch kann das Verfahren ohne zusätzlichen Sensor durchgeführt werden. Bei Fahrzeugen wird regelmäßig eine Kamera für die Verkehrsschilderkennung verwendet, wohingegen Datenbrillen über Kameras z.B. für ein Inside-Out-Tracking verfügen können, um eine Orientierung der Datenbrille im Raum und somit eine kontaktanaloge Anzeige zu ermöglichen.Data glasses or vehicles usually already have an image capture device so that they can be used to determine the brightness values. This means that the procedure can be carried out without an additional sensor. In vehicles, a camera is regularly used for traffic sign recognition, whereas data glasses can have cameras, for example for inside-out tracking, in order to enable the data glasses to be oriented in space and thus a contact-analog display.

Weiter bevorzugt kann der Helligkeitswert aus einem mit der Bilderfassungseinrichtung aufgenommenen Bild errechnet werden.More preferably, the brightness value can be calculated from an image recorded with the image capture device.

Durch die Aufnahme von Bildern mit der Bilderfassungseinrichtung kann ein Helligkeitswert auf Basis der Bildwerte ermittelt werden, wobei Zonen im Bild definiert werden können, deren Helligkeitswerte eine höhere Gewichtung bzw. Wichtigkeit besitzen können. So kann beispielsweise erkannt werden, wenn ein Fahrzeug sich vor der Einfahrt in einen Tunnel befindet. Tagsüber sind Tunnel meist dunkler als die Umgebung außerhalb des Tunnels. Wenn ein Nutzer sich nun vor einem Tunnel befindet und seinen Blick in den Tunnel richtet, so weist der Tunnel eine wesentlich geringere Helligkeit auf als das Umfeld vor dem Tunnel. Richtet der Nutzer nun seinen Blick auf das Umfeld des Tunnels, so kann die Helligkeit sprungartig höher sein. Um diese Effekte in der Anzeige der Datenbrille zu berücksichtigen, kann eine Bilderfassungseinrichtung verwendet werden, wobei die Helligkeit über aufgenommene Bilder ermittelt werden kann.By taking images with the image capture device, a brightness value can be determined based on the image values, whereby zones can be defined in the image whose brightness values can have a higher weighting or importance. For example, it can be recognized when a vehicle is about to enter a tunnel. During the day, tunnels are usually darker than the environment outside the tunnel. If a user is now in front of a tunnel and looks into the tunnel, the tunnel has a significantly lower brightness than the area in front of the tunnel. If the user now directs his gaze towards the surroundings of the tunnel, the brightness can be suddenly higher. In order to take these effects into account in the display of the data glasses, an image capture device can be used, whereby the brightness can be determined via recorded images.

Weiter bevorzugt verfügt die Bilderfassungseinrichtung über eine Bilderkennung.The image capture device further preferably has image recognition.

Durch eine Bilderkennung können die Helligkeitswerte nicht nur auf Helligkeitswerten von aufgenommenen Bildern beruhen, sondern auf der Erkennung von Objekten, beispielsweise von Tunneln oder Tunneleinfahrten. Dabei kann jedem Objekt ein bestimmter Helligkeitswert oder eine Gewichtung zur Bestimmung eines Helligkeitswertes zugewiesen werden. Ebenso können erkannte Objekte bei der Ermittlung der Helligkeitswerte ausgenommen und damit unberücksichtigt bleiben.Through image recognition, the brightness values can be based not only on the brightness values of recorded images, but also on the recognition of objects, for example tunnels or tunnel entrances. Each object can be assigned a specific brightness value or a weighting to determine a brightness value. Likewise, recognized objects can be The determination of the brightness values is excluded and therefore not taken into account.

In einer weiter bevorzugten Ausführungsform umfasst das Verfahren ferner die folgenden Schritte:

- Bestimmen einer Pose bzw. Blickrichtung der Datenbrille innerhalb des Fahrzeugs;
- Anpassen eines Anzeigemodus der Anzeige der Datenbrille in Abhängigkeit der ermittelten Pose bzw. Blickrichtung der Datenbrille.

In a further preferred embodiment, the method further comprises the following steps:

- Determine a pose or viewing direction of the data glasses within the vehicle;
- Adjusting a display mode of the display of the data glasses depending on the determined pose or viewing direction of the data glasses.

Zur Bestimmung einer Pose bzw. Blickrichtung können Einrichtungen vorhanden sein, die die Orientierung der Datenbrille im Fahrzeug erkennen. Eine solche Einrichtung kann ein Datenbrillenkoordinatensystem und/oder ein Fahrzeugkoordinatensystem enthalten, sodass die Orientierung der Datenbrille im Fahrzeug ermittelt werden kann. Durch die Ermittlung der Blickrichtung der Datenbrille bzw. des Nutzers kann eine bessere Anpassung des Anzeigemodus erreicht werden. Blickt ein Nutzer beispielsweise in eine Richtung, in der sich ein Sensor des Fahrzeugs zur Erfassung einer Helligkeit befindet, so kann der Helligkeitswert des Fahrzeugs verwendet werden, um einen Anzeigemodus zu definieren. Blickt ein Nutzer allerdings in eine andere Richtung, beispielsweise in Richtung eines weiteren Sensors, so kann dessen Helligkeitswert verwendet werden. Ebenso können die Helligkeitswerte der Sensoren des Fahrzeugs ignoriert werden, wenn ein Nutzer in eine Richtung blickt, in welcher sich kein Sensor befindet. Auch kann der Helligkeitswert in Abhängigkeit der Überschneidung des Blickfelds in die Anpassung des Anzeigemodus eingehen, sodass dieser dann nur teilweise berücksichtigt wird.To determine a pose or viewing direction, devices can be present that detect the orientation of the data glasses in the vehicle. Such a device can contain a data glasses coordinate system and/or a vehicle coordinate system so that the orientation of the data glasses in the vehicle can be determined. By determining the viewing direction of the data glasses or the user, a better adjustment of the display mode can be achieved. For example, if a user looks in a direction in which a sensor of the vehicle for detecting brightness is located, the brightness value of the vehicle can be used to define a display mode. However, if a user looks in a different direction, for example in the direction of another sensor, its brightness value can be used. Likewise, the brightness values of the vehicle's sensors can be ignored if a user looks in a direction in which there is no sensor. The brightness value can also be included in the adjustment of the display mode depending on the overlap of the field of view, so that this is then only partially taken into account.

In einem Anwendungsszenario des Verfahrens, in welchem sich ein Nutzer am helllichten Tage, also bei hohen Helligkeitswerten, in einem Fahrzeug befindet, kann ein Anzeigemodus gewählt werden, welcher eine hohe Helligkeit besitzt und helle Farben anzeigt und somit eine gute Sichtbarkeit der Anzeige bei hoher Umgebungshelligkeit ermöglicht. Bei direkter Sonneneinstrahlung kann das Verfahren einen Anzeigemodus mit maximaler Helligkeit auswählen. Wenn die Sonneneinstrahlung abnimmt und die Umgebungshelligkeit sinkt, kann das Verfahren einen Anzeigemodus mit invertierten Farben auswählen, auch genannt Dark Mode, um den Nutzer nicht zu blenden. Bei weiter sinkender Umgebungshelligkeit kann das Verfahren einen Anzeigemodus mit reduziertem Blaulichtanteil wählen, um den Nutzer weiterhin nicht zu blenden. Sobald die Umgebungshelligkeit weiter sinkt, sich die Datenbrille also in absoluter Dunkelheit befindet, kann das Verfahren einen Anzeigemodus mit rotem Licht auswählen, auch Nachtmodus oder Night Mode genannt.In an application scenario of the method in which a user is in a vehicle in broad daylight, i.e. with high brightness values, a display mode can be selected which has a high brightness and displays bright colors and thus good visibility of the display in high ambient brightness enabled. In direct sunlight, the method can select a display mode with maximum brightness. When sunlight decreases and ambient brightness decreases, the process can select a display mode with inverted colors, also called dark mode, so as not to blind the user. If the ambient brightness continues to decrease, the method can select a display mode with a reduced proportion of blue light in order not to blind the user. As soon as the ambient brightness decreases further, i.e. the data glasses are in absolute darkness, the process can select a display mode with red light, also called night mode.

Durch diese Anpassung der Anzeigemodi kann auf diverse Lichtverhältnisse reagiert werden, sodass für den Nutzer stets eine gute Sichtbarkeit erreicht werden kann, ohne diesen zu blenden.By adapting the display modes, it is possible to react to various lighting conditions, so that good visibility can always be achieved for the user without dazzling them.

Gemäß einem weiteren Aspekt der Erfindung ist eine Datenbrille zur Anzeige eines Bildes im Sichtfeld eines Nutzers vorgesehen, wobei die Datenbrille dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen.According to a further aspect of the invention, data glasses are provided for displaying an image in a user's field of vision, the data glasses being set up to carry out the method according to the invention.

Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen. Further features of the invention can be seen from the description of embodiments of the invention together with the claims and the accompanying drawings. Embodiments according to the invention can fulfill individual features or a combination of several features.

Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:

1: eine schematische Darstellung einer erfindungsgemäßen Datenbrille in einem Fahrzeug; und
2: ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Steuern einer Anzeige einer Datenbrille;

The invention is described below without limiting the general idea of the invention using exemplary embodiments with reference to the drawings, with express reference being made to the drawings with regard to all details of the invention not explained in more detail in the text. Show it:

1 : a schematic representation of data glasses according to the invention in a vehicle; and
2 : a flowchart illustrating a method for controlling a display of smart glasses;

1 zeigt schematisch eine erfindungsgemäße Datenbrille 110 in einem Fahrzeug 100. Die Datenbrille 110 umfasst eine Anzeige 102 zum Anzeigen eines Bildes im Sichtfeld eines Nutzers 10. Das Fahrzeug 100 umfasst eine Einrichtung 101 zur drahtlosen Verbindung 111 der Datenbrille 110 mit dem Fahrzeug 100. Über die drahtlose Verbindung können Sensordaten vom Fahrzeug 100 an die Datenbrille 110 übermittelt werden und umgekehrt. 1 schematically shows data glasses 110 according to the invention in a vehicle 100. The data glasses 110 comprises a display 102 for displaying an image in the field of vision of a user 10. The vehicle 100 includes a device 101 for the wireless connection 111 of the data glasses 110 to the vehicle 100. Via the wireless Connection, sensor data can be transmitted from the vehicle 100 to the data glasses 110 and vice versa.

Das Fahrzeug 100 kann einen ersten Sensor 103 umfassen, welcher eine Helligkeit im Umfeld des Fahrzeugs 100 misst. Darüber hinaus kann das Fahrzeug über einen zweiten Sensor 104 verfügen, welcher ebenfalls die Helligkeit im Umfeld des Fahrzeugs 100 misst. Der Sensor 104 ist hier beispielsweise an einem Seitenspiegel oder einem Rückspiegel des Fahrzeugs 100 dargestellt, da viele Fahrzeuge 100 an diesen Spiegeln bereits über Helligkeitssensoren verfügen, um automatisch abblendbare Spiegel realisieren zu können. Selbstredend können der Sensor 103 und/oder der Sensor 104 ebenfalls an einer anderen Position am Fahrzeug 100 angeordnet sein.The vehicle 100 may include a first sensor 103, which measures brightness in the area surrounding the vehicle 100. In addition, the vehicle can have a second sensor 104, which also measures the brightness in the area surrounding the vehicle 100. The sensor 104 is shown here, for example, on a side mirror or a rear-view mirror of the vehicle 100, since many vehicles 100 already have brightness sensors on these mirrors in order to be able to realize automatically dimming mirrors. Of course, the sensor 103 and/or the sensor 104 can also be arranged at a different position on the vehicle 100.

Der Sensor 103 und/oder der Sensor 104 sind mit der Einrichtung 101 des Fahrzeugs 100 verbunden und liefern ihre Sensorwerte über die drahtlose Verbindung 111 an die Datenbrille 110, wo diese ausgewertet werden.The sensor 103 and/or the sensor 104 are connected to the device 101 of the vehicle 100 and deliver their sensor values via the wireless connection 111 to the data glasses 110, where they are evaluated.

Das Fahrzeug 100 kann ebenfalls eine Kamera 105 umfassen. Die Kamera 105 kann den Sensor 103 und/oder den Sensor 104 vollumfänglich ersetzen. Meist verfügen Fahrzeuge heutzutage bereits über eine Kamera 105 zur Erkennung von Verkehrszeichen. Üblicherweise sind diese Kameras unter der Frontscheibe in Höhe des Rückspiegels angeordnet. Über die Kamera 105 kann ein Bild aufgenommen werden, wobei das Bild als Grundlage zur Ermittlung des Helligkeitswertes dienen kann. Dabei können auf dem Bild Zonen definiert werden, die als besonders relevant erachtet werden, beispielsweise der Bereich über der Fahrbahn, da sich der Blick des Nutzers 10 meist auf diesen Bereich konzentriert.The vehicle 100 may also include a camera 105. The camera 105 can completely replace the sensor 103 and/or the sensor 104. Most vehicles these days already have a camera 105 for recognizing traffic signs. These cameras are usually arranged under the windshield at the level of the rear-view mirror. An image can be taken via the camera 105, whereby the image can serve as a basis for determining the brightness value. Zones that are considered particularly relevant can be defined on the image, for example the area above the road, since the user 10's gaze usually concentrates on this area.

2 zeigt ein Ablaufdiagramm eines beispielhaften (ggf. computerimplementierten) Verfahrens 200 zur Steuerung einer Anzeige 102 einer Datenbrille 110, wobei das Verfahren 200 auf der Datenbrille 110 ausgeführt wird. Alternativ kann das Verfahren 200 auch in der Einrichtung 101 des Fahrzeugs 100 ausgeführt werden, da die Datenbrille 110 über die drahtlose Verbindung 111 Informationen an das Fahrzeug 100 übermitteln kann. Da Fahrzeuge 100 meist über stärkere Rechner verfügen, kann so die Datenbrille 110 entlastet und der Energiebedarf der Datenbrille 110 reduziert werden. 2 shows a flowchart of an exemplary (possibly computer-implemented) method 200 for controlling a display 102 of data glasses 110, wherein the method 200 is carried out on the data glasses 110. Alternatively, the method 200 can also be carried out in the device 101 of the vehicle 100, since the data glasses 110 can transmit information to the vehicle 100 via the wireless connection 111. Since vehicles 100 usually have more powerful computers, the load on the data glasses 110 can be relieved and the energy requirements of the data glasses 110 can be reduced.

Das Verfahren 200 umfasst das Ermitteln 201 mindestens eines Helligkeitswertes.The method 200 includes determining 201 at least one brightness value.

Zuletzt umfasst das Verfahren 200 das Anpassen 202 des Anzeigemodus der Anzeige 102 der Datenbrille 110 in Abhängigkeit des ermittelten Helligkeitswertes. Das Anpassen 202 des Anzeigemodus umfasst darüber hinaus eine Änderung der Farbdarstellung der Anzeige 102.Finally, the method 200 includes adjusting 202 the display mode of the display 102 of the data glasses 110 depending on the determined brightness value. Adjusting 202 the display mode also includes changing the color representation of the display 102.

Die in diesem Dokument beschriebenen Maßnahmen ermöglichen eine besonders komfortable Anpassung einer Anzeige 102 einer Datenbrille 110, insbesondere um den Komfort und/oder die Sicherheit eines Fahrzeugs 100 zu erhöhen.The measures described in this document enable a particularly convenient adaptation of a display 102 of data glasses 110, in particular to increase the comfort and/or safety of a vehicle 100.

Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.All of the features mentioned, including those that can be seen from the drawings alone as well as individual features that are disclosed in combination with other features, are viewed alone and in combination as essential to the invention. Embodiments according to the invention can be fulfilled by individual features or a combination of several features. Within the scope of the invention, features marked “in particular” or “preferably” are to be understood as optional features.

Claims

Method (200) for controlling a display (102) of data glasses (110) in a vehicle (100), the method (200) comprising: - Providing (201) at least one brightness value; - Adjusting (202) a display mode of the display (102) of the data glasses (110) depending on the at least one brightness value provided, wherein adjusting (202) of the display mode includes a change in the color representation of the display (102).

Procedure (200) according to Claim 1 , whereby if the brightness value falls below at least one threshold value for adjusting (202) the display mode, a mode with inverted colors, preferably a dark mode, is selected.

Procedure (200) according to Claim 1 , whereby if the brightness value falls below at least one threshold value for adjusting (202) the display mode, a mode with a reduced blue light component of the colors is selected.

Procedure (200) according to Claim 1 , whereby if the brightness value falls below at least one threshold value for adjusting (202) the display mode, a mode with only red colors, preferably a night mode, is selected.

Method (200) according to one of the preceding claims, wherein the provision (201) of the at least one brightness value includes receiving the at least one brightness value from outside the data glasses (110), in particular from a device of the vehicle (100).

Procedure (200) according to Claim 5 , wherein the at least one brightness value transmitted by the vehicle (100) is determined based on an orientation, preferably a compass direction, a longitudinal direction of the vehicle (100) and / or a specific axis of the data glasses (110).

Method (200) according to one of the Claims 1 until 6 , wherein the provided at least one brightness value is determined based on a time of day and / or depending on a time of day, with a brightness value being assigned to each time of day and / or each time of day.

Method (200) according to one of the preceding claims, wherein providing (201) the at least one brightness value forms a formation an average of several brightness values.

Method (200) according to one of the preceding claims, wherein the provision (201) takes place by evaluating an image from an image capture device (105), preferably a camera.

Procedure (200) according to Claim 9 , whereby the brightness value is calculated from an image recorded with the image capture device (105).

Method (200) according to one of the preceding claims, wherein the method (200) further comprises the following steps: - Determining a pose or viewing direction of the data glasses (110) within the vehicle (100); - Adjusting a display mode of the display (102) of the data glasses (110) depending on the determined pose or viewing direction of the data glasses (110).

Data glasses (110) for displaying an image in a user's field of vision, the data glasses (110) being set up to carry out a method according to Claims 1 - 11 to carry out.