DE102022106648A1 - Method and device for operating a display system in a motor vehicle - Google Patents

Method and device for operating a display system in a motor vehicle Download PDF

Info

Publication number
DE102022106648A1
DE102022106648A1 DE102022106648.7A DE102022106648A DE102022106648A1 DE 102022106648 A1 DE102022106648 A1 DE 102022106648A1 DE 102022106648 A DE102022106648 A DE 102022106648A DE 102022106648 A1 DE102022106648 A1 DE 102022106648A1
Authority
DE
Germany
Prior art keywords
video stream
data glasses
vehicle
mirror
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022106648.7A
Other languages
German (de)
Inventor
Tobias Bauernfeind
Wolfgang Haberl
Manfred Pauli
Alan Keim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022106648.7A priority Critical patent/DE102022106648A1/en
Publication of DE102022106648A1 publication Critical patent/DE102022106648A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3) in einem Kraftfahrzeug (10), mit folgenden Schritten:- Erfassen (S1) eines rückwärtigen Umgebungsbereichs des Fahrzeugs mit einer Kameraeinrichtung (22), um einen Video-Stream zu erhalten;- Ermitteln (S2) einer Pose der Datenbrille (3) in einem Fahrzeugkoordinatensystem;- Bearbeiten (S4) des Video-Streams, um einen Spiegel-Video-Stream zu erhalten;- Kontaktanaloges Darstellen (S6) des Spiegel-Video-Streams in der Datenbrille (3).The invention relates to a method for operating a display system (1) with data glasses (3) in a motor vehicle (10), with the following steps: - Detecting (S1) a rear surrounding area of the vehicle with a camera device (22) in order to create a video Stream; - Determine (S2) a pose of the data glasses (3) in a vehicle coordinate system; - Edit (S4) the video stream to obtain a mirror video stream; - Contact analog display (S6) of the mirror video -Streams in the data glasses (3).

Description

Technisches GebietTechnical area

Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Verbessern des Fahrkomforts und die Umgebungssicht unter Einsatz von Datenbrillen.The invention relates to data glasses, particularly for use in a motor vehicle. The invention further relates to measures to improve driving comfort and the view of the surroundings using data glasses.

Technischer HintergrundTechnical background

Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen üblicherweise Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.Data glasses, also called head-mounted displays, are known which, using a display device, can display an image on one or two display surfaces in the field of vision of the wearer of the data glasses. The display surfaces usually correspond to reflection surfaces that direct images into the eyes of the wearer of the data glasses. The viewing openings of the data glasses are transparent, so that the real environment can be perceived in the usual way through the data glasses. The display surfaces are located in the viewing openings, so that information to be displayed, such as text, symbols, graphics, video displays and the like, can be displayed overlaying the perception of the surroundings.

Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.The information is usually presented to the wearer of the data glasses in a contact-like manner, i.e. presented in such a way that it is superimposed as object information on a specific assigned object in the real environment or is oriented towards it or that the object information to be displayed is in a specific orientation of the data glasses or their carrier is displayed. Furthermore, the contact-analogous object information can be displayed in such a way that it appears perspectively correct in relation to the object in the real environment, i.e. the illusion is created that the object in the real environment has actually been supplemented by the additional feature of the visual object information.

Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.In order to display the object information on the display surfaces of the data glasses in a contact-like manner, it is necessary to know the position of the object in the environment and the user's viewing direction. When wearing the data glasses, the user's viewing direction is permanently assigned to their pose, i.e. the 3D position as well as the 3D orientation of the data glasses.

Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille können basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking. Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes die Pose der Datenbrille erfasst.To determine the pose of the data glasses, a pose recognition unit can be provided in the data glasses, for example. The pose recognition unit usually has a camera and computing device, for example in the form of a microprocessor. Images of the surroundings of the wearer of the data glasses recorded using the camera can be used to determine the pose of the data glasses in the vehicle interior based on stored images or structures of the vehicle interior. This process is also called tracking. Furthermore, the pose of a data glasses can also be determined by an external pose recognition unit, in which an interior camera captures the head of the wearer of the data glasses and detects the pose of the data glasses by evaluating the camera image.

So sind Datenbrillen geeignet, blickwinkelabhängig eine Information dem Benutzer darzustellen. Diese Information kann künstlich generiert sein oder auch einem Bild oder Bewegtbild entsprechen und überlagert dadurch die reale Umgebung.Data glasses are suitable for displaying information to the user depending on the viewing angle. This information can be artificially generated or correspond to an image or moving image and thereby overlays the real environment.

Es ist Aufgabe der vorliegenden Erfindung, die Möglichkeiten der Datenbrille zu nutzen, um den Fahrkomfort zu erhöhen und insbesondere die Wahrnehmung der Fahrzeugumgebung zu verbessern. Zudem ist es Aufgabe der vorliegenden Erfindung, die Sicherheit zu erhöhen, indem dem Fahrer eines Kraftfahrzeugs auch Umgebungsobjekte angezeigt werden, die nicht mit bloßem Auge sichtbar sind.It is the object of the present invention to use the possibilities of data glasses to increase driving comfort and in particular to improve the perception of the vehicle's surroundings. It is also an object of the present invention to increase safety by displaying to the driver of a motor vehicle surrounding objects that are not visible to the naked eye.

Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug gemäß Anspruch 1 sowie durch die Datenbrille und das Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.This object is achieved by the method for operating data glasses in a motor vehicle according to claim 1 and by the data glasses and the display system according to the independent claims.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.Further refinements are specified in the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:

  • - Erfassen eines rückwärtigen Umgebungsbereichs des Fahrzeugs mit einer Kameraeinrichtung an dem Kraftfahrzeug, um einen Video-Stream zu erhalten;
  • - Ermitteln einer Pose der Datenbrille in einem fahrzeugfesten Koordinatensystem;
  • - Bearbeiten des Video-Streams, um einen Spiegel-Video-Stream zu erhalten, der zumindest einen Ausschnitt des Video-Streams umfasst;
  • - Kontaktanaloges Darstellen des Spiegel-Videostreams in der Datenbrille.
According to a first aspect, a method for operating a display system with data glasses in a motor vehicle is provided, with the following steps:
  • - Detecting a rear surrounding area of the vehicle with a camera device on the motor vehicle in order to obtain a video stream;
  • - Determining a pose of the data glasses in a coordinate system fixed to the vehicle;
  • - Editing the video stream to obtain a mirror video stream that includes at least a portion of the video stream;
  • - Contact analog display of the mirror video stream in the data glasses.

Weiterhin kann das Bearbeiten des Videostreams in einem fahrzeugfesten Assistenzsystem durchgeführt werden.Furthermore, the editing of the video stream can be carried out in a vehicle-mounted assistance system.

Das obige Verfahren sieht also zunächst vor, mithilfe der Datenbrille einen oder mehrere optisch passive Fahrzeugspiegel, nämlich einen Innenspiegel und/oder einen oder beide Seitenspiegel, zu ersetzen. Insbesondere der Innenspiegel ist in der Praxis nur eingeschränkt nutzbar. So kann beispielsweise der Blick auf den rückseitigen Bereich des Kraftfahrzeugs mit dem Innenspiegel nicht möglich sein, wenn der Blick durch die Heckscheibe aufgrund eines gefüllten Kofferraums blockiert ist oder wenn die Heckscheibe zu stark verschmutzt ist. Zudem können bei Dunkelheit über die Fahrzeugspiegel keine Umgebungsobjekte mehr erkannt werden, da meistens die Ausleuchtung von hinter dem Kraftfahrzeug befindlicher Umgebungsobjekte zu gering ist, oder Schweinwerfer von nachfahrenden Fahrzeugen den Fahrer blenden.The above method therefore initially provides for using the data glasses to create one or more optically passive vehicle mirrors, namely an interior mirror and/or one or both side mirrors substitute. In practice, the interior mirror in particular can only be used to a limited extent. For example, it may not be possible to view the rear area of the motor vehicle with the interior mirror if the view through the rear window is blocked due to a full trunk or if the rear window is too dirty. In addition, in the dark, surrounding objects can no longer be recognized via the vehicle mirrors, since the illumination of surrounding objects behind the motor vehicle is usually too low, or headlights from following vehicles blind the driver.

Daher kann gemäß obigem Verfahren vorgesehen sein, die Datenbrille als Ersatz für einen Fahrzeugspiegel zu verwenden, indem die Datenbrille blickwinkelbezogen ein Bild in Form eines Spiegel-Video-Streams anzeigt, das ein Live-Video der rückwärtigen Umgebung des Fahrzeugs darstellt, die auch bei einem Blick in den entsprechenden Fahrzeugspiegel wahrgenommen werden würde. D.h. der Spiegel-Video-Stream entspricht bzw. umfasst einen Ausschnitt des Video-Streams als die Kameraaufzeichnung der Kamerabilder des rückwärtigen Umgebungsbereichs des Kraftfahrzeugs. Dieser Spiegel-Video-Stream wird in der Datenbrille kontaktanalog an der Position des betreffenden Fahrzeugspiegels, nämlich der Position des Innenspiegels, und/oder den Positionen der Seitenspiegel dargestellt, wenn der Nutzer der Datenbrille in die entsprechende Richtung blickt. Dazu kann mit in den rückwärtigen Bereich des Fahrzeugs gerichtetem Kamerasystem mit einer oder mehreren Fahrzeugkameras der rückwärtige Umgebungsbereich hinter dem Fahrzeug erfasst werden.Therefore, according to the above method, it can be provided to use the data glasses as a replacement for a vehicle mirror, in that the data glasses display an image in the form of a mirror video stream based on the viewing angle, which represents a live video of the rear surroundings of the vehicle, which is also the case with a Looking into the corresponding vehicle mirror would be perceived. This means that the mirror video stream corresponds to or includes a section of the video stream as the camera recording of the camera images of the rear surrounding area of the motor vehicle. This mirror video stream is displayed in the data glasses in a contact-like manner at the position of the relevant vehicle mirror, namely the position of the interior mirror, and/or the positions of the side mirrors when the user of the data glasses looks in the corresponding direction. For this purpose, the rear surrounding area behind the vehicle can be recorded with one or more vehicle cameras directed into the rear area of the vehicle.

Die Kamerabilder werden als Spiegel-Videostream in einem Assistenzsystem bereitgestellt, das den Spiegel-Videostream an die Datenbrille überträgt. Dabei wird der Ausschnitt so gewählt, wie er dem sichtbaren Bild auf dem betreffenden Fahrzeugspiegel entsprechen würde. Durch entsprechende Kennzeichnung des Videostreams während des Übertragens an die Datenbrille erkennt die Datenbrille, dass der Videostream einer Darstellung des Fahrzeugspiegels entspricht und zeigt diesen an einer vordefinierten Fahrzeugspiegelposition kontaktanalog an. Der Ausschnitt des Videostreams kann abhängig von einer üblichen Kopf- bzw. Augenposition des Fahrers bestimmt werden oder es kann die Augenposition des Fahrers durch das Assistenzsystem getrackt werden, z.B. über ein Tracking der Position der Datenbrille, oder in sonstiger Weise erhalten werden.The camera images are provided as a mirror video stream in an assistance system that transmits the mirror video stream to the data glasses. The section is chosen as it would correspond to the visible image on the vehicle mirror in question. By appropriately labeling the video stream during transmission to the data glasses, the data glasses recognize that the video stream corresponds to a representation of the vehicle mirror and displays it in a contact-analog manner at a predefined vehicle mirror position. The section of the video stream can be determined depending on the driver's usual head or eye position, or the driver's eye position can be tracked by the assistance system, e.g. by tracking the position of the data glasses, or obtained in some other way.

Die kontaktanaloge Darstellung des Spiegel-Videostreams bedeutet, dass der Videostream nur dann auf einer Anzeigefläche der Datenbrille für den Benutzer sichtbar wird, wenn dieser in Richtung der Spiegelposition des Innenspiegels bzw. des Seitenspiegels blickt. Auf diese Weise kann die rückwärtige Umgebung des Fahrzeugs auch dann erfasst werden, wenn eine Erfassung mit einem herkömmlichen Innenspiegel aufgrund einer Blockierung oder ungünstigen Lichtverhältnissen nicht möglich wäre.The contact-analog representation of the mirror video stream means that the video stream is only visible to the user on a display surface of the data glasses when the user looks in the direction of the mirror position of the interior mirror or the side mirror. In this way, the rear surroundings of the vehicle can be detected even if detection with a conventional interior mirror would not be possible due to blockage or unfavorable lighting conditions.

Es kann vorgesehen sein, dass die Pose der Datenbrille in dem Assistenzsystem bereitgestellt wird, wobei der Spiegel-Videostream nur dann an die Datenbrille übertragen wird, wenn die Pose der Datenbrille angibt, dass der Nutzer auf eine festgelegte Spiegelposition blickt. Alternativ kann vorgesehen sein, dass die Pose der Datenbrille in dem Assistenzsystem bereitgestellt wird, wobei der Spiegel-Video-Stream nur dann an die Datenbrille übertragen wird, wenn die Pose der Datenbrille angibt, dass eine festgelegte Spiegelposition im Blickfeld des Nutzers ist.It can be provided that the pose of the data glasses is provided in the assistance system, with the mirror video stream only being transmitted to the data glasses if the pose of the data glasses indicates that the user is looking at a specified mirror position. Alternatively, it can be provided that the pose of the data glasses is provided in the assistance system, with the mirror video stream only being transmitted to the data glasses if the pose of the data glasses indicates that a specified mirror position is in the user's field of vision.

Gemäß einer weiteren Ausführungsform kann die Pose der Datenbrille an das Assistenzsystem übermittelt werden oder dort mithilfe eines Outside-In-Tracking-Systems z. B. kamerabasiert erfasst werden, um zu entscheiden, ob der Benutzer der Datenbrille in eine Blickrichtung blickt, in der sich ein virtueller Fahrzeugspiegel im Blickfeld des Benutzers befindet. Dadurch kann die Bandbreite des Kommunikationskanals zwischen dem Assistenzsystem und der Datenbrille effizienter genutzt werden, da der Videostream nur dann übertragen wird, wenn dieser auch auf einer Anzeigefläche der Datenbrille angezeigt wird.According to a further embodiment, the pose of the data glasses can be transmitted to the assistance system or there using an outside-in tracking system, e.g. B. can be recorded using a camera to decide whether the user of the data glasses is looking in a direction in which a virtual vehicle mirror is in the user's field of vision. This allows the bandwidth of the communication channel between the assistance system and the data glasses to be used more efficiently, since the video stream is only transmitted if it is also displayed on a display area of the data glasses.

Das Bearbeiten des Videostreams kann eine Helligkeits- oder Kontrastanpassung an die Umgebungshelligkeit und/oder Innenraumhelligkeit umfassen. Die Umgebungshelligkeit kann dabei aus dem Kamerabild des Video-Streams in an sich bekannter Weise abgeleitet werden, z.B. als durchschnittliche Helligkeit der Bildpunkte. Die Innenraumhelligkeit kann in an sich bekannter Weise von einem Kamerabild einer Innenraumkamera abgeleitet werden, z.B. als durchschnittliche Helligkeit der Bildpunkte.Editing the video stream may include adjusting the brightness or contrast to the ambient brightness and/or interior brightness. The ambient brightness can be derived from the camera image of the video stream in a manner known per se, for example as the average brightness of the pixels. The interior brightness can be derived in a manner known per se from a camera image from an interior camera, for example as the average brightness of the pixels.

Alternativ oder zusätzlich kann das Bearbeiten des Videostreams eine Auswahl eines Ausschnitts aus dem Videostream der Kameraeinrichtung umfassen, der von einer vorgegebenen üblichen Augenposition bzw. üblichen Position der Datenbrille oder von einer Pose der Datenbrille abhängt.Alternatively or additionally, editing the video stream can include a selection of a section from the video stream of the camera device, which depends on a predetermined usual eye position or usual position of the data glasses or on a pose of the data glasses.

Alternativ oder zusätzlich kann das Bearbeiten des Videostreams ein Hinzufügen eines oder mehrerer virtueller Symbole und/oder Umrahmungen umfassen, die die Wahrnehmung der Umgebungsobjekte im Spiegel-Videostream erhöhen.Alternatively or additionally, editing the video stream may include adding one or more virtual symbols and/or borders that increase the perception of the surrounding objects in the mirror video stream.

Der Videostream kann somit mithilfe geeigneter Bildbearbeitungsverfahren bearbeitet werden, um Kontrast und Helligkeit an die Lichtverhältnisse im Innenraum des Fahrzeugs oder der Fahrzeugumgebung anzupassen. Zudem können die Kamerabilder des Videostreams auch augmentiert werden, um hinter dem Fahrzeug befindliche Umgebungsobjekte in geeigneter Weise zu markieren oder mit Labeln zu versehen. Das Versehen mit schriftlichen Labeln hat zudem den Vorteil, dass diese von dem Fahrer nicht spiegelverkehrt wahrgenommen werden und dieser so auch im rückwärtigen Bereich des Fahrzeugs die Identifikationshilfen für Umgebungsobjekte erhalten kann.The video stream can therefore be edited using suitable image processing methods in order to adapt contrast and brightness to the lighting conditions in the interior of the vehicle or the vehicle surroundings. In addition, the camera images of the video stream can also be augmented in order to appropriately mark or label surrounding objects behind the vehicle. Providing written labels also has the advantage that the driver does not perceive them in a mirror image and can therefore also receive identification aids for surrounding objects in the rear area of the vehicle.

Kurzbeschreibung der ZeichnungShort description of the drawing

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

  • 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug;
  • 2 eine Draufsicht auf einen Innenraum eines Kraftfahrzeugs mit dargestellten Fahrzeugspiegeln;
  • 3 eine Darstellung des Sichtbereichs aus Sicht eines Fahrers des Kraftfahrzeugs; und
  • 4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.
Embodiments are explained in more detail below with reference to the accompanying drawings. Show it:
  • 1 a schematic representation of a display system with data glasses for use in a motor vehicle;
  • 2 a top view of an interior of a motor vehicle with vehicle mirrors shown;
  • 3 a representation of the field of vision from the perspective of a driver of the motor vehicle; and
  • 4 a flowchart illustrating a method for operating the display system.

Beschreibung von AusführungsformenDescription of embodiments

1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrzeugassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrzeugassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. 1 shows a schematic representation of a display system 1, particularly for use in a motor vehicle. The display system 1 includes a vehicle assistance system 2, which is in communication connection 4 with data glasses 3. The communication connection 4 is designed as a data transmission channel, for example in the form of a wireless communication connection or a wired communication connection. The communication connection 4 is able to transmit any type of data and information between the vehicle assistance system 2 and the data glasses 3, for example based on packet-bound data transmission.

Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.The data glasses 3 include two transparent lenses 32, which are enclosed in a frame 31 in a manner known per se. The frame 31 is provided with temples 33 so that the data glasses 3 can be worn on the head of a user in a manner known per se.

Mindestens eine der Sichtscheiben 32 (Brillengläser) kann weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z. B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.At least one of the viewing panes 32 (glass lenses) can also be provided with a transparent display surface 35, through which a display image for displaying virtual objects is displayed in the eye of the wearer of the data glasses 3 by a suitable device, such as a display device 36 arranged on the frame 31 can be projected. The display device 36 can have a microprocessor or a comparable computing unit and a display unit, such as. B. have a projection device or the like. The display unit can be designed to direct the electronically generated display image onto the display surface 35 and to image/display it there.

Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Anzeigebild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.Due to the transparent design of the display area 35, the electronically generated display image can be superimposed on the real environment perceived by the display area 35. Using the display device 36, information such as text, a symbol, video information, a graphic or the like can be displayed on one or both display surfaces 35.

Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann. Das Blickfeld des Nutzers wird allgemein durch die Ausdehnung der Anzeigeflächen 35, auf der ein Anzeigebild darstellbar ist, definiert.The data glasses 3 can be worn on the user's head like a typical visual aid, with the data glasses 3 resting with the frame 31 on the user's nose and the brackets 33 resting laterally on the user's head. The user's viewing direction in a straight-ahead direction then occurs through the viewing panes 32 essentially through the transparent display surfaces 35, so that the user's viewing direction corresponds to the orientation of the data glasses 3 or can be derived from it, for example based on a calibration process. The user's field of vision is generally defined by the extent of the display areas 35 on which a display image can be displayed.

Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann das Fahrzeugassistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um Objektinformationen betreffend kontaktanalog oder nichtkontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Objektinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs). Furthermore, the data glasses 3 can be provided with a control unit 37. The control unit 37 can be designed in a suitable manner to carry out or support data glasses functions and functions of the display system 1. For this purpose, the vehicle assistance system 2 can be connected to the data glasses 3 in order to transmit object information regarding virtual objects to be displayed in a contact-analog or non-contact-analog manner to the data glasses 3. The object information defines the position and representation of the virtual objects in relation to the motor vehicle, i.e. in a vehicle coordinate system (reference system of the motor vehicle).

Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in einem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung/Orientierung im Raum. Die Pose der Datenbrille 3 repräsentiert durch die feste Positionierung am Kopf des Benutzers die Blickrichtung des Benutzers und dessen Blickbereich.For example, the control unit 37 can carry out a pose recognition function in the form of a tracking process in order to determine a pose of the head or the data glasses 3 in a vehicle interior. The pose of a data glasses 3 herein refers to the spatial position of the data glasses 3 in a vehicle coordinate system as well their three-dimensional alignment/orientation in space. The pose of the data glasses 3 represents the user's viewing direction and the user's viewing area due to the fixed positioning on the user's head.

Die Steuereinheit 37 kann zur Posenerkennung mit einer geeigneten Datenbrillenkamera 38 verbunden sein, die etwa in Blickrichtung des Trägers der Datenbrille 3 bzw. senkrecht zu den Hauptflächen der Sichtscheiben 32 gerichtet ist. Die Datenbrillenkamera 38 erfasst regelmäßig Kamerabilder und übermittelt diese an die Steuereinheit 37. Die Steuereinheit 37 wertet die Kamerabilder aus und versucht z.B. mithilfe von Mustererkennungsverfahren markante Strukturen des Fahrzeuginnenraums in dem Kamerabild aufzufinden, deren Positionen im Fahrzeugkoordinatensystem bekannt sind, und daraus in an sich bekannter Weise die Pose der Datenbrille 3 zu ermitteln. Dies kann beispielsweise durch Auswerten der Lage und Abstand mehrerer solcher Strukturen im Kamerabild erfolgen.The control unit 37 can be connected to a suitable data glasses camera 38 for pose recognition, which is directed approximately in the viewing direction of the wearer of the data glasses 3 or perpendicular to the main surfaces of the viewing windows 32. The data glasses camera 38 regularly captures camera images and transmits them to the control unit 37. The control unit 37 evaluates the camera images and tries, for example, using pattern recognition methods to find prominent structures of the vehicle interior in the camera image, the positions of which are known in the vehicle coordinate system, and from this in a manner known per se to determine the pose of the data glasses 3. This can be done, for example, by evaluating the position and distance of several such structures in the camera image.

In der Steuereinheit 37 können abhängig von der Pose der Datenbrille 3 die kontaktanalog anzuzeigenden virtuellen Objekte entsprechend der Objektinformation, die die Form des virtuellen Objekts und dessen Position in einem fahrzeugfesten Koordinatensystem angibt und die z.B. von dem Fahrzeugassistenzsystem geliefert wird, in ein Bezugskoordinatensystem der Datenbrille 3 übersetzt werden. Ein virtuelles Objekt wird dann entsprechend der Pose der Datenbrille 3 so angezeigt, dass das virtuelle Objekt dem Träger der Datenbrille 3 virtuell an der Position angezeigt wird, an der sich das virtuelle Objekt bezüglich des fahrzeugfesten Koordinatensystems befindet. Die Position des virtuellen Objekts wird dabei nahe der Position eines zugeordneten Umgebungsobjekts gewählt.In the control unit 37, depending on the pose of the data glasses 3, the virtual objects to be displayed in a contact-analog manner can be placed in a reference coordinate system of the data glasses 3 in accordance with the object information, which indicates the shape of the virtual object and its position in a vehicle-fixed coordinate system and which is supplied, for example, by the vehicle assistance system to be translated. A virtual object is then displayed according to the pose of the data glasses 3 in such a way that the virtual object is virtually displayed to the wearer of the data glasses 3 at the position at which the virtual object is located with respect to the vehicle-fixed coordinate system. The position of the virtual object is chosen close to the position of an assigned environmental object.

Das Fahrerassistenzsystem 2 kann mit einer Fahrzeuginnenraumkamera 21 versehen sein, die auf den Fahrer des Kraftfahrzeugs bzw. allgemein auf den Träger der Datenbrille 3 gerichtet ist. Dadurch kann mithilfe der Fahrzeuginnenraumkamera 21 eine Posenerkennung unabhängig von der mithilfe der Datenbrillenkamera 38 durchgeführten Posenerkennung vorgenommen werden.The driver assistance system 2 can be provided with a vehicle interior camera 21, which is aimed at the driver of the motor vehicle or generally at the wearer of the data glasses 3. As a result, pose recognition can be carried out using the vehicle interior camera 21 independently of the pose recognition carried out using the data glasses camera 38.

In 2 ist eine Draufsicht auf einen Innenraum des Kraftfahrzeugs dargestellt. Man erkennt den Innenraum 11 des Kraftfahrzeugs 10 mit Fahrzeugsitzen 12, wobei fahrerseitig ein Träger 20 der Datenbrille 3 sitzt. Weiterhin sind Spiegelbereiche, insbesondere ein Innenspiegelbereich 14 mittig im Bereich der Windschutzscheibe 17 und Seitenspiegelbereiche 15 seitlich der Windschutzscheibe 17 außen am Kraftfahrzeug vorgesehen (schraffiert dargestellt). Die Spiegelbereiche sind vorzugsweise dunkel ausgebildete Flächen im Innenraum des Fahrzeugs, die ausgehend von einer üblichen Augenposition des Fahrers dort angeordnet sind, so dass dieser bei einer Blickrichtung zu den Positionen an denen sich üblicherweise die Fahrzeugspiegel befinden, auf die Spiegelbereiche blickt.In 2 a top view of an interior of the motor vehicle is shown. You can see the interior 11 of the motor vehicle 10 with vehicle seats 12, with a carrier 20 of the data glasses 3 sitting on the driver's side. Furthermore, mirror areas, in particular an interior mirror area 14 in the middle of the area of the windshield 17 and side mirror areas 15 on the side of the windshield 17 are provided on the outside of the motor vehicle (shown hatched). The mirror areas are preferably dark surfaces in the interior of the vehicle, which are arranged there starting from a usual eye position of the driver, so that the driver looks at the mirror areas when looking towards the positions at which the vehicle mirrors are usually located.

Es ist eine Kameraeinrichtung 22 vorgesehen, die mit dem Fahrzeugassistenzsystem 2 gekoppelt ist. Die Kameraeinrichtung 22 ermöglicht es, eine rückwärtige Umgebung des Kraftfahrzeugs 10 aufzuzeichnen und einen Videostream der aufgezeichneten Kamerabilder in Echtzeit dem Assistenzsystem 2 bereitzustellen.A camera device 22 is provided, which is coupled to the vehicle assistance system 2. The camera device 22 makes it possible to record a rear environment of the motor vehicle 10 and to provide a video stream of the recorded camera images to the assistance system 2 in real time.

In 3 ist der Bereich von möglichen Blickfeldern eines Fahrers des Kraftfahrzeugs 10 als Träger der Datenbrille 3 in Richtung der Windschutzscheibe 17 dargestellt. Man erkennt, dass sich Spiegelbereiche 14, 15 je nach Kopfdrehung des Nutzers im Blickfeld befinden können.In 3 the area of possible fields of vision of a driver of the motor vehicle 10 as a wearer of the data glasses 3 is shown in the direction of the windshield 17. It can be seen that mirror areas 14, 15 can be in the field of vision depending on the user's head rotation.

Insbesondere erfasst die Kameraeinrichtung 22 einen rückwärtigen Bereich des Fahrzeugs und kann Videodaten in Echtzeit dem Fahrzeugassistenzsystem 2 bereitstellen.In particular, the camera device 22 captures a rear area of the vehicle and can provide video data to the vehicle assistance system 2 in real time.

4 zeigt anhand eines Flussdiagramms ein Verfahren zum Bereitstellen eines virtuellen Fahrzeugspiegels in der Datenbrille 3. 4 shows, using a flowchart, a method for providing a virtual vehicle mirror in the data glasses 3.

In Schritt S1 wird zunächst mithilfe der Kameraeinrichtung 22 ein rückwärtiger Bereich des Fahrzeugs mithilfe der Kameraeinrichtung erfasst, um einen Videostream in Echtzeit in dem Fahrzeugassistenzsystem 2 zur Verfügung zu stellen.In step S1, a rear area of the vehicle is first captured using the camera device 22 in order to provide a video stream in real time in the vehicle assistance system 2.

In Schritt S2 wird eine Pose der Datenbrille 3 erfasst. Die Pose der Datenbrille 3 entspricht beim Tragen der Datenbrille 3 an einem Kopf des Benutzers im Wesentlichen dem Blickwinkel des Benutzers. Über den Blickwinkel kann festgestellt werden, ob der Benutzer in Richtung einer Spiegelposition blickt, an der üblicherweise ein Fahrzeugspiegel angeordnet ist, nämlich an die Position des Innenspiegels oder die Position eines der Seitenspiegel. Die Pose der Datenbrille 3 wird entweder von dem Assistenzsystem 2 ermittelt, insbesondere durch ein Outside-In Trackingverfahren, bei dem z.B. eine Innenraumkamera die Datenbrille erfasst und aus dem aufgezeichneten Kamerabild die Pose der Datenbrille ermittelt wird, oder durch Kommunizieren der Pose der Datenbrille 3 durch die Datenbrille 3, die diese mithilfe geeigneter Verfahren, wie beispielsweise einem Inside-Out-Tracking-Verfahren, ermittelt hat, an das Assistenzsystem 2.In step S2, a pose of the data glasses 3 is recorded. The pose of the data glasses 3 essentially corresponds to the user's viewing angle when the data glasses 3 are worn on the user's head. The viewing angle can be used to determine whether the user is looking in the direction of a mirror position at which a vehicle mirror is usually arranged, namely the position of the interior mirror or the position of one of the side mirrors. The pose of the data glasses 3 is either determined by the assistance system 2, in particular by an outside-in tracking method, in which, for example, an interior camera records the data glasses and the pose of the data glasses is determined from the recorded camera image, or by communicating the pose of the data glasses 3 the data glasses 3, which have determined this using suitable methods, such as an inside-out tracking method, to the assistance system 2.

Liegt die Pose der Datenbrille 3 in dem Fahrzeugassistenzsystem 2 vor, so wird in Schritt S3 überprüft, ob die Pose der Datenbrille 3 einen Blickwinkel anzeigt, in dem vom Nutzer ein Fahrzeugspiegel wahrgenommen werden soll und welcher der Fahrzeugspiegel dort wahrgenommen wird. Dies kann durch an sich bekannte Verfahren erfolgen, die die im Fahrzeugkoordinatensystem angegebene Spiegelposition und das im Fahrzeugkoordinatensystem angegebene Blickfeld verwenden. Liegt ein Blickwinkel vor, in dem ein Fahrzeugspiegel wahrgenommen werden kann, so wird das Verfahren mit Schritt S4 fortgesetzt, anderenfalls (Alternative: Nein) wird zu Schritt S1 zurückgesprungen.If the pose of the data glasses 3 is present in the vehicle assistance system 2, it is checked in step S3 whether the pose of the data glasses 3 indicates a viewing angle in which the user can view the vehicle gel should be perceived and which of the vehicle mirrors is perceived there. This can be done by methods known per se, which use the mirror position specified in the vehicle coordinate system and the field of view specified in the vehicle coordinate system. If there is a viewing angle in which a vehicle mirror can be perceived, the method continues with step S4, otherwise (alternative: no) the process returns to step S1.

In Schritt S4 wird nun in dem Fahrzeugassistenzsystem eine Bildbearbeitung des Videostreams vorgenommen und in Schritt S5 als Spiegel-Videostream an die Datenbrille übermittelt.In step S4, an image processing of the video stream is now carried out in the vehicle assistance system and transmitted to the data glasses as a mirror video stream in step S5.

Die Datenbrille 3 erkennt den Videostream als fahrzeugspiegelrelevanter Videostream und zeigt diesen in Schritt S6 kontaktanalog an der Position des Fahrzeugspiegels an, wenn dessen Position in dem Blickbereich des Benutzers liegt. Anschließend wird das Verfahren mit Schritt S1 fortgesetzt.The data glasses 3 recognizes the video stream as a video stream relevant to the vehicle mirror and displays it in step S6 in a contact-like manner at the position of the vehicle mirror if its position is within the user's field of vision. The method then continues with step S1.

Die Bearbeitung des Videostreams, der von der Kameraeinrichtung 22 erfasst worden ist, kann in vielfältiger Weise erfolgen.The video stream captured by the camera device 22 can be processed in a variety of ways.

Zunächst wird nur der Ausschnitt, der durch den virtuellen Innenfahrzeugspiegel dargestellt werden soll, aus dem von der Kameraeinrichtung 22 erfassten Bereich ausgeschnitten und als Spiegel-Videostream bereitgestellt. Der Spiegel-Videostream stellt somit nur einen Ausschnitt der insgesamt erfassten rückwärtigen Fahrzeugumgebung dar.First, only the section that is to be displayed by the virtual interior vehicle mirror is cut out of the area captured by the camera device 22 and provided as a mirror video stream. The mirror video stream therefore only represents a section of the overall rear vehicle environment recorded.

Zudem kann eine Kontrast- und Helligkeitsbearbeitung des Spiegel-Videostreams vorgenommen werden, um auch bei großer Dunkelheit Umgebungsobjekte im rückwärtigen Teil des Fahrzeugs, der in der Regel nachts nur durch Rücklichter des Fahrzeugs ausgeleuchtet ist, erkennen zu können.In addition, contrast and brightness processing of the mirror video stream can be carried out in order to be able to recognize surrounding objects in the rear part of the vehicle, which is usually only illuminated at night by the vehicle's taillights, even in great darkness.

Weiterhin können die Kamerabilder des Spiegel-Videostreams auch augmentiert werden, so dass Objekte, die beispielsweise über eine weitergehende Sensorik, wie beispielweise Infrarot- oder Lidarsensorik, erkannt worden sind, farblich mit dem Spiegel-Videostream hinzugefügten Symbolen, Umrahmungen oder dergleichen gekennzeichnet werden, um die Aufmerksamkeit des Benutzers auf bestimmte im rückwärtigen Bereich des Fahrzeugs befindliche Umgebungsobjekte zu lenken.Furthermore, the camera images of the mirror video stream can also be augmented, so that objects that have been recognized, for example, via more advanced sensor technology, such as infrared or lidar sensor technology, are marked in color with symbols, frames or the like added to the mirror video stream to draw the user's attention to certain environmental objects located at the rear of the vehicle.

Der Fahrzeuginnenraum kann weiter in den Bereichen, an der ein virtueller Fahrzeugspiegel vorgesehen sein soll, mit einer schwarzen Hintergrundfläche versehen sein, so dass der Spiegel-Video-Stream bei der kontaktanalogen Anzeige auf der Anzeigefläche der Datenbrille in besonders guter Weise für den Nutzer auch bei Dunkelheit sichtbar ist. Anzeigebilder in der Datenbrille können aufgrund der Projektionstechnik kein Schwarz darstellen. Dunkle Bereiche im Anzeigebild werden als transparent dargestellt. Daher würden helle Bereiche im Sichtbereich hinter dem angezeigten Spiegel-Videostream diesen so überlagern, dass insbesondere bei dunklen Bildern des Spiegel-Videostreams keine Strukturen mehr sichtbar wären.The vehicle interior can also be provided with a black background area in the areas where a virtual vehicle mirror is to be provided, so that the mirror video stream is particularly useful for the user when displayed in a contact-analog manner on the display area of the data glasses Darkness is visible. Display images in the data glasses cannot display black due to the projection technology. Dark areas in the display image are displayed as transparent. Therefore, bright areas in the viewing area behind the displayed mirror video stream would overlay it in such a way that no structures would be visible, especially in dark images of the mirror video stream.

BezugszeichenlisteReference symbol list

11
AnzeigesystemDisplay system
22
FahrzeugassistenzsystemVehicle assistance system
33
DatenbrilleSmart glasses
3131
RahmenFrame
3232
transparente Sichtscheibentransparent viewing panels
3333
BrillenbügelGlasses temples
3535
AnzeigeflächeDisplay area
3636
AnzeigeeinrichtungDisplay device
3737
SteuereinheitControl unit
3838
KatenbrillenkameraCat glasses camera
44
KommunikationsverbindungCommunication link
1010
Kraftfahrzeugmotor vehicle
1111
Innenrauminner space
1212
Fahrzeugsitzenvehicle seats
1414
InnenspiegelbereichInterior mirror area
1515
SeitenspiegelbereicheSide mirror areas
1717
Windschutzscheibewindshield
2020
Träger der DatenbrilleWearer of data glasses
2222
KameraeinrichtungCamera setup

Claims (8)

Verfahren zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3) in einem Kraftfahrzeug (10), mit folgenden Schritten: - Erfassen (S1) eines rückwärtigen Umgebungsbereichs des Fahrzeugs mit einer Kameraeinrichtung (22), um einen Video-Stream zu erhalten; - Ermitteln (S2) einer Pose der Datenbrille (3) in einem Fahrzeugkoordinatensystem; - Bearbeiten (S4) des Video-Streams, um einen Spiegel-Video-Stream zu erhalten; - Kontaktanaloges Darstellen (S6) des Spiegel-Video-Streams in der Datenbrille (3).Method for operating a display system (1) with data glasses (3) in a motor vehicle (10), with the following steps: - Detecting (S1) a rear surrounding area of the vehicle with a camera device (22) in order to obtain a video stream; - Determining (S2) a pose of the data glasses (3) in a vehicle coordinate system; - Edit (S4) the video stream to get a mirror video stream; - Contact analog display (S6) of the mirror video stream in the data glasses (3). Verfahren nach Anspruch 1, wobei das Bearbeiten des Videostreams in einem fahrzeugfesten Assistenzsystem (2) durchgeführt wird.Procedure according to Claim 1 , whereby the editing of the video stream is carried out in a vehicle-mounted assistance system (2). Verfahren nach Anspruch 1 oder 2, wobei die Pose der Datenbrille (3) in dem Assistenzsystem (2) bereitgestellt wird, wobei der Spiegel-Videostream nur dann an die Datenbrille (3) übertragen wird, wenn die Pose der Datenbrille (3) angibt, dass der Nutzer auf eine festgelegte Spiegelposition blickt.Procedure according to Claim 1 or 2 , wherein the pose of the data glasses (3) is provided in the assistance system (2), wherein the mirror video stream is only transmitted to the data glasses (3) if the pose of the data glasses (3) indicates that the user is on a specified mirror position. Verfahren nach einem der Ansprüche 1 bis 3, wobei das Bearbeiten des Videostreams eine Helligkeits- oder Kontrastanpassung an die Umgebungshelligkeit und/oder Innenraumhelligkeit umfasst.Procedure according to one of the Claims 1 until 3 , wherein editing the video stream includes adjusting the brightness or contrast to the ambient brightness and/or interior brightness. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Bearbeiten des Videostreams eine Auswahl eines Ausschnitts aus dem Video-Stream der Kameraeinrichtung (22) umfasst, der von einer vorgegebenen üblichen Augenposition oder von einer Pose der Datenbrille (3) abhängt.Procedure according to one of the Claims 1 until 4 , wherein editing the video stream includes selecting a section from the video stream of the camera device (22), which depends on a predetermined usual eye position or on a pose of the data glasses (3). Verfahren nach einem der Ansprüche 1 bis 5, wobei das Bearbeiten des Videostreams ein Hinzufügen eines oder mehrerer virtueller Symbole und/oder Umrahmungen umfasst, die die Wahrnehmung der Umgebungsobjekte im Spiegel-Videostream erhöhen.Procedure according to one of the Claims 1 until 5 , wherein editing the video stream includes adding one or more virtual icons and/or borders that increase the perception of the environmental objects in the mirror video stream. Verfahren nach einem der Ansprüche 1 bis 6, wobei der Spiegel-Video-Stream an die Datenbrille (3) übermittelt wird (S5).Procedure according to one of the Claims 1 until 6 , whereby the mirror video stream is transmitted to the data glasses (3) (S5). Anzeigesystem mit einer Datenbrille (3) und einem Assistenzsystem (2), umfassend: - eine Kameraeinrichtung (22), die ausgebildet ist, um einen rückwärtigen Umgebungsbereichs des Fahrzeugs als einen Video-Stream zu erfassen; - das Assistenzsystem (2), das ausgebildet ist, ◯ um eine Pose der Datenbrille (3) in einem Fahrzeugkoordinatensystem zu erhalten oder zu ermitteln; ◯ den Video-Stream zu bearbeiten, um einen Spiegel-Video-Stream zu erhalten; und ◯ den Spiegel-Video-Stream an die Datenbrille zu übermitteln, - die Datenbrille (3), die ausgebildet ist, um den Spiegel-Video-Stream in auf einer Anzeigefläche (35) kontaktanalog darzustellen.Display system with data glasses (3) and an assistance system (2), comprising: - a camera device (22) which is designed to capture a rear surrounding area of the vehicle as a video stream; - the assistance system (2), which is designed ◯ to obtain or determine a pose of the data glasses (3) in a vehicle coordinate system; ◯ edit the video stream to get a mirror video stream; and ◯ to transmit the mirror video stream to the data glasses, - The data glasses (3), which are designed to display the mirror video stream on a display surface (35) in a contact-analog manner.
DE102022106648.7A 2022-03-22 2022-03-22 Method and device for operating a display system in a motor vehicle Pending DE102022106648A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022106648.7A DE102022106648A1 (en) 2022-03-22 2022-03-22 Method and device for operating a display system in a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022106648.7A DE102022106648A1 (en) 2022-03-22 2022-03-22 Method and device for operating a display system in a motor vehicle

Publications (1)

Publication Number Publication Date
DE102022106648A1 true DE102022106648A1 (en) 2023-09-28

Family

ID=87930529

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022106648.7A Pending DE102022106648A1 (en) 2022-03-22 2022-03-22 Method and device for operating a display system in a motor vehicle

Country Status (1)

Country Link
DE (1) DE102022106648A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017221317A1 (en) 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a data glasses in a motor vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017221317A1 (en) 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a data glasses in a motor vehicle

Similar Documents

Publication Publication Date Title
DE102015006612B4 (en) Method for operating data glasses in a motor vehicle and system with data glasses
DE19923964C2 (en) Environment monitoring device for a vehicle
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102012203491B4 (en) Electronic rearview mirror system
DE10059315A1 (en) Arrangement and method for monitoring the surroundings of a vehicle
DE102007059735A1 (en) Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle
EP2616869A1 (en) Head-up display
DE102012019508A1 (en) Vehicle i.e. passenger car, has control unit provided with monitoring unit for monitoring direction of view of driver of vehicle, where monitoring unit judges whether driver observes display on basis of gaze direction
DE19802220A1 (en) Information display device used with computer or onboard automobile
DE102015209187B3 (en) Monitoring device for a motor vehicle
DE102013209366B4 (en) Display device and method for displaying information in a vehicle
DE10016184C2 (en) Device for displaying the surroundings of a vehicle
DE10359192A1 (en) Night vision system for motor vehicle, includes camera which records image in infrared range
DE102017221317A1 (en) Method and device for operating a data glasses in a motor vehicle
WO2018077520A1 (en) Method and device for operating a display system comprising a head-mounted display
DE102022106648A1 (en) Method and device for operating a display system in a motor vehicle
DE102014200963B4 (en) Rear-view mirror device, vehicle and method for operating a rear-view mirror device
DE102017209802A1 (en) Method and device for operating a display system with data glasses
DE102016225265A1 (en) Method and device for operating a display system with data glasses
DE102016215704A1 (en) Method and device for operating a display system with data glasses
DE102019112189A1 (en) Method and device for displaying an information object in augmented reality data glasses
DE102019132460A1 (en) Adjusting a rearview mirror on a vehicle
DE102019119532A1 (en) Method and device for operating a display system with data glasses in a motor vehicle
DE102021124098A1 (en) Method and device for operating data glasses in a motor vehicle
DE102021109082A1 (en) Method and device for determining a pose in data glasses

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001280000

Ipc: B60R0001260000

R163 Identified publications notified