DE102012203491B4 - Electronic rearview mirror system - Google Patents

Electronic rearview mirror system Download PDF

Info

Publication number
DE102012203491B4
DE102012203491B4 DE102012203491.9A DE102012203491A DE102012203491B4 DE 102012203491 B4 DE102012203491 B4 DE 102012203491B4 DE 102012203491 A DE102012203491 A DE 102012203491A DE 102012203491 B4 DE102012203491 B4 DE 102012203491B4
Authority
DE
Germany
Prior art keywords
image
display
electronic
mirror
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012203491.9A
Other languages
German (de)
Other versions
DE102012203491A1 (en
Inventor
Arne Striegler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102012203491.9A priority Critical patent/DE102012203491B4/en
Publication of DE102012203491A1 publication Critical patent/DE102012203491A1/en
Application granted granted Critical
Publication of DE102012203491B4 publication Critical patent/DE102012203491B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Abstract

Elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrzeugfahrer, umfassend- mindestens eine Rückkamera (4-6) zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug,- eine Positionserfassungseinrichtung (1, 3) zum Erfassen einer Kopfposition des Fahrers,- ein Bildberechnungsmittel (3) zum Berechnen eines Bildes, welches eingerichtet ist, in Abhängigkeit der Kopfposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen, und- einen eine elektronische Anzeige (7) umfassenden elektronischen Rückspiegel, dessen Anzeige (7) eingerichtet ist, das von dem Bildberechnungsmittel (3) berechnete Bild anzuzeigen, dadurch gekennzeichnet, dass- die Ausrichtung der elektronischen Anzeige (7) veränderbar ist und der spiegelverkehrte Bildausschnitt von der eingestellten Ausrichtung der elektronischen Anzeige (7) abhängt,- das System eine Innenraum-Kamera (1) und eine Referenzlichtquelle (8) umfasst, wobei der elektronische Rückspiegel die Innenraum-Kamera (1) umfasst und bei Ändern der Ausrichtung der Anzeige (7) auch die Ausrichtung der Innenraum-Kamera (1) verändert wird, und- das Rückspiegel-System eingerichtet ist, durch Erfassen der Referenzlichtquelle (8) mittels der Innenraum-Kamera (1) die Ausrichtung der elektronischen Anzeige (7) oder der Innenraum-Kamera (1) zu bestimmen.Electronic rear-view mirror system for displaying a rear surrounding area behind the motor vehicle for the vehicle driver, comprising - at least one rear camera (4-6) for recording a rear image of a rear surrounding area behind the vehicle, - a position detection device (1, 3) for detecting a head position of the Driver, - an image calculation means (3) for calculating an image, which is set up to determine a mirror-inverted image section from the rear image depending on the head position, and - an electronic rearview mirror comprising an electronic display (7), the display (7) of which is set up , to display the image calculated by the image calculation means (3), characterized in that - the orientation of the electronic display (7) can be changed and the mirror-inverted image section depends on the set orientation of the electronic display (7), - the system is an interior camera (1) and a reference light source (8), wherein the electronic rearview mirror includes the interior camera (1) and when the orientation of the display (7) is changed, the orientation of the interior camera (1) is also changed, and - the rearview mirror -System is set up to determine the orientation of the electronic display (7) or the interior camera (1) by detecting the reference light source (8) using the interior camera (1).

Description

Die Erfindung betrifft ein elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrer des Kraftfahrzeugs.The invention relates to an electronic rear-view mirror system for displaying a rear environmental area behind the motor vehicle for the driver of the motor vehicle.

Kraftfahrzeuge verfügen im Allgemeinen über mehrere optische Rückspiegel, die das Beobachten des rückwärtigen Fahrzeugs erlauben. Hierbei wird zwischen Innenspiegeln und Außenspiegeln (auch als Seitenspiegel bezeichnet) unterschieden. Der Innenspiegel befindet sich typischerweise in der Mitte zwischen dem Fahrersitz und dem Beifahrersitz an Windschutzschutzscheibe und ist kipp- und schwenkbar. Der Außenspiegel ist typischerweise jeweils links und rechts am Fahrzeug angebracht, häufig in der Nähe der A-Säule.Motor vehicles generally have several optical rear-view mirrors that allow the vehicle behind to be observed. A distinction is made between interior mirrors and exterior mirrors (also known as side mirrors). The interior mirror is typically located in the middle between the driver's seat and the passenger seat on the windshield and can be tilted and swiveled. The exterior mirror is typically mounted on the left and right of the vehicle, often near the A-pillar.

Nachteilig an optischen Rückspiegeln ist, dass die Sicht auf die rückwärtige Umgebung des Fahrzeugs durch das Fahrzeug zu einem großen Teil verdeckt wird. Beim Betrachten des Innenspiegel ist dabei typischerweise im Wesentlichen nur der Bereich der Heckscheibe und der hinteren Seitenscheiben sichtbar, die übrigen Bereiche werden durch das Fahrzeug verdeckt. Außerdem kann die Sicht durch eine Person auf der Rückbank erschwert werden. Beim Betrachten der Außenspiegel wird der Bereich hinter dem Fahrzeug durch die Karosserie des Fahrzeugs verdeckt. Durch die Verdeckung kann der Fahrer den Abstand des eigenen Fahrzeugs zu Hindernissen, wie einem parkenden Fahrzeug, nur schwer abschätzen. Dem Fahrer wird so das Einparken und Rangieren erschwert.The disadvantage of optical rear-view mirrors is that the view of the surroundings behind the vehicle is largely obscured by the vehicle. When looking at the interior mirror, typically only the area of the rear window and the rear side windows is visible; the remaining areas are covered by the vehicle. In addition, visibility can be made difficult by a person in the back seat. When looking at the exterior mirrors, the area behind the vehicle is obscured by the vehicle's body. The concealment makes it difficult for the driver to estimate the distance of their own vehicle to obstacles such as a parked vehicle. This makes parking and maneuvering more difficult for the driver.

Aus dem Stand der Technik sind sogenannte kameraunterstützte Einparkhilfen bekannt, bei denen eine Rückfahrkamera im Fahrzeugheck zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug verwendet wird. Interaktive Spur- und Wendekreislinien helfen zudem den Lenkradwinkel für das Einparken zu bestimmen. Die aufgenommene Bild wird auf eine Anzeige im Fahrzeug-Cockpit dargestellt.So-called camera-assisted parking aids are known from the prior art, in which a reversing camera in the rear of the vehicle is used to record a rear image of a rear surrounding area behind the vehicle. Interactive lane and turning circle lines also help to determine the steering wheel angle for parking. The captured image is shown on a display in the vehicle cockpit.

Aus der Druckschrift DE 10 2005 000 739 B4 ist ein Sichtunterstützungssystem für ein Fahrzeug bekannt, wobei zur Vermeidung der Sichtverdeckung durch eine Fahrzeugsäule, beispielsweise der A-Säule oder C-Säule, ein von einer Außenkamera aufgenommenes Bild mittels eines Projektors auf die Säule projiziert wird.From the publication DE 10 2005 000 739 B4 a vision support system for a vehicle is known, in which, in order to avoid the visibility being obscured by a vehicle pillar, for example the A-pillar or C-pillar, an image recorded by an external camera is projected onto the pillar using a projector.

Aus der Druckschrift DE 29612536 U1 ist eine Panorama-Rückschauanordnung bekannt, bei der das Bild einer Rückkamera auf einem Monitor angezeigt wird. Über einen Trägerrahmen ist der Monitor mit der Innenwand des Dachbereichs des Fahrzeugs verbunden.From the publication DE 29612536 U1 A panoramic rear view arrangement is known in which the image from a rear camera is displayed on a monitor. The monitor is connected to the interior wall of the roof area of the vehicle via a support frame.

In der Druckschrift EP 1 527 606 B1 ist ein elektronisches Rückspiegel-System beschrieben, bei dem die Anzeige an der gleichen Position wie ein konventioneller Rückspiegel angeordnet ist. Außerdem ist ein Sensor vorhanden, welche die Orientierung der Anzeige misst. Eine Kamera nimmt ein Rückbild eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug auf. Der Fahrer kann die Ausrichtung der Kamera durch Änderung der Orientierung der Anzeige ändern.In print EP 1 527 606 B1 describes an electronic rearview mirror system in which the display is arranged in the same position as a conventional rearview mirror. There is also a sensor that measures the orientation of the display. A camera records a rear image of the surrounding area behind the vehicle. The driver can change the orientation of the camera by changing the orientation of the display.

Aus der Druckschrift WO 03/005102 A1 ist ein Head-Up-Display-System zur Darstellung eines Objekts eines Fahrzeugaußenraums beschrieben, welches Mittel zur Erfassung einer Position zumindest eines Insassen des Fahrzeugs und Mittel zur ortskorrekten Darstellung des Objekts in Bezug auf die Position umfasst. Beispielsweise wird ein Verkehrszeichen detektiert und unter Berücksichtigung der Kopfposition des Fahrers ortskorrekt eine Markierung um das Verkehrszeichen herum auf die Windschutzscheibe projiziert, um das Verkehrszeichen hervorzuheben.From the publication WO 03/005102 A1 A head-up display system is described for displaying an object of a vehicle exterior, which comprises means for detecting a position of at least one occupant of the vehicle and means for the spatially correct representation of the object in relation to the position. For example, a traffic sign is detected and, taking into account the driver's head position, a marking around the traffic sign is projected onto the windshield in the correct location in order to highlight the traffic sign.

In der Druckschrift DE 10 2008 059 269 A1 ist ein Verfahren zur Verbesserung der Rundumsicht in einem Fahrzeug beschrieben, wobei mit mindestens einer am Fahrzeug angebrachten Kamera mindestens ein Bild eines Winkelbereiches der Umgebung erzeugt und dieses auf einer Bildanzeigeeinrichtung im Innenraum des Fahrzeuges im Blickfeld eines Fahrers angezeigt wird. Hierbei wird in Abhängigkeit von einer sensorischen Erfassung einer Kopfposition eines Fahrers ein Ausschnitt des Kamerabildes als Anzeigeinhalt extrahiert und zur Anzeige gebracht wird. Die Anzeige ist dabei beispielsweise im Bereich der A-Säule oder C-Säule integriert.In print DE 10 2008 059 269 A1 a method for improving all-round visibility in a vehicle is described, wherein at least one image of an angular range of the environment is generated with at least one camera attached to the vehicle and this is displayed on an image display device in the interior of the vehicle in the field of vision of a driver. Here, depending on a sensory detection of a driver's head position, a section of the camera image is extracted as display content and displayed. The display is integrated, for example, in the area of the A-pillar or C-pillar.

Aus der Druckschrift DE 10 2008 019 732 A1 ist ein Verfahren und eine Vorrichtung zur Ansteuerung eines elektrischen Außenspiegels bekannt, umfassend mindestens eine Kamera zur Aufnahme eines Bildausschnittes des rückwärtigen Verkehrsraumes und mindestens ein Anzeigeelement zur Anzeige des von der Kamera (2) aufgenommenen Bildausschnittes, wobei die Vorrichtung Mittel zur Erfassung der Kopfposition (4, 4') eines Fahrers umfasst, wobei in Abhängigkeit der erfassten Kopfposition der auf dem Anzeigeelement dargestellte Bildausschnitt
verändert wird.From the publication DE 10 2008 019 732 A1 a method and a device for controlling an electric exterior mirror are known, comprising at least one camera for recording an image section of the rear traffic area and at least one display element for displaying the image section recorded by the camera (2), the device having means for detecting the head position (4 , 4 ') of a driver, the image section displayed on the display element depending on the detected head position
is changed.

Aus der Druckschrift DE 10 2007 004 536 A1 ist eine Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs bekannt, aufweisend Aufnahmemittel zur Aufnahme eines Bildstroms, der Bilder zumindest eines Teils der Umgebung des Kraftfahrzeugs beinhaltet, aufweisend eine Anzeigeeinheit zur Wiedergabe zumindest eines Bildausschnitts des Bildstroms im Fahrzeuginneren und aufweisend Mittel zur selbsttätigen Veränderung des durch die Wiedergabe des Bildausschnitts mittels der Anzeigeeinheit dargestellten Umgebungsausschnitts, umfasst ferner Mittel zur Bestimmung zumindest einer früheren Position des Kraftfahrzeugs und der Umgebungsausschnitt ist selbsttätig in Abhängigkeit von der früheren Position des Kraftfahrzeugs anpassbar.From the publication DE 10 2007 004 536 A1 a device for monitoring the surroundings of a motor vehicle is known, having recording means for recording an image stream which contains images of at least part of the surroundings of the motor vehicle, having a display unit for reproducing at least an image section of the image stream in the interior of the vehicle and having Means for automatically changing the environmental section represented by the reproduction of the image section using the display unit, further comprises means for determining at least a previous position of the motor vehicle and the environmental section is automatically adaptable depending on the previous position of the motor vehicle.

Zum Stand der Technik wird ferner noch auf die Druckschriften DE 198 01 884 A1 , DE 101 64 516 A1 , DE 10 2009 020 300 A1 , JP 2009 - 100 180 A und US 2003 / 0 108 222 A1 verwiesen.Regarding the state of the art, reference is also made to the publications DE 198 01 884 A1 , DE 101 64 516 A1 , DE 10 2009 020 300 A1 , JP 2009 - 100 180 A and US 2003 / 0 108 222 A1 referred.

Es ist Aufgabe der Erfindung, eine Vorrichtung zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug anzugeben, bei welcher der von einem konventionellen optischen Rückspiegel bekannte Nachteil der Verdeckung durch das eigene Fahrzeug ausgeräumt ist und welches sich intuitiv vom Fahrer handhaben lässt.It is the object of the invention to provide a device for displaying a rear environmental area behind the motor vehicle, in which the disadvantage of concealment by one's own vehicle, known from a conventional optical rear-view mirror, is eliminated and which can be handled intuitively by the driver.

Die Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben.The task is solved by the features of claim 1. Advantageous embodiments are described in the dependent claims.

Das erfindungsgemäße elektronische Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs umfasst mindestens eine Rückkamera zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug. Vorzugsweise wird eine Mehrzahl von Rückkameras verwendet, welche an unterschiedlichen Positionen angeordnet sind und jeweils ein Teilrückbild aufnehmen. Die Teilrückbilder der Rückkameras werden dann zu dem Rückbild zusammengefügt.The electronic rearview mirror system according to the invention for displaying a rear surrounding area comprises at least one rear camera for recording a rear image of a rear surrounding area behind the vehicle. Preferably, a plurality of rear cameras are used, which are arranged at different positions and each record a partial rear image. The partial rear images from the rear cameras are then combined to form the rear image.

Ferner wird eine Positionserfassungseinrichtung zum Erfassen einer Kopfposition des Fahrers verwendet, beispielsweise handelt es sich bei der erfasste Kopfposition um die mittlere Position beider Augen. Positionserfassungseinrichtungen zum Erfassen der Kopfposition sind beispielsweise aus den Druckschriften WO 03/005102 A1 und DE 10 2008 059 269 A1 bekannt.Furthermore, a position detection device is used to detect a head position of the driver, for example the detected head position is the average position of both eyes. Position detection devices for detecting the head position are, for example, from the publications WO 03/005102 A1 and DE 10 2008 059 269 A1 known.

Zur Positionserfassung wird vorzugsweise eine Innenraum-Kamera verwendet. Das aufgezeichnete Bild kann mittels bekannter Mustererkennungsalgorithmen analysiert werden, um die Position des Kopfes, insbesondere der Augen, zu bestimmen.An indoor camera is preferably used to record the position. The recorded image can be analyzed using known pattern recognition algorithms to determine the position of the head, particularly the eyes.

Außerdem ist ein Bildberechnungsmittel zum Berechnen eines anzuzeigenden Bildes vorhanden. Die Bestimmung der Position- und die Berechnung des Bildes können mittels eines gemeinsamen Rechners erfolgen. Das Bildberechnungsmittel ist eingerichtet, in Abhängigkeit der Fahrerposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen. Zur Bestimmung eines Bildausschnitts aus dem Rückbild kann beispielsweise eine Projektion verwendet werden, wie dies später noch erläutert wird. Das anzuzeigende Bild kann nur Bildinformation des Rückbilds umfassen; alternativ kann das Bild noch weitere Elemente umfassen, beispielsweise eine Drahtgitterdarstellung des eigenen Fahrzeugs und/oder Rangierhinweise.There is also an image calculation means for calculating an image to be displayed. The determination of the position and the calculation of the image can be done using a common computer. The image calculation means is set up to determine a mirror-inverted image section from the rear image depending on the driver's position. To determine an image section from the rear image, a projection can be used, for example, as will be explained later. The image to be displayed can only include image information of the back image; alternatively, the image can include further elements, for example a wireframe representation of your own vehicle and/or maneuvering instructions.

Die Spiegelverkehrung ist notwendig, um das Verhalten eines optischen Rückspiegels zu imitieren, da das Bild eines optischen Rückspiegels gegenüber der Wirklichkeit spiegelverkehrt ist. Um ein spiegelverkehrtes Bild zu erhalten, kann beispielsweise zunächst ein Bildausschnitt aus dem Rückbild bestimmt werden (beispielsweise durch Projektion) und anschließend der Bildausschnitt in ein spiegelverkehrtes Bild umgerechnet werden. Alternativ kann das Rückbild auch zunächst in ein spiegelverkehrtes Rückbild umgerechnet werden und anschließend ein Bildausschnitt aus dem spiegelverkehrten Rückbild bestimmt werden.The mirror reversal is necessary to imitate the behavior of an optical rear-view mirror, since the image of an optical rear-view mirror is mirror-inverted compared to reality. In order to obtain a mirror-inverted image, for example, an image section can first be determined from the rear image (for example by projection) and then the image section can be converted into a mirror-inverted image. Alternatively, the rear image can also first be converted into a mirrored rear image and then an image section can be determined from the mirrored rear image.

Ferner ist ein elektronischer Rückspiegel vorgesehen, welcher eine elektronische Anzeige umfasst, die das von dem Bildberechnungsmittel berechnete Bild anzeigt. Bei der elektronischen Anzeige handelt es sich beispielsweise um eine Flüssigkristallanzeige, auch als LCD-Display bezeichnet (LCD - Liquid Crystal Display).Furthermore, an electronic rearview mirror is provided, which includes an electronic display that displays the image calculated by the image calculation means. The electronic display is, for example, a liquid crystal display, also known as an LCD display (LCD - Liquid Crystal Display).

Das angezeigte Bild entspricht vorzugsweise dem Bild eines optischen Rückspiegels ohne die für den optischen Rückspiegel typische Sichtverdeckung durch das eigene Fahrzeug. Das eigene Fahrzeug kann dabei beispielsweise als Drahtgittermodell oder als Modell mit halbtransparenten Flächen im dem Bild enthalten sein. Bei halbtransparenten Flächen sind sowohl die Flächen als auch der Hintergrund hinter den Flächen sichtbar. Es kann auch ein Drahtgittermodell mit halbtransparenten Flächen verwendet werden.The displayed image preferably corresponds to the image of an optical rear-view mirror without the visual obscuration by one's own vehicle that is typical of the optical rear-view mirror. Your own vehicle can be included in the image as a wireframe model or as a model with semi-transparent surfaces. With semi-transparent surfaces, both the surfaces and the background behind the surfaces are visible. A wireframe model with semi-transparent surfaces can also be used.

Der elektronische Rückspiegel ist vorzugsweise an einer typischen Position eines Innen-Rückspiegels oder eines Außen-Rückspiegels angeordnet. Beispielsweise ist der Rückspiegel im Fall eines Innen-Rückspiegels zwischen dem Fahrer- und Beifahrersitz im oberen Bereich der Windschutzscheibe angebracht (oder am Dach in der Nähe der oberen Begrenzung des Windschutzscheibe) oder im Fall eines Außen-Rückspiegels in der Nähe der A-Säule angeordnet, beispielsweise am sogenannten Spiegeldreieck.The electronic rearview mirror is preferably arranged at a typical position of an interior rearview mirror or an exterior rearview mirror. For example, in the case of an interior rearview mirror, the rearview mirror is mounted between the driver and passenger seats in the upper region of the windshield (or on the roof near the upper limit of the windshield) or in the case of an exterior rearview mirror located near the A-pillar , for example at the so-called mirror triangle.

In ähnlicher Weise wie das Spiegelglas bei einem konventionellen optischen Rückspiegel ist auch bei dem erfindungsgemäßen elektrischen Rückspiegel-System die elektronische Anzeige in ihrer Ausrichtung verstellbar, nämlich typischerweise horizontal drehbar und/oder vertikal kippbar. Der dargestellte Bildausschnitt hängt dabei von der Ausrichtung der elektronischen Anzeige, insbesondere der horizontalen Drehlage und/oder der vertikalen Kipplage der elektronischen Anzeige ab.In a similar way to the mirror glass in a conventional optical rear-view mirror, the orientation of the electronic display in the electric rear-view mirror system according to the invention can also be adjusted, namely typically Can be rotated horizontally and/or tilted vertically. The image section shown depends on the orientation of the electronic display, in particular the horizontal rotational position and/or the vertical tilting position of the electronic display.

Die Bestimmung der Ausrichtung, insbesondere des Kipp- und/oder Drehwinkels, erfolgt mittels einer Innenraum-Kamera und einer Referenzlichtquelle. Bei der Innenraum-Kamera handelt es sich beispielsweise um dieselbe Kamera, die vorzugsweise auch zur Bestimmung der Kopfposition verwendet wird. Die Innenraum-Kamera ist dabei in dem elektronischen Rückspiegel integriert, wobei bei Ändern der Ausrichtung der Anzeige auch die Ausrichtung der Innenraum-Kamera geändert wird. Bei horizontalem Drehen oder vertikalem Kippen der elektronischen Anzeige wird vorzugsweise auch die Innenraum-Kamera gedreht bzw. gekippt.The alignment, in particular the tilt and/or rotation angle, is determined using an interior camera and a reference light source. The interior camera is, for example, the same camera that is preferably also used to determine the head position. The interior camera is integrated in the electronic rearview mirror, and when the orientation of the display is changed, the orientation of the interior camera is also changed. When the electronic display is rotated horizontally or tilted vertically, the interior camera is preferably also rotated or tilted.

Das Rückspiegel-System ist eingerichtet, durch Erfassen der Referenzlichtquelle mittels der Innenraum-Kamera die Ausrichtung der elektronischen Anzeige (insbesondere ein Maß für die horizontale Drehlage bzw. vertikale Kipplage) oder der Innenraum-Kamera zu bestimmen.The rearview mirror system is set up to determine the orientation of the electronic display (in particular a measure of the horizontal rotation position or vertical tilt position) or the interior camera by detecting the reference light source using the interior camera.

Das erfindungsgemäße Rückspiegel-System erlaubt es dem Fahrer, durch sein Fahrzeug quasi hindurchzusehen, da die Einschränkung der Sicht durch die Verdeckung seitens des eigenen Fahrzeugs wie bei einem konventionellen optischen Rückspiegel entfällt, so dass beispielsweise ein Einparkvorgang oder sonstiger Rangiervorgang erheblich vereinfacht wird. Die durch die Bauform des Fahrzeugs bedingte eingeschränkte Sicht entfällt also.The rear-view mirror system according to the invention allows the driver to virtually see through his vehicle, since the restriction of visibility caused by the obscuration on the part of his own vehicle, as with a conventional optical rear-view mirror, is eliminated, so that, for example, parking or other maneuvering operations are considerably simplified. The restricted visibility caused by the design of the vehicle is no longer necessary.

Durch die kopfpositionsadaptive Anpassung der Anzeige, nämlich die Bestimmung des spiegelverkehrten Bildausschnitts in Abhängigkeit der Kopfposition, reagiert die Anzeige auf Kopfbewegungen vorzugsweise genauso oder zumindest ähnlich, wie der Fahrer es von einem konventionellen optischen Rückspiegel-System gewohnt ist. Der Fahrer kann durch den gewohnten Blick auf den Rückspiegel die Umgebung hinter dem eigenen Fahrzeug betrachten und intuitiv durch die Kopfbewegung die Sicht nach hinten anpassen, wie er es von einem konventionellen Rückspiegel gewohnt ist. Der Fahrer muss die Fertigkeiten zum Benutzen des Systems also nicht neu erlernen, sondern kann auf seine bisherigen Fertigkeiten zur Benutzung des optischen Rückspiegels zurückgreifen. Der Fahrer muss sich also nicht an die Technik anpassen, sondern die Technik ist hier an die mit einem gewöhnlichen optischen Rückspiegel gewonnene Erfahrung des Fahrers angepasst.Due to the head position-adaptive adjustment of the display, namely the determination of the mirror-inverted image section depending on the head position, the display reacts to head movements preferably in the same or at least similar way as the driver is used to from a conventional optical rear-view mirror system. The driver can look at the surroundings behind their vehicle by looking at the rear-view mirror as usual and intuitively adjust the rear view by moving their head, as they are used to with a conventional rear-view mirror. The driver does not have to relearn the skills to use the system, but can rely on his previous skills for using the optical rearview mirror. The driver does not have to adapt to the technology, but the technology is adapted to the driver's experience gained with an ordinary optical rear-view mirror.

Ferner ermöglicht die kopfpositionsadaptive Anpassung der Anzeige, dass sich das System ohne zusätzliche Eingabe durch den Fahrer an unterschiedliche Körpergrößen anpasst.Furthermore, the head position-adaptive adjustment of the display enables the system to adapt to different body sizes without additional input from the driver.

Typischerweise verschiebt sich bei Bewegung des Kopfes der spiegelverkehrte Bildausschnitt und/oder ändert sich die Vergrößerung des spiegelverkehrten Bildausschnitts.Typically, when the head moves, the mirror image section shifts and/or the magnification of the mirror image section changes.

Der elektronische Rückspiegel reagiert auf Bewegungen des Kopfes des Fahrers vorzugsweise in entsprechender Weise, wie der Fahrer es von einem konventionellen optischen Rückspiegel gewöhnt ist:

  • Bei einer Kopfbewegung mit gleichbleibendem Abstand zu der Anzeigenfläche verschiebt sich der spiegelverkehrte Bildausschnitt in entgegengesetzter Richtung zu der Kopfbewegung wie bei einem optischen Rückspiegel. Wenn sich beispielsweise der Kopf nach oben bewegt, verschiebt sich der spiegelverkehrte Bildausschnitt nach unten und es werden weiter unten liegende Bildobjekte sichtbar, wobei Bildobjekte nach oben aus der Anzeige herauslaufen. Wenn sich beispielsweise der Kopf nach rechts bewegt, verschiebt sich das spiegelverkehrte Bildausschnitt aus der Sicht des Fahrers in der Anzeige nach links und auf der Anzeige weiter links liegende Bildobjekte werden sichtbar, während rechts liegende Bildobjekte nach rechts aus der Anzeige herauslaufen.
The electronic rear-view mirror reacts to movements of the driver's head preferably in the same way as the driver is used to from a conventional optical rear-view mirror:
  • When the head moves at a constant distance from the display surface, the mirror-inverted image section shifts in the opposite direction to the head movement as with an optical rear-view mirror. For example, if the head moves upwards, the mirror-inverted image section shifts downwards and image objects further down become visible, with image objects running upwards out of the display. For example, if the head moves to the right, the mirror image section from the driver's perspective shifts to the left in the display and image objects further to the left of the display become visible, while image objects to the right run out of the display to the right.

Bei Zubewegen des Kopfes auf die Anzeige entlang der Richtung zwischen Kopfposition und der elektronischen Anzeige nimmt die Vergrößerung des spiegelverkehrten Bildausschnitts ab (d. h. die Größe des Bildausschnitts im Rückbild nimmt zu).As the head moves toward the display along the direction between the head position and the electronic display, the magnification of the mirror-inverted image section decreases (i.e. the size of the image section in the rear image increases).

Zur perspektivisch korrekten Darstellung des Bildes auf der elektrischen Anzeige wird vorzugsweise ein 3D-Modell verwendet, welches die Anzeigenfläche der Anzeige, das Rückbild und einen Betrachter an bestimmten Positionen umfasst. Die Position des Betrachters ist dabei die Kopfposition oder wird in Abhängigkeit der Kopfposition bestimmt (beispielsweise durch eine Ebenenspiegelung an der Anzeigenebene, wie dies später noch erläutert wird). Über das 3D-Modell wird ein Bildausschnitt aus dem Rückbild mittels rechnerischer Projektion des Rückbildes auf die Anzeigenfläche bestimmt. Durch die Begrenzung der Anzeigenfläche wird nur ein Teil des Rückbildes auf der Anzeigenfläche abgebildet.For the perspectively correct representation of the image on the electrical display, a 3D model is preferably used, which includes the display area of the display, the rear image and a viewer at certain positions. The position of the viewer is the head position or is determined depending on the head position (for example by a plane reflection on the display plane, as will be explained later). Using the 3D model, an image section from the rear image is determined by mathematically projecting the rear image onto the display area. By limiting the ad space, only part of the back image is shown on the ad space.

Beispielsweise kann aus der Kopfposition eine gespiegelte Kopfposition berechnet werden, wobei die gespiegelte Kopfposition sich aus der Kopfposition durch Ebenenspiegelung an der Anzeigenfläche als Spiegelebene ergibt. Die gespiegelte Position entspricht dann der Position des Betrachters. Bei Kenntnis der gespiegelten Position kann dann eine rechnerische Zentralprojektion des Rückbildes auf die Anzeigenfläche durchgeführt werden, wobei das Projektionszentrum der Zentralprojektion an der gespiegelten Position liegt.For example, a mirrored head position can be calculated from the head position, the mirrored head position resulting from the head position by plane mirroring on the display surface as a mirror plane. The mirrored position then corresponds to the position of the viewer. If the mirrored position is known, a computational central projection of the rear can then be carried out image onto the display area, with the projection center of the central projection at the mirrored position.

Vorzugsweise berechnet das Bildberechnungsmittel ein Bild, welches neben dem Bildausschnitt aus dem Rückbild eine möglichst perspektivisch korrekte Darstellung des eigenen Kraftfahrzeugs umfasst. Damit die Sicht nicht durch das eigene Kraftfahrzeug verdeckt wird, handelt es sich hierbei vorzugsweise um ein Drahtgittermodell oder ein Modell mit halbtransparenten Flächen, wobei beide Darstellungsformen eine Durchsicht durch Flächen des Fahrzeugs erlauben.The image calculation means preferably calculates an image which, in addition to the image section from the rear image, includes a representation of one's own motor vehicle that is as perspectively correct as possible. So that the view is not obscured by one's own motor vehicle, this is preferably a wireframe model or a model with semi-transparent surfaces, with both forms of representation allowing a view through surfaces of the vehicle.

Hierzu umfasst das 3D-Modell vorzugsweise ein Modell des Fahrzeugs, beispielsweise in Form eines Drahtgitterobjektes. Auch dieses wird vorzugsweise auf die Anzeigenfläche in dem 3D-Modell projiziert.For this purpose, the 3D model preferably includes a model of the vehicle, for example in the form of a wireframe object. This is also preferably projected onto the display area in the 3D model.

Ferner kann Hindernisinformation einer Hindernissensorik zur Überwachung eines rückwärtigen Umgebungsbereiches verwendet werden und in die Darstellung des Kraftfahrzeugs miteinfließen. Durch eine Änderung der Farbe des dargestellten Fahrzeugs kann beispielsweise der jeweilige Abstand zu einem Hindernis dargestellt werden, beispielsweise der Abstand zu einem Fahrzeug im rückwärtigen Umgebungsbereich. Bei der Hindernissensorik handelt es sich beispielsweise um eine ultraschallbasierte oder radarbasierte Einparkhilfe.Furthermore, obstacle information from an obstacle sensor system can be used to monitor a rear surrounding area and be included in the representation of the motor vehicle. By changing the color of the displayed vehicle, the respective distance to an obstacle can be displayed, for example the distance to a vehicle in the rear surrounding area. The obstacle sensor system is, for example, an ultrasound-based or radar-based parking aid.

Die Darstellung des Fahrzeugs in Abhängigkeit der Hindernisinformation könnte auch ohne die vorstehend beschriebene kopfpositionsadaptive Anpassung der Darstellung realisiert werden. Hierfür ist also die Positionserfassungseinrichtung und die Bestimmung eines Bildausschnitts in Abhängigkeit der Kopfposition nicht zwingend.The representation of the vehicle depending on the obstacle information could also be realized without the head position-adaptive adaptation of the representation described above. For this purpose, the position detection device and the determination of an image section depending on the head position are not mandatory.

Vorzugsweise ist in oder auf der Anzeige ein optischer Spiegel integriert, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist.An optical mirror is preferably integrated in or on the display, which is essentially congruent with the display area.

Der Rückspiegel ist dabei gemäß einer ersten Ausführungsvariante vorzugsweise in einem ersten Betriebsmodus betreibbar, in dem die elektronische Anzeige aktiv ist. Ferner ist der Rückspiegel in einem zweiten Betriebsmodus betreibbar ist, in dem die Anzeige deaktiv ist und der Rückspiegel unter Verwendung des optischen Spiegels als optischer Rückspiegel arbeitet. Elektronische Anzeigen, die im ausgeschalteten Zustand als Spiegel dienen, sind im Stand der Technik bekannt, beispielsweise als TV-Bildschirm zur Wandmontage. Ein Beispiel hierfür ist der Mirror-TV 30HM9202/12 des Herstellers Philips.According to a first embodiment variant, the rearview mirror can preferably be operated in a first operating mode in which the electronic display is active. Furthermore, the rear-view mirror can be operated in a second operating mode in which the display is deactivated and the rear-view mirror works as an optical rear-view mirror using the optical mirror. Electronic displays that serve as mirrors when switched off are known in the art, for example as wall-mounted TV screens. An example of this is the Mirror TV 30HM9202/12 from the manufacturer Philips.

Vorzugsweise wird dabei der Betriebsmodus in Abhängigkeit des eingelegten Getriebegangs gesteuert. Wenn beispielsweise vom Rückwärtsgang in den Vorwärtsgang geschaltet wird, wird der elektronische Rückspiegel beispielsweise in den zweiten Betriebsmodus umgeschaltet. Wenn beispielsweise vom Vorwärtsgang in den Rückwärtsgang geschaltet wird, wird der elektronische Rückspiegel beispielsweise in den ersten Betriebsmodus umgeschaltet.The operating mode is preferably controlled depending on the gear selected. For example, when switching from reverse gear to forward gear, the electronic rearview mirror is switched to the second operating mode, for example. For example, when switching from forward gear to reverse gear, the electronic rearview mirror is switched to the first operating mode, for example.

Die Integration eines optischen Spiegels, das Vorsehen zweier Betriebsmodi und die Steuerung des Betriebsmodus könnten jeweils auch ohne die vorstehend beschriebene kopfpositionsadaptive Anpassung der Darstellung realisiert werden. Hierfür ist es also die Positionserfassungseinrichtung und die Bestimmung eines Bildausschnitts in Abhängigkeit der Kopfposition nicht zwingend.The integration of an optical mirror, the provision of two operating modes and the control of the operating mode could also be implemented without the head position-adaptive adjustment of the representation described above. For this purpose, the position detection device and the determination of an image section depending on the head position are not mandatory.

Gemäß einer zweiten Ausführungsvariante wird das Bild der elektronischen Anzeige mit dem optischen Spiegelbild gleichzeitig überlagert, so dass das Fahrzeug für den Fahrer halbtransparent erscheint. Auch hierfür ist die kopfpositionsadaptive Anpassung der Darstellung nicht zwingend notwendig.According to a second embodiment variant, the image of the electronic display is simultaneously superimposed on the optical mirror image, so that the vehicle appears semi-transparent to the driver. Here too, the head position-adaptive adjustment of the representation is not absolutely necessary.

Die Erfindung wird nachfolgend unter Zuhilfenahme auf die beigefügten Zeichnungen anhand eines Ausführungsbeispiels beschrieben. In diesen zeigen:

  • 1 ein Ausführungsbeispiel für das erfindungsgemäße elektronische Rückspiegel-System;
  • 2 ein beispielhaftes 3D-Modell mit einer ersten Kopfposition und einer ersten Ausrichtung der Anzeige des Rückspiegels;
  • 3 ein beispielhaftes 3D-Modell mit einer zweiten Kopfposition und der ersten Ausrichtung der Anzeige des Rückspiegels;
  • 4 ein beispielhaftes 3D-Modell mit der ersten Kopfposition und einer zweiten Ausrichtung der Anzeige des Rückspiegels; und
  • 5 ein beispielhaftes Bild der elektronischen Anzeige 7 aus Sicht des Fahrers.
The invention is described below using an exemplary embodiment with the aid of the accompanying drawings. Show in these:
  • 1 an embodiment of the electronic rearview mirror system according to the invention;
  • 2 an example 3D model with a first head position and a first orientation of the rearview mirror display;
  • 3 an example 3D model with a second head position and the first orientation of the rearview mirror display;
  • 4 an exemplary 3D model with the first head position and a second orientation of the rearview mirror display; and
  • 5 an exemplary image of the electronic display 7 from the driver's perspective.

In 1 ist ein Ausführungsbeispiel für das erfindungsgemäße elektronische Rückspiegel-System dargestellt.In 1 An exemplary embodiment of the electronic rearview mirror system according to the invention is shown.

Das dargestellte Rückspiegel-System umfasst eine Innenraum-Kamera 1, welche einen Bereich des Fahrerraums des Fahrzeugs aufnimmt, insbesondere den Kopf 2 und das Gesicht des Fahrers. Der erfasste Winkelbereich der Innenraum-Kamera ist in 1 mit dem Bezugszeichen gekennzeichnet.The rearview mirror system shown includes an interior camera 1, which records an area of the driver's compartment of the vehicle, in particular the head 2 and the face of the driver. The captured angular range of the interior camera is in 1 marked with the reference number.

Die Bildinformation wird an einen Rechner 3 gesandt, der zusammen mit der Kamera als Positionserfassungseinrichtung fungiert. Basierend auf den Bildinformationen wird die Position des Kopfes 2 in dem Mikroprozessor 3 ermittelt. Hierzu wird das aufgezeichnete Bild mittels eines geeigneten Mustererkennungsalgorithmus analysiert.The image information is sent to a computer 3, which, together with the camera, functions as a position detection device. The position of the head 2 in the microprocessor 3 is determined based on the image information. For this purpose, the recorded image is analyzed using a suitable pattern recognition algorithm.

Die Innenraum-Kamera 1 ist vorzugsweise im Innen-Rückspiegel integriert. Es ist möglich ein einfache Kamera mit niedriger Bildqualität ähnlich einer Webcam zu verwenden, beispielsweise eine einfache Schwarz-Weiß-Kamera.The interior camera 1 is preferably integrated in the interior rearview mirror. It is possible to use a simple camera with low image quality similar to a webcam, for example a simple black and white camera.

Durch die Bestimmung der Kopfposition kann eine kopfpositionsadaptive Anpassung der Sicht auf den rückwärtigen Umgebungsbereich des Fahrzeugs erfolgen. wodurch dem Nutzer die intuitive Handhabe des Systems ermöglicht wird.By determining the head position, a head position-adaptive adjustment of the view of the rear surrounding area of the vehicle can take place. which enables the user to operate the system intuitively.

Ferner umfasst das System beispielsweise drei Außenkameras 4-6 an verschiedenen Positionen des Hecks des Fahrzeugs. Jede der Kameras 4-6 nimmt ein Bild eines bestimmten Winkelbereichs 11-13 hinter dem Fahrzeug auf. Die Bilddaten der einzelnen Kameras werden an den Rechner 3 gesandt und dort entsprechend zusammengefügt, so dass ein einzelnes Panoramabild von der Szenerie hinter dem Fahrzeug entsteht.Furthermore, the system includes, for example, three external cameras 4-6 at different positions at the rear of the vehicle. Each of the cameras 4-6 takes an image of a specific angular range 11-13 behind the vehicle. The image data from the individual cameras are sent to the computer 3 and put together there accordingly, so that a single panoramic image of the scenery behind the vehicle is created.

Der Rückspiegel umfasst neben der Innenraum-Kamera 1 eine elektronische Anzeige 7, beispielsweise ein LCD-Display, und einen in oder auf der Anzeige integrierten optischen Spiegel, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist. Der Rückspiegel stellt somit eine Kombination aus herkömmlichem optischen Spiegel (beispielsweise mit einer Reflexion von mehr als 99,9 %) und elektronischer Anzeige dar, wobei der Rückspiegel durch eine entsprechende Ansteuerung zwischen einem ersten Betriebsmodus, in dem die elektronische Anzeige aktiv ist, und einem zweiten Betriebsmodus, in dem die Anzeige deaktiv ist und der Rückspiegel als optischer Rückspiegel arbeitet, hin und her schaltbar ist. Die Rückspiegel kann so einerseits als herkömmlicher optischer Rückspiegel verwendet werden, andererseits zur Darstellung von mittels der Kameras 4-6 aufgenommener Bildinformationen. Bei Einlegen des Rückwärtsgangs wird beispielsweise automatisch auf den ersten Betriebsmodus mit aktiver elektronischer Anzeige geschaltet. Im Vorwärtsgang ist der Rückspiegel im zweiten Betriebsmodus und dient als herkömmlicher optischer Rückspiegel. In addition to the interior camera 1, the rearview mirror includes an electronic display 7, for example an LCD display, and an optical mirror integrated in or on the display, which is essentially congruent with the display area. The rear-view mirror thus represents a combination of a conventional optical mirror (for example with a reflection of more than 99.9%) and an electronic display, with the rear-view mirror being switched between a first operating mode in which the electronic display is active and a second operating mode, in which the display is deactivated and the rear-view mirror works as an optical rear-view mirror, can be switched back and forth. The rear-view mirror can be used on the one hand as a conventional optical rear-view mirror, and on the other hand to display image information recorded by the cameras 4-6. For example, when you engage reverse gear, the system automatically switches to the first operating mode with an active electronic display. In forward gear, the rearview mirror is in the second operating mode and serves as a conventional optical rearview mirror.

Die Anzeige 7 des Rückspiegels ist vorzugsweise wie ein konventioneller Rückspiegel horizontal drehbar und vertikal kippbar.The display 7 of the rear-view mirror is preferably horizontally rotatable and vertically tiltable like a conventional rear-view mirror.

Ferner ist eine Referenzlichtquelle 8, beispielsweise in Form einer LED (Light Emitting Diode), vorhanden. Diese dient zum Feststellen des Kipp- und Drehwinkels der Anzeige 7.Furthermore, a reference light source 8, for example in the form of an LED (Light Emitting Diode), is present. This is used to determine the tilt and rotation angle of the display 7.

Vorzugsweise handelt es sich um eine Infrarot-LED 8, da infrarotes Licht für das menschliche Auge nicht sichtbar ist, jedoch bei Verwendung einer entsprechenden Innenraum-Kamera 1 von der Innenraum-Kamera 1 detektiert werden kann. Somit kann die Infrarot-LED 8 für den Fahrer unauffällig verbaut werden. Eine kleine Öffnung, aus der das infrarote Licht ausstrahlt, reicht hierfür aus.It is preferably an infrared LED 8, since infrared light is not visible to the human eye, but can be detected by the interior camera 1 when using a corresponding interior camera 1. This means that the infrared LED 8 can be installed inconspicuously for the driver. A small opening from which the infrared light radiates is sufficient for this.

Zur korrekten perspektivische Darstellung auf dem LCD-Innenspiegel wird ein 3D-Modell erstellt, in dem die Positionskoordinaten eines Betrachters, die Koordinaten der Anzeigenfläche des Rückspiegels und die Koordinaten des Rückbildes (als Zusammenfügung der Bilder der Außenkameras 4-6) bekannt sind. Das Rückbild kann als zweidimensionale Fläche hinter dem Fahrzeug modelliert werden, auf dem die Kamerabilder abgebildet sind.For the correct perspective display on the LCD interior mirror, a 3D model is created in which the position coordinates of a viewer, the coordinates of the display area of the rearview mirror and the coordinates of the rear image (as a composite of the images from the exterior cameras 4-6) are known. The rear image can be modeled as a two-dimensional area behind the vehicle on which the camera images are displayed.

In 2 ist ein beispielhaftes 3D-Modell dargestellt. Das 3D-Modell umfasst die folgenden Objekte:

  • Ein Objekt ist die ebene, rechteckige Fläche ES mit den Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2), die den Koordinaten zweier auf einer Diagonale liegender Eckpunkte entsprechen; diese Fläche ES stellt die Anzeigenfläche des Rückspiegel dar. Im Beispiel von 2 ist die Anzeigenfläche Teil eines Innen-Rückspiegels bei einem Linkslenker-Fahrzeug, der sich zwischen dem Fahrer und dem Beifahrerplatz in der Nähe des oberen Bereichs der Windschutzscheibe befindet.
In 2 An exemplary 3D model is shown. The 3D model includes the following objects:
  • An object is the flat, rectangular surface ES with the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ), which correspond to the coordinates of two corner points lying on a diagonal; This area ES represents the display area of the rearview mirror. In the example of 2 The display area is part of an interior rearview mirror on a left-hand drive vehicle, located between the driver and the passenger seat near the top of the windshield.

Ein weiteres Objekt ist die ebene, rechteckige Fläche EH mit den Eckkoordinaten (xH1, yH1, zH1) und (xH2, yH2, zH2), die den Koordinaten zweier auf einer Diagonale liegender Eckpunkte entsprechen. Auf dieser ebenen Fläche EH wird das aus einer Aneinanderfügung der Bilder der RückKameras 4-6 sich ergebene Panorama-Rückbild als Hintergrundbild abgebildet.Another object is the flat, rectangular surface EH with the corner coordinates (x H1 , y H1 , z H1 ) and (x H2 , y H2 , z H2 ), which correspond to the coordinates of two corner points lying on a diagonal. The panoramic rear image resulting from an assembly of the images from the rear cameras 4-6 is displayed as a background image on this flat surface EH.

Ein weiteres Objekt ist ein in 2 nicht dargestelltes 3D-Fahrzeugobjekt, beispielsweise ein Drahtgitterobjekt, das das eigene Fahrzeug nachbildet und eine Vielzahl von Koordinaten umfasst, die wiederum vom Modelltyp des Fahrzeugs abhängen. Das 3D-Fahrzeugobjekt muss nicht vollständig sein und kann beispielsweise auf den hinteren Teil des Fahrzeugs beschränkt sein. Der Heckbereich des 3D-Fahrzeugobjekts liegt zwischen der Anzeigenfläche ES und der Fläche EH.Another object is an in 2 3D vehicle object, not shown, for example a wireframe object that replicates your own vehicle and includes a variety of coordinates, which in turn depend on the model type of the vehicle. The 3D vehicle object does not have to be complete and can, for example, be limited to the rear part of the vehicle. The rear area of the 3D vehicle object lies between the display area ES and the area EH.

Ferner sind in 2 noch die ermittelten Positionskoordinaten (xK, yK, z.K) des Kopfes 2 des Fahrers eingezeichnet. Statt der Positionskoordinaten (xK, yK, zK) des Fahrerkopfes 2 werden für den Betrachter jedoch die gespiegelten Positionskoordinaten (x'K, y'K, z'K) verwendet, die sich aus den Positionskoordinaten (xK, yK, zK) des Fahrerkopfes 2
durch Ebenenspiegelung an einer Spiegelebene ergeben, welche die Anzeigenfläche ES umfasst.Furthermore, there are 2 The determined position coordinates (x K , y K , z. K ) of the driver's head 2 are also shown. Instead of the position coordinates (x K , y K , z K ) of the driver's head 2, however, the mirrored position coordinates (x' K , y' K , z' K ) are used for the viewer, which are derived from the position coordinates (x K , y K , z K ) of the driver's head 2
result from plane mirroring on a mirror plane which includes the display area ES.

Außerdem werden die Koordinaten (xLED, yLED, zLED) der LED 8 verwendet. Diese sind durch die Fahrzeugkonstruktion gegeben und bekannt.In addition, the coordinates (x LED , y LED , z LED ) of the LED 8 are used. These are given and known by the vehicle design.

Es wird vorausgesetzt, dass die Innenraumkamera 1 fest im Rückspiegel verbaut ist und daher die Koordinaten (xCAM, yCAM, zCAM) der Innenraumkamera 1 bekannt sind. Durch Drehen und Kippen des Anzeige 7 wird entsprechend die Innenraumkamera 1 gedreht und gekippt; die Koordinaten (xCAM, yCAM, zCAM) der Innenraumkamera 1 werden jedoch hierdurch nicht verändert.It is assumed that the interior camera 1 is permanently installed in the rear-view mirror and therefore the coordinates (x CAM , y CAM , z CAM ) of the interior camera 1 are known. By rotating and tilting the display 7, the interior camera 1 is rotated and tilted accordingly; However, the coordinates (x CAM , y CAM , z CAM ) of the interior camera 1 are not changed by this.

Aus der Kopfposition (xK, yK, zK) des Fahrers und dem Dreh- und Kippwinkel des Rückspiegels ergibt sich die Position (x'K, y'K, z'K), aus der das 3D-Modell betrachtet wird. Die begrenzten Abmessungen der Anzeigenfläche ES definieren den sichtbaren Ausschnitt des Rückbildes in der Fläche EH.The position (x' K , y ' K , z' K ) from which the 3D model is viewed results from the driver's head position (x K , y K , z K ) and the rotation and tilt angle of the rear-view mirror. The limited dimensions of the advertising area ES define the visible section of the rear image in the area EH.

Wenn sich der Kopf 2 des Fahrers bewegt, so ändert sich wie bei einem konventionellen optischen Rückspiegel das auf der Anzeige 7 dargestellte Bild. Hierzu wird der auf der Anzeige 7 sichtbare Ausschnitt 20 aus dem Rückbild geändert.When the driver's head 2 moves, the image shown on the display 7 changes, as in a conventional optical rear-view mirror. For this purpose, the section 20 visible on the display 7 is changed from the rear image.

Aus dem Bild der Innenraumkamera 1 wird fortlaufend und in Echtzeit die neue Position des Fahrers berechnet und das Bild auf der Anzeige 7 entsprechend dem Betrachtungswinkel des Fahrers angepasst. Damit wird eine realistische und dem Fahrer gewohnte Sichtweise durch den Rückspiegel ermöglicht. Das Bild auf der elektronischen Anzeige 7 suggeriert dem Fahrer, dass er durch einen optischen Rückspiegel sieht. Jedoch wird ein im Vergleich zu einem konventionellen Rückspiegel verbessertes Bild ohne störende Verdeckung des rückwärtigen Sichtbereichs durch das eigene Fahrzeug und optional mit zusätzlicher Information in der elektronischen Anzeige 7 dargestellt.The driver's new position is continuously calculated in real time from the image from the interior camera 1 and the image on the display 7 is adjusted according to the driver's viewing angle. This enables a realistic view through the rear-view mirror that the driver is used to. The image on the electronic display 7 suggests to the driver that he is looking through an optical rear-view mirror. However, an image that is improved compared to a conventional rear-view mirror is displayed in the electronic display 7 without disturbing obscuration of the rear view area by the vehicle and optionally with additional information.

Die kopfadaptive Berechnung des auf der Anzeige 7 darzustellenden Bildes mittels des 3D-Modells wird beispielsweise in folgender Weise implementiert:

  • Als Ursprung (0,0,0) des verwendeten Bezugssystems wird beispielsweise die Position der Innenraumkamera gewählt, d. h. (xCAM := 0, yCAM := 0, zCAM := 0). Das gewählte Bezugssystem ist aber willkürlich und kann frei gewählt werden.
  1. 1. Zur Ermittlung der Lage der Anzeigenfläche ES des Rückspiegels im Raum erfasst die Innenraumkamera 1 die LED 8, wobei in Abhängigkeit der Bildinformation der Innenraumkamera 1 im Rechner 3 die Lage im Bezugsystem der Innenraumkamera 1 berechnet wird. Die LED 8 erscheint als heller Punkt im aufgezeichneten Bild und kann beispielsweise durch Veränderung des Kontrastes und des Farbschemas als Punkt dargestellt werden, dessen Koordinaten über einen Mustererkennungsalgorithmus ermittelt werden können. In Abhängigkeit der so ermittelten Lage der LED 8, insbesondere aus dem Vergleich der Koordinaten der Lage im Bezugssystem der Innenraumkamera 1 mit den gegebenen Koordinaten (xLED, yLED, zLED) der LED, wird der horizontale Drehwinkel und der vertikale Kippwinkel der Anzeige 7 des Rückspiegels berechnet. Hierzu wird für den horizontalen Drehwinkel und den vertikalen Kippwinkel ein Winkel von jeweils 0° als Nullwinkel-Referenz für den Fall angenommen, bei dem die ebene Anzeigenfläche ES parallel zur ebenen Fläche EH des Hintergrundbildes liegt.
The head-adaptive calculation of the image to be displayed on the display 7 using the 3D model is implemented, for example, in the following way:
  • For example, the position of the interior camera is selected as the origin (0,0,0) of the reference system used, ie (x CAM := 0, y CAM := 0, z CAM := 0). However, the chosen reference system is arbitrary and can be chosen freely.
  1. 1. To determine the position of the display area ES of the rear-view mirror in the room, the interior camera 1 detects the LED 8, the position in the reference system of the interior camera 1 being calculated in the computer 3 depending on the image information from the interior camera 1. The LED 8 appears as a bright point in the recorded image and can, for example, be displayed as a point by changing the contrast and the color scheme, the coordinates of which can be determined using a pattern recognition algorithm. Depending on the position of the LED 8 determined in this way, in particular from the comparison of the coordinates of the position in the reference system of the interior camera 1 with the given coordinates (x LED , y LED , z LED ) of the LED, the horizontal rotation angle and the vertical tilt angle of the display become 7 of the rearview mirror calculated. For this purpose, an angle of 0° is assumed for the horizontal rotation angle and the vertical tilt angle as a zero angle reference for the case in which the flat display surface ES is parallel to the flat surface EH of the background image.

Mit den bekannten Maßen der Länge und Breite der Anzeigenfläche ES und deren relativer Lage zur Innenraumkamera 1 kann in Abhängigkeit des Dreh- und Kippwinkels die ebene Anzeigenfläche ES mit den Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2) in dem 3D-Modell berechnet werden, wobei die die Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2) den Koordinaten zweier auf einer Diagonale liegender Eckpunkte der Anzeigenfläche ES entsprechen.

  • 2. Die Heckkameras 4 - 6 nehmen die Szenerie hinter dem Fahrzeug auf und senden Bilder an den Rechner 3. Hier werden beispielsweise drei Teilbilder der Heckkameras 4 - 6 zu einem Panoramabild zusammengefügt. Da die Positionskoordinaten der Kameras 4 - 6 bekannt sind, kann dieses Panoramabild auf die ebene Fläche EH mit den Eckkoordinaten (xH1, yH1, zH1) und (xH2, yH2, zH2) im dreidimensionalen Raum projiziert werden. Die Lage der ebenen Fläche EH ist vorzugsweise an die Brennweite der Kameras angepasst, so dass eine maßstabsgetreue Abbildung realisiert werden kann.
  • 3. Die Innenraumkamera 1 im Innenraum erfasst fortlaufend das Gesicht und den Kopf 2 des Fahrers und berechnet durch einen geeigneten Mustererkennungsalgorithmus die Positionskoordinaten (xK, yK, zK) des Fahrerkopfes 2.
  • 4. Um das Hintergrundbild in der ebenen Fläche EH korrekt auf der elektronischen Anzeige 7 des Rückspiegels darzustellen, werden zunächst die Koordinaten (xK, yK, zK) des Fahrerkopfes 2 an einer die ebene Fläche ES umfassenden Spiegelebene gespiegelt, woraus sich die gespiegelten Koordinaten (x'K, y'K, z'K) des Fahrerkopfes 2 ergeben. Die Spiegelebene halbiert die Verbindungsstrecke zwischen dem Punkt (xK, yK, zK) und dem gespiegelten Punkt (x'K, y'K, z'K), wobei die Verbindungsstrecke orthogonal zur Spiegelebene ist.
With the known dimensions of the length and width of the display area ES and its relative position to the interior camera 1, depending on the rotation and tilt angle, the flat display area ES can be with the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ) are calculated in the 3D model, whereby the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ) correspond to the coordinates of two corner points of the display area ES lying on a diagonal.
  • 2. The rear cameras 4 - 6 record the scenery behind the vehicle and send images to the computer 3. Here, for example, three partial images from the rear cameras 4 - 6 are combined to form a panoramic image. Since the position coordinates of the cameras 4 - 6 are known, this panoramic image can be projected onto the flat surface EH with the corner coordinates (x H1 , y H1 , z H1 ) and (x H2 , y H2 , z H2 ) in three-dimensional space. The position of the flat surface EH is preferably adapted to the focal length of the cameras so that a true-to-scale image can be realized.
  • 3. The interior camera 1 in the interior continuously records the face and head 2 of the driver and calculates the position coordinates (x K , y K , z K ) of the driver's head 2 using a suitable pattern recognition algorithm.
  • 4. To display the background image in the flat surface EH correctly on the electronic display 7 of the To represent the rearview mirror, the coordinates (x K , y K , z K ) of the driver's head 2 are first mirrored on a mirror plane encompassing the flat surface ES, from which the mirrored coordinates (x' K , y' K , z' K ) of the driver's head are obtained 2 result. The mirror plane halves the connecting distance between the point (x K , y K , z K ) and the mirrored point (x' K , y' K , z' K ), where the connecting distance is orthogonal to the mirror plane.

Mittels Zentralprojektion wird ein Ausschnitt des Hintergrundbilds der ebenen Fläche EH auf der ebenen Anzeigenfläche ES dargestellt. Zusätzlich wird das 3D-Fahrzeugobjekt auf die ebene Anzeigenfläche ES projiziert. Das Projektionszentrum, d. h. die Position des Betrachters, wird für beide Projektionen durch die gespiegelten Koordinaten (x'K, y'K, z'K) definiert. Aufgrund der Begrenztheit der ebenen Anzeigefläche ES wird nur ein Ausschnitt des Hintergrundbildes aus der ebenen Fläche EH und nur ein Teil des 3D-Fahrzeugobjektes auf der Fläche ES dargestellt.Using central projection, a section of the background image of the flat surface EH is displayed on the flat display surface ES. In addition, the 3D vehicle object is projected onto the flat display surface ES. The projection center, ie the position of the observer, is defined for both projections by the mirrored coordinates (x' K , y' K , z' K ). Due to the limitations of the flat display area ES, only a section of the background image from the flat area EH and only part of the 3D vehicle object is displayed on the area ES.

Es ist zu beachten, dass die Projektion des 3D-Fahrzeugsmodells aus Sicht des Fahrers mit der Kopfposition (xK, yK, zK) vor der Projektion des Hintergrundbildes in der EH dargestellt werden sollte.It should be noted that the projection of the 3D vehicle model from the driver's perspective with the head position (x K , y K , z K ) should be displayed before the projection of the background image in the EH.

Ferner gilt es zu beachten, dass der Fahrer von der gleichen Seite auf die Fläche ES blickt, auf der sich auch die Fläche EH befindet. Daher wird das projizierte Bild entsprechend spiegelverkehrt auf dem Anzeige 7 dargestellt. Hierzu wird das durch die Projektion des Hintergrundbildes und des 3D-Fahrzeugsmodells ergebende Bild in einem zusätzlichen Bildverarbeitungsschritt an einer vertikalen Spiegelachse gespiegelt, die durch die Mitte des Bildes geht.It should also be noted that the driver looks at the surface ES from the same side as the surface EH is located. Therefore, the projected image is shown mirror-inverted on the display 7. For this purpose, the image resulting from the projection of the background image and the 3D vehicle model is reflected in an additional image processing step on a vertical mirror axis that passes through the center of the image.

Das durch rechnerische Projektion auf die Fläche ES im Rechner 3 erzeugte Bild wird nach der Spiegelung und etwaiger zusätzlicher Weiterverarbeitungsschritte auf der elektronischen Anzeige 7 des Rückspiegels dargestellt.The image generated by computational projection onto the surface ES in the computer 3 is displayed on the electronic display 7 of the rear-view mirror after reflection and any additional processing steps.

Die Berechnung des dazustellenden Bildes erfolgt fortlaufend, so dass das Bild laufend an etwaige Änderungen des Kipp- und Drehwinkels der Anzeige 7 des Rückspiegels und etwaige Änderungen der Kopfposition des Fahrers angepasst wird.

  • 5. Optional kann Hindernisinformation einer Hindernissensorik (beispielsweise einer Einparkhilfe), die den Abstand zu rückwärtigen Hindernissen misst, ausgewertet werden und zur Einfärbung des 3D-Fahrzeugmodells (insbesondere von Teilen des Fahrzeugmodells, wie zum Beispiel die Stoßstange) verwendet werden. Rot kann dabei beispielsweise einen geringen und grün einen weiten Abstand symbolisieren. Die Einfärbung in Abhängigkeit der Hindernisinformation erfolgt vorzugsweise vor der Projektion des 3D-Fahrzeugmodells.
The calculation of the resulting image takes place continuously, so that the image is continuously adapted to any changes in the tilt and rotation angle of the display 7 of the rear-view mirror and any changes in the driver's head position.
  • 5. Optionally, obstacle information from an obstacle sensor system (for example a parking aid), which measures the distance to rear obstacles, can be evaluated and used to color the 3D vehicle model (in particular parts of the vehicle model, such as the bumper). For example, red can symbolize a small distance and green a wide distance. The coloring depending on the obstacle information is preferably carried out before the 3D vehicle model is projected.

Der vorstehend beschriebene Algorithmus wird beispielsweise gestartet, sobald der Fahrer den Rückwärtsgang einlegt und die Einparkhilfe aktiviert hat. Die Schritte unter 1. bis 4. werden ständig wiederholt, so dass durch die Echtzeitberechnung ein realistisches Bild entsteht. Der Schritt unter 5. ist optional und verbessert die Einparkhilfe. Wenn wieder der Vorwärtsgang einlegt wird, arbeitet der Rückspiegel als gewöhnlicher optischer Rückspiegel, der auf optischer Reflexion basiert. Die elektronische Anzeige 7 wird hierzu abgeschaltet.The algorithm described above is started, for example, as soon as the driver shifts into reverse gear and has activated the parking aid. The steps under 1 to 4 are constantly repeated so that a realistic image is created through the real-time calculation. The step under 5. is optional and improves the parking aid. When forward gear is engaged again, the rearview mirror works as a normal optical rearview mirror based on optical reflection. The electronic display 7 is switched off for this purpose.

3 zeigt eine Situation, bei der im Vergleich zu 2 die Kopfposition (xK, yK, zK) verändert ist, während der Dreh- und Kippwinkel der Anzeigenfläche EH gleichgeblieben ist. In 3 hat sich im Vergleich zu 2 der Kopf nach unten bewegt. Der Bildausschnitt 30 in 3 hat sich in die entgegensetzte Richtung der Kopfbewegung verschoben, nämlich nach oben und es werden in der elektronischen Anzeige 7 weiter oben liegende Bereiche des Rückbildes sichtbar. 3 shows a situation in which compared to 2 the head position (x K , y K , z K ) has changed, while the rotation and tilt angle of the display area EH has remained the same. In 3 has compared to 2 the head moves downwards. The image section is 30 in 3 has shifted in the opposite direction of the head movement, namely upwards, and areas of the rear image located further up become visible in the electronic display 7.

Das Verhalten entspricht dem Verhalten eines optischen Spiegels, bei dem der Einfallswinkel gegenüber dem Lot auf der Reflexionsebene gleich dem Ausfallswinkel gegenüber dem Lot auf der Reflexionsebene ist. Bei Bewegung des Kopfes nach unten wird der Einfallswinkel der Linie von der Kopfposition zur der Mitte der Anzeigenfläche EH gegenüber dem Lot auf der Fläche EH in vertikaler Richtung erhöht, so dass auch der Ausfallwinkel zunimmt und der dargestellte Bildausschnitt nach oben wandert.The behavior corresponds to the behavior of an optical mirror in which the angle of incidence relative to the perpendicular on the reflection plane is equal to the angle of reflection relative to the perpendicular on the reflection plane. When the head moves downwards, the angle of incidence of the line from the head position to the center of the display area EH is increased in the vertical direction compared to the perpendicular on the area EH, so that the angle of reflection also increases and the image section shown moves upwards.

Wenn sich der Kopf (statt nach unten) seitlich auf die Anzeigenfläche ES weiter zubewegt (der Fahrer also seinen Kopf aus der Fahrersicht nach rechts bewegt), verschiebt sich der Bildausschnitt (statt nach oben) im Rückbild weiter nach rechts (nicht dargestellt). Der spiegelverkehrte Bildausschnitt auf der Anzeige 7 verschiebt sich jedoch aus Sicht des Fahrers in entgegengesetzter Richtung zur Kopfbewegung, nämlich nach links, und es werden weiter links liegende Bildobjekte sichtbar.If the head moves laterally towards the display area ES (instead of downwards) (i.e. the driver moves his head to the right from the driver's perspective), the image section shifts further to the right (instead of upwards) in the rear image (not shown). However, from the driver's perspective, the mirror-inverted image section on the display 7 shifts in the opposite direction to the head movement, namely to the left, and image objects further to the left become visible.

Das Verhalten entspricht dem Verhalten eines optischen Spiegels. Bei Bewegung des Kopfes nach rechts wird der Einfallswinkel der Linie von der Kopfposition zur der Mitte der Anzeigenfläche EH gegenüber dem Lot auf der Fläche EH in horizontaler Richtung verringert, so dass auch der Ausfallwinkel abnimmt. Im optischen Spiegel verschiebt sich für den Betrachter der Bildausschnitt dann nach links.The behavior corresponds to the behavior of an optical mirror. When the head moves to the right, the angle of incidence of the line from the head position to the center of the display area EH is reduced in the horizontal direction compared to the perpendicular on the area EH, so that the angle of reflection also decreases. In the optical mirror, the image section then shifts to the left for the viewer.

4 zeigt eine Situation, bei der im Vergleich zu 2 die Kopfposition (xK, yK, zK) gleich geblieben ist, während sich der horizontale Drehwinkel der Anzeigenfläche EH geändert hat. Die Anzeigenfläche wurde in Richtung des Fahrers gedreht und der Bildausschnitt 40 hat sich im Vergleich zu dem Bildausschnitt 20 in 2 weiter nach rechts verschoben. Der spiegelverkehrte Ausschnitt auf der Anzeige 7 verschiebt sich jedoch für den Fahrer nach links und es werden weiter links liegende Bildobjekte auf der Anzeige 7 sichtbar. 4 shows a situation in which compared to 2 the head position (x K , y K , z K ) has remained the same while the horizontal rotation angle of the display area EH has changed. The display area was rotated towards the driver and the image section 40 was compared to the image section 20 in 2 shifted further to the right. However, the mirror-inverted section on the display 7 shifts to the left for the driver and image objects further to the left become visible on the display 7.

5 zeigt ein beispielhaftes Bild der elektronischen Anzeige 7 aus Sicht des Fahrers. Neben dem in Abhängigkeit der Kopfposition bestimmten spiegelverkehrten Ausschnitt des Rückbildes umfasst das Bild ein Drahtgittermodell des Fahrzeugs. Hier ist das hintere Interieur des Fahrzeugs dargestellt. Aufgrund der Verwendung eines Drahtgittermodells kann vom Fahrer durch die Flächen des Fahrzeugs hindurchgesehen werden. 5 shows an exemplary image of the electronic display 7 from the driver's perspective. In addition to the mirror-inverted section of the rear image, which is determined depending on the head position, the image includes a wireframe model of the vehicle. The rear interior of the vehicle is shown here. Due to the use of a wireframe model, the driver can see through the surfaces of the vehicle.

Vorstehend wurde die Berechnung eines Bildes für einen elektronischen Innenraum-Rückspiegel beschrieben. In gleicher Weise kann die Berechnung eines Bildes für einen elektronischer Außen-Rückspiegel (an der Position eines Außenspiegels 15 oder 16 in 1) realisiert werden mit dem Unterschied, dass der Dreh- und Kippwinkel der Anzeigenfläche des Außen-Rückspiegels bei einem elektrisch verstellbaren Außenspiegel direkt aus der Steuerung des Außenspiegels ermittelt werden kann.The calculation of an image for an electronic interior rearview mirror was described above. In the same way, the calculation of an image for an electronic exterior rearview mirror (at the position of an exterior mirror 15 or 16 in 1 ) can be implemented with the difference that the rotation and tilt angle of the display surface of the exterior rear-view mirror can be determined directly from the control of the exterior mirror in the case of an electrically adjustable exterior mirror.

Folgende weitere Modifikationen sind möglich:The following further modifications are possible:

Die Anzahl der Außenkameras 3-6 kann reduziert werden, indem eine oder mehrere Kameras mit entsprechend kleiner Brennweite (auch als Fish-Eye-Kamera bekannt) verwendet werden, wobei die daraus resultierenden Verzerrungen in dem Rechner 3 herausgerechnet werden.The number of external cameras 3-6 can be reduced by using one or more cameras with a correspondingly small focal length (also known as a fish-eye camera), with the resulting distortions being calculated out in the computer 3.

Ferner ist es auch möglich, eine elektronische Anzeige 7 zu verwenden, in der oder auf der ein optischer Spiegel integriert ist, welcher im Wesentlichen Deckungsgleich mit der Anzeigenfläche ist, wobei jedoch das Bild der elektronischen Anzeige und das optische Spiegelbild gleichzeitig überlagert werden. In diesem Fall erscheint das eigene Fahrzeug halbtransparent, da das mittels des optischen Spiegels gewonnene Bild des eigenen Fahrzeugs mit dem Kamerabild überlagert ist. Diese halbtransparente Darstellung erfordert eine sehr genaue Ermittlung der Positionskoordinaten des Kopfes. Ein hinreichend großer Fehler in der Positionsbestimmung des Kopfes führt ansonsten durch die Überlagerung des Kamera- und des Spiegelbildes zu Doppelbildern, was als sehr störend empfunden wird.Furthermore, it is also possible to use an electronic display 7 in or on which an optical mirror is integrated, which is essentially congruent with the display area, but the image of the electronic display and the optical mirror image are superimposed at the same time. In this case, your vehicle appears semi-transparent because the image of your vehicle obtained using the optical mirror is superimposed on the camera image. This semi-transparent representation requires a very precise determination of the position coordinates of the head. A sufficiently large error in determining the position of the head will otherwise lead to double images due to the superimposition of the camera and mirror images, which is perceived as very disturbing.

Zur Darstellung des Fahrzeugs sollte ein Fahrzeugtyp spezifisches 3D-Modell verwenden. Die Flächen des Fahrzeugs können als halbtransparente Flächen dargestellt werden. Die Farbe der sichtbaren Fahrzeugkomponenten des Modells (beispielsweise die Farbe der Rücksitze) kann der tatsächlichen Farbe der realen Fahrzeugkomponenten bei dem speziellen Fahrzeug nachempfunden werden, so dass ein wirklichkeitsgetreues halbtransparentes Fahrzeugmodell eingeblendet wird. Die Farbe kann beispielsweise aus dem Fahrzeugauftrag ausgelesen werden und bereits während der Herstellung des Fahrzeugs voreingestellt werden.A vehicle type-specific 3D model should be used to represent the vehicle. The surfaces of the vehicle can be displayed as semi-transparent surfaces. The color of the visible vehicle components of the model (e.g. the color of the rear seats) can be modeled on the actual color of the real vehicle components in the specific vehicle, so that a realistic semi-transparent vehicle model is displayed. The color can, for example, be read from the vehicle order and preset during the production of the vehicle.

In die Darstellung können auch weitere Hilfslinien wie beispielsweise der Rangierradius bei Volleinschlag des Lenkrades eingezeichnet werden.Additional auxiliary lines can also be drawn into the display, such as the maneuvering radius when the steering wheel is fully turned.

Außerdem ist es denkbar, dass der Fahrer den Grad der Transparenz selbst festlegt und den Gegebenheiten anpasst.It is also conceivable that the driver determines the level of transparency himself and adapts it to the circumstances.

Claims (14)

Elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrzeugfahrer, umfassend - mindestens eine Rückkamera (4-6) zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug, - eine Positionserfassungseinrichtung (1, 3) zum Erfassen einer Kopfposition des Fahrers, - ein Bildberechnungsmittel (3) zum Berechnen eines Bildes, welches eingerichtet ist, in Abhängigkeit der Kopfposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen, und - einen eine elektronische Anzeige (7) umfassenden elektronischen Rückspiegel, dessen Anzeige (7) eingerichtet ist, das von dem Bildberechnungsmittel (3) berechnete Bild anzuzeigen, dadurch gekennzeichnet, dass - die Ausrichtung der elektronischen Anzeige (7) veränderbar ist und der spiegelverkehrte Bildausschnitt von der eingestellten Ausrichtung der elektronischen Anzeige (7) abhängt, - das System eine Innenraum-Kamera (1) und eine Referenzlichtquelle (8) umfasst, wobei der elektronische Rückspiegel die Innenraum-Kamera (1) umfasst und bei Ändern der Ausrichtung der Anzeige (7) auch die Ausrichtung der Innenraum-Kamera (1) verändert wird, und - das Rückspiegel-System eingerichtet ist, durch Erfassen der Referenzlichtquelle (8) mittels der Innenraum-Kamera (1) die Ausrichtung der elektronischen Anzeige (7) oder der Innenraum-Kamera (1) zu bestimmen.Electronic rear-view mirror system for displaying a rear surrounding area behind the motor vehicle for the vehicle driver, comprising - at least one rear camera (4-6) for recording a rear image of a rear surrounding area behind the vehicle, - a position detection device (1, 3) for detecting a head position of the Driver, - an image calculation means (3) for calculating an image, which is set up to determine a mirror-inverted image section from the rear image depending on the head position, and - an electronic rearview mirror comprising an electronic display (7), the display (7) of which is set up to display the image calculated by the image calculation means (3), characterized in that - the orientation of the electronic display (7) can be changed and the mirror-inverted image section depends on the set orientation of the electronic display (7), - the system is an interior camera (1) and a reference light source (8), wherein the electronic rear-view mirror includes the interior camera (1) and when the orientation of the display (7) is changed, the orientation of the interior camera (1) is also changed, and - the rear-view mirror -System is set up to determine the orientation of the electronic display (7) or the interior camera (1) by detecting the reference light source (8) using the interior camera (1). Elektronisches Rückspiegel-System nach Anspruch 1, wobei der elektronische Rückspiegel an einer typischen Position eines Innen-Rückspiegels oder eines Außen-Rückspiegels angeordnet ist.Electronic rearview mirror system Claim 1 , being the electronic rearview mirror is arranged at a typical position of an interior rearview mirror or an exterior rearview mirror. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei bei Bewegung des Kopfes (2) sich der spiegelverkehrte Bildausschnitt verschiebt und/oder sich die Vergrößerung des spiegelverkehrten Bildausschnitts verändert.Electronic rear-view mirror system according to one of the preceding claims, wherein when the head (2) moves, the mirror-inverted image section shifts and / or the magnification of the mirror-inverted image section changes. Elektronisches Rückspiegel-System nach Anspruch 3, wobei das Bildberechnungsmittel (3) derart eingerichtet ist, dass bei einer Kopfbewegung mit gleichbleibendem Abstand zu der Anzeigenfläche sich der spiegelverkehrte Bildausschnitt in entgegengesetzter Richtung zu der Kopfbewegung verschiebt.Electronic rearview mirror system Claim 3 , wherein the image calculation means (3) is set up in such a way that when the head moves at a constant distance from the display area, the mirror-inverted image section shifts in the opposite direction to the head movement. Elektronisches Rückspiegel-System nach einem der Ansprüche 3 oder 4, wobei das Bildberechnungsmittel (3) derart eingerichtet ist, dass bei Zubewegen des Kopfes (2) auf die elektronische Anzeige (7) entlang der Richtung zwischen Kopfposition und der elektronischen Anzeige (7) die Vergrößerung des spiegelverkehrten Bildausschnitts abnimmt.Electronic rearview mirror system according to one of the Claims 3 or 4 , wherein the image calculation means (3) is set up in such a way that when the head (2) moves towards the electronic display (7) along the direction between the head position and the electronic display (7), the magnification of the mirror-inverted image section decreases. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei - das Bildberechnungsmittel (3) zur Berechnung des Bildes ein 3D-Modell mit einer Anzeigenfläche der elektronischen Anzeige (7), dem Rückbild und einem Betrachter verwendet, wobei die Position des Betrachters der Kopfposition (xK, yK, zK) entspricht oder die Position des Betrachters in Abhängigkeit der Kopfposition (xK, yK, zK) bestimmt wird, und - das Bildberechnungsmittel (3) eingerichtet ist, einen Bildausschnitt (20, 30, 40) aus dem Rückbild mittels einer rechnerischen Projektion des Rückbildes auf die Anzeigenfläche (ES) zu bestimmen.Electronic rear-view mirror system according to one of the preceding claims, wherein - the image calculation means (3) uses a 3D model with a display area of the electronic display (7), the rear image and a viewer to calculate the image, the position of the viewer being the head position ( x K , y K , z K ) corresponds or the position of the viewer is determined depending on the head position (x K , y K , z K ), and - the image calculation means (3) is set up to produce an image section (20, 30, 40 ) from the rear image by means of a mathematical projection of the rear image onto the display area (ES). Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei das System umfasst: - eine Mehrzahl von Rückkameras (4-6), welche an unterschiedlichen Positionen angeordnet sind und jeweils ein Teilrückbild aufnehmen, und - das Bildberechnungsmittel (3) eingerichtet ist, die Teilrückbilder der Mehrzahl von Rückkameras (3-6) zu dem Rückbild zusammenzufügen.Electronic rearview mirror system according to one of the preceding claims, wherein the system comprises: - a plurality of rear cameras (4-6), which are arranged at different positions and each record a partial rear image, and - The image calculation means (3) is set up to combine the partial rear images of the plurality of rear cameras (3-6) into the rear image. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei das Bildberechnungsmittel (3) eingerichtet ist, das Bild derart zu berechnen, dass dieses eine Darstellung des Kraftfahrzeugs umfasst, insbesondere in Form eines Drahtgittermodells und/oder eines Modells mit halbtransparenten Flächen, wobei die Darstellung des Kraftfahrzeugs eine Durchsicht durch Flächen des Fahrzeugs erlaubt.Electronic rear-view mirror system according to one of the preceding claims, wherein the image calculation means (3) is set up to calculate the image in such a way that it includes a representation of the motor vehicle, in particular in the form of a wireframe model and / or a model with semi-transparent surfaces, the representation of the motor vehicle allows a view through surfaces of the vehicle. Elektronisches Rückspiegel-System nach Anspruch 8, wobei das Bildberechnungsmittel (3) eingerichtet ist, Hindernisinformation einer Hindernissensorik zur Überwachung eines rückwärtigen Umgebungsbereiches entgegen zu nehmen und die Darstellung des Kraftfahrzeugs, insbesondere die verwendete Farbe zur Darstellung des Fahrzeugs oder einer Fahrzeugkomponente, von der Hindernisinformation abhängig ist.Electronic rearview mirror system Claim 8 , wherein the image calculation means (3) is set up to receive obstacle information from an obstacle sensor system for monitoring a rear surrounding area and the representation of the motor vehicle, in particular the color used to represent the vehicle or a vehicle component, is dependent on the obstacle information. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei - in oder auf der Anzeige (7) ein optischer Spiegel integriert ist, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist, - der Rückspiegel in einem ersten Betriebsmodus betreibbar ist, in dem die elektronische Anzeige aktiv ist, und - der Rückspiegel in einem zweiten Betriebsmodus betreibbar ist, in dem die Anzeige deaktiv ist und der Rückspiegel als optischer Rückspiegel arbeitet.Electronic rearview mirror system according to one of the preceding claims, wherein - an optical mirror is integrated in or on the display (7), which is essentially congruent with the display area, - the rearview mirror can be operated in a first operating mode in which the electronic display is active, and - The rear-view mirror can be operated in a second operating mode in which the display is deactivated and the rear-view mirror works as an optical rear-view mirror. Elektronisches Rückspiegel-System nach Anspruch 10, wobei das elektronische Rückspiegel-System eingerichtet ist, die Wahl des Betriebsmodus in Abhängigkeit des eingelegten Getriebegangs zu steuern.Electronic rearview mirror system Claim 10 , whereby the electronic rearview mirror system is set up to control the selection of the operating mode depending on the gear selected. Elektronisches Rückspiegel-System nach einem der Ansprüche 1-9, wobei - in oder auf der Anzeige (7) ein optischer Spiegel integriert ist, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist, und - das berechnete Bild und das optische Spiegelbild gleichzeitig sichtbar sind.Electronic rearview mirror system according to one of the Claims 1 - 9 , wherein - an optical mirror is integrated in or on the display (7), which is essentially congruent with the display area, and - the calculated image and the optical mirror image are visible at the same time. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei das angezeigte Bild dem Bild eines optischen Rückspiegels ohne die für den optischen Rückspiegel typische Sichtverdeckung durch das eigene Fahrzeug im Wesentlichen entspricht.Electronic rear-view mirror system according to one of the preceding claims, wherein the displayed image essentially corresponds to the image of an optical rear-view mirror without the visual obscuration by one's own vehicle that is typical of the optical rear-view mirror. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei der Rückspiegel zwischen dem Fahrer- und Beifahrersitz an der Windschutzscheibe oder am Dach oberhalb der Windschutzscheibe angebracht ist.Electronic rearview mirror system according to one of the preceding claims, wherein the rearview mirror is attached between the driver and passenger seats on the windshield or on the roof above the windshield.
DE102012203491.9A 2012-03-06 2012-03-06 Electronic rearview mirror system Active DE102012203491B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012203491.9A DE102012203491B4 (en) 2012-03-06 2012-03-06 Electronic rearview mirror system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012203491.9A DE102012203491B4 (en) 2012-03-06 2012-03-06 Electronic rearview mirror system

Publications (2)

Publication Number Publication Date
DE102012203491A1 DE102012203491A1 (en) 2013-09-12
DE102012203491B4 true DE102012203491B4 (en) 2024-01-04

Family

ID=49029542

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012203491.9A Active DE102012203491B4 (en) 2012-03-06 2012-03-06 Electronic rearview mirror system

Country Status (1)

Country Link
DE (1) DE102012203491B4 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013020950B4 (en) * 2013-12-12 2023-11-23 Connaught Electronics Ltd. Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
DE102014200963B4 (en) 2014-01-21 2024-01-18 Robert Bosch Gmbh Rear-view mirror device, vehicle and method for operating a rear-view mirror device
DE102015202846B4 (en) 2014-02-19 2020-06-25 Magna Electronics, Inc. Vehicle vision system with display
DE102014005834A1 (en) 2014-04-19 2015-04-23 Audi Ag Driver assistance system for a motor vehicle
DE102014220524A1 (en) * 2014-10-09 2015-10-22 Conti Temic Microelectronic Gmbh Device for assisting a driver of a vehicle and vehicle
TR201821253T4 (en) * 2014-10-23 2019-01-21 Tofas Tuerk Otomobil Fabrikasi Anonim Sirketi A Rear View System
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
DE102015209187B3 (en) 2015-05-20 2016-09-29 Volkswagen Aktiengesellschaft Monitoring device for a motor vehicle
US20180281685A1 (en) * 2017-04-03 2018-10-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view manual adjustment perspective change system and method
EP3992759A1 (en) * 2020-10-30 2022-05-04 Continental Automotive GmbH Gesture control for displaying images on an electronic rearview mirror
CN113879214A (en) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 Display method of electronic rearview mirror, electronic rearview mirror display system and related equipment
CN114633692B (en) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 Application method of eccentric lens in CMS system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29612536U1 (en) 1996-07-19 1996-09-12 Li Tony Panorama review arrangement
DE19801884A1 (en) 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
WO2003005102A1 (en) 2001-06-30 2003-01-16 Robert Bosch Gmbh Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
US20030108222A1 (en) 2001-12-12 2003-06-12 Kabushikikaisha Equos Research Image processing system for vehicle
DE10164516A1 (en) 2001-12-19 2003-07-10 Magna Auteca Ag Weiz Electronic vehicle rearview system
EP1527606B1 (en) 2002-07-25 2008-11-12 Koninklijke Philips Electronics N.V. Viewing system
JP2009100180A (en) 2007-10-16 2009-05-07 Denso Corp Vehicular rear monitoring device
DE102008019732A1 (en) 2008-04-18 2009-10-22 Volkswagen Ag Electronic outside mirror controlling method for motor vehicle, involves changing image section, which is displayed on display element, depending on determined head positions of driver of motor vehicle
DE102008059269A1 (en) 2008-11-27 2010-06-02 Josef Kirchler Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image
DE102009020300A1 (en) 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices
DE102005000739B4 (en) 2004-01-16 2010-11-25 Kabushiki Kaisha Honda Lock Vehicle vision support system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007044536A1 (en) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Device for monitoring the environment of a motor vehicle

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29612536U1 (en) 1996-07-19 1996-09-12 Li Tony Panorama review arrangement
DE19801884A1 (en) 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
WO2003005102A1 (en) 2001-06-30 2003-01-16 Robert Bosch Gmbh Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
US20030108222A1 (en) 2001-12-12 2003-06-12 Kabushikikaisha Equos Research Image processing system for vehicle
DE10164516A1 (en) 2001-12-19 2003-07-10 Magna Auteca Ag Weiz Electronic vehicle rearview system
EP1527606B1 (en) 2002-07-25 2008-11-12 Koninklijke Philips Electronics N.V. Viewing system
DE102005000739B4 (en) 2004-01-16 2010-11-25 Kabushiki Kaisha Honda Lock Vehicle vision support system
JP2009100180A (en) 2007-10-16 2009-05-07 Denso Corp Vehicular rear monitoring device
DE102008019732A1 (en) 2008-04-18 2009-10-22 Volkswagen Ag Electronic outside mirror controlling method for motor vehicle, involves changing image section, which is displayed on display element, depending on determined head positions of driver of motor vehicle
DE102008059269A1 (en) 2008-11-27 2010-06-02 Josef Kirchler Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image
DE102009020300A1 (en) 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices

Also Published As

Publication number Publication date
DE102012203491A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
DE102012203491B4 (en) Electronic rearview mirror system
DE102008034594B4 (en) Method and information system for informing an occupant of a vehicle
DE102012102508B4 (en) Adjustment method and system of a smart vehicle imaging device
EP2377725B1 (en) Side mirror simulation
DE202014102291U1 (en) Rearview mirror position using rearview camera system
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102016106255A1 (en) Vehicle exterior camera systems and methods
DE102017005040A1 (en) A display apparatus for a vehicle, a method of forming a virtual image, and a computer program product
EP3485347B1 (en) Method for operating a display device of a motor vehicle
DE10059315A1 (en) Arrangement and method for monitoring the surroundings of a vehicle
DE102011118253B4 (en) Method for operating an electronic rearview mirror of a motor vehicle and motor vehicle
DE102013220669A1 (en) Dynamic rearview indicator features
DE102014107158A1 (en) Improved top-down imaging in a front curb visualization system
DE102007059735A1 (en) Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle
DE102006009566A1 (en) Preventing motion sickness disturbances of motor vehicle passengers involves displaying contents of image information on visual display(s) without alteration for those passengers that have at least partly no free view of surroundings
EP3834031B1 (en) Method for operating a visual field display device for a motor vehicle
DE102012212577A1 (en) SYSTEM AND METHOD FOR A VIDEO WITH IMPROVED DEEP PERCEPTION
DE102018100194B3 (en) Mirror replacement system and method for displaying image and / or video data of the environment of a motor vehicle
DE102015209187B3 (en) Monitoring device for a motor vehicle
EP3231668A1 (en) Vehicle, in particular commercial vehicle, with a mirror replacement system
DE102016114689A1 (en) A method for assisting the driver of a motor vehicle when maneuvering the motor vehicle with a trailer, driver assistance system and team
EP2500216A1 (en) Method and device for images for a driver assistance system
DE102013209366B4 (en) Display device and method for displaying information in a vehicle
DE102007016055A1 (en) Vehicle i.e. car, surroundings monitoring device for e.g. assisting view of driver, has top view video transformation unit transforming video that is recorded by imaging unit into top view video, and display displaying top view video
DE102013020875A1 (en) Method for displaying the external viewing conditions in a vehicle, in particular a commercial vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division