DE102012203491B4 - Electronic rearview mirror system - Google Patents
Electronic rearview mirror system Download PDFInfo
- Publication number
- DE102012203491B4 DE102012203491B4 DE102012203491.9A DE102012203491A DE102012203491B4 DE 102012203491 B4 DE102012203491 B4 DE 102012203491B4 DE 102012203491 A DE102012203491 A DE 102012203491A DE 102012203491 B4 DE102012203491 B4 DE 102012203491B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- display
- electronic
- mirror
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 40
- 230000004886 head movement Effects 0.000 claims description 5
- 230000036961 partial effect Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 58
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrzeugfahrer, umfassend- mindestens eine Rückkamera (4-6) zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug,- eine Positionserfassungseinrichtung (1, 3) zum Erfassen einer Kopfposition des Fahrers,- ein Bildberechnungsmittel (3) zum Berechnen eines Bildes, welches eingerichtet ist, in Abhängigkeit der Kopfposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen, und- einen eine elektronische Anzeige (7) umfassenden elektronischen Rückspiegel, dessen Anzeige (7) eingerichtet ist, das von dem Bildberechnungsmittel (3) berechnete Bild anzuzeigen, dadurch gekennzeichnet, dass- die Ausrichtung der elektronischen Anzeige (7) veränderbar ist und der spiegelverkehrte Bildausschnitt von der eingestellten Ausrichtung der elektronischen Anzeige (7) abhängt,- das System eine Innenraum-Kamera (1) und eine Referenzlichtquelle (8) umfasst, wobei der elektronische Rückspiegel die Innenraum-Kamera (1) umfasst und bei Ändern der Ausrichtung der Anzeige (7) auch die Ausrichtung der Innenraum-Kamera (1) verändert wird, und- das Rückspiegel-System eingerichtet ist, durch Erfassen der Referenzlichtquelle (8) mittels der Innenraum-Kamera (1) die Ausrichtung der elektronischen Anzeige (7) oder der Innenraum-Kamera (1) zu bestimmen.Electronic rear-view mirror system for displaying a rear surrounding area behind the motor vehicle for the vehicle driver, comprising - at least one rear camera (4-6) for recording a rear image of a rear surrounding area behind the vehicle, - a position detection device (1, 3) for detecting a head position of the Driver, - an image calculation means (3) for calculating an image, which is set up to determine a mirror-inverted image section from the rear image depending on the head position, and - an electronic rearview mirror comprising an electronic display (7), the display (7) of which is set up , to display the image calculated by the image calculation means (3), characterized in that - the orientation of the electronic display (7) can be changed and the mirror-inverted image section depends on the set orientation of the electronic display (7), - the system is an interior camera (1) and a reference light source (8), wherein the electronic rearview mirror includes the interior camera (1) and when the orientation of the display (7) is changed, the orientation of the interior camera (1) is also changed, and - the rearview mirror -System is set up to determine the orientation of the electronic display (7) or the interior camera (1) by detecting the reference light source (8) using the interior camera (1).
Description
Die Erfindung betrifft ein elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrer des Kraftfahrzeugs.The invention relates to an electronic rear-view mirror system for displaying a rear environmental area behind the motor vehicle for the driver of the motor vehicle.
Kraftfahrzeuge verfügen im Allgemeinen über mehrere optische Rückspiegel, die das Beobachten des rückwärtigen Fahrzeugs erlauben. Hierbei wird zwischen Innenspiegeln und Außenspiegeln (auch als Seitenspiegel bezeichnet) unterschieden. Der Innenspiegel befindet sich typischerweise in der Mitte zwischen dem Fahrersitz und dem Beifahrersitz an Windschutzschutzscheibe und ist kipp- und schwenkbar. Der Außenspiegel ist typischerweise jeweils links und rechts am Fahrzeug angebracht, häufig in der Nähe der A-Säule.Motor vehicles generally have several optical rear-view mirrors that allow the vehicle behind to be observed. A distinction is made between interior mirrors and exterior mirrors (also known as side mirrors). The interior mirror is typically located in the middle between the driver's seat and the passenger seat on the windshield and can be tilted and swiveled. The exterior mirror is typically mounted on the left and right of the vehicle, often near the A-pillar.
Nachteilig an optischen Rückspiegeln ist, dass die Sicht auf die rückwärtige Umgebung des Fahrzeugs durch das Fahrzeug zu einem großen Teil verdeckt wird. Beim Betrachten des Innenspiegel ist dabei typischerweise im Wesentlichen nur der Bereich der Heckscheibe und der hinteren Seitenscheiben sichtbar, die übrigen Bereiche werden durch das Fahrzeug verdeckt. Außerdem kann die Sicht durch eine Person auf der Rückbank erschwert werden. Beim Betrachten der Außenspiegel wird der Bereich hinter dem Fahrzeug durch die Karosserie des Fahrzeugs verdeckt. Durch die Verdeckung kann der Fahrer den Abstand des eigenen Fahrzeugs zu Hindernissen, wie einem parkenden Fahrzeug, nur schwer abschätzen. Dem Fahrer wird so das Einparken und Rangieren erschwert.The disadvantage of optical rear-view mirrors is that the view of the surroundings behind the vehicle is largely obscured by the vehicle. When looking at the interior mirror, typically only the area of the rear window and the rear side windows is visible; the remaining areas are covered by the vehicle. In addition, visibility can be made difficult by a person in the back seat. When looking at the exterior mirrors, the area behind the vehicle is obscured by the vehicle's body. The concealment makes it difficult for the driver to estimate the distance of their own vehicle to obstacles such as a parked vehicle. This makes parking and maneuvering more difficult for the driver.
Aus dem Stand der Technik sind sogenannte kameraunterstützte Einparkhilfen bekannt, bei denen eine Rückfahrkamera im Fahrzeugheck zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug verwendet wird. Interaktive Spur- und Wendekreislinien helfen zudem den Lenkradwinkel für das Einparken zu bestimmen. Die aufgenommene Bild wird auf eine Anzeige im Fahrzeug-Cockpit dargestellt.So-called camera-assisted parking aids are known from the prior art, in which a reversing camera in the rear of the vehicle is used to record a rear image of a rear surrounding area behind the vehicle. Interactive lane and turning circle lines also help to determine the steering wheel angle for parking. The captured image is shown on a display in the vehicle cockpit.
Aus der Druckschrift
Aus der Druckschrift
In der Druckschrift
Aus der Druckschrift
In der Druckschrift
Aus der Druckschrift
verändert wird.From the
is changed.
Aus der Druckschrift
Zum Stand der Technik wird ferner noch auf die Druckschriften
Es ist Aufgabe der Erfindung, eine Vorrichtung zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug anzugeben, bei welcher der von einem konventionellen optischen Rückspiegel bekannte Nachteil der Verdeckung durch das eigene Fahrzeug ausgeräumt ist und welches sich intuitiv vom Fahrer handhaben lässt.It is the object of the invention to provide a device for displaying a rear environmental area behind the motor vehicle, in which the disadvantage of concealment by one's own vehicle, known from a conventional optical rear-view mirror, is eliminated and which can be handled intuitively by the driver.
Die Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben.The task is solved by the features of
Das erfindungsgemäße elektronische Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs umfasst mindestens eine Rückkamera zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug. Vorzugsweise wird eine Mehrzahl von Rückkameras verwendet, welche an unterschiedlichen Positionen angeordnet sind und jeweils ein Teilrückbild aufnehmen. Die Teilrückbilder der Rückkameras werden dann zu dem Rückbild zusammengefügt.The electronic rearview mirror system according to the invention for displaying a rear surrounding area comprises at least one rear camera for recording a rear image of a rear surrounding area behind the vehicle. Preferably, a plurality of rear cameras are used, which are arranged at different positions and each record a partial rear image. The partial rear images from the rear cameras are then combined to form the rear image.
Ferner wird eine Positionserfassungseinrichtung zum Erfassen einer Kopfposition des Fahrers verwendet, beispielsweise handelt es sich bei der erfasste Kopfposition um die mittlere Position beider Augen. Positionserfassungseinrichtungen zum Erfassen der Kopfposition sind beispielsweise aus den Druckschriften
Zur Positionserfassung wird vorzugsweise eine Innenraum-Kamera verwendet. Das aufgezeichnete Bild kann mittels bekannter Mustererkennungsalgorithmen analysiert werden, um die Position des Kopfes, insbesondere der Augen, zu bestimmen.An indoor camera is preferably used to record the position. The recorded image can be analyzed using known pattern recognition algorithms to determine the position of the head, particularly the eyes.
Außerdem ist ein Bildberechnungsmittel zum Berechnen eines anzuzeigenden Bildes vorhanden. Die Bestimmung der Position- und die Berechnung des Bildes können mittels eines gemeinsamen Rechners erfolgen. Das Bildberechnungsmittel ist eingerichtet, in Abhängigkeit der Fahrerposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen. Zur Bestimmung eines Bildausschnitts aus dem Rückbild kann beispielsweise eine Projektion verwendet werden, wie dies später noch erläutert wird. Das anzuzeigende Bild kann nur Bildinformation des Rückbilds umfassen; alternativ kann das Bild noch weitere Elemente umfassen, beispielsweise eine Drahtgitterdarstellung des eigenen Fahrzeugs und/oder Rangierhinweise.There is also an image calculation means for calculating an image to be displayed. The determination of the position and the calculation of the image can be done using a common computer. The image calculation means is set up to determine a mirror-inverted image section from the rear image depending on the driver's position. To determine an image section from the rear image, a projection can be used, for example, as will be explained later. The image to be displayed can only include image information of the back image; alternatively, the image can include further elements, for example a wireframe representation of your own vehicle and/or maneuvering instructions.
Die Spiegelverkehrung ist notwendig, um das Verhalten eines optischen Rückspiegels zu imitieren, da das Bild eines optischen Rückspiegels gegenüber der Wirklichkeit spiegelverkehrt ist. Um ein spiegelverkehrtes Bild zu erhalten, kann beispielsweise zunächst ein Bildausschnitt aus dem Rückbild bestimmt werden (beispielsweise durch Projektion) und anschließend der Bildausschnitt in ein spiegelverkehrtes Bild umgerechnet werden. Alternativ kann das Rückbild auch zunächst in ein spiegelverkehrtes Rückbild umgerechnet werden und anschließend ein Bildausschnitt aus dem spiegelverkehrten Rückbild bestimmt werden.The mirror reversal is necessary to imitate the behavior of an optical rear-view mirror, since the image of an optical rear-view mirror is mirror-inverted compared to reality. In order to obtain a mirror-inverted image, for example, an image section can first be determined from the rear image (for example by projection) and then the image section can be converted into a mirror-inverted image. Alternatively, the rear image can also first be converted into a mirrored rear image and then an image section can be determined from the mirrored rear image.
Ferner ist ein elektronischer Rückspiegel vorgesehen, welcher eine elektronische Anzeige umfasst, die das von dem Bildberechnungsmittel berechnete Bild anzeigt. Bei der elektronischen Anzeige handelt es sich beispielsweise um eine Flüssigkristallanzeige, auch als LCD-Display bezeichnet (LCD - Liquid Crystal Display).Furthermore, an electronic rearview mirror is provided, which includes an electronic display that displays the image calculated by the image calculation means. The electronic display is, for example, a liquid crystal display, also known as an LCD display (LCD - Liquid Crystal Display).
Das angezeigte Bild entspricht vorzugsweise dem Bild eines optischen Rückspiegels ohne die für den optischen Rückspiegel typische Sichtverdeckung durch das eigene Fahrzeug. Das eigene Fahrzeug kann dabei beispielsweise als Drahtgittermodell oder als Modell mit halbtransparenten Flächen im dem Bild enthalten sein. Bei halbtransparenten Flächen sind sowohl die Flächen als auch der Hintergrund hinter den Flächen sichtbar. Es kann auch ein Drahtgittermodell mit halbtransparenten Flächen verwendet werden.The displayed image preferably corresponds to the image of an optical rear-view mirror without the visual obscuration by one's own vehicle that is typical of the optical rear-view mirror. Your own vehicle can be included in the image as a wireframe model or as a model with semi-transparent surfaces. With semi-transparent surfaces, both the surfaces and the background behind the surfaces are visible. A wireframe model with semi-transparent surfaces can also be used.
Der elektronische Rückspiegel ist vorzugsweise an einer typischen Position eines Innen-Rückspiegels oder eines Außen-Rückspiegels angeordnet. Beispielsweise ist der Rückspiegel im Fall eines Innen-Rückspiegels zwischen dem Fahrer- und Beifahrersitz im oberen Bereich der Windschutzscheibe angebracht (oder am Dach in der Nähe der oberen Begrenzung des Windschutzscheibe) oder im Fall eines Außen-Rückspiegels in der Nähe der A-Säule angeordnet, beispielsweise am sogenannten Spiegeldreieck.The electronic rearview mirror is preferably arranged at a typical position of an interior rearview mirror or an exterior rearview mirror. For example, in the case of an interior rearview mirror, the rearview mirror is mounted between the driver and passenger seats in the upper region of the windshield (or on the roof near the upper limit of the windshield) or in the case of an exterior rearview mirror located near the A-pillar , for example at the so-called mirror triangle.
In ähnlicher Weise wie das Spiegelglas bei einem konventionellen optischen Rückspiegel ist auch bei dem erfindungsgemäßen elektrischen Rückspiegel-System die elektronische Anzeige in ihrer Ausrichtung verstellbar, nämlich typischerweise horizontal drehbar und/oder vertikal kippbar. Der dargestellte Bildausschnitt hängt dabei von der Ausrichtung der elektronischen Anzeige, insbesondere der horizontalen Drehlage und/oder der vertikalen Kipplage der elektronischen Anzeige ab.In a similar way to the mirror glass in a conventional optical rear-view mirror, the orientation of the electronic display in the electric rear-view mirror system according to the invention can also be adjusted, namely typically Can be rotated horizontally and/or tilted vertically. The image section shown depends on the orientation of the electronic display, in particular the horizontal rotational position and/or the vertical tilting position of the electronic display.
Die Bestimmung der Ausrichtung, insbesondere des Kipp- und/oder Drehwinkels, erfolgt mittels einer Innenraum-Kamera und einer Referenzlichtquelle. Bei der Innenraum-Kamera handelt es sich beispielsweise um dieselbe Kamera, die vorzugsweise auch zur Bestimmung der Kopfposition verwendet wird. Die Innenraum-Kamera ist dabei in dem elektronischen Rückspiegel integriert, wobei bei Ändern der Ausrichtung der Anzeige auch die Ausrichtung der Innenraum-Kamera geändert wird. Bei horizontalem Drehen oder vertikalem Kippen der elektronischen Anzeige wird vorzugsweise auch die Innenraum-Kamera gedreht bzw. gekippt.The alignment, in particular the tilt and/or rotation angle, is determined using an interior camera and a reference light source. The interior camera is, for example, the same camera that is preferably also used to determine the head position. The interior camera is integrated in the electronic rearview mirror, and when the orientation of the display is changed, the orientation of the interior camera is also changed. When the electronic display is rotated horizontally or tilted vertically, the interior camera is preferably also rotated or tilted.
Das Rückspiegel-System ist eingerichtet, durch Erfassen der Referenzlichtquelle mittels der Innenraum-Kamera die Ausrichtung der elektronischen Anzeige (insbesondere ein Maß für die horizontale Drehlage bzw. vertikale Kipplage) oder der Innenraum-Kamera zu bestimmen.The rearview mirror system is set up to determine the orientation of the electronic display (in particular a measure of the horizontal rotation position or vertical tilt position) or the interior camera by detecting the reference light source using the interior camera.
Das erfindungsgemäße Rückspiegel-System erlaubt es dem Fahrer, durch sein Fahrzeug quasi hindurchzusehen, da die Einschränkung der Sicht durch die Verdeckung seitens des eigenen Fahrzeugs wie bei einem konventionellen optischen Rückspiegel entfällt, so dass beispielsweise ein Einparkvorgang oder sonstiger Rangiervorgang erheblich vereinfacht wird. Die durch die Bauform des Fahrzeugs bedingte eingeschränkte Sicht entfällt also.The rear-view mirror system according to the invention allows the driver to virtually see through his vehicle, since the restriction of visibility caused by the obscuration on the part of his own vehicle, as with a conventional optical rear-view mirror, is eliminated, so that, for example, parking or other maneuvering operations are considerably simplified. The restricted visibility caused by the design of the vehicle is no longer necessary.
Durch die kopfpositionsadaptive Anpassung der Anzeige, nämlich die Bestimmung des spiegelverkehrten Bildausschnitts in Abhängigkeit der Kopfposition, reagiert die Anzeige auf Kopfbewegungen vorzugsweise genauso oder zumindest ähnlich, wie der Fahrer es von einem konventionellen optischen Rückspiegel-System gewohnt ist. Der Fahrer kann durch den gewohnten Blick auf den Rückspiegel die Umgebung hinter dem eigenen Fahrzeug betrachten und intuitiv durch die Kopfbewegung die Sicht nach hinten anpassen, wie er es von einem konventionellen Rückspiegel gewohnt ist. Der Fahrer muss die Fertigkeiten zum Benutzen des Systems also nicht neu erlernen, sondern kann auf seine bisherigen Fertigkeiten zur Benutzung des optischen Rückspiegels zurückgreifen. Der Fahrer muss sich also nicht an die Technik anpassen, sondern die Technik ist hier an die mit einem gewöhnlichen optischen Rückspiegel gewonnene Erfahrung des Fahrers angepasst.Due to the head position-adaptive adjustment of the display, namely the determination of the mirror-inverted image section depending on the head position, the display reacts to head movements preferably in the same or at least similar way as the driver is used to from a conventional optical rear-view mirror system. The driver can look at the surroundings behind their vehicle by looking at the rear-view mirror as usual and intuitively adjust the rear view by moving their head, as they are used to with a conventional rear-view mirror. The driver does not have to relearn the skills to use the system, but can rely on his previous skills for using the optical rearview mirror. The driver does not have to adapt to the technology, but the technology is adapted to the driver's experience gained with an ordinary optical rear-view mirror.
Ferner ermöglicht die kopfpositionsadaptive Anpassung der Anzeige, dass sich das System ohne zusätzliche Eingabe durch den Fahrer an unterschiedliche Körpergrößen anpasst.Furthermore, the head position-adaptive adjustment of the display enables the system to adapt to different body sizes without additional input from the driver.
Typischerweise verschiebt sich bei Bewegung des Kopfes der spiegelverkehrte Bildausschnitt und/oder ändert sich die Vergrößerung des spiegelverkehrten Bildausschnitts.Typically, when the head moves, the mirror image section shifts and/or the magnification of the mirror image section changes.
Der elektronische Rückspiegel reagiert auf Bewegungen des Kopfes des Fahrers vorzugsweise in entsprechender Weise, wie der Fahrer es von einem konventionellen optischen Rückspiegel gewöhnt ist:
- Bei einer Kopfbewegung mit gleichbleibendem Abstand zu der Anzeigenfläche verschiebt sich der spiegelverkehrte Bildausschnitt in entgegengesetzter Richtung zu der Kopfbewegung wie bei einem optischen Rückspiegel. Wenn sich beispielsweise der Kopf nach oben bewegt, verschiebt sich der spiegelverkehrte Bildausschnitt nach unten und es werden weiter unten liegende Bildobjekte sichtbar, wobei Bildobjekte nach oben aus der Anzeige herauslaufen. Wenn sich beispielsweise der Kopf nach rechts bewegt, verschiebt sich das spiegelverkehrte Bildausschnitt aus der Sicht des Fahrers in der Anzeige nach links und auf der Anzeige weiter links liegende Bildobjekte werden sichtbar, während rechts liegende Bildobjekte nach rechts aus der Anzeige herauslaufen.
- When the head moves at a constant distance from the display surface, the mirror-inverted image section shifts in the opposite direction to the head movement as with an optical rear-view mirror. For example, if the head moves upwards, the mirror-inverted image section shifts downwards and image objects further down become visible, with image objects running upwards out of the display. For example, if the head moves to the right, the mirror image section from the driver's perspective shifts to the left in the display and image objects further to the left of the display become visible, while image objects to the right run out of the display to the right.
Bei Zubewegen des Kopfes auf die Anzeige entlang der Richtung zwischen Kopfposition und der elektronischen Anzeige nimmt die Vergrößerung des spiegelverkehrten Bildausschnitts ab (d. h. die Größe des Bildausschnitts im Rückbild nimmt zu).As the head moves toward the display along the direction between the head position and the electronic display, the magnification of the mirror-inverted image section decreases (i.e. the size of the image section in the rear image increases).
Zur perspektivisch korrekten Darstellung des Bildes auf der elektrischen Anzeige wird vorzugsweise ein 3D-Modell verwendet, welches die Anzeigenfläche der Anzeige, das Rückbild und einen Betrachter an bestimmten Positionen umfasst. Die Position des Betrachters ist dabei die Kopfposition oder wird in Abhängigkeit der Kopfposition bestimmt (beispielsweise durch eine Ebenenspiegelung an der Anzeigenebene, wie dies später noch erläutert wird). Über das 3D-Modell wird ein Bildausschnitt aus dem Rückbild mittels rechnerischer Projektion des Rückbildes auf die Anzeigenfläche bestimmt. Durch die Begrenzung der Anzeigenfläche wird nur ein Teil des Rückbildes auf der Anzeigenfläche abgebildet.For the perspectively correct representation of the image on the electrical display, a 3D model is preferably used, which includes the display area of the display, the rear image and a viewer at certain positions. The position of the viewer is the head position or is determined depending on the head position (for example by a plane reflection on the display plane, as will be explained later). Using the 3D model, an image section from the rear image is determined by mathematically projecting the rear image onto the display area. By limiting the ad space, only part of the back image is shown on the ad space.
Beispielsweise kann aus der Kopfposition eine gespiegelte Kopfposition berechnet werden, wobei die gespiegelte Kopfposition sich aus der Kopfposition durch Ebenenspiegelung an der Anzeigenfläche als Spiegelebene ergibt. Die gespiegelte Position entspricht dann der Position des Betrachters. Bei Kenntnis der gespiegelten Position kann dann eine rechnerische Zentralprojektion des Rückbildes auf die Anzeigenfläche durchgeführt werden, wobei das Projektionszentrum der Zentralprojektion an der gespiegelten Position liegt.For example, a mirrored head position can be calculated from the head position, the mirrored head position resulting from the head position by plane mirroring on the display surface as a mirror plane. The mirrored position then corresponds to the position of the viewer. If the mirrored position is known, a computational central projection of the rear can then be carried out image onto the display area, with the projection center of the central projection at the mirrored position.
Vorzugsweise berechnet das Bildberechnungsmittel ein Bild, welches neben dem Bildausschnitt aus dem Rückbild eine möglichst perspektivisch korrekte Darstellung des eigenen Kraftfahrzeugs umfasst. Damit die Sicht nicht durch das eigene Kraftfahrzeug verdeckt wird, handelt es sich hierbei vorzugsweise um ein Drahtgittermodell oder ein Modell mit halbtransparenten Flächen, wobei beide Darstellungsformen eine Durchsicht durch Flächen des Fahrzeugs erlauben.The image calculation means preferably calculates an image which, in addition to the image section from the rear image, includes a representation of one's own motor vehicle that is as perspectively correct as possible. So that the view is not obscured by one's own motor vehicle, this is preferably a wireframe model or a model with semi-transparent surfaces, with both forms of representation allowing a view through surfaces of the vehicle.
Hierzu umfasst das 3D-Modell vorzugsweise ein Modell des Fahrzeugs, beispielsweise in Form eines Drahtgitterobjektes. Auch dieses wird vorzugsweise auf die Anzeigenfläche in dem 3D-Modell projiziert.For this purpose, the 3D model preferably includes a model of the vehicle, for example in the form of a wireframe object. This is also preferably projected onto the display area in the 3D model.
Ferner kann Hindernisinformation einer Hindernissensorik zur Überwachung eines rückwärtigen Umgebungsbereiches verwendet werden und in die Darstellung des Kraftfahrzeugs miteinfließen. Durch eine Änderung der Farbe des dargestellten Fahrzeugs kann beispielsweise der jeweilige Abstand zu einem Hindernis dargestellt werden, beispielsweise der Abstand zu einem Fahrzeug im rückwärtigen Umgebungsbereich. Bei der Hindernissensorik handelt es sich beispielsweise um eine ultraschallbasierte oder radarbasierte Einparkhilfe.Furthermore, obstacle information from an obstacle sensor system can be used to monitor a rear surrounding area and be included in the representation of the motor vehicle. By changing the color of the displayed vehicle, the respective distance to an obstacle can be displayed, for example the distance to a vehicle in the rear surrounding area. The obstacle sensor system is, for example, an ultrasound-based or radar-based parking aid.
Die Darstellung des Fahrzeugs in Abhängigkeit der Hindernisinformation könnte auch ohne die vorstehend beschriebene kopfpositionsadaptive Anpassung der Darstellung realisiert werden. Hierfür ist also die Positionserfassungseinrichtung und die Bestimmung eines Bildausschnitts in Abhängigkeit der Kopfposition nicht zwingend.The representation of the vehicle depending on the obstacle information could also be realized without the head position-adaptive adaptation of the representation described above. For this purpose, the position detection device and the determination of an image section depending on the head position are not mandatory.
Vorzugsweise ist in oder auf der Anzeige ein optischer Spiegel integriert, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist.An optical mirror is preferably integrated in or on the display, which is essentially congruent with the display area.
Der Rückspiegel ist dabei gemäß einer ersten Ausführungsvariante vorzugsweise in einem ersten Betriebsmodus betreibbar, in dem die elektronische Anzeige aktiv ist. Ferner ist der Rückspiegel in einem zweiten Betriebsmodus betreibbar ist, in dem die Anzeige deaktiv ist und der Rückspiegel unter Verwendung des optischen Spiegels als optischer Rückspiegel arbeitet. Elektronische Anzeigen, die im ausgeschalteten Zustand als Spiegel dienen, sind im Stand der Technik bekannt, beispielsweise als TV-Bildschirm zur Wandmontage. Ein Beispiel hierfür ist der Mirror-TV 30HM9202/12 des Herstellers Philips.According to a first embodiment variant, the rearview mirror can preferably be operated in a first operating mode in which the electronic display is active. Furthermore, the rear-view mirror can be operated in a second operating mode in which the display is deactivated and the rear-view mirror works as an optical rear-view mirror using the optical mirror. Electronic displays that serve as mirrors when switched off are known in the art, for example as wall-mounted TV screens. An example of this is the Mirror TV 30HM9202/12 from the manufacturer Philips.
Vorzugsweise wird dabei der Betriebsmodus in Abhängigkeit des eingelegten Getriebegangs gesteuert. Wenn beispielsweise vom Rückwärtsgang in den Vorwärtsgang geschaltet wird, wird der elektronische Rückspiegel beispielsweise in den zweiten Betriebsmodus umgeschaltet. Wenn beispielsweise vom Vorwärtsgang in den Rückwärtsgang geschaltet wird, wird der elektronische Rückspiegel beispielsweise in den ersten Betriebsmodus umgeschaltet.The operating mode is preferably controlled depending on the gear selected. For example, when switching from reverse gear to forward gear, the electronic rearview mirror is switched to the second operating mode, for example. For example, when switching from forward gear to reverse gear, the electronic rearview mirror is switched to the first operating mode, for example.
Die Integration eines optischen Spiegels, das Vorsehen zweier Betriebsmodi und die Steuerung des Betriebsmodus könnten jeweils auch ohne die vorstehend beschriebene kopfpositionsadaptive Anpassung der Darstellung realisiert werden. Hierfür ist es also die Positionserfassungseinrichtung und die Bestimmung eines Bildausschnitts in Abhängigkeit der Kopfposition nicht zwingend.The integration of an optical mirror, the provision of two operating modes and the control of the operating mode could also be implemented without the head position-adaptive adjustment of the representation described above. For this purpose, the position detection device and the determination of an image section depending on the head position are not mandatory.
Gemäß einer zweiten Ausführungsvariante wird das Bild der elektronischen Anzeige mit dem optischen Spiegelbild gleichzeitig überlagert, so dass das Fahrzeug für den Fahrer halbtransparent erscheint. Auch hierfür ist die kopfpositionsadaptive Anpassung der Darstellung nicht zwingend notwendig.According to a second embodiment variant, the image of the electronic display is simultaneously superimposed on the optical mirror image, so that the vehicle appears semi-transparent to the driver. Here too, the head position-adaptive adjustment of the representation is not absolutely necessary.
Die Erfindung wird nachfolgend unter Zuhilfenahme auf die beigefügten Zeichnungen anhand eines Ausführungsbeispiels beschrieben. In diesen zeigen:
-
1 ein Ausführungsbeispiel für das erfindungsgemäße elektronische Rückspiegel-System; -
2 ein beispielhaftes 3D-Modell mit einer ersten Kopfposition und einer ersten Ausrichtung der Anzeige des Rückspiegels; -
3 ein beispielhaftes 3D-Modell mit einer zweiten Kopfposition und der ersten Ausrichtung der Anzeige des Rückspiegels; -
4 ein beispielhaftes 3D-Modell mit der ersten Kopfposition und einer zweiten Ausrichtung der Anzeige des Rückspiegels; und -
5 ein beispielhaftes Bild der elektronischen Anzeige 7 aus Sicht des Fahrers.
-
1 an embodiment of the electronic rearview mirror system according to the invention; -
2 an example 3D model with a first head position and a first orientation of the rearview mirror display; -
3 an example 3D model with a second head position and the first orientation of the rearview mirror display; -
4 an exemplary 3D model with the first head position and a second orientation of the rearview mirror display; and -
5 an exemplary image of theelectronic display 7 from the driver's perspective.
In
Das dargestellte Rückspiegel-System umfasst eine Innenraum-Kamera 1, welche einen Bereich des Fahrerraums des Fahrzeugs aufnimmt, insbesondere den Kopf 2 und das Gesicht des Fahrers. Der erfasste Winkelbereich der Innenraum-Kamera ist in
Die Bildinformation wird an einen Rechner 3 gesandt, der zusammen mit der Kamera als Positionserfassungseinrichtung fungiert. Basierend auf den Bildinformationen wird die Position des Kopfes 2 in dem Mikroprozessor 3 ermittelt. Hierzu wird das aufgezeichnete Bild mittels eines geeigneten Mustererkennungsalgorithmus analysiert.The image information is sent to a
Die Innenraum-Kamera 1 ist vorzugsweise im Innen-Rückspiegel integriert. Es ist möglich ein einfache Kamera mit niedriger Bildqualität ähnlich einer Webcam zu verwenden, beispielsweise eine einfache Schwarz-Weiß-Kamera.The
Durch die Bestimmung der Kopfposition kann eine kopfpositionsadaptive Anpassung der Sicht auf den rückwärtigen Umgebungsbereich des Fahrzeugs erfolgen. wodurch dem Nutzer die intuitive Handhabe des Systems ermöglicht wird.By determining the head position, a head position-adaptive adjustment of the view of the rear surrounding area of the vehicle can take place. which enables the user to operate the system intuitively.
Ferner umfasst das System beispielsweise drei Außenkameras 4-6 an verschiedenen Positionen des Hecks des Fahrzeugs. Jede der Kameras 4-6 nimmt ein Bild eines bestimmten Winkelbereichs 11-13 hinter dem Fahrzeug auf. Die Bilddaten der einzelnen Kameras werden an den Rechner 3 gesandt und dort entsprechend zusammengefügt, so dass ein einzelnes Panoramabild von der Szenerie hinter dem Fahrzeug entsteht.Furthermore, the system includes, for example, three external cameras 4-6 at different positions at the rear of the vehicle. Each of the cameras 4-6 takes an image of a specific angular range 11-13 behind the vehicle. The image data from the individual cameras are sent to the
Der Rückspiegel umfasst neben der Innenraum-Kamera 1 eine elektronische Anzeige 7, beispielsweise ein LCD-Display, und einen in oder auf der Anzeige integrierten optischen Spiegel, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist. Der Rückspiegel stellt somit eine Kombination aus herkömmlichem optischen Spiegel (beispielsweise mit einer Reflexion von mehr als 99,9 %) und elektronischer Anzeige dar, wobei der Rückspiegel durch eine entsprechende Ansteuerung zwischen einem ersten Betriebsmodus, in dem die elektronische Anzeige aktiv ist, und einem zweiten Betriebsmodus, in dem die Anzeige deaktiv ist und der Rückspiegel als optischer Rückspiegel arbeitet, hin und her schaltbar ist. Die Rückspiegel kann so einerseits als herkömmlicher optischer Rückspiegel verwendet werden, andererseits zur Darstellung von mittels der Kameras 4-6 aufgenommener Bildinformationen. Bei Einlegen des Rückwärtsgangs wird beispielsweise automatisch auf den ersten Betriebsmodus mit aktiver elektronischer Anzeige geschaltet. Im Vorwärtsgang ist der Rückspiegel im zweiten Betriebsmodus und dient als herkömmlicher optischer Rückspiegel. In addition to the
Die Anzeige 7 des Rückspiegels ist vorzugsweise wie ein konventioneller Rückspiegel horizontal drehbar und vertikal kippbar.The
Ferner ist eine Referenzlichtquelle 8, beispielsweise in Form einer LED (Light Emitting Diode), vorhanden. Diese dient zum Feststellen des Kipp- und Drehwinkels der Anzeige 7.Furthermore, a
Vorzugsweise handelt es sich um eine Infrarot-LED 8, da infrarotes Licht für das menschliche Auge nicht sichtbar ist, jedoch bei Verwendung einer entsprechenden Innenraum-Kamera 1 von der Innenraum-Kamera 1 detektiert werden kann. Somit kann die Infrarot-LED 8 für den Fahrer unauffällig verbaut werden. Eine kleine Öffnung, aus der das infrarote Licht ausstrahlt, reicht hierfür aus.It is preferably an
Zur korrekten perspektivische Darstellung auf dem LCD-Innenspiegel wird ein 3D-Modell erstellt, in dem die Positionskoordinaten eines Betrachters, die Koordinaten der Anzeigenfläche des Rückspiegels und die Koordinaten des Rückbildes (als Zusammenfügung der Bilder der Außenkameras 4-6) bekannt sind. Das Rückbild kann als zweidimensionale Fläche hinter dem Fahrzeug modelliert werden, auf dem die Kamerabilder abgebildet sind.For the correct perspective display on the LCD interior mirror, a 3D model is created in which the position coordinates of a viewer, the coordinates of the display area of the rearview mirror and the coordinates of the rear image (as a composite of the images from the exterior cameras 4-6) are known. The rear image can be modeled as a two-dimensional area behind the vehicle on which the camera images are displayed.
In
- Ein Objekt ist die ebene, rechteckige Fläche ES mit den Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2), die den Koordinaten zweier auf einer Diagonale liegender Eckpunkte entsprechen; diese Fläche ES stellt die Anzeigenfläche des Rückspiegel dar.
Im Beispiel von 2 ist die Anzeigenfläche Teil eines Innen-Rückspiegels bei einem Linkslenker-Fahrzeug, der sich zwischen dem Fahrer und dem Beifahrerplatz in der Nähe des oberen Bereichs der Windschutzscheibe befindet.
- An object is the flat, rectangular surface ES with the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ), which correspond to the coordinates of two corner points lying on a diagonal; This area ES represents the display area of the rearview mirror. In the example of
2 The display area is part of an interior rearview mirror on a left-hand drive vehicle, located between the driver and the passenger seat near the top of the windshield.
Ein weiteres Objekt ist die ebene, rechteckige Fläche EH mit den Eckkoordinaten (xH1, yH1, zH1) und (xH2, yH2, zH2), die den Koordinaten zweier auf einer Diagonale liegender Eckpunkte entsprechen. Auf dieser ebenen Fläche EH wird das aus einer Aneinanderfügung der Bilder der RückKameras 4-6 sich ergebene Panorama-Rückbild als Hintergrundbild abgebildet.Another object is the flat, rectangular surface EH with the corner coordinates (x H1 , y H1 , z H1 ) and (x H2 , y H2 , z H2 ), which correspond to the coordinates of two corner points lying on a diagonal. The panoramic rear image resulting from an assembly of the images from the rear cameras 4-6 is displayed as a background image on this flat surface EH.
Ein weiteres Objekt ist ein in
Ferner sind in
durch Ebenenspiegelung an einer Spiegelebene ergeben, welche die Anzeigenfläche ES umfasst.Furthermore, there are
result from plane mirroring on a mirror plane which includes the display area ES.
Außerdem werden die Koordinaten (xLED, yLED, zLED) der LED 8 verwendet. Diese sind durch die Fahrzeugkonstruktion gegeben und bekannt.In addition, the coordinates (x LED , y LED , z LED ) of the
Es wird vorausgesetzt, dass die Innenraumkamera 1 fest im Rückspiegel verbaut ist und daher die Koordinaten (xCAM, yCAM, zCAM) der Innenraumkamera 1 bekannt sind. Durch Drehen und Kippen des Anzeige 7 wird entsprechend die Innenraumkamera 1 gedreht und gekippt; die Koordinaten (xCAM, yCAM, zCAM) der Innenraumkamera 1 werden jedoch hierdurch nicht verändert.It is assumed that the
Aus der Kopfposition (xK, yK, zK) des Fahrers und dem Dreh- und Kippwinkel des Rückspiegels ergibt sich die Position (x'K, y'K, z'K), aus der das 3D-Modell betrachtet wird. Die begrenzten Abmessungen der Anzeigenfläche ES definieren den sichtbaren Ausschnitt des Rückbildes in der Fläche EH.The position (x' K , y ' K , z' K ) from which the 3D model is viewed results from the driver's head position (x K , y K , z K ) and the rotation and tilt angle of the rear-view mirror. The limited dimensions of the advertising area ES define the visible section of the rear image in the area EH.
Wenn sich der Kopf 2 des Fahrers bewegt, so ändert sich wie bei einem konventionellen optischen Rückspiegel das auf der Anzeige 7 dargestellte Bild. Hierzu wird der auf der Anzeige 7 sichtbare Ausschnitt 20 aus dem Rückbild geändert.When the driver's
Aus dem Bild der Innenraumkamera 1 wird fortlaufend und in Echtzeit die neue Position des Fahrers berechnet und das Bild auf der Anzeige 7 entsprechend dem Betrachtungswinkel des Fahrers angepasst. Damit wird eine realistische und dem Fahrer gewohnte Sichtweise durch den Rückspiegel ermöglicht. Das Bild auf der elektronischen Anzeige 7 suggeriert dem Fahrer, dass er durch einen optischen Rückspiegel sieht. Jedoch wird ein im Vergleich zu einem konventionellen Rückspiegel verbessertes Bild ohne störende Verdeckung des rückwärtigen Sichtbereichs durch das eigene Fahrzeug und optional mit zusätzlicher Information in der elektronischen Anzeige 7 dargestellt.The driver's new position is continuously calculated in real time from the image from the
Die kopfadaptive Berechnung des auf der Anzeige 7 darzustellenden Bildes mittels des 3D-Modells wird beispielsweise in folgender Weise implementiert:
- Als Ursprung (0,0,0) des verwendeten Bezugssystems wird beispielsweise die Position der Innenraumkamera gewählt, d. h. (xCAM := 0, yCAM := 0, zCAM := 0). Das gewählte Bezugssystem ist aber willkürlich und kann frei gewählt werden.
- 1. Zur Ermittlung der Lage der Anzeigenfläche ES des Rückspiegels im Raum
erfasst die Innenraumkamera 1die LED 8, wobei in Abhängigkeit der Bildinformation der Innenraumkamera 1im Rechner 3 die Lage imBezugsystem der Innenraumkamera 1 berechnet wird. DieLED 8 erscheint als heller Punkt im aufgezeichneten Bild und kann beispielsweise durch Veränderung des Kontrastes und des Farbschemas als Punkt dargestellt werden, dessen Koordinaten über einen Mustererkennungsalgorithmus ermittelt werden können. In Abhängigkeit der so ermittelten Lage derLED 8, insbesondere aus dem Vergleich der Koordinaten der Lage imBezugssystem der Innenraumkamera 1 mit den gegebenen Koordinaten (xLED, yLED, zLED) der LED, wird der horizontale Drehwinkel und der vertikale Kippwinkel der Anzeige 7 des Rückspiegels berechnet. Hierzu wird für den horizontalen Drehwinkel und den vertikalen Kippwinkel ein Winkel von jeweils 0° als Nullwinkel-Referenz für den Fall angenommen, bei dem die ebene Anzeigenfläche ES parallel zur ebenen Fläche EH des Hintergrundbildes liegt.
- For example, the position of the interior camera is selected as the origin (0,0,0) of the reference system used, ie (x CAM := 0, y CAM := 0, z CAM := 0). However, the chosen reference system is arbitrary and can be chosen freely.
- 1. To determine the position of the display area ES of the rear-view mirror in the room, the
interior camera 1 detects theLED 8, the position in the reference system of theinterior camera 1 being calculated in thecomputer 3 depending on the image information from theinterior camera 1. TheLED 8 appears as a bright point in the recorded image and can, for example, be displayed as a point by changing the contrast and the color scheme, the coordinates of which can be determined using a pattern recognition algorithm. Depending on the position of theLED 8 determined in this way, in particular from the comparison of the coordinates of the position in the reference system of theinterior camera 1 with the given coordinates (x LED , y LED , z LED ) of the LED, the horizontal rotation angle and the vertical tilt angle of the display become 7 of the rearview mirror calculated. For this purpose, an angle of 0° is assumed for the horizontal rotation angle and the vertical tilt angle as a zero angle reference for the case in which the flat display surface ES is parallel to the flat surface EH of the background image.
Mit den bekannten Maßen der Länge und Breite der Anzeigenfläche ES und deren relativer Lage zur Innenraumkamera 1 kann in Abhängigkeit des Dreh- und Kippwinkels die ebene Anzeigenfläche ES mit den Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2) in dem 3D-Modell berechnet werden, wobei die die Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2) den Koordinaten zweier auf einer Diagonale liegender Eckpunkte der Anzeigenfläche ES entsprechen.
- 2. Die Heckkameras 4 - 6 nehmen die Szenerie hinter dem Fahrzeug auf und senden Bilder an
den Rechner 3. Hier werden beispielsweise drei Teilbilder der Heckkameras 4 - 6 zu einem Panoramabild zusammengefügt. Da die Positionskoordinaten der Kameras 4 - 6 bekannt sind, kann dieses Panoramabild auf die ebene Fläche EH mit den Eckkoordinaten (xH1, yH1, zH1) und (xH2, yH2, zH2) im dreidimensionalen Raum projiziert werden. Die Lage der ebenen Fläche EH ist vorzugsweise an die Brennweite der Kameras angepasst, so dass eine maßstabsgetreue Abbildung realisiert werden kann. - 3.
Die Innenraumkamera 1 im Innenraum erfasst fortlaufend das Gesichtund den Kopf 2 des Fahrers und berechnet durch einen geeigneten Mustererkennungsalgorithmus die Positionskoordinaten (xK, yK, zK) desFahrerkopfes 2. - 4. Um das Hintergrundbild in der ebenen Fläche EH korrekt auf der elektronischen Anzeige 7 des Rückspiegels darzustellen, werden zunächst die Koordinaten (xK, yK, zK) des Fahrerkopfes 2 an einer die ebene Fläche ES umfassenden Spiegelebene gespiegelt, woraus sich die gespiegelten Koordinaten (x'K, y'K, z'K) des Fahrerkopfes 2 ergeben. Die Spiegelebene halbiert die Verbindungsstrecke zwischen dem Punkt (xK, yK, zK) und dem gespiegelten Punkt (x'K, y'K, z'K), wobei die Verbindungsstrecke orthogonal zur Spiegelebene ist.
- 2. The rear cameras 4 - 6 record the scenery behind the vehicle and send images to the
computer 3. Here, for example, three partial images from the rear cameras 4 - 6 are combined to form a panoramic image. Since the position coordinates of the cameras 4 - 6 are known, this panoramic image can be projected onto the flat surface EH with the corner coordinates (x H1 , y H1 , z H1 ) and (x H2 , y H2 , z H2 ) in three-dimensional space. The position of the flat surface EH is preferably adapted to the focal length of the cameras so that a true-to-scale image can be realized. - 3. The
interior camera 1 in the interior continuously records the face andhead 2 of the driver and calculates the position coordinates (x K , y K , z K ) of the driver'shead 2 using a suitable pattern recognition algorithm. - 4. To display the background image in the flat surface EH correctly on the
electronic display 7 of the To represent the rearview mirror, the coordinates (x K , y K , z K ) of the driver'shead 2 are first mirrored on a mirror plane encompassing the flat surface ES, from which the mirrored coordinates (x' K , y' K , z' K ) of the driver's head are obtained 2 result. The mirror plane halves the connecting distance between the point (x K , y K , z K ) and the mirrored point (x' K , y' K , z' K ), where the connecting distance is orthogonal to the mirror plane.
Mittels Zentralprojektion wird ein Ausschnitt des Hintergrundbilds der ebenen Fläche EH auf der ebenen Anzeigenfläche ES dargestellt. Zusätzlich wird das 3D-Fahrzeugobjekt auf die ebene Anzeigenfläche ES projiziert. Das Projektionszentrum, d. h. die Position des Betrachters, wird für beide Projektionen durch die gespiegelten Koordinaten (x'K, y'K, z'K) definiert. Aufgrund der Begrenztheit der ebenen Anzeigefläche ES wird nur ein Ausschnitt des Hintergrundbildes aus der ebenen Fläche EH und nur ein Teil des 3D-Fahrzeugobjektes auf der Fläche ES dargestellt.Using central projection, a section of the background image of the flat surface EH is displayed on the flat display surface ES. In addition, the 3D vehicle object is projected onto the flat display surface ES. The projection center, ie the position of the observer, is defined for both projections by the mirrored coordinates (x' K , y' K , z' K ). Due to the limitations of the flat display area ES, only a section of the background image from the flat area EH and only part of the 3D vehicle object is displayed on the area ES.
Es ist zu beachten, dass die Projektion des 3D-Fahrzeugsmodells aus Sicht des Fahrers mit der Kopfposition (xK, yK, zK) vor der Projektion des Hintergrundbildes in der EH dargestellt werden sollte.It should be noted that the projection of the 3D vehicle model from the driver's perspective with the head position (x K , y K , z K ) should be displayed before the projection of the background image in the EH.
Ferner gilt es zu beachten, dass der Fahrer von der gleichen Seite auf die Fläche ES blickt, auf der sich auch die Fläche EH befindet. Daher wird das projizierte Bild entsprechend spiegelverkehrt auf dem Anzeige 7 dargestellt. Hierzu wird das durch die Projektion des Hintergrundbildes und des 3D-Fahrzeugsmodells ergebende Bild in einem zusätzlichen Bildverarbeitungsschritt an einer vertikalen Spiegelachse gespiegelt, die durch die Mitte des Bildes geht.It should also be noted that the driver looks at the surface ES from the same side as the surface EH is located. Therefore, the projected image is shown mirror-inverted on the
Das durch rechnerische Projektion auf die Fläche ES im Rechner 3 erzeugte Bild wird nach der Spiegelung und etwaiger zusätzlicher Weiterverarbeitungsschritte auf der elektronischen Anzeige 7 des Rückspiegels dargestellt.The image generated by computational projection onto the surface ES in the
Die Berechnung des dazustellenden Bildes erfolgt fortlaufend, so dass das Bild laufend an etwaige Änderungen des Kipp- und Drehwinkels der Anzeige 7 des Rückspiegels und etwaige Änderungen der Kopfposition des Fahrers angepasst wird.
- 5. Optional kann Hindernisinformation einer Hindernissensorik (beispielsweise einer Einparkhilfe), die den Abstand zu rückwärtigen Hindernissen misst, ausgewertet werden und zur Einfärbung des 3D-Fahrzeugmodells (insbesondere von Teilen des Fahrzeugmodells, wie zum Beispiel die Stoßstange) verwendet werden. Rot kann dabei beispielsweise einen geringen und grün einen weiten Abstand symbolisieren. Die Einfärbung in Abhängigkeit der Hindernisinformation erfolgt vorzugsweise vor der Projektion des 3D-Fahrzeugmodells.
- 5. Optionally, obstacle information from an obstacle sensor system (for example a parking aid), which measures the distance to rear obstacles, can be evaluated and used to color the 3D vehicle model (in particular parts of the vehicle model, such as the bumper). For example, red can symbolize a small distance and green a wide distance. The coloring depending on the obstacle information is preferably carried out before the 3D vehicle model is projected.
Der vorstehend beschriebene Algorithmus wird beispielsweise gestartet, sobald der Fahrer den Rückwärtsgang einlegt und die Einparkhilfe aktiviert hat. Die Schritte unter 1. bis 4. werden ständig wiederholt, so dass durch die Echtzeitberechnung ein realistisches Bild entsteht. Der Schritt unter 5. ist optional und verbessert die Einparkhilfe. Wenn wieder der Vorwärtsgang einlegt wird, arbeitet der Rückspiegel als gewöhnlicher optischer Rückspiegel, der auf optischer Reflexion basiert. Die elektronische Anzeige 7 wird hierzu abgeschaltet.The algorithm described above is started, for example, as soon as the driver shifts into reverse gear and has activated the parking aid. The steps under 1 to 4 are constantly repeated so that a realistic image is created through the real-time calculation. The step under 5. is optional and improves the parking aid. When forward gear is engaged again, the rearview mirror works as a normal optical rearview mirror based on optical reflection. The
Das Verhalten entspricht dem Verhalten eines optischen Spiegels, bei dem der Einfallswinkel gegenüber dem Lot auf der Reflexionsebene gleich dem Ausfallswinkel gegenüber dem Lot auf der Reflexionsebene ist. Bei Bewegung des Kopfes nach unten wird der Einfallswinkel der Linie von der Kopfposition zur der Mitte der Anzeigenfläche EH gegenüber dem Lot auf der Fläche EH in vertikaler Richtung erhöht, so dass auch der Ausfallwinkel zunimmt und der dargestellte Bildausschnitt nach oben wandert.The behavior corresponds to the behavior of an optical mirror in which the angle of incidence relative to the perpendicular on the reflection plane is equal to the angle of reflection relative to the perpendicular on the reflection plane. When the head moves downwards, the angle of incidence of the line from the head position to the center of the display area EH is increased in the vertical direction compared to the perpendicular on the area EH, so that the angle of reflection also increases and the image section shown moves upwards.
Wenn sich der Kopf (statt nach unten) seitlich auf die Anzeigenfläche ES weiter zubewegt (der Fahrer also seinen Kopf aus der Fahrersicht nach rechts bewegt), verschiebt sich der Bildausschnitt (statt nach oben) im Rückbild weiter nach rechts (nicht dargestellt). Der spiegelverkehrte Bildausschnitt auf der Anzeige 7 verschiebt sich jedoch aus Sicht des Fahrers in entgegengesetzter Richtung zur Kopfbewegung, nämlich nach links, und es werden weiter links liegende Bildobjekte sichtbar.If the head moves laterally towards the display area ES (instead of downwards) (i.e. the driver moves his head to the right from the driver's perspective), the image section shifts further to the right (instead of upwards) in the rear image (not shown). However, from the driver's perspective, the mirror-inverted image section on the
Das Verhalten entspricht dem Verhalten eines optischen Spiegels. Bei Bewegung des Kopfes nach rechts wird der Einfallswinkel der Linie von der Kopfposition zur der Mitte der Anzeigenfläche EH gegenüber dem Lot auf der Fläche EH in horizontaler Richtung verringert, so dass auch der Ausfallwinkel abnimmt. Im optischen Spiegel verschiebt sich für den Betrachter der Bildausschnitt dann nach links.The behavior corresponds to the behavior of an optical mirror. When the head moves to the right, the angle of incidence of the line from the head position to the center of the display area EH is reduced in the horizontal direction compared to the perpendicular on the area EH, so that the angle of reflection also decreases. In the optical mirror, the image section then shifts to the left for the viewer.
Vorstehend wurde die Berechnung eines Bildes für einen elektronischen Innenraum-Rückspiegel beschrieben. In gleicher Weise kann die Berechnung eines Bildes für einen elektronischer Außen-Rückspiegel (an der Position eines Außenspiegels 15 oder 16 in
Folgende weitere Modifikationen sind möglich:The following further modifications are possible:
Die Anzahl der Außenkameras 3-6 kann reduziert werden, indem eine oder mehrere Kameras mit entsprechend kleiner Brennweite (auch als Fish-Eye-Kamera bekannt) verwendet werden, wobei die daraus resultierenden Verzerrungen in dem Rechner 3 herausgerechnet werden.The number of external cameras 3-6 can be reduced by using one or more cameras with a correspondingly small focal length (also known as a fish-eye camera), with the resulting distortions being calculated out in the
Ferner ist es auch möglich, eine elektronische Anzeige 7 zu verwenden, in der oder auf der ein optischer Spiegel integriert ist, welcher im Wesentlichen Deckungsgleich mit der Anzeigenfläche ist, wobei jedoch das Bild der elektronischen Anzeige und das optische Spiegelbild gleichzeitig überlagert werden. In diesem Fall erscheint das eigene Fahrzeug halbtransparent, da das mittels des optischen Spiegels gewonnene Bild des eigenen Fahrzeugs mit dem Kamerabild überlagert ist. Diese halbtransparente Darstellung erfordert eine sehr genaue Ermittlung der Positionskoordinaten des Kopfes. Ein hinreichend großer Fehler in der Positionsbestimmung des Kopfes führt ansonsten durch die Überlagerung des Kamera- und des Spiegelbildes zu Doppelbildern, was als sehr störend empfunden wird.Furthermore, it is also possible to use an
Zur Darstellung des Fahrzeugs sollte ein Fahrzeugtyp spezifisches 3D-Modell verwenden. Die Flächen des Fahrzeugs können als halbtransparente Flächen dargestellt werden. Die Farbe der sichtbaren Fahrzeugkomponenten des Modells (beispielsweise die Farbe der Rücksitze) kann der tatsächlichen Farbe der realen Fahrzeugkomponenten bei dem speziellen Fahrzeug nachempfunden werden, so dass ein wirklichkeitsgetreues halbtransparentes Fahrzeugmodell eingeblendet wird. Die Farbe kann beispielsweise aus dem Fahrzeugauftrag ausgelesen werden und bereits während der Herstellung des Fahrzeugs voreingestellt werden.A vehicle type-specific 3D model should be used to represent the vehicle. The surfaces of the vehicle can be displayed as semi-transparent surfaces. The color of the visible vehicle components of the model (e.g. the color of the rear seats) can be modeled on the actual color of the real vehicle components in the specific vehicle, so that a realistic semi-transparent vehicle model is displayed. The color can, for example, be read from the vehicle order and preset during the production of the vehicle.
In die Darstellung können auch weitere Hilfslinien wie beispielsweise der Rangierradius bei Volleinschlag des Lenkrades eingezeichnet werden.Additional auxiliary lines can also be drawn into the display, such as the maneuvering radius when the steering wheel is fully turned.
Außerdem ist es denkbar, dass der Fahrer den Grad der Transparenz selbst festlegt und den Gegebenheiten anpasst.It is also conceivable that the driver determines the level of transparency himself and adapts it to the circumstances.
Claims (14)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012203491.9A DE102012203491B4 (en) | 2012-03-06 | 2012-03-06 | Electronic rearview mirror system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012203491.9A DE102012203491B4 (en) | 2012-03-06 | 2012-03-06 | Electronic rearview mirror system |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102012203491A1 DE102012203491A1 (en) | 2013-09-12 |
DE102012203491B4 true DE102012203491B4 (en) | 2024-01-04 |
Family
ID=49029542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012203491.9A Active DE102012203491B4 (en) | 2012-03-06 | 2012-03-06 | Electronic rearview mirror system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012203491B4 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013020950B4 (en) * | 2013-12-12 | 2023-11-23 | Connaught Electronics Ltd. | Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle |
DE102014200963B4 (en) | 2014-01-21 | 2024-01-18 | Robert Bosch Gmbh | Rear-view mirror device, vehicle and method for operating a rear-view mirror device |
US10017114B2 (en) | 2014-02-19 | 2018-07-10 | Magna Electronics Inc. | Vehicle vision system with display |
DE102014005834A1 (en) | 2014-04-19 | 2015-04-23 | Audi Ag | Driver assistance system for a motor vehicle |
DE102014220524A1 (en) * | 2014-10-09 | 2015-10-22 | Conti Temic Microelectronic Gmbh | Device for assisting a driver of a vehicle and vehicle |
WO2016064361A1 (en) * | 2014-10-23 | 2016-04-28 | Tofas Turk Otomobil Fabrikasi Anonim Sirketi | A rear view system |
US9405120B2 (en) | 2014-11-19 | 2016-08-02 | Magna Electronics Solutions Gmbh | Head-up display and vehicle using the same |
DE102015209187B3 (en) | 2015-05-20 | 2016-09-29 | Volkswagen Aktiengesellschaft | Monitoring device for a motor vehicle |
US20180281685A1 (en) * | 2017-04-03 | 2018-10-04 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Rear view manual adjustment perspective change system and method |
EP3992759A1 (en) * | 2020-10-30 | 2022-05-04 | Continental Automotive GmbH | Gesture control for displaying images on an electronic rearview mirror |
CN113879214A (en) * | 2021-11-17 | 2022-01-04 | 阿维塔科技(重庆)有限公司 | Display method of electronic rearview mirror, electronic rearview mirror display system and related equipment |
CN114633692B (en) * | 2022-03-14 | 2023-10-03 | 深圳市艾为智能有限公司 | Application method of eccentric lens in CMS system |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE29612536U1 (en) | 1996-07-19 | 1996-09-12 | Li Tony | Panorama review arrangement |
DE19801884A1 (en) | 1998-01-20 | 1999-07-22 | Mannesmann Vdo Ag | CCTV monitoring system for blind spots around motor vehicle |
WO2003005102A1 (en) | 2001-06-30 | 2003-01-16 | Robert Bosch Gmbh | Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver |
US20030108222A1 (en) | 2001-12-12 | 2003-06-12 | Kabushikikaisha Equos Research | Image processing system for vehicle |
DE10164516A1 (en) | 2001-12-19 | 2003-07-10 | Magna Auteca Ag Weiz | Electronic vehicle rearview system |
EP1527606B1 (en) | 2002-07-25 | 2008-11-12 | Koninklijke Philips Electronics N.V. | Viewing system |
JP2009100180A (en) | 2007-10-16 | 2009-05-07 | Denso Corp | Vehicular rear monitoring device |
DE102008019732A1 (en) | 2008-04-18 | 2009-10-22 | Volkswagen Ag | Electronic outside mirror controlling method for motor vehicle, involves changing image section, which is displayed on display element, depending on determined head positions of driver of motor vehicle |
DE102008059269A1 (en) | 2008-11-27 | 2010-06-02 | Josef Kirchler | Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image |
DE102009020300A1 (en) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices |
DE102005000739B4 (en) | 2004-01-16 | 2010-11-25 | Kabushiki Kaisha Honda Lock | Vehicle vision support system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007044536A1 (en) * | 2007-09-18 | 2009-03-19 | Bayerische Motoren Werke Aktiengesellschaft | Device for monitoring the environment of a motor vehicle |
-
2012
- 2012-03-06 DE DE102012203491.9A patent/DE102012203491B4/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE29612536U1 (en) | 1996-07-19 | 1996-09-12 | Li Tony | Panorama review arrangement |
DE19801884A1 (en) | 1998-01-20 | 1999-07-22 | Mannesmann Vdo Ag | CCTV monitoring system for blind spots around motor vehicle |
WO2003005102A1 (en) | 2001-06-30 | 2003-01-16 | Robert Bosch Gmbh | Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver |
US20030108222A1 (en) | 2001-12-12 | 2003-06-12 | Kabushikikaisha Equos Research | Image processing system for vehicle |
DE10164516A1 (en) | 2001-12-19 | 2003-07-10 | Magna Auteca Ag Weiz | Electronic vehicle rearview system |
EP1527606B1 (en) | 2002-07-25 | 2008-11-12 | Koninklijke Philips Electronics N.V. | Viewing system |
DE102005000739B4 (en) | 2004-01-16 | 2010-11-25 | Kabushiki Kaisha Honda Lock | Vehicle vision support system |
JP2009100180A (en) | 2007-10-16 | 2009-05-07 | Denso Corp | Vehicular rear monitoring device |
DE102008019732A1 (en) | 2008-04-18 | 2009-10-22 | Volkswagen Ag | Electronic outside mirror controlling method for motor vehicle, involves changing image section, which is displayed on display element, depending on determined head positions of driver of motor vehicle |
DE102008059269A1 (en) | 2008-11-27 | 2010-06-02 | Josef Kirchler | Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image |
DE102009020300A1 (en) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices |
Also Published As
Publication number | Publication date |
---|---|
DE102012203491A1 (en) | 2013-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012203491B4 (en) | Electronic rearview mirror system | |
DE102008034594B4 (en) | Method and information system for informing an occupant of a vehicle | |
DE102012102508B4 (en) | Adjustment method and system of a smart vehicle imaging device | |
EP2377725B1 (en) | Side mirror simulation | |
DE202014102291U1 (en) | Rearview mirror position using rearview camera system | |
DE102012025322B4 (en) | Motor vehicle with camera monitor system | |
DE102016106255A1 (en) | Vehicle exterior camera systems and methods | |
DE102017005040A1 (en) | A display apparatus for a vehicle, a method of forming a virtual image, and a computer program product | |
EP3485347B1 (en) | Method for operating a display device of a motor vehicle | |
DE10059315A1 (en) | Arrangement and method for monitoring the surroundings of a vehicle | |
DE102011118253B4 (en) | Method for operating an electronic rearview mirror of a motor vehicle and motor vehicle | |
DE102013220669A1 (en) | Dynamic rearview indicator features | |
DE102014107158A1 (en) | Improved top-down imaging in a front curb visualization system | |
DE102007059735A1 (en) | Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle | |
DE102006009566A1 (en) | Preventing motion sickness disturbances of motor vehicle passengers involves displaying contents of image information on visual display(s) without alteration for those passengers that have at least partly no free view of surroundings | |
EP3834031B1 (en) | Method for operating a visual field display device for a motor vehicle | |
DE102012212577A1 (en) | SYSTEM AND METHOD FOR A VIDEO WITH IMPROVED DEEP PERCEPTION | |
DE102018100194B3 (en) | Mirror replacement system and method for displaying image and / or video data of the environment of a motor vehicle | |
DE102015209187B3 (en) | Monitoring device for a motor vehicle | |
EP3231668A1 (en) | Vehicle, in particular commercial vehicle, with a mirror replacement system | |
DE102016114689A1 (en) | A method for assisting the driver of a motor vehicle when maneuvering the motor vehicle with a trailer, driver assistance system and team | |
EP2500216A1 (en) | Method and device for images for a driver assistance system | |
DE102013209366B4 (en) | Display device and method for displaying information in a vehicle | |
DE102007016055A1 (en) | Vehicle i.e. car, surroundings monitoring device for e.g. assisting view of driver, has top view video transformation unit transforming video that is recorded by imaging unit into top view video, and display displaying top view video | |
DE102013020875A1 (en) | Method for displaying the external viewing conditions in a vehicle, in particular a commercial vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |