DE102018100194B3 - Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs - Google Patents

Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs Download PDF

Info

Publication number
DE102018100194B3
DE102018100194B3 DE102018100194.0A DE102018100194A DE102018100194B3 DE 102018100194 B3 DE102018100194 B3 DE 102018100194B3 DE 102018100194 A DE102018100194 A DE 102018100194A DE 102018100194 B3 DE102018100194 B3 DE 102018100194B3
Authority
DE
Germany
Prior art keywords
video data
head
image
replacement system
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102018100194.0A
Other languages
English (en)
Inventor
Nikolaj Pomytkin
Sören Lemcke
Stefan Böshagen
Lutz Eckstein
Christopher Brockmeier
Johannes Stein
Marius Stärk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BCS Automotive Interface Solutions GmbH
Original Assignee
BCS Automotive Interface Solutions GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BCS Automotive Interface Solutions GmbH filed Critical BCS Automotive Interface Solutions GmbH
Priority to DE102018100194.0A priority Critical patent/DE102018100194B3/de
Priority to PCT/EP2018/086277 priority patent/WO2019134845A1/de
Priority to US16/959,279 priority patent/US20210056328A1/en
Priority to CN201880085490.6A priority patent/CN111629930A/zh
Application granted granted Critical
Publication of DE102018100194B3 publication Critical patent/DE102018100194B3/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Ein Spiegelersatzsystem (12) für ein Kraftfahrzeug (10) ist beschrieben , mit wenigstens einer Prozessoreinheit (28), einer optischen Sensoreinheit (14), die Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs (10) erzeugt, und einem Bildschirm (38), der eingerichtet ist, zumindest einen Teil der erzeugten Bild- und/oder Videodaten anzuzeigen. Das Spiegelersatzsystem (12) umfasst einen Blickrichtungssensor (30), der eingerichtet ist, die Blickrichtung des Fahrzeugführers (36) auf den Bildschirm (38) bzw. die Position des Kopfes des Fahrzeugführers (36) zu erfassen. Die Prozessoreinheit (28) ist eingerichtet, die auf dem Bildschirm (38) darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung bzw. Position des Kopfes anzupassen, sodass die auf dem Bildschirm (38) dargestellten Bild- und/oder Videodaten an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers (36) angepasst sind. Ferner ist ein Verfahren zur Darstellung von Bild- und/oder Videodaten beschrieben.

Description

  • Die Erfindung betrifft ein Spiegelersatzsystem für ein Kraftfahrzeug sowie ein Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs mittels eines Spiegelersatzsystems für ein Kraftfahrzeug.
  • Aus dem Stand der Technik sind Kraftfahrzeuge bekannt, die ein Spiegelersatzsystem aufweisen, mit dem die herkömmlichen physischen Außen- und Innenspiegel durch optische Sensoren und entsprechende Bildschirme ersetzt werden. Beispielsweise sind drei Kameras vorgesehen, die jeweils in Fahrzeugrichtung nach hinten ausgerichtet sind, um das linke seitliche und rückwärtige Umfeld, das rechte seitliche und rückwärtige Umfeld sowie das hintere Umfeld des Kraftfahrzeugs optisch zu erfassen. Die von den Kameras erfassten Bild- bzw. Videodaten werden dann an einen Bildschirm übermittelt, der beispielsweise in einem teilweise transluzenten Innenspiegel vorgesehen ist, um im Innenspiegel dann dargestellt zu werden. Hierdurch kann der Fahrer das seitliche und hintere Umfeld des Kraftfahrzeugs überwachen, wie dies mit herkömmlichen physischen Spiegeln der Fall ist.
  • Ein derartiges Spiegelersatzsystem kann demnach die herkömmlichen physischen Seiten- und Rückspiegel ersetzen. Sofern die optischen Sensoren an geeigneten Stellen des Kraftfahrzeugs vorgesehen sind, ist sogar eine bessere Beobachtung des Umfelds des Kraftfahrzeugs möglich, da unter anderem die bei physischen Spiegeln auftretenden Totwinkel-Bereiche leichter überwacht werden können.
  • Als nachteilig hat sich jedoch bei den aus dem Stand der Technik bekannten Spiegelersatzsystemen herausgestellt, dass diese eine nicht intuitive Wiedergabe des seitlichen und rückwärtigen Umfelds des Kraftfahrzeugs bereitstellen, sodass die dargestellten Daten bzw. Informationen teilweise verwirrend für den Fahrzeugführer sind.
  • Die DE 10 2017 209 908 A1 beschreibt in kamerabasiertes Fahrerassistenzsystem, insbesondere ein Spiegelersatzsystem. Ein angezeigter Bildausschnitt wird dabei basierend auf einer erfassten Kopfposition oder Blickrichtung eines Fahrzeugführers angepasst, beispielsweise vergrößert, verkleinert oder verschoben.
  • Die US 2009/0268025 A1 beschreibt ebenfalls ein Fahrerassistenzsystem, das eine Fahrzeugumgebung aufnimmt und dem Fahrer anzeigt. Eine Blickrichtung des Fahrers kann dabei detektiert werden und ein angezeigter Bildausschnitt kann basierend auf einer detektierten Blickrichtung gewählt werden.
  • Die DE 10 2013 001 327 A1 beschreibt ebenfalls ein Anzeigesystem für ein Fahrzeug, wobei eine Blickrichtung eines Fahrers mittels einer Blickerfassungseinrichtung erfasst werden kann. Unter Berücksichtigung der erfassten Blickrichtung kann eine auf einer Anzeigeeinheit angezeigte Darstellung skaliert werden.
  • Es ist Aufgabe der Erfindung, ein Spiegelersatzsystem sowie ein Verfahren zur Darstellung von Bild- und/oder Videodaten zur Verfügung zu stellen, mit denen es möglich ist, ein natürliches Spiegelbild hervorzurufen, welches für den Fahrzeugführer intuitiv verständlich ist.
  • Die Aufgabe wird erfindungsgemäß durch ein Spiegelersatzsystem für ein Kraftfahrzeug gelöst, mit wenigstens einer Prozessoreinheit, einer optischen Sensoreinheit, die Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs erzeugt, und einem Bildschirm, der eingerichtet ist, zumindest einen Teil der erzeugten Bild- und/oder Videodaten anzuzeigen, wobei das Spiegelersatzsystem einen Blickrichtungssensor umfasst, der eingerichtet ist, die Blickrichtung des Fahrzeugführers auf den Bildschirm und/oder die Position des Kopfes des Fahrzeugführers zu erfassen, wobei die Prozessoreinheit eingerichtet ist, die auf dem Bildschirm darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung und/oder Position des Kopfes zu skalieren und/oder zu verschieben, sodass die auf dem Bildschirm dargestellten Bild- und/oder Videodaten an die Position des Kopfes und/oder die Blickrichtung des Fahrzeugführers angepasst sind, wobei das Spiegelersatzsystem eingerichtet ist, einen Verschiebefaktor und/oder einen Zoomfaktor zu bestimmen, die bzw. der abhängig von der Blickrichtung und/oder Position des Kopfes sind bzw. ist und wobei die Prozessoreinheit eingerichtet ist, den Verschiebefaktor und/oder den Zoomfaktor exponentiell zu glätten.
  • Die Aufgabe wird ferner erfindungsgemäß gelöst durch ein Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs mittels eines Spiegelersatzsystems für ein Kraftfahrzeug, mit den folgenden Schritten:
    • - Aufnehmen von Bild- und/oder Videodaten mittels einer optischen Sensoreinheit,
    • - Erfassen der Blickrichtung des Fahrzeugführers auf einen Bildschirm und/oder die Position des Kopfes des Fahrzeugführers,
    • - Verarbeiten der aufgenommen Bild- und/oder Videodaten mittels einer Prozessoreinheit,
    • - Anzeigen zumindest eines Teils der erzeugten Bild- und/oder Videodaten mittels des Bildschirms,
    wobei die Blickrichtung des Fahrzeugführers auf den Bildschirm und/oder die Position des Kopfes des Fahrzeugführers bei der Verarbeitung der aufgenommenen Bild- und/oder Videodaten herangezogen wird, sodass die auf dem Bildschirm dargestellten Bild- und/oder Videodaten an die Position des Kopfes und/oder die Blickrichtung des Fahrzeugführers durch Skalieren und/oder Verschieben angepasst sind, wobei ein Verschiebefaktor und/oder ein Zoomfaktor für die darzustellenden Bild- und/oder Videodaten bestimmt werden bzw. wird, die bzw. der abhängig von der Blickrichtung bzw. Position des Kopfes sind bzw. ist wobei der Verschiebefaktor und/oder der Zoomfaktor exponentiell geglättet werden.
  • Der Grundgedanke der Erfindung besteht darin, dass ein Bild bzw. Video auf dem Bildschirm angezeigt wird, das dem Spiegelbild eines physischen Spiegels entspricht. Hierzu wird die Blickrichtung des Fahrzeugführers bzw. die Position des Kopfes des Fahrzeugführers berücksichtigt, um das im Wesentlichen natürlich empfundene Spiegelbild auf dem Bildschirm zu erzeugen, das demjenigen eines echten optischen Spiegelbilds entspricht. Dies bedeutet, dass je nach Kopfposition bzw. Blickrichtung ein anderer Ausschnitt aus den erfassten Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs dargestellt werden kann, um ein im Wesentlichen natürliches Spiegelbild anzuzeigen. Sofern der Fahrzeugführer seine Kopfposition bzw. Blickrichtung ändert, verändert sich auch das dargestellte Bild bzw. Video auf dem Bildschirm, sodass das dargestellte Bild bzw. Video nicht als statisch bzw. starr empfunden wird. Vielmehr ergibt sich eine interaktive und intuitive Bedienung des Spiegelersatzsystems, da der Fahrzeugführer über seine Kopfposition bzw. Blickrichtung die dargestellten Informationen entsprechend steuern kann.
  • Über den Verschiebefaktor bzw. Zoomfaktor wird die erfasste Änderung des Blickwinkels bzw. Positionsänderung des Kopfes in eine Veränderung der dargestellten Bild- und/oder Videodaten umgerechnet. Dies bedeutet, dass das darzustellende Bild bzw. Video um den Verschiebefaktor bzw. Zoomfaktor verändert wird, sofern sich die Position des Kopfes bzw. die Blickrichtung in x-, y- bzw. z-Richtung entsprechend ändert.
  • Durch das exponentielle Glätten des Verschiebefaktors und/oder des Zoomfaktors wird ein Rauschen der dargestellten Bilder sowie Sprünge der Bild- bzw. Videoinformationen vermieden, da die entsprechenden Eingangsdaten zunächst geglättet werden. Da die darstellten Bild- und/oder Videodaten jedoch schnell auf entsprechende Bewegungen des Fahrzeugführers angepasst werden müssen, ist eine exponentielle Glättung des Verschiebefaktors bzw. Zoomfaktors vorgesehen.
  • Beispielsweise werden die entsprechenden Ist-Werte des Verschiebefaktors bzw. Zoomfaktors anhand ihrer Soll-Werte in jedem Frame aktualisiert, insbesondere 60 mal pro Sekunde.
  • Beispielsweise wird die Blickrichtung des Fahrzeugführers über geeignete Bildanalyse-Verfahren ermittelt, beispielsweise sogenannte Eye-Tracking-Verfahren.
  • Da die Blickrichtung des Fahrzeugführers bzw. die Position des Kopfes des Fahrzeugführers erfasst wird, kann das Spiegelersatzsystem ausgebildet sein, sich automatisch einzustellen.
  • Dies bedeutet, dass das Spiegelersatzsystem sich automatisch an die Größe des Fahrzeugführers anpasst, indem diese indirekt über die Blickrichtung bzw. die Position des Kopfes des Fahrzeugführers ermittelt wird. Eine Einstellung der einzelnen Spiegel ist somit nicht mehr nötig.
  • Ein Aspekt sieht vor, dass die optische Sensoreinheit wenigstens eine Kamera umfasst, insbesondere drei Kameras. Bei der wenigstens einen Kamera kann es sich um eine Weitwinkel-Kamera handeln, die dementsprechend einen großen Winkelbereich abdeckt, um eine Weitwinkelaufnahme bereitzustellen. Hierdurch ist eine weite Erfassung der Umgebung des Kraftfahrzeugs möglich, insbesondere des Totwinkel-Bereichs, der mit einem konventionellen Spiegelsystem nur schwer erfasst werden kann.
  • Auch können mehr als drei Kameras vorgesehen sein, beispielsweise vier Kameras. Zwei der vier Kameras können dem Heck des Kraftfahrzeugs zugeordnet sein.
  • Ferner kann die optische Sensoreinheit auch Radar-, Infrarot-, Lasersensoren oder andere Sensoren umfassen, die geeignet sind, das Umfeld des Kraftfahrzeugs (zusätzlich) zu überwachen. Insbesondere bei schlechten Lichtverhältnissen oder bei Nacht sind derartige Sensoren von Vorteil.
  • Gemäß einer Ausführungsform umfasst die optische Sensoreinheit drei Kameras, die die linke seitliche (und rückwärtige) Umgebung, die rechte seitliche (und rückwärtige) Umgebung sowie die rückwärtige Umgebung des Kraftfahrzeugs abdecken. Insofern umfassen die von den drei Kameras aufgenommenen Bilder bzw. Video zumindest die Informationen, die über ein herkömmliches Spiegelsystem erhalten werden. Hierzu können zwei der drei Kameras im Bereich der Seiten des Kraftfahrzeugs angeordnet sein, beispielsweise in den Bereichen der physischen Seitenspiegel. Aufgrund der Kameras, die den Seiten des Kraftfahrzeugs zugeordnet sind, kann auf die physischen Seitenspiegel sogar verzichtet werden.
  • Die dritte Kamera kann dem Heck des Kraftfahrzeugs zugeordnet sein, beispielsweise in der Stoßstange oder im Bereich des Dachs angeordnet sein, sodass es rückwärtige Aufnahmen erzeugt.
  • Die Prozessoreinheit ist generell eingerichtet, aus den über die mehreren Kameras getrennt erhaltenen Bild- und/oder Videodaten ein zusammenhängendes Bild bzw. Video zu erstellen, welches auf dem Bildschirm entsprechend dargestellt wird. Insofern erhält die Prozessoreinheit beispielsweise von den drei Kameras einen linken Datensatz mit Bild- bzw. Videodaten, die der linken Seite des Kraftfahrzeugs zugeordnet sind, einen rechten Datensatz mit Bild- bzw. Videodaten, die der rechten Seite des Kraftfahrzeugs zugeordnet sind, sowie einen hinteren Datensatz mit Bild- bzw. Videodaten, die der rückwärtigen Umgebung des Kraftfahrzeugs zugeordnet sind. Diese drei Datensätze werden von der Prozessoreinheit entsprechend verarbeitet, um ein zusammenhängendes Bild/Video der Umgebung des Kraftfahrzeugs zu erzeugen. Dies ist insbesondere dadurch möglich, dass die drei Kameras jeweils überschneidende Umgebungen erfassen, sodass die Bilddaten bzw. Videodaten von der Prozessoreinheit in dem Überlappungsbereich der Datensätze entsprechend angepasst werden, sodass ein zusammenhängendes Bild bzw. ein zusammenhängendes Video entsteht.
  • Generell kann vorgesehen sein, dass zumindest ein bestimmter Datensatz aufgrund der erfassten Blickrichtung bzw. Position des Kopfes des Fahrzeugführers auf dem Bildschirm anders als die übrigen Datensätze dargestellt wird. Die Prozessoreinheit ist demnach eingerichtet, zumindest einen bestimmten Datensatz in Abhängigkeit der erfassten Blickrichtung bzw. Position des Kopfes des Fahrzeugführers anders als die übrigen Datensätze bereitzustellen. Hierbei kann es sich um eine Hervorhebung der Informationen des entsprechenden Datensatzes handeln.
  • Dies geschieht beispielsweise zusätzlich in Abhängigkeit von einem gewählten Betriebsmodus, insbesondere in Abhängigkeit des gewählten Gangs.
  • Es ist somit eine Interaktion des Fahrzeugführers mit dem Spiegelersatzsystem möglich, indem der Fahrzeugführer aufgrund seiner Bewegung bzw. Änderung der Blickrichtung gezielt die dargestellten Informationen steuert. Beispielsweise kann bei einem aktiven Rückwärtsgang eine Kopfbewegung in eine bestimmte Richtung dazu führen, dass ein zugeordneter Datensatz hervorgeheben wird.
  • Eine Kopfbewegung nach vorne links aus Sicht des Fahrzeugführers kann somit zur vergrößerten (in Bezug auf die Fläche des Bildschirms) und/oder gezoomten Darstellung führen, wodurch das Einparken entsprechend vereinfacht ist.
  • Ein weiterer Aspekt sieht vor, dass der Blickrichtungssensor wenigstens einen Infrarot-Sensor umfasst. Über den Infrarot-Sensor ist sichergestellt, dass die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers auch bei Dunkelheit erfasst werden kann, also bei Nachtfahrten.
  • Zudem kann der Blickrichtungssensor wenigstens eine Kamera umfassen, beispielsweise eine RGB-Kamera, die eingerichtet ist, die Blickrichtung des Fahrzeugführers auf dem Bildschirm bzw. die Position des Kopfes des Fahrzeugführers zu erfassen. Die Kamera kann zusätzlich oder alternativ zum Infrarot-Sensor vorgesehen sein, sodass die Information des Infrarot-Sensors sowie die der Kamera genutzt werden, um die Blickrichtung des Fahrzeugführers auf dem Bildschirm bzw. die Position des Kopfes zu erfassen. Die entsprechenden Daten können ergänzend ausgewertet werden.
  • Gemäß einer Ausführungsform ist das Spiegelersatzsystem eingerichtet, die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers in allen drei Raumrichtungen zu erfassen. In analoger Weise wird beim Verfahren die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers in allen drei Raumrichtungen erfasst. Insofern kann eine Änderung der Blickrichtung, eine Positionsänderung des Kopfes bzw. generell die Position des Kopfes in x-, y- sowie z-Richtung erfasst werden, um ein möglichst natürliches Spiegelbild auf dem Bildschirm zu erzeugen.
  • Insbesondere kann der Blickrichtungssensor wenigstens zwei Infrarot-Sensoren und/oder zwei Kameras umfassen, um die Blickrichtung des Fahrzeugführers auf den Bildschirm bzw. die Position des Kopfes des Fahrzeugführers zu bestimmen. Hierdurch lässt sich insbesondere die dreidimensionale Position bzw. Positionsänderung des Kopfes leichter erfassen.
  • Die drei Dimensionen x, y, z sind dabei beispielsweise so definiert, dass die z-Richtung im Wesentlichen der Fahrzeugrichtung entspricht. Demnach ist die Windschutzscheibe des Kraftfahrzeugs im Wesentlichen in z-Richtung gegenüberliegend zum Fahrzeugführer vorgesehen.
  • Der Bildschirm kann sich in der x- Richtung und der y-Richtung erstrecken, sodass der Fahrzeugführer im Wesentlichen in z-Richtung auf den Bildschirm schaut. In Abhängigkeit der Anordnung des Bildschirms kann die Blickrichtung jedoch auch eine x- und/oder y-Komponente umfassen.
  • Beispielsweise ist der Bildschirm in einem Innenspiegel integriert, an der Position eines herkömmlichen physischen Innenspiegels vorgesehen ist, oder als Teil eines Entertainment-Systems ausgebildet, sodass auf dem Bildschirm auch Entertainment-Informationen dargestellt werden können. Des Weiteren kann es sich bei dem Bildschirm um ein Head-Up Display handeln.
  • Auch kann vorgesehen sein, dass der Bildschirm im Bereich der Innenraumverkleidung angeordnet ist, beispielsweise dort integriert ist, bzw. einem entsprechenden Bereich zugeordnet ist, beispielsweise einer Sonnenblende für den Fahrzeugführer, insbesondere in der Sonnenblende integriert ist.
  • Insbesondere ist das Spiegelersatzsystem eingerichtet, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung (z-Richtung) zu skalieren, wobei die Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Positionsänderung des Kopfes zusammenhängt.
  • Die darzustellenden Bild- und/oder Videodaten werden aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung (z-Richtung) linear skaliert, insbesondere wobei ein Skalierungsfaktor zwischen 0,0005 und 0,002 pro cm verwendet wird, beispielsweise ein Skalierungsfaktor von 0,00125 pro cm.
  • Hierdurch ist es möglich, dass die Bewegung des Kopfes des Fahrzeugführers nach vorne oder hinten, also in Fahrzeugrichtung gesehen, zu einem Hinein- bzw. Herauszoomen der dargestellten Informationen führt. Aufgrund der linearen Übersetzung der Bewegung wird ein natürlich empfundenes Spiegelbild erzeugt, da die Bewegungssensitivität vergleichbar mit der eines realen Spiegels ist.
  • Der geringe Skalierungsfaktor ist vorteilhaft, da dieser eine dezente Übersetzung zur Folge hat, bei der die angezeigten Informationen natürlich wirken, insbesondere bei einer Änderung der Kopfposition bzw. der Blickrichtung. Außerdem lassen sich so Diskretisierungseffekte und Rauscheffekte verringern.
  • Der Ursprung der z-Achse kann dabei in der Ebene liegen, in der der Blickrichtungssensor angeordnet ist, sodass die neutrale Kopfposition des Fahrzeugführers vom Ursprung der z-Achse entfernt ist.
  • Ein weiterer Aspekt sieht vor, dass das Spiegelersatzsystem eingerichtet ist, die Skalierung ausgehend von einem Ursprung zu ermitteln, der in Fahrzeugrichtung (z-Richtung) von der neutralen Kopfposition des Fahrzeugführers abweicht, sodass sich bei der neutralen Kopfposition eine leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm ergibt, insbesondere wobei ein Offset von etwa 0,75 m vorgesehen ist.
  • Auch beim Verfahren wird die Skalierung ausgehend von einem Ursprung ermittelt, der in Fahrzeugrichtung, also in z-Richtung, von der neutralen Kopfposition des Fahrzeugführers abweicht, sodass sich bei der neutralen Kopfposition eine leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm ergibt, insbesondere wobei ein Offset von etwa 0,75 m vorgesehen ist.
  • Die neutrale Kopfposition des Fahrzeugführers liegt bei etwa 90 cm ausgehend vom Ursprung der z-Achse. Durch den gewählten Offset, beispielsweise von etwa 0,75 m, ist es möglich, dass sich bereits bei der neutralen Kopfposition des Fahrzeugführers, die der Fahrzeugführer normalerweise einnimmt, eine verkleinerte Darstellung der Bild- und/oder Videodaten ergibt, wodurch eine Weitwinkeldarstellung möglich ist. Der Fahrzeugführer erhält somit bei der neutralen Position mehr Informationen, als dies bei einem üblichen physischen Spiegelsystem der Fall ist. Insbesondere lassen sich hierdurch die sogenannten Totwinkel-Bereiche entsprechend einfach überwachen.
  • Gemäß einem weiteren Aspekt ist das Spiegelersatzsystem eingerichtet, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes quer zur Fahrzeugrichtung, also in x-Richtung und/oder y-Richtung, zu verschieben, wobei die Verschiebung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung bzw. Positionsänderung des Kopfes zusammenhängt.
  • Die darzustellenden Bild- und/oder Videodaten werden aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes quer zur Fahrzeugrichtung, also in x-Richtung und/oder y-Richtung, linear verschoben, insbesondere wobei ein Skalierungsfaktor zwischen 0,05 und 0,2 pro cm verwendet wird, beispielsweise ein Skalierungsfaktor von 0,1 pro cm.
  • Sofern der Fahrzeugführer seinen Blick bzw. die Position des Kopfes in x-Richtung bzw. y-Richtung verändert, ergibt sich ein verschobenes Bild auf dem Bildschirm, wie dies bei einem herkömmlichen optischen Spiegelsystem der Fall ist. Aufgrund des linearen Zusammenhangs wird zudem ein natürliches Empfinden beim Fahrzeugführer hervorgerufen.
  • Der geringe Skalierungsfaktor ist auch hiervorteilhaft, da dieser eine dezente Übersetzung zur Folge hat, bei der die angezeigten Informationen natürlich wirken, insbesondere bei einer Änderung der Kopfposition bzw. der Blickrichtung. Außerdem lassen sich so Diskretisierungseffekte und Rauscheffekte verringern.
  • Gemäß einem weiteren Aspekt umfasst die Prozessoreinheit einen Fragment-Shader und ist eingerichtet, die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors zu bestimmen, insbesondere wobei der Fragment-Shader zusätzlich den geglätteten Verschiebefaktor, den geglätteten Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder bzw. Videos berücksichtigt.
  • Beim Verfahren werden die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors in einem Fragment-Shader berechnet, insbesondere wobei zusätzlich der geglättete Verschiebefaktor, der geglättete Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder bzw. Videos berücksichtigt werden bzw. wird.
  • Der Fragment-Shader errechnet demnach in effizienter Weise die Texturkoordinaten der einzelnen Pixel der darzustellenden Bilder bzw. Videos, wobei hierzu zumindest der Verschiebefaktor bzw. der Zoomfaktor berücksichtigt werden.
  • Insbesondere werden der zuvor geglättete Verschiebefaktor bzw. der geglättete Zoomfaktor berücksichtigt, um ein entsprechendes rauscharmes Bild bzw. Video bereitzustellen.
  • Gleichzeitig können die Höhe bzw. die Breite der darzustellenden Bilder bzw. Video berücksichtigt werden, um sicherzustellen, dass das dargestellte Bild bzw. Video nicht verzerrt ist.
  • Ein weiterer Aspekt sieht vor, dass das Spiegelersatzsystem eingerichtet ist, Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes zu verwenden, oberhalb derer die Prozessoreinheit erst die darzustellenden Bild- und/oder Videodaten verändert.
  • Beim Verfahren werden Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes verwendet, oberhalb derer die darzustellenden Bild- und/oder Videodaten erst verändert werden.
  • Hierdurch wird sichergestellt, dass ein unruhiges Bild bzw. Video auf dem Bildschirm vermieden wird, was der Fall sein könnte, sofern kleine Bewegungen des Kopfes bzw. Veränderungen der Blickrichtung ständig zu einem veränderten dargestellten Ausschnitt der erfassten Umgebung führen würden. Über die Schwellwerte werden Mindestdistanzen vorgegeben, die zunächst betragsmäßig überwunden werden müssen, bevor sich eine Verschiebung bzw. Skalierung des dargestellten Bildes und/oder Videos auf dem Bildschirm ergibt.
  • Des Weiteren kann das Spiegelersatzsystem eingerichtet sein, nicht-lineare Transformationen der erzeugten Bild- und/oder Videodaten durchzuführen, sodass die Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes zusammenhängt. Die Bewegung in Fahrzeugrichtung (z-Richtung), die linear übersetzt werden soll, muss demnach entsprechend nicht-linear transformiert werden aufgrund des Öffnungswinkels der entsprechenden Kamera der optischen Sensoreinheit.
  • Weitere Vorteile und Eigenschaften des erfindungsgemäßen Spiegelersatzsystems sowie des erfindungsgemäßen Verfahrens zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs ergeben sich aus der nachfolgenden Beschreibung und den Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:
    • - 1 eine schematische Darstellung eines Kraftfahrzeugs mit einem erfindungsgemäßen Spiegelersatzsystem,
    • - 2 eine schematische Darstellung eines Spiegelersatzsystems gemäß einer Ausführungsform, und
    • - 3 eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.
  • In 1 ist ein Kraftfahrzeug 10 gezeigt, das ein Spiegelersatzsystem 12 aufweist, welches ein herkömmliches physisches Spiegelsystem aus physischen Spiegeln ersetzt.
  • Das Spiegelersatzsystem 12 hat eine optische Sensoreinheit 14, die in der gezeigten Ausführungsform drei Weitwinkel-Kameras 16-20 umfasst, die vorgesehen sind, um die beiden Seitenspiegel sowie den Innenspiegel zu ersetzen.
  • Die erste Kamera 16 ist der linken Seite 22 des Kraftfahrzeugs 10 zugeordnet, wohingegen die zweite Kamera 18 der rechten Seite 24 des Kraftfahrzeugs 10 zugeordnet ist. Ferner ist die dritte Kamera 20 der Rückseite 26 des Kraftfahrzeugs 10 zugeordnet.
  • Beispielsweise sind die jeweiligen Kameras 16 - 20 an den jeweiligen Seiten 22 - 26 des Kraftfahrzeugs 10 angeordnet. Die erste Kamera 16 erfasst demnach die linke seitliche und rückwärtige Umgebung des Kraftfahrzeugs 10, wohingegen die zweite Kamera 18 die rechte seitliche und rückwärtige Umgebung des Kraftfahrzeugs 10 erfasst. Die dritte Kamera 20 erfasst dagegen den hinteren Bereich des Kraftfahrzeugs 10, insbesondere den Bereich direkt hinter dem Heck des Kraftfahrzeugs 10.
  • Die drei Kameras 16 - 20 erfassen jeweils einen Bereich der Umgebung des Kraftfahrzeugs 10, wobei sich die entsprechenden Bereiche der linken bzw. rechten Kamera 16, 18 mit dem Bereich der hinteren Kamera 20 zumindest teilweise überlappen, sodass ein linker Überlappungsbereich sowie ein rechter Überlappungsbereich vorliegen. Im jeweiligen Überlappungsbereich werden somit Daten von zwei Kameras 16 - 20 gleichzeitig erfasst.
  • Die von den Kameras 16 - 20, also der optischen Sensoreinheit 14, erfassten Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 werden an eine Prozessoreinheit 28 übermittelt, die Teil des Spiegelersatzsystems 12 ist. Die Prozessoreinheit 28 verarbeitet die erhaltenen Daten entsprechend, wie nachfolgend noch erläutert wird.
  • Zudem umfasst das Spiegelersatzsystem 12 einen Blickrichtungssensor 30, der in der gezeigten Ausführungsform durch zwei Infrarot-Sensoren 32, 34 ausgebildet ist, die im Fahrzeuginneren angeordnet sind.
  • Alternativ oder ergänzend kann der Blickrichtungssensor 30 wenigstens eine Kamera umfassen, beispielsweise eine RGB-Kamera, die auf den Fahrzeugführer ausgerichtet ist.
  • Der Blickrichtungssensor 30 ist generell eingerichtet, die Position des Kopfes des Fahrzeugführers 36 bzw. die Blickrichtung des Fahrzeugführers 36 auf einen Bildschirm 38 zu erfassen, der ebenfalls Teil des Spiegelersatzsystems 12 ist. Hierzu können Eye-Tracking Techniken zum Einsatz kommen.
  • Auf dem Bildschirm 38 werden die von der optischen Sensoreinheit 14 erfassten bzw. erzeugten Bild- und/oder Videodaten angezeigt, weswegen der Bildschirm 38 mit der Prozessoreinheit 28 gekoppelt ist. Hierüber werden dem Fahrzeugführer somit die erfassten Bild- bzw. Videodaten angezeigt, sodass er in die Lage versetzt wird, die Umgebung des Kraftfahrzeugs 10 zu überwachen.
  • Der Blickrichtungssensor 30 ist ebenfalls mit der Prozessoreinheit 28 gekoppelt, sodass die von dem Blickrichtungssensor 30 erfassten Daten von der Prozessoreinheit 28 ausgewertet und entsprechend berücksichtigt werden. Dies wird nachfolgend anhand der 3 näher erläutert, wenn das Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 mittels des Spiegelersatzsystems 12 beschrieben wird.
  • Aus der 1 geht ferner hervor, dass der Bildschirm 38 mittig zwischen den beiden Infrarot-Sensoren 32, 34 angeordnet ist.
  • Generell weisen die beiden Infrarot-Sensoren 32, 34 einen definierten Abstand zueinander auf und zum Kopf des Fahrzeugführers; zumindest in der neutralen Kopfposition.
  • Der Bildschirm 38 ist zudem in einer Ebene angeordnet, die sich in x- und y-Richtung erstreckt, also quer zur Fahrzeugrichtung, wie dies bei einem Innenspiegel bzw. einem Armaturenbrett üblicherweise der Fall ist. Insofern handelt es sich bei der z-Richtung um die Fahrzeugrichtung des Kraftfahrzeugs 10. Die Fahrzeugrichtung entspricht im Wesentlichen auch der Fahrrichtung des Kraftfahrzeugs 10.
  • In 2 ist eine alternative Ausführungsform des Spiegelersatzsystems 12 gezeigt, die zwei Prozessoreinheiten 28a, 28b umfasst. Die erste Prozessoreinheit dient dabei zur Berechnung der Blickrichtung des Fahrzeugführers bzw. der Position des Kopfes des Fahrzeugführers 36, wobei die entsprechend berechneten Tracking-Daten an die zweite Prozessoreinheit 28b übermittelt werden, die zusätzlich die von der optischen Sensoreinheit 14 erfassten Daten erhält, insbesondere die entsprechenden Rohdaten. Die zweite Prozessoreinheit 28b berechnet aufgrund der von der ersten Prozessoreinheit 28a erhaltenen Tracking-Daten sowie der von der optischen Sensoreinheit 14 erhaltenen Daten das entsprechend darzustellende Bild, welches dann an den Bildschirm 38 zur Darstellung weitergegeben wird.
  • Insofern unterscheidet sich die in 2 gezeigte, zweite Ausführungsform des Spiegelersatzsystems 12 von der in 1 gezeigten, ersten Ausführungsform lediglich dahingehend, dass zwei getrennte Prozessoreinheiten 28a, 28b vorgesehen sind, wodurch die jeweiligen Prozessoreinheiten 28a, 28b auf die besonderen Anforderungen besser eingerichtet sein können, also auf die durchzuführenden Rechenschritte
  • Mit Bezug auf 3 wird nachfolgend erläutert, wie das Spiegelersatzsystem 12 die darzustellenden Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 berechnet und entsprechend darstellt.
  • Zunächst werden mittels der optischen Sensoreinheit 14, also den jeweiligen Kameras 16-20, Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 aufgenommen. Hierdurch entstehen ein linker Datensatz der ersten Kamera 16, ein rechter Datensatz der zweiten Kamera 18 sowie ein mittlerer bzw. hinterer Datensatz der hinteren Kamera 20.
  • Die entsprechend aufgenommenen Bild- und/oder Videodaten, also die jeweiligen Datensätze, werden an die zumindest eine Prozessoreinheit 28 übermittelt, die diese weiterverarbeitet.
  • Zudem wird die Blickrichtung des Fahrzeugführers 36 auf den Bildschirm 38 bzw. die Position des Kopfes des Fahrzeugführers 36 mittels des Blickrichtungssensors 30 erfasst. Hierbei kann die dreidimensionale Position des Kopfes erfasst werden, sodass die Position in x-, y- sowie z-Richtung ermittelt wird, also in Fahrzeugrichtung (z-Richtung) sowie quer zur Fahrzeugrichtung (x-Richtung und/oder y-Richtung).
  • Die entsprechenden Daten des Blickrichtungssensors 30 werden an die zumindest eine Prozessoreinheit 28 weitergeleitet, die die aufgenommenen Bild- und/oder Videodaten der optischen Sensoreinheit 14 entsprechend verarbeitet. Die Prozessoreinheit 28 ermittelt zudem die Blickrichtung des Fahrzeugführers auf dem Bildschirm 28 bzw. die (dreidimensionale) Position des Kopfes des Fahrzeugführers 36 aufgrund der erfassten Daten des Blickrichtungssensors 30.
  • Bei der Verarbeitung der aufgenommenen Bild- und/oder Videodaten, die dargestellt werden sollen, zieht die Prozessoreinheit 28 die ermittelte Blickrichtung des Fahrzeugführers auf dem Bildschirm 28 bzw. die (dreidimensionale) Position des Kopfes des Fahrzeugführers 36 heran, um den darzustellenden Ausschnitt entsprechend anzupassen..
  • Aufgrund der erfassten Position des Kopfes des Fahrzeugführers 36 bzw. dessen Blickrichtung wird der auf dem Bildschirm 38 darzustellende Ausschnitt entsprechend so gewählt, dass dieser an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers 36 angepasst ist. Hierdurch wird erreicht, dass ein für den Fahrzeugführer 36 natürliches bzw. natürlich empfundenes Spiegelbild auf dem Bildschirm 38 erzeugt wird, das abhängig von der Blickrichtung bzw. Position des Kopfes des Fahrzeugführers 36 ist, insbesondere sich variabel mit einer Positionsänderung bzw. Änderung der Blickrichtung verändert bzw. entsprechend anpasst.
  • Sofern der Fahrzeugführer 36 seinen Kopf bewegt bzw. die Blickrichtung nämlich verändert, wird dies über den Blickrichtungssensor 30 und die Prozessoreinheit 28 erfasst, sodass der auf dem Bildschirm 38 dargestellte Ausschnitt entsprechend angepasst wird. Die entsprechende Positionsänderung des Kopfes wird hierzu in allen drei Raumrichtungen erfasst, um ein natürliches und intuitives Spiegelbild für den Fahrzeugführer 36 zu erzeugen.
  • Das Spiegelersatzsystem 12, insbesondere die Prozessoreinheit 28, ist dabei eingerichtet, die darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Positionsänderung des Kopfes in z-Richtung, also in Fahrzeugrichtung, linear zu skalieren. Hierdurch ergibt sich ein besonders natürliches Empfinden beim Fahrzeugführer.
  • Beispielsweise wird ein Skalierungsfaktor zwischen 0,0005 und 0,002 pro cm verwendet, insbesondere ein Skalierungsfaktor von 0,00125 pro cm, um eine entsprechende Skalierung der Bild- und/oder Videodaten zu berechnen, wenn sich der Fahrzeugführer 36 in Fahrzeugrichtung auf den Bildschirm 38 zu- bzw. von diesem wegbewegt.
  • Des Weiteren kann das Spiegelersatzsystem 12, insbesondere die Prozessoreinheit 28, eingerichtet sein, die Skalierung ausgehend von einem Ursprung zu ermitteln, der in z-Richtung, also in Fahrzeugrichtung, von der neutralen Kopfposition des Fahrzeugführers 36 abweicht, sodass sich ein leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm 38 ergibt, wenn sich der Fahrzeugführer 36 in seiner neutralen Sitzposition befindet, die mit der neutralen Kopfposition einhergeht.
  • Generell wird somit ein Zoomfaktor ermittelt, über den die Bewegung des Kopfes des Fahrzeugführers 36 in z-Richtung, also in Fahrzeugrichtung, entsprechend umgesetzt wird. Die Umsetzung erfolgt dabei linear, wobei ein Offset vorgesehen ist, sodass sich eine herausgezoomte Ansicht ergibt, wenn sich der Fahrzeugführer 36 in seiner neutralen Sitzposition befindet. Der Zoomfaktor lässt sich demnach über die folgende Formel darstellen: z' = 0 ,75 − 0 ,00125/cm * z
    Figure DE102018100194B3_0001
  • Hierbei entspricht der Parameter „z“ der tatsächlichen Bewegungsstrecke des Fahrzeugführers 36 in z-Richtung, also in Fahrzeugrichtung, die entsprechend mit „z'‟ umgesetzt wird.
  • Hierbei sind der Skalierungsfaktor von 0,00125 pro cm sowie der Offset von 0,75 vorgesehen, sodass der Ursprung der Skalierung um 0,75 m nach vorne gelegt worden ist, wobei die neutrale Kopfposition bei etwa 0,9 m liegt.
  • In analoger Weise kann ein Verschiebefaktor berechnet werden, wobei die Prozessoreinheit 28 hierzu die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes in x-Richtung und/oder y-Richtung linear verschiebt. Hierbei kann ein Skalierungsfaktor zwischen 0,05 und 0,2 pro cm verwendet werden, beispielsweise ein Skalierungsfaktor von 0,1 pro cm, sodass sich für die jeweiligen Verschiebefaktoren folgende Formeln ergibt: x' = 0,1 / cm * x bzw . y' = 0,1 / cm * y
    Figure DE102018100194B3_0002
  • Der entsprechende Ursprung der x-Achse bzw. y-Achse wird dabei in einem zentrierten Bild auf die neutrale Kopfposition des Fahrzeugführers 36 gelegt. In der neutralen Kopfposition ergeben sich also Werte von 0.
  • Die berechneten Verschiebefaktoren können anschließend auf einen definierten Wertebereich begrenzt werden, beispielsweise auf einen Wertebereich von -1 bis 1, sodass sich eine maximale Verschiebung der Bild- bzw. Videodaten ergibt.
  • Generell ist mit der linearen Verschiebung bzw. linearen Skalierung der Bild- und/oder Videodaten aufgrund der erfassten Positionsänderung bzw. Blickrichtungsänderung sichergestellt, dass ein natürliches Empfinden beim Fahrzeugführer erreicht wird.
  • Gleichzeitig werden geringe Übersetzungsfaktoren (Skalierungsfaktoren) verwendet, sodass eine Verwirrung des Fahrzeugführers 36 während der Fahrt vermieden wird.
  • Des Weiteren können die berechneten Verschiebefaktoren sowie der berechnete Zoomfaktor exponentiell geglättet werden, sodass Sprünge der dargestellten Bilder bzw. Videos sowie ein Rauschen vermieden werden. Da die dargestellten Informationen jedoch schnell auf eingehende Bewegungen angepasst werden müssen, ist eine exponentielle Glättung vorteilhaft.
  • Hierzu werden in jedem Frame die Ist-Werte des entsprechenden Faktors anhand des Soll-Werts des entsprechenden Faktors aktualisiert. In Abhängigkeit vom verwendeten Bildschirm 38 kann dies beispielsweise 60 x pro Sekunde der Fall sein, also bei einem 60 Hz-Bildschirm. Die exponentielle Glättung lässt sich über folgende Formeln beispielsweise darstellen: x'' = x'' + 0,1 * ( x' − x'' ) ,
    Figure DE102018100194B3_0003
     y'' = y'' + 0,1 * ( y' − y'' )
    Figure DE102018100194B3_0004
    sowie z'' = z' + 0,2 * ( z' − z'' )
    Figure DE102018100194B3_0005
  • Bei den doppelt apostrophierten Parametern (x", y", z") handelt es sich jeweils um die Ist-Werte, die anhand ihrer Sollwerte (x', y', z') entsprechend aktualisiert werden.
  • Des Weiteren kann die Prozessoreinheit 28 einen Fragment-Shader 40 umfassen, der die Texturkoordinaten (u, v) der einzelnen Pixel der darzustellenden Bilder bzw. Videos berechnet. Hierzu greift der Fragment-Shader 40 auf die zuvor ermittelten Verschiebefaktoren bzw. Zoomfaktor zu, insbesondere die geglätteten Verschiebefaktoren bzw. den geglätteten Zoomfaktor.
  • Zudem kann der Fragment-Shader 40 die Höhe (img_height) bzw. Breite (img_width) der darzustellenden Bilder bzw. Videos berücksichtigen, um die entsprechenden Texturkoordinaten (u, v) zu variieren. Hierbei kann der Fragment-Shader 40 folgende Formeln verwenden: u' = img_width − ( u * z'' + ( ( 1 − z'' ) * 0,5 ) * ( 1 + x ' ' ) * img_width )
    Figure DE102018100194B3_0006
    und v' = v * z'' + ( 1 − z'' ) * 0,5 * img_height
    Figure DE102018100194B3_0007
  • Gleichzeitig kann die Prozessoreinheit 28 bei der Erzeugung bzw. Verarbeitung der Bild- und/oder Videodaten Schwellwerte anwenden, die für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes vorgesehen sind. Aufgrund der Schwellwerte ist sichergestellt, dass die dargestellten Bild- und/oder Videodaten keinen unruhigen Eindruck beim Fahrzeugführer 36 verursachen, da zunächst eine gewisse Mindestdistanz betragsmäßig überschritten werden muss, bevor sich eine Veränderung der dargestellten Bild- und/oder Videodaten ergibt, also eine Verschiebung bzw. Skalierung der Bild- und/oder Videodaten.
  • Des Weiteren kann vorgesehen sein, dass die Prozessoreinheit 28 eingerichtet ist, die von der optischen Sensoreinheit 14 bereitgestellten Bild- und/oder Videodaten durch Informationen zu ergänzen. Bei den Informationen kann es sich beispielsweise um Rangierlinien handeln, die dem Fahrzeugführer 36 anzeigen, wohin sich das Kraftfahrzeug 10 aufgrund eines gewählten Lenkeinschlags beim Rückwärtsfahren bewegen wird.
  • Weitere Informationen, die dargestellt werden können, sind beispielsweise Warnzeichen, Symbole und/oder Hervorhebungen.
  • Die zusätzlich dargestellten Informationen können ebenfalls aufgrund der Blickrichtung des Fahrzeugführers 36 bzw. der Position des Kopfes hinsichtlich ihrer Darstellung entsprechend angepasst werden, sodass nicht nur die von der optischen Sensoreinheit 14 erfassten Bild- und/oder Videodaten aufgrund der Blickrichtung bzw. Position des Kopfes des Fahrzeugführers 36 angepasst werden, sondern auch die zusätzlich dargestellten Informationen.
  • Hierdurch wird für eine sogenannte „augmented reality“ also eine natürliches Empfinden erzeugt, was einem echten (physischen) Spiegel gleicht.
  • Es ergibt sich somit ein intuitiv verständliches Spiegelersatzsystem 12, das eine natürliche Darstellung der erfassten Umgebung des Kraftfahrzeugs 10 auf dem Bildschirm 38 bereitstellt, da sich die dargestellten Informationen an die Blickrichtung bzw. Position des Kopfes des Fahrzeugführers 36 entsprechend anpasst.

Claims (17)

  1. Spiegelersatzsystem (12) für ein Kraftfahrzeug (10), mit wenigstens einer Prozessoreinheit (28), einer optischen Sensoreinheit (14), die Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs (10) erzeugt, und einem Bildschirm (38), der eingerichtet ist, zumindest einen Teil der erzeugten Bild- und/oder Videodaten anzuzeigen, wobei das Spiegelersatzsystem (12) einen Blickrichtungssensor (30) umfasst, der eingerichtet ist, die Blickrichtung des Fahrzeugführers (36) auf den Bildschirm (38) und/oder die Position des Kopfes des Fahrzeugführers (36) zu erfassen, wobei die Prozessoreinheit (28) eingerichtet ist, die auf dem Bildschirm (38) darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung und/oder Position des Kopfes zu skalieren und/oder zu verschieben, sodass die auf dem Bildschirm (38) dargestellten Bild- und/oder Videodaten an die Position des Kopfes und/oder die Blickrichtung des Fahrzeugführers (36) angepasst sind, wobei das Spiegelersatzsystem (12) eingerichtet ist, einen Verschiebefaktor und/oder einen Zoomfaktor zu bestimmen, die oder der abhängig von der Blickrichtung und/oder Position des Kopfes sind oder ist, und wobei die Prozessoreinheit (28) eingerichtet ist, den Verschiebefaktor und/oder den Zoomfaktor exponentiell zu glätten.
  2. Spiegelersatzsystem (12) nach Anspruch 1, dadurch gekennzeichnet, dass die optische Sensoreinheit (14) wenigstens eine Kamera (16 - 20) umfasst, insbesondere drei Kameras (16- 20).
  3. Spiegelersatzsystem (12) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Blickrichtungssensor (30) wenigstens einen Infrarot-Sensor (32, 34) umfasst.
  4. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers (36) in allen drei Raumrichtungen zu erfassen.
  5. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung zu skalieren, wobei die Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Positionsänderung des Kopfes zusammenhängt.
  6. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die Skalierung ausgehend von einem Ursprung zu ermitteln, der in Fahrzeugrichtung von der neutralen Kopfposition des Fahrzeugführers (36) abweicht, sodass sich bei der neutralen Kopfposition eine leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm (38) ergibt, insbesondere wobei ein Offset von etwa 0,75 m zum Ursprung vorgesehen ist.
  7. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung und/oder Positionsänderung des Kopfes quer zur Fahrzeugrichtung zu verschieben, wobei die Verschiebung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung und/oder Positionsänderung des Kopfes zusammenhängt.
  8. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Prozessoreinheit (28) einen Fragment-Shader (40) umfasst und eingerichtet ist, die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors zu bestimmen, insbesondere wobei der Fragment-Shader (40) zusätzlich den geglätteten Verschiebefaktor, den geglätteten Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder und/oder Videos berücksichtigt.
  9. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung und/oder Position des Kopfes zu verwenden, oberhalb derer die Prozessoreinheit (28) erst die darzustellenden Bild- und/oder Videodaten verändert.
  10. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, nicht-lineare Transformationen der erzeugten Bild- und/oder Videodaten durchzuführen, sodass die Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung, Positionsänderung und/oder Position des Kopfes zusammenhängt.
  11. Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs (10) mittels eines Spiegelersatzsystems (12) für ein Kraftfahrzeug (10), mit den folgenden Schritten: - Aufnehmen von Bild- und/oder Videodaten mittels einer optischen Sensoreinheit (14), - Erfassen der Blickrichtung des Fahrzeugführers (36) auf einen Bildschirm (38) und/oder der Position des Kopfes des Fahrzeugführers (36), - Verarbeiten der aufgenommen Bild- und/oder Videodaten mittels einer Prozessoreinheit (28), - Anzeigen zumindest eines Teils der erzeugten Bild- und/oder Videodaten mittels des Bildschirms, wobei die Blickrichtung des Fahrzeugführers (36) auf den Bildschirm (38) und/oder die Position des Kopfes des Fahrzeugführers (36) bei der Verarbeitung der aufgenommen Bild- und/oder Videodaten herangezogen wird oder werden, sodass die auf dem Bildschirm (38) dargestellten Bild- und/oder Videodaten an die Position des Kopfes und/oder die Blickrichtung des Fahrzeugführers (36) durch Skalieren und/oder Verschieben angepasst sind, wobei ein Verschiebefaktor und/oder ein Zoomfaktor für die darzustellenden Bild- und/oder Videodaten bestimmt werden oder wird, die oder der abhängig von der Blickrichtung und/oder Position des Kopfes sind oder ist, wobei der Verschiebefaktor und/oder der Zoomfaktor exponentiell geglättet werden oder wird.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers (36) in allen drei Raumrichtungen erfasst wird oder werden.
  13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung linear skaliert werden, insbesondere wobei ein Skalierungsfaktor zwischen 0,0005 und 0,002 pro cm einer Kopfbewegung verwendet wird, beispielsweise ein Skalierungsfaktor von 0,00125 pro cm.
  14. Verfahren nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung und/oder Positionsänderung des Kopfes quer zur Fahrzeugrichtung linear verschoben werden, insbesondere wobei ein Skalierungsfaktor zwischen 0,05 und 0,2 pro cm einer Kopfbewegung verwendet wird, beispielsweise ein Skalierungsfaktor von 0,1 pro cm.
  15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass die Skalierung ausgehend von einem Ursprung ermittelt wird, der in Fahrzeugrichtung von der neutralen Kopfposition des Fahrzeugführers (36) abweicht, sodass sich bei der neutralen Kopfposition eine leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm (38) ergibt, insbesondere wobei ein Offset von etwa 0,75 m zum Ursprung vorgesehen ist.
  16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors in einem Fragment-Shader (40) berechnet werden, insbesondere wobei zusätzlich der geglättete Verschiebefaktor, der geglättete Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder und/oder Videos berücksichtigt werden oder wird.
  17. Verfahren nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, dass Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung und/oder Position des Kopfes verwendet werden, oberhalb derer die darzustellenden Bild- und/oder Videodaten erst verändert werden.
DE102018100194.0A 2018-01-05 2018-01-05 Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs Expired - Fee Related DE102018100194B3 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102018100194.0A DE102018100194B3 (de) 2018-01-05 2018-01-05 Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs
PCT/EP2018/086277 WO2019134845A1 (de) 2018-01-05 2018-12-20 Spiegelersatzsystem sowie verfahren zur darstellung von bild- und/oder videodaten der umgebung eines kraftfahrzeugs
US16/959,279 US20210056328A1 (en) 2018-01-05 2018-12-20 Mirror replacement system and method for displaying image and/or video data of the surroundings of a motor vehicle
CN201880085490.6A CN111629930A (zh) 2018-01-05 2018-12-20 用于示出机动车的周围环境的图像数据和/或视频数据的镜替换系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018100194.0A DE102018100194B3 (de) 2018-01-05 2018-01-05 Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs

Publications (1)

Publication Number Publication Date
DE102018100194B3 true DE102018100194B3 (de) 2019-01-03

Family

ID=64662088

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018100194.0A Expired - Fee Related DE102018100194B3 (de) 2018-01-05 2018-01-05 Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs

Country Status (4)

Country Link
US (1) US20210056328A1 (de)
CN (1) CN111629930A (de)
DE (1) DE102018100194B3 (de)
WO (1) WO2019134845A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022256255A1 (en) * 2021-06-01 2022-12-08 Stoneridge, Inc. Camera monitoring system display including parallax manipulation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210387573A1 (en) * 2018-04-30 2021-12-16 Indigo Technologies, Inc. Methods and apparatus to adjust a reactive system based on a sensory input and vehicles incorporating same
CN218198109U (zh) * 2019-10-23 2023-01-03 索尼公司 移动装置
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
US20230026519A1 (en) * 2021-07-22 2023-01-26 Continental Automotive Systems, Inc. Vehicle mirror image simulation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268025A1 (en) 2005-11-17 2009-10-29 Aisin Seiki Kabushiki Kaisha Vehicle surrounding area display device
DE102013001327A1 (de) 2013-01-26 2014-07-31 Audi Ag Verfahren und Anzeigesystem zum blickrichtungsabhängigen Skalieren einer Darstellung
DE102017209908A1 (de) 2016-06-13 2017-12-14 Conti Temic Microelectronic Gmbh Kamerabasiertes Fahrerassistenzsystem sowie Verfahren zur Ansteuerung eines solchen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
WO2014204794A1 (en) * 2013-06-21 2014-12-24 Magna Electronics Inc. Vehicle vision system
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
JP6360850B2 (ja) * 2016-04-25 2018-07-18 本田技研工業株式会社 画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268025A1 (en) 2005-11-17 2009-10-29 Aisin Seiki Kabushiki Kaisha Vehicle surrounding area display device
DE102013001327A1 (de) 2013-01-26 2014-07-31 Audi Ag Verfahren und Anzeigesystem zum blickrichtungsabhängigen Skalieren einer Darstellung
DE102017209908A1 (de) 2016-06-13 2017-12-14 Conti Temic Microelectronic Gmbh Kamerabasiertes Fahrerassistenzsystem sowie Verfahren zur Ansteuerung eines solchen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022256255A1 (en) * 2021-06-01 2022-12-08 Stoneridge, Inc. Camera monitoring system display including parallax manipulation

Also Published As

Publication number Publication date
US20210056328A1 (en) 2021-02-25
CN111629930A (zh) 2020-09-04
WO2019134845A1 (de) 2019-07-11

Similar Documents

Publication Publication Date Title
DE102018100194B3 (de) Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs
EP3501897B1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
EP1211132B1 (de) Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP2865569B1 (de) Anzeigeeinrichtung für Sichtfelder eines Nutzfahrzeugs
DE19741896C2 (de) Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs
EP2060118B1 (de) Verfahren zur erzeugung eines gesamtbilds der umgebung eines kraftfahrzeugs
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102012203491B4 (de) Elektronisches Rückspiegel-System
DE202014102291U1 (de) Rückspiegelposition verwendendes Rücksichtkamerasystem
DE102014018040A1 (de) Sichtsystem
EP2603402A1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE102011079913A1 (de) Sichtunterstützungssystem für einen Fahrer und Fahrzeug mit einem solchen System
WO2009132617A1 (de) Vorrichtung und verfahren zum erfassen und anzeigen des rückwärtigen und/oder seitlichen umfeldes eines kraftfahrzeugs
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102013020950B4 (de) Verfahren zum Betreiben eines Rückansichtskamerasystems eines Kraftfahrzeugs, Rückansichtskamerasystem und Kraftfahrzeug
DE102020104082B4 (de) Verfahren und System zum Anpassen eines Anzeigeinhalts
DE102018108438A1 (de) Informationdarstellungsvorrichtung
DE102011014368A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102013209366B4 (de) Anzeigevorrichtung und Verfahren zum Anzeigen einer Information in einem Fahrzeug
DE10246652B4 (de) Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug
DE102014200963B4 (de) Rückspiegeleinrichtung, Fahrzeug und Verfahren zum Betreiben einer Rückspiegeleinrichtung
DE102016217037B4 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs mit einer digitalen Anzeigefläche und Kraftfahrzeug
EP3292535B1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE102013009894A1 (de) Verfahren zum Steuern eines Kamerasystems für ein Fahrzeug und Kamerasystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R081 Change of applicant/patentee

Owner name: BCS AUTOMOTIVE INTERFACE SOLUTIONS GMBH, DE

Free format text: FORMER OWNER: TRW AUTOMOTIVE ELECTRONICS & COMPONENTS GMBH, 78315 RADOLFZELL, DE

R082 Change of representative

Representative=s name: PRINZ & PARTNER MBB PATENTANWAELTE RECHTSANWAE, DE

R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee