DE102014223941A1 - Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten - Google Patents

Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten Download PDF

Info

Publication number
DE102014223941A1
DE102014223941A1 DE102014223941.9A DE102014223941A DE102014223941A1 DE 102014223941 A1 DE102014223941 A1 DE 102014223941A1 DE 102014223941 A DE102014223941 A DE 102014223941A DE 102014223941 A1 DE102014223941 A1 DE 102014223941A1
Authority
DE
Germany
Prior art keywords
image
old
current
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102014223941.9A
Other languages
English (en)
Inventor
Frank Lehrieder
Hartmut Loos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102014223941.9A priority Critical patent/DE102014223941A1/de
Priority to EP15763633.3A priority patent/EP3224116A1/de
Priority to CN201580063720.5A priority patent/CN107000591A/zh
Priority to PCT/EP2015/071467 priority patent/WO2016082961A1/de
Publication of DE102014223941A1 publication Critical patent/DE102014223941A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten soll so verbessert werden, dass ein Speicher- bzw. Rechenaufwand reduziert wird, wobei dies kostengünstig umzusetzen ist, ohne auf die Vorteile einer guten, realitätsgetreuen Bilddarstellung, d.h. gute Sicht während eines Ein- und Ausparkens des Fahrzeugs, verzichten zu müssen. Dies wird dadurch erreicht, dass mindestens ein zu einem aktuellen Zeitpunkt durch mindestens eine Kamera aufgenommenes erstes Bild, mit mindestens einem zu einem älteren Zeitpunkt aufgenommenen zweiten Bild bzw. Altbild zu einer einzigen Darstellung in einem kombinierten Bild visualisiert wird, wobei das Altbild von dem ersten, jüngeren bzw. aktuellen Bild überlagert wird und wobei das Altbild hervorgehoben oder vom aktuellen Bild verschiedenartig dargestellt oder gekennzeichnet ist.

Description

  • Stand der Technik
  • Bekannt sind Einparkhilfen für Kraftfahrzeuge, die sogenannte Surround-View-Systeme mit mehreren Kameras nutzen. Eine derartige Hilfe ist auch als Parkmanöverassistent bekannt. Derartige Lösungen bieten eine gute Rundumsicht aus der Vogelperspektive und erlauben Einparkmanöver, wie beispielsweise ein präzises Ausrichten des Fahrzeugs an Parklinien.
  • Weiterhin sind Systeme bekannt, die eine vergleichbare Funktion erfüllen, jedoch eine einzige und daher kostengünstigere Rückfahrkamera nutzen. Diese Manöverassistenzsysteme projizieren das in der Kamera vorher sichtbare Bild bzw. sichtbare Strukturen in Abhängigkeit von der Bewegung des Fahrzeugs. Somit ist es möglich, kontinuierlich auch in einem Bereich außerhalb des von der Kamera aktuell erfassten Bereichs Bildausschnitte darzustellen. Die projizierten Bildinformationen außerhalb des Bereichs für das aktuell sichtbare Kamerabild werden als „Altbild" bezeichnet.
  • Offenbarung der Erfindung
  • Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zu schaffen, das einen Speicher- bzw. Rechenaufwand reduziert und kostengünstig umzusetzen ist, ohne auf die Vorteile einer guten, realitätsgetreuen Bilddarstellung, d.h. gute Sicht während eines Ein- und Ausparkens des Fahrzeugs, verzichten zu müssen.
  • Diese Aufgabe wird durch die kennzeichnenden Merkmale des Anspruches 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
  • Eine wichtige Funktion des erfindungsgemäßen Verfahrens bzw. Systems ist die Kennzeichnung, welcher Bereich in einer dargestellten „Top-View“ Ansicht bzw. Vogelperspektivenansicht das aktuelle Kamerabild enthält und welcher Bereich in der Vergangenheit aufgenommene Bilder darstellt. Ein derartiges Problem tritt bei Surround-View-Systemen mit mehreren Kameras nicht auf, da hier alle Bildbereiche immer aktuelle Informationen enthalten. Die Erfindung kombiniert also die Vorteile eines Surround-View-Systems mit dem Kostenvorteil einfacher Systeme.
  • Die Erfindung beruht auf der Erkenntnis, dass die Information über die Aktualität der Bilder für den Fahrer von hoher Bedeutung bei der Beurteilung der Umgebungssituation seines Fahrzeugs ist. So kann sich inzwischen beispielsweise ein Kind in die Umgebung des Fahrzeugs bewegt haben, das auf den in der Vergangenheit aufgenommenen Kamerabildern nicht sichtbar ist. Die angezeigten Bildinformationen stimmen also unter Umständen nicht mit der Realität überein. Durch die Erfindung wird Abhilfe geschaffen.
  • Für eine Umsetzung des erfindungsgemäßen Verfahrens können für eine Kennzeichnung der Bildbereiche mit projizierten Kamerabildern aus der „Vergangenheit“ verschiedene Reduktionstechniken angewendet werden. Eine Reduktion des Kamerabildes kann beispielsweise durch Hilfslinien erfolgen, zumindest für einen Bildausschnitt. Auch comicartige Darstellungen sind möglich, wie „3D Art Map“. Ebenso sind andere Strichzeichnungen, Geisterbilder und/oder Gradientenbilder möglich.
  • Im Wesentlichen sind zwei Gruppen von möglichen bekannten Verfahren für Parkmanöverassistenten durch die Erfindung nutzbar.
  • Die erste Gruppe zeichnet sich durch eine geringe Komplexität aus und benötigt einen geringen Einsatz von Ressourcen, wie Speicher bzw. Rechenaufwand. Sie kann folglich einfacher und auf einer günstigeren Hardware implementiert werden.
  • Die zweite Gruppe von Verfahren hat den Vorteil, dass Informationen über das „Alter" der einzelnen Bildbereiche für den Fahrer darstellbar sind.
  • Die Erfindung kombiniert quasi beide Gruppen.
  • Eine mögliche Maßnahme, um das Ziel der geringen Komplexität und des geringen Ressourcenbedarfs, d.h. kleiner Speicher und wenig Rechenaufwand zu erreichen, bietet das sehr einfache Verfahren zur Kennzeichnung der Bildbereiche für das aktuelle Kamerabild und zur Kennzeichnung der in der Vergangenheit aufgenommenen Bilder, nämlich eine Darstellung der Grenze zwischen den Bereichen mit Hilfe einer Linie. Alternativ könnte man den Bereich, in dem die in der Vergangenheit aufgenommenen Bilder dargestellt werden, auch mit einer teilweise transparenten Farbschicht überlagern. Eine Kombination von beidem ist auch möglich.
  • Auch ist ein Verfahren der „Verdrängung des Altbildes" möglich. Zur eindeutigen Kennzeichnung der in der Vergangenheit aufgenommenen Bilder kann folgendes vorteilhaftes Verfahren angewendet werden:
  • Erster Schritt:
  • Das Altbild, also die Kombination der in der Vergangenheit aufgenommenen Bilder, wird zuerst auf den Bildschirm gezeichnet. Dies kann mit den originalen Farbinformationen des Altbildes bewerkstelligt werden. Es können aber auch folgende Veränderungen an den Farbinformationen vorgenommen werden, um dem Fahrer zu signalisieren, dass es sich um das Altbild handelt:
    • a. Vor einer Anzeige des Altbildes werden dessen Farbinformationen nach bereits bekannten Verfahren in Graustufen umgewandelt.
    • b. Die Farbinformationen werden durch bekannte Verfahren zum „Weichzeichnen" so umgewandelt, dass auf dem Bildschirm nur ein unscharfes Altbild dargestellt wird.
    • c. Die Farbinformationen des Altbildes können mit bekannten Verfahren wie Alpha-Blending so verändert werden, dass beim Fahrer der Eindruck entsteht, über dem Altbild läge eine teilweise transparente Farbschicht.
  • Zweiter Schritt:
  • Dieser Schritt zeichnet sich durch eine Verdrängung des Altbildes aus. Im Anschluss an den ersten Schritt wird das aktuelle Kamerabild über das Altbild auf einem Bildschirm gezeichnet. Die Projektion des aktuellen Kamerabildes verdrängt also das Altbild an genau den Stellen, an denen es neue Informationen enthält. Da an den Farbinformationen für das aktuelle Kamerabild keine Änderungen vorgenommen wurden, wird der Unterschied zwischen aktuellem Kamerabild und dem Altbild sichtbar.
  • Dritter Schritt:
  • Optional kann in einem weiteren Schritt der Rand des aktuellen Kamerabildes mit einer Signalfarbe gekennzeichnet werden, bevor das Bild über das Altbild projiziert wird. Dies geschieht beispielsweise, indem den Pixeln am Rand des Bildes ein konfigurierbarer Farbwert, z.B. rot, zugewiesen wird. Bei der anschließenden Projektion des Kamerabildes in die Vogelperspektive wird der markierte Bildrand mitprojiziert und damit automatisch an der entsprechenden Position dargestellt. Diese Position ist ein Übergang zwischen dem aktuellen Kamerabild und den Kamerabildern aus der Vergangenheit. Das aktuelle Bild einschließlich der farblichen Umrandung verdrängt so das Altbild. Durch die farbliche Umrandung ist zudem gewährleistet, dass der Fahrer das aktuelle Bild vom Altbild unterscheiden kann, auch wenn keine der im ersten Schritt genannten Veränderungen an den Farbinformationen des Altbildes vorgenommen wurden.
  • Dieses Verfahren hat den Vorteil, dass es unabhängig von intrinsischen und extrinsischen Kameraparametern immer auf die gleiche Weise angewendet werden kann, also fahrzeug- und kameraunabhängig ist. Damit ist keine weitere Konfiguration bzw. Vorab-Berechnung der Position der Markierung nötig.
  • Alternativ zu diesem Verfahren kann die Bestimmung des Bildbereichs für das aktuelle Kamerabild und das Altbild einmalig vorab erfolgen, da die Bildbereiche nur von den intrinsischen und extrinsischen Kameraparametern abhängen. Der Bildbereich ist also für alle Fahrzeugmodelle einer Serie identisch und kann vorab fest eingestellt werden. Für die Bestimmung der Bereiche können einfache geometrische Verfahren nach Stand der Technik angewendet werden. Sind die beiden Bildbereiche ermittelt, dann können die Farbinformationen in dem Bereich des Altbildes so verändert werden wie im ersten Schritt ausgeführt.
  • Alternativ kann die Grenze zwischen den beiden Bereichen farblich gekennzeichnet werden, indem den entsprechenden Pixeln ein konfigurierbarer Farbwert zugewiesen wird.
  • Diese Verfahren haben den Vorteil, dass sie eine geringe Komplexität und Ressourcenbedarf, wie kleiner Speicher und wenig Rechenaufwand, haben. Hierdurch sind diese Verfahren weniger fehleranfällig, schneller zu implementieren und auf günstigerer Hardware verwendbar.
  • Im Folgenden werden Details zur altersabhängigen Verfremdung bzw. weitere Alternativen näher erläutert.
  • Ziel dieser altersabhängigen Kennzeichnung bzw. Verfremdung ist es, dem Fahrer zu signalisieren, welche Bildbereiche Informationen enthalten, die erst vor kurzem aufgenommen wurden und welche Bereiche Informationen bzw. Bilder enthalten, die schon vor längerer Zeit, z.B. 10 Sekunden oder länger, aufgenommen wurden. Beispielsweise können Bildbereiche weicher und/oder verschwommener gezeichnet werden, je älter die dargestellten Informationen sind. Beispielsweise kann im oberen Bereich des Bildes der Zebrastreifen nur noch schemenhaft erkennbar sein, da die zugrunde liegenden Kamerabilder bereits relativ alt sind, beispielsweise mindestens ca. 30 Sekunden. Anders gesagt, wird das Referenzbild mit jedem Verschieben etwas unschärfer dargestellt.
  • Das erfindungsgemäße Verfahren kann aus zwei Verfahrensteilen bestehen. Der erste Teil dient der Ermittlung des Alters der Bildbereiche. Der zweite Teil dient der altersabhängigen Darstellung. Im ersten Teil wird für jeden Bildbereich das Alter bestimmt. Das kann mit Hilfe des folgenden Verfahrens erfolgen:
  • Erster Schritt:
  • Analog zu dem Speicherbereich für die Farbinformationen der projizierten Kamerabilder wird im Speicher ein weiterer Speicherbereich für die Altersinformationen reserviert, der den Aufnahmezeitpunkt für jeden Pixel bzw. jede Pixelzeile aufnehmen soll.
  • Zweiter Schritt:
  • Initial wird der Aufnahmezeitpunkt für jeden Pixel auf „unbestimmt" gesetzt.
  • Dritter Schritt:
  • Wenn die Farbinformationen in der Top-View-Ansicht aktualisiert werden, wird für jeden Pixel, der im Bild aktualisiert wird, der Aufnahmezeitpunkt auf die aktuelle Systemzeit gesetzt. Vorzugsweise erfolgt das bei Vorliegen eines neuen Kamerabildes, also mit ca. 30 Hz bzw. 20 Hz bis 60 Hz.
  • Vierter Schritt:
  • Abschließend erfolgt die Bestimmung des Alters jedes Pixels bzw. Bildbereichs durch einen Vergleich der aktuellen Systemzeit mit dem gespeicherten Aufnahmezeitpunkt des Bildbereichs.
  • Fünfter Schritt:
  • Alternativ zur Verwendung der Systemzeit können auch relative Werte verwendet werden, z.B. die Anzahl der Aktualisierungen des Referenzbildes. Dies bedeutet, dass jedes Mal, wenn ein neues Kamerabild verfügbar ist, das „Alter" der Bildbereiche aus dem Referenzbild um einen festen Wert, z.B. 1, erhöht wird.
  • Anschließend, quasi in einem zweiten Teil des Verfahrens, werden die projizierten Kamerabilder in Abhängigkeit des Alters der Pixel auf dem Bildschirm für den Fahrer nach einem oder mehreren der folgenden Verfahren dargestellt. Es können beispielsweise folgende Schritte durchgeführt werden:
  • Erster Schritt:
  • Zunächst erfolgt ein Zugriff auf die Farbinformation und Altersinformation jedes Pixels.
  • Zweiter Schritt:
  • Danach wird die Farbinformation in Abhängigkeit des Alters verändert. Dafür bieten sich mehrere Alternativen an:
    • a. Der Farbwert des Pixels wird in Abhängigkeit des Alters erhöht und/oder aufgehellt bzw. erniedrigt und/oder verdunkelt.
    • b. Der Farbwert des Pixels wird in Abhängigkeit des Alters der Informationen stärker oder weniger stark mit einer festen Farbe überlagert.
    • c. Der Bildbereich bzw. mehrere Pixel können weicher gezeichnet werden nach dem Vorbild eines Blur-Effektes, je länger der Aufnahmezeitpunkt zurückliegt.
  • Dritter Schritt:
  • Anschließend erfolgt eine Anzeige der projizierten Kamerabilder mit den in den Schritten 1 und 2 neu berechneten Farbwerten für die einzelnen Pixel.
  • Das erfindungsgemäße Verfahren bzw. das altersabhängige Verfahren zur Kennzeichnung der Kamerabilder bietet dem Fahrer mehr Informationen zur Beurteilung der Aktualität einzelner Bildbereiche und seiner aktuellen Umgebungssituation an. Dies ist bei anderen bekannten Systemen nicht der Fall. Dort wird nur zwischen aktuellem Kamerabild und den in der Vergangenheit aufgenommenen Kamerabildern unterschieden. Altersabhängige Verfahren bieten dem Fahrer also zusätzliche Informationen.
  • Es ist von Vorteil, wenn aus Sicherheitsgründen das verwendete Verfahren zur Visualisierung der aktuellen und der projizierten, in der Vergangenheit aufgenommenen Kamerabilder in der Darstellung echtzeitfähig ist. Dies bedeutet, dass die Darstellung der Bildbereiche mehrmals pro Sekunde stattfindet, um zu vermeiden, dass dem Fahrer für mehrere Sekunden gar keine aktuellen Informationen zur Verfügung stehen.
  • Auch ist von Vorteil, wenn zur Sicherstellung der Sichtbarkeit eines Sicherheitsbereichs um das Fahrzeug die Anzeige einen hinreichend großen Sicherheitsabstand umfasst. Dazu wird der Kameraausschnitt des aktuellen Bildes derart bemessen, dass ein hinreichender Bremsabstand zu einem auftauchenden Hindernis entsteht.
  • Beispielsweise kann die Fahrgeschwindigkeit 10 km/h (= 2,7 m/sec) betragen, Das aktuelle Bild sollte einen Ausschnitt von ca. 3 Metern abdecken. Berücksichtigt ist eine Zeit von etwa 1 sec.
  • Wenn das am bzw. im Fahrzeug verwendete System zur Durchführung des erfindungsgemäßen Verfahrens einen Darstellungs-Zoom umfasst, dann ist es zweckmäßig, wenn eine Zoom-Begrenzung aktiviert wird und/oder eine geschwindigkeitsabhängige Umschaltung erfolgt.
  • Auch kann das eingesetzte System so ausgeführt sein, dass eine Nachttauglichkeit gegeben ist. Bei den erfindungsgemäßen Verfahren der Visualisierung ist weiterhin zu beachten, dass es auch bei schwierigen Lichtverhältnissen, wie z.B. Dunkelheit, unterschiedliche Arten von Straßenlampen, Scheinwerferlicht, usw. dem Fahrer eine gute Unterscheidbarkeit von aktuellem Bild und Referenzbild erlaubt.
  • Um die Nachttauglichkeit zu gewährleisten, ist es zudem von Vorteil, wenn farbliche „Overlays“, Markierungen und/oder Schattierungen und dergleichen in Abhängigkeit der Licht- und Kontrast-Verhältnisse angepasst werden. Zu diesem Zweck ist es günstig, wenn gängige Verfahren zur Aufhellung und/oder Verdunklung und/oder zur Erhöhung des Kontrasts eingesetzt werden.
  • Ein wichtiges Beispiel in diesem Zusammenhang ist der Effekt des Bremslichtes, das das aktuelle Kamerabild rot einfärbt, wenn die Bremse betätigt wird. Dieser Farbton wird im Folgenden auch in die Historie bzw. Altbild übernommen. Wird die Bremse beim Rückwärtsfahren mehrfach mit Unterbrechungen betätigt, erscheinen so rote Streifen im Altbild, die die Unterscheidbarkeit von Altbild und aktuellem Kamerabild erschweren bzw. verhindern.
  • Ein Ausführungsbeispiel wird anhand der Zeichnungen näher erläutert, wobei weitere vorteilhafte Weiterbildungen der Erfindung und Vorteile derselben beschrieben sind.
  • Es zeigen:
  • 1 eine erste Bildschirmdarstellung eines ersten Beispiels, die dem tatsächlichen Bild entspricht,
  • 2 eine zweite Bildschirmdarstellung analog zu 1, die schematisch mit Linien gezeichnet ist,
  • 3 eine zweite Bildschirmdarstellung eines zweiten Beispiels, die dem tatsächlichen Bild entspricht,
  • 4 eine zweite Bildschirmdarstellung analog zu 3, die schematisch mit nur einer Kontraststufe gezeichnet ist,
  • 5 eine dritte Bildschirmdarstellung eines dritten Beispiels, die dem tatsächlichen Bild entspricht,
  • 6 eine zweite Bildschirmdarstellung analog zu 5, die schematisch mit nur einer Kontraststufe gezeichnet ist,
  • In 1 bzw. 2 ist ein erstes Beispiel gezeigt, dass eine erweiterte „Top View“-Ansicht zeigt. Die Darstellung umfasst eine Projektion von in der Vergangenheit aufgenommenen Kamerabildern in eine aktuelle Ansicht. In dieser Darstellung wird die Grenze zwischen aktuellen und alten Kamerabildern durch eine gestrichelte Linie 1 gekennzeichnet. Die Linie 1 zeigt also Umrisse eines Fahrzeuges (in echt mit rot gekennzeichnet) aus einer Vogelperspektive. „Oben“ entspricht „vorne“. Eine Motorhaube ist also im oberen Bereich und ein Kofferraum hinten dargestellt.
  • 1 und 2 zeigen einen Bereich 2. Dieser Bereich 2 steht für projizierte, in der Vergangenheit aufgenommene Kamerabilder. Die Linie 3 zeigt einen Fahrschlauch des Fahrzeugs (Beispielsweise in echt in orange). Dieser Sicherheitsbereich erstreckt sich nach „hinten“, beispielsweise zwei Meter hinter dem Kofferraum. Die Linie 4 veranschaulicht eine Grenze zwischen den beiden Bereichen, die beispielsweise ebenfalls in echt durch eine rote Linie gekennzeichnet ist. Mit dem Bezugszeichen 5 ist der Bereich für das aktuelle Kamerabild gekennzeichnet. Mit dem Bezugszeichen 6 sollen Außenspiegel des Fahrzeugs gekennzeichnet werden.
  • Die 3 und 4 zeigen ein zweites Beispiel. Hier wird, je älter das ursprüngliche Kamerabild im betreffenden Bildbereich ist, dieser Bereich umso weicher gezeichnet. Dies signalisiert dem Fahrer, dass sich die Situation in der Umgebung seines Fahrzeugs in dem weicher gezeichneten Bereich unter Umständen seit Aufnahme des Kamerabildes geändert hat und die dargestellte Situation nicht mehr der realen entspricht. Mit dem Bezugszeichen 7 ist ein Bereich gekennzeichnet, der auf Bildern basiert, die schon relativ „alt“ sind. Dieser Bereich ist sehr „weich“ gezeichnet. Mit dem Bezugszeichen 8 ist ein Bereich gekennzeichnet, der auch schon relativ „alt“ ist. Dieser Bereich ist weniger „weich“ gezeichnet. Mit dem Bezugszeichen 9 ist ein Bereich für das aktuelle Kamerabild gekennzeichnet.
  • Die 5 und 6 zeigen ein zweites Beispiel. Hier wird eine Überlagerung des Bildbereichs, der die projizierten, alten Kamerabilder anzeigt, mit einer teilweise transparenten Farbschicht angezeigt. Diese Überlagerung hängt nicht vom Bildinhalt ab und kann daher vorab berechnet werden. Mit dem Bezugszeichen 10 ist der Bereich gekennzeichnet, der auf alten Kamerabildern basiert und in der realen Ausführungsform farblich überlagert ist. Mit dem Bezugszeichen 11 ist der in der Zeichnung gestrichelt abgegrenzte Bereich des aktuellen Kamerabildes bezeichnet. Dieser wird auch in der realen Ausführungsform nicht farblich überlagert.
  • Bezugszeichenliste
    • 1
    erste Linie
    2
    erster Bereich
    3
    zweite Linie
    4
    dritte Linie
    5
    zweiter Bereich
    6
    Außenspiegel
    7
    dritter Bereich
    8
    vierter Bereich
    9
    fünfter Bereich
    10
    sechster Bereich
    11
    siebter Bereich

Claims (10)

  1. Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten, bei dem mindestens ein zu einem aktuellen Zeitpunkt durch mindestens eine Kamera aufgenommenes erstes Bild mit mindestens einem zu einem älteren Zeitpunkt aufgenommenen zweiten Bild bzw. Altbild zu einer einzigen Darstellung in einem kombinierten Bild visualisiert wird, wobei das Altbild von dem ersten, jüngeren bzw. aktuellen Bild überlagert wird und wobei das Altbild hervorgehoben oder vom aktuellen Bild verschiedenartig dargestellt oder gekennzeichnet ist.
  2. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass unter Verwendung von virtuellen Hilfslinien, die Parklinien darstellen, eine Ein- und/oder Ausparkhilfe geboten wird.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Altbild als Graustufenbild dargestellt ist, während das aktuelle Bild als Farbbild dargestellt ist.
  4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Altbild als Weichzeichnerbild dargestellt ist.
  5. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Altbild mit einer zumindest teilweise transparenten Farbschicht gekennzeichnet ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zwischen zwei den unterschiedlichen Zeitpunkten zugeordneten Bildbereichen vorhandene Grenze als farbige Markierung, vorzugsweise als eine rote Linie (4), dargestellt ist, wobei der Rand des aktuellen Bildes mit der farbigen Markierung versehen ist.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Projektion eines aktuellen Bildes so erfolgt, dass das Altbild an genau den Stellen verdrängt wird, an denen eine neue Information enthalten ist, wobei der Unterschied zwischen dem Altbild und dem aktuellem Bild gekennzeichnet ist.
  8. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Auslegung für ein Surround-View-System mit insbesondere drei bis sechs Kameras.
  9. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Rundumsicht aus einer Vogelperspektive.
  10. Parkmanöverassistent zur Durchführung eines Verfahren nach einem der vorhergehenden Ansprüche mit mehreren Kameras zum Aufzeichnen mindestens eines Bildbereiches
DE102014223941.9A 2014-11-25 2014-11-25 Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten Pending DE102014223941A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102014223941.9A DE102014223941A1 (de) 2014-11-25 2014-11-25 Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
EP15763633.3A EP3224116A1 (de) 2014-11-25 2015-09-18 Verfahren zum kennzeichnen von kamerabildern eines parkmanöverassistenten
CN201580063720.5A CN107000591A (zh) 2014-11-25 2015-09-18 用于表示泊车辅助系统的拍摄图像的方法
PCT/EP2015/071467 WO2016082961A1 (de) 2014-11-25 2015-09-18 Verfahren zum kennzeichnen von kamerabildern eines parkmanöverassistenten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014223941.9A DE102014223941A1 (de) 2014-11-25 2014-11-25 Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten

Publications (1)

Publication Number Publication Date
DE102014223941A1 true DE102014223941A1 (de) 2016-05-25

Family

ID=54140481

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014223941.9A Pending DE102014223941A1 (de) 2014-11-25 2014-11-25 Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten

Country Status (4)

Country Link
EP (1) EP3224116A1 (de)
CN (1) CN107000591A (de)
DE (1) DE102014223941A1 (de)
WO (1) WO2016082961A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214874B3 (de) 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553143A (en) * 2016-08-26 2018-02-28 Jaguar Land Rover Ltd A Vehicle camera system
CN108569281B (zh) * 2018-02-27 2020-12-11 蔚来(安徽)控股有限公司 用于车辆从狭窄侧方位车位自动泊出的系统及方法、电动车辆
DE102018210877A1 (de) 2018-07-03 2020-01-09 Robert Bosch Gmbh Verfahren zur Unterstützung bei einem Rangiermanöver eines Gespanns aus Zugfahrzeug und Anhänger, System und Gespann

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3961969B2 (ja) * 2003-02-27 2007-08-22 株式会社日本自動車部品総合研究所 車両周辺画像処理システム
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
US20110063444A1 (en) * 2008-05-19 2011-03-17 Panasonic Corporation Vehicle surroundings monitoring device and vehicle surroundings monitoring method
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
DE102009028832A1 (de) * 2009-08-24 2011-03-03 Robert Bosch Gmbh Verfahren zur Kennzeichnung historischer Daten in Fahrzeugumgebungskarten
CN201538293U (zh) * 2009-11-27 2010-08-04 德尔福电子(苏州)有限公司 一种基于后视摄像头的泊车辅助装置
CN102152763A (zh) * 2011-03-19 2011-08-17 重庆长安汽车股份有限公司 一种泊车辅助装置
CN103112453B (zh) * 2013-02-01 2016-03-16 奇瑞汽车股份有限公司 一种智能泊车辅助系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214874B3 (de) 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung

Also Published As

Publication number Publication date
EP3224116A1 (de) 2017-10-04
CN107000591A (zh) 2017-08-01
WO2016082961A1 (de) 2016-06-02

Similar Documents

Publication Publication Date Title
DE102012002149B3 (de) Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug
EP3055650B1 (de) Verfahren und vorrichtung zur augmentierten darstellung
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
EP1642770B1 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102010034853A1 (de) Kraftfahrzeug mit Digitalprojektoren
EP2289058B1 (de) Verfahren zur kombinierten ausgabe eines bildes und einer lokalinformation, sowie kraftfahrzeug hierfür
DE102004059129A1 (de) Fahrzeug-Anzeigesystem
DE102018215292B4 (de) Verfahren zum Darstellen einer Fahrzeugumgebung in einem Fahrzeug und zugehörige Vorrichtung
DE102004012604A1 (de) Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug zum Anfahren eines Parkplatzes
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE102011121763A1 (de) Verfahren zur Darstellung einer Abstandsinformation auf einer Anzeigevorrichtung eines Fahrzeugs
DE102016220647A1 (de) Verfahren zum Darstellen mindestens einer ergänzenden Differenz-Fahrbahnausstattung
EP3649434B1 (de) Verfahren und vorrichtung zum anzeigen von spurinformationen in einem fahrzeug
EP3224116A1 (de) Verfahren zum kennzeichnen von kamerabildern eines parkmanöverassistenten
DE102012220100A1 (de) Verfahren und Informationsgerät zum Darstellen von einer Fahrerinformation auf einer Blickfeldanzeige für ein Fahrzeug
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013016241A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung
DE102008043828A1 (de) Verfahren und Steuergerät zum Bestimmen von lichttechnischen Parametern eines projizierbaren Zeichens
DE102012011152A1 (de) Fahrerassistenzsystem
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102018102137A1 (de) Verfahren zum Anzeigen einer Trajektorie und entsprechende Vorrichtung
DE102011013855A1 (de) Verfahren zum Bereitstellen einer Anzeige sowie Navigationsvorrichtung
DE102020004215A1 (de) Verfahren zur Darstellung einer Verkehrssituation in einem Fahrzeug
DE102008032747A1 (de) Verfahren und Vorrichtung zur Bildanzeige
DE102016107421A1 (de) Verfahren zur Anzeige von mit einer Erfassungseinrichtung nicht erfassbaren Umgebungsbereichen in der Umgebung eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed