DE102022206127A1 - Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug - Google Patents

Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug Download PDF

Info

Publication number
DE102022206127A1
DE102022206127A1 DE102022206127.6A DE102022206127A DE102022206127A1 DE 102022206127 A1 DE102022206127 A1 DE 102022206127A1 DE 102022206127 A DE102022206127 A DE 102022206127A DE 102022206127 A1 DE102022206127 A1 DE 102022206127A1
Authority
DE
Germany
Prior art keywords
trailer
vehicle
camera
depending
camera images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022206127.6A
Other languages
English (en)
Inventor
James Stephen Miller
Elizabeth Kao
Christian Sperrle
Matthias Mayerle
Raphael Cano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022206127.6A priority Critical patent/DE102022206127A1/de
Priority to US18/301,458 priority patent/US20230406410A1/en
Priority to CN202310735747.0A priority patent/CN117261765A/zh
Publication of DE102022206127A1 publication Critical patent/DE102022206127A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/005—Steering specially adapted for trailers operated from tractor steering system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zur Darstellung einer Umgebung (190) eines Fahrzeugs (100) mit einem angekoppelten Anhänger (110), wobei die folgenden Verfahrensschritte durchgeführt werden: Erfassung (210) einer Abfolge von Fahrzeugkamerabildern mittels jeder der wenigstens drei Fahrzeugkameras (122, 123, 124); Erfassung (220) einer Abfolge von Anhängerkamerabildern mittels der Anhängerkamera; Erfassung (230) von Odometriedaten des Fahrzeugs (100); Ermittlung (240) des Anhängewinkels (a) zwischen der Längsachse (151) des Anhängers (110) und der Längsachse (150) des Fahrzeugs (100); Vorverarbeitung (250) der erfassten aktuellen Fahrzeugkamerabilder und des erfassten aktuellen Anhängerkamerabildes; Speicherung (270) von Bildinformationen zum Nahbereich (160) des Fahrzeugs (100) in Abhängigkeit der vorverarbeiteten Fahrzeugkamerabilder und/oder des vorverarbeiteten Anhängerkamerabildes, wobei den gespeicherten Bildinformationen eine Lage relativ zum Fahrzeug (100) zugeordnet wird; Anpassung (275) der Lage der gespeicherten Bildinformationen in Abhängigkeit der erfassten Odometriedaten des Fahrzeugs (100); und Anzeige (290) eines Umgebungsmodells aus einer virtuellen Beobachtungsperspektive, wobei die vorverarbeiteten aktuellen Fahrzeugkamerabilder und das vorverarbeitete aktuelle Anhängerkamerabild auf eine Projektionsfläche des Umgebungsmodells projiziert und zusammengefügt werden, wobei zu nicht abgebildeten Teilbereichen (197, 198, 199) der Umgebung (190) des Fahrzeugs (100) die gespeicherten Bildinformationen entsprechend ihrer Lage relativ zum Fahrzeug (100) auf die Projektionsfläche projiziert und mit den Fahrzeugkamerabildern und dem Anhängekamerabild zusammengefügt werden.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Die Erfindung betrifft darüber hinaus eine Rechenvorrichtung für ein Fahrzeug, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt. Die Erfindung betrifft ferner das Fahrzeug mit dieser Rechenvorrichtung.
  • Stand der Technik
  • Das Dokument WO 2021/041877 A1 offenbart ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger. Ein Bild der am Fahrzeug angeordneten rückwärtsgerichteten Kamera wird dabei in Abbildungsbereichen des Anhängers um erfasste Bilder anderer Kameras ergänzt.
  • Die Schrift WO 2018/149625 A1 offenbart ein Anzeigeverfahren, wobei Bilder der Umgebung eines Fahrzeugs erfasst und Teile dieser Bilder gespeichert werden. Anschließend wird basierend auf aktuellen Bildern und den gespeicherten Bildern ein zusammengesetztes Gesamtbild erzeugt.
  • Das Dokument DE 10 2014 223 141 B4 offenbart eine Ermittlung eines Anhängewinkels zwischen einer Längsachse einer Deichsel eines Anhängers und einer Längsachse eines Fahrzeugs, auf welcher der Kupplungskopf des Fahrzeugs liegt.
  • Die Aufgabe der vorliegenden Erfindung ist es, eine Darstellung der Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger zu verbessern.
  • Offenbarung der Erfindung
  • Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1 und 10 bis 12 gelöst.
  • Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, wobei das Fahrzeug wenigstens drei Fahrzeugkameras umfasst, welche jeweils an unterschiedlichen Fahrzeugseiten angeordnet sind. Somit weisen die Fahrzeugkameras vorteilhafterweise unterschiedliche Erfassungsperspektiven und Erfassungsbereiche der Umgebung auf. Mit anderen Worten erfasst jede Fahrzeugkamera einen Teilbereich der Umgebung des Fahrzeugs, insbesondere an der jeweiligen Fahrzeugseite. Vorzugsweise umfassen die wenigstens drei Fahrzeugkameras jeweils eine Weitwinkeloptik, so dass sich die Erfassungsbereiche zweier benachbarter Fahrzeugkameras insbesondere überschneiden. Der Anhänger weist wenigstens eine an der Anhängerrückseite angeordnete Anhängerkamera auf. Die Anhängerkamera umfasst insbesondere eine Weitwinkeloptik und ist vorzugsweise mit einem Erfassungsbereich in die Umgebung nach hinten ausgerichtet. Der Erfassungsbereich der Anhängerkamera überschneidet sich vorteilhafterweise zumindest mit den Erfassungsbereichen der an der rechten und linken Fahrzeugseite angeordneten Fahrzeugkameras. Die Überschneidungsbereiche des Erfassungsbereiches der Anhängerkamera sind abhängig von dem aktuellen Anhängewinkel des Anhängers am Fahrzeug.
  • Zunächst wird eine Abfolge von Fahrzeugkamerabildern mittels jeder der wenigstens drei Fahrzeugkameras erfasst. Die Fahrzeugkamerabilder bilden jeweils einen Teilbereich der Umgebung ab, welcher insbesondere ihrem jeweiligen Erfassungsbereich entspricht. Des Weiteren wird eine Abfolge von Anhängerkamerabildern mittels der Anhängerkamera erfasst. Die Anhängerkamerabilder bilden die Umgebung des Fahrzeugs hinter dem Anhänger ab. In einem weiteren Schritt werden Odometriedaten des Fahrzeugs erfasst, beispielsweise eine Geschwindigkeit des Fahrzeugs und ein Gierwinkel um die Hochachse des Fahrzeugs. In einem anderen Verfahrensschritt wird ein Anhängewinkel zwischen der Längsachse des Anhängers und der Längsachse des Fahrzeugs, auf welcher vorteilhafterweise der Kupplungskopf des Fahrzeugs liegt, ermittelt. Des Weiteren werden in einem Verfahrensschritt die erfassten aktuellen Fahrzeugkamerabilder und das erfasste aktuelle Anhängerkamerabild vorverarbeitet. Die Vorverarbeitung umfasst vorteilhafterweise eine Entzerrung der durch eine Weitwinkeloptik verzerrt erfassten Fahrzeugkamerabilder und/oder des durch eine Weitwinkeloptik verzerrt erfassten Anhängerkamerabildes. Die Vorverarbeitung kann zusätzlich oder alternativ eine Anpassung der Helligkeit, des Kontrastes und/oder der Auflösung umfassen. Die Vorverarbeitung kann zusätzlich oder alternativ jeweils eine Koordinatentransformation zur Veränderung der Perspektive auf die Abbildung der Fahrzeugkamerabilder und/oder des Anhängerkamerabildes umfassen. Anschließend werden Bildinformationen zum Nahbereich des Fahrzeugs in Abhängigkeit der vorverarbeiteten Fahrzeugkamerabilder und/oder des vorverarbeiteten Anhängerkamerabildes gespeichert, wobei den gespeicherten Bildinformationen eine Lage relativ zum Fahrzeug zugeordnet wird. Der Nahbereich des Fahrzeugs ist vorzugsweise ein Bereich um das Fahrzeug in einem Abstand kleiner oder gleich 10 Meter, insbesondere in einem Abstand kleiner oder gleich 5 Meter, bevorzugt in einem Abstand kleiner oder gleich 3 Meter, besonders bevorzugt in einem Abstand kleiner oder gleich 2 Meter, weiter vorzugsweise ein Bereich in einem Abstand kleiner oder gleich 1 Meter. Die Lage der gespeicherten Bildinformationen wird danach in Abhängigkeit der erfassten Odometriedaten des Fahrzeugs angepasst. Mit anderen Worten wird die Lage der gespeicherten Bildinformationen relativ zum Fahrzeug basierend auf der erfassten Bewegung des Fahrzeugs verschoben. Dabei wird vorteilhafterweise ein gespeicherter Bereich an Bildinformationen zu der Umgebung des Fahrzeugs geschaffen, welcher größer dem Nahbereich des Fahrzeugs ist. Anschließend erfolgt eine Anzeige eines Umgebungsmodells aus einer virtuellen Beobachtungsperspektive, wobei der Anhänger zumindest halbtransparent in Abhängigkeit des ermittelten Anhängewinkels dargestellt wird. Die virtuelle Beobachtungsperspektive ist vorteilhafterweise eine Top-Down-Perspektive beziehungsweise eine Perspektive senkrecht von oben nach unten. Alternativ kann die Beobachtungsperspektive beispielsweise eine Perspektive schräg von oben nach unten sein. Die angezeigte Beobachtungsperspektive bildet insbesondere den Umgebungsbereich hinter dem Fahrzeug ab, umfassend den Umgebungsbereich mit und um den Anhänger. Bei der Anzeige des Umgebungsmodells werden die vorverarbeiteten aktuellen Fahrzeugkamerabilder und das vorverarbeitete aktuelle Anhängerkamerabild auf eine Projektionsfläche des Umgebungsmodells projiziert und zusammengefügt. Bei der Anzeige werden außerdem zu den in den aktuellen Fahrzeugkamerabildern oder dem aktuellen Anhängerkamerabild nicht abgebildeten Bereichen der Umgebung die gespeicherten Bildinformationen entsprechend ihrer Lage relativ zum Fahrzeug geladen und auf die Projektionsfläche projiziert. Die geladenen und projizierten Bildinformationen werden mit den anderen projizierten Bildern, das heißt mit dem projizierten Fahrzeugkamerabildern und mit dem projizierten Anhängerkamerabild, zusammengefügt, wobei insbesondere Fügelinien ermittelt werden. Das Verfahren resultiert in dem Vorteil, dass bei einer Fahrt des Fahrzeugs mit dem Anhänger eine große und vollständige Übersicht für den Führer beziehungsweise Fahrer des Fahrzeugs mit aktuellen oder zeitlich kurz vorher erfassten Bildern geschaffen wird. Artefakte in der Anzeige des Umgebungsmodells werden vermieden. Vorteilhafterweise erhält der Fahrer des Fahrzeugs durch das Verfahren Informationen, welche ein leichtes Verständnis über das Verhalten des Anhängers und über drohende Gefahren bei der Rückwärtsfahrt mit dem Anhänger oder dem Abstellen des Anhängers ermöglichen, da seitlich neben dem Anhänger vorliegende Umgebungsbereiche und unter dem Anhänger vorliegende Umgebungsbereiche vollständig im angezeigten Umgebungsmodell abgebildet werden können. Der seitliche Umgebungsbereich kann besonders kritisch bei der Rückwärtsfahrt mit dem Anhänger sein, da er potenzielle Kollisionsobjekte umfassen kann. Der unter dem Anhänger vorliegende Umgebungsbereich kann besonders kritisch beim Abstellen des Anhängers sein, da Schlaglöcher, Steine oder andere Hindernisse in diesem Umgebungsbereich ein stabiles Abstellen des Anhängers gefährden, insbesondere wenn sich diese im Bereich der Anhängerräder befinden.
  • In einer vorteilhaften Ausgestaltung der Erfindung werden eine erste Maskierung zur Projektion der gespeicherten Bildinformation zu den aktuell nicht erfassten Umgebungsteilbereichen und/oder eine zweite Maskierung zur Projektion des Anhängerkamerabildes auf die Projektionsfläche zu dem aktuell erfassten Umgebungsteilbereich der Anhängerkamera kontinuierlich basierend auf dem ermittelten Anhängewinkel angepasst. Wobei die erste und/oder zweite Maskierung insbesondere aus einem Speicher basierend auf dem ermittelten Anhängewinkel geladen werden. Mit anderen Worten werden die Fügelinien zwischen den gespeicherten Bildinformationen und den projizierten Fahrzeugkamerabildern und/oder dem Anhängerkamerabild in dem Umgebungsmodell angepasst beziehungsweise in ihrer Lage und Größe basierend auf dem ermittelten Anhängewinkel verschoben. Dadurch resultiert der Vorteil, dass das Umgebungsmodell schnell ermittelt und angezeigt werden kann.
  • In einer Ausführung der Erfindung erfolgt zusätzlich eine Erfassung des Lenkwinkels des Fahrzeugs. Anschließend wird eine prognostizierte Bewegungstrajektorie des Anhängers zumindest in Abhängigkeit des ermittelten Anhängewinkels und in Abhängigkeit des erfassten Lenkwinkels ermittelt. Optional kann die prognostizierte Bewegungstrajektorie in Abhängigkeit von weiteren Größen ermittelt werden, beispielsweise in Abhängigkeit des erfassten Gierwinkels des Fahrzeugs und/oder in Abhängigkeit der Geschwindigkeit des Fahrzeugs und/oder in Abhängigkeit von Daten des Anhängers, beispielsweise des Abstands von der Kupplungsstelle an der Deichsel bis zu der Radachse des Anhängers, insbesondere entlang der Längsachse des Anhängers. In dieser Ausführung wird zusätzlich die ermittelte prognostizierte Bewegungstrajektorie des Anhängers in das angezeigte Umgebungsmodell eingeblendet. Dadurch resultiert für den Fahrer des Fahrzeugs der Vorteil, dass er leicht erfassen kann, wie sich der Anhänger bei der Rückwärtsfahrt verhält beziehungsweise bewegt. Die Rückwärtsfahrt mit dem Anhänger wird in dieser Ausführung erheblich vereinfacht.
  • In einer Weiterführung ist eine Erkennung eines statischen oder dynamischen Objektes in Abhängigkeit der erfassten Fahrzeugkamerabilder und/oder des erfassten Anhängerkamerabildes und/oder einer anderen Abstandserfassungsvorrichtung vorgesehen. Dabei liegt das erkannte Objekt insbesondere auf dem Boden vor und weist somit vorzugsweise eine niedrige Höhe auf. Vorzugsweise wird das erkannte Objekt anschließend in dem angezeigtem Umgebungsmodell hervorgehoben, insbesondere durch eine Umrandung und/oder eine Anpassung der Helligkeit oder eine Farbanpassung. Die Hervorhebung erfolgt vorteilhafterweise, wenn das erkannte statische Objekt in der ermittelten prognostizierten Bewegungstrajektorie des Anhängers liegt oder sich das erkannte dynamische Objekt in die ermittelte prognostizierte Bewegungstrajektorie des Anhängers bewegt. Alternativ oder zusätzlich kann es vorgesehen sein, dass eine Kollisionswarnung für einen Nutzer des Fahrzeugs angezeigt wird, wenn das erkannte Objekt in der ermittelten prognostizierten Bewegungstrajektorie des Anhängers liegt und/oder sich das erkannte dynamische Objekt in die ermittelte prognostizierte Bewegungstrajektorie des Anhängers bewegt.
    Alternativ oder zusätzlich kann es vorgesehen sein, dass eine Abstandsinformation zwischen dem erkannten Objekt und dem Anhänger oder einem der Räder des Anhängers bei Bewegung entlang der ermittelten prognostizierten Bewegungstrajektorie des Anhängers angezeigt wird, wobei die Abstandsinformation vorteilhafterweise als Einblendung in dem angezeigten Umgebungsmodell erfolgt.
  • In einer anderen Ausgestaltung der Erfindung wird eine Eingabe des Nutzers zu einem Abstellplatz für den Anhänger erfasst und/oder eine (automatische) Erkennung des Abstellplatzes für den Anhänger in Abhängigkeit der erfassten Fahrzeugkamerabilder und/oder des erfassten Anhängerkamerabildes durchgeführt. Bevorzugt wird der Abstellplatz in dem Umgebungsmodell als Einblendung angezeigt, beispielsweise schematisch als Umrandung und/oder als Fläche des erfassten oder ermittelten Abstellplatzes. Anschließend wird eine Helligkeit und/oder Farbgebung der eingeblendeten Bewegungstrajektorie des Anhängers und/oder der den Abstellplatz repräsentierenden Einblendung in dem angezeigten Umgebungsmodell angepasst, wenn die Bewegungstrajektorie den Anhänger zu dem eingegebenen oder erkannten Abstellplatz führt. Alternativ oder zusätzlich wird die benötigte Lenkbewegungsrichtung und/oder der benötigte Lenkausschlag zur automatischen oder assistierten Führung des Anhängers zu dem eingegebenen oder erkannten Abstellplatz eingestellt oder angezeigt, wobei vorteilhafterweise bei einer Bewegung entgegen der benötigten Lenkbewegungsrichtung ein Gegendrehmoment am Lenker mittels eines Lenkmotors erzeugt wird, so dass insbesondere ein falsches Lenken des Fahrers erschwert oder vermieden werden kann. Durch diese Ausgestaltung der Erfindung wird die Fahrt des Fahrzeugs zum Abstellen des Anhängers erleichtert.
  • Vorzugsweise erfolgt die Anzeige des Umgebungsmodells aus einer virtuellen Beobachtungsperspektive senkrecht von oben nach unten. In dieser Ausführung erhält der Fahrer beziehungsweise Nutzer vorteilhafterweise eine große Übersicht über den Umgebungsbereich hinter dem Fahrzeug und über den Umgebungsbereich seitlich neben und hinter dem Anhänger.
  • In einer bevorzugten Ausgestaltung erfolgt die Anzeige des Umgebungsmodells aus einer virtuellen Beobachtungsperspektive, welche innerhalb und/oder oberhalb des Anhängers liegt und im Wesentlichen in die rückwärtige Umgebung des Anhängers ausgerichtet ist, insbesondere, wenn ein ermittelter Abstand zwischen dem Anhänger und dem erfassten oder ermittelten Abstellplatz einen vorgegebenen Abstandsschwellenwert unterschreitet. Mit anderen Worten erfolgt bevorzugt ein Wechsel in diese virtuelle Beobachtungsperspektive sobald der ermittelte Abstand zwischen dem Anhänger und dem Abstellplatzes den vorgegebenen Abstandsschwellenwert unterschreitet. Dadurch wird dem Fahrer des Fahrzeugs kurz vor dem Erreichen des Abstellplatzes eine besonders übersichtliche Darstellung zur genauen Positionierung des Anhängers angezeigt.
  • In einer besonders bevorzugten Ausführung der Erfindung umfasst die Anzeige des Umgebungsmodells zumindest eine Einblendung einer schematischen Umrandung des Anhängers, welche die Abmaße des Anhängers repräsentiert, wobei die den Anhänger repräsentierende, schematische Umrandung insbesondere in Abhängigkeit der wenigstens drei Fahrzeugkamerabilder automatisch ermittelt wird. Bevorzugt wird dabei der Anhänger zumindest halbtransparent und besonders bevorzugt wird der Anhänger dabei transparent dargestellt. Die schematische Umrandung kann zweidimensional oder dreidimensional ausgeführt sein. Durch diese Ausführung ist die Anzeige des Umgebungsmodells besonders leicht verständlich für den Fahrer und die Übersichtlichkeit wird erheblich erhöht.
  • Es kann des Weiteren vorgesehen sein, dass die Größe des Nahbereichs in Abhängigkeit der ermittelten Abmaße des Anhängers oder in Abhängigkeit der erfasster Nutzereingabe zum Abmaß des Anhängers und/oder in Abhängigkeit der erfassten Odometriedaten und/oder in Abhängigkeit des ermittelten Anhängewinkels und/oder in Abhängigkeit der ermittelten prognostizierten Bewegungstrajektorie des Anhängers angepasst wird. Durch eine reduzierte Größe des Nahbereichs kann Rechenleistung eingespart und somit der Leistungsverbrauch der Rechenvorrichtung sowie die Speicherbelegung in einem elektronischen Speicher zur Speicherung der Bildinformationen zum Nahbereich des Fahrzeugs reduziert werden.
  • Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen.
  • Die Erfindung betrifft darüber hinaus eine Rechenvorrichtung für ein Fahrzeug, insbesondere eine zentrale Recheneinheit oder eine zonale Recheneinheit oder ein Steuergerät. Die Rechenvorrichtung umfasst wenigstens einen ersten Signaleingang, welcher dazu eingerichtet ist, ein erstes Signal bereitzustellen, welches erfasste Fahrzeugkamerabilder einer Fahrzeugkamera repräsentiert. Die Rechenvorrichtung umfasst des Weiteren wenigstens einen zweiten Signaleingang, welcher dazu eingerichtet ist, ein zweites Signal bereitzustellen, welches erfasste Anhängerkamerabilder einer Anhängerkamera repräsentiert. Darüber hinaus ist die Rechenvorrichtung, insbesondere ein Prozessor der Rechenvorrichtung, so konfiguriert, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt, wobei ein Ausgabesignal für eine Anzeigevorrichtung zur Anzeige eines Umgebungsmodells erzeugt wird.
  • Die Erfindung betrifft ferner ein Fahrzeug, umfassend die erfindungsgemäße Rechenvorrichtung.
  • Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.
    • 1a: Fahrzeug mit Anhänger
    • 1b: Fahrzeug mit Anhänger mit anderen Anhängewinkel α
    • 2: Verfahrensablauf als Blockdiagramm
  • Ausführungsbeispiele
  • In 1a ist ein Fahrzeug 100 mit Anhänger 110 schematisch von oben in Aufsicht dargestellt. Das Fahrzeug 100 und der Anhänger 110 sind mittels einer Kupplung 101 des Fahrzeugs 100 und mittels der Deichsel 111 des Anhängers 110 miteinander verbunden. Zwischen der Längsachse 150 des Fahrzeugs 100 und der Längsachse 151 des Anhängers liegt ein Anhängewinkel α vor, welcher in 1a bei identischer Ausrichtung beider Längsachsen 150, 151 0° beträgt. Das Fahrzeug 100 umfasst in diesem Beispiel vier Fahrzeugkameras 121, 122, 123, 124 eines Kamerasystems 120 des Fahrzeug 100. Jede der vier Fahrzeugkameras 121, 122, 123 und 124 erfasst jeweils eine Abfolge von Fahrzeugkamerabildern von einem jeweiligen Teilbereich 191, 192, 193 oder 194 der Umgebung 190 des Fahrzeugs 100. Der Anhänger 110 umfasst zusätzlich eine Anhängerkamera 125 an der Rückseite 114 des Anhängers 110, welche ein Anhängerkamerabild von einem rückwärtigen Umgebungsbereich 195 des Fahrzeugs 100 beziehungsweise des Anhängers 110 erfasst. Die vier Fahrzeugkameras 121, 122, 123, 124 und die Anhängerkamera 125 sind mit der Rechenvorrichtung 130 des Fahrzeugs 100 verbunden. Die Recheneinrichtung ist vorteilhafterweise dazu eingerichtet, ein virtuelles Modell der Umgebung zu erzeugen, wobei die aktuellen Fahrzeugkamerabildern der Fahrzeugkameras 121, 122, 123, 124 und das aktuellen Anhängerkamerabild der Anhängerkamera 125 in das Umgebungsmodell projiziert werden, insbesondere wird das Umgebungsmodell mit diesen Kamerabildern texturiert. Das Umgebungsmodell wird vorzugsweise an einer Anzeigevorrichtung 131 des Fahrzeugs 100 angezeigt, insbesondere als eine Surround View - Ansicht oder eine Panoramabild-Darstellung der rückwärtigen Umgebung. Der Umgebungsteilbereich 199 an der rechten Seite 113 des Anhängers 110 und der Umgebungsteilbereich 198 an der linken Seite 112 des Anhängers 110 sind allerdings für keine Kamera einsehbar beziehungsweise werden durch keine Kamera erfasst, da der Anhänger 110 diese Umgebungsteilbereiche 198, 199 abschattet. Die Lage und die Größe der abgeschatteten Umgebungsteilbereiche 198, 199 ist abhängig vom Anhängewinkel α (siehe auch 1b), wobei der Anhängewinkel α in 1a 0° beträgt. Des Weiteren wird der Umgebungsbereich 197 unter dem Anhänger 110 von keinem aktuellen Kamerabild erfasst. Mit anderen Worten wird der Umgebungsteilbereich 197 unter dem Anhänger 110 zum aktuellen Zeitpunkt nicht erfasst. Darüber hinaus wird zum aktuellen Zeitpunkt aus 1a der Umgebungsteilbereich 196 unter dem Fahrzeug 100 nicht erfasst. Um diese zum aktuellen Zeitpunkt nicht erfassten Umgebungsteilbereiche in dem Umgebungsmodell darstellen zu können, werden während der Fahrt des Fahrzeugs Bildinformationen der Fahrzeugkameras 121, 122, 123, 124 und der Anhängerkamera 125 in einem Nahbereich um das Fahrzeug 100 gespeichert. Die Rechenvorrichtung 130 des Fahrzeugs, welche vorteilhafterweise mit den Fahrzeugkameras 121, 122, 123, 124 und der Anhängerkamera 125 verbunden ist, ist dazu eingerichtet, basierend auf den aktuellen Kamerabildern der Fahrzeugkameras 121, 122, 123, 124 und basierend auf dem aktuellen Kamerabild der Anhängerkamera 125 sowie zusätzlich basierend auf gespeicherten Bildinformationen aus der Vergangenheit, welche die Umgebungsteilbereiche 196 bis 199 abbilden, ein Umgebungsmodell zu erzeugen beziehungsweise zu berechnen und ein Ausgabesignal für eine Anzeigevorrichtung 131 zur Anzeige des Umgebungsmodells zu erzeugen, wobei vorteilhafterweise die aktuell nicht erfassten Umgebungsteilbereiche 196 bis 199 durch die gespeicherten Bildinformationen bildlich dargestellt werden.
  • In 1b ist das Fahrzeug 100 mit Anhänger 110 mit einem gegenüber 1a anderen Anhängewinkel α schematisch dargestellt. Dadurch wird eine Veränderung der Lage und Größe der nicht erfassten Umgebungsteilbereiche 198 und 199 in Abhängigkeit des Anhängewinkels α sowie eine Veränderung der Lage des Erfassungsbereiches 195 der Anhängerkamera 125 verdeutlicht. Durch diese Veränderungen resultieren für das Umgebungsmodell verschobene und veränderte Fügelinien 170 zwischen den gespeicherten Bildinformationen zu den Umgebungsteilbereichen 197, 198 und 199 und den angrenzenden im Umgebungsmodell projizierten aktuellen Fahrzeugkamerabildern der Fahrzeugkameras 121, 122, 123, 124 und des aktuellen Anhängerkamerabildes der Anhängerkamera 125. Mit anderen Worten muss die Lage der ersten Maskierung mit den Fügelinien 170 für die Darstellung der Umgebungsteilbereiche 197 bis 199 durch die gespeicherten Bildinformationen zur Anzeige des Umgebungsmodells in Abhängigkeit des Anhängewinkels α laufend angepasst werden. Auch die Lage einer zweite Maskierung mit den Fügelinien 171 zur Projektion des Anhängerkamerabilds für die Darstellung des rückwärtigen Umgebungsbereich 195 wird in dem angezeigten Umgebungsmodell basierend auf dem Anhängewinkel α laufend angepasst. In 1b ist außerdem ein Beispiel für einen Nahbereich 160 des Fahrzeugs 100 schematisch dargestellt. Die Größe des Nahbereichs 160 kann vorgegeben sein oder variieren. Eine Anpassung der Größe des Nahbereichs 160 kann vorzugsweise in Abhängigkeit der ermittelten Abmaße des Anhängers 110 oder in Abhängigkeit einer erfasster Nutzereingabe zu den Abmaßen des Anhängers 110 erfolgen. Zusätzlich oder alternativ kann die Anpassung der Größe des Nahbereichs 160 in Abhängigkeit der Odometriedaten und/oder des Anhängewinkels α und/oder einer ermittelten prognostizierten Bewegungstrajektorie des Anhängers 110 erfolgen. Zu dem Nahbereich 160 werden Bildinformationen gespeichert. Die Frequenz zur Speicherung der Bildinformationen basierend auf den aktuellen Fahrzeugkamerabildern und dem aktuellen Anhängerkamerabild ist insbesondere vorgegeben oder variabel. Die Frequenz zur Speicherung der Bildinformationen erfolgt vorzugsweise in Abhängigkeit der erfassten Odometriedaten des Fahrzeugs, insbesondere in Abhängigkeit der Fahrzeuggeschwindigkeit. Mit anderen Worten werden in einem elektronischen Speicher des Fahrzeugs 100, insbesondere der Rechenvorrichtung 130, zu dem Nahbereich 160 aktuelle Fahrzeugkamerabilder und/oder aktuelle Anhängerkamerabilder als Bildinformationen gespeichert, insbesondere in einer variablen Frequenz in Abhängigkeit der Fahrzeuggeschwindigkeit, wobei die Fahrzeugkamerabilder und die Anhängerkamerabilder vorteilhafterweise vorverarbeitet gespeichert werden. Die Lage der gespeicherten Bildinformationen wird basierend auf den erfassten Odometriedaten des Fahrzeugs 100 kontinuierlich angepasst, insbesondere basierend auf der Geschwindigkeit und einem Gierwinkel beziehungsweise Lenkwinkel des Fahrzeugs 100 beziehungsweise basierend auf der Bewegungstrajektorie des Fahrzeugs 100. Bei einer Bewegung des Fahrzeugs 100 mit dem Anhänger 110 liegen somit vorteilhafterweise gespeicherte Bildinformationen für den gesamten Nahbereich 160 vor, welche in Abhängigkeit der Lagen der Umgebungsteilbereiche 197 bis 199 beziehungsweise der Lagen der ersten und zweiten Maskierung in das Umgebungsmodell projiziert beziehungsweise eingefügt werden.
  • In 2 ist ein Verfahrensablauf als Blockdiagramm schematisch dargestellt. Zunächst erfolgt die Erfassung 210 einer Abfolge von Fahrzeugkamerabildern mittels jeder der wenigstens drei Fahrzeugkameras 121, 122, 123, 124, wobei die Fahrzeugkamerabilder jeweils den Teilbereich 191, 192, 193 oder 194 der Umgebung 190 abbilden. In einem weiteren Verfahrensschritt erfolgt eine Erfassung 220 einer Abfolge von Anhängerkamerabildern mittels der Anhängerkamera 125, welche die Umgebung des Fahrzeugs 100 hinter dem Anhänger 110 beziehungsweise den Teilbereich 195 der Umgebung 190 abbildet. Vorzugsweise werden in einem weiteren optionalen Verfahrensschritt 225 statische oder dynamische Objektes in Abhängigkeit der erfassten Fahrzeugkamerabilder und/oder des erfassten Anhängerkamerabildes und/oder erfasster Sensordaten einer anderen Abstandserfassungsvorrichtung erkannt, wobei die andere Abstandserfassungsvorrichtung beispielsweise wenigstens einen Ultraschallsensor, einen Radarsensor und/oder einen Lidarsensor umfasst. In einem anderen Verfahrensschritt wird die Erfassung 230 von Odometriedaten des Fahrzeugs durchgeführt. In einem optionalen Schritt 231 wird der Lenkwinkel des Fahrzeugs erfasst. Anschließend wird der Anhängewinkel α zwischen der Längsachse 151 des Anhängers 110 und der Längsachse 150 des Fahrzeugs 100 im Schritt 240 ermittelt. Es kann in einem optionalen Schritt 241 vorgesehen sein, dass eine prognostizierte Bewegungstrajektorie des Anhängers 110 zumindest in Abhängigkeit des ermittelten Anhängewinkels α und in Abhängigkeit des erfassten Lenkwinkels ermittelt wird. Die prognostizierte Bewegungstrajektorie des Anhängers 110 wird insbesondere zusätzlich in Abhängigkeit erfasster oder ermittelter Abmaße des Anhängers 110 und/oder einer erfassten Geschwindigkeit des Fahrzeugs 100 ermittelt. Des Weiteren erfolgt eine Vorverarbeitung 250 der erfassten aktuellen Fahrzeugkamerabilder und des erfassten aktuellen Anhängerkamerabildes. Bei der Vorverarbeitung 250 werden die Bilder vorteilhafterweise entzerrt und/oder die Auflösung der Bilder angepasst und/oder es werden bei der Vorverarbeitung die Helligkeit und/oder die Farben und/oder der Kontrast zwischen den Bildern angepasst. Darüber hinaus erfolgt vorteilhafterweise bei der Vorverarbeitung 250 eine Änderung der Beobachtungsperspektive auf das jeweilige Bild, insbesondere wird eine Ansicht senkrecht von oben ermittelt. In einem optionalen Schritt 260 kann eine Anpassung der Größe des Nahbereichs 160 des Fahrzeugs 100 zur Speicherung der Bildinformationen vorgesehen sein. Die Anpassung 260 der Größe des Nahbereichs 160 erfolgt vorteilhafterweise in Abhängigkeit des ermittelten Abmaß des Anhängers oder in Abhängigkeit einer erfasster Nutzereingabe zu dem Abmaß des Anhängers 110 und/oder in Abhängigkeit der erfassten Odometriedaten und/oder in Abhängigkeit des ermittelten Anhängewinkels α und/oder in Abhängigkeit einer ermittelten prognostizierten Bewegungstrajektorie des Anhängers 110. Anschließend werden im Schritt 270 Bildinformationen zum Nahbereich 160 des Fahrzeugs 100 in Abhängigkeit der vorverarbeiteten Fahrzeugkamerabilder und/oder des vorverarbeiteten Anhängerkamerabildes gespeichert, wobei den gespeicherten Bildinformationen eine Lage relativ zum Fahrzeug 100 zugeordnet wird. In einem Schritt 275 wird die Lage der gespeicherten Bildinformationen in Abhängigkeit der erfassten Odometriedaten des Fahrzeugs angepasst. Anschließend wird ein Umgebungsmodells aus einer virtuellen Beobachtungsperspektive erzeugt beziehungsweise ermittelt und im Schritt 290 angezeigt. Die Anzeige 290 des Umgebungsmodells erfolgt vorteilhafterweise aus einer virtuellen Beobachtungsperspektive senkrecht von oben nach unten. Alternativ kann die Anzeige 290 des Umgebungsmodells aus einer virtuellen Beobachtungsperspektive erfolgen, welche vorzugsweise innerhalb oder oberhalb des Anhängers liegt und im Wesentlichen in die rückwärtige Umgebung des Anhängers ausgerichtet ist. Die Anzeige 290 des Umgebungsmodells umfasst vorzugsweise zumindest eine schematische Umrandung des Anhängers, welche die Abmaße des Anhängers 110 repräsentiert, wobei die den Anhänger repräsentierende, schematische Umrandung insbesondere in Abhängigkeit der wenigstens drei Fahrzeugkamerabilder automatisch ermittelt wird. Die Darstellung des Anhängers 110 erfolgt darüber hinaus insbesondere teilweise oder vorteilhafterweise vollständig transparent. Bei der Anzeige 290 des Umgebungsmodells werden die vorverarbeiteten aktuellen Fahrzeugkamerabilder und das vorverarbeitete aktuelle Anhängerkamerabild auf eine Projektionsfläche des Umgebungsmodells projiziert und zusammengefügt, wobei zu nicht in den aktuellen Fahrzeugkamerabildern oder in dem aktuellen Anhängerkamerabild abgebildeten Umgebungsteilbereichen 196 und/oder 197 bis 199 der Umgebung die gespeicherten Bildinformationen entsprechend ihrer Lage relativ zum Fahrzeug beziehungsweise entsprechend der Lage der ersten und zweiten Maskierung auf die Projektionsfläche projiziert und diese projizierten Bildinformationen mit den projizierten vorverarbeiteten aktuellen Fahrzeugkamerabildern und dem projizierten vorverarbeiteten aktuelle Anhängerkamerabild zusammengefügt werden. Die erste Maskierung zur Projektion der gespeicherten Bildinformation zu den Umgebungsteilbereichen 198 und 199 und/oder die zweite Maskierung zur Projektion des Anhängerkamerabildes auf die Projektionsfläche zu Teilbereich 195 der Umgebung werden im Schritt 280 vorteilhafterweise kontinuierlich basierend auf dem ermittelten Anhängewinkel angepasst. Es kann im Schritt 290 optional vorgesehen sein, dass die ermittelte prognostizierte Bewegungstrajektorie des Anhängers 110 in das angezeigte Umgebungsmodell eingeblendet wird. Vorzugsweise erfolgt im Schritt 290 eine Hervorhebung des erkannten Objektes in dem angezeigten Umgebungsmodell und/oder eine Anzeige 290 einer Kollisionswarnung für einen Nutzer des Fahrzeugs in dem Umgebungsmodell, wenn das erkannte Objekt in der ermittelten prognostizierten Bewegungstrajektorie des Anhängers liegt, und/oder, wenn sich das erkannte dynamische Objekt in die ermittelte prognostizierte Bewegungstrajektorie des Anhängers bewegt. Alternativ oder zusätzlich wird bei der Anzeige 290 des Umgebungsmodells eine Abstandsinformation zwischen dem erkannten Objekt und dem Anhänger 110 und/oder zwischen dem erkannten Objekt und einem der Räder des Anhängers 110 bei Bewegung entlang der ermittelten prognostizierten Bewegungstrajektorie des Anhängers 110 eingeblendet. Die eingeblendete Abstandsinformation repräsentiert insbesondere einen Abstand senkrecht zur ermittelten prognostizierten Bewegungstrajektorie des Anhängers 110. In einem optionalen Schritt 285 vor der Anzeige des Umgebungsmodells wird eine Eingabe des Nutzers zu einem Abstellplatz für den Anhänger 110 und/oder eine (automatische) Erkennung des Abstellplatzes für den Anhänger 110 in Abhängigkeit der erfassten Fahrzeugkamerabilder und/oder des erfassten Anhängerkamerabildes erfasst. Anschließend wird im Schritt 290 optional eine Farbgebung der eingeblendeten Bewegungstrajektorie des Anhängers angepasst, wenn die Bewegungstrajektorie den Anhänger zu dem eingegebenen oder erkannten Abstellplatz führt. Alternativ oder zusätzlich kann im Schritt 290 bei der Anzeige des Umgebungsmodells die benötigte Lenkbewegungsrichtung und/oder der benötigte Lenkausschlag zur automatischen oder assistierten Führung des Anhängers 110 zu dem eingegebenen oder erkannten Abstellplatz eingeblendet und/oder diese benötigte Lenkbewegungsrichtung und/oder dieser benötigte Lenkausschlag im Schritt 295 eingestellt werden. Das Verfahren wird vorzugsweise kontinuierlich durchgeführt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2021/041877 A1 [0002]
    • WO 2018/149625 A1 [0003]
    • DE 102014223141 B4 [0004]

Claims (12)

  1. Verfahren zur Darstellung einer Umgebung (190) eines Fahrzeugs (100) mit einem angekoppelten Anhänger (110), wobei das Fahrzeug (100) wenigstens drei Fahrzeugkameras (122, 123, 124) umfasst, welche jeweils an unterschiedlichen Fahrzeugseiten angeordnet sind, und der Anhänger (110) wenigstens eine an der Anhängerrückseite (114) angeordnete Anhängerkamera (125) aufweist, wobei die folgenden Verfahrensschritte durchgeführt werden • Erfassung (210) einer Abfolge von Fahrzeugkamerabildern mittels jeder der wenigstens drei Fahrzeugkameras (122, 123, 124), wobei die Fahrzeugkamerabilder jeweils einen Teilbereich (192, 193, 194) der Umgebung (190) abbilden, • Erfassung (220) einer Abfolge von Anhängerkamerabildern mittels der Anhängerkamera, welche die rückwärtige Umgebung (195) hinter dem Anhänger (110) abbilden, • Erfassung (230) von Odometriedaten des Fahrzeugs (100), • Ermittlung (240) des Anhängewinkels (α) zwischen der Längsachse (151) des Anhängers (110) und der Längsachse (150) des Fahrzeugs (100), • Vorverarbeitung (250) der erfassten aktuellen Fahrzeugkamerabilder und des erfassten aktuellen Anhängerkamerabildes, • Speicherung (270) von Bildinformationen zum Nahbereich (160) des Fahrzeugs (100) in Abhängigkeit der vorverarbeiteten Fahrzeugkamerabilder und/oder des vorverarbeiteten Anhängerkamerabildes, wobei den gespeicherten Bildinformationen eine Lage relativ zum Fahrzeug (100) zugeordnet wird, • Anpassung (275) der Lage der gespeicherten Bildinformationen in Abhängigkeit der erfassten Odometriedaten des Fahrzeugs (100), und • Anzeige (290) eines Umgebungsmodells aus einer virtuellen Beobachtungsperspektive, wobei die vorverarbeiteten aktuellen Fahrzeugkamerabilder und das vorverarbeitete aktuelle Anhängerkamerabild auf eine Projektionsfläche des Umgebungsmodells projiziert und zusammengefügt werden, wobei zu nicht in den aktuellen Fahrzeugkamerabildern oder in dem aktuellen Anhängerkamerabild abgebildeten Teilbereichen (197, 198, 199) der Umgebung (190) des Fahrzeugs (100) die gespeicherten Bildinformationen entsprechend ihrer Lage relativ zum Fahrzeug (100) auf die Projektionsfläche projiziert und mit den Fahrzeugkamerabildern und dem Anhängekamerabild zusammengefügt werden.
  2. Verfahren nach Anspruch 1, wobei eine erste Maskierung zur Projektion der gespeicherten Bildinformation zu den aktuell nicht erfassten Umgebungsteilbereichen (197, 198, 199) und/oder eine zweite Maskierung zur Projektion des Anhängerkamerabildes zu dem aktuell erfassten Umgebungsteilbereich (195) der Anhängerkamera (125) auf die Projektionsfläche kontinuierlich basierend auf dem ermittelten Anhängewinkel (α) angepasst werden.
  3. Verfahren nach einem der Ansprüche 1 oder 2, wobei folgende Schritte durchgeführt werden • Erfassung (231) des Lenkwinkels des Fahrzeugs (100), und • Ermittlung (241) einer prognostizierten Bewegungstrajektorie des Anhängers (110) zumindest in Abhängigkeit des ermittelten Anhängewinkels (a) und in Abhängigkeit des erfassten Lenkwinkels, wobei • die Anzeige (290) mit einer Einblendung der ermittelten prognostizierten Bewegungstrajektorie des Anhängers (110) in das Umgebungsmodell erfolgt.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgende Schritte durchgeführt werden, • Erkennung (225) eines statischen oder dynamischen Objektes in Abhängigkeit von den erfassten Fahrzeugkamerabilder und/oder des erfassten Anhängerkamerabildes und/oder in Abhängigkeit von Sensordaten einer anderen Abstandserfassungsvorrichtung, und • Anzeige (290) des Umgebungsmodells, wobei i.eine Hervorhebung des erkannten Objektes durchgeführt wird, und/oder ii.eine Kollisionswarnung für einen Nutzer des Fahrzeugs (100) eingeblendet wird, wenn das erkannte Objekt in der ermittelten prognostizierten Bewegungstrajektorie des Anhängers liegt und/oder sich das erkannte dynamische Objekt in die ermittelte prognostizierte Bewegungstrajektorie des Anhängers bewegt, und/oder iii.eine Abstandsinformation zwischen dem erkannten Objekt und dem Anhänger (110) oder zwischen dem erkannten Objekt und einem der Räder des Anhängers (110) bei Bewegung entlang der ermittelten prognostizierten Bewegungstrajektorie des Anhängers (110) eingeblendet wird.
  5. Verfahren nach einem der Ansprüche 3 oder 4, wobei folgende Schritte durchgeführt werden, • Erfassung (285) einer Eingabe des Nutzers zu einem Abstellplatz für den Anhänger (110) und/oder Erkennung des Abstellplatzes für den Anhänger (110) in Abhängigkeit der erfassten Fahrzeugkamerabilder und/oder des erfassten Anhängerkamerabildes, und • Anzeige (290) des Umgebungsmodells, wobei i.eine Farbgebung der eingeblendeten Bewegungstrajektorie des Anhängers angepasst wird, wenn die Bewegungstrajektorie den Anhänger zu dem eingegebenen oder erkannten Abstellplatz führt, und/oder ii.die benötigte Lenkbewegungsrichtung und/oder der benötigte Lenkausschlages zur automatischen oder assistierten Führung des Anhängers zu dem eingegebenen oder erkannten Abstellplatz eingeblendet wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeige (290) des Umgebungsmodells aus einer virtuellen Beobachtungsperspektive senkrecht von oben nach unten erfolgt.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeige (290) des Umgebungsmodells aus einer virtuellen Beobachtungsperspektive erfolgt, welche innerhalb oder oberhalb des Anhängers (110) liegt und im Wesentlichen in die rückwärtige Umgebung des Anhängers (110) ausgerichtet ist.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeige (290) des Umgebungsmodells zumindest eine schematische Umrandung des Anhängers umfasst, welche die Abmaße des Anhängers (110) repräsentiert, wobei die den Anhänger repräsentierende, schematische Umrandung insbesondere in Abhängigkeit der wenigstens drei Fahrzeugkamerabilder automatisch ermittelt wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Anpassung (260) der Größe des Nahbereichs (160) in Abhängigkeit der ermittelten Abmaße des Anhängers (110) oder in Abhängigkeit einer erfasster Nutzereingabe zum Abmaß des Anhängers (110) und/oder in Abhängigkeit der erfassten Odometriedaten und/oder in Abhängigkeit des ermittelten Anhängewinkels (a) und/oder in Abhängigkeit der ermittelten prognostizierten Bewegungstrajektorie des Anhängers (110).
  10. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 9 auszuführen.
  11. Rechenvorrichtung für ein Fahrzeug (100), insbesondere zentrale Recheneinheit (150) oder zonale Recheneinheit oder Steuergerät, umfassend mindestens folgende Komponenten • einen ersten Signaleingang, welcher dazu eingerichtet ist, ein erstes Signal bereitzustellen, welches erfasste Fahrzeugkamerabilder einer Fahrzeugkamera repräsentiert, • einen zweiten Signaleingang, welcher dazu eingerichtet ist, ein zweites Signal bereitzustellen, welches erfasste Anhängerkamerabilder einer Anhängerkamera repräsentiert, wobei • die Rechenvorrichtung, insbesondere ein Prozessor der Rechenvorrichtung, so konfiguriert ist, dass sie die Schritte des Verfahrens gemäß einem der Ansprüche 1 bis 9 ausführt, wobei ein Ausgabesignal für eine Anzeigevorrichtung zur Anzeige eines Umgebungsmodells erzeugt wird.
  12. Fahrzeug (100), umfassend eine Rechenvorrichtung nach Anspruch 11.
DE102022206127.6A 2022-06-20 2022-06-20 Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug Pending DE102022206127A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102022206127.6A DE102022206127A1 (de) 2022-06-20 2022-06-20 Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug
US18/301,458 US20230406410A1 (en) 2022-06-20 2023-04-17 Method for displaying an environment of a vehicle having a coupled trailer, computer program, computing device and vehicle
CN202310735747.0A CN117261765A (zh) 2022-06-20 2023-06-20 呈现带有挂车的车辆的周围环境的方法、计算设备和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022206127.6A DE102022206127A1 (de) 2022-06-20 2022-06-20 Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug

Publications (1)

Publication Number Publication Date
DE102022206127A1 true DE102022206127A1 (de) 2023-12-21

Family

ID=88975196

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022206127.6A Pending DE102022206127A1 (de) 2022-06-20 2022-06-20 Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug

Country Status (3)

Country Link
US (1) US20230406410A1 (de)
CN (1) CN117261765A (de)
DE (1) DE102022206127A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214611A1 (de) 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214611A1 (de) 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns

Also Published As

Publication number Publication date
CN117261765A (zh) 2023-12-22
US20230406410A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102011104256A1 (de) Knickwinkelgeber für ein Assistenzsystem eines Kraftfahrzeugs und Verfahren zum Bestimmen eines Knickwinkels
DE102014217746A1 (de) Steuersystem zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102010000385A1 (de) Fahrzeugperipherieanzeigevorrichtung
WO2016162245A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
WO2012003942A2 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren und/oder rangieren eines fahrzeugs
DE102008060770A1 (de) Verfahren zur Unterstützung eines Fahrers eines Fahrzeuges
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
DE102016122756A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Abstellen des Kraftfahrzeugs auf einer Parkfläche, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
DE102015208343B4 (de) Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
DE102022206127A1 (de) Verfahren zur Darstellung einer Umgebung eines Fahrzeugs mit einem angekoppelten Anhänger, Computerprogramm, Rechenvorrichtung und Fahrzeug
DE102018132676A1 (de) Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung
EP3476696A1 (de) Verfahren zum ermitteln von objektgrenzen eines objekts in einem aussenbereich eines kraftfahrzeugs sowie steuervorrichtung und kraftfahrzeug
DE102016226299A1 (de) Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
DE102019131630A1 (de) Bereitstellen von Optionen für Modifikationen einer automatischen Parkvorgang-Trajektorie
DE102023203322B3 (de) Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Fahrerassistenzeinrichtung, Fahrzeug und Computerprogramm
DE102010036140A1 (de) Verfahren zum Darstellen von Hilfslinien in einem kamerabasierten Fahrerassistenzsystem
DE102018100211A1 (de) Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
EP3610643A1 (de) Surround-view-system für ein fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified