DE102017111530A1 - Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten - Google Patents

Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten Download PDF

Info

Publication number
DE102017111530A1
DE102017111530A1 DE102017111530.7A DE102017111530A DE102017111530A1 DE 102017111530 A1 DE102017111530 A1 DE 102017111530A1 DE 102017111530 A DE102017111530 A DE 102017111530A DE 102017111530 A1 DE102017111530 A1 DE 102017111530A1
Authority
DE
Germany
Prior art keywords
trailer
towing vehicle
vehicle
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017111530.7A
Other languages
English (en)
Inventor
Wende Zhang
Jinsong Wang
Esther Anderson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102017111530A1 publication Critical patent/DE102017111530A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Systeme und Verfahren für ein einen Anhänger ziehendes Zugfahrzeug mit zumindest einem Bildgerät sind angegeben. Ein Verfahren enthält: Empfangen, von einem ersten mit dem Anhänger gekoppelten Bildgerät, eines ersten Bildstroms mit einer Vielzahl von ersten Bildern; Empfangen, von einem zweiten mit dem Fahrzeug gekoppelten Bildgerät, eines zweiten Bildstroms mit einer Vielzahl von zweiten Bildern; Bestimmen zumindest eines gemeinsamen Merkmals zwischen einem ersten Bild der ersten Bilder und einem zweiten Bild der zweiten Bilder; Bestimmen eines ersten Abstands von dem ersten Bildgerät zu dem zumindest einen gemeinsamen Merkmal und eines zweiten Abstands von dem zweiten Bildgerät zu dem zumindest einen gemeinsamen Merkmal; und Bestimmen einer Position des ersten Bildgeräts mit Bezug zu dem Fahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position und Ausrichtung des zweiten Bildgeräts.

Description

  • VERWEIS AUF ZUGEHÖRIGE ANMELDUNG
  • Diese Anmeldung beansprucht die Priorität der provisorischen Anmeldung (U.S. Provisional Application) mit dem Aktenzeichen 62/342,671, eingereicht am 27 Mai 2016, sowie der Anmeldung US 15/592,913, eingereicht am 11. Mai 2017, welche hierin durch Bezugnahme inkorporiert sind.
  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft allgemein Fahrzeuge und betrifft insbesondere Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten zum Bestimmen von Zugfahrzeug- und Anhängerdynamiken, Erzeugen einer Ansicht auf ein Heck eines Zugfahrzeugs mit einem transparenten Anhänger, und Erzeugen von einer 360° Vogelperspektiven-Rundumsicht des Zugfahrzeugs und/oder des Anhängers.
  • EINFÜHRUNG
  • Grundsätzlich mögen bestimmte Fahrzeuge, so wie motorisierte Fahrzeuge, benutzt werden, um verschiedene Arten von Objekten, welche an einem Anhänger montiert sein mögen, zu ziehen. Beispielsweise mag ein motorisiertes Fahrzeug ein Boot, ein Freizeitfahrzeug, einen mit einem oder mehreren Objekten befüllten Anhänger, etc. ziehen. Während des Betreibens eines Zugfahrzeugs mit einem Anhänger mag es schwierig sein, eine das Fahrzeug und/oder den Anhänger umgebende Umwelt einzusehen. Weiterhin mag es während des Betriebs des Zugfahrzeugs schwierig sein, Dynamiken des Anhängers zu bestimmen, so wie beispielsweise ob der Anhänger mit Bezug zu dem Fahrzeug schwenkt oder rollt.
  • Dementsprechend ist es wünschenswert, Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit einem Rundumsichtbildgerät anzugeben, welche Zugfahrzeug- und Anhängerdynamiken bestimmen, eine volle Ansicht eines Hecks eines Zugfahrzeugs mit einem transparenten Anhänger erzeugen, und eine 360° Vogelperspektiven-Rundumsicht des Zugfahrzeugs und des Anhängers erzeugen. Weiterhin werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Offenbarung offensichtlich aus der folgenden detaillierten Beschreibung und den angehängten Ansprüchen in Verbindung mit den begleitenden Zeichnungen und dem vorangestellten technischen Gebiet und Hintergrund.
  • ZUSAMMENFASSUNG
  • Dies wird gelöst mit dem Gegenstand der unabhängigen Ansprüche; weitere Ausführungsformen sind in den abhängigen Ansprüchen enthalten.
  • Systeme und Verfahren für ein einen Anhänger ziehendes Zugfahrzeug mit zumindest einem Bildgerät sind angegeben. In einer Ausführungsform enthält das Verfahren: Empfangen, von einem ersten mit dem Anhänger gekoppelten Bildgerät, eines ersten Bildstroms mit einer Vielzahl von ersten Bildern; Empfangen, von einem zweiten mit dem Zugfahrzeug gekoppelten Bildgerät, eines zweiten Bildstroms mit einer Vielzahl von zweiten Bildern; Bestimmen, mittels eines an Bord des Zugfahrzeugs befindlichen Prozessors, zumindest eines gemeinsamen Merkmals zwischen einem ersten Bild der Vielzahl von ersten Bildern und einem zweiten Bild der Vielzahl von zweiten Bildern; Bestimmen, mittels des an Bord des Fahrzeugs befindlichen Prozessors, eines ersten Abstands von dem ersten mit dem Anhänger gekoppelten Bildgerät zu dem zumindest einen gemeinsamen Merkmal und eines zweiten Abstands von dem mit dem Zugfahrzeug gekoppelten zweiten Bildgerät zu dem zumindest einen gemeinsamen Merkmal; und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die Ausführungsbeispiele werden im Folgenden beschrieben in Verbindung mit den folgenden Zeichnungen, wobei ähnliche Bezugszeichen ähnliche Elemente bezeichnen, und wobei:
  • 1 eine schematische Darstellung eines mit einem Anhänger gekoppelten und einen solchen ziehenden Zugfahrzeugs ist, und wobei das Fahrzeug ein Anhängerbildsystem gemäß verschiedenen Ausführungsformen enthält;
  • 2 ein funktionales Blockschaltbild zeigend das Zugfahrzeug der 1 mit dem Anhängerbildsystem ist, gemäß verschiedenen Ausführungsformen;
  • 3 ein Datenflussdiagramm zeigend das Anhängerbildsystem des Fahrzeugs aus 1 ist, gemäß verschiedenen Ausführungsformen;
  • 4 ein beispielhaftes Verfahren zum Erkennen und Abgleichen von Merkmalspunkten ist, wie es von dem Anhängerbildsystem ausgeführt ist, um einen Ort der mit dem Anhänger der 1 gekoppelten Kameras zu kalibrieren, gemäß verschiedenen Ausführungsformen;
  • 5A beispielhafte Sichtfelder für mit dem Fahrzeug und dem Anhänger der 1 gekoppelter Kameras und Überlappbereiche zwischen den Sichtfeldern zeigt, gemäß verschiedenen Ausführungsformen;
  • 5B ein beispielhaftes zusammengesetztes von dem Anhängerbildsystem des Fahrzeugs der 1 erzeugtes Bild zeigt, basierend auf den Überlappbereichen in 5A, gemäß verschiedenen Ausführungsformen;
  • 5C beispielhafte Begrenzungslinien und Verbindungszonen für ein beispielhaftes von dem Anhängerbildsystem des Fahrzeugs der 1 erzeugtes Bild zeigt, gemäß verschiedenen Ausführungsformen;
  • 6A eine beispielhafte Nutzerschnittstelle für transparente Anhängersicht, welche mittels des Anhängerbildsystems des Fahrzeugs der 1 auf einem Display eines Fahrerkommunikationssystems gerendert ist zeigt, gemäß verschiedenen Ausführungsformen;
  • 6B eine beispielhafte Ansicht einer Nutzerschnittstelle aus der Vogelperspektive zeigt, welche mittels des Anhängerbildsystems des Fahrzeugs der 1 auf einem Display eines Fahrerkommunikationssystems gerendert ist, gemäß verschiedenen Ausführungsformen;
  • 7 einen Abschnitt einer beispielhaften Ansicht einer Nutzerschnittstelle aus der Vogelperspektive zeigt, welche mittels des Anhängerbildsystems des Fahrzeugs der 1 auf einem Display eines Fahrerkommunikationssystems gerendert ist, welches eine Nutzerschnittstelle eines Schwenkwinkels enthält, wobei die Nutzerschnittstelle des Schwenkwinkels auf dem Display gerendert ist und dem Abschnitt der Nutzerschnittstelle aus der Vogelperspektive überlagert ist, gemäß verschiedenen Ausführungsformen;
  • 8 bis 13 Flussdiagramme zeigend verschiedene Verfahren sind, die mittels des Anhängerbildsystems des Fahrzeugs der 1 ausgeführt werden, gemäß verschiedenen Ausführungsformen.
  • DETAILLIERTE BESCHREIBUNG
  • Die folgende detaillierte Beschreibung ist lediglich von exemplarischer Natur und ist nicht beabsichtigt, die Anwendung sowie Verwendungen zu beschränken. Weiterhin besteht keine Absicht, durch irgendeine in dem voranstehendend technischen Gebiet, Hintergrund, kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellten oder implizierten Theorie gebunden zu sein. Wie hierin verwendet, bezieht sich der Ausdruck "Modul" auf irgendeine Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik, und/oder Prozessorvorrichtung, individuell oder in irgendeiner Kombination, enthaltend, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltkreise (application specific integrated circuit (ASIC)), einen elektronischen Schaltkreis, einen Prozessor (geteilt, dediziert, oder Gruppe) und Speicher, welcher eines oder mehrere Software- oder Firmware-Programme ausführt, einen kombinatorischen Logikschaltkreis, und/oder andere geeignete Komponenten, welche die beschriebene Funktion bereitstellen.
  • Manche der Ausführungsformen der vorliegenden Offenbarung mögen hierin beschrieben werden unter Nutzung von Ausdrücken funktionaler und/oder logischer Blockkomponenten und unterschiedlicher Verarbeitungsschritte. Jedenfalls sollte zur Kenntnis genommen werden, dass solche Blockkomponenten mittels jeglicher Anzahl von Hardware, Software, und/oder Firmware-Komponenten, die ausgeführt sind, die spezifizierten Funktionen auszuführen, umgesetzt sein können. Beispielsweise mag eine Ausführungsform der vorliegenden Offenbarung unterschiedliche integrierte Schaltkreiskomponenten umfassen, z.B., Speicherelemente, digitale Signalverarbeitungselemente, logische Elemente, Nachschlagetabellen, oder ähnliche, welche unterschiedliche Funktionen unter der Steuerung von einem oder mehreren Mikroprozessoren oder anderer Steuergeräte ausführen mögen. Zusätzlich wird der Fachmann auf dem technischen Gebiet zu schätzen wissen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer jeden Anzahl von Systemen umgesetzt werden können und dass das hierin beschriebene Fahrzeugsystem lediglich eine beispielhafte Implementierung der vorliegenden Offenbarung ist.
  • Aus Gründen der Knappheit werden herkömmliche Techniken mit Bezug zu Signalverarbeitung, Datenübertragung, Signaltechnik, Steuerung und anderen funktionalen Aspekten des Systems (und der individuellen Bedienungselemente des Systems) hierin nicht im Detail beschrieben werden. Weiterhin sind die in den diversen hierin enthaltenen Figuren gezeigten Verbindungslinien beabsichtigt, Beispiele von funktionalen Beziehungen und/oder physischen Verbindungen zwischen den verschiedenen Elementen darzustellen. Es sollte bedacht werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorliegen mögen.
  • Mit Bezug zu 1 ist ein Anhängerbildsystem gezeigt, welches grundsätzlich mit 100 indiziert ist und einem Zugfahrzeug 10 und einem Anhänger 8 zugeordnet ist, gemäß verschiedenen Ausführungsformen. Allgemein gesprochen erzeugt das Anhängerbildsystem 100 eine Vollansicht von einer Umgebung hinter einem Zugfahrzeug, wenn ein Anhänger an dem Zugfahrzeug befestigt ist; erzeugt es eine Vogelperspektiv- oder 360 Grad Ansicht einer Umgebung, welche das Zugfahrzeug und/oder den Anhänger umgibt; bestimmt es eine oder mehrere mit dem Anhänger verknüpfte Dynamiken wie eine Nickbewegung (Neigung), ein Schwenken, und/oder ein Rollen des Anhängers; und gibt einen oder mehrere Alarme basierend auf dieser Bestimmung aus. Das Anhängerbildsystem 100 mag auch eines oder mehrere Objekte innerhalb der das Zugfahrzeug und/oder den Anhänger umgebenden Umgebung bestimmen und mag einen oder mehrere Alarme basierend auf der Bestimmung erzeugen. Das Anhängerbildsystem 100 mag auch basierend auf einer oder mehreren bestimmten Dynamiken des Anhängers eines oder mehrere Steuersignale an einen oder mehrere mit dem Zugfahrzeug verknüpfte Aktuatoren ausgeben. Durch das Erzeugen der Vollansicht der Umgebung und der Vogelperspektive oder 360 Grad Ansicht um das Zugfahrzeug und/oder den Anhänger ist der Bediener in der Lage, eine oder mehrere Betriebsbedingungen des Anhängers zu sehen. Beispielsweise ist der Bediener in der Lage, die Spur, auf welcher der Anhänger fährt, zu sehen, ob der Anhänger um eine Kurve navigieren wird, ob eines oder mehrere Hindernisse in der Nähe des Anhängers und/oder hinter dem Anhänger sind, und wird mit einem klaren Sichtfeld versehen, wenn das Zugfahrzeug mit dem angehängten Anhänger zurückgesetzt wird. Weiterhin mag durch das Bestimmen der Dynamiken des Anhängers, so wie das Schwenken, Nicken und Rollen, der Bediener über eine ungewünschte Eigenschaft des Anhängers, so wie Überladung, Schaukeln, etc., informiert werden.
  • Wie in 1 gezeigt ist, ist das Zugfahrzeug 10 mit einem Anhänger 8 gekoppelt. Allgemein enthält das Zugfahrzeug 10 ein Fahrgestell 12, einen Körper 14, Vorderräder 16 und Hinterräder 18. Der Körper 14 ist auf dem Fahrgestell 12 angeordnet und umgibt im Wesentlichen Komponenten des Fahrzeugs 10. Gemeinsam mögen der Körper 14 und das Fahrgestell 12 einen Rahmen bilden. Die Fahrzeugräder 16 bis 18 sind jedes in der Nähe jeweils eines Ecks des Körpers 14 drehbar mit dem Fahrgestell 12 gekoppelt.
  • In diversen Ausführungsformen ist das Anhängerbildsystem 100 in das Fahrzeug 10 (hier und im Folgenden als das Fahrzeug 10 bezeichnet) eingebaut. In bestimmten Ausführungsformen mag das Fahrzeug 10 ein autonomes Fahrzeug sein, welches in der Lage ist, seine Umgebung zu erfassen und mit wenig oder keiner Nutzereingabe zu navigieren. In der dargestellten Ausführungsform ist das Fahrzeug 10 als Lastkraftwagen gezeigt, allerdings sollte verstanden werden, dass jedes andere Fahrzeug inklusive Motorrädern, Passagierfahrzeugen, sog. sport utility vehicles (SUVs), Freizeitfahrzeuge, Schiffe, Luftfahrzeuge, etc., auch genutzt werden kann. Weiterhin sind die hierin offenbarten Lehren nicht auf eine Verwendung mit Automobilen beschränkt, sondern können vielmehr auch mit anderen Arten von Fahrzeugen genutzt werden. Beispielsweise mögen die hierin offenbarten Lehren vereinbar sein mit Fahrzeugen inklusive, aber nicht beschränkt auf, Luftfahrzeuge, Schienenfahrzeuge, kommerzielle Fahrzeug inklusive Traktoren, Flugzeugschleppern, Luftfahrzeugreinigern, Gabelstaplern, etc.
  • Wie mit Bezug zu den 1 und 2 gezeigt, enthält das Fahrzeug 10 grundsätzlich eine Anhängeraufnahme (Anhängerkupplung) 20, eine Anhängerkugel (Kupplungskugel) 22, ein Fahrerkommunikationssystem 24, ein Antriebssystem 26, ein Übertragungssystem 28, ein Lenksystem 30, ein Bremssystem 32, ein Sensorsystem 34, ein Aktuatorsystem 36, zumindest einen Controller 40 und ein Kommunikationssystem 42. Wie noch diskutiert werden wird, enthält das Zugfahrzeug 10 und der Anhänger 8 auch eine oder mehrere Kameras 44. Mit Bezug zu 1 ist die Anhängeraufnahme 20 mit einem Heck 46 des Fahrzeugs 10 gekoppelt, und ist allgemein mit einem Rahmen des Fahrzeugs 10 gekoppelt. Die Anhängeraufnahme 20 definiert eine Ausnehmung oder einen Schlitz, welcher die Anhängerkugel 22 aufnimmt. Grundsätzlich ist die Anhängerkugel 22 in der Anhängeraufnahme 20 verriegelt, so dass die Anhängerkugel 22 innerhalb des Schlitzes fixiert ist. Die Anhängerkugel 22 empfängt eine Lasche 48 des Anhängers 8. Es wird darauf hingewiesen, dass die Anhängerkugel 22 nicht notwendigerweise eine Kugel aufweisen muss, sondern auch einen Fanghaken, einen Schwanenhalshaken, einen Ersatzradhaken, etc., aufweisen mag. Allgemein definiert die Lasche 48 eine konkave Aufnahme, welche über die Anhängerkugel 22 passt. In bestimmten Beispielen ist die Lasche 48 des Anhängers 8 mit einem Körper 50 des Anhängers 8 über eine oder mehrere Zugdeichseln 62 gekoppelt. In diesem Beispiel ist ein Schwerpunkt des Fahrzeugs 10 ein Punkt, welcher entlang der Achsen X1, Y1, Z1 definiert ist, und eine Längsachse erstreckt sich von dem Schwerpunkt des Fahrzeugs 10 zu einem Anhängepunkt (d.h., zu der Anhängerkugel 22 und der Lasche 48), welcher den Anhänger 8 an das Fahrzeug 10 koppelt. Der Anhänger 8 hat einen Schwerpunkt, welcher als ein Punkt entlang der Achsen X2, Y2, Z2 definiert ist, mit einer zweiten Längsachse, die sich zu dem Anhängepunkt erstreckt. Die Achsen X1, Y1, Z1 werden hierin als Koordinatensystem des Fahrzeugs (Fahrzeugkoordinatensystem) bezeichnet.
  • In diversen Ausführungsformen mag das Antriebssystem 26 eine interne Verbrennungsmaschine, eine elektrische Maschine, in der Art eines Antriebsmotors, und/oder ein Antriebssystem mit Brennstoffzellen enthalten. Das Übertragungssystem 28 ist ausgeführt, Leistung gemäß auswählbaren Drehzahlverhältnissen von dem Antriebssystem 26 zu den Rädern 16 bis 18 des Fahrzeugs zu übertragen. In diversen Ausführungsformen mag das Übertragungssystem 28 eine automatische Übertragung mit Stufenverhältnissen, eine kontinuierlich variable Übertragung, oder andere geeignete Übertrager enthalten. Das Bremssystem 32 ist ausgeführt, ein Bremsmoment an die Räder 16 bis 18 des Fahrzeugs bereitzustellen. In diversen Ausführungsformen mag das Bremssystem 32 Reibungsbremsen, elektrisch gesteuerte Bremsen, regenerative Bremssysteme wie eine elektrische Maschine, und/oder andere geeignete Bremssysteme enthalten. Das Lenksystem 30 beeinflusst eine Position der Räder 16 bis 18 des Fahrzeugs. In manchen Ausführungsformen, die im Rahmen der vorliegenden Offenbarung betrachtet sind, mag das Lenksystem 30 kein Lenkrad enthalten, auch wenn es für Zwecke der Darstellung so gezeigt ist, dass ein Lenkrad enthalten ist.
  • Das Fahrerkommunikationssystem 24 zeigt Daten für den Fahrer und für Passagiere des Fahrzeugs 10 an, und empfängt auch Eingaben von dem Fahrer und von Passagieren des Fahrzeugs 10. In einem Beispiel weist das Fahrerkommunikationssystem 24 ein Informations- und Unterhaltungssystem auf, und enthält eine Anzeige (Display) 54 und eine Eingabevorrichtung 56. Die Anzeige 54 ist als flaches Panel-Display in einem Instrumenten-Panel oder einer Konsole des Fahrzeugs 10 implementiert. In diesem Beispiel ist die Anzeige 54 eine elektronische Anzeige, welche in der Lage ist, unter der Steuerung des Controllers 40 eine oder mehrere befindliche Nutzerschnittstellen graphisch anzuzeigen. Der Fachmann auf dem technischen Gebiet erkennt auch andere Techniken, die Anzeige 54 in dem Fahrzeug 10 zu implementieren. Die Anzeige 54 weist jegliche geeignete Technologie zum Anzeigen von Informationen auf, enthaltend, aber nicht beschränkt auf Flüssigkristalldisplays (liquid crystal display, LCD), organische licht-emittierende Dioden (organic light emitting diode, OLED), Plasma, oder eine Kathodenstrahlröhre (cathod ray tube, CRT).
  • Die Eingabevorrichtung 56 erhält Eingaben von dem Fahrer und/oder Passagieren des Fahrzeugs 10. Die Eingabevorrichtung 56 mag implementiert sein als eine Tastatur (nicht eigens gezeigt), ein mit einem Spracherkennungssystem verknüpften Mikrofon (nicht eigens gezeigt), eine mit der Anzeige 54 verknüpfte berührungsempfindliche Lage (touchscreen), Schalter oder Hebel, einer oder mehrere Knöpfe, ein Fahrerüberwachungssystem, oder andere geeignete Vorrichtungen zum Empfangen von Daten und/oder Kommandos von dem Nutzer. Natürlich können auch mehrere Eingabevorrichtungen verwendet werden. Beispielsweise mag zumindest eine Eingabevorrichtung mit dem Lenkrad gekoppelt sein. Die Anzeige 54 und die Eingabevorrichtung 56 sind über eine geeignete Kommunikationsarchitektur oder Anordnung, welche das Übertragen von Daten, Kommandos, Energie, etc. ermöglicht, in kommunikativer Verbindung mit dem Controller 40.
  • Das Sensorsystem 34 enthält eine oder mehrere Sensorvorrichtungen 58a bis 58n, wovon jede beobachtbare Zustände der externen Umgebung und/oder der internen Umgebung des Fahrzeugs 10 erfasst. Die Sensorvorrichtungen 58a bis 58n enthalten, sind aber nicht beschränkt auf Radar, Lidar, optische Kameras, Wärmekameras, Ultraschallsensoren und/oder andere Sensoren. Zusätzlich mag eine oder mehrere der Sensorvorrichtungen 58a bis 58n zumindest einen Sensor für die Geschwindigkeit des Fahrzeugs aufweisen. Die eine oder die mehreren Sensorvorrichtungen 58a bis 58n sind über eine geeignete Kommunikationsarchitektur oder Anordnung, welche das Übertragen von Daten, Kommandos, Energie, etc. ermöglicht, in kommunikativer Verbindung mit dem Controller 40. Der Fahrzeuggeschwindigkeitssensor misst und beobachtet eine Geschwindigkeit des Zugfahrzeugs 10 und in einem Beispiel misst und beobachtet der Fahrzeuggeschwindigkeitssensor eine Geschwindigkeit einer Achse des Zugfahrzeugs 10 und erzeugt basierend darauf Sensorsignale. Es sei darauf hingewiesen, dass die Geschwindigkeit des Zugfahrzeugs 10 alternativ auch aus der Geschwindigkeit des Motors gefolgert werden kann oder mittels Modellbildung, einem Computervisionsverfahren wie visueller Odometrie, etc. bestimmt werden kann, auch wenn der Fahrzeuggeschwindigkeitssensor hierin beschrieben wird als zugeordnet zu dem Messen und Beobachten einer Geschwindigkeit der Achse. Die eine oder mehrere Sensorvorrichtungen 58a bis 58n enthalten auch einen oder mehrere Lenkwinkelsensoren, welche einen Winkel einer Lenksystemkomponente beobachten, so wie einen Winkel der Achsschenkel, dem Winkel des Lenkrads, etc., welcher anzeigt, ob das Fahrzeug 10 gerade lenkt. Grundsätzlich beobachten der eine oder die mehreren Lenkwinkelsensoren eine Bewegung des Lenksystems 40, was von dem Controller 40 verarbeitet wird, um einen Drehwinkel des Fahrzeugs 10 zu bestimmen. Die Sensorvorrichtungen 58a bis 58n mögen auch einen Bereichssensor enthalten, welcher einen aktuellen Bereich des Übertragungssystems 28 beobachtet und Sensorsignale basierend hierauf generiert, welche an den Controller 40 kommuniziert werden.
  • Das Aktuatorsystem 36 enthält eine oder mehrere Aktuatorvorrichtungen 60a bis 60n, welche eine oder mehrere Fahrzeugmerkmale steuern, so wie, aber nicht beschränkt auf, das Antriebssystem 26, das Übertragungssystem 28, das Lenksystem 30 und das Bremssystem 32. In diversen Ausführungsformen mögen die Merkmale des Fahrzeugs weiterhin enthalten interne und/oder externe Fahrzeugmerkmale so wie, aber nicht beschränkt auf, Türen, Gepäckraum und Kabinenmerkmale so wie Luft, Musik, Beleuchtung, etc. (nicht nummeriert).
  • Das Kommunikationssystem 42 ist ausgeführt, Informationen an und von anderen Entitäten 62, so wie, aber nicht beschränkt auf, andere Fahrzeuge (vehicle to vehicle, V2V-Kommunikation), Infrastruktur (vehicle to infrastructure, V2I-Kommunikation), entfernte Systeme, eine oder mehrere der mit dem Anhänger 8 gekoppelten Kameras 44 und/oder persönliche Geräte, so wie eines oder mehrere Smartphones, Tablets, etc., zu kommunizieren. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 42 ein drahtloses Kommunikationssystem, welches ausgeführt ist, über ein drahtloses lokales Netzwerk (WLAN) unter Nutzung des Standards IEEE 802.11 oder unter Nutzung von Mobilfunkdatenkommunikation zu kommunizieren. Jedenfalls sind zusätzliche oder alternative Kommunikationsverfahren im Rahmen der vorliegenden Offenbarung auch berücksichtigt, so wie DSRC (dedicated short-range communications) Kanäle. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiweg-Kurzstrecken- bis Mittelstrecken-Drahtloskommunikationskanäle, welche spezifisch ausgestaltet sind für Nutzung im Automobilsektor und auf einen zugehörigen Satz von Protokollen und Standards.
  • Der Controller 40 enthält zumindest einen Prozessor 64 und eine computerlesbare Speichervorrichtung oder ein Medium 66. Der Prozessor 64 kann jegliche gesonderte Anfertigung oder kommerziell verfügbarer Prozessor sein, ein Zentralprozessor (CPU), eine Grafikprozessoreinheit (GPU), ein Hilfsprozessor unter vielen dem Controller 40 zugeordneten Prozessoren, ein auf Halbleitern basierender Mikroprozessor (in der Form eines Mikrochips oder Chipsatzes), ein Makroprozessor, jegliche Kombination hiervon, oder grundsätzlich jede Vorrichtung zum Ausführen von Anweisungen. Die computerlesbare Speichervorrichtung oder das Medium 66 mag beispielsweise flüchtigen und nicht flüchtigen Speicher in einem Lesezugriffsspeicher (read only memory, ROM), Schreib-Lese-Speicher (random access memory, RAM), und bewahrenden Speicher (keep-alive memory, KAM) enthalten. KAM ist ein persistenter oder nicht flüchtiger Speicher, welcher genutzt werden mag, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 64 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medium 66 mag unter Nutzung jeglicher Anzahl bekannter Speichervorrichtungen implementiert sein, so wie PROMs (programmierbare nur-lese-Speicher, programmable read-only memory), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbare PROM), Flash-Speicher, oder jegliche andere elektrische, magnetische, optische Speichervorrichtungen oder Kombination hiervon, die in der Lage sind, Daten zu speichern, wovon manche ausführbare Anweisungen darstellen, die von dem Controller 40 für die Steuerung des Fahrzeugs 10 genutzt werden.
  • Die Anweisungen mögen eines oder mehrere separate Programme enthalten, wovon jedes eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen aufweist. Die Anweisungen, sobald sie von dem Prozessor 64 ausgeführt werden, empfangen und verarbeiten Signale von dem Sensorsystem 34, führen Logiken, Berechnungen, Verfahren und/oder Algorithmen zum automatischen Steuern der Komponenten des Fahrzeugs 10 aus und generieren Steuersignale für das Aktuatorsystem 36, um die Komponenten des Fahrzeugs 10 basierend auf den Logiken, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Auch wenn in 1 nur ein Controller 40 gezeigt ist, können Ausführungsformen des Fahrzeugs 10 eine jegliche Anzahl von Controllern 40 enthalten, die über ein jegliches geeignetes Kommunikationsmedium oder Kombination von Kommunikationsmedien kommunizieren und die kooperieren, um Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen zu berechnen, und Steuersignale zum automatischen Steuern von Merkmalen des Fahrzeugs 10 zu generieren.
  • In diversen Ausführungsformen sind eine oder mehreren Anweisungen des Controllers 40 in dem Anhängerbildsystem 100 verkörpert und weisen den Prozessor 64 an wenn sie von dem Prozessor 64 ausgeführt werden, Signale von einer oder mehreren Kameras 44 zu empfangen und zu verarbeiten und zum Rendern auf der Anzeige 54 eine Ansicht mit transparentem Anhänger oder eine Vollansicht einer Umgebung hinter dem Zugfahrzeug zu generieren, wenn ein Anhänger an das Zugfahrzeug angehängt ist. In diversen Ausführungsformen verursachen die eine oder mehreren Anweisungen des Controllers 40 den Prozessor 64, wenn sie von dem Prozessor 64 ausgeführt werden, Signale von einer oder mehreren Kameras 44 zu empfangen und zu verarbeiten, und eine Ansicht aus der Vogelperspektive oder 360 Grad Ansicht einer das Zugfahrzeug und/oder den Anhänger umgebenden Umgebung zum Rendern auf der Anzeige 54 zu generieren. In diversen Ausführungsformen verursachen die eine oder mehreren Anweisungen des Controllers 40 den Prozessor 64, wenn sie von dem Prozessor 64 ausgeführt werden, Signale von einer oder mehreren Kameras 44 zu empfangen und zu verarbeiten, und eine oder mehrere mit dem Anhänger verknüpfte Dynamiken zu bestimmen, so wie einen Schwenkwinkel, und/oder Winkel einer Rollbewegung des Anhängers 8, und basierend auf dieser Bestimmung einen oder mehrere Alarme auszugeben. Die eine oder mehreren Anweisungen weisen den Prozessor 64 auch an wenn sie von dem Prozessor 64 ausgeführt werden, Signale von einer oder mehreren Kameras 44 zu empfangen und zu verarbeiten und einen Nickwinkel zu bestimmen. Die eine oder mehreren Anweisungen des Controllers 40 weisen den Prozessor 64 an wenn sie von dem Prozessor 64 ausgeführt werden, Signale von einer oder mehreren Kameras 44 zu empfangen und zu verarbeiten und basierend auf der Bestimmung einen oder mehrere Alarme zum Rendern auf der Anzeige 54 zu generieren. Die eine oder mehreren Anweisungen des Controllers 40 weisen den Prozessor 64 an wenn sie von dem Prozessor 64 ausgeführt werden, Signale von einer oder mehreren Kameras 44 zu empfangen und zu verarbeiten und optional eines oder mehrere Steuersignale an die eine oder mehrere Aktuatorvorrichtungen 60a bis 60n des Aktuatorsystems 36 auszugeben
  • Gemäß diversen Ausführungsformen enthält sowohl das Zugfahrzeug 10 als auch der Anhänger 8 eine oder mehrere Kameras 44. Die Kameras 44 kooperieren, um ein Rundumsicht-Kamerasystem für das Fahrzeug 10 und den Anhänger 8 zu definieren. In einem Beispiel enthält das Zugfahrzeug 10 ungefähr vier bis sechs Kameras 44 und der Anhänger 8 enthält zumindest ein Bildgerät oder eine Kamera 44. In diesem Beispiel enthält das Fahrzeug 10 eine der Kameras 44 gekoppelt mit einer vorderen Blende des Fahrzeugs 10, zwei der Kameras 44 gekoppelt mit jedem mit dem Fahrzeug 10 verknüpften seitlichen Rückspiegel, und eine der Kameras 44 gekoppelt mit dem Heck 46 des Fahrzeugs 10. In diesem Beispiel ist eine der Kameras 44 mit einer Heckklappe des Fahrzeugs 10 gekoppelt; allerdings mag die Kamera 44 mit jeder gewünschten Position entlang des Hecks 46 gekoppelt sein, so dass sie in einer Richtung zu dem Anhänger 8 ausgerichtet ist. Optional ist eine der Kameras 44 mit einer Windschutzscheibe des Fahrzeugs 10 an einer Vorderseite 45 des Fahrzeugs 10 gekoppelt, um in einer Vorwärtsrichtung ausgerichtet zu sein, oder in eine Richtung, die dem Heck 46 des Fahrzeugs entgegengerichtet ist. Eine der Kameras 44 mag auch mit einem Frontgitter des Fahrzeugs 10 an einer Vorderseite 45 des Fahrzeugs 10 gekoppelt sein, so dass sie in eine Vorwärtsrichtung ausgerichtet ist, oder in eine Richtung, die dem Heck 46 des Fahrzeugs entgegengerichtet ist. Jede der Kameras 44 an dem Fahrzeug 10 ist in drahtloser Verbindung mit dem Controller 40, und zwar über das Kommunikationssystem 42, oder über eine drahtgebundene Verbindung zu einer Kommunikationsarchitektur, welche die Übertragung von Daten, Energie, Kommandos, etc., ermöglicht.
  • In einem Beispiel ist jede der mit dem Fahrzeug 10 gekoppelten Kameras 44 starr mit dem Fahrzeug 10 gekoppelt, und zwar an einem Ort, der in dem dem Fahrzeug 10 zugeordneten Koordinatensystem des Fahrzeugs bekannt ist. Anders ausgedrückt sind die Positionen der Kameras 44 mit Bezug zu dem Fahrzeug 10 starr, so dass ihr Ort (Position oder Haltung) bekannt oder vorkalibriert ist, und daher die Ausrichtung oder Orientierung des Sichtfeldes der Kameras dem Controller 40 bekannt ist. Anders ausgedrückt sind der Ort (Position und Haltung) und die Orientierung des Kameras 44 an dem Fahrzeug 10 dem Controller 40 bekannt oder in dem Werk vorkalibriert. Grundsätzlich hat jede der Kameras 44 an dem Fahrzeug 10 ein Sichtfeld, und die Koordinatenposition (X1, Y1, Z1) der Kamera 44 an dem Fahrzeug 10 und das Sichtfeld der jeweiligen Kamera 44 in dem Koordinatensystem des Fahrzeugs sind dem Controller 40 bekannt.
  • Mit Bezug zu dem Anhänger 8, enthält der Anhänger 8, beispielsweise im Falle eines kleinen Anhängers, wie eines vier bis fünf Fuß (feet, ft) Anhängers, grundsätzlich eine einzelne der Kameras 44. Im Falle eines größeren oder längeren Anhängers 8 (d.h. größer als fünf Fuß (feet, ft)), enthält der Anhänger 8 grundsätzlich auf jeder Seite des Anhängers eine daran gekoppelte Kamera 44, in der Nähe einer Vorderseite 68 des Anhängers 8. Der Anhänger 8 mag auch eine der Kameras 44 enthalten, die mit einem Heck 70 des Anhängers 8 gekoppelt ist, wobei das Heck 70 des Anhängers im Wesentlichen der Vorderseite 68 des Anhängers 8 gegenüberliegt. Optional enthält der Anhänger 8 eine der Kameras 44 innerhalb des Anhängers 8 montiert, und zwar im Falle eines geschlossenen Anhängers 8. Jede der dem Anhänger 8 zugeordneten Kameras 44 ist an dem Anhänger 8 unter Verwendung jeglicher geeigneter Techniken gekoppelt. In einem Beispiel sind die Kameras 44 an dem Anhänger 8 mittels eines oder mehrerer mechanischer Befestiger, Magnete, entfernbarer Kleber, Klettverschlüsse, Spanngurten, und so weiter, gekoppelt. Die dem Anhänger 8 zugeordneten Kameras 44 sind grundsätzlich abnehmbar, so dass die Kameras 44 in mehreren Anhängern genutzt werden können. Es wird darauf hingewiesen, dass die Kameras 44 jedenfalls auch starr mit dem Anhänger 44 gekoppelt sein können, wenn gewünscht. Jede der Kameras 44 an dem Anhänger 8 ist in drahtloser Verbindung mit dem Controller 40, oder über eine drahtgebundene Verbindung zu einer Kommunikationsarchitektur, welche die Übertragung von Daten, Energie, Kommandos, etc., ermöglicht, so wie NTSC, LVDS, oder Ethernet-Leitungen.
  • Jede der Kameras 44 weist jegliche Kamera auf, welche in der Lage ist, Bilddaten oder einen Bilddatenstrom zu erfassen, wie dem Fachmann auf dem technischen Gebiet bekannt ist. In bestimmten Ausführungsformen mag eine oder mehrere der Kameras 44 eine Farbkamera aufweisen, die in der Lage ist, Farbbilder zu erfassen. In anderen Ausführungsformen mag eine oder mehrere der Kameras 44 eine Infrarotkamera aufweisen, die in der Lage ist, Infrarotbilder zu erfassen. In bestimmten Ausführungsformen mag eine oder mehrere der Kameras 44 eine Graustufenbildkamera aufweisen, um Graustufenbilder zu erfassen. In bestimmten Ausführungsformen mag eine oder mehrere der Kameras 44 eine Stereokameraanordnung aufweisen, die in der Lage ist, Stereobilder mit Tiefeninformationen zu erfassen. Beispielsweise mag eine oder mehrere der Kameras 44 eine Stereokamera mit zwei oder mehr Linsen und Bildsensoren aufweisen, die angeordnet sind, stereoskopische Bilder um das Fahrzeug 10 und/oder den Anhänger 8 mit Tiefeninformationen zu erfassen. Eine oder mehrere der Kameras 44 mag eine Übersichtskamera zum Erfassen von Bildern über eine sich erstreckende Distanz sein und mag an der Vorderseite 45 und/oder dem Heck 46 des Fahrzeugs 10 und/oder des Anhängers 8 gekoppelt sein. Bilder mögen mittels der Kameras 44 gemäß verschiedenen Zeiteinstellungen oder anderen Betrachtungen erfasst werden. Beispielsweise mögen die jeweiligen Kameras 44 in bestimmten Ausführungsformen Bilder kontinuierlich erfassen, soweit das Fahrzeug 10 sich bewegt (basierend auf den Sensorsignalen von dem einen oder mehreren Sensorvorrichtungen 58a bis 58n) oder basierend auf einer Getriebestufe der Übertragung. In bestimmten Ausführungsformen mag der Controller 40 die jeweiligen Kameras 44 dazu anleiten, Bilder der Bereiche neben dem Heck 46 des Fahrzeugs 10 bzw. dem Heck 70 des Anhängers 8 in regelmäßigen Zeitintervallen zu erfassen, sobald das Fahrzeug 10 sich bewegt. Beispielsweise mag der Controller 40, wenn das Fahrzeug 10 angehalten ist oder sich sehr langsam bewegt, die von den Kameras 44 erfassten Bilder verarbeiten und ermitteln, ob die das Fahrzeug 10 umgebende Umgebung keine sich bewegenden Objekte hat. Wenn hier keine sich bewegenden Objekte detektiert wurden und das Fahrzeug 10 angehalten ist oder sich langsam bewegt, mag der Controller die Bildrate oder Abtastrate der Kameras 44 absenken. In anderen Beispielen, wenn das Fahrzeug 10 sich in einem hohen Bereich der Geschwindigkeit bewegt oder ein sich bewegendes Objekt durch den Controller 40 in den Bildern von einer oder mehreren der Kameras 44 detektiert wurde, mag der Controller 44 die Bildrate oder Abtastrate erhöhen, um Veränderungen in einem höheren Bereich der Geschwindigkeit des Fahrzeugs 10 zu bestimmen.
  • Wie weiter unten diskutiert werden wird, empfängt und verarbeitet der Prozessor 64 Bilddaten oder einen Bildstrom von der einen oder mehreren Kameras 44 und setzt die Bilddaten von der einen oder mehreren Kameras 44 zusammen, um eine Ansicht des rückwärtigen Bereichs 46 des Fahrzeugs 10 mit einem "transparenten Anhänger" zu erzeugen, um diesen auf der mit dem Fahrerkommunikationssystem 24 verknüpften Anzeige 54 anzuzeigen, welche Anzeige durch den Anhänger 8 nicht verdeckt ist oder in welcher der Anhänger 8 transparent ist. Wie hierin verwendet bezeichnet der Ausdruck „nicht verdeckt durch den Anhänger" eine Ansicht von dem Heck 46 des Zugfahrzeugs 10 frei von dem Anhänger 8 oder ohne den Anhänger 8 innerhalb der Ansicht. Wie hierin verwendet bezeichnet „Ansicht“ ein Bild oder einen Bilddatenstrom, welcher von dem Controller 40 erzeugt wird und auf der Anzeige 54 des Fahrerkommunikationssystems 24 angezeigt wird. Es sei darauf hingewiesen, dass der Anhänger 8 auch verschiedene Stufen der Transparenz in der Ansicht haben kann, wenn dies gewünscht ist, auch wenn hierin beschrieben und dargestellt ist, dass dieser aus der Ansicht entfernt wird. In bestimmten Beispielen sind eines oder mehrere der Bilder von der einen oder mehreren Kameras 44 in einer Verbindungszone verbunden, um zu einer Grenze überzugehen, welche eine Grenze zwischen zwei Bildern ist, wobei die Verbindungszone definiert sein mag über die Geschwindigkeit des Fahrzeugs 10, wie sie von der einen oder mehreren Sensorvorrichtungen 58a bis 58n beobachtet ist.
  • Zusätzlich empfängt und verarbeitet der Controller 40 die Bilddaten, um eine Ansicht des Fahrzeugs 10 aus der Vogelperspektive zu erzeugen, welche eine Rundumsicht des Fahrzeugs 10 und/oder des Anhängers 8 enthält, um diese auf der mit dem Fahrerkommunikationssystem 24 verbundenen Anzeige 54 anzuzeigen. Der Controller 40 empfängt und verarbeitet auch die Bilddaten von dem Bildstrom, um eines oder mehrere Objekte in den Bilddaten zu detektieren, und erzeugt einen oder mehrere Alarme oder Warnungen zum Rendern auf der mit dem Fahrerkommunikationssystem 24 verbundenen Anzeige 54. Der Controller 40 empfängt und verarbeitet auch die Bilddaten, um eine Ansicht zum Rendern auf der Anzeige 54 zu erzeugen, welche beim Koppeln des Anhängers 8 an das Fahrzeug 10 unterstützt.
  • Wie noch diskutiert werden wird, empfängt und verarbeitet der Prozessor 64 die Bilddaten, um einen oder mehrere Zustände des Anhängers 8 zu bestimmen. In diversen Ausführungsformen empfängt und verarbeitet der Controller 40 beispielsweise die Bilddaten von den Bildströmen, um die folgenden mit dem Anhänger 8 verknüpften Zustände zu bestimmen: ob der Anhänger 8 innerhalb einer Spur ist (Spur halten für den Anhänger 8); ob der Anhänger 8 Unterstützung benötigt bei dem Umfahren eines Ecks; ob der Anhänger 8 schaukelt; ob der Anhänger 8 rollt; ob der Anhänger 8 ausbalanciert ist; ob der Anhänger oberhalb einer Zugkapazität des Fahrzeugs 10 ist; und/oder ob ein Beugewinkel oder Schwenkwinkel des Anhängers 8 mit Bezug zu dem Fahrzeug 10 oberhalb eines vorgegebenen Schwellwertes ist. In einem Beispiel mag der Passagier auch basierend auf einer oder mehreren von dem Controller 40 erzeugten Nutzerschnittstellen sehen, ob der Anhänger 8 innerhalb der Spur ist. Damit bestimmt der Controller 40 eine Fahrspur für den Anhänger 8; einen Schwenkradius des Anhängers 8 mit Bezug zu einer Kurve; eine Bewegung des Anhängers 8 in einer seitlichen Richtung (lateral) mit Bezug zu dem Fahrzeug 10; eine Bewegung des Anhängers 8 mit Bezug zu einer vertikalen Achse; einen Nickwinkel des Anhängers 8; und/oder einen Schwenkwinkel des Anhängers 8. In einem Beispiel bestimmt der Controller 40 den Drehradius unter Verwendung eines Fahrzeugmodells, so wie ein Zweirad-Modell, basierend auf einem Lenkwinkel (empfangen von dem Lenksystem 30), und einer Antriebsart des Fahrzeugs und des Anhängers (Vorderradantrieb, Allradantrieb, Vierradantrieb, Radstand, Antriebsachse des Anhängers zu dem Anhänger-Schwenkpunkt, etc.). In einem Beispiel bestimmt der Controller 40 die Bewegungslinie unter Verwendung des Fahrzeugmodells und basierend auf einem Drehradius des Fahrzeugs 10, einer Geschwindigkeit des Fahrzeugs 10 und einer Beschleunigung des Fahrzeugs 10. Jede dieser Bestimmungen durch den Controller 40 wird ausgegeben zum Rendern auf der mit dem Fahrerkommunikationssystem 24 verknüpften Anzeige 54, um den Fahrer des Fahrzeugs 10 über einen Zustand des Anhängers 8 zu informieren. In einem Beispiel werden einer oder mehrere der bestimmten Zustände grafisch illustriert und über eine von dem Controller 40 erzeugte Ansicht gelegt, so wie die Ansicht aus der Vogelperspektive und/oder die Ansicht mit transparentem Anhänger.
  • Ein Datenflussdiagramm illustriert verschiedene Ausführungsformen des Anhängerbildsystems 100, welches in dem Controller 40 eingebaut sein mag, wie beispielsweise mit mehr Details mit Bezug zu 3 und mit weitergehenden Bezug zu den 1 und 2 gezeigt. Verschiedene Ausführungen des Anhängerbildsystems 100 gemäß der vorliegenden Offenbarung können jegliche Anzahl von in dem Controller 40 eingebauten oder integrierten Untermodulen enthalten. Wie zu erkennen ist, können die in 3 gezeigten Untermodule kombiniert und/oder weiter unterteilt werden, um auf ähnliche Weise die Ansicht aus der Vogelperspektive oder die Ansicht mit transparentem Anhänger zu erzeugen, und den einen oder mehrere mit dem Anhänger 8 verknüpften Zustände zu bestimmen. Eingaben an das Anhängerbildsystem 100 mögen von dem Sensorsystem 34 (1), von dem Fahrerkommunikationssystem 24, von anderen Steuermodulen (nicht gezeigt), welche mit dem Fahrzeug 10 verknüpft sind, von einer oder mehreren Kameras 44 (1 und 2) empfangen werden, und/oder von anderen Untermodulen (nicht gezeigt) innerhalb des Controllers 40 bestimmt oder modelliert werden. In diversen Ausführungsformen enthält das Anhängerbildsystem 100 einen Kalibrierungsdatenspeicher 300, einen Tabellendatenspeicher 302, ein Kalibrierungsverwaltungsmodul 304, einen Schwellwertdatenspeicher 306, ein Zustandsbestimmungsmodul 308, einen Koeffizientendatenspeicher 310, ein Ansichtsrenderingmodul 312 und ein Steuermodul 314 für die Nutzerschnittstelle (user interface, UI).
  • Der Kalibrierungsdatenspeicher 300 speichert Fahrzeugkamerapositionen 316 von bekannten Positionen und Darstellungen für jede der mit dem Fahrzeug 10 gekoppelten Kameras 44 in einem Fahrzeugkoordinatensystem, enthaltend bekannte Sichtfelder der mit dem Fahrzeug 10 gekoppelten Kameras. Damit enthalten die Fahrzeugkamerapositionen 316 bekannte Informationen über Koordinatenpositionen in dem Fahrzeugkoordinatensystem für die mit dem Fahrzeug 10 gekoppelten Kameras 44, so wie die Koordinatenposition für die Kamera(s) 44, die an der Vorderseite 45 des Fahrzeugs zu 10 gekoppelt sind, die Koordinatenposition für die Kamera 44, welche an dem Heck 46 des Fahrzeugs 10 gekoppelt ist, die Koordinatenposition für jede der an den Seitenspiegeln (seitliche Rückspiegel) gekoppelten Kameras 44, etc. In einem Beispiel mag die Koordinatenposition definiert sein als ein (X1, Y1, Z1) – Wert in dem X1, Y1 Z1 Fahrzeugkoordinatensystem. Beispielsweise mag die Koordinatenposition an dem Fahrzeug grundsätzlich für jede der Kameras 44 vom Werk vordefiniert oder vorkalibriert sein.
  • Der Kalibrierungsdatenspeicher 300 speichert auch Kalibrierungsbilddaten 318 und Kalibrierungsdaten 320, welche jeweils durch das Kalibrierungsverwaltungsmodul 304 bestückt werden. Die Kalibrierungsbilddaten 318 weisen ein ursprünglich von einer oder mehreren Kameras 44 erfasstes Bild, welches darauf basiert, dass der Anhänger 8 noch nicht an das Fahrzeug 10 gekoppelt wurde. Damit sind die Kalibrierungsbilddaten 318 ein Referenzbild, welches erfasst wurde, bevor der Anhänger 8 an das Fahrzeug 10 gekoppelt wurde. Die Kalibrierungsdaten 320 enthalten eine Position oder Koordinatenposition in dem Fahrzeugkoordinatensystem für jede der mit dem Anhänger 8 gekoppelten Kameras 44 und eine Position oder Koordinatenposition in dem Fahrzeugkoordinatensystem für ein mit jeder der Kameras 44 verknüpftes Sichtfeld, wie von dem Kalibrierungsverwaltungsmodul 304 bestimmt.
  • Der Tabellendatenspeicher 302 speichert eine Korrelationstabelle, welche eine Veränderung der horizontalen Position (Horizontalpositionsveränderung) von einem oder mehreren Pixeln in einem Bild mit einem Nickwinkel des Fahrzeugs 10 korreliert. Damit speichert der Tabellendatenspeicher 302 eine oder mehrere Zuordnungstabellen, welche einen Nickwinkel 322 bereitstellen, der mit einer horizontalen Veränderung der Position von einem oder mehreren Pixeln in einem Bild korrespondiert, wie von dem Kalibrierungsverwaltungsmodul 304 bestimmt wurde. Der Nickwinkel 322 ist ein Winkelwert für den Betrag, den das Fahrzeug 10 beispielsweise als Ergebnis des Gewichts des Anhängers 8 auf die Anhängerkugel 22 um die Y1-Achse rotiert ist. Die in dem Tabellendatenspeicher 302 gespeicherten Nickwinkel 322 sind jeder vordefiniert und von Werk her gesetzt.
  • Das Kalibrierungsverwaltungsmodul 304 kalibriert die Kameras 44 an dem Anhänger 8 zu dem Fahrzeug 10. In dieser Hinsicht sind die mit dem Fahrzeug 10 verknüpften Kameras 44 mit Bezug zu dem Fahrzeugkoordinatensystem des Fahrzeugs 10 vorkalibriert, so dass die Position und die Darstellung der jeweiligen Kamera 44 und des Sichtfeldes dieser Kamera 44 dem Kalibrierungsverwaltungsmodul 304 bekannt sind. Jedenfalls sind die Position und das Sichtfeld der mit dem Anhänger 8 verknüpften Kameras 44 dem Kalibrierungsverwaltungsmodul 304 grundsätzlich nicht bekannt. In diversen Ausführungsformen empfängt das Kalibrierungsverwaltungsmodul 304 Kopplungsdaten 324 als Eingabe. Die Kopplungsdaten 324 mögen von anderen mit dem Fahrzeug 10 verknüpften Module empfangen werden. Grundsätzlich zeigen die Kopplungsdaten 324 an, ob der Anhänger 8 mit dem Fahrzeug 10 gekoppelt ist. In diversen Ausführungsformen sind die Kopplungsdaten 324 ein Signal, welches von der Kupplung oder Verbindung eines Kabelbaumes des Anhängers 8 zu einem Kabelbaum des Fahrzeugs 10 erzeugt wird.
  • Basierend auf den Kopplungsdaten 324, welche anzeigen, dass der Anhänger 8 mit dem Fahrzeug 10 gekoppelt ist, bestimmt das Kalibrierungsverwaltungsmodul 304 eine Anzahl der mit dem Anhänger 8 gekoppelten Kameras 44. In einem Beispiel bestimmt das Kalibrierungsverwaltungsmodul 304 die Anzahl der mit dem Anhänger 8 gekoppelten Kameras 44 basierend auf einer über den Kabelbaum erhaltenen Eingabe, wobei in dem Beispiel die Kameras 44 mit dem Kabelbaum des Anhängers 8 verdrahtet sind. In einem Beispiel bestimmt das Kalibrierungsverwaltungsmodul 304 die Anzahl der mit dem Anhänger 8 gekoppelten Kameras 44 basierend auf einer Anzahl von drahtlosen Kanälen, welche Bilddatenströme haben, die von dem Controller 40 über das Kommunikationssystem 42 empfangen werden.
  • Nachdem die Anzahl der mit dem Anhänger 8 gekoppelten Kameras 44 bestimmt wurde, erhält das Kalibrierungsverwaltungsmodul 304 Bereichsdaten 326 als Eingabe. Die Bereichsdaten 326 zeigen einen gegenwärtigen Bereich des Übertragungssystems 28 an, so wie einen Parkbereich, einen neutralen Bereich, einen Fahrbereich, einen niedrigen Bereich, etc. an. Die Bereichsdaten 326 mögen von anderen mit dem Fahrzeug 10 verknüpften Modulen empfangen werden, so wie von einem mit dem Übertragungssystem 28 verknüpften Übertragungssteuerungsmodul. Das Kalibrierungsverwaltungsmodul 304 verarbeitet die Bereichsdaten 326, um zu bestimmen, ob das Fahrzeug 10 in dem Fahrbereich ist. Wenn ja, empfängt das Kalibrierungsverwaltungsmodul 304 Pfaddaten 328 des Fahrzeugs (Fahrzeugpfaddaten) als Eingabe. Die Pfaddaten 328 des Fahrzeugs zeigen an, ob das Fahrzeug 10 entlang eines im Wesentlichen geraden Pfads bewegt wird. In einem Beispiel sind die Pfaddaten 328 des Fahrzeugs eines oder mehrere Sensorsignale, welche von dem Sensorsystem 34 empfangen wurden, wobei das Sensorsystem einen Betrag einer Bewegung der Komponente des Lenksystems 30 anzeigt. Beispielsweise mögen die Pfaddaten 328 des Fahrzeugs einen beobachteten Wert einer Bewegung eines Achsschenkels, eines Lenkradwinkels, etc. enthalten.
  • Das Kalibrierungsverwaltungsmodul 304 verarbeitet die Pfaddaten 328 des Fahrzeugs und bestimmt, ob sich das Fahrzeug 10 entlang eines im Wesentlichen geraden Pfades bewegt. In dem Beispiel, in welchem die beobachtete Bewegung des Lenkrades des Lenksystems 30 als Pfaddaten 328 des Fahrzeugs empfangen wurde, verarbeitet das Kalibrierungsverwaltungsmodul 304 den Lenkradwinkel und bestimmt, ob das Lenkrad einen Winkel aufweist, welcher im Wesentlichen 0° ist, was anzeigt, dass das Fahrzeug 10 sich entlang eines im Wesentlichen geraden Pfades bewegt.
  • Basierend auf der Bestimmung, dass das Fahrzeug 10 sich entlang eines im Wesentlichen geraden Pfades bewegt, empfängt das Kalibrierungsverwaltungsmodul 304 Bilddaten 330 von Anhängerkameras (Anhängerkamerabilddaten) und Bilddaten 332 von Fahrzeugkameras (Fahrzeugkamerabilddaten) als Eingabe. Die Bilddaten 330 der Anhängerkameras sind die von jeder der mit dem Anhänger 8 gekoppelten Kameras 44 empfangenen Bildströme, und die Bilddaten 332 der Fahrzeugkameras sind die von jeder der mit dem Fahrzeug 10 gekoppelten Kameras 44 empfangenen Bildströme. Das Kalibrierungsverwaltungsmodul 304 tastet die Bildströme in den Bilddaten 330 der Anhängerkameras und die Bildströme in den Bilddaten 332 der Fahrzeugkameras ab und erlangt Bilder von jedem der Bildströme. Das Kalibrierungsverwaltungsmodul 304 vergleicht die aus den Bilddaten 332 der Fahrzeugkameras erlangten Bilder mit den aus den Bilddaten 330 der Anhängerkameras erlangten Bilder, um Überlappbereiche zwischen den Bilddaten 332 der Fahrzeugkameras und den Bilddaten 330 der Anhängerkameras zu bestimmen. In einem Beispiel vergleicht das Kalibrierungsverwaltungsmodul 304 die aus den Bilddaten 332 der Fahrzeugkameras für beide Seiten des Fahrzeugs 10 und des Anhängers 8 erlangten Bilder mit den aus den Bilddaten 330 der Anhängerkameras für beide Seiten des Fahrzeugs 10 und des Anhängers 8 erlangten Bilder auf eine im Wesentlichen simultane Weise oder parallel, um Überlappbereiche zwischen sowohl das Fahrzeug 10 und den Anhänger 8 umgebenden Bilddaten 332 der Fahrzeugkameras und Bilddaten 330 der Anhängerkameras zu bestimmen.
  • Das Kalibrierungsverwaltungsmodul 304 verarbeitet die als überlappend identifizierten Bilder basierend auf Merkmalspunkt- oder Mustererkennung, um Merkmale wie Eckpunkte, Objekttexturen oder Muster, Farben, etc. in jedem der erfassten Bilder zu bestimmen. Das Kalibrierungsverwaltungsmodul 304 bestimmt mittels Vergleich und Verfolgung, welche Merkmale zwischen den Bilddaten 330 der Anhängerkameras und den Bilddaten 332 der Fahrzeugkamera gemeinsame Merkmale sind. Für jedes gemeinsame Merkmal schätzt das Kalibrierungsverwaltungsmodul 304 eine Projektivitätsmatrix (Homographie-Matrix) zwischen der jeweiligen mit den Bilddaten 332 der Fahrzeugkameras verknüpften Kamera 44 an dem Fahrzeug 10 und der zugehörigen mit den Bilddaten 330 der Anhängerkameras verknüpften Kamera 44 an dem Anhänger 8.
  • Basierend auf der geschätzten Projektivitätsmatrix bestimmt das Kalibrierungsverwaltungsmodul 304 einen Abstand von der jeweiligen Kamera 44 an dem Fahrzeug 10 zu dem jeweiligen gemeinsamen Merkmal und einen Abstand von der jeweiligen Kamera 44 an dem Anhänger 8 zu dem jeweiligen gemeinsamen Merkmal. Das Kalibrierungsverwaltungsmodul 304 wiederholt diesen Vorgang für jede Kamera 44 an dem Anhänger 8, bis die Anzahl der bestimmten Abstände größer ist als ein Schwellwert. In einem Beispiel ist der Schwellwert drei Abstände für jede Kamera 44 an dem Anhänger 8. Mit drei Abständen, welche für jede Kamera 44 an dem Anhänger 8 bestimmt worden sind, nutzt das Kalibrierungsverwaltungsmodul 304 für jede Kamera 44 an dem Anhänger 8 Triangulation, um eine dreidimensionale Koordinatenposition und Ausrichtung der jeweiligen Kamera 44 an dem Anhänger 8 in dem Fahrzeugkoordinatensystem zu schätzen. Grundsätzlich nutzt das Kalibrierungsverwaltungsmodul 304 Triangulation, um sechs extrinsische Parameter für jede Kamera 44 zu bestimmen, so wie Position (x, y, z) und Darstellung (Nickbewegung, Rollbewegung, Gierbewegung). Zumindest drei übereinstimmende Merkmalspunktepaare von der Triangulation erzeugen sechs Gleichungen zwischen den Paaren der Bildpixel (u, v) der übereinstimmenden Merkmalspunkte der bekannten Kamera 44 an dem Fahrzeug 10 und der Kamera 44 an dem Anhänger 8. Das Kalibrierungsverwaltungsmodul 304 löst diese sechs Gleichungen, um die unbekannten extrinsischen Parameter der Position (x, y, z) und der Darstellung (Nickbewegung, Rollbewegung, Gierbewegung) der Kamera 44 an dem Anhänger 8 zu bestimmen. In einem Beispiel, wenn mehr als drei übereinstimmende Merkmalspunktepaare vorliegen, mag das Kalibrierungsverwaltungsmodul 304 eine statistische Methode (zum Beispiel RANSAC) anwenden, um eine belastbarere Schätzung bereitzustellen. Das Kalibrierungsverwaltungsmodul 304 speichert die bestimmten Koordinatenpositionen für jede der Kameras 44 an dem Anhänger 8 als die Kalibrierungsdaten 320 in dem Kalibrierungsdatenspeicher 300. Das Kalibrierungsverwaltungsmodul 304 setzt auch die Kalibrierungsdaten 320 für das Ansichtsrenderingmodul 312.
  • Beispielsweise und mit Bezug zu 4 ist ein beispielhaftes von einer der Kameras 44 an dem Fahrzeug 10 erfasstes Bild 400 und ein beispielhaftes von einer der Kameras 44 an dem Anhänger 8 erfasstes Bild 402 gezeigt. In diesem Beispiel ist die Kamera 44 an dem Fahrzeug 10 an dem Heck 46 des Fahrzeugs 10 montiert und die Kamera 44 an dem Anhänger 8 ist an dem Heck 70 des Anhängers 8 montiert. Das Kalibrierungsverwaltungsmodul 304 hat ermittelt, dass Bereiche in diesen zwei Bildern 400, 402 überlappen und hat diese Bilder 400, 402 verarbeitet, um gemeinsame Merkmale 404i bis 404v zwischen diesen zwei Bildern 400, 402 zu identifizieren. Wie bereits dargestellt, schätzt das Kalibrierungsverwaltungsmodul 304 für jedes dieser gemeinsamen Merkmale 404i bis 404v die Projektivitätsmatrix, um den Abstand zwischen jeder der Kameras 44 zu dem gemeinsamen Merkmal 404i bis 404v zu bestimmen. Da die Koordinatenposition der Kamera 44 an dem Fahrzeug 10 bekannt ist, nutzt das Kalibrierungsverwaltungsmodul 304 Triangulation, um basierend auf den bestimmten Abständen von der Projektivitätsmatrix die Koordinatenposition der Kamera 44 an dem Anhänger 8 in dem Fahrzeugkoordinatensystem zu bestimmen.
  • In einem Beispiel und mit Bezug zu 3 sowie basierend darauf, dass die Kopplungsdaten 324 anzeigen, dass der Anhänger 8 nicht mit dem Fahrzeug 10 gekoppelt ist, empfängt das Kalibrierungsverwaltungsmodul 304 die Bilddaten 332 der Fahrzeugkamera als Eingabe. in diesem Beispiel tastet das Kalibrierungsverwaltungsmodul 304 die Bildströme von zumindest einer der Kameras 44 an der Vorderseite 45 des Fahrzeugs 10 ab, um ein Bild zu erlangen. Das Kalibrierungsverwaltungsmodul 304 speichert dieses erlangte Bild als die Kalibrierungsbilddaten 318 in dem Kalibrierungsdatenspeicher 300. In diversen Ausführungsformen mag das Kalibrierungsverwaltungsmodul 304 das Bild für die Kalibrierungsbilddaten 318 basierend auf von der Eingabevorrichtung 56 empfangenen Eingaben erlangen. In diversen Ausführungsformen mag das Kalibrierungsverwaltungsmodul 304 Bilddaten von zumindest einer der Kameras 44 an der Vorderseite 45 des Fahrzeugs 10 abtasten, um Kalibrierungsbilddaten 318 basierend auf den Bereichsdaten 326, welche anzeigen, dass das Fahrzeug 10 in einem rückwärtigen Bereich ist, zu erlangen. In diversen Ausführungsformen mag das Kalibrierungsverwaltungsmodul 304 den Bilddatenstrom von der Kamera 44 an dem Heck 46 des Fahrzeugs 10 abtasten, um zu bestimmen, ob das Fahrzeug 10 sich dem Anhänger 8 nähert, und mag dann den Bildstrom von der zumindest einen der Kameras 44 an der Vorderseite 45 des Fahrzeugs 10 abtasten, um basierend auf dieser Bestimmung die Kalibrierungsbilddaten 318 zu erlangen.
  • Mit Bezug zu 3, in einem Beispiel, in welchem das Kalibrierungsverwaltungsmodul 304 die Kalibrierungsdaten 320 erzeugt hat und ein darauffolgendes Signal von den Kopplungsdaten 324 empfängt, welches anzeigt, dass der Anhänger 8 an das Fahrzeug 10 gekoppelt oder wieder gekoppelt ist, fragt das Kalibrierungsverwaltungsmodul 304 den Kalibrierungsdatenspeicher 300 ab und ruft die Kalibrierungsbilddaten 318 ab. Das Kalibrierungsverwaltungsmodul 304 empfängt auch die Bilddaten 332 der Fahrzeugkameras als Eingabe und tastet die Bildströme der Bilddaten 332 der Fahrzeugkameras ab, um ein Bild zu erlangen. Es wird darauf hingewiesen, dass das Kalibrierungsverwaltungsmodul 304 auch die Bildströme der Bilddaten 332 der Fahrzeugkameras abtasten mag, um basierend auf von der Eingabevorrichtung 56 empfangenen Eingaben ein Bild für die Kalibrierung zu erlangen. Es wird darauf hingewiesen, dass das Kalibrierungsverwaltungsmodul 304 auch die Bildströme der Bilddaten 332 der Fahrzeugkameras abtasten mag, um basierend auf von dem Sensorsystem 34 des Fahrzeugs 10 empfangenen Signalen ein Bild für die Kalibrierung zu erlangen, so wie ein Türöffnungssensor, welcher anzeigt, dass ein Passagier das Fahrzeug 10 verlassen hat, um den Anhänger 8 an das Fahrzeug 10 zu koppeln.
  • Grundsätzlich tastet das Kalibrierungsverwaltungsmodul 304 zumindest eine der Kameras 44 an der Vorderseite 45 des Fahrzeugs 10 ab. Das Kalibrierungsverwaltungsmodul 304 vergleicht die Bilddaten aus den Kalibrierungsbilddaten 318 mit dem aus den Bilddaten 332 der Fahrzeugkameras erlangten Bild, um zu bestimmen, ob eines oder mehrere Pixel zwischen den zwei Bildern mit Bezug zu dem Horizont verschoben ist. Anders ausgedrückt verarbeitet das Kalibrierungsverwaltungsmodul 304 die Kalibrierungsbilddaten 318 und die Bilddaten, um eine Position von einem oder mehreren Pixeln mit Bezug zu einem Horizont zu bestimmen. Es sei darauf hingewiesen, dass das Kalibrierungsverwaltungsmodul 304 auch die Kalibrierungsbilddaten 318 und die aus den Bilddaten 332 der Fahrzeugkameras erlangten Bilddaten verarbeiten mag, um einen Versatz (Verschiebung) zwischen Bildmustern oder einen Versatz (Verschiebung zwischen einem oder mehreren Merkmalspunkten zu bestimmen.
  • Basierend auf der Position bestimmt das Kalibrierungsverwaltungsmodul 304, ob das eine oder die mehreren Pixel zwischen den Kalibrierungsbilddaten 318 und den Bilddaten mit Bezug zu dem Horizont verschoben sind. Basierend auf einer ermittelten Horizontpositionsveränderung fragt das Kalibrierungsverwaltungsmodul 304 den Tabellendatenspeicher 302 ab und ruft den mit der Horizontpositionsveränderung verknüpften Nickwinkel 322 ab.
  • Das Kalibrierungsverwaltungsmodul 304 vergleicht den abgerufenen Nickwinkel 322 mit einem Schwellwert des Nickwinkels. Der Schwellwert des Nickwinkels ist ein vorgegebener oder von Werk gesetzter maximaler Nickwinkel für das den Anhänger 8 ziehende Fahrzeug 10. In einem Beispiel ist der Schwellwert des Nickwinkels basierend auf einem maximalen Anheben einer vorderen Radausnehmung des Fahrzeugs 10, nachdem der Anhänger 8 an das Fahrzeug 10 gekoppelt ist, bestimmt, mit dem maximalen Anheben der vorderen Radausnehmung von ungefähr 1,0 Zoll. Basierend auf diesem Vergleich bestimmt das Kalibrierungsverwaltungsmodul 304, ob der abgerufene Nickwinkel 322 den Schwellwert des Nickwinkels überschreitet. Wenn ja, setzt das Kalibrierungsverwaltungsmodul 304 einen Neigungsalarm 334 an dem Steuermodul 314 der Nutzerschnittstelle (Nutzungsschnittstellensteuermodul). Der Neigungsalarm 334 zeigt an, dass der Nickwinkel des Fahrzeugs 10 den maximalen Nickwinkel überschreitet. Grundsätzlich überschreitet der Nickwinkel des Fahrzeugs 10 den maximalen Nickwinkel auf Grund von Überladung des Anhängers 8, wenn der Anhänger 8 nicht balanciert ist und/oder wenn der Anhänger 8 eine Zugkapazität für das Fahrzeug 10 überschreitet. Damit bestimmt das Kalibrierungsverwaltungsmodul 304 basierend auf dem Vergleich des Nickwinkels 322 mit dem Schwellwert des Nickwinkels, ob der Anhänger 8 überladen ist, nicht balanciert ist oder die Zugkapazität überschreitet.
  • Wenn der Nickwinkel 322 den Schwellwert des Nickwinkels nicht überschreitet, aktualisiert das Kalibrierungsverwaltungsmodul 304 die in dem Kalibrierungsdatenspeicher 300 gespeicherten Kalibrierungsdaten 320 basierend auf dem Nickwinkel 322. In einem Beispiel aktualisiert das Kalibrierungsverwaltungsmodul 304 die bekannte Position der mit dem Fahrzeug 10 gekoppelten Kameras 44 basierend auf dem Nickwinkel 322. In dieser Hinsicht, da das Fahrzeug 10 auf Grund des Gewichts des Anhängers 8 nickt und da jede der Kameras 44 starr mit dem Fahrzeug 10 gekoppelt ist, hat sich jede der Kameras 44 um den Schwenkwinkel 338 um die Y-Achse bewegt.
  • In diversen Ausführungsformen mag das Kalibrierungsverwaltungsmodul 304 den Nickwinkel des Fahrzeugs 10 basierend auf den Lehren der U.S. Pub. (Veröffentlichungsschrift) No. 2015/0332098 oder U.S. Pub. (Veröffentlichungsschrift) No. 2015/0332446 (U.S. Anmeldung No. 14/710,322 ; Zeichen des Vertreters No. P028978-RD-SDJ) bestimmen, wobei der jeweilige relevante Inhalt jeder dieser Anmeldungen hierin durch Bezugnahme inkorporiert ist. Jede dieser Anmeldungen stellt Techniken zum Schätzen von Fahrzeugdynamiken bereit (inklusive Rollbewegungen und Schwerpunkt), basierend auf Rundumsicht-Kamerabildanalyse, welche angepasst sein mag, eine Nickbewegung, eine Rollbewegung und einen Schwerpunkt des Anhängers 8 zu bestimmen.
  • In anderen Ausführungsformen mag das Kalibrierungsverwaltungsmodul 304 den Nickwinkel 322 des Fahrzeugs 10 bestimmen mittels Verarbeitung der Kalibrierungsbilddaten 318 und der aus den Bilddaten 332 der Fahrzeugkameras erlangten Bilder basierend auf Merkmalspunkt- oder Mustererkennung, um Merkmale wie Eckpunkte, Objekttexturen oder Muster, Farben, etc. in jedem der erfassten Bilder zu bestimmen. Das Kalibrierungsverwaltungsmodul 304 gleicht die gemeinsamen Merkmale ab und schätzt eine Projektivitätsmatrix zwischen den gemeinsamen Merkmalen, um den Nickwinkel 322 zu bestimmen. Grundsätzlich verarbeitet das Kalibrierungsverwaltungsmodul 304 die von der zumindest einen mit dem Vorderteil 45 des Fahrzeugs 10 gekoppelten Kamera 44 erfassten Bilder, um den Nickwinkel 322 zu bestimmen. In diversen Ausführungsformen mag das Kalibrierungsverwaltungsmodul 304 auch von mehreren Kameras 44 (zum Beispiel von den Kameras 44 an dem Vorderteil 45 und dem Heck 46, oder von allen Rundumsicht-Kameras 44, welche mit dem Anhänger 8 gekoppelt sind, und den vorwärts gerichteten und rückwärts gerichteten Weitsicht-Kameras 44, welche an dem Fahrzeug 10 gekoppelt sind) erfasste Bilder verarbeiten, um den Nickwinkel 322 des Fahrzeugs 10 zu bestimmen.
  • Der Schwellwertdatenspeicher 306 speichert einen oder mehrere mit einer oder mehreren Bedingungen oder Zuständen des Anhängers 8 verknüpfte Schwellwerte. Damit speichert der Schwellwertdatenspeicher 306 eine oder mehrere Zuordnungstabellen, welche Schwellenwerte 336 für einen bestimmten Zustand des Anhängers 8 bereitstellen. Beispielsweise speichert der Schwellwertdatenspeicher 306 zumindest einen Schwellwert 336 für einen Schwenkwinkel oder Gierwinkel des Anhängers 8 und zumindest einen Schwellwert 336 für einen Rollwinkel des Anhängers 8. In diversen Ausführungsformen mag der Schwellwertdatenspeicher 306 auch den Schwellwert für den Nickwinkel speichern, welcher durch das Kalibrierungsverwaltungsmodul 304 abgerufen werden mag. Jeder der in dem Schwellwertdatenspeicher 306 gespeicherten Schwellwerte 336 (der Schwellwert für den Schwenkwinkel, der Schwellwert für den Rollwinkel und optional der Schwellwert für den Nickwinkel) sind vordefiniert und von Werk gesetzte Werte. Grundsätzlich ist der Schwellwert für den Schwenkwinkel vordefiniert oder von Werk gesetzt basierend auf Eigenschaften des Fahrzeugs 10, so wie einer maximalen von dem Bremssystem 32 applizierten Bremskraft, um ein Einklappen des Anhängers 8 zu vermeiden; und der Schwellwert für den Rollwinkel ist vordefiniert oder von Werk gesetzt basierend auf Eigenschaften des Fahrzeugs 10, so wie einem Schwerpunkt, um einen Überschlag des Fahrzeugs 10 und/oder des Anhängers 8 zu vermeiden.
  • Das Zustandsbestimmungsmodul 308 bestimmt Dynamiken zwischen dem Fahrzeug 10 und dem Anhänger 8 basierend auf den Bilddaten von den Kameras 44. In einem Beispiel enthalten die Dynamiken den Beuge- oder Schwenkwinkel des Anhängers 8 mit Bezug zu dem Fahrzeug 10 und den Rollwinkel des Anhängers 8 mit Bezug zu dem Fahrzeug 10. Die bestimmten Dynamiken enthalten auch den Nickwinkel zwischen dem Fahrzeug 10 und dem Anhänger 8, wie von dem Kalibrierungsverwaltungsmodul 304 bestimmt. Das Zustandsbestimmungsmodul 308 empfängt von den Kameras 44 des Fahrzeugs 10 als Eingabe die Bilddaten 332 der Fahrzeugkameras. In diversen Ausführungsformen nutzt das Zustandsbestimmungsmodul 308 Vordergrund/Hintergrund-Segmentierung, um eine Position des Anhängers 8 in dem Bildstrom von den Kameras 44 an dem Fahrzeug 10 zu bestimmen. In diesem Beispiel ist der Anhänger 8 in dem Hintergrund und die das Fahrzeug 10 umgebende Szenerie während das Fahrzeug 10 sich bewegt ist der Vordergrund. Die Segmentierung ist ausgeführt bei einer Abtastrate von ungefähr 15 Sekunden bis zu ungefähr 1 Minute.
  • Sobald der Bereich des Anhängers detektiert ist (da der Anhänger 8 in den Bilddaten unbewegt bleibt), bestimmt das Zustandsbestimmungsmodul 308 Merkmalspunkte oder Muster, so wie Linien oder Ecken an der Zugdeichsel 52 oder der Vorderseite 68 des Anhängers 8 (zum Beispiel ein Frontpanel des Anhängers 8), Farben, etc., und vergleicht die Merkmalspunkte oder Muster, um eine Projektivitätsmatrix zu bestimmen (z.B. unter Verwendung der RANSC-Methode), um einen Abstand von jeder der Kameras 44 zu den Merkmalspunkten oder Mustern zu bestimmen. Basierend auf den Abständen und den bekannten Fahrzeugkoordinatenpositionen von jeder der Kameras 44 errechnet das Zustandsbestimmungsmodul 308 einen Schwenkwinkel 338 des Anhängers 8. Der Schwenkwinkel 338 ist der Winkel der Beugung des Anhängers 8 mit Bezug zu dem Fahrzeugkoordinatensystem des Fahrzeugs 10. Es sei darauf hingewiesen, dass das Zustandsbestimmungsmodul 308 auch Vordergrund/Hintergrund-Segmentierung nutzen mag, um zu erkennen, ob der Anhänger 8 an das Fahrzeug 10 gekoppelt ist. Das Zustandsbestimmungsmodul 308 setzt den Schwenkwinkel 338 für das Steuermodul 314 der Nutzerschnittstelle. Es sei darauf hingewiesen, dass die Verwendung von Vordergrund/Hintergrund-Segmentierung lediglich ein beispielhaftes Verfahren zum Bestimmen des Schwenkwinkels ist. Andere Techniken der Computerbildverarbeitung mögen genutzt werden, um den Schwenkwinkel zu bestimmen. Beispielsweise mag auf tiefem Lernen ("deep learning“) basierendes Erzeugen von synthetischen Bildern, so wie das Generieren von Bildern gemäß dem Ansatz der Generative Adversarial Nets (GAN) oder der auf DLNN basierten Bildsynthese- oder Bildverbesserungstechnologie genutzt werden.
  • Basierend auf dem bestimmten Schwenkwinkel 338 fragt das Zustandsbestimmungsmodul 308 den Schwellwertdatenspeicher 306 ab und ruft den Schwellwert 336 für den Schwenkwinkel ab. Das Zustandsbestimmungsmodul 308 vergleicht den Schwenkwinkel 338 mit dem Schwellwert 336 für den Schwenkwinkel 338 (Schwenkwinkelschwellwert). Wenn der Schwenkwinkel 338 größer ist als der Schwellwert 336, setzt das Zustandsbestimmungsmodul 308 einen Schwenkalarm 340 für das Steuermodul 314 der Nutzerschnittstelle. Der Schwenkalarm 340 ist eine Mitteilung, dass der Schwenkwinkel 338 des Anhängers 8 größer ist als der vordefinierte Schwellwert für den Winkel der Beugung des Anhängers 8 mit Bezug zu dem Fahrzeug 10. Optional erzeugt das Zustandsbestimmungsmodul 308 in diversen Ausführungsformen eines oder mehrere Steuersignale 342 für das Aktuatorsystem 36 basierend auf der Tatsache, dass der Schwenkwinkel 338 größer ist als der Schwellwert 336. Beispielsweise ist eines oder mehrere Steuersignale 342 ein Kommando, um das Bremssystem 32 zu betätigen, um eine Geschwindigkeit des Fahrzeugs 10 zu senken, etc. In diversen Ausführungsformen mag das eine oder die mehreren Steuersignale 342 auch ein Kommando enthalten, um das dem Anhänger 8 zugeordnete Bremssystem zu betätigen, ein Kommando enthalten, um das Lenksystem 38 des Fahrzeugs 10 zu betätigen, etc. In diversen Ausführungsformen ist das eine oder die mehreren Steuersignale 342 ein Kommando an das Bremssystem 32 des Fahrzeugs 10 und ein Kommando an ein mit dem Anhänger 8 verknüpftes Bremssystem.
  • Es sei darauf hingewiesen, dass das Zustandsbestimmungsmodul 308 den Schwenkwinkel 338 in diversen Ausführungsformen auf unterschiedliche Weisen bestimmen mag. Beispielsweise mag das Zustandsbestimmungsmodul 308 den Schwenkwinkel 338 bestimmen durch Empfangen und Verarbeiten der Bilddaten 332 der Fahrzeugkameras von der einen oder den mehreren Kameras 44 an dem Fahrzeug 10, um eine Position der Zugdeichsel 52 in dem Bildstrom zu bestimmen. Beispielsweise empfängt und verarbeitet das Zustandsbestimmungsmodul 308 den Bildstrom von der mit dem Heck 46 des Fahrzeugs 10 gekoppelten Kamera 44. Basierend auf einer bekannten Position der Anhängeraufnahme 20 (da die Anhängeraufnahme 20 mit dem Fahrzeug 10 starr gekoppelt ist) und der bekannten Position der Kamera 44 an dem Fahrzeug 10, tastet das Zustandsbestimmungsmodul 308 den Bildstrom von der mit dem Heck 46 des Fahrzeugs 10 gekoppelten Kamera 44 ab, um ein Bild zu erlangen. Das Zustandsbestimmungsmodul 308 verarbeitet die Bilddaten, um zu bestimmen ob sich die Zugdeichsel 52 mit Bezug zu einer Achse, welche sich durch die bekannte Position der Anhängeraufnahme 20 erstreckt, bewegt hat. In einem Beispiel erstreckt sich die Achse im Wesentlichen parallel zu der X1-Achse durch die Anhängeraufnahme 20. Das Zustandsbestimmungsmodul 308 berechnet den Schwenkwinkel 338 als den Winkel zwischen der bestimmten Position der Zugdeichsel 52 in den Bilddaten und der Achse, welche sich im Wesentlichen parallel zu der X1-Achse durch die bekannte Position der Anhängeraufnahme 20 erstreckt.
  • In diversen Ausführungsformen bestimmt das Zustandsbestimmungsmodul 308 einen Rollwinkel des Anhängers 8 mit Bezug zu dem Fahrzeug 10 basierend auf den aus der geschätzten Projektivitätsmatrix ermittelten Abständen und der bekannten Fahrzeugkoordinatenposition von jeder der Kameras 44, wie weiter oben mit Bezug zu dem Bestimmen des Schwenkwinkels 338 diskutiert. Der Rollwinkel ist ein Betrag einer Drehung des Anhängers 8 um die X1-Achse. Basierend auf dem bestimmten Rollwinkel fragt das Zustandsbestimmungsmodul 308 den Schwellwertdatenspeicher 306 ab und ruft den Schwellwert 336 für den Rollwinkel ab. Das Zustandsbestimmungsmodul 308 vergleicht den Rollwinkel mit dem Schwellwert 336 für den Rollwinkel. Wenn der Rollwinkel größer ist als der Schwellwert 336, setzt das Zustandsbestimmungsmodul 308 einen Rollalarm 344 für das Steuermodul 314 der Nutzerschnittstelle. Der Rollalarm 344 ist eine Mitteilung, dass der Rollwinkel des Anhängers 8 größer ist als der vordefinierte Schwellwert für den Rollwinkel. Optional erzeugt das Zustandsbestimmungsmodul 308 in diversen Ausführungsformen das eine oder die mehrere Steuersignale 342 für das Aktuatorsystem 36 basierend auf der Tatsache, dass der Rollwinkel größer ist als der Schwellwert 336.
  • In diversen Ausführungsformen werden die Lehren der U.S. Pub. (Veröffentlichungsschrift) No. 2015/0332098 oder U.S. Pub. (Veröffentlichungsschrift) No. 2015/0332446 (U.S. Anmeldung No. 14/710,322; Zeichen des Vertreters No. P028978-RD-SDJ) verwendet, um eine Nickbewegung oder Rollbewegung des Fahrzeugs 10 und/oder des Anhängers 8 zu bestimmen, während das Fahrzeug 10 sich bewegt oder fährt. Basierend auf dem Erkennen und Verfolgen von Bildmustern oder Merkmalspunkten von den mittels der mit dem Fahrzeug 10 gekoppelten Kameras 44 erfassten Bildern (die Bilddaten 332 der Fahrzeugkameras) oder von den Kameras 44 an dem Anhänger 8 (die Bilddaten 330 der Anhängerkameras), mögen die relative Bewegung oder Bewegungen zwischen den Kameras 44 unter Verwendung von Computervisionstechnologie enthaltend, aber nicht beschränkt auf Triangulation, Schätzung der Projektivität, SLAM etc. erfasst werden. Da die Kameras fest an dem Fahrzeug 10 oder dem Anhänger 8 montiert sind, in anderen Worten, die Kameras 44 an dem Fahrzeug 10 oder die Kameras 44 an dem Anhänger 8 als starrer Körper behandelt werden, mögen die Dynamiken des Fahrzeugs 10 oder die Dynamiken des Anhängers 8 basierend auf der erfassten Bordbewegung der Kameras 44 geschätzt werden.
  • Der Koeffizientendatenspeicher 310 speichert einen oder mehrere Verbindungskoeffizienten (Vermischungskoeffizienten), welche verknüpft sind mit dem Verbinden einer Ansicht für das Rendern auf der Anzeige 54 basierend auf einer Geschwindigkeit des Fahrzeugs 10. Damit speichert der Koeffizientendatenspeicher 310 eine oder mehrere Zuordnungstabellen, welche Verbindungskoeffizienten 346 für eine Verbindungszone (Vermischungszone) oder -region um eine Grenzlinie in einem Bildstrom bereitstellen, um zu einer nahtlosen Ansicht basierend auf der Geschwindigkeit des Fahrzeugs 10 gelangen. Beispielsweise erfordert eine hohe Geschwindigkeit des Fahrzeugs 10 (wie gemessen mit einer oder mehreren Sensorvorrichtungen 58a bis 58n) eine kleinere Verbindungszone oder -region um eine gleichmäßige Ansicht zu generieren, während eine niedrige Geschwindigkeit des Fahrzeugs 10 eine größere Verbindungszone oder -region erfordert, um eine gleichmäßige Ansicht zu generieren. Grundsätzlich, wenn das Fahrzeug 10 und der Anhänger 8 bei einer hohen Geschwindigkeit reisen (zum Beispiel auf einer Autobahn) mag es weniger wahrscheinlich sein, dass ein Objekt in der Nähe des Fahrzeugs 10 und/oder des Anhängers 8 ist, so dass die Verbindungsregion (der überlappenden Sichtfelder) kleiner ist, um eine scharfe Ansicht zu bekommen, ohne dasselbe Objekt in der Ansicht zu duplizieren. Wenn das Fahrzeug 10 und der Anhänger 8 bei niedrigen Geschwindigkeiten reisen (zum Beispiel ein Manöver auf oder an einem Parkplatz), mag es wahrscheinlicher sein, sehr nahe Hindernisse/Objekte innerhalb des voll überlappten Sichtfeldes zu haben. In Beispielen, in welchen das Fahrzeug 10 und der Anhänger 8 bei niedrigen Geschwindigkeiten reisen, ist die Verbindungszone größer, um ein gleichmäßiges Bild bereitzustellen und um sicherzustellen, dass die Objekte in der Ansicht erfasst werden. In diversen Ausführungsformen sind die Verbindungskoeffizienten 346 vordefiniert und von Werk her gesetzte Werte.
  • Das Ansichtsrenderingmodul 312 generiert eine Vollansicht 348 zum Rendern auf der Anzeige 54, wobei die Vollansicht von dem Anhänger 8 nicht behindert ist oder frei von dem Anhänger 8 ist. Wie diskutiert werden wird, erzeugt das Ansichtsrenderingmodul 312 die Vollansicht 348 zum Anzeigen auf der Anzeige, wobei die Vollansicht von dem Anhänger 8 nicht behindert ist oder frei von dem Anhänger 8 ist, da jede der Kameras 44 basierend auf den Kalibrierungsdaten 320 ein Sichtfeld definiert. Anders ausgedrückt erzeugt das Ansichtsrenderingmodul 312 eine Ansicht, welche die Bilddaten hinter dem Anhänger 8 aufweist, als ob der Anhänger 8 nicht mit dem Fahrzeug 10 gekoppelt wäre, zum Rendern auf der Anzeige 54 des Fahrerkommunikationssystems 24. Grundsätzlich bestimmt das Ansichtsrenderingmodul 312 einen Überlapp in den Bildern des durch die jeweiligen Kameras 44 erfassten Bildstroms, da die Positionen der Kameras 44 an dem Fahrzeug 10 von dem Ansichtsrenderingmodul 312 bekannt sind und die Positionen der Kameras 44 an dem Anhänger 8, wie weiter oben hierin diskutiert, bestimmt sind. Basierend auf dem bestimmten Überlapp definiert das Ansichtsrenderingmodul 312 Grenzlinien oder Verbindungszonen und setzt die Bilder des Bildstroms von den jeweiligen überlappenden Kameras 44 zusammen, um eine im Wesentlichen gleichmäßige Sicht des Bereichs hinter dem Heck 46 des Fahrzeugs 10 zu generieren, in welcher die Ansicht nicht durch den Anhänger 8 behindert ist.
  • In diversen Ausführungsformen empfängt das Ansichtsrenderingmodul 312 die Bilddaten 332 der Fahrzeugkameras und die Bilddaten 330 der Anhängerkameras als Eingabe. Auch empfängt das Ansichtsrenderingmodul 312 Ausmaße 350 des Anhängers als Eingabe. Die Ausmaße 350 des Anhängers werden als Eingabe an das Steuermodul 314 der Nutzerschnittstelle empfangen, beispielsweise über eine Beeinflussung der Eingabevorrichtung 56 durch einen Nutzer. Die Ausmaße 350 des Anhängers enthalten, sind aber nicht beschränkt auf, die Länge, Breite und Höhe des Anhängers 8, welcher mit dem Fahrzeug 10 gekoppelt ist. Es sei darauf hingewiesen, dass einer oder mehrere dieser Werte auch geschätzt werden mögen, basierend auf den Bildern der Bilderströme von den Bilddaten 332 der Fahrzeugkameras und/oder den Bilddaten 330 der Anhängerkameras. Das Ansichtsrenderingmodul 312 bestimmt eine Größe der Ansicht, welche den Anhänger 8 enthält, basierend auf den Ausmaßen 350 des Anhängers. Grundsätzlich legen die Ausmaße des Anhängers in der gerenderten Ansicht die Größe und Position des Bildbereichs fest, welcher in Entsprechung zu der von dem Anhänger 8 blockierten Ansicht erfordert, mittels Bildern von Kameras 44 an dem Anhänger 8 gefüllt/vermischt zu werden.
  • Das Ansichtsrenderingmodul 312 empfängt Kalibrierungsdaten 320 als Eingabe. Das Ansichtsrenderingmodul 312 verarbeitet die Bilddaten 332 der Fahrzeugkameras und die Bilddaten 330 der Anhängerkameras basierend auf den Kalibrierungsdaten 320 und den bekannten Orten der Kameras 44 an dem Fahrzeug 10, um die Bereiche des Überlapps in den Bildern der Bilderströme zu bestimmen. Basierend auf dem Überlapp definiert das Ansichtsrenderingmodul 312 zusammenzufügende oder zusammenpassende Grenzlinien. In einem Beispiel sind die zusammenzufügenden Grenzlinien entlang einer oder mehrerer Linien, welche von einem Umfang des Überlapps erzeugt werden, definiert.
  • Beispielsweise und mit Bezug zu 5A hat zumindest eine der Kameras 44 an dem Fahrzeug 10 ein Sichtfeld 450, welches ein Sichtfeld 452 von einer der Kameras 44 an dem Anhänger 8 überlappt. In diesem Beispiel überlappt das Sichtfeld 450 der Kamera an dem Fahrzeug 10 das Sichtfeld 452 von einer der Kameras 44 an dem Anhänger 8 und überlappt mit einem Sichtfeld 454 von einer anderen der Kameras 44 an dem Anhänger 8. Die Kamera 44 an dem Heck 70 des Anhängers 8 hat ein Sichtfeld 456, welches mit den Sichtfeldern 452, 454 überlappt. Das Ansichtsrenderingmodul 312 bestimmt Bereiche 458 des Überlapps (Überlappbereiche) in den Bildern von diesen Bildströmen.
  • Mit Bezug nun zur 5B zeigt diese FIG. schematisch die zusammenfügenden Grenzlinien (Begrenzungslinien), die durch das Ansichtsrenderingmodul 312 basierend auf den in 5A bestimmten Bereichen 458 des Überlapps definiert wurden. Wie gezeigt, sind eine oder mehrere zusammenfügende Begrenzungslinien 460 entlang des Umfangs des Bereichs 458 des Überlapps (Überlappbereich) definiert.
  • Mit Bezug zurück zu 3 empfängt das Ansichtsrenderingmodul 312 Geschwindigkeitsdaten 352 als Eingabe. Die Geschwindigkeitsdaten 352 sind beispielsweise die Geschwindigkeit des Fahrzeugs 10 wie von einer oder mehreren Sensorvorrichtungen 58a bis 58n des Sensorsystems 34 beobachtet oder basierend auf Modellbildung bestimmt. Basierend auf der Geschwindigkeit des Fahrzeugs 10 fragt das Ansichtsrenderingmodul 312 den Koeffizientendatenspeicher 310 ab und ruft die entsprechenden Verbindungskoeffizienten 346 ab. Das Ansichtsrenderingmodul 312 fügt die Bildströme an den Begrenzungslinien zusammen und verbindet die Bilder der Bildströme entlang der Begrenzungslinie basierend auf dem Verbindungskoeffizienten 346, um ein gleichmäßiges, nahtloses (übergangsfreies) Bild zu erzeugen. Es wird darauf hingewiesen, dass das Ansichtsrenderingmodul 312 auch Bilder der Bildströme basierend auf dem Überlappen der Sichtfelder der Kameras 44 zusammenfügen mag. Das nahtlose Bild ist die Vollansicht 348 des Hecks 46 des Fahrzeugs 10, wie von den Kameras 44 beobachtet, wobei die Ansicht frei von dem Anhänger 8 ist. Das Ansichtsrenderingmodul 312 setzt das nahtlose Bild als die Vollansicht 348 für das Steuermodul 314 der Nutzerschnittstelle.
  • Auch empfängt das Ansichtsrenderingmodul 312 den Schwenkwinkel 338 als Eingabe. Das Ansichtsrenderingmodul 312 bestimmt, ob der Schwenkwinkel 338 größer ist als null Grad, was anzeigt, dass der Anhänger 8 mit Bezug zu dem Fahrzeug 10 abgewinkelt ist. Wenn ja, passt das Ansichtsrenderingmodul 312 die Begrenzungslinien des zusammengefügten Bildes an, um den Schwenkwinkel 338 zu kompensieren. Das Ansichtsrenderingmodul 312 fügt die Bilder der Bildströme an den angepassten Begrenzungslinien zusammen und verbindet die Bilder der Bildströme entlang der angepassten Begrenzungslinie basierend auf dem Verbindungskoeffizienten 346, um das gleichmäßige, nahtlose (übergangsfreie) Bild zu erzeugen, welches den Schwenkwinkel 338 kompensiert. Das nahtlose Bild ist die Vollansicht 348 des Hecks 46 des Fahrzeugs 10, wie von den Kameras 44 beobachtet, wobei die Ansicht frei von dem Anhänger ist. Das Ansichtsrenderingmodul 312 setzt das nahtlose Bild als die Vollansicht 348 für das Steuermodul 314 der Nutzerschnittstelle. Damit passt das Ansichtsrenderingmodul 312 die Grenzen der kombinierten Bilder der Bildströme an, um ein Drehen des Fahrzeugs 10 oder des Anhängers 8 zu kompensieren. Dies stellt sicher, dass die Vollansicht 348 den Bereich hinter dem Heck 46 des Fahrzeugs 10 enthält, selbst bei Bewegung oder Schwenken des Anhängers 8. Grundsätzlich, wenn das Fahrzeug 10 und der Anhänger 8 geradeaus fahren (der Schwenkwinkel ist im Wesentlichen null Grad), ist der transparente Anhängerbereich (das zusammengefügte Bild, welches den Anhänger 8 in der Ansicht transparent rendert) in einem mittleren Bereich der voll gerenderten Ansicht. Wenn das Fahrzeug 10 und der Anhänger 8 sich drehen oder auf einer Straße entlang einer Kurve fahren (der Schwenkwinkel ist im Wesentlichen größer als null Grad), verschiebt sich der transparente Anhängerbereich (das zusammengefügte Bild, welches den Anhänger 8 in der Ansicht transparent rendert) nach links oder nach rechts basierend auf dem Schwenkwinkel. Die entsprechenden Begrenzungslinien des Bereichs verschieben sich entsprechend.
  • Mit Bezug zu 5C ist in einem Beispiel ein beispielhaftes zusammengefügtes Bild 500 gezeigt. In diesem Beispiel wird ein erster Bildstrom 502 von einer der an den seitlichen Rückspiegeln des Fahrzeugs 10 gekoppelten Kameras 44 empfangen und ein zweiter Bildstrom 542 wird von der anderen der an den seitlichen Rückspiegeln des Fahrzeugs 10 gekoppelten Kameras 44 empfangen. Ein dritter Bildstrom 506 wird von der mit dem Heck 70 des Anhängers 8 gekoppelten Kamera 44 empfangen. Das Ansichtsrenderingmodul 312 bestimmt die Begrenzungslinien 508 zwischen den Kameras 44 basierend auf der bekannten Koordinatenposition der Kameras 44 an dem Fahrzeug 10 in dem Fahrzeugkoordinatensystem und den Kalibrierungsdaten 320. Der aus dem Koeffizientendatenspeicher 310 abgerufene Verbindungskoeffizient 346 definiert die Verbindungszone oder den Verbindungsbereich 510 an jeder Seite der Begrenzungslinien 508. Die Bildströme 502, 504, 506 werden von dem Ansichtsrenderingmodul 312 zusammengefügt, um in einem gleichmäßige, übergangslosen (nahtlosen) Bild zu resultieren, welches die Vollansicht des Hecks 46 des Fahrzeugs 10 und frei von dem Anhänger 8 ist.
  • Mit Bezug zu 3 erzeugt das Ansichtsrenderingmodul 312 eine Rundumsicht 354 zum Rendern auf der Anzeige 54, welche Rundumsicht im Wesentlichen eine 360 Grad Ansicht um zumindest das Fahrzeug 10 oder den Anhänger 8 oder die Verbindung bestehend aus dem Fahrzeug 10 und dem Anhänger 8 ist. Indem eine im Wesentlichen 360 Grad Ansicht erzeugt wird, mag eines oder mehrere Hindernisse, welches bzw. welche in der Nähe des Fahrzeugs 10 und/oder des Anhängers 8 sind, von einem Bediener und/oder dem Sensorfusionssystem 74 detektiert werden. Wie noch diskutiert werden wird, verarbeitet das Ansichtsrenderingmodul 312 die Bilddaten 332 der Fahrzeugkameras von den Kameras 44 an dem Fahrzeug 10 und die Bilddaten 330 der Anhängerkameras von dem Kameras 44 an dem Anhänger 8, um die im Wesentlichen 360 Grad Ansicht aus der Vogelperspektive oder eine Draufsicht von zumindest einem des Fahrzeugs 10 und des Anhängers 8 zu erzeugen. Das Ansichtsrenderingmodul 312 verarbeitet die Bilddaten 332 der Fahrzeugkameras und die Bilddaten 330 der Anhängerkameras, um eine dreidimensionale im Wesentlichen 360 Grad Ansicht um zumindest das Fahrzeug 10 oder den Anhängers 8 zu erzeugen.
  • In diversen Ausführungsformen empfängt das Ansichtsrenderingmodul 312 die Bilddaten 332 der Fahrzeugkameras und die Bilddaten 330 der Anhängerkameras als Eingabe. Das Ansichtsrenderingmodul 312 empfängt die Kalibrierungsdaten 320 als Eingabe. Das Ansichtsrenderingmodul 312 verarbeitet die Bilddaten 332 der Fahrzeugkameras und die Bilddaten 330 der Anhängerkameras basierend auf den Kalibrierungsdaten 320 und den bekannten Orten der Kameras 44 an dem Fahrzeug 10, um die Bereiche des Überlapps in den Bildern der Bilderströme zu bestimmen. Basierend auf dem Überlapp definiert das Ansichtsrenderingmodul 312 zusammenzufügende Grenzlinien. In einem Beispiel sind die zusammenzufügenden Grenzlinien entlang einer oder mehrerer Linien, welche von einem Umfang des Überlapps erzeugt werden, definiert.
  • Das Ansichtsrenderingmodul 312 empfängt die Geschwindigkeitsdaten 352 als Eingabe. Basierend auf der Geschwindigkeit des Fahrzeugs 10 fragt das Ansichtsrenderingmodul 312 den Koeffizientendatenspeicher 310 ab und ruft die entsprechenden Verbindungskoeffizienten 346 ab. Das Ansichtsrenderingmodul 312 fügt die Bilder der Bildströme an den Begrenzungslinien zusammen und verbindet die Bilder der Bildströme entlang der Begrenzungslinie basierend auf dem Verbindungskoeffizienten 346, um ein gleichmäßiges, nahtloses (übergangsfreies) Bild zu erzeugen, welches das Fahrzeug 10 und/oder den Anhänger 8 umgibt. Es wird darauf hingewiesen, dass das Ansichtsrenderingmodul 312 auch Bilder der Bildströme basierend auf dem Überlappen der Sichtfelder der Kameras 44 zusammenfügen mag. Das nahtlose Bild ist die Rundumsicht 354, welche eine von den Kameras 44 erfassten Ansicht der das Fahrzeug 10 und/oder den Anhänger 8 umgebenden Umgebung ist. Das Ansichtsrenderingmodul 312 setzt das nahtlose Bild als die Rundumsicht 354 für das Steuermodul 314 der Nutzerschnittstelle.
  • Auch empfängt das Ansichtsrenderingmodul 312 den Schwenkwinkel 338 als Eingabe. Das Ansichtsrenderingmodul 312 bestimmt, ob der Schwenkwinkel 338 größer ist als null Grad, was anzeigt, dass der Anhänger 8 mit Bezug zu dem Fahrzeug 10 abgewinkelt ist. Wenn ja, passt das Ansichtsrenderingmodul 312 die Begrenzungslinien des zusammengefügten Bildes an, um den Schwenkwinkel 338 zu kompensieren. Das Ansichtsrenderingmodul 312 fügt die Bilder der Bildströme an den angepassten Begrenzungslinien zusammen und verbindet die Bilder der Bildströme entlang der angepassten Begrenzungslinie basierend auf dem Verbindungskoeffizienten 346, um das gleichmäßige, nahtlose (übergangsfreie) Bild zu erzeugen, welches den Schwenkwinkel 338 kompensiert. Das Ansichtsrenderingmodul 312 setzt das nahtlose Bild als die Rundumsicht 354 für das Steuermodul 314 der Nutzerschnittstelle. Damit passt das Ansichtsrenderingmodul 312 die Grenzen der kombinierten Bilder der Bildströme an, um ein Drehen des Fahrzeugs 10 oder des Anhängers 8 zu kompensieren. Dies stellt sicher, dass die Rundumsicht 354 den das Fahrzeug 10 und/oder den Anhänger 8 umgebenden Bereich enthält, selbst bei Bewegung oder Schwenken des Anhängers 8.
  • Das Steuermodul 314 der Nutzerschnittstelle erzeugt Nutzerschnittstellendaten 357 zum Rendern auf der Anzeige 54. In diversen Ausführungsformen empfängt das Steuermodul 314 der Nutzerschnittstelle die Vollansicht 348 als Eingabe. Das Steuermodul 314 der Nutzerschnittstelle empfängt auch Hindernisdaten 356 als Eingabe. Die Hindernisdaten 356 sind eine Mitteilung, dass eines oder mehrere Hindernisse in einem oder mehreren Sätzen von Bilddaten 330 der Anhängerkameras und von Bilddaten 332 der Fahrzeugkameras detektiert wurden und mögen auch eine Koordinatenposition des Hindernisses enthalten. Die Hindernisdaten 356 werden von anderen mit dem Fahrzeug 10 verknüpften Steuermodulen empfangen, und zwar beispielsweise basierend auf von einer oder mehreren der Sensorvorrichtungen 58a bis 58n empfangenen Daten. Das Steuermodul 314 der Nutzerschnittstelle erzeugt Daten 358 für eine Ansicht mit transparentem Anhänger (Nutzerschnittstellendaten für eine Ansicht mit transparentem Anhänger) basierend auf der Vollansicht 348 und den Hindernisdaten 356. In dieser Hinsicht enthalten die Daten 358 für eine Ansicht mit transparentem Anhänger die Vollansicht 348 zum Rendern auf der Anzeige 54. Wenn ein Hindernis in den Bilddaten 330 der Anhängerkameras und/oder der Bilddaten 332 der Fahrzeugkameras detektiert wurde, enthalten die Daten 358 für eine Ansicht mit transparentem Anhänger eine Mitteilung, welche der Vollansicht 348 überlagert ist, um den Bediener über das detektierte Objekt zu informieren. In einem Beispiel weist die Mitteilung eine grafische Darstellung eines Warnsymbols auf und mag beispielsweise auch eine grafische Darstellung eines Pfeils enthalten, welcher in die Richtung des detektieren Hindernisses ausgerichtet ist.
  • Mit Bezug zu 6A ist eine beispielhafte Ansicht einer Nutzerschnittstelle 540 mit transparentem Anhänger gezeigt, welche auf der Anzeige 54 basierend auf den Daten 358 für eine Ansicht mit transparentem Anhänger gerendert ist. Wie gezeigt stellt die Vollansicht 348 eine vollständige Ansicht des Hecks 46 des Fahrzeugs 10 bereit, wie von den Kameras 44 beobachtet und in welcher die Ansicht frei von dem Anhänger 8 ist.
  • Das Steuermodul 314 der Nutzerschnittstelle empfängt die Rundumsicht 354 als Eingabe. Das Steuermodul 314 der Nutzerschnittstelle empfängt auch Hindernisdaten 356 als Eingabe. Das Steuermodul 314 der Nutzerschnittstelle erzeugt Daten 360 der Nutzerschnittstelle für die Vogelperspektive (Vogelperspektivansichtsnutzerschnittstellendaten) basierend auf der Rundumsicht 354 und den Hindernisdaten 356. In dieser Hinsicht enthalten die Daten 360 der Nutzerschnittstelle für die Vogelperspektive die Rundumsicht 354 zum Rendern auf der Anzeige 54. Wenn ein Hindernis in den Bilddaten 330 der Anhängerkameras und/oder der Bilddaten 332 der Fahrzeugkameras detektiert wurde, enthalten die Daten 360 der Nutzerschnittstelle für die Vogelperspektive eine Mitteilung, welche der Rundumsicht 354 überlagert ist und welche den Bediener über das detektierte Objekt informiert.
  • Mit Bezug zu 6B ist eine beispielhafte Nutzerschnittstelle 550 für die Vogelperspektive (Vogelperspektivennutzerschnittstelle) gezeigt, welche auf der Anzeige 54 basierend auf den Daten 360 der Nutzerschnittstelle für die Vogelperspektive gerendert ist. Wie gezeigt, stellt die Rundumsicht 354 eine Ansicht der das Fahrzeug 10 und/oder den Anhänger 8 umgebenden Umgebung bereit. Eine grafische Darstellung 552 des Fahrzeugs 10 mag über einen Abschnitt der Rundumsicht 354 gelagert sein, um einen Kontext für die Ansicht bereit zu stellen.
  • Mit Bezug zurück zu 3 empfängt das Steuermodul 314 der Nutzerschnittstelle den Rollalarm 344, den Schwenkalarm 340 und den Neigungsalarm 334 als Eingabe. Basierend auf zumindest einem des Rollalarms 344, des Schwenkalarms 340 und des Neigungsalarms 334 erzeugt das Steuermodul 314 der Nutzerschnittstelle Daten 362 einer Nutzerschnittstelle für einen Alarm (Alarmnutzerschnittstellendaten) zum Rendern auf der Anzeige 54. Die Daten 362 einer Nutzerschnittstelle für einen Alarm sind eine grafische und/oder textliche Mitteilung für den Bediener, um den Anhänger 8 zu überprüfen und/oder dass eine Bedingung des Anhängers 8 außerhalb einer akzeptablen Grenze liegt. Damit stellen die Daten 362 einer Nutzerschnittstelle für einen Alarm eine oder mehrere grafische und/oder textliche Warnmitteilungen zum Rendern auf der Anzeige 54 bereit. Die eine oder die mehreren Warnmitteilungen mögen spezifisch für einen empfangenen Alarm sein, so wie eine Warnmeldung, dass der Anhänger 8 über einen vorgegebenen Schwellwert rollt, eine Warnmeldung, dass der Anhänger 8 über einen vorgegebenen Schwellwert schwenkt (zum Beispiel schaukelt) und eine Warnmitteilung, dass der Anhänger 8 sich über einen vorgegebenen Schwellwert neigt (zum Beispiel nicht balanciert ist oder über einer Zugkapazität des Fahrzeugs 10 liegt).
  • Auch empfängt das Steuermodul 314 der Nutzerschnittstelle den Schwenkwinkel 338 als Eingabe. In diversen Ausführungsformen erzeugt das Steuermodul 314 der Nutzerschnittstelle Daten 364 einer Benutzerschnittstelle für einen Schwenkwinkel (Schwenkwinkelnutzerschnittstellendaten) basierend auf der Rundumsicht 354 und dem Schwenkwinkel 338. In dieser Hinsicht enthalten die Daten 364 einer Nutzerschnittstelle für einen Schwenkwinkel die Rundumsicht 354 zum Rendern auf der Anzeige 54 mit einer grafischen Darstellung des Schwenkwinkels 338, welche zumindest einen Abschnitt des in der Rundumsicht 354 gezeigten Anhängers 8 überlagert. In einem Beispiel enthält der Schwenkwinkel 338 eine oder mehrere gestrichelte Linien, welche die Rundumsicht 354 überlagern, um den Schwenkwinkel 338 grafisch anzuzeigen. In einem Beispiel mag die grafische Darstellung des Schwenkwinkels 338 von einer Position einer Anhängerkugel (in der Rundumsicht 354 identifiziert unter Verwendung von Techniken der Bildverarbeitung) ausgehen und in eine durch den detektieren Schwenkwinkel (von dem Schwenkwinkel 338) vorgegebene Lage ausgerichtet sein sowie die Rundumsicht 354 überlagern. Zusätzlich sei darauf hingewiesen, dass die grafische Darstellung des Schwenkwinkels 338 über andere von dem Ansichtsrenderingmodul 312 erzeugte Ansichten gelagert sein mag, so wie die Vollansicht 348, und die Rundumsicht 354 lediglich ein Beispiel ist. Weiterhin mag der Schwenkwinkel 338, soweit gewünscht, über die Bilder des Bildstroms von einer der Kameras 44 des Fahrzeugs 10 gelagert sein, so wie der Kamera 44, welche mit dem Heck 46 des Fahrzeugs 10 gekoppelt ist.
  • Mit Bezug zu 7 ist eine beispielhafte Nutzerschnittstelle 570 für den Schwenkwinkel (Schwenkwinkelnutzerschnittstelle) gezeigt, welche auf der Anzeige 54 basierend auf den Daten 364 der Nutzerschnittstelle für den Schwenkwinkel gerendert ist. Ein Abschnitt der Rundumsicht 354 ist gezeigt und stellt eine Ansicht der das Fahrzeug 10 und den Anhänger 8 umgebenden Umgebung bereit (die Gesamtheit der Rundumsicht 354 ist in 6B gezeigt). Eine erste Linie 572 repräsentiert eine Achse grafisch, welche im Wesentlichen parallel zu der Anhängeraufnahme 20 des Fahrzeugs 10 ist, wobei die erste Linie über einen Abschnitt der Rundumsicht 354 gelagert ist bzw. diesen überlagert. Eine zweite Linie 574 ist definiert von der Achse durch die Anhängeraufnahme 20 an dem Schwenkwinkel 338, um den Schwenkwinkel 338 des Anhängers 8 grafisch zu repräsentieren. Die zweite Linie 574 ist auch über einen Abschnitt der Rundumsicht 354 gelagert bzw. überlagert diesen.
  • Mit Bezug auf 3 empfängt das Steuermodul 314 der Nutzerschnittstelle Eingabedaten 366. Die Eingabedaten 366 werden von der Interaktion des Bedieners oder Passagiers mit der Eingabevorrichtung 56 empfangen. In einem Beispiel weisen die Eingabedaten 366 Ausmaße des mit dem Fahrzeug 10 gekoppelten Anhängers 8 auf. Das Steuermodul 314 der Nutzerschnittstelle interpretiert die Eingabedaten 366 und setzt die Ausmaße 350 des Anhängers für das Ansichtsrenderingmodul 312.
  • Mit Bezug nun auf 8 und weiter mit Bezug auf die 1 bis 3, zeigt ein Flussdiagramm ein Verfahren 600 zum Kalibrieren, welches ausgeführt werden kann von dem Anhängerbildsystem 100 der 1 bis 3 gemäß der vorliegenden Offenbarung. In diversen Ausführungsformen wird das Verfahren 600 zum Kalibrieren von dem Prozessor 64 des Controllers 40 ausgeführt. Wie in Anbetracht der Offenbarung geschätzt werden mag, ist die Reihenfolge der Ausführung innerhalb des Verfahrens nicht durch die sequenzielle Ausführung wie in 8 gezeigt beschränkt, sondern mag in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie es in Einklang mit der vorliegenden Offenbarung geeignet sein mag. In diversen Ausführungsformen mag das Verfahren 600 angesetzt sein, basierend auf einem oder mehreren vorgegebenen Ereignissen abzulaufen und/oder kann basierend darauf, ob der Anhänger 8 an das Fahrzeug 10 gekoppelt ist, ablaufen.
  • Das Verfahren beginnt mit Schritt 602. In Schritt 604 bestimmt das Verfahren, ob der Anhänger 8 an das Fahrzeug 10 gekoppelt ist. In einem Beispiel verarbeitet das Verfahren Kopplungsdaten 324, um zu bestimmen, ob das Signal, welches anzeigt, dass der Kabelbaum des Anhängers 8 an den Kabelbaum des Fahrzeugs 10 gekoppelt ist, empfangen wurde. Wenn ja, setzt sich das Verfahren fort in Schritt 606. Andernfalls speichert das Verfahren in Schritt 615 zumindest ein Bild, so wie das Bild von der Kamera 44, welche mit der Vorderseite 45 des Fahrzeugs 10 gekoppelt ist, als die Kalibrierungsbilddaten 318 in dem Kalibrierungsdatenspeicher 300. Das Verfahren springt zum Schritt 604.
  • In Schritt 606 bestimmt das Verfahren die Anzahl der mit dem Anhänger 8 gekoppelten Kameras 44. In einem Beispiel bestimmt das Verfahren die Anzahl der Kameras 44 basierend auf der Anzahl der durch den Kabelbaum empfangenen Bildströme. In Schritt 608 empfängt und verarbeitet das Verfahren die Bereichsdaten 326, um zu bestimmen, ob das Fahrzeug 10 in der Fahrspur (in dem Fahrbereich) ist. Wenn ja, setzt sich das Verfahren fort in Schritt 610. Andernfalls endet das Verfahren in Schritt 612.
  • In Schritt 610 bestimmt das Verfahren basierend auf den Pfaddaten 328 des Fahrzeugs, ob das Fahrzeug 10 entlang eines im Wesentlichen geraden Pfades fährt. Wenn ja, setzt sich das Verfahren fort in Schritt 614. Andernfalls endet das Verfahren in Schritt 612.
  • In Schritt 614 empfängt und verarbeitet das Verfahren die Bildströme von den Kameras an dem Anhänger 8 (d.h. die Bilddaten 330 der Anhängerkameras) und von den Kameras 44 an dem Fahrzeug 10 (d.h. die Bilddaten 332 der Fahrzeugkameras), um Bereiche des Überlapps zwischen den Bildströmen zu bestimmen. In einem Beispiel tastet das Verfahren die Bildströme der Bilddaten 330 der Anhängerkameras und der Bilddaten 332 der Fahrzeugkameras ab, um Bilder zu erlangen. Das Verfahren vergleicht die von dem Fahrzeug 10 erlangten Bilder mit den von dem Anhänger 8 erlangten Bildern und bestimmt einen Überlapp zwischen den Bildern.
  • In Schritt 618 verarbeitet das Verfahren die Bilder, welche überlappen, um gemeinsame Merkmale in den Bildern der Bildströme zu bestimmen. In einem Beispiel verarbeitet das Verfahren die erlangten Bilder unter Verwendung von Merkmalspunktdetektion und Abgleich durch Verfolgung, um die gemeinsamen Merkmale zu bestimmen. In Schritt 620 schätzt das Verfahren für jedes gemeinsame Merkmal eine Projektivitätsmatrix jeweils zwischen der Kamera 44 des Fahrzeugs 10 und der jeweiligen Kamera 44 des Anhängers 8, um den Abstand zwischen jeder der Kameras 44 und dem gemeinsamen Merkmal zu bestimmen. In Schritt 622 bestimmt das Verfahren, ob die Anzahl der bestimmten Abstände größer ist als ein vorgegebener Schwellwert. Wenn ja, setzt sich das Verfahren fort in Schritt 624. Andernfalls springt das Verfahren zu Schritt 618.
  • In Schritt 624 nutzt das Verfahren basierend auf den bestimmten Abständen Triangulation, um eine Position und eine Darstellung für jede der Kameras 44, welche mit dem Anhänger 8 gekoppelt sind, und eine Position des Sichtfeldes für jede der Kameras 44, welche mit dem Anhänger 8 gekoppelt sind, in dem Fahrzeugkoordinatensystem zu bestimmen. In Schritt 626 speichert das Verfahren die Position von jeder der Kameras 44 in dem Fahrzeugkoordinatensystem in den Kalibrierungsdatenspeicher 300. Das Verfahren endet in Schritt 612.
  • Mit Bezug nun zu 9 und mit weitergehendem Bezug zu den 1 bis 3 zeigt ein Flussdiagramm ein Verfahren 700 zum Nachkalibrieren, welches ausgeführt werden kann von dem Anhängerbildsystem 100 der 1 bis 3 gemäß der vorliegenden Offenbarung. In diversen Ausführungsformen wird das Verfahren 700 zum Nachkalibrieren von dem Prozessor 64 des Controllers 40 ausgeführt. Wie in Anbetracht der Offenbarung geschätzt werden mag, ist die Reihenfolge der Ausführung innerhalb des Verfahrens nicht durch die sequenzielle Ausführung wie in 9 gezeigt beschränkt, sondern mag in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie es in Einklang mit der vorliegenden Offenbarung geeignet sein mag. In diversen Ausführungsformen mag das Verfahren 700 angesetzt sein, basierend auf einem oder mehreren vorgegebenen Ereignissen abzulaufen und/oder kann basierend darauf, ob der Anhänger 8 wieder an das Fahrzeug 10 gekoppelt ist, ablaufen.
  • Das Verfahren beginnt mit Schritt 702. In Schritt 704 bestimmt das Verfahren, ob der Anhänger 8 wieder an das Fahrzeug 10 gekoppelt wurde. Beispielsweise bestimmt das Verfahren, ob eine vorgegebene Zeitspanne vergangen ist, seit ein Kabelbaum an den Kabelbaum des Fahrzeugs 10 gekoppelt war. Wenn ja, setzt sich das Verfahren fort in Schritt 706. Andernfalls geht das Verfahren in eine Schleife über.
  • In Schritt 706 ruft das Verfahren die Kalibrierungsbilddaten 318 aus dem Kalibrierungsdatenspeicher 300 ab. In Schritt 708 tastet das Verfahren die Kamera 44 an dem Heck 46 des Fahrzeugs 10 ab, um ein neues Bild aus dem Bildstrom zu erlangen. In Schritt 710 vergleicht das Verfahren die Kalibrierungsbilddaten 318 mit dem erlangten Bild, um zu bestimmen, ob sich eine Änderung einer Position des Horizonts in einem oder mehreren Pixeln ereignete. Wenn ja, setzt sich das Verfahren fort in Schritt 712. Andernfalls endet das Verfahren in Schritt 714.
  • In Schritt 712 fragt das Verfahren den Tabellendatenspeicher 302 ab und ruft den Nickwinkel 322 ab, welcher der Änderung der Position des Horizonts entspricht. In Schritt 716 bestimmt das Verfahren, ob der Nickwinkel 322 größer ist als der vorgegebene Schwellwert für den Nickwinkel. Wenn ja, erzeugt das Verfahren in Schritt 718 Daten 362 einer Nutzerschnittstelle für einen Alarm und gibt die Daten 362 einer Nutzerschnittstelle für einen Alarm zum Rendern auf der Anzeige 54 aus. Wie diskutiert mögen die Daten 362 einer Nutzerschnittstelle für einen Alarm eine oder mehrere Warnmitteilungen zum Rendern auf der Anzeige 54 enthalten, so wie eine Warnung, dass der Anhänger 8 auf Grund der Tatsache, dass der Nickwinkel 322 größer ist als der Schwellwert für den Nickwinkel, überladen oder nicht balanciert ist.
  • Andernfalls aktualisiert das Verfahren in Schritt 716 die Kalibrierungsdaten 320 in dem Kalibrierungsdatenspeicher 300 basierend auf dem Nickwinkel 322, wenn der Nickwinkel 322 kleiner ist als der Schwellenwert für den Nickwinkel. In einem Beispiel aktualisiert das Verfahren die bekannte Koordinatenposition für die mit dem Fahrzeug 10 gekoppelten Kameras 44 basierend auf dem Nickwinkel 322. Das Verfahren endet in Schritt 714.
  • Mit Bezug nun zu 10 und mit weitergehendem Bezug zu den 1 bis 3, zeigt ein Flussdiagramm ein Verfahren 800 zum Schätzen eines Schwenkwinkels, welches ausgeführt werden kann von dem Anhängerbildsystem 100 der 1 bis 3 gemäß der vorliegenden Offenbarung. In diversen Ausführungsformen wird das Verfahren 600 zum Schätzen eines Schwenkwinkels von dem Prozessor 64 des Controllers 40 ausgeführt. Wie in Anbetracht der Offenbarung geschätzt werden mag, ist die Reihenfolge der Ausführung innerhalb des Verfahrens nicht durch die sequenzielle Ausführung wie in 10 gezeigt beschränkt, sondern mag in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie es in Einklang mit der vorliegenden Offenbarung geeignet sein mag. In diversen Ausführungsformen mag das Verfahren 800 angesetzt sein, basierend auf einem oder mehreren vorgegebenen Ereignissen abzulaufen und/oder kann während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen.
  • Das Verfahren beginnt mit Schritt 802. In Schritt 804 erlangt das Verfahren Bilddaten 332 der Fahrzeugkameras von den mit dem Fahrzeug 10 gekoppelten Kameras 44. In Schritt 806 verarbeitet das Verfahren die Bilder der Bildströme von den Kameras 44 an dem Fahrzeug 10, um eine Position des Anhängers 8 in dem Bild zu bestimmen. In Schritt 808, nachdem die Position des Anhängers 8 in den Bildern des Bildstroms bestimmt ist, bestimmt das Verfahren Merkmalspunkte oder Muster auf der Zugdeichsel 52 und/oder auf dem Frontpanel des Anhängers 8. In Schritt 810 schätzt das Verfahren für jeden Merkmalspunkt oder Muster eine Projektivitätsmatrix, um den Abstand von jeder der Kameras 44 an dem Fahrzeug 10 zu dem jeweiligen Merkmalspunkt oder Muster zu bestimmen. In Schritt 812 bestimmt das Verfahren den Schwenkwinkel 338 des Anhängers 8 mit Bezug zu dem Fahrzeug 10 basierend auf den bestimmten Abständen und der bekannten Fahrzeugkoordinatenposition der Kameras 44 an dem Fahrzeug 10. In Schritt 814 erzeugt das Verfahren Daten 364 einer Nutzerschnittstelle für einen Schwenkwinkel und gibt die Daten 364 einer Nutzerschnittstelle für einen Schwenkwinkel zum Rendern auf einer Anzeige 54 aus und überlagert eine Ansicht auf der Anzeige 54, so wie den Abschnitt der Rundumsicht 354 (wie in 8 gezeigt). Das Verfahren endet in Schritt 816.
  • Mit Bezug nun zu 11 und mit weitergehendem Bezug zu den 1 bis 3, zeigt ein Flussdiagramm ein Verfahren 900 zum Schätzen eines Zustands, welches ausgeführt werden kann von dem Anhängerbildsystem 100 der 1 bis 3 gemäß der vorliegenden Offenbarung. In diversen Ausführungsformen wird das Verfahren 900 zum Schätzen eines Zustands (oder mehrerer Zustände) von dem Prozessor 64 des Controllers 40 ausgeführt. Wie in Anbetracht der Offenbarung geschätzt werden mag, ist die Reihenfolge der Ausführung innerhalb des Verfahrens nicht durch die sequenzielle Ausführung wie in 11 gezeigt beschränkt, sondern mag in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie es in Einklang mit der vorliegenden Offenbarung geeignet sein mag. In diversen Ausführungsformen mag das Verfahren 900 angesetzt sein, basierend auf einem oder mehreren vorgegebenen Ereignissen abzulaufen und/oder kann während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen.
  • Das Verfahren beginnt mit Schritt 902. In Schritt 904 erlangt das Verfahren Bilddaten 332 der Fahrzeugkameras von den mit dem Fahrzeug 10 gekoppelten Kameras 44. In Schritt 906 verarbeitet das Verfahren die Bilder der Bildströme von den Kameras 44 an dem Fahrzeug 10, um eine Position des Anhängers 8 in dem Bildstrom zu bestimmen. In Schritt 908, nachdem die Position des Anhängers 8 in den Bildern des Bildstroms bestimmt ist, bestimmt das Verfahren Merkmalspunkte oder Muster auf der Zugdeichsel 52 und/oder auf dem Frontpanel des Anhängers 8. In Schritt 910 schätzt das Verfahren für jeden Merkmalspunkt oder Muster eine Projektivitätsmatrix, um den Abstand von jeder der Kameras 44 an dem Fahrzeug 10 zu dem jeweiligen Merkmalspunkt oder Muster zu bestimmen. In Schritt 912 bestimmt das Verfahren den Rollwinkel des Anhängers 8 mit Bezug zu dem Fahrzeug 10 basierend auf den bestimmten Abständen und der bekannten Fahrzeugkoordinatenposition der Kameras 44 an dem Fahrzeug 10.
  • In Schritt 914 ruft das Verfahren den Schwellwert für den Rollwinkel aus dem Schwellwertdatenspeicher 306 ab und bestimmt, ob der Rollwinkel größer ist als der vorgegebene Schwellwert für den Rollwinkel. Wenn ja, setzt sich das Verfahren fort in Schritt 916. In Schritt 916 erzeugt das Verfahren Daten 362 einer Nutzerschnittstelle für einen Alarm und gibt die Daten 362 einer Nutzerschnittstelle für einen Alarm zum Rendern auf der Anzeige 54 aus. Wie diskutiert mögen die Daten 362 einer Nutzerschnittstelle für einen Alarm eine oder mehrere Warnmitteilungen zum Rendern auf der Anzeige 54 enthalten, so wie eine Warnung, dass der Rollwinkel des Anhängers 8 größer ist als der Schwellwert für den Rollwinkel. Optional erzeugt das Verfahren in Schritt 918 die Steuersignale 342 und gibt diese an das Aktuatorsystem 36 aus. Das Verfahren endet in Schritt 920.
  • Andernfalls, wenn im Schritt 914 der Rollwinkel geringer ist als der Schwellwert für den Rollwinkel, setzt sich das Verfahren in Schritt 922 fort. In Schritt 922 empfängt das Verfahren den Schwenkwinkel 338, welcher basierend auf dem Verfahren der 10 bestimmt wurde. In Schritt 924 ruft das Verfahren den Schwellwert für den Schwenkwinkel aus dem Schwellwertdatenspeicher 306 ab und bestimmt, ob der Schwenkwinkel 338 größer ist als der vorgegebene Schwellwert für den Schwenkwinkel des Anhängers 8. Wenn der Schwenkwinkel 338 kleiner ist als der vorgegebene Schwellwert für den Schwenkwinkel, endet das Verfahren in Schritt 920. Andernfalls, wenn der Schwenkwinkel 338 größer ist als der vorgegebene Schwellwert für den Schwenkwinkel, setzt sich das Verfahren in Schritt 916 fort. In diesem Beispiel mögen die Daten 362 einer Nutzerschnittstelle für einen Alarm eine oder mehrere Warnmitteilungen zum Rendern auf der Anzeige 54 enthalten, so wie eine Warnung, dass der Schwenkwinkel des Anhängers 8 größer ist als der Schwellwert für den Schwenkwinkel.
  • Mit Bezug nun zu 12 und mit weitergehendem Bezug zu den 1 bis 3, zeigt ein Flussdiagramm ein Verfahren 1000 zum Rendern einer Ansicht mit transparentem Anhänger, welches ausgeführt werden kann von dem Anhängerbildsystem 100 der 1 bis 3 gemäß der vorliegenden Offenbarung. In diversen Ausführungsformen wird das Verfahren 1000 zum Rendern einer Ansicht mit transparentem Anhänger von dem Prozessor 64 des Controllers 40 ausgeführt. Wie in Anbetracht der Offenbarung geschätzt werden mag, ist die Reihenfolge der Ausführung innerhalb des Verfahrens nicht durch die sequenzielle Ausführung wie in 12 gezeigt beschränkt, sondern mag in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie es in Einklang mit der vorliegenden Offenbarung geeignet sein mag. In diversen Ausführungsformen mag das Verfahren 1000 angesetzt sein, basierend auf einem oder mehreren vorgegebenen Ereignissen abzulaufen und/oder kann während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen.
  • Das Verfahren beginnt mit Schritt 1002. In Schritt 1004 erlangt das Verfahren Bilddaten 330 der Anhängerkameras von den Kameras 44 an dem Anhänger 8 und Bilddaten 332 der Fahrzeugkameras von den Kameras 44 an dem Fahrzeug 10. In Schritt 1006 bestimmt das Verfahren eine Größe der Ansicht, welche den Anhänger 8 enthält, basierend auf den Ausmaßen 350 des Anhängers, welche als Eingabe von der Eingabevorrichtung 56 empfangen wurden. Grundsätzlich muss das Verfahren den Bereich, welcher den Anhänger 8 enthält, in den Bilddaten von den Kameras 44 an dem Fahrzeug 10 bestimmen, um unterschiedliche Anhängergrößen unterbringen zu können. In einem Beispiel bestimmt das Verfahren die Größe des Bildes, welches den Anhänger 8 enthält, basierend auf einem Detektieren der Anhängerregion in dem Bild von der mit dem Heck 46 des Fahrzeugs 10 gekoppelten Kamera 44, was unterstützt werden mag durch das Empfangen der Ausmaße 350 des Anhängers als Eingabe. Zusätzlich mag der Schwenkwinkel 338 auch beim Bestimmen der Größe des Bildes, welches den Anhänger 8 enthält, unterstützen. In Schritt 1008 verarbeitet das Verfahren die Bilddaten 330 der Anhängerkameras und die Bilddaten 332 der Fahrzeugkameras, um Bereiche des Überlapps in den Bildern der Bilderströme zu bestimmen, und zwar basierend auf den Kalibrierungsdaten 320 und den bekannten Orten (Position und Ausrichtung) der Kameras 44 an dem Fahrzeug 10.
  • In Schritt 1010 definiert das Verfahren die zusammenfügenden Begrenzungslinien basierend auf den Bereichen des Überlapps. In einem Beispiel sind die zusammenfügenden Begrenzungslinien durch den Umfang eines Bereichs des Überlapps (Überlappbereich) definiert. In Schritt 1012 empfängt das Verfahren die Geschwindigkeitsdaten 352, welche die Geschwindigkeit des Fahrzeugs 10 anzeigen, und fragt den Koeffizientendatenspeicher 310 ab um die Verbindungskoeffizienten 346, welche der Geschwindigkeit des Fahrzeugs entsprechen, abzurufen. In Schritt 1014 bestimmt das Verfahren die Verbindungszonen um die zusammenfügenden Begrenzungslinien herum basierend auf dem abgerufenen Verbindungskoeffizienten 346. In Schritt 1016 bestimmt das Verfahren, ob der Schwenkwinkel 338 (bestimmt wie mit Bezug zu 10 diskutiert) größer als 0 Grad ist. Wenn ja, setzt sich das Verfahren fort in Schritt 1018. Andernfalls springt das Verfahren zu Schritt 1020.
  • In Schritt 1018 passt das Verfahren die Begrenzungslinien des zusammengefügten Bildes an, um den Schwenkwinkel 338 zu kompensieren. In Schritt 1020 fügt das Verfahren die Bilder der Bildströme in den Bilddaten 330 der Anhängerkameras und die Bilder der Bildströme in den Bilddaten 332 der Fahrzeugkameras entlang der Begrenzungslinien zusammen und verbindet die Bilder der Bildströme in den Verbindungszonen, die durch den abgerufenen Verbindungskoeffizienten 346 definiert sind, um einen gleichmäßigen, nahtlosen Bildstrom zu erzeugen. In Schritt 1022 bestimmt das Verfahren basierend auf den Hindernisdaten 356, ob ein Hindernis in den Bilddaten 330 der Anhängerkameras und/oder in den Bilddaten 332 der Fahrzeugkameras detektiert wurde. Wenn ja, legt das Verfahren die Mitteilung des Hindernisses auf das übergangslose Bild der Ansicht, und zwar in Schritt 1024. In Schritt 1026 erzeugt das Verfahren die Daten 358 für eine Ansicht mit transparentem Anhänger, welche das übergangslose Bild der Ansicht hinter dem Heck 46 des Fahrzeugs 10 enthalten, und gibt die Daten 358 für eine Ansicht mit transparentem Anhänger aus zum Rendern auf der Anzeige 54. Das Verfahren endet in Schritt 1028. Nachdem also der Anhängerbereich in den Bilddaten 332 der Fahrzeugkameras und das von dem Anhänger 8 blockierte Sichtfeld detektiert wurden, werden Bilder von den Kameras 44 an dem Anhänger 8 erfasst und verarbeitet, um die Szene aus dem von dem Anhänger 8 blockierten und in die Daten 358 für eine Ansicht mit transparentem Anhänger gefüllten/eingebundenen Sichtfeld zu extrahieren.
  • Mit Bezug nun zu 13 und mit weitergehendem Bezug zu den 1 bis 3, zeigt ein Flussdiagramm ein Verfahren 1100 zum Rendern einer Rundumsicht oder 360 Grad Ansicht, welches ausgeführt werden kann von dem Anhängerbildsystem 100 der 1 bis 3 gemäß der vorliegenden Offenbarung. In diversen Ausführungsformen wird das Verfahren 1100 zum Rendern einer Rundumsicht von dem Prozessor 64 des Controllers 40 ausgeführt. Wie in Anbetracht der Offenbarung geschätzt werden mag, ist die Reihenfolge der Ausführung innerhalb des Verfahrens nicht durch die sequenzielle Ausführung wie in 13 gezeigt beschränkt, sondern mag in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie es in Einklang mit der vorliegenden Offenbarung geeignet sein mag. In diversen Ausführungsformen mag das Verfahren 1100 angesetzt sein, basierend auf einem oder mehreren vorgegebenen Ereignissen abzulaufen und/oder kann während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen.
  • Das Verfahren beginnt mit Schritt 1102. In Schritt 1104 erlangt das Verfahren Bilddaten 330 der Anhängerkameras von den Kameras 44 an dem Anhänger 8 und Bilddaten 332 der Fahrzeugkameras von den Kameras 44 an dem Fahrzeug 10. In Schritt 1106 verarbeitet das Verfahren die Bilddaten 330 der Anhängerkameras und die Bilddaten 332 der Fahrzeugkameras, um Bereiche des Überlapps in den Bildern der Bilderströme zu bestimmen, und zwar basierend auf den Kalibrierungsdaten 320 und den bekannten Orten (Position und Ausrichtung) der Kameras 44 an dem Fahrzeug 10.
  • In Schritt 1108 definiert das Verfahren die zusammenfügenden Begrenzungslinien basierend auf den Bereichen des Überlapps. In einem Beispiel sind die zusammenfügenden Begrenzungslinien durch den Umfang eines Bereichs des Überlapps (Überlappbereich) definiert. In Schritt 1110 empfängt das Verfahren die Geschwindigkeitsdaten 352, welche die Geschwindigkeit des Fahrzeugs 10 anzeigen, und fragt den Koeffizientendatenspeicher 310 ab um die Verbindungskoeffizienten 346, welche der Geschwindigkeit des Fahrzeugs entsprechen, abzurufen. In Schritt 1112 bestimmt das Verfahren die Verbindungszone um die zusammenfügenden Begrenzungslinien herum basierend auf dem abgerufenen Verbindungskoeffizienten 346. In Schritt 1114 bestimmt das Verfahren, ob der Schwenkwinkel 338 (bestimmt wie mit Bezug zu 10 diskutiert) größer als 0 Grad ist. Wenn ja, setzt sich das Verfahren fort in Schritt 1116. Andernfalls springt das Verfahren zu Schritt 1118.
  • In Schritt 1116 passt das Verfahren die Begrenzungslinien des zusammengefügten Bildes an, um den Schwenkwinkel 338 zu kompensieren. In Schritt 1118 fügt das Verfahren die Bilder der Bildströme in den Bilddaten 330 der Anhängerkameras und die Bilder der Bildströme in den Bilddaten 332 der Fahrzeugkameras entlang der Begrenzungslinien zusammen und verbindet die Bilder der Bildströme in den Verbindungszonen, die durch den abgerufenen Verbindungskoeffizienten 346 definiert sind, um einen gleichmäßigen, nahtlosen Bildstrom zu erzeugen. In Schritt 1120 bestimmt das Verfahren basierend auf den Hindernisdaten 356, ob ein Hindernis in den Bilddaten 330 der Anhängerkameras und/oder in den Bilddaten 332 der Fahrzeugkameras detektiert wurde. Wenn ja, legt das Verfahren die Mitteilung des Hindernisses auf das übergangslose Bild der Ansicht, und zwar in Schritt 1122. In Schritt 1124 erzeugt das Verfahren die Daten 360 der Nutzerschnittstelle für die Vogelperspektive, welche die nahtlosen Bilder der das Fahrzeug 10 und/oder den Anhänger 8 umgebenden Ansicht enthalten, und gibt die Daten 360 der Nutzerschnittstelle für die Vogelperspektive zum Rendern auf der Anzeige 54 aus. Das Verfahren endet in Schritt 1126.
  • Auch werden die folgenden Beispiele angegeben, die für eine einfachere Bezugnahme nummeriert sind:
    • 1. Ein Verfahren für ein einen Anhänger ziehendes Zugfahrzeug mit zumindest einem Bildgerät, aufweisend: Empfangen eines ersten Bildstroms mit einer Vielzahl von ersten Bildern von einem ersten Bildgerät, welches mit dem Anhänger gekoppelt ist; Empfangen eines zweiten Bildstroms mit einer Vielzahl von zweiten Bildern von einem zweiten Bildgerät, welches mit dem Zugfahrzeug gekoppelt ist; Bestimmen, mittels eines Prozessors an Bord des Zugfahrzeug, zumindest eines gemeinsamen Merkmals zwischen einem ersten Bild von der Vielzahl von ersten Bildern und einem zweiten Bild von der Vielzahl von zweiten Bildern; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines ersten Abstands von dem ersten Bildgerät, welches mit dem Anhänger gekoppelt ist, zu dem zumindest einen gemeinsamen Merkmal und eines zweiten Abstands von dem zweiten Bildgerät, welches mit dem Zugfahrzeug gekoppelt ist, zu dem zumindest einen gemeinsamen Merkmal; und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug.
    • 2. Das Verfahren gemäß Beispiel 1, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob das Zugfahrzeug in einem Fahrbereich ist und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs und vor dem Schritt des Bestimmens des zumindest einen gemeinsamen Merkmals, ob das Zugfahrzeug sich entlang eines im Wesentlichen geraden Pfades bewegt.
    • 3. Das Verfahren gemäß Beispiel 1 oder 2, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob der Anhänger an das Zugfahrzeug gekoppelt ist; und basierend auf der Bestimmung, Speichern, mittels des Prozessors an Bord des Zugfahrzeugs, eines Kalibrierungsbildes aus dem zweiten Bildstrom in einen Datenspeicher.
    • 4. Das Verfahren gemäß Beispiel 3, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob der Anhänger erneut oder wieder an das Zugfahrzeug gekoppelt ist; basierend auf der Bestimmung, dass der Anhänger wieder an das Zugfahrzeug gekoppelt ist: Abrufen des Kalibrierungsbildes aus dem Datenspeicher; Erlangen eines dritten Bildes von der Vielzahl von zweiten Bildern in dem zweiten Bildstrom; Vergleichen, mittels des Prozessors an Bord des Zugfahrzeugs, des Kalibrierungsbildes mit dem dritten Bild, um eine Horizontpositionsveränderung zwischen einem oder mehreren Pixeln in dem Kalibrierungsbild und dem dritten Bild zu bestimmen; Abrufen, mittels des Prozessors an Bord des Zugfahrzeugs, eines mit der Horizontpositionsveränderung verknüpften Nickwinkels aus einem Tabellendatenspeicher; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob der Nickwinkel kleiner ist als ein Schwellwert des Nickwinkels; und Aktualisieren der bekannten Position des zweiten Bildgeräts basierend auf dem Nickwinkel.
    • 5. Das Verfahren gemäß einem der voranstehenden Beispiele, wobei das zweite Bildgerät eine Vielzahl von zweiten Kameras enthält, die mit dem Zugfahrzeug gekoppelt sind und jede einen jeweiligen zweiten Bildstrom hat, das Verfahren weiterhin aufweisend: Verarbeiten, mittels des Prozessors an Bord des Zugfahrzeugs, der Vielzahl von zweiten Bildern von der Vielzahl von zweiten Bildströmen, um eine Position des Anhängers innerhalb eines oder mehrerer der Vielzahl von zweiten Bildern zu bestimmen; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines oder mehrerer Merkmalspunkte oder Muster auf einer Zugdeichsel oder einem Panel des Anhängers in dem einen oder den mehreren der Vielzahl von zweiten Bildern; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines dritten Abstands von einer der zweiten Kameras zu dem einen oder den mehreren Merkmalspunkten oder Mustern, und eines vierten Abstands von einer anderen der zweiten Kameras zu dem einen oder den mehreren Merkmalspunkten oder Mustern; und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines Schwenkwinkels des Anhängers mit Bezug zu dem Zugfahrzeug basierend auf dem dritten Abstand, dem vierten Abstand und einer bekannten Position der Vielzahl von zweiten Kameras an dem Zugfahrzeug.
    • 6. Das Verfahren gemäß Beispiel 5, weiterhin aufweisend: Erzeugen einer Nutzerschnittstelle für einen Schwenkwinkel zum Rendern auf einer Anzeige, die mit dem Zugfahrzeug verknüpft ist und die den Schwenkwinkel des Anhängers mit Bezug zu dem Zugfahrzeug graphisch anzeigt.
    • 7. Das Verfahren gemäß Beispiel 6, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, dass der Schwenkwinkel größer ist als ein Schwellwert für den Schwenkwinkel; und Erzeugen einer Nutzerschnittstelle für einen Alarm zum Rendern auf der Anzeige, die mit dem Zugfahrzeug verknüpft ist, basierend auf dem Schwenkwinkel, der größer ist als der Schwellwert für den Schwenkwinkel.
    • 8. Das Verfahren gemäß Beispiel 7, weiterhin aufweisend: Erzeugen, mittels des Prozessors an Bord des Zugfahrzeugs, eines oder mehrerer Steuersignale für ein Aktuatorsystem, das mit dem Zugfahrzeug verknüpft ist, zum Steuern eines oder mehrerer Aktuatoren einer Komponente des Zugfahrzeugs basierend auf dem Schwenkwinkel.
    • 9. Das Verfahren gemäß einem der voranstehenden Beispiele, wobei das zweite Bildgerät eine Vielzahl von zweiten Kameras enthält, die mit dem Zugfahrzeug gekoppelt sind und jede einen jeweiligen zweiten Bildstrom hat, das Verfahren weiterhin aufweisend: Verarbeiten, mittels des Prozessors an Bord des Zugfahrzeugs, der Vielzahl von zweiten Bildern von der Vielzahl von zweiten Bildströmen, um eine Position des Anhängers innerhalb eines oder mehrerer der Vielzahl von zweiten Bildern zu bestimmen; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, Merkmalspunkte oder Muster auf einer Zugdeichsel oder einem Panel des Anhängers in dem einen oder den mehreren der Vielzahl von zweiten Bildern; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines fünften Abstands von einer der zweiten Kameras zu dem Merkmalspunkt oder Muster, und eines sechsten Abstands von einer anderen der zweiten Kameras zu dem Merkmalspunkt oder Muster; und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines Rollwinkels des Anhängers mit Bezug zu dem Zugfahrzeug basierend auf dem fünften Abstand, dem sechsten Abstand und einer bekannten Position der Vielzahl von zweiten Kameras an dem Zugfahrzeug.
    • 10. Das Verfahren gemäß Beispiel 9, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, dass der Rollwinkel größer ist als ein Schwellwert für den Rollwinkel; Erzeugen einer Nutzerschnittstelle für einen Alarm zum Rendern auf der Anzeige, die mit dem Zugfahrzeug verknüpft ist, basierend auf dem Rollwinkel, der größer ist als der Schwellwert für den Rollwinkel; und Erzeugen, mittels des Prozessors an Bord des Zugfahrzeugs, eines oder mehrerer Steuersignale für ein Aktuatorsystem, das mit dem Zugfahrzeug verknüpft ist, zum Steuern eines oder mehrerer Aktuatoren einer Komponente des Zugfahrzeugs basierend auf dem Rollwinkel.
    • 11. Das Verfahren gemäß einem der voranstehenden Beispiele, weiterhin aufweisend: Bestimmen, basierend auf der Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug und der bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug, eines Überlappbereichs von zumindest einem der Vielzahl von ersten Bildern mit zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen, mittels des Prozessors an Bord des Zugfahrzeugs, des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um ein nahtloses Bild einer Vollansicht eines Hecks des Zugfahrzeugs und frei von dem Anhänger zu erzeugen; und Erzeugen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Nutzerschnittstelle, welche die Vollansicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
    • 12. Das Verfahren gemäß einem der voranstehenden Beispiele, weiterhin aufweisend: Bestimmen, basierend auf der Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug und der bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug, eines Überlappbereichs von zumindest einem der Vielzahl von ersten Bildern mit zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen, mittels des Prozessors an Bord des Zugfahrzeugs, des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um ein nahtloses Bild einer Rundumsicht einer das Zugfahrzeug und den Anhänger umgebenden Umgebung zu erzeugen; und Erzeugen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Nutzerschnittstelle, welche die Rundumsicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
    • 13. Ein System für ein einen Anhänger ziehendes Zugfahrzeug mit zumindest einem Bildgerät, aufweisend: ein erstes mit dem Anhänger gekoppeltes Bildgerät, das einen ersten Bildstrom mit einer Vielzahl von ersten Bildern bereitstellt; ein zweites mit dem Zugfahrzeug gekoppeltes Bildgerät, das einen zweiten Bildstrom mit einer Vielzahl von zweiten Bildern bereitstellt; ein Controller an Bord des Zugfahrzeugs und in kommunikativer Verbindung mit dem ersten Bildgerät und dem zweiten Bildgerät, der Controller aufweisend einen Prozessor, welcher ausgeführt ist zum: Bestimmen, basierend auf einer kalibrierten Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug und einer bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug, eines Überlappbereichs von zumindest einem der Vielzahl von ersten Bildern mit zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um ein nahtloses Bild einer Rundumsicht einer das Zugfahrzeug und den Anhänger umgebenden Umgebung zu erzeugen; und Erzeugen einer Nutzerschnittstelle, welche die Rundumsicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
    • 14. Das System gemäß Beispiel 13, wobei der Controller ausgeführt ist, das zumindest eine der Vielzahl von ersten Bildern und das zumindest eine der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien zusammenzufügen, und das zumindest eine der Vielzahl von ersten Bildern und das zumindest eine der Vielzahl von zweiten Bildern in der Verbindungszone zu verbinden, um ein nahtloses Bild einer Vollansicht des Hecks des Zugfahrzeugs und frei von dem Anhänger zu erzeugen und eine Nutzerschnittstelle zu erzeugen, welche die Vollansicht zum Rendern auf der mit dem Zugfahrzeug verknüpften Anzeige enthält.
    • 15. Das System gemäß Beispiel 13 oder 14, wobei der Controller ausgeführt ist, zumindest ein gemeinsames Merkmal zwischen einem ersten Bild der Vielzahl von ersten Bildern und einem zweiten Bild der Vielzahl von zweiten Bildern zu bestimmen, einen ersten Abstand von dem ersten mit dem Anhänger gekoppelten Bildgerät zu dem zumindest einen gemeinsamen Merkmal und einen zweiten Abstand von dem zweiten mit dem Zugfahrzeug gekoppelten Bildgerät zu dem zumindest einen gemeinsamen Merkmal zu bestimmen, und die kalibrierte Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position des zweiten Bildgeräts an dem Zugfahrzeug zu bestimmen.
    • 16. Das System gemäß Beispiel 13, 14 oder 15, wobei das zweite Bildgerät eine Vielzahl von zweiten Kameras enthält, die mit dem Zugfahrzeug gekoppelt sind und jede einen jeweiligen zweiten Bildstrom hat, wobei jede zweite Kamera der Vielzahl von zweiten Kameras eine bekannte Position und Ausrichtung hat, wobei der Controller ausgeführt ist, zum: Verarbeiten der Vielzahl von zweiten Bildern von der Vielzahl von zweiten Bildströmen, um eine Position des Anhängers innerhalb eines oder mehrerer der Vielzahl von zweiten Bildern zu bestimmen; Bestimmen eines oder mehrerer Merkmalspunkte oder Muster auf einer Zugdeichsel oder einem Panel des Anhängers in dem einen oder den mehreren der Vielzahl von zweiten Bildern; Bestimmen eines dritten Abstands von einer der zweiten Kameras zu dem einen oder den mehreren Merkmalspunkten oder Mustern, und eines vierten Abstands von einer anderen der zweiten Kameras zu dem einen oder den mehreren Merkmalspunkten oder Mustern; und Bestimmen eines Schwenkwinkels des Anhängers mit Bezug zu dem Zugfahrzeug basierend auf dem dritten Abstand, dem vierten Abstand und einer bekannten Position und Ausrichtung der Vielzahl von zweiten Kameras an dem Zugfahrzeug.
    • 17. Das System gemäß Beispiel 16, wobei der Controller ausgeführt ist zum: Bestimmen, dass der Schwenkwinkel größer ist als ein Schwellwert für den Schwenkwinkel; Erzeugen einer Nutzerschnittstelle für einen Alarm zum Rendern auf der Anzeige basierend auf dem Schwenkwinkel, der größer ist als der Schwellwert für den Schwenkwinkel; und Erzeugen eines oder mehrerer Steuersignale für ein Aktuatorsystem, das mit dem Zugfahrzeug verknüpft ist, zum Steuern eines oder mehrerer Aktuatoren einer Komponente des Zugfahrzeugs basierend auf dem Schwenkwinkel.
    • 18. Ein Zugfahrzeug zum Koppeln an einen Anhänger und einen Anhänger ziehend, aufweisend ein Anhängerbildsystem, das Zugfahrzeug aufweisend: eine Quelle eines ersten Bildstroms mit einer Vielzahl von ersten Bildern von einer ersten mit dem Anhänger gekoppelten Kamera; eine zweite mit dem Zugfahrzeug gekoppelte Kamera, die einen zweiten Bildstrom mit einer Vielzahl von zweiten Bildern bereitstellt; Ein Controller, der in kommunikativer Verbindung mit der ersten Kamera und der zweiten Kamera ist, der Controller aufweisend einen Prozessor, der ausgeführt ist zum: Bestimmen zumindest eines gemeinsamen Merkmals zwischen einem ersten Bild von der Vielzahl von ersten Bildern und einem zweiten Bild von der Vielzahl von zweiten Bildern; Bestimmen eines ersten Abstands von der ersten Kamera, welche mit dem Anhänger gekoppelt ist, zu dem zumindest einen gemeinsamen Merkmal und eines zweiten Abstands von der zweiten Kamera, welche mit dem Zugfahrzeug gekoppelt ist, zu dem zumindest einen gemeinsamen Merkmal; und Bestimmen einer Position der ersten Kamera mit Bezug zu dem Zugfahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position und Ausrichtung der zweiten Kamera an dem Zugfahrzeug. wobei der Controller ausgeführt ist, basierend auf der Position der ersten Kamera und der bekannten Position und Ausrichtung der zweiten Kamera, zumindest eine der folgenden Tätigkeiten auszuführen: Erzeugen eines nahtlosen Bildes einer Rundumsicht einer das Zugfahrzeug und den Anhänger umgebenden Umgebung, und Erzeugen eines nahtlosen Bildes einer Vollansicht eines Hecks des Zugfahrzeugs, welche frei ist von dem Anhänger.
    • 19. Das Zugfahrzeug gemäß Beispiel 18, wobei der Controller ausgeführt ist zum: Bestimmen eines Überlappbereichs in zumindest einem der Vielzahl von ersten Bildern und zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um das nahtlose Bild der Rundumsicht der das Zugfahrzeug und den Anhänger umgebenden Umgebung zu erzeugen; und Erzeugen einer Nutzerschnittstelle, welche die Rundumsicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
    • 20. Das Zugfahrzeug gemäß Beispiel 18 oder 19, wobei der Controller ausgeführt ist, das zumindest eine der Vielzahl von ersten Bildern und das zumindest eine der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien zusammenzufügen, und das zumindest eine der Vielzahl von ersten Bildern und das zumindest eine der Vielzahl von zweiten Bildern in der Verbindungszone zu verbinden, um das nahtlose Bild der Vollansicht des Hecks des Zugfahrzeugs und frei von dem Anhänger zu erzeugen und eine Nutzerschnittstelle zu erzeugen, welche die Vollansicht zum Rendern auf der Anzeige enthält.
  • Während zumindest eine beispielhafte Ausführungsform in der vorangehenden detaillierten Beschreibung dargelegt wurde, sollte bedacht werden, dass eine große Anzahl von Variationen existiert. Es sollte auch bedacht werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen lediglich Beispiele sind und nicht beabsichtigt sind, den Schutzbereich, die Anwendbarkeit oder den Aufbau des Gegenstands der Offenbarung in irgendeiner Weise zu beschränken. Vielmehr wird die voranstehende detaillierte Beschreibung dem Fachmann auf dem technischen Gebiet eine bequeme Anleitung für das Umsetzen einer beispielhaften Ausführungsform oder beispielhaften Ausführungsformen anbieten. Es sei bedacht, dass diverse Änderungen in der Funktion und der Anordnung der Elemente vorgenommen werden mögen, ohne hierdurch von dem Bereich der Offenbarung wie in den angefügten Ansprüchen dargelegt und den rechtlichen Äquivalenten hiervon abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2015/0332098 [0060, 0068]
    • US 14/710322 [0060]
    • US 2015/0332446 [0068]
  • Zitierte Nicht-Patentliteratur
    • IEEE 802.11 [0031]

Claims (10)

  1. Ein Verfahren für ein einen Anhänger ziehendes Zugfahrzeug mit zumindest einem Bildgerät, aufweisend: Empfangen eines ersten Bildstroms mit einer Vielzahl von ersten Bildern von einem ersten Bildgerät, welches mit dem Anhänger gekoppelt ist; Empfangen eines zweiten Bildstroms mit einer Vielzahl von zweiten Bildern von einem zweiten Bildgerät, welches mit dem Zugfahrzeug gekoppelt ist; Bestimmen, mittels eines Prozessors an Bord des Zugfahrzeugs, zumindest eines gemeinsamen Merkmals zwischen einem ersten Bild von der Vielzahl von ersten Bildern und einem zweiten Bild von der Vielzahl von zweiten Bildern; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines ersten Abstands von dem ersten Bildgerät, welches mit dem Anhänger gekoppelt ist, zu dem zumindest einen gemeinsamen Merkmal und eines zweiten Abstands von dem zweiten Bildgerät, welches mit dem Zugfahrzeug gekoppelt ist, zu dem zumindest einen gemeinsamen Merkmal; und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug.
  2. Das Verfahren gemäß Anspruch 1, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob das Zugfahrzeug in einem Fahrbereich ist und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs und vor dem Schritt des Bestimmens des zumindest einen gemeinsamen Merkmals, ob das Zugfahrzeug sich entlang eines im Wesentlichen geraden Pfades bewegt.
  3. Das Verfahren gemäß Anspruch 1 oder 2, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob der Anhänger an das Zugfahrzeug gekoppelt ist; und basierend auf der Bestimmung, Speichern, mittels des Prozessors an Bord des Zugfahrzeugs, eines Kalibrierungsbildes aus dem zweiten Bildstrom in einen Datenspeicher.
  4. Das Verfahren gemäß Anspruch 3, weiterhin aufweisend: Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob der Anhänger wieder an das Zugfahrzeug gekoppelt ist; basierend auf der Bestimmung, dass der Anhänger wieder an das Zugfahrzeug gekoppelt ist: Abrufen des Kalibrierungsbildes aus dem Datenspeicher; Erlangen eines dritten Bildes von der Vielzahl von zweiten Bildern in dem zweiten Bildstrom; Vergleichen, mittels des Prozessors an Bord des Zugfahrzeugs, des Kalibrierungsbildes mit dem dritten Bild, um eine Horizontpositionsveränderung zwischen einem oder mehreren Pixeln in dem Kalibrierungsbild und dem dritten Bild zu bestimmen; Abrufen, mittels des Prozessors an Bord des Zugfahrzeugs, eines mit der Horizontpositionsveränderung verknüpften Nickwinkels aus einem Tabellendatenspeicher; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, ob der Nickwinkel kleiner ist als ein Schwellwert des Nickwinkels; und Aktualisieren der bekannten Position des zweiten Bildgeräts basierend auf dem Nickwinkel.
  5. Das Verfahren gemäß einem der voranstehenden Ansprüche, wobei das zweite Bildgerät eine Vielzahl von zweiten Kameras enthält, die mit dem Zugfahrzeug gekoppelt sind und jede einen jeweiligen zweiten Bildstrom hat, das Verfahren weiterhin aufweisend: Verarbeiten, mittels des Prozessors an Bord des Zugfahrzeugs, der Vielzahl von zweiten Bildern von der Vielzahl von zweiten Bildströmen, um eine Position des Anhängers innerhalb eines oder mehrerer der Vielzahl von zweiten Bildern zu bestimmen; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines oder mehrerer Merkmalspunkte oder Muster auf einer Zugdeichsel oder einem Panel des Anhängers in dem einen oder den mehreren der Vielzahl von zweiten Bildern; Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines dritten Abstands von einer der zweiten Kameras zu dem einen oder den mehreren Merkmalspunkten oder Mustern, und eines vierten Abstands von einer anderen der zweiten Kameras zu dem einen oder den mehreren Merkmalspunkten oder Mustern; und Bestimmen, mittels des Prozessors an Bord des Zugfahrzeugs, eines Schwenkwinkels des Anhängers mit Bezug zu dem Zugfahrzeug basierend auf dem dritten Abstand, dem vierten Abstand und einer bekannten Position der Vielzahl von zweiten Kameras an dem Zugfahrzeug.
  6. Das Verfahren gemäß einem der voranstehenden Ansprüche, weiterhin aufweisend: Bestimmen, basierend auf der Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug und der bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug, eines Überlappbereichs von zumindest einem der Vielzahl von ersten Bildern mit zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen, mittels des Prozessors an Bord des Zugfahrzeugs, des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um ein nahtloses Bild einer Vollansicht eines Hecks des Zugfahrzeugs und frei von dem Anhänger zu erzeugen; und Erzeugen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Nutzerschnittstelle, welche die Vollansicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
  7. Das Verfahren gemäß einem der voranstehenden Ansprüche, weiterhin aufweisend: Bestimmen, basierend auf der Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug und der bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug, eines Überlappbereichs von zumindest einem der Vielzahl von ersten Bildern mit zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen, mittels des Prozessors an Bord des Zugfahrzeugs, des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um ein nahtloses Bild einer Rundumsicht einer das Zugfahrzeug und den Anhänger umgebenden Umgebung zu erzeugen; und Erzeugen, mittels des Prozessors an Bord des Zugfahrzeugs, einer Nutzerschnittstelle, welche die Rundumsicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
  8. Ein System für ein einen Anhänger ziehendes Zugfahrzeug mit zumindest einem Bildgerät, aufweisend: ein erstes mit dem Anhänger gekoppeltes Bildgerät, das einen ersten Bildstrom mit einer Vielzahl von ersten Bildern bereitstellt; ein zweites mit dem Zugfahrzeug gekoppeltes Bildgerät, das einen zweiten Bildstrom mit einer Vielzahl von zweiten Bildern bereitstellt; ein Controller an Bord des Zugfahrzeugs und in kommunikativer Verbindung mit dem ersten Bildgerät und dem zweiten Bildgerät, der Controller aufweisend einen Prozessor, welcher ausgeführt ist zum: Bestimmen, basierend auf einer kalibrierten Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug und einer bekannten Position und Ausrichtung des zweiten Bildgeräts an dem Zugfahrzeug, eines Überlappbereichs von zumindest einem der Vielzahl von ersten Bildern mit zumindest einem der Vielzahl von zweiten Bildern; Definieren einer oder mehrerer Begrenzungslinien basierend auf dem Überlappbereich; Bestimmen, basierend auf einer Geschwindigkeit des Zugfahrzeugs, eines Verbindungskoeffizienten, welcher eine Verbindungszone um die eine oder mehreren Begrenzungslinien definiert; Zusammenfügen des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien und Verbinden des zumindest einen der Vielzahl von ersten Bildern und des zumindest einen der Vielzahl von zweiten Bildern in der Verbindungszone, um ein nahtloses Bild einer Rundumsicht einer das Zugfahrzeug und den Anhänger umgebenden Umgebung zu erzeugen; und Erzeugen einer Nutzerschnittstelle, welche die Rundumsicht zum Rendern auf einer mit dem Zugfahrzeug verknüpften Anzeige enthält.
  9. Das System gemäß Anspruch 8, wobei der Controller ausgeführt ist, das zumindest eine der Vielzahl von ersten Bildern und das zumindest eine der Vielzahl von zweiten Bildern entlang der einen oder mehreren Begrenzungslinien zusammenzufügen, und das zumindest eine der Vielzahl von ersten Bildern und das zumindest eine der Vielzahl von zweiten Bildern in der Verbindungszone zu verbinden, um ein nahtloses Bild einer Vollansicht des Hecks des Zugfahrzeugs und frei von dem Anhänger zu erzeugen und eine Nutzerschnittstelle zu erzeugen, welche die Vollansicht zum Rendern auf der mit dem Zugfahrzeug verknüpften Anzeige enthält.
  10. Das System gemäß Anspruch 8 oder 9, wobei der Controller ausgeführt ist, zumindest ein gemeinsames Merkmal zwischen einem ersten Bild der Vielzahl von ersten Bildern und einem zweiten Bild der Vielzahl von zweiten Bildern zu bestimmen, einen ersten Abstand von dem ersten mit dem Anhänger gekoppelten Bildgerät zu dem zumindest einen gemeinsamen Merkmal und einen zweiten Abstand von dem zweiten mit dem Zugfahrzeug gekoppelten Bildgerät zu dem zumindest einen gemeinsamen Merkmal zu bestimmen, und die kalibrierte Position des ersten Bildgeräts mit Bezug zu dem Zugfahrzeug basierend auf dem ersten Abstand, dem zweiten Abstand und einer bekannten Position des zweiten Bildgeräts an dem Zugfahrzeug zu bestimmen.
DE102017111530.7A 2016-05-27 2017-05-26 Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten Pending DE102017111530A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662342671P 2016-05-27 2016-05-27
US62/342,671 2016-05-27
US15/592,913 2017-05-11
US15/592,913 US10259390B2 (en) 2016-05-27 2017-05-11 Systems and methods for towing vehicle and trailer with surround view imaging devices

Publications (1)

Publication Number Publication Date
DE102017111530A1 true DE102017111530A1 (de) 2017-11-30

Family

ID=60269429

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017111530.7A Pending DE102017111530A1 (de) 2016-05-27 2017-05-26 Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten

Country Status (3)

Country Link
US (1) US10259390B2 (de)
CN (1) CN107433905B (de)
DE (1) DE102017111530A1 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018201027A1 (de) * 2018-01-23 2019-07-25 Continental Automotive Gmbh Kamera-Monitor-System sowie Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
WO2019158468A1 (de) * 2018-02-16 2019-08-22 Saf-Holland Gmbh Mobile sensorvorrichtung für einen sattelzug, anordnung von mobilen sensorvorrichtungen an einem sattelauflieger, verfahren zum erfassen von informationen für einen sattelzug, zentraleinrichtung und sattelzugmaschine
WO2019210142A1 (en) * 2018-04-27 2019-10-31 Continental Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
DE102019200186A1 (de) * 2019-01-09 2020-07-09 Continental Automotive Gmbh Verfahren zur Lokalisierung von Kameras sowie ein Kamerasystem und ein Fahrzeug mit einem Kamerasystem
DE102019209061B3 (de) * 2019-06-24 2020-09-03 Zf Friedrichshafen Ag Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht, Verfahren und Computerprogramm
WO2020187978A1 (en) * 2019-03-19 2020-09-24 Jaguar Land Rover Limited Image processing system and method
DE102019133948A1 (de) * 2019-12-11 2021-06-17 Connaught Electronics Ltd. Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger
WO2022171794A1 (de) * 2021-02-12 2022-08-18 Zf Friedrichshafen Ag Omniview für fahrzeuge mit knickgelenk
WO2024078667A1 (de) * 2022-10-12 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm
US11983969B2 (en) 2021-01-27 2024-05-14 Ford Global Technologies, Llc Systems and methods for modeling electric vehicle towing

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015306153B2 (en) * 2014-08-18 2018-11-08 Jaguar Land Rover Limited Display system and method
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
KR101789984B1 (ko) * 2016-07-13 2017-10-25 엠엠피씨 주식회사 차량용 사이드 미러 카메라 시스템
US10391939B2 (en) * 2016-09-01 2019-08-27 GM Global Technology Operations LLC Method and apparatus to determine trailer pose
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
TWI599989B (zh) * 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
US10638025B2 (en) * 2017-03-22 2020-04-28 Magna Electronics Inc. Vehicular trailering assist sytem
US10552976B2 (en) 2017-03-22 2020-02-04 Magna Electronics Inc. Trailer angle detection system for vehicle
WO2019037870A1 (en) * 2017-08-25 2019-02-28 Volvo Truck Corporation METHOD FOR DIRECTING AN ARTICULATED VEHICLE
US20190129429A1 (en) * 2017-10-26 2019-05-02 Uber Technologies, Inc. Systems and Methods for Determining Tractor-Trailer Angles and Distances
DE102017220459B4 (de) * 2017-11-16 2023-10-19 Volkswagen Aktiengesellschaft Verfahren und Anhängerankuppelassistent zum Unterstützen eines Ankuppelvorgangs eines rückwärts an einen Anhänger heranfahrenden Kraftfahrzeugs, sowie Kraftfahrzeug
JP6733647B2 (ja) * 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
DE102017130566B4 (de) * 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
US11135881B2 (en) * 2018-01-08 2021-10-05 Hall Labs Llc Trailer and a tow vehicle path optimization
US10635933B2 (en) * 2018-01-23 2020-04-28 Ford Global Technologies, Llc Vision-based methods and systems for determining trailer presence
US10549694B2 (en) * 2018-02-06 2020-02-04 GM Global Technology Operations LLC Vehicle-trailer rearview vision system and method
EP3528210A1 (de) * 2018-02-14 2019-08-21 Koninklijke Philips N.V. Bildgebendes system und -verfahren mit stitching mehrerer bilder
US11633994B2 (en) * 2018-04-04 2023-04-25 Continental Autonomous Mobility Us, Llc. Vehicle-trailer distance detection device and method
EP3552926A1 (de) * 2018-04-09 2019-10-16 Continental Automotive GmbH Vorrichtung zur bestimmung eines winkels eines an einem fahrzeug befestigten anhängers
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US10919572B2 (en) * 2018-06-07 2021-02-16 GM Global Technology Operations LLC Controlling a vehicle based on trailer sway
US10748295B2 (en) * 2018-06-08 2020-08-18 Ford Global Technologies, Llc Object tracking in blind-spot
US10884119B2 (en) * 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
DE102018210877A1 (de) * 2018-07-03 2020-01-09 Robert Bosch Gmbh Verfahren zur Unterstützung bei einem Rangiermanöver eines Gespanns aus Zugfahrzeug und Anhänger, System und Gespann
US10946710B2 (en) * 2018-08-08 2021-03-16 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for alerting drivers of excessive tongue weight
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
US10891949B2 (en) * 2018-09-10 2021-01-12 Ford Global Technologies, Llc Vehicle language processing
EP3627183B1 (de) * 2018-09-18 2022-05-11 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Steuerungssystem zum autonomen fahren eines fahrzeugs
CN109344801A (zh) * 2018-10-26 2019-02-15 京东方科技集团股份有限公司 一种物体检测方法及装置
CN110335305A (zh) * 2018-11-01 2019-10-15 驭势科技（北京）有限公司 一种拖车位姿的确定方法、装置、车载设备及存储介质
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
EP3707061A1 (de) * 2019-02-01 2020-09-16 Carit Automotive GmbH & Co. KG Parkassistenzsysteme für fahrzeuge
US11064165B2 (en) * 2019-02-05 2021-07-13 Magna Electronics Inc. Wireless trailer camera system with tracking feature
JP7208812B2 (ja) * 2019-02-06 2023-01-19 日立Astemo株式会社 電子制御装置
US11351917B2 (en) * 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
EP3928283A1 (de) 2019-02-19 2021-12-29 Orlaco Products B.V. Spiegelersatzsystem mit dynamischer heftung
US11062463B2 (en) * 2019-02-28 2021-07-13 Ford Global Technologies, Llc Method and apparatus for adaptive trailer content monitoring
GB2582262B (en) 2019-03-02 2022-09-28 Jaguar Land Rover Ltd Imaging system and method
GB2582541B (en) * 2019-03-12 2022-03-09 Jaguar Land Rover Ltd Driver assistance method and apparatus
US11417116B2 (en) 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11662196B2 (en) * 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
US11613210B2 (en) 2019-07-22 2023-03-28 Magna Electronics Inc. Trailering assist system with hitch ball position detection
US11613208B2 (en) 2019-07-30 2023-03-28 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11787339B2 (en) 2019-07-30 2023-10-17 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
DE102019122086A1 (de) 2019-08-16 2021-02-18 Connaught Electronics Ltd. Fahrerassistenz für eine Kombination
CN115210764A (zh) * 2019-09-19 2022-10-18 大陆智行美国有限责任公司 自动拖车摄像机校准
WO2021061651A1 (en) * 2019-09-24 2021-04-01 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11891057B2 (en) * 2019-09-24 2024-02-06 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system
US11679635B2 (en) 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
CN110719411B (zh) * 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备
US11358637B2 (en) * 2019-12-16 2022-06-14 GM Global Technology Operations LLC Method and apparatus for determining a trailer hitch articulation angle in a motor vehicle
CN115087584A (zh) * 2019-12-16 2022-09-20 马格纳电子系统公司 车辆拖车导引系统
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
US11351907B2 (en) * 2020-01-24 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Boat trailer water level detection system
US20210263513A1 (en) * 2020-02-26 2021-08-26 Polaris Industries Inc. Environment monitoring system and method for a towed recreational vehicle
DE102020106302A1 (de) * 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020107789A1 (de) * 2020-03-20 2021-09-23 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
CN111361502B (zh) * 2020-03-23 2021-04-13 长沙立中汽车设计开发股份有限公司 一种用于铰接工程车辆变角度全景环视系统的实现方法
CN111637852B (zh) * 2020-05-27 2023-03-21 中国汽车技术研究中心有限公司 全挂汽车列车铰接角的测量系统及测量方法
US11861878B2 (en) * 2020-07-24 2024-01-02 Magna Electronics Inc. Vehicular trailering assist system with trailer calibration feature
DE102020209744A1 (de) 2020-08-03 2022-02-03 Zf Friedrichshafen Ag Omniview über zwei Fahrzeuge
US11977165B2 (en) 2020-08-10 2024-05-07 Waymo Llc Self-reflection filtering
JP7276282B2 (ja) * 2020-08-24 2023-05-18 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
DE102021212050A1 (de) * 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Kamerasystem für ein Anhängerkupplungssystem
DE102021212088B4 (de) * 2020-11-06 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Rückfahrkamerasystem für ein anhängerkupplungssystem und verfahren zum erzeugen einer darstellung in heckrichtung eines fahrzeuges
US11721108B2 (en) * 2020-11-10 2023-08-08 Ford Global Technologies, Llc System and method for training trailer detection systems
US11443413B2 (en) * 2020-12-09 2022-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle camera system for outside view and trailer aid
US11989902B2 (en) 2020-12-10 2024-05-21 Magna Electronics Inc. Vehicular trailering assist system with trailer beam length estimation
KR20220097656A (ko) * 2020-12-30 2022-07-08 현대자동차주식회사 운전자 보조 장치, 차량 및 그 제어 방법
US20220242415A1 (en) * 2021-01-29 2022-08-04 Motional Ad Llc Dynamically-localized sensors for vehicles
US20220343535A1 (en) * 2021-04-27 2022-10-27 Continental Automotive Systems, Inc. System and method for estimating relative trailer angle
US20220396322A1 (en) * 2021-06-15 2022-12-15 Stoneridge, Inc. Image based trailer wheelbase determination
US11623637B2 (en) * 2021-06-28 2023-04-11 Ford Global Technologies, Llc Assisted parking maneuvers for vehicles coupled in a towed recharging arrangement
US11830489B2 (en) 2021-06-30 2023-11-28 Bank Of America Corporation System and method for speech processing based on response content
DE102021207558A1 (de) 2021-07-15 2023-01-19 Continental Autonomous Mobility Germany GmbH Kamerasystem sowie Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer
US11858420B2 (en) * 2021-11-29 2024-01-02 Texas Instruments Incorporated Below vehicle rendering for surround view systems
US11862904B2 (en) * 2021-11-30 2024-01-02 GM Global Technology Operations LLC Multimodal sensor-based state of connection monitoring for a 7-pin trailer cable or the like, and a trailer breakaway cable
CN114220291B (zh) * 2021-12-01 2023-08-01 阿维塔科技(重庆)有限公司 车库停车/取车定位方法、系统、汽车及计算机可读存储介质
WO2024057060A1 (en) * 2022-09-13 2024-03-21 Vinai Artificial Intelligence Application And Research Joint Stock Company Surround view monitoring system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332098A1 (en) 2014-05-16 2015-11-19 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
US20150332446A1 (en) 2014-05-16 2015-11-19 GM Global Technology Operations LLC Surround-view camera system (vpm) and vehicle dynamic

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6720920B2 (en) * 1997-10-22 2004-04-13 Intelligent Technologies International Inc. Method and arrangement for communicating between vehicles
US5786772A (en) * 1996-03-22 1998-07-28 Donnelly Corporation Vehicle blind spot detection display system
US6392315B1 (en) * 1999-04-05 2002-05-21 Delphi Technologies, Inc. Compensation circuit for an automotive ignition sensing system
EP1263626A2 (de) * 2000-03-02 2002-12-11 Donnelly Corporation Video-spiegelsystem mit zusatzmodul
DE20106977U1 (de) * 2001-04-23 2002-08-29 Mekra Lang Gmbh & Co Kg Warneinrichtung in Kraftfahrzeugen
US7338177B2 (en) * 2003-11-26 2008-03-04 Donnelly Corporation Mirror reflective element for a vehicle
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US7544945B2 (en) * 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
DE202010007914U1 (de) * 2010-06-12 2010-08-26 Conwys Ag Rücksehhilfe für ein Fahrzeuggespann
US9335162B2 (en) * 2011-04-19 2016-05-10 Ford Global Technologies, Llc Trailer length estimation in hitch angle applications
GB2515800B (en) * 2013-07-04 2017-06-07 Jaguar Land Rover Ltd Vehicle control system
AU2015306153B2 (en) * 2014-08-18 2018-11-08 Jaguar Land Rover Limited Display system and method
DE102014218995A1 (de) * 2014-09-22 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bird-View-Darstellung eines Fahrzeuggespanns sowie nachrüstbare Kamera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332098A1 (en) 2014-05-16 2015-11-19 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
US20150332446A1 (en) 2014-05-16 2015-11-19 GM Global Technology Operations LLC Surround-view camera system (vpm) and vehicle dynamic

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE 802.11

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018201027B4 (de) 2018-01-23 2021-09-30 Continental Automotive Gmbh Kamera-Monitor-System sowie Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
DE102018201027A1 (de) * 2018-01-23 2019-07-25 Continental Automotive Gmbh Kamera-Monitor-System sowie Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US11318884B2 (en) 2018-01-23 2022-05-03 Continental Automotive Gmbh Video monitoring system for a motor vehicle
US11958411B2 (en) 2018-02-16 2024-04-16 Saf-Holland Gmbh Mobile sensor device for a semitrailer train, arrangement of mobile sensor devices on a semitrailer, method for acquiring information for a semitrailer train, central device and semitrailer tractor
DE102018103537B4 (de) 2018-02-16 2022-11-10 Saf-Holland Gmbh Mobile Sensorvorrichtung für einen Anhänger, Anordnung von mobilen Sensorvorrichtungen an einem Sattelauflieger, Verfahren zum Erfassen von Informationen für einen Sattelzug, Zentraleinrichtung und Sattelzugmaschine
WO2019158468A1 (de) * 2018-02-16 2019-08-22 Saf-Holland Gmbh Mobile sensorvorrichtung für einen sattelzug, anordnung von mobilen sensorvorrichtungen an einem sattelauflieger, verfahren zum erfassen von informationen für einen sattelzug, zentraleinrichtung und sattelzugmaschine
US11050933B2 (en) 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
WO2019210142A1 (en) * 2018-04-27 2019-10-31 Continental Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
DE102019200186A1 (de) * 2019-01-09 2020-07-09 Continental Automotive Gmbh Verfahren zur Lokalisierung von Kameras sowie ein Kamerasystem und ein Fahrzeug mit einem Kamerasystem
WO2020187978A1 (en) * 2019-03-19 2020-09-24 Jaguar Land Rover Limited Image processing system and method
US11993208B2 (en) 2019-03-19 2024-05-28 Jaguar Land Rover Limited Image processing system and method
DE102019209061B3 (de) * 2019-06-24 2020-09-03 Zf Friedrichshafen Ag Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht, Verfahren und Computerprogramm
DE102019133948A1 (de) * 2019-12-11 2021-06-17 Connaught Electronics Ltd. Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger
US11983969B2 (en) 2021-01-27 2024-05-14 Ford Global Technologies, Llc Systems and methods for modeling electric vehicle towing
WO2022171794A1 (de) * 2021-02-12 2022-08-18 Zf Friedrichshafen Ag Omniview für fahrzeuge mit knickgelenk
WO2024078667A1 (de) * 2022-10-12 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm

Also Published As

Publication number Publication date
US20170341583A1 (en) 2017-11-30
CN107433905B (zh) 2020-05-19
US10259390B2 (en) 2019-04-16
CN107433905A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102010035772B4 (de) System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs
DE102016106255A1 (de) Fahrzeugaussenseiten-Kamerasysteme und Verfahren
DE102016120349A1 (de) Anhängerrückfahrassistenzsystem mit zielmanagement
DE102017201717A1 (de) Visuelles rückfahrsystem für ein fahrzeug und verfahren zur nutzung desselben
DE102016122916A1 (de) Geführtes Anhängerkupplungssteuerungssystem und Verfahren
DE102016123884A1 (de) Kupplungswinkeldetektion für anhängerrückfahrassistenzsystem
DE102019124152A1 (de) Kupplungsunterstützungssystem
DE102016100326A1 (de) Zielüberwachungssystem mit einer Linsenreinigungsvorrichtung
DE102016210824A1 (de) Anhängungshilfe mit Schwenk-/Zoomansicht sowie virtueller Draufsicht
DE102015112053A1 (de) Anhängerschlingerwarnsystem und -verfahren
DE102019117270A1 (de) Fahrzeugkupplungsunterstützungssystem
DE102007059735A1 (de) Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
DE112017000342T5 (de) Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102017123944A1 (de) Backup-Assistenzsystem für Anhänger mit Fernsteuerung und Benutzersichtmanagement
DE102020121899A1 (de) System zum ausrichten einer standort-kennung einer fahrzeugkupplung mit einem anhängerkoppler
DE102018122894A1 (de) Anhängerkupplungsunterstützungssystem mit Anhängerkupplungsverbindungsstück-Identifikationsmerkmal und Anhängerkupplungsverbindungsstück-Höhenschätzung
DE102015112605A1 (de) System zum bestimmen eines kupplungswinkels
DE102020109279A1 (de) System und verfahren zur anhängerausrichtung
DE102014108489A1 (de) Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns
DE102020120355A1 (de) Fahrzeugsystem und -verfahren zum erfassen einer anhängerverbindung
DE102016114689A1 (de) Verfahren zum Unterstützen des Fahrers eines Kraftfahrzeugs beim Rangieren des Kraftfahrzeugs mit einem Anhänger, Fahrerassistenzsystem sowie Gespann
DE102020105656A1 (de) Verfahren und vorrichtung für gelenkspiegel für anhänger in einem kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed