DE102019102716A1 - Fahrzeug-anhänger rückfahrsichtsystem und -verfahren - Google Patents

Fahrzeug-anhänger rückfahrsichtsystem und -verfahren Download PDF

Info

Publication number
DE102019102716A1
DE102019102716A1 DE102019102716.0A DE102019102716A DE102019102716A1 DE 102019102716 A1 DE102019102716 A1 DE 102019102716A1 DE 102019102716 A DE102019102716 A DE 102019102716A DE 102019102716 A1 DE102019102716 A1 DE 102019102716A1
Authority
DE
Germany
Prior art keywords
image
vehicle
trailer
area
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019102716.0A
Other languages
English (en)
Inventor
Mohannad Murad
Fred W. Huntzicker
Caroline Chung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102019102716A1 publication Critical patent/DE102019102716A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Abstract

Ein Verfahren und System zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug, das einen Anhänger zieht, wobei das Verfahren Folgendes beinhaltet: Erfassen eines ersten Bildes von einer Fahrzeugkamera, die an dem Fahrzeug installiert ist, wobei das erste Bild einen Bereich hinter dem Fahrzeug umfasst; Erfassen eines zweiten Bildes von einer Anhängerkamera, die an dem Anhänger installiert ist, wobei das zweite Bild einen Bereich hinter dem Anhänger umfasst; Bestimmen eines verdeckten Betrachtungsbereichs innerhalb des ersten Bildes, wobei der verdeckte Betrachtungsbereich ein Bereich des ersten Bildes ist, in dem sich der Anhänger befindet; Überlagern des zweiten Bildes auf dem ersten Bild und zumindest teilweise innerhalb des verdeckten Betrachtungsbereichs; und Einfügen von Grafiken in das erste Bild, in das zweite Bild, und/oder in einen Patch-Bereich innerhalb des versperrten Betrachtungsbereichs und zwischen dem zweiten Bild und dem ersten Bild.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung bezieht sich im Allgemeinen auf das Erzeugen und Anzeigen eines Bereichs hinter einem Fahrzeug und Anhänger durch die Verwendung von Kameras, die sowohl am Fahrzeug als auch am Anhänger installiert sind.
  • HINTERGRUND
  • Viele Fahrzeuge können mit einer Art Abschlepppaket ausgestattet sein, welche normalerweise eine Anhängerkupplung und eine Anhängerverbindung beinhalten. Die Anhängerverbindung stellt eine elektrische Energie vom Fahrzeug zum Anhänger bereit und versorgt die elektrischen Komponenten auf dem Anhänger mit Strom, wie etwa Heckleuchten und/oder elektrische Bremsvorrichtungen. Einige Anhänger beinhalten jetzt eine Kamera, die am hinteren Ende des Anhängers positioniert ist und auf einen Bereich hinter dem Anhänger zeigt. Die Videoeingabe, die von der Anhängerkamera erfasst wird, kann an das Zugfahrzeug (d. h. das Fahrzeug, das den Anhänger schleppt) übermittelt und zur Ansicht durch einen Fahrzeugbediener oder Insassen angezeigt werden. Darüber hinaus beinhalten viele Fahrzeuge eine nach hinten gerichtete Kamera, die einem Bereich hinter dem Fahrzeug zugewandt ist. Das Sichtfeld der nach hinten gerichteten Kamera des Fahrzeugs wird jedoch oft durch den Anhänger verdeckt.
  • KURZDARSTELLUNG
  • Gemäß einer Ausführungsform wird ein Verfahren zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug bereitgestellt, das einen Anhänger zieht, wobei das Verfahren Folgendes beinhaltet: Erfassen eines ersten Bildes von einer Fahrzeugkamera, die an dem Fahrzeug installiert ist, wobei das erste Bild einen Bereich hinter dem Fahrzeug umfasst; Erfassen eines zweiten Bildes von einer Anhängerkamera, die an dem Anhänger installiert ist, wobei das zweite Bild einen Bereich hinter dem Anhänger umfasst; Bestimmen eines verdeckten Betrachtungsbereichs innerhalb des ersten Bildes, wobei der verdeckte Betrachtungsbereich ein Bereich des ersten Bildes ist, in dem sich der Anhänger befindet; Überlagern des zweiten Bildes auf dem ersten Bild und zumindest teilweise innerhalb des verdeckten Betrachtungsbereichs; und Einfügen von Grafiken in das erste Bild, in das zweite Bild, und/oder in einen Patch-Bereich innerhalb des verdeckten Betrachtungsbereichs und zwischen dem zweiten Bild und dem ersten Bild.
  • Gemäß einer oder mehreren verschiedenen Ausführungsformen kann dieses Verfahren eines oder mehrere der folgenden Merkmale in jeder technisch möglichen Kombination dieser Merkmale beinhalten:
    • • den Schritt des Bestimmens eines Bildüberlagerungsbereichs innerhalb des ersten Bildes und/oder zumindest teilweiser Überlappung des verdeckten Betrachtungsbereichs, worin das zweite Bild innerhalb des Bildüberlagerungsbereichs überlagert ist;
    • • den Schritt des Bestimmens eines Anhänger-Anlenkwinkels, worin der Bildüberlagerungsbereich zumindest teilweise basierend auf dem Anhänger-Anlenkwinkel bestimmt wird,
    • • den Schritt des Verarbeitens des zweiten Bildes, sodass das zweite Bild nach der Verarbeitung den Bereich hinter dem Anhänger aus einer Perspektive mit einem Betrachtungswinkel darstellt, der dem Betrachtungswinkel der Fahrzeugkamera entspricht;
    • • worin der Verarbeitungsschritt zumindest teilweise auf einem Anhängerkamera-Betrachtungswinkel und einem Fahrzeugkamera-Betrachtungswinkel basiert;
    • • mindestens einige der Grafiken keinen Bereich hinter dem Fahrzeug oder dem Bereich hinter dem Anhänger darstellen oder darzustellen versuchen, und worin mindestens einige der Grafiken ein oder mehrere Fahrbahnmerkmale hervorheben;
    • • mindestens einige der Grafiken zeigen den Bereich hinter dem Fahrzeug und/oder den Bereich hinter dem Anhänger oder versuchen, diesen darzustellen;
    • • die mindestens einige der Grafiken werden unter Verwendung von Szenenspeicherungstechniken erhalten, worin die Szenenspeicherungstechniken die folgenden Schritte beinhalten: Halten mindestens eines Abschnitts des ersten Bildes und anschließendes Abrufen des Abschnitts des ersten Bildes und Verwenden des abgerufenen Abschnitts des ersten Bildes, um mindestens einen Abschnitt des Patch-Bereichs innerhalb des verdeckten Betrachtungsbereichs auszufüllen, und/oder
    • • den Schritt des Anzeigens des kombinierten Rückansichtsbildes auf einem elektronischen Anzeigespiegel, der in dem Fahrzeug beinhaltet ist, worin der elektronische Anzeigespiegel ein Rückspiegel ist, der es einem Fahrzeugbediener oder einem Fahrzeuginsassen ermöglicht, einen Bereich hinter dem Fahrzeug zu sehen, und worin die Anzeige des kombinierten Rückansichtsbildes dem Fahrzeugbediener oder dem Fahrzeuginsassen ermöglicht, den Bereich hinter dem Fahrzeug und den Bereich hinter dem Anhänger zu sehen, ohne durch den Anhänger verdeckt zu werden.
  • Gemäß einer Ausführungsform wird ein Verfahren zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug bereitgestellt, das einen Anhänger zieht, wobei das Verfahren Folgendes beinhaltet: Erfassen eines ersten Bildes von einer Fahrzeugkamera, die an dem Fahrzeug installiert ist, wobei das erste Bild einen Bereich hinter dem Fahrzeug umfasst; Erfassen eines zweiten Bildes von einer Anhängerkamera, die an dem Anhänger installiert ist, wobei das zweite Bild einen Bereich hinter dem Anhänger umfasst; Definieren eines verdeckten Betrachtungsbereichs innerhalb des ersten Bildes, wobei der verdeckte Betrachtungsbereich ein Bereich des ersten Bildes ist, in dem sich der Anhänger befindet; Bestimmen eines Bildüberlagerungsbereichs innerhalb des verdeckten Betrachtungsbereichs; Einfügen des zweiten Bildes auf das erste Bild gemäß dem Bildüberlagerungsbereich; Rendern von Grafiken in einem Patch-Bereich innerhalb des verdeckten Betrachtungsbereichs, worin die Grafiken natürliche Szenengrafiken beinhalten, die einen Bereich innerhalb des verdeckten Betrachtungsbereichs und außerhalb des zweiten Bildes darstellen oder darzustellen versuchen; und Anzeigen eines kombinierten Bildes auf der elektronischen Anzeige, die in dem Fahrzeug installiert ist, worin das kombinierte Bild mindestens einen Abschnitt des ersten Bildes, mindestens einen Abschnitt des zweiten Bildes und die gerenderten Grafiken enthält.
  • Gemäß einer oder mehreren verschiedenen Ausführungsformen kann dieses Verfahren eines oder mehrere der folgenden Merkmale in jeder technisch möglichen Kombination dieser Merkmale beinhalten:
    • • das Verfahren wird zumindest teilweise durch einen im Fahrzeug installierten Onboard-Computer durchgeführt, worin der Onboard-Computer den Definitionsschritt, den Bestimmungsschritt, den Einfügeschritt und den Rendering-Schritt durchführt;
    • • den Schritt des Empfangens des ersten Bildes und des zweiten Bildes am Onboard-Computer, worin das zweite Bild über eine Fahrzeug-Anhänger-Schnittstelle empfangen wird;
    • • eine Vielzahl von Iterationen des Verfahrens werden durchgeführt, einschließlich einer ersten Iteration und einer zweiten Iteration, worin ein oder mehrere Schritte der ersten Iteration nach einem oder mehreren Schritten der zweiten Iteration durchgeführt werden, worin die erste Iteration vor der zweiten Iteration abgeschlossen ist;
    • • eine Vielzahl von Iterationen des Verfahrens werden durchgeführt, einschließlich einer ersten Iteration und einer zweiten Iteration, worin die erste Iteration das Halten mindestens eines Abschnitts des ersten Bildes im Speicher des Onboard-Computers während der ersten Iteration beinhaltet, und worin der Rendering-Schritt der zweiten Iteration das Verwenden des beibehaltenen Abschnitts des ersten Bildes zum Rendern der Grafiken der zweiten Iteration beinhaltet;
    • • die zweite Iteration umfasst ferner den Schritt des Erhaltens einer Geschwindigkeit des Fahrzeugs, und worin der Rendering-Schritt der zweiten Iteration zumindest teilweise auf der erhaltenen Geschwindigkeit des Fahrzeugs basiert; und/oder
    • • den Schritt des Überlagerns von Grafiken auf dem kombinierten Bild, das die Aufmerksamkeit eines Fahrzeugbedieners oder eines Fahrzeuginsassen auf ein Fahrbahnmerkmal lenkt oder versucht zu lenken.
  • Gemäß noch einer weiteren Ausführungsform ist ein Fahrzeugrücksichtsystem zur Verwendung mit einem Fahrzeug vorgesehen, einschließlich: einer am Fahrzeug installierten Fahrzeugkamera, worin die Fahrzeugkamera dazu konfiguriert ist, einen Bereich hinter dem Fahrzeug zu erfassen; eine elektronische Anzeige, die an dem Fahrzeug installiert ist; einen an Bord des Fahrzeugs installierten Computer, worin der Onboard-Computer einen Prozessor und einen nichtflüchtigen computerlesbaren Speicher beinhaltet, worin der Speicher ein Computerprogrammprodukt beinhaltet, das, wenn es durch den Prozessor ausgeführt wird, das Fahrzeug zum Ausführen eines kombinierten Bildgenerierungsverfahren veranlasst, das Folgendes beinhaltet: das Erhalten eines ersten Bildes von der Fahrzeugkamera, wobei das erste Bild den Bereich hinter dem Fahrzeug umfasst; Erhalten eines zweiten Bildes von einer Anhängerkamera, die an einem Anhänger installiert ist, der durch das Fahrzeug gezogen wird, wobei das zweite Bild einen Bereich hinter dem Anhänger umfasst; Bestimmen eines verdeckten Betrachtungsbereichs innerhalb des ersten Bildes, wobei der verdeckte Betrachtungsbereich ein Bereich des ersten Bildes ist, in dem sich der Anhänger befindet; Überlagern des zweiten Bildes auf dem ersten Bild und zumindest teilweise innerhalb des verdeckten Betrachtungsbereichs; Einfügen von Grafiken in einen Patch-Bereich innerhalb des verdeckten Betrachtungsbereichs und zwischen dem zweiten Bild und dem ersten Bild; und das Anzeigen eines kombinierten Bildes auf der elektronischen Anzeige, worin das kombinierte Bild mindestens einen Abschnitt des ersten Bildes, mindestens einen Abschnitt des zweiten Bildes und die eingefügten Grafiken beinhaltet.
  • Gemäß einer oder mehreren verschiedenen Ausführungsformen kann dieses System eines oder mehrere der folgenden Merkmale in jeder technisch möglichen Kombination dieser Merkmale beinhalten:
    • • einen Fahrzeug-Raddrehzahlsensor, und worin einige der Grafiken basierend auf einem Fahrzeug-Raddrehzahlmessung von den Fahrzeug-Raddrehzahlsensoren erzeugt werden;
    • • der Speicher beinhaltet eine Bilderkennungssoftware, die es dem Onboard-Computer ermöglicht, Fahrbahnmerkmale zu identifizieren, und worin die Bilderkennungssoftware in Verbindung mit dem Computerprogrammprodukt verwendet wird, um Grafiken zum Anzeigen in Bereichen des kombinierten Bildes entsprechend den identifizierten Fahrbahnmerkmalen zu rendern; und/oder
    • • das Computerprogrammprodukt, wenn es durch den Prozessor ausgeführt wird, ferner dazu führt, dass das Fahrzeug mindestens einen Abschnitt des ersten Bildes im Speicher des Onboard-Computers während einer ersten Iteration des kombinierten Bildgenerierungsverfahrens hält, und worin der Rendering-Schritt einer zweiten Iteration des kombinierten Bildgenerierungsverfahrens die Verwendung des beibehaltenen Abschnitts des ersten Bildes zum Wiedergeben der Grafiken der zweiten Iteration beinhaltet.
  • Figurenliste
  • Bevorzugte exemplarische Ausführungsformen werden im Folgenden in Verbindung mit den beigefügten Zeichnungen beschrieben, worin gleiche Kennzeichnungen gleiche Elemente bezeichnen und worin:
    • 1 ist ein Blockdiagramm, das ein Beispiel von Systemen, abbildet, die mit einem Fahrzeug und einem Anhänger verwendet werden können;
    • 2 ist eine Draufsicht auf ein Fahrzeug und einen Anhänger, wobei der Anlenkwinkel des Anhängers Null ist;
    • 3 ist eine Draufsicht auf ein Fahrzeug und einen Anhänger, wobei der Anlenkwinkel des Anhängers ungleich Null ist;
    • 4 ist eine schematische Ansicht einer Anzeige auf einem elektronischen Anzeigespiegel, der eine Perspektive einer Fahrzeugkamera zeigt, wenn der Anhänger-Anlenkwinkel Null ist;
    • 5 ist eine schematische Ansicht einer Anzeige auf einem elektronischen Anzeigespiegel, der die Perspektive einer Fahrzeugkamera zeigt, wenn der Anhänger-Anlenkwinkel ungleich Null ist;
    • 6 ist ein Flussdiagramm, das Ausführungsformen eines Verfahrens zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug darstellt, das einen Anhänger zieht;
    • 7 ist eine Ansicht eines elektronischen Anzeigespiegels, der die Perspektive einer Fahrzeugkamera zeigt, die einem Bereich hinter einem Fahrzeug zugewandt ist, das einen Anhänger zieht;
    • 8 ist eine Ansicht eines elektronischen Anzeigespiegels, der die Perspektive einer Fahrzeugkamera zeigt, die einem Bereich hinter einem Fahrzeug zugewandt ist, das einen Anhänger zieht und durch Bilder oder Videos von einer Anhängerkamera ergänzt wird;
    • 9 ist eine Ansicht eines elektronischen Anzeigespiegels, der die Perspektive einer Fahrzeugkamera zeigt, die einem Bereich hinter einem Fahrzeug zugewandt ist, das einen Anhänger zieht, der durch Bilder oder Videos von einer Anhängerkamera ergänzt wird und die Fahrspurmarkierungsgrafiken beinhaltet; und
    • 10 ist eine Ausführungsform eines kombinierten Bildes, das eine Ansicht eines elektronischen Anzeigespiegels beinhaltet, der die Perspektive einer Fahrzeugkamera zeigt, die einem Bereich hinter einem Fahrzeug zugewandt ist, das einen Anhänger zieht, der durch Bilder oder Videos von einer Anhängerkamera ergänzt wird und Fahrspurmarkierungsgrafiken sowie Hintergrundgrafiken beinhaltet.
  • BESCHREIBUNG
  • Die hierin beschriebenen Systeme und Verfahren sind im Allgemeinen so ausgelegt, dass sie ein kombiniertes Rückansichtsbild eines Bereichs hinter einem Fahrzeug erzeugen, das einen Anhänger zieht. Das kombinierte Rückansichtsbild ist ein Bild, das mindestens einen Abschnitt eines von einer Fahrzeugkamera aufgenommenen ersten Bildes, mindestens einen Abschnitt eines von einer Anhängerkamera aufgenommenen zweiten Bildes und eine oder mehrere Grafiken enthält. Es sollte beachtet werden, dass, während bestimmte Bereiche oder Regionen des kombinierten Rückansichtsbildes noch durch ein oder mehrere Objekte verdeckt werden können, das hierin beschriebene kombinierte Rückansichtsbild im Wesentlichen die durch den von dem Fahrzeug gezogenen Anhänger verursachte Beeinträchtigung abschwächt oder verringert. In einer Ausführungsform kann ein Verfahren verwendet werden, um ein erstes Bild von einer Fahrzeugkamera zu erfassen und ein zweites Bild von einer Anhängerkamera zu erfassen. Danach kann das Verfahren einen verdeckten Betrachtungsbereich innerhalb des ersten Bildes bestimmen, den der Anhänger verdeckt, und dann kann das zweite Bild in einen entsprechenden Bereich innerhalb des verdeckten Bereichs des Betrachtungsbereichs eingefügt werden. Danach können Abschnitte des verdeckten Betrachtungsbereichs, die nicht durch das zweite Bild abgedeckt sind, durch Verwendung von Szenenspeicherungstechniken gefüllt werden, die im Folgenden näher beschrieben werden. Zusätzlich können Grafiken erzeugt und über dem Bild angezeigt werden, um das Bild zu erweitern. Diese Grafiken können Fahrbahnmerkmale hervorheben, wie Fahrspurmarkierungen, Bordsteine und Fahrbahnränder.
  • In einigen Ausführungsformen kann das Verfahren Szenarien berücksichtigen, bei denen der Anlenkwinkel des Anhängers ungleich Null ist, sodass die Längsachsen des Anhängers und des Fahrzeugs nicht miteinander ausgerichtet sind. So kann beispielsweise das Verfahren das Bestimmen eines Anlenkwinkels des Anhängers in Bezug auf das Fahrzeug unter Verwendung von Messwerten verschiedener Fahrzeugsensoren sowie Bildverarbeitungstechniken, die auf dem von der Fahrzeugkamera empfangenen Bild ausgeführt werden, beinhalten. Sobald der Anlenkwinkel bestimmt ist, kann das Fahrzeug bestimmen, wo das von der Anhängerkamera erfasste Bild innerhalb des ersten Bildes, das vom Fahrzeug erfasst wurde, platziert werden soll.
  • Außerdem können in einigen Ausführungsformen Grafiken erzeugt und über dem kombinierten Bild angezeigt werden (d. h. das endgültige Bild einschließlich des ersten Bildes von der Fahrzeugkamera, wobei das zweite Bild von der Anhängerkamera über das erste Bild gelegt wird), um Fahrbahnmerkmale zu zeigen, einschließlich Bordsteine, Fahrspurmarkierungen und Fahrbandkanten. Diese Grafiken können verwendet werden, um das kombinierte Bild zu ergänzen und können während verschiedener Ausführungsformen des hierin bereitgestellten Verfahrens erzeugt werden.
  • Unter Bezugnahme auf 1 ist eine mögliche Ausführungsform eines Fahrzeugrücksichtsystems 10 zur Verwendung mit einem Fahrzeug und einem Anhänger dargestellt. Das Fahrzeugrücksichtsystem 10 beinhaltet ein Fahrzeug 12, einen Anhänger 14 und eine oder mehrere Fahrzeug-Anhänger-Schnittstellen (oder Verbinder) 60, 62. Das Fahrzeug und der Anhänger sind über die Fahrzeug-Anhänger-Schnittstellen (oder Verbinder) 60, 62 elektrisch miteinander gekoppelt und über eine Anhängerkupplung baulich oder mechanisch miteinander gekoppelt. Das Fahrzeug beinhaltet die Fahrzeughardware 20 und der Anhänger beinhaltet die Anhängerhardware 70.
  • Fahrzeug 12 ist als ein Personenkraftwagen dargestellt, es sollte jedoch beachtet werden, dass das vorliegende Verfahren und System mit jedem anderen Fahrzeug implementiert werden kann, einschließlich Motorrädern, Lastwagen (einschließlich Sattelzügen), Geländewagen (SUVs), Campingfahrzeugen (RVs), Wasserfahrzeugen, Flugzeugen, Zügen usw. Einige Komponenten der Fahrzeughardware 20, die wichtiger für die vorliegenden Systeme und Verfahren sind, sind in 1 dargestellt, obwohl Fachleute offensichtlich begrüßen, dass eine viel größere Menge an Fahrzeughardware in den meisten modernen Fahrzeugen vorhanden ist. Die Fahrzeughardware 20 kann eine Fahrzeugkamera 22, einen Onboard-Computer 30, ein Karosseriesteuermodul (BCM) 40, einen elektronischen Anzeigespiegel 50 und einen ersten Fahrzeug-Anhänger-Schnittstellenverbinder 60 beinhalten. Es versteht sich weiterhin, dass die Fahrzeughardware 20 in 1 nur zur Veranschaulichung dient, da die eigentliche Anordnung oder Konfiguration von Komponenten, Vorrichtungen, Modulen und/oder Systemen im Wesentlichen von der hier gezeigten abweichen kann und sie nicht auf eine spezielle Ausführungsform beschränkt ist.
  • Die Fahrzeugkamera 22 kann verwendet werden, um Fotos, Videos, und/oder andere Informationen bezüglich des Lichts zu erfassen. Die Kameras 22 können eine elektronische Digitalkamera sein, die durch die Verwendung einer Fahrzeugbatterie angetrieben wird. Die Kameras 22 können jeweils eine Speichervorrichtung und eine Vorrichtung zum Speichern und/oder Verarbeiten von Daten beinhalten, die sie erfasst oder anderweitig erhält. Die von der Kamera 22 erhaltenen Daten können an ein anderes Fahrzeugsystemmodul (VSM), wie beispielsweise den Onboard-Computer 30 des Fahrzeugs, gesendet werden. Die Kamera 22, kann von jedem geeigneten Kameratyp sein (z. B. eine ladungsgekoppelte Vorrichtung (CCD), ein komplementärer Metalloxidhalbleiter (CMOS) usw.) und kann jede geeignete Linse aufweisen, sodass sie nicht auf irgendeine spezielle Art, Marke oder Modell beschränkt ist. Gemäß einer Möglichkeit liefert Kamera 22 Videodaten, wobei die Bilder horizontal gespiegelt sind (d. h. sie entsprechen dem Spiegelbild des ursprünglich von der Kamera aufgenommenen Videos). Die horizontal gespiegelten Videodaten berücksichtigen die Tatsache, dass die Kamera 22 und der Fahrer in gegenüberliegende Richtungen schauen, wodurch die Darstellung der Videodaten auf dem elektronischen Displayspiegel 50 in einer Orientierung dargestellt werden, die konsistent mit einem konventionellen Rückspiegel ist. Einige nicht einschränkende Beispiele von potenziellen Ausführungsformen oder Funktionen, die mit Kamera 22 verwendet werden können, beinhalten: Infrarot-LEDs für Nachtsichtunterstützung; Weitwinkel- oder Fischaugenobjektiv; oberflächenmontierte, eingebaute, am Nummernschild montierte oder seitlich montierte Kameras; stereoskopische Anordnungen mit mehreren Kameras; in Rückleuchten, Bremsleuchten oder andere Bauteile am Fahrzeugheck integrierte Kameras; und verdrahtete oder drahtlose Kameras, um nur einige Möglichkeiten zu nennen.
  • Die Kamera 22 kann an dem Fahrzeug 12 installiert und/oder montiert werden und kann so konfiguriert sein, dass sie in Bezug auf das Fahrzeug nach hinten gerichtet ist, sodass die Kamera einen Bereich hinter dem Fahrzeug erfassen kann - das heißt, das Sichtfeld der Kamera kann einen Bereich hinter dem Fahrzeug beinhalten und in vielen Ausführungsformen kann ein von Fahrzeug 12 gezogener Anhänger mindestens einen Teil des Sichtfeldes der Kamera einnehmen. Gemäß einer besonderen Ausführungsform kann die Kamera 22 an einem hinteren äußeren Abschnitt des Fahrzeugs 12 montiert werden, und in einigen Ausführungsformen kann die Kamera 22 als Backup-Kamera (oder Rückfahrkamera) verwendet werden, die bereits als Teil vieler Verbraucherfahrzeuge, einschließlich Pkw und Lkw, integriert ist oder die durch ein oder mehrere Gesetze oder Vorschriften erforderlich sein kann, einschließlich jener Vorschriften der National Highway Traffic Safety Administration (NHTSA), die vorschreiben, dass bestimmte Fahrzeuge eine Backup-Kamera beinhalten müssen. In einer Ausführungsform kann die Kamera 22 an oder in einen hinteren Stoßfänger des Fahrzeugs 12, einen Kofferraum oder eine andere Hintertür des Fahrzeugs 12, eine Heckklappe (einschließlich derjenigen, die in Pickup-LKWs enthalten sind) des Fahrzeugs 12, einen Spoiler des Fahrzeugs 12 und/oder jede andere Stelle am Fahrzeug 12 montiert werden, die zum Anbringen oder Einbetten der Kamera 22 geeignet ist, sodass das Sichtfeld einen Bereich hinter dem Fahrzeug 12 beinhaltet.
  • In einigen Ausführungsformen können mehrere Kameras 22 verwendet werden, von denen jede am Fahrzeug 12 angebracht und/oder installiert werden kann. In einer bestimmten Ausführungsform können mehrere Kameras auf der Außenseite des Fahrzeugs positioniert werden, die in rückwärtiger Richtung des Fahrzeugs ausgerichtet sind. Zwei oder mehrere Kameras können in einer stereoskopischen Ausrichtung konfiguriert sein, sodass Videodaten aus mehreren Perspektiven eines Bereichs bereitgestellt werden, und wenn sie nach einem dreidimensionalen Rendering-Algorithmus kombiniert und verarbeitet werden, kann eine dreidimensionale Rekonstruktion des erfassten Bereichs (z. B. hinter dem Anhänger) durchgeführt werden. Dieses Rendering kann dann auf einer Anzeige, wie beispielsweise der Anzeige 58 oder dem elektronischen Anzeigespiegel 50 angezeigt werden. Eine stereoskopische Ausrichtung bezieht sich auf eine Ausrichtung mehrerer Kameras, sodass ihre Sichtfelder überlappen, wodurch mehrere Perspektiven des Bereichs möglich sind, bei denen die jeweiligen Sichtfelder überlappen.
  • Der Onboard-Computer 30 ist ein Fahrzeugsystemmodul, das einen Prozessor 34 und einen Speicher 36 beinhaltet und in einigen Ausführungsformen auch einen drahtlosen Chipsatz oder eine Schaltung 32 beinhalten kann, die es ermöglicht, eine drahtlose Kommunikation beispielsweise mit einem Mobilfunk-Trägersystem oder einer anderen lokalen drahtlosen Vorrichtung durchzuführen. Darüber hinaus kann der Onboard-Computer 30 zumindest in einigen Ausführungsformen eine Infotainmenteinheit (z. B. Infotainment-Haupteinheit, In-Fahrzeug-Infotainmenteinheit (IVI)), eine Fahrzeughaupteinheit, ein Mittelstapelmodul (CSM) oder Fahrzeugnavigationsmodul sein. In einigen Ausführungsformen kann der Onboard-Computer 30 eine oder mehrere FahrzeugBenutzeroberflächen einschließlich Drucktaste 52 und/oder Mikrofon 56 beinhalten, wie im Folgenden näher erläutert wird.
  • Der Prozessor 34 kann jede Geräteart sein, die fähig ist elektronische Befehle zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontrollern, Hostprozessoren, Steuerungen, Fahrzeugkommunikationsprozessoren und einem anwendungsspezifischen integrierten Schaltkreis (ASICs). Er kann ein speziell für den Computer 30 vorgesehener Prozessor sein oder er kann mit anderen Fahrzeugsystemen gemeinsam genutzt werden. Der Prozessor 34 führt verschiedene Arten von digital gespeicherten Befehlen aus, wie Software oder Firmwareprogramme, die im Speicher 36 gespeichert sind, welche dem Computer 30 ermöglichen, eine große Vielzahl von Diensten bereitzustellen. Zum Beispiel kann der Prozessor 34 Programme ausführen oder Daten verarbeiten, um mindestens einen Teil des Verfahrens auszuführen, das hierin beschrieben ist. Der Speicher 36 kann einen flüchtigen RAM-Speicher oder einen anderen temporär betriebenen Speicher sowie ein nichtflüchtiges computerlesbares Medium (z. B. EEPROM) oder jedes andere elektronische Computermedium beinhalten, das einen Teil oder die gesamte Software zur Durchführung der verschiedenen hierin beschriebenen externen Gerätefunktionen speichert.
  • Wie vorstehend erwähnt, kann der Onboard-Computer 30 einen drahtlosen Chipsatz oder eine Schaltung 32 beinhalten, mit der die drahtlose Kommunikation über die Antenne 38 durchgeführt werden kann. In einer Ausführungsform ist der drahtlose Chipsatz 32 ein Mobilfunk-Chipsatz, der konfiguriert ist, um Mobilfunkkommunikation mit einem Mobilfunk-Trägersystem durchzuführen, wie beispielsweise diejenigen, die GSM/GPRS-Technologie, CDMA- oder CDMA2000-Technologie, LTE-Technologie usw. implementieren können. Zusätzlich oder alternativ kann der Onboard-Computer 30 eine drahtlose Nahbereichskommunikations-(SRWC)-Schaltung beinhalten, die es ermöglicht, SRWC unter Verwendung von SRWC-Technologien, wie beispielsweise Wi-Fi™, WiMAX™, ZigBee™, Wi-Fi direct™, andere IEEE 802.11-Protokolle, Bluetooth™, Bluetooth™ Low Energy (BLE) oder Nahbereichskommunikation (NFC) durchzuführen. In weiteren Ausführungsformen kann die drahtlose Kommunikation an einem anderen Fahrzeugsystemmodul (VSM) durchgeführt werden, das mit dem Bus 44 verbunden ist.
  • Das Bordnetzsteuergerät (BCM) 40 wird in der exemplarischen Ausführungsform aus 1 als mit dem Kommunikationsbus 44 elektrisch verbunden dargestellt. In einigen Ausführungsformen kann das BCM 40 mit oder als Teil eines Mittelstapelmoduls (CSM) integriert werden und/oder kann mit dem Onboard-Computer 30 integriert werden. Alternativ dazu kann das BCM eine eigenständige Vorrichtung sein, die über den Bus 44 angeschlossen ist. Das BCM 40 kann einen Prozessor und/oder Speicher beinhalten, der dem Prozessor 34 und dem Speicher 36 des Onboard-Computers 30 ähnlich sein kann, wie oben erörtert. Das BCM 40 kann mit dem Onboard-Computer 30 und/oder einem oder mehreren Fahrzeugsystemmodulen, wie dem Audiosystem 54 und sonstigen VSMs 42 kommunizieren. Das BCM 40 kann einen Prozessor und Speicher beinhalten, sodass das BCM einen oder mehrere Fahrzeugbetriebe, darunter beispielsweise auch das Steuern der Zentralverriegelung, der Klimaanlage, der elektrischen Spiegel, das Steuern des primären Antriebs des Fahrzeugs (z.B. Motor, primäres Antriebssystem) und/oder der Steuerung verschiedener anderer Fahrzeugmodule, steuern kann. Das BCM 40 kann Daten vom Onboard-Computer 30 empfangen, und die Daten anschließend an ein oder mehrere Fahrzeugmodule senden.
  • Darüber hinaus kann das BCM 40 Informationen bereitstellen, die dem Fahrzeugzustand oder bestimmten Fahrzeugkomponenten oder -systemen entsprechen. So kann beispielsweise das BCM dem Onboard-Computer 30 Informationen zur Verfügung stellen, die anzeigen, ob die Zündung des Fahrzeugs eingeschaltet ist, in welchem Gang sich das Fahrzeug gerade befindet (d. h. im Gangzustand) und/oder weitere Informationen bezüglich des Fahrzeugs. In einer Ausführungsform kann das Verfahren 200 (6) bei einem oder mehreren Fahrzeugzuständen, wie beispielsweise einer Fahrzeugzündung unter bestimmten Bedingungen (d. h. einem Fahrzeugzustand, bei dem die Zündung eingeschaltet ist), eingeleitet werden. Und das Verfahren kann in einigen Ausführungsformen Fahrzeugzustandsinformationen zum Ausführen eines oder mehrerer Schritte verwenden. In derartigen Ausführungsformen kann das BCM 40 Informationen vom Onboard-Computer 30 erhalten und an diesen senden, einschließlich Fahrzeuggeschwindigkeit, Anhänger-Knickwinkel, Lenkradwinkel und verschiedene andere Informationen, die von anderen am Fahrzeug installierten VSMs oder Sensoren erhalten werden können. In einigen Ausführungsformen kann ein Anhänger-Anlenkwinkel unter Verwendung verschiedener Fahrzeugsensoren bestimmt oder gemessen werden, und mindestens in einer Ausführungsform kann das Fahrzeug einen Sensor beinhalten, der spezifisch angepasst oder konfiguriert ist, um den Anhänger-Anlenkwinkel zu messen.
  • Der elektronische Anzeigespiegel 50 beinhaltet eine Videoanzeige, die in die Rückspiegeleinheit oder das Rückspiegelgehäuse integriert ist, sodass die Anzeige dem Fahrer die Videoausgabe von der Fahrzeugkamera 22 und/oder der Anhängerkamera 72 in Echtzeit anzeigt. Gemäß der exemplarischen Ausführungsform von 1 ist der elektronische Anzeigespiegel 50 kommunikativ mit dem Onboard-Computer 30 gekoppelt und empfängt Bilder und/oder Videos von diesem. In einer Ausführungsform kann der elektronische Anzeigespiegel 50 direkt mit dem Onboard-Computer 30 verbunden sein oder kann über den Bus 44 mit dem Onboard-Computer 30 verbunden sein. Der elektronische Anzeigespiegel kann eine beliebige Anzahl von verschiedenen Anzeigetechnologien verwenden, wie beispielsweise eine Flüssigkristallanzeige (LCD) oder eine Leuchtdiodenanzeige (LED). Es sollte erkannt werden, dass das hierin beschriebene System und das hierin beschriebene Verfahren jeden geeigneten Typ eines elektronischen Anzeigespiegels 50 verwenden kann und nicht auf irgendeine spezielle beschränkt sind. So kann beispielsweise der elektronische Anzeigespiegel 50 ein Vollanzeige-Spiegel (FDM) sein, bei dem die gesamte sichtbare Oberfläche des Geräts ein Video von der Kamera 22 und/oder Kamera 72 zeigt; es kann der Typ eines elektronischen Anzeigespiegels sein, wobei nur ein Teil der Anzeigefläche ein Video von der Kamera 22 und/oder Kamera 72 zeigt, wohingegen andere Abschnitte der Anzeigeoberfläche andere Informationen (z.B. Turn-by-Turn- oder andere Navigationsanweisungen, Kompass- oder Kursinformationen, Host-Fahrzeugleistungsdaten usw.) zeigen; er könnte Tag-und Nacht-Modi, die die Helligkeit entsprechend anpassen, aufweisen; oder er könnte einen Touchscreen aufweisen, sodass die Benutzer Auswahlen oder anderweitig Eingabedaten tätigen können, um nur einige der Möglichkeiten zu nennen. Anstelle des Positionierens des elektronischen Anzeigespiegels 50 an der herkömmlichen Position eines Rückspiegels (d. h. an der vorderen Windschutzscheibe an einer oberen, mittleren Position angebracht) ist es möglich, dass er ein Teil eines Onboard-Computers 30, einer anderen Mittelkonsolen-Infotainmenteinheit oder anderen VSM ist.
  • Die Fahrzeughardware 20 beinhalten auch eine Anzahl an Fahrzeugbenutzeroberflächen, die Fahrzeuginsassen mit einem Mittel zum Bereitstellen und/oder Empfangen von Informationen ausstattet, einschließlich Drucktaste(n) 52, Audiosystem 54, Mikrofon 56 und optische Anzeige 58. Wie hierin verwendet, umfasst der Begriff „Fahrzeugbenutzeroberfläche“ weitgehend jede geeignete Form von elektronischer Vorrichtung, zu dem sowohl im Fahrzeug befindliche Hardware- als auch Softwarekomponenten gehören und einem Fahrzeugbenutzer wird ermöglicht, mit oder durch eine(r) Komponente des Fahrzeugs zu kommunizieren. Die Drucktaste(n) 52 ermöglichen eine manuelle Benutzereingabe in den Onboard-Computer 30, um weitere Daten, Reaktionen oder Steuereingaben bereitzustellen. Das Audiosystem 54 stellt eine Audioausgabe an einen Fahrzeuginsassen bereit und kann ein zugehöriges selbstständiges System oder Teil des primären Fahrzeugaudiosystems sein. Gemäß der bestimmten Ausführungsform, die hier gezeigt ist, ist das Audiosystem 54 operativ sowohl mit dem Fahrzeugbus 44 als auch mit einem Entertainmentbus (nicht dargestellt) gekoppelt und kann AM-, FM- und Satellitenradio, CD-, DVD- und andere Multimediafunktionalität bereitstellen. Diese Funktionalität kann in Verbindung mit oder unabhängig von einem Infotainmentmodul und/oder Onboard-Computer 30 bereitgestellt werden. Das Mikrofon 56 stellt eine Audioeingabe an den Onboard-Computer 30 bereit, um dem Fahrer oder anderen Insassen zu ermöglichen, Sprachsteuerungen bereitzustellen und Freisprechen über das Drahtlosträgersystem auszuführen. Für diesen Zweck kann es mit einer integrierten automatischen Sprachverarbeitungseinheit unter Verwendung der Mensch-Maschinen-Schnittstellen (HMI)-Technologie verbunden werden. Die optische Anzeige oder der Touchscreen 58 ist vorzugsweise eine Grafikanzeige, wie beispielsweise ein Touchscreen am Armaturenbrett oder eine Warnanzeige, die von der Frontscheibe reflektiert wird und verwendet werden kann, um eine Vielzahl von Eingabe- und Ausgabefunktionen bereitzustellen. Verschiedene andere Fahrzeugbenutzeroberflächen können ebenfalls zum Einsatz kommen, die Schnittstellen in 1 dienen lediglich als Beispiel für eine bestimmte Implementierung.
  • Jede der Vorrichtungen 22-62 kann eigenständig sein, wie in 1 dargestellt, oder sie können in einer anderen Vorrichtung, Einheit oder einem anderen Modul enthalten oder in diese integriert sein. Des Weiteren kann jede der Vorrichtungen 22-62 dediziert sein oder sie können Teil anderer Systeme oder Teilsysteme im Fahrzeug sein oder von diesen gemeinsam genutzt werden. Beispielsweise kann die verbesserte Videoausgabe von dem Onboard-Computer 30 direkt oder indirekt an dem elektronischen Anzeigespiegel 34 bereitgestellt werden. Entsprechend sind die Geräte 22-62 weder auf die schematische Darstellung in 1 oder die vorstehenden Beispielbeschreibungen beschränkt, noch sind sie an eine spezielle Ausführungsform oder Anordnung gebunden, solange sie mit dem hierin beschriebenen Verfahren verwendet werden können.
  • Anhänger 14 ist als ein Transportanhänger dargestellt, aber es sollte beachtet werden, dass die vorliegenden Systeme und Verfahren mit anderen Anhängern implementiert werden können, einschließlich Bootanhängern, Viehanhängern, Sattelanhängern, Motorradanhängern, Popup-Wohnwagenanhängern, Schub-Anhängern, Reiseanhängern, Sattelkupplungen usw. Einige Komponenten der Anhängerhardware 70, die wichtiger für das vorliegende Verfahren sind, sind in 1 dargestellt, obwohl Fachleute offensichtlich begrüßen, dass eine viel größere Menge an Anhängerhardware in modernen Anhängern vorhanden ist. Der Anhänger 14 kann einen Rahmen 80 beinhalten, der eine strukturelle Unterstützung bietet, sowie bestimmte Anhängerrahmenkomponenten 82, 84, die von dem Fahrzeug 12 verwendet werden können, um einen Anhänger-Anlenkwinkel zu bestimmen, wie im Folgenden näher erläutert wird. Der Anhänger 14 kann auch eine oder mehrere Kameras 72 und eine Fahrzeug-Anhänger-Schnittstelle 62 beinhalten. Es versteht sich weiterhin, dass die Anhängerhardware 70 in 1 nur zur Veranschaulichung dient, da die eigentliche Anordnung oder Konfiguration von Komponenten, Vorrichtungen, Modulen und/oder Systemen im Wesentlichen von der hier gezeigten abweichen kann und sie nicht auf eine spezielle Ausführungsform beschränkt ist. In einer anderen Ausführungsform kann ein zweiter Anhänger über eine Schnittstelle ähnlich der Fahrzeug-Anhänger-Schnittstelle an Anhänger 14 angebracht werden, sodass das Fahrzeug mit dem zweiten Anhänger über eine Anhänger-Anhänger-Schnittstelle (die ähnlich oder gleich wie die Fahrzeug-Anhänger-Schnittstelle aufgebaut sein kann) kommunizieren kann. Zusätzliche Anhänger können angebracht sein und mit diesen kann über das Fahrzeug oder andere Anhänger auf gleiche Weise kommuniziert werden.
  • Die Anhängerkamera 72 kann verwendet werden, um Fotos, Videos, und/oder andere Informationen bezüglich des Lichts zu erfassen. Die Kameras 72 können eine elektronische Digitalkamera sein, die durch die Verwendung einer Fahrzeugbatterie angetrieben wird. Die Kameras 72 können jeweils eine Speichervorrichtung und eine Vorrichtung zum Speichern und/oder Verarbeiten von Daten beinhalten, die sie erfasst oder anderweitig erhält. Die von der Kamera 72 erhaltenen Daten können an ein anderes in dem Fahrzeug 12 befindliches Modul, wie beispielsweise den Onboard-Computer 30, gesendet werden. Die Kamera 72, kann von jedem geeigneten Kameratyp sein (z. B. eine ladungsgekoppelte Vorrichtung (CCD), ein komplementärer Metalloxidhalbleiter (CMOS) usw.) und kann jede geeignete Linse aufweisen, sodass sie nicht auf irgendeine spezielle Art, Marke oder Modell beschränkt ist. Gemäß einer Möglichkeit liefert Kamera 72 Videodaten, wobei die Bilder horizontal gespiegelt sind (d. h. sie entsprechen dem Spiegelbild des ursprünglich von der Kamera aufgenommenen Videos). Einige nicht einschränkende Beispiele von potenziellen Ausführungsformen oder Funktionen, die mit der Kamera 72 verwendet werden können, beinhalten: Infrarot-LEDs für Nachtsichtunterstützung; Weitwinkel- oder Fischaugenobjektiv; oberflächenmontierte, eingebaute, am Nummernschild montierte oder seitlich montierte Kameras; stereoskopische Anordnungen mit mehreren Kameras; in Rückleuchten, Bremsleuchten oder andere Bauteile am Anhängerheck integrierte Kameras; und verdrahtete oder drahtlose Kameras, um nur einige Möglichkeiten zu nennen.
  • Die Kamera 72 kann an dem Anhänger 14 installiert und/oder montiert werden und so konfiguriert sein, dass sie in Bezug auf den Anhänger nach hinten gerichtet ist, sodass die Anhängerkamera einen Bereich hinter dem Anhänger erfassen kann - das heißt, das Sichtfeld der Anhängerkamera kann einen Bereich hinter dem Anhänger beinhalten und in vielen Ausführungsformen können die von der Anhängerkamera 72 aufgenommenen Bilder oder Videos verwendet werden, um Bilder oder Videos zu ergänzen, die von der Fahrzeugkamera 22 aufgenommen werden. In einer Ausführungsform können die von der Anhängerkamera 72 aufgenommenen Bilder oder Videos in Bilder oder Videos aufgenommen werden, die von der Fahrzeugkamera 22 in einem verdeckten Betrachtungsbereich aufgenommen wurden. So kann beispielsweise der Anhänger 14 einen Bereich des von der Fahrzeugkamera 22 erfassten Bildes (d. h. den verdeckten Betrachtungsbereich) verdecken, und somit kann dieser verdeckte Bereich durch Kombinieren von Bildern oder Video von der Anhängerkamera 72 in den in diesen Bildern oder Videos von der Fahrzeugkamera 22 enthaltenen verdeckten Betrachtungsbereich ergänzt werden. Auf diese Weise können Bilder oder Videos von der Fahrzeugkamera 22 und der Anhängerkamera 72 zusammen verwendet und miteinander integriert werden, um eine ungehinderte Rückansicht bereitzustellen, die auf dem elektronischen Anzeigespiegel 50 angezeigt werden kann, um von einem Fahrzeugbediener oder Insassen eingesehen zu werden.
  • Gemäß einer bestimmten Ausführungsform kann die Anhängerkamera 72 an einem hinteren Außenabschnitt des Anhängers 14 montiert werden, und in einigen Ausführungsformen kann die Anhängerkamera 72 eine Backup-Kamera (oder eine Rückfahrkamera) sein, die bereits als Teil einiger Verbraucheranhänger enthalten ist. In einer Ausführungsform kann die Kamera 72 an oder in einen hinteren Stoßfänger des Anhängers 14, einen Kofferraum oder eine andere Hintertür des Anhängers 14 und/oder beliebigen anderen Stelle am Anhänger 14 montiert oder eingebettet sein, die zum Anbringen oder Einbetten der Kamera 72 geeignet ist, sodass das Sichtfeld einen Bereich hinter dem Anhänger 14 beinhaltet. In anderen Ausführungsformen kann die Kamera 72 an einer Seite des Anhängers 14 montiert oder installiert sein und einem Bereich des toten Winkels zugewandt sein, der nicht ohne Weiteres von einem Fahrzeugbediener gesehen werden kann oder die an einer Stelle des Anhängers 14 montiert oder installiert werden kann, sodass das Sichtfeld der Kamera 72 Bilder oder Videos eines Bereichs aufnimmt, der mindestens einen Abschnitt des verdeckten Betrachtungsbereichs bildet, wie vorstehend erläutert. In einigen Ausführungsformen können mehrere Kameras 72 verwendet werden, von denen jede am Anhänger 14 angebracht und/oder installiert werden kann. In einer bestimmten Ausführungsform können mehrere Kameras jeweils auf gegenüberliegenden Seiten der Außenseite des Anhängers positioniert sein, um einen oder mehrere Bereiche des toten Winkels zu begegnen (d. h. Bereiche, die ein Fahrzeugbediener nicht ohne Weiteres einsehen kann). In anderen Ausführungsformen können die mehreren Kameras an dem Anhänger 14 derart montiert und/oder installiert sein, dass die Kameras in die Rückwärtsrichtung des Anhängers ausgerichtet sind. Zwei oder mehr Kameras können in einer stereoskopischen Ausrichtung konfiguriert werden, so wie dies vorstehend in Bezug auf die Fahrzeugkamera 22 erörtert wurde.
  • Fahrzeug-Anhänger-Schnittstellenverbinder 60 (fahrzeugseitige) und 62 (anhängerseitige) können verwendet werden, um die Anhängerhardware 70 mit der von dem Fahrzeug bereitgestellten elektrischer Energie zu verbinden und/oder um Kommunikationen zwischen der Anhängerhardware 70 und der Fahrzeughardware 20 bereitzustellen. In einer Ausführungsform kann eine standardmäßige 7-polige SAE J560-kompatible Schnittstelle verwendet werden, um die Anhängerhardware 70 mit Energie aus einer Fahrzeugbatterie zu verbinden. In vielen Ausführungsformen kann die Fahrzeug-Anhänger-Schnittstelle eine dedizierte Leitung für die Kommunikation beinhalten, und in anderen Ausführungsformen kann die Anhängerhardware 70 eine drahtlose Schaltung beinhalten, die zur Durchführung von Drahtloskommunikationen mit dem Onboard-Computer 30 über die Verwendung des drahtlosen Chipsatzes 32 verwendet werden kann. Sowohl in den drahtgebundenen als auch drahtlosen Ausführungsformen können das Fahrzeug und der Anhänger auf bidirektionale Weise kommunizieren. Diese drahtlosen Kommunikationen können jede der vorstehend beschriebenen SRWC-Technologien beinhalten, wie beispielsweise eines der IEEE 802.11-Protokolle oder eines der Bluetooth™-Protokolle. In anderen Ausführungsformen können Powerline-Kommunikationstechniken verwendet werden, um Daten über eine oder mehrere Stromleitungen zu modulieren, die Fahrzeug 12 und Anhänger 14 verbinden. Fachleute auf dem Gebiet werden andere potenzielle Fahrzeug-Anhänger-Kommunikationsmittel schätzen, die in die Fahrzeughardware 20 und/oder die Anhängerhardware 70 integriert werden können.
  • Die Fahrzeug-Anhänger-Schnittstelle kann zwei Verbinder beinhalten, einen fahrzeugseitigen Verbinder 60 und einen anhängerseitigen Verbinder 62, die komplementär zusammenpassen. In einer Ausführungsform beinhaltet der in der Fahrzeughardware 20 enthaltene fahrzeugseitige Schnittstellenverbinder 60 einen oder mehrere Hohl- und/oder Kontaktstifte. Dementsprechend beinhaltet der anhängerseitige Schnittstellenverbinder 62, der in der Anhängerhardware 70 beinhaltet ist, komplementäre Hohl- und/oder Kontaktstifte, sodass sie die Stifte des fahrzeugseitigen Schnittstellenverbinders 60 ergänzen.
  • Unter Bezugnahme auf die 2 und 3 sind Draufsichten eines Fahrzeugs und eines Anhängers vorgesehen, wobei der Anlenkwinkel des Anhängers Null (2) und ungleich Null (3) ist. Die 2 und 3 können als Referenz zur Ergänzung der Erörterung des Verfahrens 200 (6) verwendet werden, wie nachfolgend erläutert wird. Wie in den 2 und 3 veranschaulicht, veranschaulicht die Bezugslinie A eine Längsmittelachse des Fahrzeugs 12, die Bezugslinie B veranschaulicht eine Längsmittelachse des Anhängers 14, und die Bezugslinie C veranschaulicht eine Achse einer Rahmenkomponente 82, 84 des Anhängers 14. Wie weiter unten erörtert, können bestimmte Winkel unter Verwendung dieser Referenzpunkte berechnet werden, um einen Anhänger-Anlenkwinkel bereitzustellen, der in verschiedenen Ausführungsformen des Verfahrens 200 (6) verwendet werden kann.
  • Wie in 2 gezeigt, ist ein Szenario dargestellt, in dem das Fahrzeug 12 und der Anhänger 14 so miteinander ausgerichtet sind, dass der vorliegende Anlenkwinkel ϕ des Anhängers in Bezug auf das Fahrzeug Null ist. Der Anlenkwinkel kann von der Bezugslinie A und der Bezugslinie B gemessen werden, sodass der Anlenkwinkel einen Winkel zwischen der Mittellängsachse des Fahrzeugs 12 und der Mittellängsachse des Anhängers 14 darstellt. In einigen Ausführungsformen können andere Bezugslinien oder Achsen verwendet werden, um den Anlenkwinkel ϕ zu berechnen. So kann beispielsweise das Fahrzeug die nach hinten gerichtete Fahrzeugkamera 22 verwenden, um den Anlenkwinkel ϕ basierend auf einem oder mehreren Objekten innerhalb des Sichtfelds der Kamera 22, einschließlich einer Anhängerrahmenkomponente 82 oder 84, zu bestimmen. Wie in 2 dargestellt, wird die Bezugslinie C, die einer Achse der Anhängerrahmenkomponente 82 entspricht, und die Bezugslinie A verwendet, um einen ersten Referenzwinkel α1 zu berechnen der mit einem vorbestimmten oder vordefinierten Referenzwinkel α0 zum Bestimmen eines Anlenkwinkels ϕ verwendet werden kann. Zum Beispiel kann die Fahrzeugkamera 22 verwendet werden, um Bilder der Anhängerrahmenkomponente 82 aufzunehmen, und kann danach Bildverarbeitungstechniken verwenden, um einen ersten Referenzwinkel α1 zu ermitteln. Dieser Winkel kann dann mit einem vorbestimmten oder vordefinierten Referenzwinkel α0 verglichen werden, der ein Winkel zwischen Bezugslinie C und Bezugslinie A sein kann, wenn die Fahrzeuglängsachse (dargestellt durch Bezugslinie A) und die Anhängerlängsachse (dargestellt durch Bezugslinie B) ausgerichtet sind, wie in 2 dargestellt. In einigen Ausführungsformen kann der erste Referenzwinkel α1 von dem vorbestimmten Referenzwinkel α0 subtrahiert werden, um den Anlenkwinkel ϕ zu erhalten. Der Anlenkwinkel ϕ kann in verschiedenen Schritten des Verfahrens 200 verwendet werden, was nachfolgend erörtert wird.
  • Unter Bezugnahme auf die 4 und 5 ist ein Beispiel einer Ansicht von der Fahrzeugkamera 22 während der in 2 und 3 dargestellten Szenarien dargestellt. Diese Ansichten veranschaulichen ein erstes Bild 102, ein zweites Bild 104, einen verdeckten Betrachtungsbereich 110 und einen Bildüberlagerungsbereich 120. 4 zeigt den Anhänger 14, wie er von der Fahrzeugkamera 22 in einem Szenario erfasst werden würde, in dem der Anhänger-Anlenkwinkel ϕ 0° beträgt (2) und 5 zeigt den Anhänger 14 in einem Winkel, wie er von der Fahrzeugkamera 22 in einem Szenario erfasst werden würde, in dem der Anhänger-Anlenkwinkel ϕ ungleich Null ist (3). Bei der Beschreibung des Verfahrens 200 (6) wird nachfolgend Bezug auf die 2-5 genommen.
  • Unter Bezugnahme auf 6 wird ein Verfahren 200 zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug bereitgestellt, das einen Anhänger zieht. Das Verfahren 200 beinhaltet im Allgemeinen die Schritte des Erfassens von Bildern (oder Videos) von der Fahrzeugkamera 22 und der Anhängerkamera 72, das Bestimmen eines verdeckten Betrachtungsbereich mit den Bildern (oder Videos) von der Fahrzeugkamera 22, das Überlagern der Bilder (oder Videos) von der Anhängerkamera 72 über mindestens einen Abschnitt des verdeckten Betrachtungsbereichs und das Anwenden von Szenenspeicherungstechniken zum Füllen des Bereichs des verdeckten Betrachtungsbereichs, der nicht durch die Bilder (oder Videos) von der Anhängerkamera 72 ergänzt wurde. Andere Ausführungsformen beinhalten das Erweitern des fertigen oder kombinierten Rückansichtsbildes (oder des Videos) mit Grafiken, die beispielsweise Fahrbahnmerkmale hervorheben können.
  • In vielen Ausführungsformen kann das Verfahren 200 in ein Computerprogrammprodukt (oder eine „Anwendung“) implementiert werden, das in einem computerlesbaren Medium verkörpert ist und Anweisungen beinhaltet, die von einem oder mehreren Prozessoren eines oder mehrerer Computer eines oder mehrerer Systeme verwendet werden können. Ein Computersoftwareprodukt kann ein oder mehrere aus Programmanweisungen in Quellcode, Objektcode, ausführbarem Code oder einem anderen Format bestehende Softwareprogramme; ein oder mehrere Firmwareprogramme; oder Dateien einer Hardwarebeschreibungssprache (HDL); und andere programmbezogene Daten beinhalten. Die Daten können Datenstrukturen, Wertetabellen oder Daten in einem anderen geeigneten Format beinhalten. Die Programmbefehle können Programmmodule, Routinen, Programme, Objekte, Komponenten und/oder dergleichen beinhalten. Das Computerprogramm kann von einem oder mehreren Computern in Verbindung miteinander ausgeführt werden.
  • Das/die Programm(e) kann/können auf computerlesbaren Medien, wie Speicher 36, verkörpert sein, die ggf. nicht-flüchtig sind und ein oder mehrere Speichergeräte, Herstellungsartikel oder dergleichen beinhalten. Zu den Beispielen für computerlesbare Medien gehören Systemspeicher von Computern, z.B. RAM (Speicher mit wahlfreiem Zugriff), ROM (Nur-Lese-Speicher); Halbleiterspeicher, z.B. EPROM (löschbarer, programmierbarer ROM), EEPROM (elektrisch löschbarer, programmierbarer ROM), Flash-Speicher; magnetische oder optische Platten oder Bänder; und/oder dergleichen. Ein computerlesbares Medium kann außerdem Verbindungen von Rechner zu Rechner beinhalten, wenn beispielsweise Daten über ein Netzwerk oder eine andere Kommunikationsverbindung (drahtgebunden, drahtlos oder in einer Kombination von beiden) übertragen oder bereitgestellt werden. Sämtliche Kombinationen aus den vorstehenden Beispielen fallen ebenfalls in den Umfang der computerlesbaren Medien. Es versteht sich daher, dass das Verfahren zumindest teilweise durch beliebige elektronische Artikel und/oder Geräte ausgeführt werden kann, die Anweisungen gemäß eines oder mehrerer Schritte des offenbarten Verfahrens ausführen können, einschließlich der elektronischen Vorrichtungen, die Teil der Fahrzeughardware 20 und/oder der Anhängerhardware 70 sind.
  • Verfahren 200 beginnt mit Schritt 210, worin ein erstes Bild von einer Fahrzeugkamera, die an dem Fahrzeug installiert ist, erfasst wird. In vielen Ausführungsformen kann das erste Bild aus einem Bereich hinter dem Fahrzeug bestehen. In anderen Ausführungsformen können mehrere Fahrzeugkameras verwendet werden, wie beispielsweise die Kamera, die einem linken toten Winkel zugewandt ist, und eine weitere Kamera, die einem rechten toten Winkel zugewandt ist. Die von der Kamera 22 aufgenommenen Bilder oder Videos können dann über den Kommunikationsbus 44 an den Onboard-Computer 30 gesendet werden. Der Onboard-Computer 30 erhält diese Bild-/Videoeingabe und kann das Video dann beispielsweise speichern, puffern, verarbeiten und/oder an den elektronischen Anzeigespiegel 50 übergeben, wie nachfolgend beschrieben wird. Das Verfahren 200 fährt mit Schritt 220 fort.
  • In Schritt 220 wird ein zweites Bild von einer Anhängerkamera aufgenommen, die an dem Anhänger installiert ist. In einigen Ausführungsformen kann das zweite Bild einen Bereich hinter dem Anhänger umfassen, wie beispielsweise einem Bereich innerhalb des verdeckten Betrachtungsbereichs des ersten Bildes. Das zweite Bild kann von der Anhängerkamera 72 aufgenommen und dann an den Onboard-Computer 30 des Fahrzeugs 12 übermittelt werden. Die Bilder können über eine drahtgebundene Verbindung, die über die Fahrzeug-Anhänger-Schnittstellenverbinder 60, 62 vom Anhänger zum Fahrzeug verläuft, an den Onboard-Computer gesendet werden. In anderen Ausführungsformen können die Bilder oder Videos von der Anhängerkamera 72 drahtlos unter Verwendung eines SRWC-Chipsatzes oder einer Schaltung an dem Anhänger und Fahrzeug gesendet werden. Der Onboard-Computer 30 erhält die zweite Bildeingabe und kann das Video dann beispielsweise speichern, puffern, verarbeiten und/oder das Video an den elektronischen Anzeigespiegel 50 übergeben, wie nachfolgend beschrieben wird. Das Verfahren 200 fährt mit Schritt 230 fort.
  • In Schritt 230 wird das zweite Bild verarbeitet und/oder manipuliert, sodass das zweite Bild einen Betrachtungswinkel reflektiert, der dem ersten Bild entspricht. So können beispielsweise in einigen Ausführungsformen die Fahrzeugkamera 22 und die Anhängerkamera 72 in Bezug auf einen Bereich hinter dem Fahrzeug oder den Anhänger in unterschiedlichen Winkeln ausgerichtet sein und somit kann es sich vor dem Einfügen des zweiten Bildes in einen Bereich des ersten Bildes, zumindest in einigen Ausführungsformen, als vorteilhaft erweisen, einen Betrachtungswinkel zu bestimmen, der dem ersten Bild entspricht, sodass das zweite Bild auf eine Weise verarbeitet und/oder manipuliert werden kann, um einen Bereich hinter dem Anhänger gemäß dem ermittelten Betrachtungswinkel darzustellen. Der Betrachtungswinkel kann unter Verwendung verschiedener Verfahren bestimmt werden, einschließlich der Verwendung vorbestimmter oder vordefinierte Betrachtungswinkelwerte, die der Fahrzeugkamera 22 und der Anhängerkamera 72 zugeordnet sind. In anderen Ausführungsformen kann das erste Bild verarbeitet und/oder manipuliert werden, sodass das erste Bild einen Betrachtungswinkel reflektiert, der dem zweiten Bild entspricht. Darüber hinaus können in mindestens einer Ausführungsform sowohl das erste als auch das zweite Bild verarbeitet und/oder manipuliert werden, sodass das resultierende Bild ein Betrachtungsbild aus der Perspektive eines Winkels von Interesse reflektiert.
  • So kann beispielsweise das Fahrzeug mit Informationen über den Betrachtungswinkel der Fahrzeugkamera 22 bereitgestellt oder programmiert werden. Zusätzlich kann das Fahrzeug den Betrachtungswinkel der Anhängerkamera 72 erhalten, indem beispielsweise Anhängerinformationen über das Modell des Anhängers 14 aus einer Anhängerinformationsdatenbank abgerufen werden. Die Anhängerinformationsdatenbank kann an einem entfernten Standort, wie beispielsweise einem entfernten Server, der über das Internet zugänglich ist, gespeichert werden. In einem solchen Fall kann das Fahrzeug 12 die Anhängerinformationen abrufen (dies umfasst Informationen, die sich auf den Anhängerkamera-Betrachtungswinkel beziehen) und kann diese Informationen dann im Speicher speichern, beispielsweise im Speicher 34. In anderen Ausführungsformen können dem Anhänger 14 bestimmte Anhängerinformationen bekannt sein und an den Onboard-Computer 30 des Fahrzeugs 12 gesendet werden. In anderen Ausführungsformen kann das Fahrzeug 12 eine Anhängerinformationsdatenbank enthalten, beispielsweise im Speicher 36. Andere Beispiele für das Bestimmen oder Erhalten des Winkels der Anhängerkamera können bedeuten, dass der Fahrer in die Informationen über das System eingibt, oder das System den Winkel der Kamera basierend auf einem Algorithmus, bei dem der Fahrer angewiesen wird, für eine kurze Zeitdauer zu fahren, während die Kamera ihre Position lernt, automatisch lernt. In einer anderen Ausführungsform kann das System diesen Winkel bestimmen, indem es einen Bediener veranlasst, bestimmte vordefinierte Formen an bestimmten Positionen im Sichtfeld (FOV) der Kamera zu platzieren und dann die Kamera dazu auffordert, ihre Position und ihren Betrachtungswinkel basierend auf der Position der vordefinierten Formen zu erlernen. Sobald der Anhängerkamera-Betrachtungswinkel erhalten ist, kann das Fahrzeug auch den Fahrzeugkamera-Betrachtungswinkel erhalten. Dieser Winkel kann aus einer Fahrzeuginformationsdatenbank erhalten werden, die Informationen zum Fahrzeug speichert. Der Onboard-Computer 30 kann diese Informationen von einem entfernten Server, aus dem Speicher 36 und/oder einem anderen VSM des Fahrzeugs 12 erhalten.
  • Sobald der Anhängerkamera-Betrachtungswinkel und der Fahrzeugkamera-Betrachtungswinkel am Onboard-Computer 30 erhalten werden, kann das zweite Bild (von der Anhängerkamera 72) entsprechend verarbeitet oder manipuliert werden. So müssen beispielsweise bestimmte Bereiche des zweiten Bildes verzerrt werden, um ein Bild zu reflektieren, das dem Betrachtungswinkel der Fahrzeugkamera 22 entspricht. Verschiedene Techniken können verwendet werden, um das zweite Bild zu verzerren oder umzuwandeln. In einigen Ausführungsformen kann das erste Bild ebenfalls gemäß den Betrachtungswinkeln verarbeitet werden. Wie vorstehend erwähnt, können Bilder verwendet werden, die anderen Betrachtungswinkeln entsprechen, und in solchen Ausführungsformen kann das Verfahren dementsprechend ausgeführt werden, wie Fachleuten auf dem Gebiet erkennen werden. Sobald das zweite Bild gemäß des Anhängerkamera-Betrachtungswinkels und/oder des Fahrzeugkamera-Betrachtungswinkels bearbeitet wurde, fährt das Verfahren 200 mit Schritt 240 fort.
  • In Schritt 240 wird ein verdeckter Betrachtungsbereich innerhalb des ersten Bildes bestimmt. In vielen Ausführungsformen ist der verdeckte Betrachtungsbereich ein Bereich des ersten Bildes, in dem sich der Anhänger befindet oder den dieser einnimmt. So versperrt der Anhänger 14 beispielsweise in 4 mindestens einen Abschnitt des Bereichs 110 und in 5 verdeckt der Anhänger 14, der in einem Winkel φ angelenkt ist, einen Großteil der linken Seite des ersten Bildes 102. Der verdeckte Betrachtungsbereich kann somit dynamisch basierend auf verschiedenen Faktoren bestimmt werden, einschließlich des Anlenkwinkels des Anhängers 14, des Lenkradwinkels des Fahrzeugs 12, der Identifikation des Anhängers 14 innerhalb des ersten Bildes unter Verwendung von Bildverarbeitungstechniken und verschiedenen anderen Informationen. Darüber hinaus kann der verdeckte Betrachtungsbereich andere Bereiche des ersten Bildes beinhalten, die nicht verdeckt sind und/oder die einen Bereich des ersten Bildes umgeben, in dem sich der Anhänger befindet. Auf diese Weise können diese Bereiche, die den Anhänger 14 innerhalb des ersten Bildes umgeben, entfernt werden, um einen ruhigeren oder natürlicheren Übergang zwischen dem ersten und dem zweiten Bild zu ermöglichen, das wie nachfolgend erläutert (Schritt 250) in das erste Bild eingefügt wird.
  • Der verdeckte Betrachtungsbereich kann durch zwei oder mehr Koordinaten definiert werden, die den Positionen innerhalb des ersten Bildes entsprechen. Das Koordinatensystem kann auf der Auflösung des ersten Bildes basieren und unter Verwendung von Indizes (Koordinatenpaaren) definiert werden, die einem Pixel innerhalb des ersten Bildes entsprechen. In einer Ausführungsform kann der verdeckte Betrachtungsbereich durch vier Koordinaten definiert werden, die Eckpunkte eines Vierecks (z. B. eines Rechtecks) darstellen. In anderen Ausführungsformen können andere Verfahren verwendet werden, um den verdeckten Betrachtungsbereich innerhalb des ersten Bildes zu definieren.
  • Der verdeckte Betrachtungsbereich kann statisch oder dynamisch definiert werden. In einer Ausführungsform kann der Speicher 36 des Computers 30 eine vordefinierte Definition eines verdeckten Betrachtungsbereichs (z. B. vier Koordinaten, die den verdeckten Betrachtungsbereich definiert) speichern, der einem durch den Anhänger verdeckten Bereich entspricht, wenn der Anlenkwinkel ϕ 0° (Null Grad) beträgt und sich das Fahrzeug und der Anhänger auf einer ebenen Fläche befinden. Die vordefinierte Definition eines verdeckten Betrachtungsbereichs kann dann im Hinblick auf einen aktuellen Anlenkwinkel ϕ des Anhängers, an dem ersten Bild und/oder dem zweiten Bild durchgeführten Bildverarbeitungstechniken, dem Abstand zwischen dem Anhänger und dem Fahrzeug, einem Lenkradwinkel, einem oder mehreren anderen Fahrzeug- oder Anhängerzuständen, wie sie durch die Fahrzeughardware 20 oder die Anhängerhardware 70 bestimmt werden, und/oder eine Vielzahl anderer Informationen (z. B. Anhängerbreite und -höhe) modifiziert werden. Das Fahrzeug kann diese Informationen, wie beispielsweise die Entfernung zwischen dem Anhänger und dem Fahrzeug, erhalten, indem dieser Inhalt von einer entfernten Einrichtung heruntergeladen oder mit den Informationen vorkonfiguriert oder programmiert wird, die im Speicher 36 gespeichert werden können. Oder das Fahrzeug kann Backup-Sensoren verwenden, um einen Abstand zwischen dem Anhänger und dem Fahrzeug zu erhalten.
  • Der Anlenkwinkel kann verwendet werden, um die Definition des verdeckten Betrachtungsbereichs anzupassen, da je nach Anlenkwinkel ϕ der Anhänger verschiedene Bereiche des ersten Bildes verdecken kann. In vielen Ausführungsformen kann die Länge des Anhängers verwendet werden, um die Definition des verdeckten Betrachtungsbereichs anzupassen, da dies eine wesentliche Rolle bei der Ermittlung der Grenzen des verdeckten Betrachtungsbereichs spielen kann. Wenn der Anhänger zum Beispiel nach rechts angelenkt ist (Referenzwinkel α1 ist kleiner als der vorgegebene Referenzwinkel α0), dann kann die linke Seite des ersten Bildes von der Fahrzeugkamera 22 mehr als die rechte Seite des ersten Bildes verdeckt sein, wie in 5 dargestellt. Somit kann der Onboard-Computer durch Erhalten des Anlenkwinkels ϕ wissen, ob und in welchem Ausmaß bestimmte Abschnitte des ersten Bildes durch den Anhänger verdeckt werden, wodurch der Onboard-Computer mit Informationen versehen wird, um einen geeigneten verdeckten Betrachtungsbereich zu definieren. Der Anlenkwinkel ϕ kann unter Verwendung verschiedener Verfahren erhalten werden, wie beispielsweise mithilfe von Bildverarbeitungstechniken in dem ersten Bild, um eine Bezugslinie C zu ermitteln, die einer Anhängerrahmenkomponente 82, 84 entspricht, und/oder unter Verwendung von Informationen von dem BCM 40, einschließlich eines Lenkradwinkels.
  • Darüber hinaus können beim Definieren des verdeckten Betrachtungsbereichs Informationen über den verdeckten Bereich und/oder andere Bereiche, die ausgeschnitten werden sollen, aus der Verwendung von Bildverarbeitungstechniken in dem ersten Bild und/oder dem zweiten Bild abgeleitet werden. So kann beispielsweise der Anhänger durch Verarbeiten des ersten Bildes unter Verwendung von Objekterkennungs- oder Mustererkennungstechniken identifiziert werden, von denen einige die Verwendung von vordefinierten oder vorbestimmten Daten beinhalten können, die dem Anhänger 14 zugeordnet sind. Diese Bilderkennungstechniken können anstelle des Anlenkwinkels verwendet werden oder sie können verwendet werden, um sich gegenseitig bei der Definition des verdeckten Betrachtungsbereichs zu unterstützen. Zusätzlich oder alternativ könnte das Fahrzeug bereits vorhandene Näherungssensoren hinter dem Fahrzeug (d. h. Backup-Sensoren) verwenden, die Radar (oder andere Techniken) verwenden können, um die Grenzen des Anhängers zu lokalisieren.
  • Darüber hinaus können das erste Bild und das zweite Bild Bereiche beinhalten, die den gleichen Bereich hinter dem Anhänger darstellen. So können beispielsweise sowohl die Fahrzeugkamera 22 als auch die Anhängerkamera 72 ein Objekt erfassen, das sich hinten links vom Anhänger befindet. Somit kann es in zumindest einigen Ausführungsformen nicht wünschenswert sein, das zweite Bild innerhalb des ersten Bildes zu platzieren (Schritt 250), worin beide Bilder das gleiche Objekt darstellen, da dies einen Bediener oder Insassen des Fahrzeugs 12 verwirren kann. Somit können Bildverarbeitungstechniken (einschließlich Objekterkennungstechniken) verwendet werden, um bestimmte Objekte innerhalb des Sichtfelds der Fahrzeugkamera 22 und der Anhängerkamera 72 zu identifizieren. Diese duplizierten Bereiche können dann innerhalb des ersten Bildes identifiziert werden und dann in die Definition des verdeckten Betrachtungsbereichs aufgenommen werden, was dazu führt, dass diese Bereiche aus dem ersten Bild entfernt werden, bevor sie für einen Fahrzeugbediener oder Insassen angezeigt werden. Sobald die Definition des verdeckten Betrachtungsbereichs bestimmt und im Speicher 36 gespeichert ist, fährt das Verfahren 200 mit Schritt 250 fort.
  • In Schritt 250 wird das zweite Bild auf dem ersten Bild und innerhalb des verdeckten Betrachtungsbereichs überlagert. Dieser Schritt kann das Bestimmen eines Bildüberlagerungsbereichs beinhalten, der einem Bereich entspricht, in dem das zweite Bild auf dem ersten Bild überlagert wird. Der Bildüberlagerungsbereich kann unter Verwendung einer Vielzahl von Koordinaten definiert werden, ähnlich der Art und Weise, in der der verdeckte Betrachtungsbereich definiert ist. Und in einigen Ausführungsformen kann der Bildüberlagerungsbereich derselbe wie der verdeckter Betrachtungsbereich sein - d. h. die Definition des Bildüberlagerungsbereichs kann die gleiche wie die Definition des verdeckten Betrachtungsbereichs sein. Und in anderen Ausführungsformen kann der Bildüberlagerungsbereich auf der Definition des verdeckten Betrachtungsbereichs basieren, oder der verdeckte Betrachtungsbereich kann auf dem Bildüberlagerungsbereich basieren. In vielen Ausführungsformen kann der verdeckte Betrachtungsbereich einen Teil des Bildüberlagerungsbereichs und andere Abschnitte beinhalten, die sich nicht innerhalb des Bildüberlagerungsbereichs befinden. Diese Abschnitte des verdeckten Betrachtungsbereichs, die außerhalb des Bildüberlagerungsbereichs liegen, können als Patch-Bereiche bezeichnet werden und werden wahrscheinlich wie nachstehend beschrieben gefüllt.
  • Der Bildüberlagerungsbereich kann unter Verwendung einer Vielzahl von Techniken bestimmt werden, von denen einige auf dem Anlenkwinkel ϕ des Anhängers, Anhängerinformationen (z. B. Anhängerabmessungen wie Anhängerlänge) und anderen Informationen basieren können. Objekterkennungs- oder Mustererkennungstechniken können verwendet werden, um das zweite Bild innerhalb des ersten Bildes auszurichten, um kein verzerrtes oder ungenaues Erscheinungsbild von Objekten innerhalb des endgültigen, kombinierten Rückansichtsbildes zu erzeugen. Sobald der Bildüberlagerungsbereich bestimmt ist, kann die Definition dieses Bereichs im Speicher, wie beispielsweise Speicher 36, gespeichert werden und kann zusammen mit anderen Informationen, wie dem Anlenkwinkel ϕ, so gespeichert werden, dass beim späteren Auftreten (als Teil einer zukünftigen Iteration des Verfahrens 200) von Schritt 250 während eines Szenarios, in dem der Anlenkwinkel ϕ derselbe ist, die Bildüberlagerungsbereichsdefinition aus dem Speicher 36 abgerufen werden, anstatt neu berechnet zu werden. Danach können die zweiten Bilddaten (z. B. die Bytes, die Pixel darstellen) in die ersten Bilddaten umgesetzt werden, sodass ein Bild erhalten wird, das das erste Bild und das zweite Bild innerhalb des Bildüberlagerungsbereichs enthält. Dieses Bild (d. h. das „Gesamtbild“) kann dann im Speicher 36 gespeichert werden. Sobald das zweite Bild in die Bildüberlagerungsposition überlagert oder eingefügt ist, könnte es sinnvoll sein, das zweite Bild zu verschieben und/oder dessen Größe anzupassen, sodass es den freien Raum auf eine realistischere Weise ausfüllt und die Bilder besser zusammenfügt. Durch die Verbesserung dieses Integrationsverfahrens können weniger Patch-Bereiche vorhanden sein, die ausgefüllt werden müssen. Und während dieses Integrationsverfahrens kann das zweite Bild unter Verwendung anderer Bildverarbeitungstechniken vergrößert, skaliert, transformiert und/oder verarbeitet werden, um das zweite Bild in das Gesamtbild zu integrieren, wodurch ein realistischeres Bild gebildet wird. Das Verfahren 200 fährt mit Schritt 260 fort.
  • In Schritt 260 können Grafiken hinzugefügt werden, um das Bild zu erweitern, das einem Fahrzeugbediener oder Insassen angezeigt werden soll. Diese Grafiken können die Aufmerksamkeit eines Benutzers auf bestimmte Objekte oder Bereiche innerhalb des Bildes hervorheben oder lenken, wodurch dem Fahrzeugbediener oder dem Insassen mehr Bewusstsein für seine Umgebung bereitgestellt wird. Die Grafiken können bestimmten Objekten im Bild entsprechen, die unter Verwendung bestimmter Bildverarbeitungstechniken (Objekterkennungs- oder Mustererkennungstechniken) identifiziert werden können. Alternativ oder zusätzlich können die Grafiken auf anderen Informationen basieren, die an einem oder mehreren Fahrzeugsensoren am Fahrzeug empfangen werden, wie beispielsweise Informationen, die von einem Lidar oder Radar erhalten werden, oder Informationen, die von einer drahtlosen Kommunikationsvorrichtung über eine Verbindung mit einem entfernten Server erhalten werden. Die Grafiken können beispielsweise eine Spurwechselwarnung sein, die einen Fahrzeugbediener warnt, dass sich ein Objekt, wie beispielsweise ein anderes Fahrzeug, in einer an das Fahrzeug angrenzenden Fahrspur befindet. Die Grafiken können entsprechend dem entsprechenden Objekt, auf das sie angewendet werden sollen, bemessen und/oder transformiert werden. In einigen Ausführungsformen können Grafiken, die Fahrspurmarkierung, Bordsteine und/oder Kanten der Straße hervorheben, erzeugt und über dem Bild angezeigt werden (Schritt 280).
  • Zusätzlich kann der Onboard-Computer Grafiken für die Anhängerräder erhalten und/oder erzeugen (d. h. virtuelle Anhängerradgrafiken), die verwendet werden können, um einen Fahrzeugbediener oder Insassen zu informieren, wo sich die Anhängerräder relativ zur Straße befinden. Das Verfahren 200 fährt mit Schritt 270 fort.
  • In Schritt 270 können Grafiken für die Verwendung in den Patch-Bereichen des Gesamtbildes entwickelt oder erhalten werden. Eine Vielzahl von Techniken kann verwendet werden, um diese Patch-Bereiche zu füllen, einschließlich Szenenspeicherungstechniken und/oder Techniken zum Zusammenfügen von Bildern. In einigen Ausführungsformen können Techniken zu Zusammenfügen verwendet werden, um das Gesamtbild zu verbessern, insbesondere in Bereichen, die in oder um den Bildüberlagerungsbereich und/oder den verdeckten Betrachtungsbereich enthalten sind. Diese Techniken können das Anpassen von Bildattributen (z. B. Helligkeit, Lichtstärke, Kontrast, Farbkurven) sowie das Auswählen der einzelnen Pixelwerte beinhalten.
  • Die Patch-Bereiche können auch durch die Verwendung von Szenenspeicherungstechniken gefüllt werden. Die Szenenspeicherung bezieht sich auf das Beibehalten bestimmter Bilder zur späteren Verwendung in anderen Bildern, die mindestens einen Teil des Bereichs beinhalten, der durch die beibehaltenen Bilder dargestellt ist. So kann beispielsweise die Fahrzeugkamera 22 eine uneingeschränkte Sicht auf die Seiten des Anhängers 72 aufweisen. Wenn sich das Fahrzeug dann vorwärtsbewegt, können diese Bereiche dann durch den Anhänger 14 verdeckt werden. An diesem Punkt kann das Fahrzeug jedoch die beibehaltenen Bilder verwenden, um die durch den Anhänger verdeckten Patch-Bereichen oder die sich innerhalb des verdeckten Betrachtungsbereich befindlichen Bereiche zu füllen - es sollte beachtet werden, dass der verdeckte Betrachtungsbereich Bereiche des ersten Bildes beinhalten kann, die nicht durch den Anhänger verdeckt werden aber enthalten sind, sodass sie entfernt und dann gepatcht oder zusammengefügt werden, wodurch ein besserer Übergang zwischen dem ersten und dem zweiten Bild bereitgestellt wird.
  • Szenenspeicherungstechniken können durch den Prozessor 34 des Onboard-Computers 30 durchgeführt werden. Der Onboard-Computer 30 kann verschiedene Informationen von einem oder mehreren Fahrzeugsystem-Modulen oder Sensoren verwenden, die im Fahrzeug enthalten sind, wie beispielsweise BCM 40 und/oder einen Raddrehzahlsensor. In einigen Ausführungsformen kann eine Fahrzeuggeschwindigkeit vom Onboard-Computer 30 vom BCM 40 oder von einem oder mehreren Raddrehzahlsensoren, die am Fahrzeug 12 installiert sind, erhalten werden. Die Fahrzeuggeschwindigkeit kann verwendet werden, um eine Rate zu bestimmen, mit der sich die Pixel des ersten und des zweiten Bildes bewegen und somit, wo die beibehaltenen Bilder innerhalb des verdeckten Betrachtungsbereichs eingefügt werden sollen. Das Verfahren 200 fährt mit Schritt 280 fort.
  • In Schritt 280 wird ein kombiniertes Bild auf einem elektronischen Anzeigespiegel im Fahrzeug angezeigt. In anderen Ausführungsformen kann das kombinierte Bild auf einer anderen Anzeige des Fahrzeugs angezeigt werden, wie beispielsweise einer InfotainmentEinheit oder einer Multimedia-Anzeige. Das kombinierte Bild enthält mindestens einen Abschnitt des von einer Fahrzeugkamera 22 aufgenommenen ersten Bildes, mindestens einen Abschnitt eines von der Anhängerkamera 72 aufgenommenen zweiten Bildes und eine oder mehrere Grafiken. Die eine oder die mehreren Grafiken können erzeugt werden, um Fahrbahnmerkmale hervorzuheben oder anderweitig die Aufmerksamkeit eines Fahrzeugbedieners oder Insassen auf ein Objekt oder andere Informationen zu lenken, die im kombinierten Bild enthalten sind. Die eine oder mehreren Grafiken können auch Grafiken sein, die versuchen, Teile des Bereichs um das Fahrzeug und den Anhänger herum neu zu erstellen, um eine Sicht hinter dem Fahrzeug nachzuahmen, die nicht durch den Anhänger verdeckt wird.
  • In vielen Ausführungsformen kann das kombinierte Bild auf dem elektronischen Anzeigespiegel 50 angezeigt werden. Das kombinierte Bild kann über den Kommunikationsbus 44 an den elektronischen Anzeigespiegel 50 gesendet werden. In anderen Ausführungsformen kann das nicht verdeckte Endbild an eine oder mehrere andere Anzeigen innerhalb des Fahrzeugs gesendet werden, einschließlich der Anzeige 58. Das kombinierte Bild oder zumindest Abschnitte davon können in einem nichtflüchtigen computerlesbaren Speicher (oder sogar einem Speicher mit wahlfreiem Zugriff (RAM)) gespeichert werden, sodass diese Bilder später zur Verwendung bei der Durchführung zukünftiger Iterationen des Verfahrens 200 abgerufen werden können. So können beispielsweise bei einer nächsten Iteration des Verfahrens 200 bestimmte Abschnitte des ersten Bildes, die sich nicht innerhalb des verdeckten Betrachtungsbereichs befanden, aus dem Speicher abgerufen und dann in der nächsten Iteration verwendet werden, um einen Abschnitt des verdeckten Betrachtungsbereichs zu füllen.
  • Zusätzlich sollte beachtet werden, dass, obwohl Verfahren 200 mit Bezug auf das Erzeugen eines einzelnen Bildes erörtert wurde, das Verfahren 200 verwendet werden kann, um eine Reihe von Bildern zu erzeugen, die verwendet werden können, um ein Video zu erzeugen, das auf dem elektronischen Anzeigespiegel 50 angezeigt werden soll. Zumindest in einigen Ausführungsformen, können Iterationen des Verfahrens 200 auch in einer seriellen oder parallelen Weise durchgeführt werden-d.h. das Verfahren 200 kann vor Beginn einer nächsten Iteration des Verfahrens 200 (seriell) oder des Verfahrens 200 (oder bestimmte Schritte darin) vollständig ausgeführt werden, sodass bestimmte Schritte einer ersten Iteration des Verfahrens 200 gleichzeitig mit bestimmten Schritten einer zweiten Iteration des Verfahrens 200 ausgeführt werden. Das Verfahren 200 endet dann.
  • Unter Bezugnahme auf die 7-10 wird ein Verlauf von Video- und/oder Bilddaten gezeigt, die unter Verwendung der Fahrzeugkamera und der Anhängerkamera erhalten werden, und die mit verschiedenen Grafiken kombiniert werden, um ein kombiniertes Bild zu erhalten, das einen Bereich hinter dem Fahrzeug abbildet, während die durch den Anhänger verursachte Störung abgeschwächt wird. In vielen Ausführungsformen kann das vorstehend beschriebene Verfahren 200 (6) verwendet werden, um das kombinierte Bild (10) zu erzeugen und dann das kombinierte Bild auf einer Anzeige, wie beispielsweise dem elektronischen Anzeigespiegel 50, zu präsentieren.
  • 7 zeigt ein erstes Bild 102, das von einer nach hinten gerichteten Fahrzeugkamera 22 erhalten wird, die den Anhänger 14 zeigt. Wie dargestellt, verdeckt der Anhänger 14, der von dem Fahrzeug 12 gezogen wird, einen Teil des Bereichs hinter dem Anhänger. Dieses erste Bild 102 kann unter Verwendung der Fahrzeugkamera 22, wie in Schritt 210 des Verfahrens 200 (6) beschrieben, erfasst werden. 8 zeigt das erste Bild 102 zusammen mit einem zweiten Bild 104, das von einer Anhängerkamera 72 erfasst wird, die dem ersten Bild 102 in einem Bildüberlagerungsbereich 120 überlagert ist. 8 beinhaltet einen Patch-Abschnitt 130, der einen Bereich des Anhängers 14 beinhaltet, der nicht durch das zweite Bild 104 von der Anhängerkamera 72 ergänzt wird. Das zweite Bild 104 kann unter Verwendung der Anhängerkamera 72 erfasst werden, wie in Schritt 220 des Verfahrens 200 beschrieben. Darüber hinaus kann das zweite Bild 104 auf dem ersten Bild 102 an einer Bildüberlagerungsposition 120 unter Verwendung einer Vielzahl verschiedener Techniken, wie sie vorstehend in Schritt 250 des Verfahrens 200 beschrieben wurden, überlagert, neu positioniert und/oder geändert werden.
  • 9 zeigt das Gesamtbild aus 8, beinhaltet aber auch verschiedene Grafiken, die ein oder mehrere Fahrbahnmerkmale hervorheben, wie beispielsweise Fahrspurmarkierungsgrafiken 140 und Straßenrandgrafiken 150. Diese Grafiken können gemäß einer der vorstehend in Schritt 260 des Verfahrens 200 (6) beschriebenen Ausführungsformen erzeugt und/oder gerendert werden. 10 zeigt ein kombiniertes Bild, das zur Darstellung auf einer Anzeige des Fahrzeugs bereit ist, wie beispielsweise dem elektronischer Anzeigespiegel 50. 10 zeigt Grafiken, die erzeugt werden, um den Patch-Bereich 130 auszufüllen, und, wie dargestellt, können diese Grafiken erzeugt werden, sodass sie mit einer Hintergrundszene hinter dem Fahrzeug 12 und dem Anhänger 14 übereinstimmen. Szenenspeichertechniken, wie sie oben in Schritt 270 erörtert wurden, können verwendet werden, um den Patch-Bereich 130 auszufüllen. Zusätzlich können andere Grafiken hinzugefügt werden, wie beispielsweise die Anhängerreifengrafiken 160, die einen Bereich darstellen, in dem sich die Anhängerräder befinden.
  • Fachleute auf dem Gebiet werden erkennen, dass das hierin beschriebene System und/oder Verfahren auch auf andere Szenarien angewendet werden kann. In anderen Ausführungsformen kann eine erste Kamera in das Trägerfahrzeug (z. B. Fahrzeug 12) integriert und von diesem verwendet werden, und eine zweite Kamera kann an einem anderen Gegenstand, wie beispielsweise einem anderen Gegenstand, der sich auf einem Anhänger befindet (z. B. ein anderes Fahrzeug, Boot), enthalten sein. Oder in anderen Ausführungsformen kann eine erste Kamera, die sich an der Vorderseite des Trägerfahrzeugs befindet und einem Bereich vor dem Trägerfahrzeug zugewandt ist, mit einer zweiten Kamera an der Vorderseite eines anderen Fahrzeugs verwendet werden, das sich vor dem Trägerfahrzeug befindet, sodass das Trägerfahrzeug ein kombiniertes Bild eines Bereichs vor dem Fahrzeug erhält und das nicht (oder weniger) durch das Fahrzeug vor dem Trägerfahrzeug verdeckt ist.
  • Es ist zu beachten, dass die vorstehende Beschreibung keine Definition der Erfindung darstellt, sondern eine Beschreibung einer oder mehrerer bevorzugter exemplarischer Ausführungsformen der Erfindung ist. Die Erfindung ist nicht auf die besondere(n) hierin offenbarte(n) Ausführungsform(en) beschränkt, sondern ausschließlich durch die folgenden Patentansprüche definiert. Darüber hinaus beziehen sich die in der vorstehenden Beschreibung gemachten Aussagen auf bestimmte Ausführungsformen und sind nicht als Einschränkungen des Umfangs der Erfindung oder der Definition der in den Patentansprüchen verwendeten Begriffe zu verstehen, außer dort, wo ein Begriff oder Ausdruck ausdrücklich vorstehend definiert wurde. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Modifikationen an der/den ausgewiesenen Ausführungsform(en) sind für Fachleute offensichtlich. Die spezifische Kombination und Reihenfolge der Schritte stellen beispielsweise nur eine Möglichkeit dar, da das vorliegende Verfahren eine Kombination von Schritten beinhalten kann, wobei diese Schritte unterschiedlich sein oder in der Anzahl mehr oder weniger Schritte als die hier gezeigten beinhalten können. Alle diese anderen Ausführungsformen, Änderungen und Modifikationen sollten im Geltungsbereich der angehängten Patentansprüche verstanden werden.
  • Wie in dieser Spezifikation und den Patentansprüchen verwendet, sind die Begriffe „beispielsweise“, „z. B“, „zum Beispiel“, „wie“ und „gleich/gleichen“ sowie die Verben „umfassen“, „haben“, „beinhalten“ und deren andere Verbformen, die in Verbindung mit einer Liste von einer oder mehreren Komponenten oder anderen Elementen verwendet werden, jeweils als offen auszulegen, d. h., dass die Liste nicht als Ausnahme anderer, zusätzlicher Komponenten oder Elemente betrachtet werden darf. Andere Begriffe sind in deren weitesten vernünftigen Sinn auszulegen, es sei denn, diese werden in einem Kontext verwendet, der eine andere Auslegung erfordert. Zusätzlich versteht sich der Ausdruck „und/oder“ als ein inklusives ODER. Als ein Beispiel beinhaltet der Ausdruck „A, B, und/oder C“ Folgendes: „A“; „B“; „C“; „A und B“; „A und C“; „B und C“ und „A, B und C“

Claims (16)

  1. Verfahren zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug, das einen Anhänger zieht, das Verfahren umfassend: das Erfassen eines ersten Bildes von einer Fahrzeugkamera, die an dem Fahrzeug installiert ist, wobei das erste Bild einen Bereich hinter dem Fahrzeug umfasst; das Erfassen eines zweiten Bildes von einer Anhängerkamera, die an dem Anhänger installiert ist, wobei das zweite Bild einen Bereich hinter dem Anhänger umfasst; das Ermitteln eines verdeckten Betrachtungsbereichs innerhalb des ersten Bildes, wobei der verdeckte Betrachtungsbereich ein Bereich des ersten Bildes ist, in dem sich der Anhänger befindet; Überlagern mindestens eines Abschnitts des zweiten Bildes zumindest teilweise innerhalb des verdeckten Betrachtungsbereichs des ersten Bildes; und Einfügen von Grafiken in einem oder mehreren aus dem ersten Bild, dem zweiten Bild und in einem Patch-Bereich innerhalb des verdeckten Betrachtungsbereichs und zwischen dem zweiten Bild und dem ersten Bild.
  2. Verfahren nach Anspruch 1, ferner umfassend den Schritt des Bestimmens eines Bildüberlagerungsbereichs innerhalb des ersten Bildes und/oder zumindest teilweiser Überlappung des verdeckten Betrachtungsbereichs, worin das zweite Bild innerhalb des Bildüberlagerungsbereichs überlagert ist.
  3. Verfahren nach Anspruch 2, ferner umfassend den Schritt des Bestimmens eines Anhänger-Anlenkwinkels, worin der Bildüberlagerungsbereich zumindest teilweise basierend auf dem Anhänger-Anlenkwinkel bestimmt wird.
  4. Verfahren nach Anspruch 3, ferner umfassend den Schritt des Verarbeitens des zweiten Bildes, sodass das zweite Bild nach der Verarbeitung den Bereich hinter dem Anhänger aus einer Perspektive mit einem Betrachtungswinkel darstellt, der dem Betrachtungswinkel der Fahrzeugkamera entspricht.
  5. Verfahren nach Anspruch 4, worin der Verarbeitungsschritt zumindest teilweise auf einem Anhängerkamera-Betrachtungswinkel und einem Fahrzeugkamera-Betrachtungswinkel basiert.
  6. Verfahren nach Anspruch 1, worin mindestens einige der Grafiken keinen Bereich hinter dem Fahrzeug oder dem Bereich hinter dem Anhänger darstellen oder darzustellen versuchen, und worin mindestens einige der Grafiken ein oder mehrere Fahrbahnmerkmale hervorheben.
  7. Verfahren nach Anspruch 1, worin mindestens einige der Grafiken den Bereich hinter dem Fahrzeug und/oder den Bereich hinter dem Anhänger darstellen oder versuchen, diesen darzustellen.
  8. Verfahren nach Anspruch 7, worin die mindestens einige der Grafiken unter Verwendung von Szenenspeicherungstechniken erhalten werden, worin die Szenenspeicherungstechniken die folgenden Schritte beinhalten: Halten mindestens eines Abschnitts des ersten Bildes und anschließendes Abrufen des Abschnitts des ersten Bildes und Verwenden des abgerufenen Abschnitts des ersten Bildes, um mindestens einen Abschnitt des Patch-Bereichs innerhalb des verdeckten Betrachtungsbereichs auszufüllen.
  9. Verfahren nach Anspruch 1, ferner umfassend den Schritt des Anzeigens des kombinierten Rückansichtsbildes auf einem elektronischen Anzeigespiegel, der in dem Fahrzeug beinhaltet ist, worin der elektronische Anzeigespiegel ein Rückspiegel ist, der es einem Fahrzeugbediener oder einem Fahrzeuginsassen ermöglicht, einen Bereich hinter dem Fahrzeug zu sehen, und worin die Anzeige des kombinierten Rückansichtsbildes dem Fahrzeugbediener oder dem Fahrzeuginsassen ermöglicht, den Bereich hinter dem Fahrzeug und den Bereich hinter dem Anhänger zu sehen, ohne durch den Anhänger verdeckt zu werden.
  10. Verfahren zum Erzeugen eines kombinierten Rückansichtsbildes eines Bereichs hinter einem Fahrzeug, das einen Anhänger zieht, das Verfahren umfassend: das Erfassen eines ersten Bildes von einer Fahrzeugkamera, die an dem Fahrzeug installiert ist, wobei das erste Bild einen Bereich hinter dem Fahrzeug umfasst; das Erfassen eines zweiten Bildes von einer Anhängerkamera, die an dem Anhänger installiert ist, wobei das zweite Bild einen Bereich hinter dem Anhänger umfasst; Definieren eines verdeckten Betrachtungsbereichs innerhalb des ersten Bildes, wobei der verdeckte Betrachtungsbereich ein Bereich innerhalb des ersten Bildes ist, der den Anhänger beinhaltet; das Ermitteln eines Bildüberlagerungsbereichs innerhalb des verdeckten Betrachtungsbereichs; das Einfügen des zweiten Bildes in das erste Bild gemäß dem Bil düberlagerungsberei ch; Rendern von Grafiken in einem Patch-Bereich innerhalb des verdeckten Betrachtungsbereichs und außerhalb des Bildüberlagerungsbereichs, worin die Grafiken natürliche Szenengrafiken beinhalten, die einen Bereich innerhalb des verdeckten Betrachtungsbereichs und außerhalb des zweiten Bildes darstellen oder versuchen dazustellen; und Anzeigen eines kombinierten Bildes auf einer elektronischen Anzeige, die in dem Fahrzeug installiert ist, worin das kombinierte Bild mindestens einen Abschnitt des ersten Bildes, mindestens einen Abschnitt des zweiten Bildes und die gerenderten Grafiken beinhaltet.
  11. Verfahren nach Anspruch 10, worin das Verfahren zumindest teilweise durch einen im Fahrzeug installierten Onboard-Computer durchgeführt wird, worin der Onboard-Computer den Definitionsschritt, den Bestimmungsschritt, den Einfügeschritt und den Rendering-Schritt durchführt.
  12. Verfahren nach Anspruch 11, ferner umfassend den Schritt des Empfangens des ersten Bildes und des zweiten Bildes am Onboard-Computer, worin das zweite Bild über eine Fahrzeug-Anhänger-Schnittstelle empfangen wird.
  13. Verfahren nach Anspruch 11, worin eine Vielzahl von Iterationen des Verfahrens durchgeführt werden, einschließlich einer ersten Iteration und einer zweiten Iteration, worin ein oder mehrere Schritte der ersten Iteration nach einem oder mehreren Schritten der zweiten Iteration durchgeführt werden, worin die erste Iteration vor der zweiten Iteration abgeschlossen ist.
  14. Verfahren nach Anspruch 11, worin eine Vielzahl von Iterationen des Verfahrens durchgeführt werden, einschließlich einer ersten Iteration und einer zweiten Iteration, worin die erste Iteration das Halten mindestens eines Abschnitts des ersten Bildes im Speicher des Onboard-Computers während der ersten Iteration beinhaltet, und worin der Rendering-Schritt der zweiten Iteration das Verwenden des beibehaltenen Abschnitts des ersten Bildes zum Rendern der Grafiken der zweiten Iteration beinhaltet.
  15. Verfahren nach Anspruch 14, worin die zweite Iteration ferner den Schritt des Erhaltens einer Geschwindigkeit des Fahrzeugs umfasst, und worin der Rendering-Schritt der zweiten Iteration zumindest teilweise auf der erhaltenen Geschwindigkeit des Fahrzeugs basiert.
  16. Verfahren nach Anspruch 10, ferner umfassend den Schritt des Überlagerns von Grafiken auf dem kombinierten Bild, das die Aufmerksamkeit eines Fahrzeugbedieners oder eines Fahrzeuginsassen auf ein Fahrbahnmerkmal lenkt oder versucht zu lenken.
DE102019102716.0A 2018-02-06 2019-02-04 Fahrzeug-anhänger rückfahrsichtsystem und -verfahren Pending DE102019102716A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/889,470 US10549694B2 (en) 2018-02-06 2018-02-06 Vehicle-trailer rearview vision system and method
US15/889,470 2018-02-06

Publications (1)

Publication Number Publication Date
DE102019102716A1 true DE102019102716A1 (de) 2019-08-08

Family

ID=67308857

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019102716.0A Pending DE102019102716A1 (de) 2018-02-06 2019-02-04 Fahrzeug-anhänger rückfahrsichtsystem und -verfahren

Country Status (3)

Country Link
US (2) US10549694B2 (de)
CN (1) CN110116676B (de)
DE (1) DE102019102716A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111703371A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
DE102019122086A1 (de) * 2019-08-16 2021-02-18 Connaught Electronics Ltd. Fahrerassistenz für eine Kombination
DE102021212088A1 (de) 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Rückfahrkamerasystem für ein anhängerkupplungssystem
DE102021127820A1 (de) 2021-10-26 2023-04-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System, Verfahren und Computerprogrammprodukt zur Verbesserung der rückwärtigen und bodennahen Sicht bei einem Fahrzeug in einem Anhängerbetriebsmodus

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11008717B2 (en) * 2015-06-29 2021-05-18 Royal Truck & Equipment, Inc. Safety truck attachments, and methods of safety truck use
US10556545B2 (en) * 2015-06-29 2020-02-11 Royal Truck & Equipment, Inc. Over-cab rack for traffic delineators
US10801169B2 (en) 2015-06-29 2020-10-13 Royal Truck & Equipment, Inc Truck safety modules for assisting workpersons to place and retrieve traffic delineators
US10369924B2 (en) * 2016-06-07 2019-08-06 Travis Peacock Vehicle warning light system
US10768633B2 (en) * 2018-07-16 2020-09-08 Ford Global Technologies, Llc Hitch assist system
EP3627183B1 (de) * 2018-09-18 2022-05-11 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Steuerungssystem zum autonomen fahren eines fahrzeugs
KR20200042549A (ko) * 2018-10-15 2020-04-24 현대자동차주식회사 차량 및 그 제어방법
US20200238912A1 (en) * 2019-01-30 2020-07-30 AISIN Technical Center of America, Inc. Backup camera system for a vehicle having a trailer hitch
GB2582541B (en) * 2019-03-12 2022-03-09 Jaguar Land Rover Ltd Driver assistance method and apparatus
GB2582323B (en) * 2019-03-19 2022-02-09 Jaguar Land Rover Ltd Image processing system and method
US11417116B2 (en) 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
US11662196B2 (en) 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
US11613210B2 (en) 2019-07-22 2023-03-28 Magna Electronics Inc. Trailering assist system with hitch ball position detection
US11787339B2 (en) 2019-07-30 2023-10-17 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11613208B2 (en) 2019-07-30 2023-03-28 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
GB2586803B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Control system and method
DE102019123740B4 (de) * 2019-09-04 2023-01-26 Motherson Innovations Company Limited Verfahren zum Bereitstellen einer Rück- und/oder Seitenansicht eines Fahrzeugs, virtuelleSpiegelvorrichtung und Fahrzeug
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system
CN110705445A (zh) * 2019-09-27 2020-01-17 长城汽车股份有限公司 拖车及盲区目标检测方法和装置
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
US11679635B2 (en) 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
US11176827B2 (en) * 2020-01-24 2021-11-16 Ford Global Technologies, Llc Extendable blind spot sensors and methods of use
DE102020107789A1 (de) * 2020-03-20 2021-09-23 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
DE102020108817A1 (de) * 2020-03-31 2021-09-30 Connaught Electronics Ltd. Verfahren und System zum Führen eines Fahrzeugs
US11964659B2 (en) 2020-06-03 2024-04-23 GM Global Technology Operations LLC System and method for determining a hitch angle for controlling a vehicle with active rear steering
CN113954750B (zh) * 2020-07-20 2023-12-29 深圳市麦道微电子技术有限公司 商用车电子外视镜系统与成像方法
US11794540B2 (en) 2020-10-27 2023-10-24 Clarion Corporation of America Technologies for a harness connector with integrated wireless transceiver
WO2022261671A1 (en) * 2021-06-10 2022-12-15 Continental Autonomous Mobility US, LLC System and method for providing an image depicting a transparent rear vehicle portion
EP4140814A1 (de) 2021-08-24 2023-03-01 Connaught Electronics Ltd. Verfahren zur harmonisierung von aus nichtüberlappenden kameraansichten gewonnenen bildern
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer
WO2023130056A1 (en) * 2021-12-30 2023-07-06 Gentex Corporation Rearview assembly
US20230274554A1 (en) * 2022-02-28 2023-08-31 Continental Autonomous Mobility US, LLC System and method for vehicle image correction
EP4361999A1 (de) * 2022-10-24 2024-05-01 Stoneridge Electronics AB Kameramonitorsystem mit abgewinkelten bewusstseinslinien

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690413B1 (en) * 1999-04-21 2004-02-10 Michael S. Moore Tractor-trailer viewing system
US7904222B2 (en) * 2007-06-27 2011-03-08 GM Global Technology Operations LLC Trailer articulation angle estimation
KR101565006B1 (ko) * 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN106573577B (zh) * 2014-08-18 2020-04-14 捷豹路虎有限公司 显示系统和方法
US10373378B2 (en) * 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019122086A1 (de) * 2019-08-16 2021-02-18 Connaught Electronics Ltd. Fahrerassistenz für eine Kombination
US11554718B2 (en) 2019-08-16 2023-01-17 Connaught Electronics Ltd. Driver assistance for a combination
CN111703371A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
DE102021212088A1 (de) 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Rückfahrkamerasystem für ein anhängerkupplungssystem
DE102021212088B4 (de) 2020-11-06 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Rückfahrkamerasystem für ein anhängerkupplungssystem und verfahren zum erzeugen einer darstellung in heckrichtung eines fahrzeuges
DE102021127820A1 (de) 2021-10-26 2023-04-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System, Verfahren und Computerprogrammprodukt zur Verbesserung der rückwärtigen und bodennahen Sicht bei einem Fahrzeug in einem Anhängerbetriebsmodus
DE102021127820B4 (de) 2021-10-26 2024-02-01 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System und Verfahren zur Verbesserung der rückwärtigen und bodennahen Sicht bei einem Fahrzeug in einem Anhängerbetriebsmodus

Also Published As

Publication number Publication date
CN110116676B (zh) 2022-11-22
US20200108775A1 (en) 2020-04-09
US11220216B2 (en) 2022-01-11
US10549694B2 (en) 2020-02-04
US20190241126A1 (en) 2019-08-08
CN110116676A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102017201717B4 (de) Verfahren zur Verwendung eines Rückblicksystem für ein Trägerfahrzeug sowie Rückblicksystem zur Ausführung des Verfahrens
DE102018104857B4 (de) Verfahren und Systeme zum Analysieren von Fahrzeugreifen unter Verwendung von an einem Fahrzeug montierten Kameras
DE102017201852B4 (de) Parkassistenzsystem für ein Fahrzeug und ein Verfahren zu dessen Nutzung
DE102018105951B4 (de) Verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
DE102018113078A1 (de) Fahrzeugfernparksysteme und -verfahren
DE102018114730A1 (de) Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels
DE102019111521A1 (de) Verfahren und vorrichtung zum erfassen von tiefeninformationen mit kameras von verschiedenen fahrzeugen
DE112017000342T5 (de) Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren
DE112017007684T5 (de) Bestrahlungssystem und bestrahlungsverfahren
DE102018132369A1 (de) Fahrzeugübergreifende zusammenarbeit zur selbstabbildung von fahrzeugen
DE102019102980A1 (de) Verfahren und vorrichtungen zum vereinfachen einer umgebungssichtverhältnisbestimmung
DE102018109567A1 (de) Systeme und verfahren zum führen eines boots zu einem anhänger
DE102018116106A1 (de) Videoübertragung für ein ankommendes linksabbiegendes fahrzeug
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102020105656A1 (de) Verfahren und vorrichtung für gelenkspiegel für anhänger in einem kraftfahrzeug
DE102021212088B4 (de) Rückfahrkamerasystem für ein anhängerkupplungssystem und verfahren zum erzeugen einer darstellung in heckrichtung eines fahrzeuges
DE102018125930B4 (de) Kamerabildgeber-Binning-Technik
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
DE102019202820A1 (de) Verfahren und Systeme zur Bereitstellung visueller Benachrichtigungen im peripheren Sichtfeld eines Fahrers
DE102020130818A1 (de) Zusammenarbeit zwischen einem automobil und einem uav
DE102018106739A1 (de) Steuerung von Seitenspiegeln in autonomen Fahrzeugen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE