DE102019104352A1

DE102019104352A1 - Kupplungsunterstützungssystem mit schätzung der anhängerhöhe und identifizierung des kupplungskopplers

Info

Publication number: DE102019104352A1
Application number: DE102019104352.2A
Authority: DE
Inventors: Yi Zhang; Dongran Liu; Vidya Nariyambut murali
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-02-22
Filing date: 2019-02-20
Publication date: 2019-08-22
Also published as: US20190258874A1; US10430672B2

Abstract

Diese Offenbarung stellt ein Kupplungsunterstützungssystem mit Schätzung der Anhängerhöhe und Identifizierung des Kupplungskopplers bereit. Hier werden ein System und Verfahren für die Kupplungsunterstützung bereitgestellt. Ein Bildgeber nimmt Bilder hinter dem Fahrzeug auf. Ein Prozessor ist konfiguriert, um Anhänger- und Bodenmerkmale aus den aufgenommenen Bildern zu extrahieren, eine Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale zu berechnen, eine Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale zu schätzen, und eine Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale zu bestimmen.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen autonome und halbautonome Fahrzeugsysteme und insbesondere Kupplungsunterstützungssysteme, die das Kuppeln eines Fahrzeugs an einen Anhänger vereinfachen.
ALLGEMEINER STAND DER TECHNIK
Der Prozess des Kuppelns eines Fahrzeugs an einen Anhänger kann schwierig sein, besonders für diejenigen, denen es an Erfahrung fehlt. Dementsprechend besteht ein Bedarf für ein System, das den Prozess vereinfacht, indem ein Benutzer auf einfache jedoch intuitive Weise unterstützt wird. Die vorliegende Offenbarung beabsichtigt, diesen Bedarf zu erfüllen.
KURZDARSTELLUNG DER ERFINDUNG
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Kupplungsunterstützungssystem bereitgestellt und schließt einen Bildgeber zum Aufnehmen von Bildern hinter dem Fahrzeug ein. Ein Prozessor ist konfiguriert, um Anhänger- und Bodenmerkmale aus den aufgenommenen Bildern zu extrahieren, eine Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale zu berechnen, eine Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale zu schätzen, und eine Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale zu bestimmen.
Ausführungsformen des ersten Aspekts können ein beliebiges oder eine Kombination der folgenden Merkmale beinhalten:

• die Anhängerhöhe entspricht einer Höhe eines Kupplungskopplers eines Anhängers, und die Anhängermerkmale werden aus einer interessierenden Region extrahiert, die von einem Benutzer spezifiziert wird;
• die Berechnung der Fahrzeugbewegungsverschiebung basiert ferner auf einer bekannten Höhe des Bildgebers;
• der Prozessor ist ferner konfiguriert, um jedes Anhängermerkmal als am Anhänger oder nicht am Anhänger zu klassifizieren, indem für die diesbezügliche geschätzte Höhe ein Schwellenwert gebildet wird;
• der Prozessor bestimmt die Anhängerhöhe auf Grundlage einer mittleren geschätzten Höhe lediglich der Anhängermerkmale, die als am Anhänger klassifiziert sind;
• der Prozessor bestimmt die Anhängerhöhe auf Grundlage einer mittleren geschätzten Höhe aller Anhängermerkmale;
• der Prozessor fügt die Anhängerhöhe zu einem globalen Histogramm hinzu;
• der Prozessor ist ferner konfiguriert, um eine Draufsicht aus den aufgenommenen Bildern zu generieren und eine parametrische Kreisfunktion zum Lokalisieren kreisförmiger Strukturen anzuwenden, um einen Kupplungskoppler eines Anhängers zu detektieren;
• der Prozessor wendet die parametrische Kreisfunktion an, um kreisförmige Strukturen in einer interessierenden Region zu lokalisieren, die von einem Benutzer spezifiziert wird,
• der Prozessor identifiziert eine kreisförmige Struktur so, dass sie den Kupplungskoppler darstellt und wendet einen Filter auf die kreisförmige Struktur an; und
• der Prozessor zentriert die interessierende Region in einem darauffolgenden Einzelbild um eine Mittelpunktskoordinate der kreisförmigen Struktur.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Kupplungsunterstützungssystem bereitgestellt und schließt einen Bildgeber zum Aufnehmen von Bildern hinter dem Fahrzeug ein. Ein Prozessor ist konfiguriert, um Bodenmerkmale und potenzielle Anhängermerkmale aus den aufgenommenen Bildern zu extrahieren, eine Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale zu berechnen, eine Höhe jedes potenziellen Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der potenziellen Anhängermerkmale zu schätzen, die potenziellen Anhängermerkmale als am Anhänger oder nicht am Anhänger zu klassifizieren, und eine Anhängerhöhe auf Grundlage der geschätzten Höhen lediglich der potenziellen Anhängermerkmale zu bestimmen, die als am Anhänger klassifiziert sind.
Ausführungsformen des zweiten Aspekts können ein beliebiges oder eine Kombination der folgenden Merkmale beinhalten:

• die Anhängerhöhe entspricht einer Höhe eines Kupplungskopplers eines Anhängers, und die potenziellen Anhängermerkmale werden aus einer interessierenden Region extrahiert, die von einem Benutzer spezifiziert wird;
• die Berechnung der Fahrzeugbewegungsverschiebung basiert ferner auf einer bekannten Höhe des Bildgebers;
• der Prozessor fügt die Anhängerhöhe zu einem globalen Histogramm hinzu;
• der Prozessor ist ferner konfiguriert, um eine Draufsicht aus den aufgenommenen Bildern zu generieren und eine parametrische Kreisfunktion zum Lokalisieren kreisförmiger Strukturen anzuwenden, um einen Kupplungskoppler eines Anhängers zu detektieren;
• der Prozessor wendet die parametrische Kreisfunktion an, um kreisförmige Strukturen in einer interessierenden Region zu lokalisieren, die von einem Benutzer spezifiziert wird,
• der Prozessor identifiziert eine kreisförmige Struktur so, dass sie den Kupplungskoppler darstellt und wendet einen Filter auf die kreisförmige Struktur an; und
• der Prozessor zentriert die interessierende Region in einem darauffolgenden Einzelbild um eine Mittelpunktskoordinate der kreisförmigen Struktur.

Gemäß einem dritten Aspekt der vorliegenden Erfindung ist ein Verfahren zum Schätzen einer Anhängerhöhe bereitgestellt und schließt die folgenden Schritte ein: Aufnehmen von Bildern hinter dem Fahrzeug, Extrahieren von Anhänger- und Bodenmerkmalen aus den aufgenommenen Bildern, Berechnen einer Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale, Schätzen einer Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale, und Bestimmen einer Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale.
Diese und andere Aspekte, Aufgaben und Merkmale der vorliegenden Erfindung werden dem Fachmann bei der Lektüre der folgenden Beschreibung, Ansprüche und beigefügten Zeichnungen verständlich und ersichtlich.
Figurenliste
In den Zeichnungen gilt:

1 ist eine perspektivische Draufsicht eines Fahrzeugs und eines Anhängers, wobei das Fahrzeug gemäß einer Ausführungsform mit einem Kupplungsunterstützungssystem ausgestattet ist;
2 ist ein Blockdiagramm, das bestimmte Komponenten des Kupplungsunterstützungssystems veranschaulicht;
3 ist ein Ablaufdiagramm eines Verfahrens zum Schätzen einer Anhängerhöhe;
4 stellt ein aufgenommenes Bild dar, in dem Boden- und Anhängermerkmale von einem Prozessor aus einem Modell für eine spärliche Darstellung extrahiert werden;
5 veranschaulicht ein Modell, das verwendet wird, um die Fahrzeugbewegungsverschiebung zu berechnen;
6 ist ein Ablaufdiagramm eines Verfahrens zum Identifizieren des Kupplungskopplers; und
7 stellt ein aufgenommenes Bild dar, in dem ein Kupplungskoppler eines Anhängers über die Hough-Kreis-Transformation detektiert wird.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Je nach Bedarf werden hierin detaillierte Ausführungsformen der vorliegenden Erfindung offenbart. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich beispielhaft für die Erfindung sind, die in verschiedenen und alternativen Formen ausgeführt sein kann. Die Figuren entsprechen nicht zwingend einer detaillierten Ausgestaltung und einige schematische Darstellungen können vergrößert oder verkleinert dargestellt sein, um eine Funktionsübersicht zu zeigen. Demnach sind hier offenbarte konkrete strukturelle und funktionelle Details nicht als einschränkend auszulegen, sondern lediglich als repräsentative Grundlage, um den Fachmann die vielfältige Verwendung der vorliegenden Erfindung zu lehren.
Im hierin verwendeten Sinne bedeutet der Ausdruck „und/oder“, wenn er in einer Aufzählung von zwei oder mehr Elementen verwendet wird, dass jedes der aufgezählten Elemente einzeln verwendet werden kann oder eine beliebige Kombination aus zwei oder mehr der aufgezählten Elemente verwendet werden kann. Wenn beispielsweise eine Zusammensetzung so beschrieben wird, dass sie die Komponenten A, B und/oder C enthält, kann die Zusammensetzung nur A; nur B; nur C; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B und C in Kombination enthalten.
Unter Bezugnahme auf die 1 und 2 bezeichnet das Bezugszeichen 10 im Allgemeinen ein Kupplungsunterstützungssystem zum Kuppeln eines Fahrzeugs 12 an einen Anhänger 14. Wie in 1 gezeigt, ist das Fahrzeug 12 beispielhaft als ein Pickup-Truck ausgeführt, der eine Ladefläche 16 aufweist, die über eine herunterklappbare Heckklappe 18 zugänglich ist. Das Fahrzeug 12 beinhaltet zudem eine Anhängerkupplung in der Form einer Kupplungskugel 22, die sich von einer Zugstange 24 aus erstreckt, die an die Rückseite des Fahrzeugs 12 gekoppelt ist. Die Kupplungskugel 22 ist dazu konfiguriert, durch einen Kupplungskoppler in der Form einer Kopplerkugelaufnahme 26 aufgenommen zu werden, die an einem Anschlussende einer Anhängerzunge 28 bereitgestellt ist. Der Anhänger 14 ist beispielhaft als ein einachsiger Anhänger ausgeführt, der einen Kastenrahmen 30 mit einem geschlossenen Ladebereich 32 aufweist, von dem aus sich die Zunge 28 in Längsrichtung erstreckt.
Das System 10 beinhaltet eine Steuerung 38 in Kommunikation mit einem Bildgeber 40, der an der Rückseite des Fahrzeugs 12 angeordnet ist. Der Bildgeber 40 kann mittig in einer oberen Region der Heckklappe 18 angeordnet sein, sodass der Bildgeber 40 relativ zu der Zugstange 24 und der Kupplungskugel 22 erhöht ist. Der Bildgeber 40 weist ein Sichtfeld 42 auf, das angeordnet und ausgerichtet ist, um ein oder mehrere Bilder einer Szene hinter dem Fahrzeug aufzunehmen, die im Allgemeinen unter anderem die Kupplungskugel 22 beinhaltet. Bilder, die durch den Bildgeber 40 aufgenommen wurden, können durch die Steuerung 38 verarbeitet werden, um eine Anhängerhöhe zu schätzen und einen Kupplungskoppler, wie etwa zum Beispiel die Kopplerkugelaufnahme 26, zu identifizieren.
Zusätzlich zum Kommunizieren mit dem Bildgeber 40 kann die Steuerung 38 mit einer Reihe von Näherungssensoren 44 kommunizieren, die beispielhaft als Ultraschall- oder Radarsensoren gezeigt sind, die über eine untere Region der Fahrzeugheckklappe 18 hinweg beabstandet und dazu konfiguriert sind, die Nähe oder Ferne von Objekten zu detektieren, die hinter dem Fahrzeug 12 angeordnet sind. Unter Bezugnahme auf die Ausführungsform des in 2 gezeigten Systems 10, können der Steuerung 38 zusätzliche fahrzeugbezogene Informationen durch eine Positionierungsvorrichtung 46, wie etwa ein globales Positionierungssystem (GPS), das sich an dem Fahrzeug 12 und/oder dem Anhänger 14 befindet, bereitgestellt werden. Zusätzlich kann die Steuerung 38 mit einem Trägheitssystem 47 kommunizieren, das ein oder mehrere Gyroskope 48 und Beschleunigungsmesser 49 zum Messen der Position, Ausrichtung, Richtung und/oder Geschwindigkeit des Fahrzeugs 12 beinhaltet.
Um eine autonome oder halbautonome Steuerung des Fahrzeugs 12 zu ermöglichen, kann die Steuerung 38 des Systems 10 außerdem dazu konfiguriert sein, mit einer Vielfalt von Fahrzeugausstattungsteilen zu kommunizieren. Gemäß einer Ausführungsform kann die Steuerung 38 des Systems 10 ein Servolenksystem 52 des Fahrzeugs 12 steuern, um die gelenkten Laufräder 53 des Fahrzeugs 12 zu betreiben, während das Fahrzeug 12 zu dem Anhänger 14 entlang eines Fahrzeugrückfahrwegs rückwärtsgefahren wird. Das Servolenksystem 52 kann ein elektrisches Servolenk(Electric Power-Assisted Steering - EPAS)-System sein, das einen elektrischen Lenkmotor 54 zum Drehen der gelenkten Laufräder 53 bis zu einem Lenkwinkel auf Grundlage eines durch die Steuerung 38 erzeugten Lenkbefehls beinhaltet, wobei der Lenkwinkel durch einen Lenkwinkelsensor 56 des Servolenksystems 52 erfasst und der Steuerung 38 bereitgestellt werden kann. Wie hier beschrieben, kann der Lenkbefehl zum autonomen Lenken des Fahrzeugs 12 während eines Rückfahrmanövers bereitgestellt werden und kann alternativ manuell über eine Drehposition (z. B. einen Lenkradwinkel) eines Lenkrads 58 oder einer Lenkeingabevorrichtung 60 bereitgestellt werden, die bereitgestellt sein kann, um es einem Fahrer zu ermöglichen, die gewünschte Krümmung des Rückfahrweges des Fahrzeugs 12 zu steuern oder anderweitig zu modifizieren. Die Lenkeingabevorrichtung 60 kann in drahtgebundener oder drahtloser Weise kommunikativ mit der Steuerung 38 gekoppelt sein und stellt der Steuerung 38 Informationen bereit, welche die gewünschte Krümmung des Rückfahrweges des Fahrzeugs 12 definieren. Als Reaktion darauf verarbeitet die Steuerung 38 die Informationen und erzeugt entsprechende Lenkbefehle, die dem Servolenksystem 52 des Fahrzeugs 12 zugeführt werden. In einer Ausführungsform beinhaltet die Lenkeingabevorrichtung 60 einen Drehknopf 62, der zwischen einer Reihe gedrehter Positionen betätigt werden kann, die jeweils eine schrittweise Änderung der gewünschten Krümmung des Rückfahrweges des Fahrzeugs 12 bereitstellen.
In einigen Ausführungsformen kann das Lenkrad 58 des Fahrzeugs 12 mechanisch mit den gelenkten Laufrädern 53 des Fahrzeugs 12 gekoppelt sein, sodass sich das Lenkrad 58 über ein internes Drehmoment in Übereinstimmung mit den gelenkten Laufrädern 53 bewegt, wodurch eine manuelle Intervention mit dem Lenkrad 58 während eines autonomen Lenkens des Fahrzeugs 12 verhindert wird. In derartigen Fällen kann das Servolenksystem 52 einen Drehmomentsensor 64 beinhalten, der Drehmoment (z. B. Greifen und/oder Drehen) am Lenkrad 58 erfasst, das nicht von der autonomen Steuerung des Lenkrads 58 erwartet wird und daher eine manuelle Intervention durch den Fahrer angibt. In einigen Ausführungsformen kann externes Drehmoment, das auf das Lenkrad 58 ausgeübt wird, als Signal an die Steuerung 38 dienen, dass der Fahrer manuell die Steuerung übernommen hat, und als Signal an das System 10, die autonome Lenkfunktion einzustellen.
Die Steuerung 38 des Systems 10 kann zudem mit einem Fahrzeugbremssteuerungssystem 66 des Fahrzeugs 12 kommunizieren, um Fahrzeuggeschwindigkeitsinformationen, wie etwa einzelne Raddrehzahlen des Fahrzeugs 12, zu empfangen. Zusätzlich oder alternativ können der Steuerung 38 Fahrzeuggeschwindigkeitsinformationen durch ein Antriebsstrangsteuersystem 68 und/oder einen Fahrzeuggeschwindigkeitssensor 70 neben anderen denkbaren Mitteln bereitgestellt werden. In einigen Ausführungsformen kann die Steuerung 38 dem Fahrzeugbremssteuerungssystem 66 Bremsbefehle bereitstellen, wodurch es dem System 10 ermöglicht wird, die Geschwindigkeit des Fahrzeugs 12 während eines Rückfahrmanövers des Fahrzeugs 12 zu regulieren. Es versteht sich, dass die Steuerung 38 zusätzlich oder alternativ die Geschwindigkeit des Fahrzeugs 12 über Interaktion mit dem Antriebsstrangsteuerungssystem 68 regulieren kann.
Durch Interaktion mit dem Servolenksystem 52, dem Fahrzeugbremssteuerungssystem 66 und/oder dem Antriebsstrangsteuerungssystem 68 des Fahrzeugs 12 kann das Potential für nicht annehmbare Rückfahrbedingungen reduziert werden, wenn das Fahrzeug 12 rückwärts zum Anhänger 14 hinfährt. Beispiele für nicht annehmbare Rückfahrbedingungen beinhalten unter anderem eine Fahrzeugübergeschwindigkeitsbedingung, Sensorausfall und dergleichen. Unter derartigen Umständen kann sich der Fahrer des Ausfalls nicht bewusst sein, bis die nicht annehmbare Rückfahrbedingung unmittelbar bevorsteht oder bereits auftritt. Deshalb wird in dieser Schrift offenbart, dass die Steuerung 38 des Systems 10 ein Warnsignal erzeugen kann, das einer Benachrichtigung über eine tatsächliche, unmittelbar bevorstehende und/oder vorhergesehene nicht annehmbare Rückfahrbedingung entspricht, und vor einer Intervention des Fahrers eine Gegenmaßnahme erzeugen kann, um eine derartige nicht annehmbare Rückfahrbedingung zu verhindern.
Gemäß einer Ausführungsform kann die Steuerung 38 mit einer oder mehreren Vorrichtungen kommunizieren, einschließlich eines Fahrzeugwarnsystems 72, das sichtbare, hörbare und fühlbare Warnungen auslösen kann. Beispielsweise können die Fahrzeugbremsleuchten 74 und die Warnblinkleuchten des Fahrzeugs eine sichtbare Warnmeldung bereitstellen und eine Hupe 76 und/oder ein Lautsprecher 78 des Fahrzeugs können eine hörbare Warnmeldung bereitstellen. Zusätzlich können die Steuerung 38 und/oder das Fahrzeugwarnsystem 72 mit einer Mensch-Maschine-Schnittstelle (Human Machine Interface - HMI) 80 des Fahrzeugs 12 kommunizieren. Die HMI 80 kann eine Touchscreenanzeige 84 beinhalten, wie etwa eine an der Mittelkonsole montierte Navigations- oder Unterhaltungsanzeige, die dazu in der Lage ist, Bilder anzuzeigen, welche die Warnmeldung angeben. Eine derartige Ausführungsform kann wünschenswert sein, um den Fahrer des Fahrzeugs 12 darüber zu benachrichtigen, dass eine nicht annehmbare Rückfahrbedingung vorliegt. In alternativen Ausführungsformen kann die HMI 80 eine tragbare Vorrichtung (z. B. ein Smartphone) einschließen, die dazu in der Lage ist, durch eine drahtlose Schnittstelle mit der Steuerung 38 zu kommunizieren.
Die Steuerung 38 ist mit einem Mikroprozessor 85 und/oder einer anderen analogen und/oder digitalen Schaltung zum Verarbeiten einer oder mehrerer in einem Speicher 86 gespeicherten Logikroutinen konfiguriert. Die Logikroutinen können eine oder mehrere Betriebsroutinen 88 beinhalten. Informationen von dem Bildgeber 40 oder anderen Komponenten des Systems 10 können der Steuerung 38 über ein Kommunikationsnetz des Fahrzeugs 12 zugeführt werden, das ein Controller Area Network (CAN), ein Local Interconnect Network (LIN) oder andere Protokolle, die in der Automobilindustrie verwendet werden, beinhalten kann. Es versteht sich, dass die Steuerung 38 eine eigenständige dedizierte Steuerung sein kann oder eine geteilte Steuerung sein kann, die in den Bildgeber 40 oder eine andere Komponente des Systems 10 zusätzlich zu beliebigen anderen denkbaren internen oder externen Fahrzeugsteuersystemen integriert ist.
Unter Bezugnahme auf 3 ist ein Verfahren zum Schätzen einer Anhängerhöhe gezeigt und beispielhaft als eine der einen oder mehreren Betriebsroutinen 88 ausgeführt. Dementsprechend versteht es sich, dass das Verfahren von dem hierin beschriebenen System 10 ausgeführt werden kann. Beim Beschreiben des Verfahrens wird angenommen, dass das Fahrzeug 12 nah genug an dem Anhänger 14 positioniert ist, sodass der Anhänger 14 von dem Bildgeber 40 abgebildet werden kann. Die Positionierung des Fahrzeugs 12 in Bezug auf den Anhänger 14 kann manuell, halb autonom oder autonom durchgeführt werden.
In Schritt A wird der Bildgeber 40 betrieben, um Bilder hinter dem Fahrzeug aufzunehmen. Es wird in Betracht gezogen, dass die aufgenommenen Bilder auf der Touchscreenanzeige 84 angezeigt werden können und ein Benutzer von dem System 10 aufgefordert werden kann, in Schritt B eine interessierende Region (Region of Interest - ROI) zu spezifizieren. Zum Beispiel ist ein aufgenommenes Bild 90 in 4 gezeigt und schließt eine vom Benutzer spezifizierte ROI 92 ein. Die ROI 92 entspricht üblicherweise einer Region des aufgenommenen Bilds 90, in der sich ein Kupplungskoppler (z. B. die Kopplerkugelaufnahme 26) befindet. Beim Spezifizieren der ROI 92 kann der Benutzer ein oder mehrere Berührungsereignisse auf der Touchscreenanzeige 84 durchführen. Als Reaktion darauf kann ein Prozessor (z. B. Mikroprozessor 85) ein Kästchen oder einen anderen Indikator generieren, der dem Benutzer eine visuelle Rückkopplung bereitstellt. Das eine oder die mehreren Berührungsereignisse können eine Berührung, ein Ziehen und/oder eine beliebige andere Bewegung einschließen, die unter Verwendung von einem oder mehreren Fingern auf der Touchscreenanzeige 84 erreicht wird.
In Schritt C analysiert der Prozessor (z. B. Mikroprozessor 85) die aufgenommenen Bilder und extrahiert Anhängermerkmale und Bodenmerkmale daraus. Zum Beispiel, wie in dem aufgenommenen Bild 90 aus 4 gezeigt, sind Anhängermerkmale im Allgemeinen durch Kreise dargestellt und Bodenmerkmale sind im Allgemeinen durch Quadrate dargestellt. Die Anhänger- und Bodenmerkmale können von dem Prozessor aus einem Modell für eine spärliche Darstellung extrahiert werden, obwohl ein Modell für eine dichte Darstellung auch in Betracht gezogen wird. Beim Extrahieren der Anhänger- und Bodenmerkmale kann der Prozessor eine beliebige geeignete Bildverarbeitungsmethode einsetzen, wie etwa unter anderem eine Kantendetektion. In bestimmten Ausführungsformen kann der Prozessor eine zusätzliche Verarbeitung an Anhängermerkmalen ausführen, die in Schritt C extrahiert wurden, um zwischen Anhängermerkmalen, für die es wahrscheinlicher ist, dass sie sich an dem Anhänger 14 befinden und denjenigen zu unterscheiden, für die es weniger wahrscheinlich ist, dass sie sich an dem Anhänger 14 befinden. Dadurch kann sich der Prozessor auf Anhängermerkmale konzentrieren, die sich in der vom Benutzer spezifizierten ROI 92 befinden. Demnach versteht es sich in Bezug auf Ausführungsformen, bei denen der Prozessor Merkmale entweder als am Anhänger oder nicht am Anhänger klassifiziert, dass die in Schritt C aus dem aufgenommenen Bild extrahierten Anhängermerkmale im Allgemeinen als potenzielle Anhängermerkmale dienen. Durch eine weitere Untersuchung dieser potenziellen Anhängermerkmale kann eine Zunahme der Anhängerdetektionsgenauigkeit erreicht werden.
In Schritt D berechnet der Prozessor eine Verschiebung des Fahrzeugs 12, wobei die Verschiebung hier als Fahrzeugbewegungsverschiebung bezeichnet wird. Zum Beispiel kann die Berechnung der Fahrzeugbewegungsverschiebung auf einem Modell 94 basieren, das in 5 gezeigt ist. In Bezug darauf wird die Fahrzeugbewegungsverschiebung ΔD durch die Lösung der folgenden Gleichung berechnet: $Δ D = \frac{H}{tan θ_{2}} - \frac{H}{tan θ_{1}}$
wobei H eine bekannte Höhe des Bildgebers 40 ist, und θ₁ und θ₂ vom optischen Fluss der Bodenmerkmale abgeleitet sind.
In Schritt E schätzt der Prozessor eine Höhe jedes Anhängermerkmals. Zum Beispiel kann die Höhe jedes Anhängermerkmals durch die Lösung der folgenden Gleichung geschätzt werden: $Δ D = \frac{H - H_{e}}{tan γ_{2}} - \frac{H - H_{e}}{tan γ_{1}}$
wobei H_e der geschätzten Höhe eines gegebenen Anhängermerkmals entspricht, ΔD der in Schritt D berechneten Fahrzeugbewegungsverschiebung entspricht, H der bekannten Höhe des Bildgebers 40 entspricht, und γ₁ und γ₂ vom optischen Fluss der Anhängermerkmale abgeleitet sind.
Gegebenenfalls kann der Prozessor in Schritt F die Anhängermerkmale klassifizieren, indem für die geschätzten Höhen ein Schwellenwert gebildet wird. Das heißt, dass Anhängermerkmale, die geschätzte Höhen bei oder über einem bestimmten Schwellenwert aufweisen, als am Anhänger klassifiziert werden können, während Anhängermerkmale, die geschätzte Höhen unterhalb des Schwellenwerts aufweisen, als nicht am Anhänger klassifiziert werden können.
In Schritt G bestimmt der Prozessor die Höhe des Kupplungskopplers auf Grundlage einer mittleren geschätzten Höhe der Anhängermerkmale. In bestimmten Ausführungsformen kann der Prozessor die Höhe des Kupplungskopplers auf Grundlage der mittleren geschätzten Höhe lediglich der Anhängermerkmale bestimmen, die als am Anhänger klassifiziert sind. Die in Schritt G bestimmte Höhe des Kupplungskopplers entspricht üblicherweise der geschätzten Höhe des Kupplungskopplers für ein aktuelles Einzelbild und kann in Schritt H zu einem globalen Histogramm hinzugefügt werden. Dadurch wird sich die geschätzte Höhe des Kupplungskopplers über mehrere Wiederholungen des vorliegenden Verfahrens wahrscheinlich stabilisieren.
Unter Bezugnahme auf 6 ist ein Verfahren zum Identifizieren des Kupplungskopplers (z. B. Kopplerkugelaufnahme 26) gezeigt und beispielhaft als eine der einen oder mehreren Betriebsroutinen 88 ausgeführt. Es versteht sich, dass das Verfahren von dem System 10 zusammen mit dem zuvor beschriebenen Verfahren zum Schätzen der Anhängerhöhe ausgeführt werden kann. Üblicherweise wird das Verfahren ausgeführt, wenn sich das Fahrzeug 12 in der Nähe des Anhängers 14 befindet und basiert auf Parametern, die mit dem Bildgeber 40 assoziiert sind. Zum Beispiel können derartige Parameter Auflösungs- und/oder Linseneigenschaften einschließen. In einem spezifischen Beispiel wird das Verfahren ausgeführt, wenn das Fahrzeug 12 etwa 2,5 Meter von dem Anhänger 14 entfernt ist und der Bildgeber 40 schließt einen Sensor mit 1280x800 Pixeln und eine Linse ein, die ein Sichtfeld von 180 Grad aufweist.
In Schritt A wendet der Prozessor eine Bildentzerrung und eine Homographietransformation an, um eine Draufsicht von durch den Bildgeber 40 aufgenommenen Bildern zu generieren. In Schritt B wendet der Prozessor eine Hough-Kreis-Transformation unter Verwendung einer parametrischen Kreisfunktion an, um kreisförmige Strukturen in einer ROI zu lokalisieren, die von dem Benutzer spezifiziert wird. Dadurch können Kupplungskoppler mit kreisförmigen Formen, wie etwa die Kopplerkugelaufnahme 26 einfacher identifiziert und von anderen Strukturen des Anhängers 14 unterschieden werden, die in der ROI erscheinen. Derartige Strukturen sind üblicherweise mit einer Zunge des Anhängers 14 assoziiert und schließen oftmals gerade Kanten ein, die einfach von der allgemeinen Kreisform des Kupplungskopplers zu unterscheiden sind. Wie in 7 gezeigt, wird zum Beispiel eine kreisförmige Struktur 96, die über eine Hough-Kreis-Transformation detektiert wird, von dem Prozessor so identifiziert, dass sie die Kopplerkugelaufnahme 26 darstellt. Die kreisförmige Struktur 96 befindet sich im Allgemeinen in einer von dem Benutzer spezifizierten ROI 98 und kann einer (z. B. ROI 92) zuvor vom Benutzer spezifizierten oder einer dem vorliegenden Verfahren gewidmeten entsprechen.
Nach dem Identifizieren der kreisförmigen Struktur wendet der Prozessor in Schritt B einen Filter (z. B. einen Kalman-Filter) auf die kreisförmige Struktur an. In Schritt C wendet der Prozessor eine umgekehrte Homographietransformation auf eine Mittelpunktskoordinate (z. B. Mittelpunktskoordinate 100 in 7) der gefilterten kreisförmigen Struktur an. Dadurch kann die Mittelpunktskoordinate in darauffolgenden Bildern, die von dem Bildgeber 40 aufgenommen werden, verfolgt werden. In Schritt D zentriert der Prozessor die ROI 98 um die Mittelpunktskoordinate der gefilterten kreisförmigen Struktur für das nächste Einzelbild.
Durch mehrere Wiederholungen des vorliegenden Verfahrens kann der Kupplungskoppler genau verfolgt werden, sodass die Anhängerkupplung (z. B. die Kupplungskugel 22) des Fahrzeugs 12 schließlich unter dem Kupplungskoppler des Anhängers 14 positioniert und damit ausgerichtet werden kann.
Dementsprechend wurden hierin ein Kupplungsunterstützungssystem und eine Anzahl damit verwendeter Verfahren vorteilhafterweise beschrieben. Das System vereinfacht das Kuppeln eines Fahrzeugs an einen Anhänger, indem die Bildverarbeitung ausgenutzt wird, um eine Anhängerhöhe zu schätzen und einen Kupplungskoppler des Anhängers zu identifizieren. Dadurch ist das System dazu in der Lage, zu bestimmen, ob ein ausreichender Abstand zwischen dem Kupplungskoppler und einer Anhängerkupplung eines Fahrzeugs vorliegt, und wenn ja, das Fahrzeug in eine Kupplungsposition zu führen, in welcher der Kupplungskoppler und die Anhängerkupplung ausgerichtet sind. Vorteilhafterweise wird der Prozess des Kuppelns eines Fahrzeugs an einen Anhänger vereinfacht und ist für diejenigen, die wenig Erfahrung hinsichtlich des Prozesses haben, nicht mehr so einschüchternd.
Es versteht sich, dass Variationen und Modifikationen an der vorstehenden Struktur vorgenommen werden können, ohne von den Konzepten der vorliegenden Erfindung abzuweichen, und es versteht sich außerdem, dass derartige Konzepte durch die folgenden Patentansprüche abgedeckt sein sollen, sofern diese Patentansprüche durch ihren Wortlaut nicht ausdrücklich etwas anderes festlegen.
Gemäß der vorliegenden Erfindung ist ein Kupplungsunterstützungssystem bereitgestellt, das Folgendes aufweist: einen Bildgeber zum Aufnehmen von Bildern hinter dem Fahrzeug; und einen Prozessor, der konfiguriert ist, um: Anhänger- und Bodenmerkmale aus den aufgenommenen Bildern zu extrahieren; eine Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale zu berechnen; eine Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale zu schätzen; und eine Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale zu bestimmen.
Gemäß einer Ausführungsform entspricht die Anhängerhöhe einer Höhe eines Kupplungskopplers eines Anhängers, und wobei die Anhängermerkmale aus einer interessierenden Region extrahiert werden, die von einem Benutzer spezifiziert wird.
Gemäß einer Ausführungsform basiert die Berechnung der Fahrzeugbewegungsverschiebung ferner auf einer bekannten Höhe des Bildgebers.
Gemäß einer Ausführungsform ist der Prozessor ferner konfiguriert, um jedes Anhängermerkmal als am Anhänger oder nicht am Anhänger zu klassifizieren, indem für die diesbezügliche geschätzte Höhe ein Schwellenwert gebildet wird.
Gemäß einer Ausführungsform bestimmt der Prozessor die Anhängerhöhe auf Grundlage einer mittleren geschätzten Höhe lediglich der Anhängermerkmale, die als am Anhänger klassifiziert sind.
Gemäß einer Ausführungsform bestimmt der Prozessor die Anhängerhöhe auf Grundlage einer mittleren geschätzten Höhe aller Anhängermerkmale.
Gemäß einer Ausführungsform fügt der Prozessor die Anhängerhöhe zu einem globalen Histogramm hinzu.
Gemäß einer Ausführungsform ist der Prozessor ferner konfiguriert, um eine Draufsicht aus den aufgenommenen Bildern zu generieren und eine parametrische Kreisfunktion zum Lokalisieren kreisförmiger Strukturen anzuwenden, um einen Kupplungskoppler eines Anhängers zu detektieren.
Gemäß einer Ausführungsform wendet der Prozessor die parametrische Kreisfunktion an, um kreisförmige Strukturen in einer interessierenden Region zu lokalisieren, die von einem Benutzer spezifiziert wird.
Gemäß einer Ausführungsform identifiziert der Prozessor eine kreisförmige Struktur so, dass sie den Kupplungskoppler darstellt und wendet einen Filter auf die kreisförmige Struktur an.
Gemäß einer Ausführungsform zentriert der Prozessor die interessierende Region in einem darauffolgenden Einzelbild um eine Mittelpunktskoordinate der kreisförmigen Struktur.
Gemäß der vorliegenden Erfindung ist ein Kupplungsunterstützungssystem bereitgestellt, das Folgendes aufweist: einen Bildgeber zum Aufnehmen von Bildern hinter dem Fahrzeug; und einen Prozessor, der konfiguriert ist, um: Bodenmerkmale und potenzielle Anhängermerkmale aus den aufgenommenen Bildern zu extrahieren; eine Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale zu berechnen; eine Höhe jedes potenziellen Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der potenziellen Anhängermerkmale zu schätzen; die potenziellen Anhängermerkmale als am Anhänger oder nicht am Anhänger zu klassifizieren; und eine Anhängerhöhe auf Grundlage der geschätzten Höhen lediglich der potenziellen Anhängermerkmale zu bestimmen, die als am Anhänger klassifiziert sind.
Gemäß einer Ausführungsform entspricht die Anhängerhöhe einer Höhe eines Kupplungskopplers eines Anhängers, und wobei die potenziellen Anhängermerkmale aus einer interessierenden Region extrahiert werden, die von einem Benutzer spezifiziert wird.
Gemäß einer Ausführungsform basiert die Berechnung der Fahrzeugbewegungsverschiebung ferner auf einer bekannten Höhe des Bildgebers.
Gemäß einer Ausführungsform fügt der Prozessor die Anhängerhöhe zu einem globalen Histogramm hinzu.
Gemäß einer Ausführungsform ist der Prozessor ferner konfiguriert, um eine Draufsicht aus den aufgenommenen Bildern zu generieren und eine parametrische Kreisfunktion zum Lokalisieren kreisförmiger Strukturen anzuwenden, um einen Kupplungskoppler eines Anhängers zu detektieren.
Gemäß einer Ausführungsform wendet der Prozessor die parametrische Kreisfunktion an, um kreisförmige Strukturen in einer interessierenden Region zu lokalisieren, die von einem Benutzer spezifiziert wird.
Gemäß einer Ausführungsform identifiziert der Prozessor eine kreisförmige Struktur so, dass sie den Kupplungskoppler darstellt und wendet einen Filter auf die kreisförmige Struktur an.
Gemäß einer Ausführungsform zentriert der Prozessor die interessierende Region in einem darauffolgenden Einzelbild um eine Mittelpunktskoordinate der kreisförmigen Struktur.
Gemäß der vorliegenden Erfindung ist ein Verfahren zum Schätzen einer Anhängerhöhe bereitgestellt, das die folgenden Schritte aufweist: Aufnehmen von Bildern hinter dem Fahrzeug; Extrahieren von Anhänger- und Bodenmerkmalen aus den aufgenommenen Bildern; Berechnen einer Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale; Schätzen einer Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale; und Bestimmen einer Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale.

Claims

Kupplungsunterstützungssystem, umfassend: einen Bildgeber zum Aufnehmen von Bildern hinter dem Fahrzeug; und einen Prozessor, der konfiguriert ist, um: Anhänger- und Bodenmerkmale aus den aufgenommenen Bildern zu extrahieren; eine Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale zu berechnen; eine Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale zu schätzen; und eine Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale zu bestimmen.
System nach Anspruch 1, wobei die Anhängerhöhe einer Höhe eines Kupplungskopplers eines Anhängers entspricht, und wobei die Anhängermerkmale aus einer interessierenden Region extrahiert werden, die von einem Benutzer spezifiziert wird.
System nach Anspruch 1, wobei die Berechnung der Fahrzeugbewegungsverschiebung ferner auf einer bekannten Höhe des Bildgebers basiert.
System nach Anspruch 1, wobei der Prozessor ferner konfiguriert ist, um jedes Anhängermerkmal als am Anhänger oder nicht am Anhänger zu klassifizieren, indem für die diesbezügliche geschätzte Höhe ein Schwellenwert gebildet wird.
System nach Anspruch 4, wobei der Prozessor die Anhängerhöhe auf Grundlage einer mittleren geschätzten Höhe lediglich der Anhängermerkmale bestimmt, die als am Anhänger klassifiziert sind.
System nach Anspruch 1, wobei der Prozessor die Anhängerhöhe auf Grundlage einer mittleren geschätzten Höhe aller Anhängermerkmale bestimmt.
System nach Anspruch 1, wobei der Prozessor die Anhängerhöhe zu einem globalen Histogramm hinzufügt.
System nach Anspruch 1, wobei der Prozessor ferner konfiguriert ist, um eine Draufsicht aus den aufgenommenen Bildern zu generieren und eine parametrische Kreisfunktion zum Lokalisieren kreisförmiger Strukturen anzuwenden, um einen Kupplungskoppler eines Anhängers zu detektieren.
System nach Anspruch 8, wobei der Prozessor die parametrische Kreisfunktion anwendet, um kreisförmige Strukturen in einer interessierenden Region zu lokalisieren, die von einem Benutzer spezifiziert wird.
System nach Anspruch 9, wobei der Prozessor eine kreisförmige Struktur so identifiziert, dass sie den Kupplungskoppler darstellt und einen Filter auf die kreisförmige Struktur anwendet.
System nach Anspruch 10, wobei der Prozessor die interessierende Region in einem darauffolgenden Einzelbild um eine Mittelpunktskoordinate der kreisförmigen Struktur zentriert.
Verfahren zum Schätzen einer Anhängerhöhe, umfassend die folgenden Schritte: Aufnehmen von Bildern hinter dem Fahrzeug; Extrahieren von Anhänger- und Bodenmerkmalen aus den aufgenommenen Bildern; Berechnen einer Fahrzeugbewegungsverschiebung auf Grundlage des optischen Flusses der Bodenmerkmale; Schätzen einer Höhe jedes Anhängermerkmals auf Grundlage der Fahrzeugbewegungsverschiebung und des optischen Flusses der Anhängermerkmale; und Bestimmen einer Anhängerhöhe auf Grundlage der geschätzten Höhen von mindestens einem Teil der Anhängermerkmale.