DE102011104256A1

DE102011104256A1 - Knickwinkelgeber für ein Assistenzsystem eines Kraftfahrzeugs und Verfahren zum Bestimmen eines Knickwinkels

Info

Publication number: DE102011104256A1
Application number: DE201110104256
Authority: DE
Inventors: Jessica Reinhold; Erich Bruns
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2011-06-15
Filing date: 2011-06-15
Publication date: 2012-07-26

Abstract

Knickwinkelgeber für ein Assistenzsystem eines zum Ziehen eines eine Deichsel aufweisenden Anhängers ausgebildeten Kraftfahrzeugs, mit einer Kamera zum Erfassen von Bildern und einer die Bilder verarbeitenden Recheneinheit, die zum Bestimmen der momentanen Position der Deichsel, anhand der der Knickwinkel ermittelbar ist, ausgebildet ist, wobei die Recheneinheit (16) zum Verarbeiten der Bilder in einer Kalibrierungsphase (1) ausgebildet ist, um die Deichsel charakterisierende Bildmerkmale zu extrahieren und um im Fahrbetrieb aus einem aktuellen Bild charakteristische Bildmerkmale zu extrahieren und mit den in der Kalibrierungsphase (1) gespeicherten Bildmerkmalen zu vergleichen, um den Knickwinkel zu ermitteln. Daneben wird ein Verfahren zum Bestimmen des Knickwinkels vorgeschlagen.

Description

Die Erfindung betrifft einen Knickwinkelgeber für ein Assistenzsystem eines zum Ziehen eines eine Deichsel aufweisenden Anhängers ausgebildeten Kraftfahrzeugs, mit einer Kamera zum Erfassen von Bildern und einer die Bilder verarbeitenden Recheneinheit, die zum Bestimmen der momentanen Position der Deichsel, anhand der der Knickwinkel ermittelbar ist, ausgebildet ist.
Es sind bereits Assistenzsysteme entwickelt worden, die dem Fahrer das Rangieren mit einem Anhänger erleichtern sollen. Diese Assistenzsysteme benötigen als Eingangsgröße unter anderem den Knickwinkel zwischen Fahrzeug und Anhänger, genauer gesagt den zwischen der Längsachse des Fahrzeugs und der Deichsel des Anhängers gebildeten Winkel. Basierend auf dem erfassten Knickwinkel kann der Anhänger durch das Assistenzsystem automatisch in eine gewünschte Lage relativ zum Fahrzeug gelenkt werden. Diese gewünschte Lage oder Position kann durch den Fahrer als Sollwinkel eingegeben werden, zum Beispiel über einen Drehdrücksteller. Mittels einer entsprechenden Regelung manövriert das Assistenzsystem das mit dem Anhänger gekoppelte Fahrzeug anschließend in die gewünschte Richtung und Position.
Aus der DE 10 2005 045 196 A1 ist ein Knickwinkelgeber für eine Rangierhilfe bekannt. Der Knickwinkelgeber umfasst ein ringförmiges Drehgelenk, das einerseits mit der fahrzeugseitigen Anhängerkupplung und andererseits mit der anhängerseitigen Deichsel verbunden ist. An einem Teil des Drehgelenks befindet sich ein optisch sichtbarer Code, der von einem Sensor des anderen Teils des Drehgelenks erfasst und ausgelesen werden kann. Die Bestimmung des Knickwinkels beruht somit auf einer optischen Erfassung der Relativlage von zwei beweglichen Bestandteilen des Drehgelenks. Dieser Knickwinkelgeber ist jedoch vergleichsweise aufwändig, da ein spezielles Drehgelenk montiert werden muss.
In der DE 10 2009 012 253 A1 wird ein Verfahren zur Unterstützung beim Rückwärtsfahren eines Gespannes aus Zugfahrzeug mit Anhänger vorgeschlagen. Mittels einer Kamera wird ein Bild des rückwärtigen Bereichs erfasst und dem Fahrer angezeigt. In dieses angezeigte Bild wird die Trajektorie eingeblendet, entlang der sich das Gespann beim Rückwärtsfahren bewegt. Es ist ein Automatikmodus vorgesehen, bei dem die Lenkung des Fahrzeugs teilweise oder vollständig automatisch betätigt wird.
Der Erfindung liegt die Aufgabe zugrunde, einen Knickwinkelgeber für ein Assistenzsystem anzugeben, der einfach implementiert werden kann und für jegliche Anhänger und Deichseln einsetzbar ist.
Zur Lösung dieser Aufgabe ist bei einem Knickwinkelgeber der eingangs genannten Art erfindungsgemäß vorgesehen, dass die Recheneinheit zum Verarbeiten der Bilder in einer Kalibrierungsphase ausgebildet ist, um die Deichsel charakterisierende Bildmerkmale zu extrahieren und um im Fahrbetrieb aus einem aktuellen Bild charakteristische Bildmerkmale zu extrahieren und mit den in der Kalibrierungsphase gespeicherten Bildmerkmalen zu vergleichen, um den Knickwinkel zu ermitteln.
Bei dem erfindungsgemäßen Knickwinkelgeber erfolgt die Ermittlung des Knickwinkels durch eine reine Bildauswertung, wodurch sich der Vorteil ergibt, dass auf zusätzliche Sensoren oder Erfassungsgeräte wie mechanische Drehwinkelgeber oder dergleichen verzichtet werden kann. Der erfindungsgemäße Knickwinkelgeber kann in vorteilhafter Weise bei jeglichen Kombinationen aus Anhängerkupplung und Anhängerdeichsel eingesetzt werden, da die jeweilige Geometrie im Rahmen einer Kalibrierungsphase erfasst wird. Dementsprechend ist der erfindungsgemäße Knickwinkelgeber ohne Anpassungen flexibel für unterschiedlich ausgebildete Anhänger bzw. Deichseln geeignet.
Bei dem erfindungsgemäßen Knickwinkelgeber werden im Rahmen einer Kalibrierungsphase Bilder des Bereichs der Deichsel mittels der Kamera aufgenommen, um die Deichsel charakterisierende Bildmerkmale zu extrahieren. Bei diesen Bildmerkmalen kann es sich beispielsweise um sichtbare Kanten oder Flächen handeln, die sich gegenüber dem Hintergrund oder Untergrund abzeichnen. Anhand dieser Bildmerkmale, die durch Rechenverfahren identifizierbar sind, wird eine bestimmte Relativlage zwischen Fahrzeug und Anhänger festgelegt, bei der der Knickwinkel 0° beträgt. Die Bildmerkmale werden somit im Zeitabstand detektiert und kalibriert. Anschließend werden im Fahrbetrieb ebenfalls aktuelle Bilder des Deichselbereichs erfasst, aus diesen Bildern werden charakteristische Bildmerkmale extrahiert und durch einen Vergleich mit den in der Kalibrierungsphase gespeicherten Bildmerkmalen kann der Knickwinkel rechnerisch ermittelt werden. Der Knickwinkel wird dann einem Assistenzsystem des Kraftfahrzeugs zur Verfügung gestellt, um damit zum Beispiel eine Regelung zum automatischen Rangieren oder Rückwärtsfahren vorzunehmen.
Bei dem erfindungsgemäßen Knickwinkelgeber kann es vorgesehen sein, dass die Recheneinheit zum Extrahieren eines Bildmerkmals anhand einer Menge von Bildpunkten ausgebildet ist. Das Bildmerkmal kann zum Beispiel eine im Bild sichtbare Kante sein, die durch eine festgelegte Anzahl von Bildpunkten definiert wird. Ebenso kann das Bildmerkmal eine Fläche sein, die durch eine Menge von Bildpunkten definiert wird, die den Umfang der Fläche festlegen. Besonders bevorzugt wird es, dass das Bildmerkmal einen Eckpunkt bzw. mehrere Eckpunkte umfasst.
Gemäß einer Weiterentwicklung des erfindungsgemäßen Knickwinkelgebers kann es vorgesehen sein, dass die Recheneinheit zur kontinuierlichen Ermittlung des Knickwinkels im Fahrbetrieb ausgebildet ist. Vorzugsweise wird der Knickwinkel im Fahrbetrieb lediglich dann ermittelt, wenn der Rückwärtsgang eingelegt ist. Der kontinuierlich ermittelte Knickwinkel kann dann fortlaufend dem Assistenzsystem zur Verfügung gestellt werden, der Knickwinkel ist somit eine Eingangsgröße einer Regelung des Assistenzsystems. Es ist auch möglich, dass der Knickwinkel in bestimmten Zeitabständen, beispielsweise mehrmals pro Sekunde, ermittelt wird.
Es liegt auch im Rahmen der Erfindung, dass die Recheneinheit zur Durchführung eines Vergleichs ausgebildet ist, der auf Daten von in der Kalibrierungsphase erfassten Bildern und Daten eines aktuell erfassten Bilds beruht. Durch diesen Vergleich werden die beiden Bilder bzw. daraus extrahierte Bildmerkmale, die einerseits in der Kalibrierungsphase und andererseits aktuell erfasst worden sind, miteinander in Beziehung gesetzt, um rechnerisch eine Positionsänderung der Deichsel zu erfassen, aus der der aktuelle Knickwinkel abgeleitet werden kann.
Daneben betrifft die Erfindung ein Kraftfahrzeug.
Das erfindungsgemäße Kraftfahrzeug zeichnet sich dadurch aus, dass es ein Fahrerassistenzsystem aufweist, das einen Knickwinkelgeber der beschriebenen Art umfasst oder über ein Bussystem mit dem Knickwinkelgeber verbunden ist.
Daneben betrifft die Erfindung ein Verfahren zum Bestimmen eines Knickwinkels zwischen einem Kraftfahrzeug und einem eine Deichsel aufweisenden Anhänger, bei dem Bilder mit einer Kamera erfasst und in einer Recheneinheit zur Bestimmung der Position der Deichsel verarbeitet werden, um den Knickwinkel zu ermitteln.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass die Bilder in einer Kalibrierungsphase von der Recheneinheit verarbeitet werden, um die Deichsel charakterisierende Bildmerkmale zu extrahieren und dass die Recheneinheit im Fahrbetrieb aus einem aktuellen Bild charakteristische Bildmerkmale extrahiert und mit den in der Kalibrierungsphase gespeicherten Bildmerkmalen vergleicht, um den Knickwinkel zu erhalten.
Vorzugsweise wird in der Kalibrierungsphase eine Nulllage des Knickwinkels ermittelt. Diese Nulllage oder Nullposition liegt dann vor, wenn Fahrzeug und Anhänger geradeaus fahren und der Lenkwinkel 0° beträgt. Dieser Zustand wird in der Kalibrierungsphase erfasst und dient als Referenz für die Bestimmung des Knickwinkels im Fahrbetrieb.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann es vorgesehen sein, dass einem Bildmerkmal ein Vektor zugeordnet wird, dessen Ursprung eine im Bild sichtbare Anhängerkupplung ist. Diesem Verfahrensschritt liegt die Überlegung zugrunde, dass der zu bestimmende Knickwinkel durch einen Vektor definiert werden kann, naturgemäß bildet die Anhängerkupplung den Ursprung des Vektors, da der Knickwinkel eine Information über eine Drehung der Deichsel des Anhängers gegenüber der Anhängerkupplung des Fahrzeugs angibt.
In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens kann es vorgesehen sein, dass zur Bestimmung des Knickwinkels die Differenz eines Vektors, der einem im Fahrbetrieb ermittelten Bildmerkmal zugeordnet ist und eines demselben Bildmerkmal in der Nulllage zugeordneten Vektors berechnet wird. Erfindungsgemäß werden zwei Vektoren miteinander verglichen, einerseits ein „Nullvektor”, der in der Kalibrierungsphase erfasst worden ist, wenn sich der Anhänger exakt hinter dem Fahrzeug befindet und andererseits der im Fahrbetrieb ermittelte aktuelle Vektor. Beide Vektoren beziehen sich auf dasselbe Bildmerkmal, beispielsweise eine erfasste Kante der Deichsel oder einen durch Bildauswertung erfassten Punkt, insbesondere wenigstens einen Eckpunkt. Der von den beiden Vektoren eingeschlossene Winkel ist der gesuchte Knickwinkel, der rechnerisch einfach ermittelt werden kann.
Es ist besonders zweckmäßig, wenn im Rahmen des erfindungsgemäßen Verfahrens der ermittelte aktuelle Knickwinkel einem Fahrerassistenzsystem des Kraftfahrzeugs zur Verfügung gestellt wird, vorzugsweise über ein Bussystem. Das Fahrerassistenzsystem kann basierend auf dem ermittelten Knickwinkel eine Regelung zum Rückwärtsfahren und/oder Rangieren des Fahrzeugs mit Anhänger durchführen.
Weitere Vorteile und Einzelheiten der Erfindung werden nachfolgend anhand eines Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen erläutert. Die Zeichnungen sind schematische Darstellungen und zeigen:
1 den Ablauf des erfindungsgemäßen Verfahrens;
2 ein Detail eines erfindungsgemäßen Fahrzeugs mit einem Anhänger während der Kalibrierungsphase; und
3 das in 2 gezeigte Fahrzeug mit Anhänger während des Fahrbetriebs.
Das Fahrzeug, das den Knickwinkelgeber aufweist und das zugehörige Verfahren zum Bestimmen des Knickwinkels werden anhand der 1 bis 3 erläutert.
1 zeigt in einem Diagramm die wesentlichen Verfahrensschritte des Verfahrens. Die linke Spalte erläutert den Ablauf der Kalibrierungsphase, die rechte Spalte erläutert das Verfahren während des Fahrbetriebs.
Um den Knickwinkel algorithmisch durch eine Bildverarbeitung zu bestimmen ist es erforderlich, die Deichsel des Anhängers zu definieren und vom Hintergrund, normalerweise der Straßenoberfläche, visuell zu trennen. Dies erfolgt in der in der linken Spalte von 1 dargestellten Kalibrierungsphase 1. Die Kalibrierungsphase 1 findet statt, während das Fahrzeug eine bestimmte Strecke geradeaus fährt. Eine bestimmte Fahrstrecke kann berücksichtigt werden, sofern der Lenkwinkel nahezu oder exakt 0° beträgt, das heißt wenn das Fahrzeug mit Anhänger geradeaus fährt. Dieser Zustand wird als Referenz bzw. Nulllage festgelegt.
Eine fahrzeugseitige Kamera ist auf den rückwärtigen Bereich des Fahrzeugs und somit auf den Bereich der Deichsel des Anhängers ausgerichtet und führt eine Bilderfassung 2 durch. Eine Recheneinheit nimmt eine Extraktion von Bildmerkmalen 3 vor, um die Deichsel anhand ausgeprägter Bildmerkmale zu erkennen. Ein Bildmerkmal ist dabei eine Menge von Bildpunkten, die zumindest näherungsweise einen Eckpunkt, eine sichtbare Kante oder eine Fläche beschreiben. Insgesamt können mehrere Bildmerkmale wie Kanten, Flächen oder andere geometrisch ausgeprägte Bildmerkmale erfasst und im Verfahrensschritt 4 gespeichert. Die besten Ergebnisse werden erzielt, wenn als Bildmerkmal wenigstens ein Eckpunkt der Deichsel verwendet wird.
In der rechten Spalte von 1 sind die Verfahrensschritte während des Fahrbetriebs 5 dargestellt. Analog zur Kalibrierungsphase 1 wird im Fahrbetrieb 5 eine Bilderfassung 6 durchgeführt, in der eine Folge aktueller Bilder des relevanten Bereichs der Deichsel erfasst wird. Anschließend wird ebenfalls analog zur Kalibrierungsphase 1 eine Extraktion aktueller Bildmerkmale 7 vorgenommen.
Im nächsten Verfahrensschritt 8 findet ein Vergleich von gespeicherten Bildmerkmalen und aktuellen Bildmerkmalen statt. Die gespeicherte Bildmerkmale wurden in der Kalibrierungsphase 1 erfasst und in der Recheneinheit gespeichert. Dabei werden jeweils zugehörige gespeicherte und aktuelle Bildmerkmale miteinander verglichen, beispielsweise Bildmerkmale, die sich auf eine bestimmte sichtbare Kante oder einen oder mehrere Eckpunkte beziehen.
Zur Berechung des Knickwinkels werden die Bildpunkte auf eine zur Blickrichtung der Kamera orthogonale Ebene projiziert, anschließend werden im Verfahrensschritt 9 Richtungsvektoren definiert. Der Ursprung jedes Vektors ist dabei die im Bild sichtbare Anhängerkupplung. Die Richtung ergibt sich anhand wenigstens eines Bildmerkmals, das durch eine Menge von Bildpunkten beschrieben wird. In dem vorliegenden Ausführungsbeispiel bilden Eckpunkte der Deichsel das Bildmerkmal. Durch ein Bildverarbeitungsverfahren werden Punkte gefunden, die auf der Deichsel liegen. Diese zeichnen sich dadurch aus, dass sie sich nicht ändern, im Gegensatz zu Bildpunkten, die z. B. zu einem sich ändernden Untergrund gehören. Anschließend wird ein anhand aktueller Bildmerkmale ermittelter Richtungsvektor mit dem entsprechenden, in der Kalibrierungsphase 1 ermittelten Richtungsvektor, der sich auf die Nulllage bezieht, in Bezug gesetzt. Der von den beiden Richtungsvektoren eingeschlossene Winkel entspricht dem gesuchten Knickwinkel 10, der rechnerisch durch eine Mittelwertbildung erhalten wird.
2 zeigt ein Fahrzeug 11 mit einer Anhängerkupplung 12. Das Fahrzeug 11 umfasst eine Kamera 13, deren Sichtfeld den rückwärtigen Bereich des Fahrzeugs 11 und insbesondere die Anhängerkupplung 12 sowie die Deichsel 14 eines Anhängers 15 erfasst. Optional kann eine Beleuchtung für den Bereich der Deichsel vorgesehen sein. 2 zeigt die Kalibrierungsphase 1, bei der der Winkel zwischen der Längsachse des Fahrzeugs 11 und einer (gedachten) Längsachse der Deichsel 0° beträgt. Während der Kalibrierungsphase werden die von der Kamera 13 erfassten Bilder einer Bildauswertung unterzogen, um Bildmerkmale zu extrahieren und in einer Recheneinheit 16 zu speichern.
3 zeigt das den Anhänger 15 ziehende Fahrzeug 11 während des Fahrbetriebs. Sobald der Fahrer den Rückwärtsgang eingelegt hat, werden von der Kamera 13 aktuelle Bilder des rückwärtigen Bereichs erfasst, von denen in der Recheneinheit 16 die aktuellen Bildmerkmale extrahiert werden. Anhand der gespeicherten Bildmerkmale und der aktuellen Bildmerkmale werden Richtungsvektoren bestimmt. Der Richtungsvektor 17 gibt dabei die in der Kalibrierungsphase ermittelte Nullstellung an, der Richtungsvektor 18 gibt die aktuelle Richtung der Deichsel relativ zur Fahrzeuglängsachse an. Der von den Richtungsvektoren 17, 18 eingeschlossene Winkel 19 ist der gesuchte aktuelle Knickwinkel der Deichsel des Anhängers 15 zur Fahrzeuglängsachse. Der erfasste Knickwinkel wird von der Recheneinheit 16 einem Fahrerassistenzsystem zur Verfügung gestellt, um auf diese Weise das Rückwärtsfahren oder einen Rangiervorgang zu regeln.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005045196 A1 [0003]
DE 102009012253 A1 [0004]

Claims

Knickwinkelgeber für ein Assistenzsystem eines zum Ziehen eines eine Deichsel aufweisenden Anhängers ausgebildeten Kraftfahrzeugs, mit einer Kamera zum Erfassen von Bildern und einer die Bilder verarbeitenden Recheneinheit, die zum Bestimmen der momentanen Position der Deichsel, anhand der der Knickwinkel ermittelbar ist, ausgebildet ist, dadurch gekennzeichnet, dass die Recheneinheit (16) zum Verarbeiten der Bilder in einer Kalibrierungsphase (1) ausgebildet ist, um die Deichsel charakterisierende Bildmerkmale zu extrahieren und um im Fahrbetrieb aus einem aktuellen Bild charakteristische Bildmerkmale zu extrahieren und mit den in der Kalibrierungsphase (1) gespeicherten Bildmerkmalen zu vergleichen, um den Knickwinkel zu ermitteln.
Knickwinkelgeber nach Anspruch 1, dadurch gekennzeichnet, dass die Recheneinheit (16) zum Extrahieren eines Bildmerkmals anhand einer Menge von Bildpunkten ausgebildet ist.
Knickwinkelgeber nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Recheneinheit (16) zur kontinuierlichen Ermittlung des Knickwinkels im Fahrbetrieb ausgebildet ist.
Knickwinkelgeber nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (16) zur Durchführung eines Vergleichs ausgebildet ist, der auf Daten von in der Kalibrierungsphase (1) erfassten Bildern und Daten eines aktuell erfassten Bilds beruht.
Kraftfahrzeug, dadurch gekennzeichnet, dass es ein Fahrerassistenzsystem mit einem Knickwinkelgeber nach einem der Ansprüche 1 bis 4 aufweist oder damit über ein Bussystem verbunden ist.
Verfahren zum Bestimmen eines Knickwinkels zwischen einem Kraftfahrzeug und einem eine Deichsel aufweisenden Anhänger, bei dem Bilder mit einer Kamera erfasst und in einer Recheneinheit zur Bestimmung der Position der Deichsel verarbeitet werden, um den Knickwinkel zu ermitteln; dadurch gekennzeichnet, dass die Bilder in einer Kalibrierungsphase von der Recheneinheit verarbeitet werden, um die Deichsel charakterisierende Bildmerkmale zu extrahieren und dass die Recheneinheit im Fahrbetrieb aus einem aktuellen Bild charakteristische Bildmerkmale extrahiert und mit den in der Kalibrierungsphase gespeicherten Bildmerkmalen vergleicht, um den Knickwinkel zu erhalten.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in der Kalibrierungsphase eine Nulllage des Knickwinkels ermittelt wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Recheneinheit ein Bildmerkmal anhand einer Menge von Bildpunkten extrahiert.
Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass einem Bildmerkmal ein Vektor zugeordnet wird, dessen Ursprung eine im Bild sichtbare Anhängerkupplung ist.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zur Bestimmung des Knickwinkels die Differenz eines Vektors, der einem im Fahrbetrieb ermittelten Bildmerkmal zugeordnet ist und eines demselben Bildmerkmal in der Nulllage zugeordneten Vektors berechnet wird.
Verfahren nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass der ermittelte aktuelle Knickwinkel einem Fahrerassistenzsystem des Kraftfahrzeugs zur Verfügung gestellt wird, vorzugsweise über ein Bussystem.