DE102020109598A1

DE102020109598A1 - System und Verfahren zum Verfolgen eines angekoppelten Fahrzeugs

Info

Publication number: DE102020109598A1
Application number: DE102020109598.8A
Authority: DE
Inventors: Henrik MARSCHNER; Vera Stehr; Ana Robleda; Yerai Berenguer; Enrique Romay-Castineira; Alan Murphy; Alan Hanniffy; Kaggere Shivamurthy Swaroop; Daniel Garcia
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2021-10-07
Also published as: US20230154197A1; WO2021204867A1

Abstract

Ein Verfahren zum Liefern eines Gierwinkels (105a) zwischen einem ersten Fahrzeug (110) gekoppelt mit einem zweiten Fahrzeug (100) umfasst Folgendes: Empfangen eines Bilds des ersten Fahrzeugs von einer Kamera (101), die auf dem zweiten Fahrzeug montiert ist; Durchführen (210) einer Polartransformation an dem Bild zum Bilden eines Polarbilds (400) in einem Polarraum, der einen Ursprung aufweist, der einem Ort eines Drehpunkts (303) der Kopplung (302) mit dem zweiten Fahrzeug in dem Koordinatenraum des empfangenen Bilds entspricht; Schätzen (230) eines optischen Kopplungswinkels durch Analysieren des Inhalts des Polarbilds; Empfangen eines Signals von einem Odometer (102), das an dem ersten oder dem zweiten Fahrzeug montiert ist; Schätzen eines kinematischen Kopplungswinkels anhand des Signals und eines kinematischen Modells des ersten Fahrzeugs und des angekoppelten zweiten Fahrzeugs; und Kombinieren des geschätzten optischen Kopplungswinkels und des geschätzten kinematischen Kopplungswinkels, um den Kopplungswinkel zu liefern.

Description

Technisches Gebiet
Die vorliegende Anmeldung betrifft ein System und ein Verfahren zum Verfolgen des Gierwinkels eines angekoppelten Fahrzeugs, wie etwa eines Anhängers.
Hintergrund
Es ist für einen Fahrer eines Fahrzeugs hilfreich, den Kopplungswinkel, oder Gierwinkel, zwischen einem Fahrzeug und einem angekoppelten Fahrzeug, wie etwa einem Anhänger, zu kennen. Diese Kenntnis ist insbesondere nützlich, wenn das Fahrzeug in Rückwärtsrichtung manövriert wird.
Verschiedene Verfahren zum Abfragen von Signalen von Sensoren, wie etwa optischen Sensoren, zum Verfolgen des Gierwinkels sind bekannt. Beispielsweise beinhaltet ein bekannter Gierwinkel-Messprozess Anbringen einer Zielscheibe an einem vorbestimmten Ort an einem Anhänger und Verfolgen der Zielscheibenposition mit einer Kamera, die auf dem Fahrzeug montiert ist. Der Zielscheibenanbringort wird zum Ableiten der Anhängerposition und des Gierwinkels benötigt. Zielscheibenbasierte Verfahren sind allerdings hinsichtlich Zielscheibenzustand und -platzierung empfindlich.
Mindestens eines der Probleme mit Zielscheiben, schlechtes Wetter, Lichtverhältnisse und Umgebungsbedingungen, werden den Betrieb bekannter kamerabasierter Gierwinkel-Verfolgungsverfahren stören.
WO2018/153915 betrifft ein Verfahren zum Bestimmen einer Winkelstellung eines Anhängers durch Erhalten eines Bilds eines Teils eines Anhängers mittels einer Heckkamera eines Zugfahrzeugs. Das Bild wird in Blöcke unterteilt und für jeden Block wird ein Texturwert bestimmt. Blöcke mit Texturwerten, die ein vorbestimmtes Wiederholungskriterium erfüllen, werden gekennzeichnet. Letztlich wird die Winkelstellung des Anhängers anhand des Anbringorts der gekennzeichneten Blöcke bestimmt.
US2018/0253608 betrifft ein Anhängerwinkel-Detektionssystem, das Bilder verarbeitet, um einen Abschnitt des Anhängers zu detektieren, der von dem Fahrzeug gezogen wird. Das Anhängerwinkel-Detektionssystem bestimmt einen Winkel des Anhängers relativ zu dem Fahrzeug durch Bestimmen, welche Spalten von fotoempfindlichen Elementen den detektierten Abschnitt des Anhängers erfassen.
Ein Ziel der vorliegenden Erfindung besteht darin, den Gierwinkel auf eine Weise zu messen, die mindestens einige der Schwächen bekannter Verfahren angeht.
Kurzdarstellung
Die vorliegende Erfindung ist durch den unabhängigen Anspruch definiert. Die abhängigen Ansprüche stellen weitere optionale Merkmale bereit. Kurz gesagt verfolgen das offenbarte System und Verfahren den Gierwinkel eines Fahrzeugs, das von einem anderen gezogen wird.
Das Verfahren misst den Gierwinkel genau, unabhängig davon, ob das Zugfahrzeug vorwärts (von dem gezogenen Fahrzeug weg) oder rückwärts fährt. Durch angemessenes Kombinieren von Kameradaten und Odometriedaten wird der Gierwinkel auf eine Weise gemessen, die keine Zielscheiben benötigt und gegenüber schlechtem Wetter, Lichtverhältnissen und Umgebungsbedingungen robust ist. Das Verfahren kann auch an dem Zugfahrzeug vorhandene Sensoren verwenden und benötigt keine Modifikation des gezogenen Fahrzeugs.
Das präsentierte Verfahren ist robust und weithin auf Zugfahrzeuge und Anhänger anwendbar. Es kann auf jegliches System von gekoppelten Fahrzeugen angewandt werden.
Figurenliste
Ausführungsformen der Erfindung werden nun beispielhaft unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, in denen Folgendes gilt:

1 zeigt ein Fahrzeug und einen angekoppelten Anhänger. Das Fahrzeug weist eine montierte Kamera auf, die zum Anhänger hin ausgerichtet ist;
2 zeigt ein Flussdiagramm eines optischen Prozesses zum Schätzen eines Gierwinkels;
3 zeigt ein Beispielbild von einer Kamera, wie etwa der in 1 gezeigten montierten Kamera. Eine Überlagerung auf dem Bild zeigt eine Polaransichtauswahl;
4 zeigt eine Beispielpolaransicht, die aus der in 3 gezeigten Polaransichtauswahl erstellt wird;
5 zeigt Verarbeitungsschritte, die auf das Bild in 4 angewandt werden, um eine Pyramide aus Bildern zu bilden;
6 zeigt einen Prozess zum Extrahieren von ein- und zweidimensionalen Gradientenbildern aus dem Bild in 5;
7 zeigt einen Kreuzkorrelationsprozess zum Verorten eines eindimensionalen Gradientenbild-Linienvorlagenbilds, das unter Verwendung des Prozesses in 6 erstellt wurde;
8 zeigt einen Kreuzkorrelationsprozess zum Verorten eines zweidimensionalen Gradientenvorlagenbilds;
9 zeigt ein Modul zum Kalman-basierten Winkelschätzen bzw. KAES-Modul; und
10 zeigt ein Schema eines Gesamtsystems zum Verfolgen eines Gierwinkels.

Beschreibung
1 zeigt ein Beispiel für ein Fahrzeug 100 mit einem Anhänger 110, der durch einen Verbinder 105 mit dem Fahrzeug 100 gekoppelt ist. Der Verbinder 105 ist an einem Drehpunkt 106 mit dem Fahrzeug gekoppelt. Das Fahrzeug 100 umfasst eine montierte Kamera 101. Die montierte Kamera 101 ist derart ausgerichtet, dass ihr Sichtfeld 101a mindestens einen Teil des Anhängers 110 und des Verbinders 105 abdeckt.
Das Sichtfeld 101a ist weit und dies wird typischerweise dadurch erreicht, dass die Kamera 101 ein Weitwinkelobjektiv aufweist, wie etwa ein Fischaugenobjektiv. Ein Fischaugenobjektiv wird bevorzugt, da diese im allgemeinen zylindersymmetrisch sind. In anderen Anwendungen der Erfindung kann das Sichtfeld weniger oder mehr als 180 Grad betragen. Obgleich ein Fischaugenobjektiv bevorzugt ist, kann jegliches andere Objektiv, das ein weites Sichtfeld liefert, verwendet werden. In diesem Kontext ist ein weites Sichtfeld ein Objektiv, das ein Sichtfeld von über 100 Grad, bevorzugt über 150 Grad und besonders bevorzugt von über 170 Grad aufweist.
Die Empfindlichkeit der in der Erfindung verwendeten Kamera muss nicht auf irgendeinen spezifischen Wellenlängenbereich beschränkt sein, sondern wird überwiegend mit Kameras verwendet, die gegenüber sichtbarem Licht empfindlich sind. Die Kamera 101 wird im allgemeinen in der Form eines Kameramoduls vorliegen, das ein Gehäuse für ein Objektiv und einen Sensor umfasst, wobei das Objektiv zum Fokussieren von Licht auf den Sensor dient. Das Kameramodul kann auch Elektronik zum Versorgen des Sensors mit Strom und zum Ermöglichen von Kommunikation mit dem Sensor aufweisen. Das Kameramodul kann auch Elektronik zum Verarbeiten des Bilds umfassen. Das Verarbeiten kann eine Bildsignalverarbeitung auf niedriger Ebene sein, beispielsweise Verstärkungssteuerung, Belichtungssteuerung, Weißabgleich, Rauschunterdrückung usw. und/oder es kann leistungsfähigeres Verarbeiten beinhalten, beispielsweise für Computervision.
Der Koppelwinkel oder Gierwinkel 105a kann von der Heckrichtung Re, die der Frontrichtung Fr, in der sich das Fahrzeug 100 bewegt, wenn es geradeaus vorwärts fährt, entgegengesetzt und parallel ist, gemessen werden. Bei der Ausführungsform ist die Heckrichtung Re zur optischen Achse 101a der Kamera 101 parallel.
Der Gierwinkel 105a kann unter Verwendung eines Modells, wie etwa einem kinematischen Modell, und von Sensoren 102 an dem Fahrzeug 100 geschätzt werden. Allerdings sagen solche Modelle den Gierwinkel nicht genau vorher, wenn sich das Fahrzeug in der Heckrichtung Re bewegt. Die Ungenauigkeit entsteht, weil der Anhänger 110, wenn der Anhänger 110 geschoben wird, auf unvorhersagbare Weise um den Drehpunkt 106 schwenken wird. Falls der Anhänger 110 beispielsweise anfangs gerade hinter, d. h. mit dem Fahrzeug 100 ausgerichtet, ist, wird der Anhänger 110 von dieser Ausrichtung abweichen, wenn sich das Fahrzeug 100 in der heckwärtigen Richtung Re bewegt. Allerdings kann anhand eines kinematischen Modells nicht vorhergesagt werden, ob die Abweichung nach links oder rechts auftritt.
Wie bereits im Stand der Technik erläutert wurde, sind bekannte, auf optischer Verfolgung basierende Verfahren zum Messen des Gierwinkels 105a hinsichtlich Zielscheibenzustand und -platzierung, Wetterbedingungen, Lichtverhältnissen und anderen Umgebungsbedigungen empfindlich.
Die vorliegende Erfindung kombiniert optische Verfolgung und auf einem kinematischen Modell basierende Verfolgung (kinematische Verfolgung) zum Schätzen eines Gierwinkels 105a mit einem Vertrauensniveau. Die optische Verfolgung schließt einen multiresoluten und multimodalen Ansatz zum Überwinden potentieller Nachteile bekannter optischer Verfolgung ein. Ein Modul 102 liefert die kinematische Verfolgung und kombiniert die optische Verfolgung und die kinematische Verfolgung auf eine anpassbare Weise.
Der Prozess zur optischen Verfolgung kann in drei Schritten zusammengefasst werden. Der erste Schritt umfasst das Empfangen eines Bilds von mindestens einem Teil des ersten Fahrzeugs 110 von der Kamera 101, die auf dem zweiten Fahrzeug 100 montiert ist, wobei das Kamerabild eine Matrix von Intensitätswerten umfasst. Der zweite Schritt umfasst das Verarbeiten des Bilds zum Schätzen des Gierwinkels 105a durch Analysieren des Inhalts eines Polarbilds, das aus dem Kamerabild extrahiert wird. Der dritte Schritt umfasst das Weitergeben des gemessenen Gierwinkels und des Vertrauensniveaus an das Modul 102.
Bei einer Ausführungsform der vorliegenden Erfindung umfasst die optische Verfolgung die in 2 gezeigten Schritte. Zuerst wird eine Polaransicht erzeugt 210. Dann wird die Polaransicht in kleinere Bilder herunterabgetastet 220. Dann wird eines der kleineren Bilder in zwei Gradientenraumbilder transformiert 230. Als nächstes wird multimodale Verfolgung 240 durchgeführt, indem der Ort von Vorlagen in den transformierten Bildern und der Ort von Vorlagen in den kleineren Bildern und der Polaransicht gefunden wird. Das Ergebnis der Durchsuchung nach den Vorlagen in den Bildern wird dann verwendet, um mehrere Gierwinkel zu schätzen, wobei jeder geschätzte Gierwinkel ein Vertrauensniveau aufweist. Die mehreren Gierwinkel werden dann zu einem Gierwinkel und einem Vertrauensniveau kombiniert und diese werden gemeldet 250. Die bei der Durchsuchung verwendeten Vorlagen werden dann, wenn nötig, aktualisiert 260. Diese Schritte werden nun ausführlicher erklärt.
3 zeigt ein Beispielbild 300 eines Bilds von einer Kamera, die an einem Auto zu einem Anhänger hin ausgerichtet montiert ist. Der Verbinder zu dem Anhänger ist eine Deichsel 302, die um einen Drehpunkt 303 herum schwenkt. Eine Änderung des Gierwinkels zwischen dem Auto und dem Anhänger manifestiert sich als eine Rotation der Deichsel um den Drehpunkt 303 herum. Durch Extrahieren eines Abschnitts des Bilds und Transformieren desselben in eine Polarkoordinatenprojektion wird eine Polaransicht erzeugt.
Für eine spätere bequeme Verarbeitung wird die Polaransicht auch um 180 Grad gedreht. Eine Beispielpolaransicht 400 ist in 4 gezeigt. Diese Ansicht wurde aus dem in 3 gezeigten weiß umrandeten Blockbogenabschnitt 300 erzeugt. Die Ränder des Blockbogens 301a-d in dem Bild 300 entsprechen den Rändern 401a-f in der Polaransicht 400.
Das Rotationszentrum des Blockbogens ist mit dem Drehpunkt 303 ausgerichtet. Die Winkelausdehnung des Blockbogens deckt typischerweise jegliche vorstellbare Rotation der Deichsel 302 ab und die radiale Ausdehnung ist derart eingestellt, dass so viel wie möglich von dem Auto und dem Anhänger gemieden wird. Die den Blockbogen definierenden Parameter können gemäß dem Fahrzeug und/oder dem Anhänger fest sein. In anderen Fällen werden die Parameter durch den Benutzer eingegeben oder angepasst und/oder automatisch bestimmt.
Die Auswirkung des Erzeugens 210 einer Polaransicht besteht darin, die Winkelbewegung eines Verbinders um einen Drehpunkt herum in eine horizontale Translation umzuwandeln. Das Verwenden einer Polaransicht macht das Verfahren mit nahezu jeglicher Anhängerart kompatibel. Beispielsweise weist die in 3 gezeigte Deichsel 302 dreieckige Merkmale auf, wohingegen in einer Polaransicht 400 eine vertikale Struktur 402 erhalten wird. Die vertikale Struktur 402 wird horizontal translatiert, wenn sich die Deichsel 302 um den Drehpunkt 303 dreht.
Ein Beispiel für Abwärtsabtastug 220 ist in 5 demonstriert. In diesem Prozess wird eine erzeugte Polaransicht in zwei Ebenen von zwei zunehmend kleineren Bildern herunterabgetastet. In dem in 5 gezeigten Beispiel ist das Bild der ersten Ebene 501 eine Kopie der Polaransicht. Das Bild der zweiten Ebene 502 wird durch Herunterabtasten des Bilds der ersten Ebene 501 um einen Faktor 2 beispielsweise unter Verwendung eines Gauss-Kernels erstellt. Das Bild der dritten Ebene 503 wird durch Herunterabtasten des Bilds der zweiten Ebene 502, wieder um einen Faktor 2, beispielsweise unter Verwendung eines Gauss-Kernels erstellt. Das Ergebnis des Herunterabtastens 220 ist eine Pyramide desselben Bilds bei verschiedenen Auflösungen. Solch eine Pyramide aus Bildern ermöglicht ressourceneffizientes Durchsuchen.
Wenn beispielsweise nach der Deichsel 302 gesucht wird, kann eine große Region oder eine vollständige Durchsuchung des Bilds der dritten Ebene 503 durchgeführt werden. Da das Bild der dritten Ebene 503 klein ist, kann diese Durchsuchung schnell sein. Sobald diese Durchsuchung abgeschlossen ist, kann deren Ergebnis zum Durchführen einer fokussieren Durchsuchung einer Region des Bilds der zweiten Ebene 502 verwendet werden. Gleichermaßen kann das Ergebnis der fokussierten Durchsuchung des Bilds der zweiten Ebene 502 verwendet werden zum Durchführen einer noch stärker fokussierten Durchsuchung des Bilds der ersten Ebene 501.
6 zeigt ein Beispiel einer Transformation des Polaransichtsbilds in den Gradientenraum. Transformieren eines Polaransichtsbilds in den Gradientenraum hilft dabei, die vertikale Struktur 402, die die Polaransicht der Deichsel 302 repräsentiert, weiter zu unterscheiden. Durchführen einer Analyse im Gradientenraum und im Bildraum erhöht auch die Robustheit des optischen Verfolgungsverfahrens.
Die Gradientenraumtransformation in bevorzugten Implementierungen umfasst vertikales Verunschärfen 610 des Polaransichtsbilds A und Bilden 620 eines Bilds C der horizontalen Gradienten nach der vertikalen Verunschärfung B. Die vertikale Verunschärfung 610 unterdrückt nicht-vertikale Merkmale, wie etwa Straßenmarkierungen und Schatten. Das Bilden 620 eines Bilds der horizontalen Gradienten C verschärft den Kontrast der vertikalen Struktur 402 gegenüber dem Hintergrund. Alternativ oder zusätzlich kann ein Filter verwendet werden, das Vorabkenntnis verwendet, um beim Unterscheiden der vertikalen Struktur von dem Hintergrund zu helfen. Bevorzugt wird die Gradientenraumtransformation auf das Bild der zweiten Ebene 502 des Polaransichtsbilds angewandt, da dieses die Leistungsfähigkeit ohne zu viel Verlust an Auflösung optimiert.
Das Gradientenbild wird dann horizontal verunschärft 630, um ein unscharfes Gradientenraumbild D zu bilden. Das unscharfe Gradientenraumbild D wird dann auf ein Linienprofil E kollabiert, indem die vertikalen Mittelwerte aufgetragen werden 640. Zuletzt wird das Linienprofil hintergrundkorrigiert 650, indem der Medianwert subtrahiert wird und negative Werte entfernt werden, um eine Eindimensionaler-Gradientenraum-Vorlage zu bilden 231.
Eine Zweidimensionaler-Gradientenraum-Vorlage kann ausgebildet werden 232, aus entweder dem Bild der horizontalen Gradienten C oder dem unscharfen Gradientenraumbild D oder durch irgendeine Verarbeitung des Polarbilds, das zu der Zweidimensionaler-Gradientenraum-Repräsentation der Deichsel 302 führt.
Die beschriebene Verarbeitung bildet Gradientenraumbilder aus, die insbesondere gut für ein Unterscheiden einer Deichsel von typischen Hintergründen sind. Allerdings kann bei anderen Ausführungsformen die Umwandlung in den Gradientenraum mit anderen Bildverarbeitungsschritten durchgeführt werden.
7 demonstriert eindimensionale normierte Kreuzkorrelationsverfolgung zum Messen des Gierwinkels. Zuerst wird die Eindimensionaler-Gradientenraum-Vorlage 701 erhalten. Diese Vorlage kann von einem zuvor auf die in 6 beschriebene Weise verarbeiteten Bild stammen. Alternativ kann sie aus einer Bilderdatenbank oder von einer von einem früheren Betrieb des Systems gespeicherten Kopie geladen werden. In allen Fällen kann die Eindimensionaler-Gradientenraum-Vorlage 701 wie nachfolgend beschrieben aktualisiert werden.
Bilddaten von der fahrzeugmontierten Kamera werden dann durch den in 6 gezeigten Prozess in ein gemessenes Linienprofil 711 umgewandelt. Die Eindimensionaler-Gradientenraum-Vorlage 701 wird dann mit dem gemessenen Linienprofil 711 an unterschiedlichen Positionen kreuzkorreliert. Das Ergebnis ist ein Korrelationskoeffizientendiagramm 712. Der Maximalwert in diesem Diagramm wird als die Position der Deichsel eingestellt.
Diese Eindimensionaler-Gradientenraum-Verfolgung liefert somit eine erste Modalität zur Bewertung der Position der Deichsel. Da die Eindimensionaler-Gradientenraum-Vorlage 701 nur ein Linienprofil ist, weist sie nur eine minimale Speicheranforderung auf und kann daher gespeichert werden, wenn das System nicht aktiv ist. Permanente Speicherung gewährleistet auf diese Weise auch, dass sich das Verfahren im Falle von Verfolgungsverlust schnell erholen kann.
8 demonstriert zweidimensionale normierte Kreuzkorrelationsverfolgung. In diesem Fall wird eine Zweidimensionaler-Gradientenraum-Vorlage 801 erhalten. Bevorzugt ist dies der zweidimensionale Gradientenraum von einem früheren durch die Schritte A bis C oder A bis D des in 6 gezeigten Prozesses verarbeiteten Bilds. Alternativ kann sie aus einer Datenbank oder von einer von einem früheren Betrieb des Systems gespeicherten Kopie geladen werden. In allen Fällen kann die Zweidimensionaler-Gradientenraum-Vorlage 801 wie nachfolgend beschrieben aktualisiert werden.
Bilddaten von der fahrzeugmontierten Kamera werden dann durch die Schritte A bis C oder A bis D des in 6 gezeigten Prozesses in ein Zweidimensionaler-Gradientenraum-Bild 811 umgewandelt. Die Zweidimensionaler-Gradientenraum-Vorlage 801 wird dann mit dem Zweidimensionaler-Gradientenraum-Bild 811 für eine Reihe von horizontalen Versätzen zwischen der Zweidimensionaler-Gradientenraum-Vorlage 801 und dem Zweidimensionaler-Gradientenraum-Bild 811 kreuzkorreliert. Das Ergebnis ist ein Korrelationskoeffizientendiagramm 812. Der Maximalwert in diesem Diagramm wird als die Position der Deichsel eingestellt.
Diese Zweidimensionaler-Gradientenraum-Verfolgung liefert somit eine zweite Modalität zur Bewertung der Position der Deichsel. Die zweidimensionale normierte Kreuzkorrelationsverfolgung nutzt die gute Identifikation der Deichsel im Gradientenraum aus. Geringe Auflösung und Präzisionsbeschränkung aufgrund der Schritte in der Gradientenraumtransformation machen das Ergebnis robust genug, um als Referenz für Fehlerdetektion verwendet zu werden.
Eine dritte Verfolgungsmodalität arbeitet im Bildraum anstatt im Gradientenraum und verwendet zweidimensionale Mehrfachauflösungsverfolgung mit normierter Kreuzkorrelation von adaptiven Vorlagen. Diese Modalität verwendet zwei Vorlagenbilder, die mit unterschiedlichen Frequenzen aktualisiert werden. Bei einer bevorzugten Ausführungsform gibt es zwei Vorlagenbilder. Das erste Vorlagenbild wird als die „aktualisierte Vorlage“ bezeichnet und wird so häufig wie möglich aktualisiert. Das zweite Vorlagenbild wird als die „Referenzvorlage“ bezeichnet und wird nur bei Bedarf aktualisiert. Die aktualisierte Vorlage gewährleistet eine gute Übereinstimmung über sich ändernde Hintergrund- oder Lichtverhältnisse. Die Referenzvorlage gewährleistet Präzision und schützt vor Akkumulation systematischer Fehler.
Wenn das System startet, können die zwei Bildraumvorlagen aus einem oder zwei vorbestimmten Bildern geladen werden. Das eine oder die zwei vorbestimmten Bilder kommen aus einer Datenbank der Werte vom letzten Betrieb des Systems. Die dritte Verfolgungsmodalität verwendet die Pyramide von in dem in 5 gezeigten Prozess erstellten Bildern.
Optional beginnt die Durchsuchung in der kleinsten Ebene, welche das Bild der dritten Ebene 503 ist, unter Verwendung der aktualisierten Vorlage und eines optionalen Suchfensters. Das Suchfenster wird bereitgestellt, wenn das Ergebnis einer früheren Messung ein Gierwinkel mit hohem Vertrauen ist. Ob dieser Schritt auftritt sowie die Größe des Suchfensters kann eingestellt werden, indem die Differenz der Ausgabe der dritten Verfolgungsmodalität relativ zu der ersten und der zweiten Verfolgungsmodalität und/oder relativ zu einem Ergebnis, das durch eine Aggregation des Ergebnisses aller Verfolgungsmodalitäten gebildet wird, berücksichtigt wird.
Das Ergebnis der Durchsuchung des Bilds der dritten Ebene 503 nach der aktualisierten Vorlage ist ein erster Ort in dem Bild der dritten Ebene 503. In allen Schritten der Durchsuchung müssen aufgrund der Verwendung von Polarbildern der Deichsel nur Horizontalverschiebungen berücksichtigt werden.
Die Durchsuchung geht in dem Bild der zweiten Ebene 502 weiter, indem die Referenzvorlage in einem engen Fenster um den entsprechenden Ort in dem Bild der zweiten Ebene 502 herum bis zum ersten Ort in dem Bild der dritten Ebene verwendet wird. Das Ergebnis der stärker fokussierten Durchsuchung des Bilds der zweiten Ebene 502 ist ein zweiter Ort in dem Bild der zweiten Ebene 502.
Der Endprozess misst die Korrelationskoeffizienten des Bilds der ersten Ebene 501 mit der Referenzvorlage an verschiedenen Orten in einer Region. Die Region ist auf den Ort in dem Bild der ersten Ebene 501, der dem zweiten Ort in dem Bild der zweiten Ebene 502 entspricht, zentriert. Sobald die Korrelationskoeffizienten berechnet wurden, wird das Zentrum des Gebiets unter der Korrelationskoeffizientenverteilung bestimmt, um eine zentrale Spitze zu finden, die der dritte Ort ist.
Durch Verarbeiten der Korrelationskoeffizienten auf diese Weise ist der dritte Ort eine Subpixelmessung der Stellung der Deichsel. Somit liefert die zweidimensionale, multiresolute Verfolgung mit normierter Kreuzkorrelation von adaptiven Vorlagen eine dritte Modalität zum Bewerten der Stellung der Deichsel. Der Subpixelpräzisionsschub ermöglicht eine sanfte Bewegungsverfolgung für bessere Fehlerdetektion, wie etwa Bildschwankungen.
Ein optionaler Schritt bei optischer Verfolgung besteht für mindestens eine, bevorzugt für alle Verfolgungsmodalitäten darin, das Vertrauen in die gelieferten Messungen zu schätzen. Da alle optischen Verfolgungsmodalitäten Erstellen eines Diagramms normierter Korrelationskoeffizienten beinhalten, kann das Vertrauen anhand der Form des Korrelationskoeffizientendiagramms geschätzt werden. Bei anderen Ausführungsformen können allerdings andere Übereinstimmungsmetriken verwendet werden.
Der subpixelpräzise Winkel des Zweidimensionaler-Bildraum-Verfolgers kann fehlerkorrigiert werden und dessen Vertrauen kann unter Verwendung der Ergebnisse aus der ersten (Eindimensionaler-Gradientenraum-Verfolgung) und der zweiten (Zweidimensionaler-Gradientenraum-Verfolgung) Verfolgungsmodalität geschätzt werden. Das fehlerkorrigierte subpixelpräzise Ergebnis aus der dritten Modalität wird dann an ein Kombiniermodul weitergegeben. Bei einer bevorzugten Ausführungsform ist das Modul ein Kalman-basiertes-Winkelschätz-Modul bzw. KAES-Modul.
Die Vertrauenswerte von aktuellen und früheren Gierwinkelmessungen steuern, ob und wie häufig die zwei Gradientenraumvorlagen (die Eindimensionaler-Gradientenraum-Vorlage 701 und die Zweidimensionaler-Gradientenraum-Vorlage 801) und die zwei Bildraumvorlagen (aktualisierte Vorlage und Referenzvorlage) aktualisiert werden. Dies ermöglicht exzellente zeitliche Anpassung an sich ändernde Licht- und Hintergrundverhältnisse.
Obgleich die Verwendung eines Polarbilds bequem und leicht zu implementieren ist, würde dem Fachmann nach dem Lesen des Vorstehenden klar sein, dass mathematisch äquivalente Verarbeitung im normalen (kartesischen) Bildraum möglich ist. Beispielsweise ist vertikales Verunschärfen in einem Polarbild äquivalent zu radialem Verunschärfen mit dem Drehpunkt als dem Ursprungspunkt des radialen Verunschärfens. Gleichermaßen ist Horizontalgradientenbewertung im Polarraum äquivalent zu um den Drehpunkt herum berechneten Kreisgradienten.
Zusätzlich zu der oben erläuterten optischen Verfolgung gibt es ein separates kinematisches Verfolgungssystem. Dieses arbeitet in Abhängigkeit davon, ob das Fahrzeug vorwärts oder rückwärts fährt, anders.
Beim Vorwärtsfahren wird der Gierwinkel unter Verwendung eines kinematischen Modells des Fahrzeugs und des Anhängers geschätzt, das mit Odometriedaten von einem an dem Fahrzeug oder dem Anhänger montierten Odometer aktualisiert wird.
Das Schätzen des Gierwinkels ist als eine Referenz für Vorwärtsfahren zuverlässig, wenn systematische Fehler (z. B. Reifendeformation, Reifenschlupf, Fahrzeugträgheit auf Lenkeingaben) berücksichtigt werden. Der geschätzte Gierwinkel wird direkt mit dem Gierwinkel anhand des optischen Verfolgungswinkels und/oder eines zuvor berechneten Gierwinkels verglichen, um ein Vertrauensmaß zu berechnen. Das berechnete Vertrauensmaß skaliert linear mit der tatsächlichen Abweichung von dem jeweiligen Winkel.
Beim Rückwärtsfahren ist der berechnete Winkel, der im Vorwärtsfahrszenario verwendet wird, instabil und sollte somit nicht als Referenz für Vertrauensschätzung verwendet werden. Stattdessen wird die Winkeländerungsrate des Anhängerwinkels als eine Referenz verwendet. Falls der letzte optische Winkel oder ein zuvor berechneter Gierwinkel als korrekt angenommen wird, können die Winkel als ein Ausgangspunkt für das kinematische Modell verwendet werden und die theoretische Winkeländerungsrate kann unter Verwendung der Odometriedaten von der Odometrie berechnet werden. Diese simulierte Rate ist idealerweise mit der gemessenen Winkelrate der Winkel zwischen dem letzten und dem aktuellen Wert identisch.
Um Rauschen zu berücksichtigen, werden die berechneten und die gemessenen Raten aus dem kinematischen Modell und dem optischen Verfolger für 5 bis 10 Rahmen gepuffert. Diese Raten werden mittels sich andauernd auffrischenden Puffern verglichen. Die mittlere gemessene Rate und die mittlere berechnete Rate werden verglichen und die Ratendiskrepanz wird moduliert, um den Winkelfehler zu schätzen und einen Vertrauenswert, der mit dem Winkelfehler für den kinematischen Winkel und den optischen Verfolgungswinkel skaliert, zu ergeben.
Sowohl für Vorwärts- als auch Rückwärtsfahrszenarien ist der mit dem Winkelfehler skalierende Vertrauenswert ein zuverlässiges Maß zum Detektieren und Quantifizieren von Verfolgungsschwierigkeiten.
Bei einer Ausführungsform werden die Informationen von der optischen Verfolgung und der kinematischen Verfolgung in einem Kalman-Winkelschätz-Modul bzw. KAES-Modul 900 kombiniert. Das KAES-Modul kombiniert alle verfügbaren Verfolgungsinformationen und meldet einen kombinierten oder KAES-Winkel zusammen mit einem Vertrauen in den KAES-Winkel. Die Kombination der Gierwinkel wird unter Verwendung eines Kalman-Filters durchgeführt. Das Kalman-Filter verwendet dynamische Gewichte, die durch das Fahrszenario und das Vertrauen dynamisch angepasst werden. Bei einer bevorzugten Ausführungsform ist der Algorithmus, der in dem KAES-Modul implementiert ist, der Folgende: $\dot{φ} = - \frac{v}{l_{t}} \cdot sin (φ) - \frac{v}{l_{f}} \cdot (1 + \frac{l_{n}}{l_{t}} \cdot cos (φ)) \cdot tan (δ_{f})$

φ: Sattelwinkel
φ̇: Sattelwinkelrate
φ_f: Vorderradwinkel
v: Fahrzeuggeschwindigkeit
l_f: Fahrzeugraduntergrund
l_h: Abstand von Hinterachse zu Sattel
l_t: Abstand von Sattel zu Anhängerachse

Ein Beispiel für ein KAES-Modul 900 ist in 9 gezeigt. Das KAES-Modul 900 verwendet ein kinematisches Modell, das zu dem identisch ist, das verwendet wird, wenn Vertrauen in das kinematische Modell geschätzt wird. Für jeden Rahmen wird der interne Zustand unter Verwendung des kinematischen Modells einmal vorhergesagt und dann durch ein Kalman-Filter unter Verwendung des durch optische Verfolgung erhaltenen Gierwinkels aktualisiert.
Die Verfolgervarianz skaliert mit dem Vertrauen, was dabei hilft, den Einfluss geringer Verfolgungsschwierigkeiten zu reduzieren. Ausführlicher gesagt wird beim Vorwärtsfahren die Varianz des durch kinematische Verfolgung vorhergesagten Winkels kleiner als die Varianz des durch optische Verfolgung vorhergesagten Winkels eingestellt. Der durch das KAES-Modul 900 gemeldete kombinierte Gierwinkel wird daher von kinematischer Verfolgung dominiert. Somit können jegliche Schwierigkeiten beim optischen Verfolgen sicher detektiert und korrigiert werden, ohne den ausgegebenen KAES-Winkel zu beeinflussen.
Die Varianz der optischen Verfolgung wird anhand des durch die oben beschriebenen Modelle optischen Verfolgens gemeldeten Vertrauens berechnet. Falls eine Schwierigkeit vorhanden ist, die zu einem Fehler oder einer Ungenauigkeit bei der Ausgabe des optikbasierten Verfolgens führen kann, wird das gemeldete Vertrauen des optischen Verfolgens gering sein, wobei dies unerwünschte Einflüsse oder Verschlechterung des durch das KAES-Modul gemeldeten Gierwinkels verhindern wird.
Beim Rückwärtsfahren wird die Varianz des durch kinematische Verfolgung vorhergesagten Winkels sehr viel größer als die Varianz des durch optische Verfolgung vorhergesagten Winkels eingestellt. Der durch das KAES-Modul gemeldete Gierwinkel wird daher in diesem Fall von optischer Verfolgung dominiert.
Das KAES-Modul kombiniert somit akkurat die Ergebnisse aus den Verfolgungsverfahren, bietet Einzelrahmeninitialisierung und -abruf und bietet eine hochrobuste und präzise Gierwinkelverfolgungslösung mit hoher Verfügbarkeit.
10 stellt eine schematische Zusammenfassung einer Ausführungsform der Erfindung dar. Zusammenfassend kombinieren die Ausführungsformen der vorliegenden Erfindung multimodale optische Verfolgung für Fehlerrobustheit mit kinematischer Verfolgung unter Verwendung eines Kalman-Filters für Redundanz und dadurch verbesserte Robustheit.
Durch optisches Verfolgen einer Deichsel auf die oben erläuterte Weise wird eine universelle Verfolgungslösung präsentiert, da alle Anhänger über ein verfolgbares Merkmal verfügen müssen. Da das KAES-Modul die Gewichtung in der Kombination der optischen und kinematischen Verfolgung anpasst, werden alle verfügbaren Verfolgungsinformationen optimal genutzt.
Ein beispielhafter Anwendungsfall ist das Fahren eines Autos mit einem angehängten Anhänger. Rückwärtiges Manövrieren mit einem angehängten Anhänger kann selbst für erfahrene Fahrer eine Herausforderung darstellen. Um den Fahrer zu unterstützen, ist es möglich einige Assistenzfunktionalitäten oder sogar autonomes Fahren zu nutzen. Eine entscheidende Bedingung für solche Funktionalitäten ist Kenntnis des exakten Gierwinkels. Andauernde Fehler von bestimmten Gierwinkeln können aus Sicherheitsgründen zu einer Deaktivierung von Anhängeassistenzfunktionalitäten führen. Somit garantiert genaue robuste Kenntnis des Gierwinkels optimale Verfügbarkeit von Anhängeassistenzfunktionalitäten.
Die beschriebenen Verfahren können Fahrzeugfahrern auch dabei helfen, Vertrauen in einen angezeigten Gierwinkel zu haben. Das bedeutet beispielsweise, dass ein Autofahrer, der über eine im Innern des Autos montierte Anzeigevorrichtung einen Anhängergierwinkel anschaut, den angezeigten Gierwinkel nicht physisch bestätigen muss, indem er aussteigt, um zu prüfen, in welche Richtung der Anhänger zeigt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/153915 [0005]
US 2018/0253608 [0006]

Claims

Verfahren zum Liefern eines Kopplungswinkels, der den Gierwinkel (105a) zwischen einem ersten Fahrzeug (110) gekoppelt mit einem zweiten Fahrzeug (100) definiert, Folgendes umfassend: Empfangen eines Bilds von mindestens einem Teil des ersten Fahrzeugs von einer Kamera (101), die auf dem zweiten Fahrzeug montiert ist, wobei das Bild eine Matrix von Intensitätswerten umfasst; Durchführen (210) einer Polartransformation an zumindest einem Teil des Bilds zum Bilden eines Polarbilds (400) in einem Polarraum, der einen Ursprung aufweist, der einem Ort eines Drehpunkts (303) der Kopplung (302) mit dem zweiten Fahrzeug in dem Koordinatenraum des empfangenen Bilds entspricht; Schätzen (230) eines optischen Kopplungswinkels durch Analysieren des Inhalts des Polarbilds; Empfangen eines Signals von einem Odometer (102), das an dem ersten oder dem zweiten Fahrzeug montiert ist; Schätzen eines kinematischen Kopplungswinkels anhand des Signals und eines kinematischen Modells des ersten Fahrzeugs und des angekoppelten zweiten Fahrzeugs; Kombinieren des geschätzten optischen Kopplungswinkels und des geschätzten kinematischen Kopplungswinkels, um den Kopplungswinkel zu liefern; und Melden des Kopplungswinkels.
Verfahren nach Anspruch 1, wobei: der geschätzte optische Kopplungswinkel einen optischen Kopplungswinkel und ein Vertrauensniveau für den optischen Kopplungswinkel umfasst; der geschätzte kinematische Kopplungswinkel einen kinematischen Kopplungswinkel und ein Vertrauensniveau für den kinematischen Kopplungswinkel umfasst; und das Kombinieren ferner ein Vertrauen für den Kopplungswinkel liefert, und das Verfahren ferner Melden des Vertrauens in den Kopplungswinkel umfasst.
Verfahren nach Anspruch 2, wobei Kombinieren des geschätzten optischen Kopplungswinkels und des geschätzten kinematischen Kopplungswinkels Anpassen der Kombination zum Berücksichtigen von Faktoren umfasst, die die Folgenden beinhalten: das Vertrauen für den optischen Kopplungswinkel; das Vertrauen für den kinematischen Kopplungswinkel; und die Bewegung des ersten oder des zweiten Fahrzeugs.
Verfahren nach Anspruch 3, wobei die Bewegung des ersten oder des zweiten Fahrzeugs umfasst, ob das zweite Fahrzeug in einer Vorwärtsrichtung (Fr) von dem ersten Fahrzeug weg fährt.
Verfahren nach Anspruch 1, wobei Verarbeiten des Polarbilds Folgendes umfasst: Bestimmen mehrerer Schätzungen für den optischen Kopplungswinkel durch Verorten jeweiliger mehrerer Vorlagen (D, F) in dem Polarbildinhalt; und Kombinieren der mehreren Schätzungen für den optischen Kopplungswinkel in dem geschätzten optischen Kopplungswinkel.
Verfahren nach Anspruch 5, wobei Analysieren des Polarbildinhalts ferner Aktualisieren von mindestens einer der jeweiligen mehreren Vorlagen beinhaltet.
Verfahren nach Anspruch 5 oder 6, wobei Bestimmen mehrerer Schätzungen für den optischen Kopplungswinkel durch Verorten jeweiliger mehrerer Vorlagen in dem Polarbildinhalt Folgendes umfasst: Bilden (231) einer Eindimensionaler-Gradientenraum-Repräsentation (701) aus dem Polarbildinhalt; Bilden (232) einer Zweidimensionaler-Gradientenraum-Repräsentation aus dem Polarbildinhalt; Bestimmen einer Schätzung für einen ersten optischen Kopplungswinkel durch Korrelieren einer Eindimensionaler-Gradientenraum-Vorlage und der Eindimensionaler-Gradientenraum-Repräsentation aus dem Polarbildinhalt; Bestimmen einer Schätzung für einen zweiten optischen Kopplungswinkel durch Korrelieren einer Zweidimensionaler-Gradientenraum-Vorlage und der Zweidimensionaler-Gradientenraum-Repräsentation aus dem Polarbildinhalt; und Bestimmen (233) einer Schätzung für einen dritten optischen Kopplungswinkel durch Korrelieren einer Bildvorlage mit dem Polarbild.
Verfahren nach Anspruch 7, wobei Bilden einer Gradientenraum-Repräsentation aus dem Polarbildinhalt Folgendes umfasst: Verunschärfen (610) des Polarbilds in einer ersten Richtung, die mit einem Verbinder zwischen dem ersten und dem zweiten Fahrzeug ausgerichtet ist; und Berechnen (620) eines Gradientenbilds in einer zweiten Richtung senkrecht zur ersten Richtung.
Verfahren nach Anspruch 8, wobei Bilden einer Eindimensionaler-Gradientenraum-Repräsentation aus dem Polarbildinhalt Folgendes umfasst: Verunschärfen (630) des Gradientenbilds in der zweiten Richtung; und Berechnen (640) eines Linienprofils von Mittelwerten in der ersten Richtung.
Verfahren nach Anspruch 7, wobei Korrelieren einer Bildvorlage mit dem Polarbild Folgendes umfasst: Erhalten eines ersten Vorlagenbilds und eines zweiten Vorlagenbilds; Durchsuchen zumindest eines Abschnitts eines runterskalierten Polarbilds (503), um einen übereinstimmenden Ort für das erste Vorlagenbild zu finden; Definieren einer übereinstimmenden Region eines runterskalierten Polarbilds (502), das den übereinstimmenden Ort umfasst, wobei die Suchregion kleiner als der Abschnitt des Polarbilds ist, Korrelieren des zweiten Vorlagenbilds mit dem Polarbild (501) in der übereinstimmenden Region, um eine Korrelationskoeffizientenverteilung zu bilden; Identifizieren eines präzisen Übereinstimmungsorts durch Bestimmen des Zentrums des Gebiets unter der Korrelationskoeffizientenverteilung; und Bestimmen der Schätzung des dritten optischen Kopplungswinkels aus dem präzise übereinstimmenden Ort.
Verfahren nach Anspruch 10, umfassend: Aktualisieren (260) des Inhalts des ersten Vorlagenbilds mit einer ersten Frequenz; und Aktualisieren des Inhalts des zweiten Vorlagenbilds mit einer zweiten Frequenz; wobei die erste Frequenz höher als die zweite Frequenz ist.
Verfahren nach Anspruch 11, wobei Kombinieren des geschätzten optischen Kopplungswinkels und des geschätzten kinematischen Kopplungswinkels zum Liefern des Kopplungswinkels Folgendes umfasst: Übermitteln eines geschätzten optischen Kopplungswinkels an ein Modul; Übermitteln eines geschätzten kinematischen Kopplungswinkels an das Modul; Zuweisen von Gewichten an die übermittelten Kopplungswinkel und Kombinieren der gewichteten geschätzten Kopplungswinkel; und Ausgeben einer kombinierten Kopplung als den Kopplungswinkel.
Verfahren nach Anspruch 12, wobei das Übermitteln von Kopplungswinkeln mit jeweils einem verknüpften Vertrauensniveau und dem jedem übermittelten Kopplungswinkel zugewiesenen Gewicht unter Berücksichtigung des Folgenden mit einem Kalman-Filter zugewiesen werden: dem Vertrauensniveau des berücksichtigten Kopplungswinkels; und ob das zweite Fahrzeug in einer Vorwärtsrichtung (Fr) fährt.
Modul für ein Fahrzeug (100), ausgelegt zum Bestimmen eines Gierwinkels (105a) zwischen dem Fahrzeug (100) und einem angekoppelten Fahrzeug (110), wobei das Modul nach einem der vorhergehenden Ansprüche arbeitet.
Computerprogrammprodukt, das computerlesbare Anweisungen auf einem computerlesbaren Medium gespeichert hat, die, wenn sie in einem Modul eines Fahrzeugs ausgeführt werden, ausgelegt sind zum Durchführen der Schritte nach einem der Ansprüche 1 bis 13.