-
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger bzw. Auflieger der Zugmaschine. Die Erfindung betrifft ferner eine Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger der Zugmaschine. Weiterhin betrifft die Erfindung ein Computerprogrammprodukt mit Programmcodemitteln zum Ausführen des Verfahrens.
-
Stand der Technik
-
Um eine Trajektorie eines Lastkraftwagens inklusive eines oder mehrerer Anhänger bzw. Auflieger zu beschreiben, ist ein Bewegungsmodell für LKW-Züge mit einem oder mehreren Anhängern bzw. Aufliegern erforderlich. Dies wird herkömmlich durch eine Schätzung des Winkels zwischen der Zugmaschine und dem Anhänger angenähert und auf Basis eines mathematischen Modells geschätzt. Durch diese Schätzung entstehen allerdings Unsicherheiten, die zu einem Fehler im Bewegungsmodell führen können.
-
Offenbarung der Erfindung
-
Eine Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Ermitteln eines Winkels zwischen einem Zugfahrzeug und einem Anhänger des Zugfahrzeugs bereitzustellen.
-
Gemäß einem ersten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger der Zugmaschine, mit den Schritten:
- - zeitlich nacheinander durchgeführtes Ermitteln von Kamerabildern mittels wenigstens einer an der Zugmaschine angeordneten, nach rückwärts gerichteten Kamera;
- - Erkennen von Strukturen des Anhängers in den Kamerabildern; und
- - Ermitteln des Betriebswinkels durch Auswerten der erfassten Strukturen in den Kamerabildern.
-
Nachdem der Betriebswinkel stark in das Eigenbewegungsmodell des Fahrzeugs, z.B. des Lastkraftwagens eingeht, ist eine korrekte Ermittlung des Betriebswinkels von hoher Bedeutung. Bei einer Falschermittlung des Betriebswinkels können sich Unsicherheiten des Betriebswinkels durch Fehlerquadrate nachteilig noch weiter erhöhen. Im Ergebnis ist durch die vorgeschlagene Ermittlung des Betriebswinkels eine verbesserte Erstellung des aktuellen Eigenbewegungsmodells des Fahrzeugs unterstützt.
-
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einer Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger der Zugmaschine, aufweisend:
- - eine Erfassungseinrichtung zum Erfassen wenigstens zweier zeitlich nacheinander ermittelten Kamerabilder mittels wenigstens einer an der Zugmaschine angeordneten, nach rückwärts gerichteten Kamera; und
- - eine funktional mit der Erfassungseinrichtung verbundene Ermittlungseinrichtung zum Ermitteln des Betriebswinkels durch Auswerten von erfassten Strukturen in den Kamerabildern.
-
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computerprogrammprodukt mit Programmcodemitteln, welche auf einem vorgeschlagenen System ausgeführt werden oder auf einem computerlesbaren Speichermedium gespeichert sind. Vorteilhaft kann auf diese Weise das Verfahren als Software ausgebildet werden und dadurch auf einfache und effiziente Weise abgeändert und adaptiert werden.
-
Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) aus den Kamerabildern Flussvektoren eines optischen Flusses gebildet werden, wobei in zeitlich aufeinanderfolgenden Kamerabildern ähnliche Strukturen ermittelt werden. Dabei werden übereinstimmende Elemente in Kamerabildern ermittelt, aus denen der Betriebswinkel ermittelt wird.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für den optischen Fluss eine Abbildung einer Hinterkante des Anhängers erfasst wird. Vorteilhaft ist dies mit sogenannten „Kantenalgorithmen“ auf einfache Weise möglich. Alternativ können über den optischen Fluss auch andere übereinstimmende Strukturen in Kamerabildern, wie z.B. Flächen des Anhängers ermittelt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) zum Erkennen der Strukturen des Anhängers in den Kamerabildern eine Disparität von Bildelementen der Kamerabilder ermittelt wird. Bei dieser Variante wird eine Kamera in Form einer Stereokamera eingesetzt, für die ein Basisabstand der beiden Linsen bekannt ist. Systembedingt ergibt sich dadurch eine leichte Verschiebung der beiden mit den unterschiedlichen Linsen aufgenommenen Kamerabilder, wobei über eine Triangulation ein Abstand zum bildlich erfassten Objekt gemessen wird. Auf diese Weise kann durch eine Ermittlung eines veränderten Abstands auf den Betriebswinkel geschlossen werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) zum Erkennen der Strukturen des Anhängers in den Kamerabildern eine Bilddatensegmentation der Kamerabilder durchgeführt wird, wobei über eine Zählung von Bildpixel eine Größe und/oder Länge des Anhängers ermittelt wird. Auf diese Weise wird vorteilhaft eine alternative Methode zum Erkennen von Strukturen in den Kamerabildern bereitgestellt.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Erkennen von Strukturen des Anhängers in den Kamerabildern eine Klassifikation der erkannten Strukturen und/oder ein neuronales Netzwerk trainiert wird. Auch auf diese Weise wird eine alternative Methode zum Erkennen von Strukturen in den Kamerabildern bereitgestellt.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass beim Ermitteln des Betriebswinkels durch Auswerten der erfassten Strukturen in den Kamerabildern eine Mittelwertberechnung durchgeführt wird. Auf diese Weise wird eine Art Konfidenz-Schätzung realisiert, wobei die Genauigkeit des ermittelten Betriebswinkels umso höher ist, je mehr der vorgeschlagenen Methoden zur Erkennung der Strukturen in den Kamerabildern verwendet werden. Sinnvollerweise werden wenigstens zwei unterschiedliche Methoden zur Ermittlung der Strukturen verwendet.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für die Ermittlung des Betriebswinkels wenigstens einer der folgenden Parameter des Fahrzeugs verwendet wird: Anhängerlänge, Anhängerhöhe, Höhe der Ladefläche des Anhängers, Geschwindigkeit der Zugmaschine, Gierrate der Zugmaschine. Auf diese Weise kann durch eine Berücksichtigung weiterer Parameter des Fahrzeugs der Betriebswinkel noch genauer ermittelt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wenigstens einer der folgenden Betriebswinkel ermittelt wird: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel. Vorteilhaft lassen sich mit vorgeschlagenen Verfahrens mit unterschiedliche Arten von Betriebswinkel zwischen Zugmaschine und Anhänger ermitteln, die alle jeweils unterschiedliche Betriebszustände bzw. geometrische Ausrichtungen von Zugmaschine und Anhänger repräsentieren.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei in Schritt b) die Kamerabilder mittels einer oder mittels zweier Kameras aufgenommen werden. Vorteilhaft kann unter Verwendung zweier Kameras die Ermittlung des Betriebswinkels noch genauer durchgeführt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei der ermittelte Betriebswinkel zum Erstellen eines Eigenbewegungsmodells des Lastkraftfahrzeugs verwendet wird. Das Eigenbewegungsmodell stellt eine wichtige Eingangsgröße für diverse Fahrerassistenzsysteme dar und profitiert somit von der genauen Ermittlung des Betriebswinkels. Im Ergebnis ist dadurch in Abhängigkeit des ermittelten Betriebswinkels eine verbesserte Betriebscharakteristik der Fahrerassistenzsysteme unterstützt.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt. Die Figuren sind dabei nicht unbedingt maßstabsgetreu ausgeführt.
-
Figurenliste
-
In den begleitenden Figuren zeigt:
- 1 eine prinzipielle Draufsicht auf einen Lastkraftwagen mit einer Zugmaschine und einem Anhänger;
- 2 ein Systemdiagramm mit einer Darstellung eines vorgeschlagenen Verfahrens zum Erfassen eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger des Lastkraftwagens;
- 3 ein prinzipielles Blockschaltbild einer Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger eines Lastkraftwagens; und
- 4 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger eines Lastkraftwagens.
-
Ausführungsformen der Erfindung
-
Herkömmlich ist an Anhängern bzw. Aufliegern von Lastkraftwagen kaum Sensorik zur Erfassung von Eigenbewegungen der Anhänger angebracht. Da eine Zugmaschine im täglichen Normalbetrieb mit vielen verschiedenen Anhängern bzw. Aufliegern fährt, ist ein Nachrüsten mit der genannten Sensorik aufwendig und insbesondere ökonomisch nicht sinnvoll. Auch in der Zugmaschine selbst lässt sich mit der bestehenden Sensorik (z.B. Sensorik für ESP) eine Fahrdynamik des Anhängers bzw. Aufliegers nicht erfassen.
-
Vorgeschlagen wird ein Einsatz wenigstens einer, vorzugsweise zweier oder mehrerer rückwärts gerichteten Kameras an der Zugmaschine, wodurch das rückwärtige Umfeld der Zugmaschine inklusive Anhänger bildlich bzw. mit zeitlich nacheinander abfolgenden Bildsequenzen („Videobild“) erfasst wird. Je nach Betriebswinkel zwischen der Zugmaschine und dem Anhänger bzw. dem Auflieger bzw. der Anhängerkombination, befindet sich ein Teil des Anhängers bzw. des Aufliegers bzw. der Anhängerkombination im Kamerabild, wodurch es möglich wird, den Knickwinkel (d.h. den Winkel zwischen der Zugmaschine und dem Anhänger) anhand der Pixelzahl zu ermitteln. Mittels des derart ermittelten Knickwinkels kann ein Eigenbewegungsmodell des Fahrzeugs, z.B. des Lastkraftwagens vorteilhaft deutlich genauer ermittelt werden.
-
Zudem kann durch eine Erfassung der Verschiebung der Hinterkante des Anhängers auch ein anderer Betriebswinkel in Form eines Rollwinkels abgeschätzt werden, wodurch ein Schlingern des Anhängers frühzeitig erkannt und geeignete Gegenmaßnahmen (z.B. assistenzgesteuerte Brems- und/oder Lenkmanöver) eingeleitet werden können. Auch dieser wird zur Modellierung der Eigenbewegung des Fahrzeugs benötigt.
-
Vorteilhaft kann mit dem vorgeschlagenen Verfahren wenigstens einer der folgenden Betriebswinkel a ermittelt werden: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel.
-
Weiterhin ist es mit dem vorgeschlagenen Verfahren vorteilhaft auch möglich, durch Detektion der Verschiebung von Objekten im Bild die Winkelraten (d.h. zeitliche Änderungen der genannten unterschiedlichen Betriebswinkel) der Eigenbewegung des Anhängers bzw. Aufliegers zu schätzen.
-
Im Ergebnis ist dadurch die Möglichkeit bereitgestellt, durch den Einsatz einer rückwärts gerichteten Kamera eine Messung des Knick- und Wankwinkels durchzuführen, der bei Abbiege-, Rangier-, und Manövriervorgängen, bei Spurwechseln, Aus- und Einschervorgängen als auch bei möglichen Schlinger- oder Kippgefahren eine Rolle spielt, um die Eigenbewegung des gesamten Fahrzeugs zu prädizieren.
-
1 zeigt eine prinzipielle Draufsicht auf ein Fahrzeug 100 mit einer Zugmaschine 10 und einem mit der Zugmaschine 10 verbundenen Anhänger 20. Das Fahrzeug 100 kann z.B. als ein Lastkraftfahrzeug oder als ein anderes Fahrzeug mit Anhänger (z.B. Personenkraftfahrzeug mit einem Campinganhänger, usw.) ausgebildet sein. Man erkennt, dass an beiden Seiten der Zugmaschine 10 jeweils eine rückwärtsgerichtete Kamera 11, 12 angebracht ist. Die Kameras 11, 12 können beispielsweise im Umfeld der Rückspiegel (nicht dargestellt) oder auch im vorderen oder hinteren Teil der Zugmaschine 10 angeordnet sein, wodurch die Kameras 11, 12 im Betrieb des Fahrzeugs 100 immer einen Schwenkbereich des Anhängers 20 im Blickfeld haben. Ist der Anhänger 20 aufgrund einer Kurvenfahrt des Fahrzeugs 100 in einer Kamera 11, 12 nicht sichtbar, wird dazu entsprechend die jeweils andere Kamera 11, 12 verwendet. Die Kamera 11, 12 detektiert dabei insbesondere eine Hinterkante 21, 22 des Anhängers 20 als 2D-Koordinaten im Einzelbild basierend auf weiter unten näher angegebenen Möglichkeiten.
-
Mittels einer Parametrierung von technischen Anhängerdaten (z.B. Länge, Höhe des Laderaums, Höhe des Laderaums über dem Boden, usw.) wird die Position der Hinterkante 21, 22 in einem Fahrzeugkoordinatensystem berechnet. Die Länge und Höhe des Laderaums kann auch mittels bestehender Methoden der Oberflächenschätzung von selbst bestimmt werden.
-
Um eine Robustheit der Positionsschätzung der Hinterkante 21, 22 zu verbessern und Fehlererkennungen auf ähnlichen Strukturen (z.B. Laternenpfahl, Verkehrsschild, oder dergleichen) zu vermeiden, kann optional ein Filter (z.B. Extended-Kalman-Filter oder dergleichen) verwendet werden. Dieser prädiziert anhand der Fahrzeugdynamik und vorangegangener Messungen, wie sich der Anhänger 20 bewegt und verwendet dies für die Messung des Betriebswinkels a.
-
Die gefilterten Messungen von linker und rechter Kamera 11, 12 werden in einem zentralen Steuergerät 13 oder in einer der Kameras 11, 12 kombiniert. Knick- und Wankwinkel werden verwendet, um die Trajektorie des Anhängers 20 zu bestimmen. Darauf basierend kann die gesamte Trajektorie des gesamten Fahrzeugs 100, unter anderem z.B. auch die Schleppkurve modelliert werden. Dies kann zur lateralen Steuerung des Fahrzeugs 100 im Rahmen von bestehenden Systemen verwendet werden, wie zum Beispiel Spurhalteassistenten oder im Bereich des automatisierten Fahrens.
-
Die oben genannte bildliche Detektion der Hinterkanten 21, 22 des Anhängers kann auf unterschiedliche Weisen realisiert werden, die nachfolgend näher erläutert werden.
-
Erste Möglichkeit: optischer Fluss
-
Dabei wird aus zeitlich aufeinanderfolgenden Kamerabildern (Bildsequenzen oder Videobildern) der Kameras 11, 12 mittels gängiger Verfahren ein optischer Fluss bzw. ein Flussvektor aus den Kamerabildern ermittelt. Da sich der Anhänger 20 im Gegensatz zur Umgebung während der Fahrt kaum bewegt, separiert das Flussfeld des optischen Flusses den Anhänger 20 von der Umgebung, wodurch die Hinterkante 21, 22 des Anhängers bildlich erkannt werden kann.
-
Zweite Möglichkeit: Disparitätsschätzung
-
Durch die Verwendung einer als Stereokamera ausgebildeten Kamera 11, 12 kann für jeden Pixel mittels einer Disparitätsschätzung eine Tiefeninformation ermittelt werden. Dadurch kann mittels Triangulation die Fläche des Anhängers 20 oder andere Strukturen des Anhängers 20 vom Hintergrund separiert werden.
-
Dritte Möglichkeit: Bilddatensegmentation
-
Im Falle, dass das mittels der Kamera 11, 12 ermittelte Bild selbst verwendet wird, kann unter Verwendung von Klassifikationen oder eines neuronalen Netzwerks die Hinterkante 21, 22 bzw. eine Fläche des Anhängers 20 durch die Detektion der Hinterkante 21, 22 bestimmt werden. Dies ist möglich, da die Anhängerfläche sich als eine homogene Fläche von der restlichen Umgebung separieren lässt. Da sich die Anhängerfläche in einem vorhersagbaren Raum befindet, ist es möglich, dies ressourcenschonend zu ermitteln.
-
Alle drei genannten Varianten verwenden verschiedene Grundannahmen zur Kantenerkennung, weshalb sie einzeln oder auch kombiniert eingesetzt werden können, um dadurch die Robustheit der bildlichen Erkennung der Hinterkante 21, 22 zu steigern. Bei einer Anhängerkombination (nicht in Figuren dargestellt) können auch mehrere Hinterkanten detektiert werden.
-
Vorteilhaft kann das Erkennen von Strukturen in den Kamerabildsequenzen, insbesondere von Kanten mittels eines Extended Kalman Filters durchgeführt werden.
-
Bei Dämmerung oder Nacht kann zudem anstatt der Detektion der Hinterkante 21, 22 auf eine Erkennung von Anhänger- bzw. Trailerlichtern (nicht dargestellt) des Anhängers 20 abgestellt werden, um die Umrisse des Anhängers 20 und die Hinterkante 21, 22 bildlich zu detektieren.
-
2 zeigt ein prinzipielles Systembild des vorgeschlagenen Verfahrens zum Ermitteln eines Betriebswinkels a zwischen Anhänger 20 und Zugmaschine 10 eines Fahrzeugs 100.
-
In einem Schritt 200 wird ein Video- bzw. ein Kamerabild bzw. eine Kamerabildsequenz mittels wenigstens einer, auf der Zugmaschine 10 rückwärtsgerichtet angeordneten Kamera 11, 12 ermittelt. In einem Schritt 210 wird die Kantenerkennung auf eine oder auch mehrere der oben erläuterten Art und Weisen durchgeführt. In einem Schritt 220 wird ein mathematischer Algorithmus durchgeführt, der den Betriebswinkel a zwischen der Zugmaschine 10 und dem Anhänger 20 ermittelt. Optional kann zur Ermittlung des Betriebswinkels a noch in Schritt 230 eine Anhängerhöhe, Anhängerlänge, Höhe der Ladefläche des Anhängers 20, usw. als zusätzliche Parameter verwendet werden. Optional kann in einem Schritt 240 ferner auch eine Eigenbewegung des Fahrzeugs 100, z.B. eine Geschwindigkeit, Gierrate, usw. für die Berechnung des Betriebswinkels a verwendet werden.
Der Betriebswinkel a wird als Ergebnis von Schritt 220 einer lateralen Steuerung des Fahrzeugs 100 zugeführt, die zu einer lateralen Steuerung des Fahrzeugs 100 verwendet wird. Dabei wird der Betriebswinkel a vorzugsweise für die Ermittlung eines Eigenbewegungsmodells des Fahrzeugs 100 verwendet.
-
3 zeigt ein stark vereinfachtes Blockschaltbild einer Vorrichtung 400 zum Ermitteln eines Winkels a zwischen Zugmaschine 10 und einem Anhänger 20 der Zugmaschine 10. Man erkennt eine Erfassungseinrichtung 310 zum Erfassen eines rückwärtigen Umfelds der Zugmaschine 10 mittels wenigstens einer rückwärts gerichteten Kamera 11, 12. Funktional mit der Erfassungseinrichtung 310 verbunden ist eine Ermittlungseinrichtung 320, die den Betriebswinkel a auf eine und/oder mehrere der oben genannten Art und Weisen ermittelt.
-
Die Ermittlungseinrichtung 320 ist vorzugsweise als ein Computerprogrammprodukt ausgebildet, das auf einem Steuergerät 13 der Zugmaschine 10 abläuft. Optional kann das Steuergerät aber auch dezentral und getrennt vom Fahrzeug 100 cloudbasiert ausgebildet sein, wobei die Ermittlung des Betriebswinkels a mittels des dezentralen Steuergeräts durchgeführt wird und die Übertragung des Betriebswinkels a auf das Fahrzeug 100 mittels einer hochleistungsfähigen drahtlosen Funkverbindung (nicht dargestellt) realisiert wird.
-
4 zeigt einen prinzipiellen Ablauf eines Verfahrens Verfahren zum Ermitteln eines Betriebswinkels a zwischen einer Zugmaschine 10 und einem Anhänger 20 der Zugmaschine 10.
-
In einem Schritt 500 wird ein zeitlich nacheinander durchgeführtes Ermitteln von Kamerabildern mittels wenigstens einer an der Zugmaschine 10 angeordneten, nach rückwärts gerichteten Kamera 11, 12 durchgeführt.
-
In einem Schritt 510 wird ein Erkennen von Strukturen des Anhängers 20 in den Kamerabildern durchgeführt.
-
In einem Schritt 520 wird ein Ermitteln des Betriebswinkels a durch Auswerten der erfassten Strukturen in den Kamerabildern durchgeführt.
-
Der Fachmann wird bei der Umsetzung der Erfindung auch vorgehend nicht erläuterte Ausführungsformen realisieren.
