EP3970116A1 - Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine - Google Patents

Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine

Info

Publication number
EP3970116A1
EP3970116A1 EP20723023.6A EP20723023A EP3970116A1 EP 3970116 A1 EP3970116 A1 EP 3970116A1 EP 20723023 A EP20723023 A EP 20723023A EP 3970116 A1 EP3970116 A1 EP 3970116A1
Authority
EP
European Patent Office
Prior art keywords
trailer
tractor
camera images
operating angle
structures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20723023.6A
Other languages
English (en)
French (fr)
Inventor
Uwe MAEHNERT
Jerg Pfeil
Martin GOTH
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3970116A1 publication Critical patent/EP3970116A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for determining an operating angle between a tractor and a trailer or semitrailer of the tractor.
  • the invention also relates to a device for determining an operating angle between a tractor and a trailer of the Switzerlandma machine.
  • the invention also relates to a computer program product with program code means for carrying out the method.
  • a movement model for truck trains with one or more trailers or semitrailers is required. This is conventionally approximated by estimating the angle between the tractor and the trailer and estimated on the basis of a mathematical model. However, this estimate gives rise to uncertainties that can lead to an error in the movement model.
  • One object of the invention is to provide an improved method for determining an angle between a towing vehicle and a trailer of the
  • the object is achieved with a method for determining an operating angle between a tractor and a
  • the proposed determination of the operating angle supports an improved creation of the current eigenbe movement model of the vehicle.
  • a device for determining an operating angle between a tractor and a trailer of the tractor comprising:
  • a capture device for capturing at least two temporally successively determined camera images by means of at least one rearward-facing camera arranged on the tractor; and a determination device, functionally connected to the detection device, for determining the operating angle by evaluating recorded structures in the camera images.
  • the object is achieved with a computer program product with program code means which are executed on a proposed system or are stored on a computer-readable storage medium.
  • the method can advantageously be designed as software and thereby modified and adapted in a simple and efficient manner.
  • step b) flow vectors of an optical flow are formed from the camera images, similar structures being determined in temporally successive camera images. Corresponding elements are determined in camera images, from which the operating angle is determined.
  • Another advantageous development of the method provides that an image of a trailing edge of the trailer is recorded for the optical flow. This is advantageously possible in a simple manner using so-called “edge algorithms”. Alternatively, other matching structures in camera images, such as surfaces of the trailer, can also be determined via the optical flow.
  • a further advantageous development of the method provides that in step b) a disparity of image elements of the camera images is determined in order to recognize the structures of the trailer in the camera images.
  • a camera in the form of a stereo camera is used, for which a Basisab was the two lenses is known.
  • a Basisab was the two lenses is known.
  • a further advantageous development of the method provides that image data segmentation of the camera images is carried out in step b) to identify the structures of the trailer in the camera images, with a size and / or length of the trailer being determined by counting image pixels. In this way, an alternative method for recognizing structures in the camera images is advantageously provided.
  • Another advantageous development of the method provides that the recognition of structures of the trailer in the camera images, a classification of the recognized structures and / or a neural network is trained. In this way, too, an alternative method for recognizing structures in the camera images is provided.
  • Another advantageous development of the method provides that when determining the operating angle by evaluating the recorded structures in the camera images, a mean value calculation is carried out. In this way, a type of confidence estimate is realized, the accuracy of the operating angle determined being higher, the more of the proposed methods can be used to recognize the structures in the camera images. It makes sense to use at least two different methods to determine the structures.
  • Another advantageous development of the method provides that at least one of the following vehicle parameters is used to determine the operating angle: trailer length, trailer height, height of the loading area of the trailer, speed of the tractor, yaw rate of the tractor. In this way, the operating angle can be determined even more precisely by taking additional parameters of the vehicle into account.
  • Another advantageous development of the method provides that at least one of the following operating angles is determined: roll angle, pull angle, roll angle, kink angle.
  • different types of operating angles between the tractor and trailer can advantageously be determined, all of which represent different operating states or geometrical orientations of the tractor and trailer.
  • step b) the camera images are recorded using one or two cameras.
  • the operating angle can advantageously be determined even more precisely using two cameras.
  • the determined operating angle is used to create a vehicle's own movement model of the load.
  • the own movement model represents an important input variable for various driver assistance systems and thus benefits from the precise determination of the operating angle.
  • an improved operating characteristic of the driver assistance systems is supported as a function of the operating angle determined.
  • Fig. 1 is a basic plan view of a truck with a train
  • Fig. 2 is a system diagram showing a proposed one
  • FIG. 3 shows a basic block diagram of a device for determining an operating angle between a tractor and a trailer of a truck
  • a different operating angle can be estimated in the form of a roll angle, whereby a swaying of the trailer can be recognized early and suitable countermeasures (e.g. assistance-controlled braking and / or steering maneuvers) can be initiated. This is also required to model the vehicle's own movement.
  • suitable countermeasures e.g. assistance-controlled braking and / or steering maneuvers
  • At least one of the following operating angles a can advantageously be determined: roll angle, pull angle, roll angle, kink angle.
  • the possibility is provided by using a rearward-facing camera to measure the kink and roll angle that occurs during turning, maneuvering and maneuvering processes, when changing lanes, opening and reeving processes as well as in the event of possible rolling or tipping hazards Plays a role in predicting the proper movement of the entire vehicle.
  • Fig. 1 shows a basic top view of a vehicle 100 with a tractor 10 and a trailer 20 connected to the tractor 10.
  • the vehicle 100 can be used, for example, as a truck or as another vehicle with a trailer (e.g. a passenger vehicle with a camping trailer, etc.) .) be trained.
  • a rearward-facing camera 11, 12 is attached to both sides of the tractor 10.
  • the cameras 11, 12 can be arranged, for example, in the vicinity of the rearview mirror (not shown) or in the front or rear part of the tractor 10, so that the cameras 11, 12 always have a pivoting range of the trailer 20 in view when the vehicle 100 is in operation. If the trailer 20 is not in a camera 11, 12 because the vehicle 100 is cornering visible, the respective other camera 11, 12 is used accordingly.
  • the camera 11, 12 detects, in particular, a rear edge 21, 22 of the trailer 20 as 2D coordinates in the single image based on the options specified below.
  • the position of the rear edge 21, 22 is calculated in a vehicle coordinate system.
  • the length and height of the hold can also be determined automatically using existing surface estimation methods.
  • a filter e.g. extended Kalman filter or the like
  • this predicts how the trailer 20 is moving and uses this to measure the operating angle a.
  • the filtered measurements from the left and right cameras 11, 12 are combined in a central control device 13 or in one of the cameras 11, 12. Knuckle and roll angles are used to determine the trajectory of the trailer 20 to be. Based on this, the entire trajectory of the entire vehicle 100, e.g. the drag curve can also be modeled. This can be used for the lateral control of the vehicle 100 within the framework of existing systems, such as, for example, lane departure warning systems or in the area of automated driving.
  • an optical flow or a flow vector is determined from the camera images from temporally successive camera images (image sequences or video images) from the cameras 11, 12 using common methods. Since the trailer 20 hardly moves in contrast to the surroundings while driving, separated the flow field of the optical flow the trailer 20 from the environment, where can be visually recognized through the rear edge 21, 22 of the trailer.
  • depth information can be determined for each pixel by means of a disparity estimate.
  • the surface of the trailer 20 or other structures of the trailer 20 can be separated from the background by means of triangulation.
  • the trailing edge 21, 22 or an area of the trailer 20 can be determined by detecting the trailing edge 21, 22 using classifications or a neural network. This is possible because the trailer area can be separated from the rest of the environment as a homogeneous area. Since the trailer area is located in a predictable space, it is possible to determine this in a way that conserves resources.
  • Structures in the camera image sequences, in particular edges, can advantageously be recognized by means of an extended Kalman filter.
  • FIG. 2 shows a basic system diagram of the proposed method for determining an operating angle a between trailer 20 and tractor 10 of a vehicle 100.
  • a video or a camera image or a camera image sequence is determined by means of at least one rearward-facing camera 11, 12 on the tractor 10.
  • the edge detection is carried out in one or more of the ways explained above.
  • a mathematical algorithm is carried out which determines the operating angle ⁇ between the tractor 10 and the trailer 20.
  • a trailer height, trailer length, height of the loading area of the trailer 20, etc. can also be used as additional parameters in step 230 to determine the operating angle a.
  • a proper movement of the vehicle 100 e.g. a speed, yaw rate, etc. can be used for the calculation of the operating angle ⁇ .
  • the operating angle ⁇ is fed to a lateral control of the vehicle 100, which is used for a lateral control of the vehicle 100.
  • the operating angle ⁇ is preferably used to determine an intrinsic movement model of the vehicle 100.
  • FIG. 3 shows a greatly simplified block diagram of a device 400 for determining an angle a between the tractor 10 and a trailer 20 of the tractor 10.
  • a detection device 310 can be seen for detecting a rear environment of the tractor 10 by means of at least one rearward camera 11, 12
  • Functionally connected to the detection device 310 is a determination device 320 which determines the operating angle ⁇ in one and / or more of the above-mentioned ways.
  • the determination device 320 is preferably designed as a computer program product that runs on a control device 13 of the tractor 10.
  • the control device can also be designed in a decentralized and cloud-based manner separately from the vehicle 100, the operating angle a being determined using the decentralized control device and the transmission of the operating angle a to the vehicle 100 being implemented using a high-performance wireless radio link (not shown).
  • 4 shows a basic sequence of a method method for determining an operating angle a between a tractor 10 and a trailer 20 of the tractor 10. In a step 500, a determination of
  • a step 510 structures of the trailer 20 are recognized in the camera images.
  • the operating angle ⁇ is determined by evaluating the recorded structures in the camera images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zum Ermitteln eines Betriebswinkels (α) zwischen einer Zugmaschine (10) und einem Anhänger (20) der Zugmaschine (10), mit den Schritten: d) zeitlich nacheinander durchgeführtes Ermitteln von Kamerabildern mittels wenigstens einer an der Zugmaschine (10) angeordneten, nach rückwärts gerichteten Kamera (11, 12); e) Erkennen von Strukturen des Anhängers (20) in den Kamerabildern; und a) Ermitteln des Betriebswinkels (α) durch Auswerten der erfassten Strukturen in den Kamerabildern.

Description

Beschreibung
Titel:
Verfahren zum Ermitteln eines Betriebswinkels zwischen einer
Zugmaschine und einem Anhänger der Zugmaschine
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Betriebs winkels zwischen einer Zugmaschine und einem Anhänger bzw. Auflieger der Zugmaschine. Die Erfindung betrifft ferner eine Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger der Zugma schine. Weiterhin betrifft die Erfindung ein Computerprogrammprodukt mit Programmcodemitteln zum Ausführen des Verfahrens.
Stand der Technik
Um eine Trajektorie eines Lastkraftwagens inklusive eines oder mehrerer Anhänger bzw. Auflieger zu beschreiben, ist ein Bewegungsmodell für LKW- Züge mit einem oder mehreren Anhängern bzw. Aufliegern erforderlich. Dies wird herkömmlich durch eine Schätzung des Winkels zwischen der Zugmaschine und dem Anhänger angenähert und auf Basis eines mathematischen Modells geschätzt. Durch diese Schätzung entstehen allerdings Unsicherheiten, die zu einem Fehler im Bewegungsmodell führen können.
Offenbarung der Erfindung
Eine Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Ermitteln eines Winkels zwischen einem Zugfahrzeug und einem Anhänger des
Zugfahrzeugs bereitzustellen.
Gemäß einem ersten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem
Anhänger der Zugmaschine, mit den Schritten:
zeitlich nacheinander durchgeführtes Ermitteln von Kamerabildern mittels wenigstens einer an der Zugmaschine angeordneten, nach rückwärts gerichteten Kamera; Erkennen von Strukturen des Anhängers in den Kamerabildern; und Ermitteln des Betriebswinkels durch Auswerten der erfassten Strukturen in den Kamerabildern.
Nachdem der Betriebswinkel stark in das Eigenbewegungsmodell des Fahr zeugs, z.B. des Lastkraftwagens eingeht, ist eine korrekte Ermittlung des Betriebswinkels von hoher Bedeutung. Bei einer Falschermittlung des Betriebs winkels können sich Unsicherheiten des Betriebswinkels durch Fehlerquadrate nachteilig noch weiter erhöhen. Im Ergebnis ist durch die vorgeschlagene Ermit tlung des Betriebswinkels eine verbesserte Erstellung des aktuellen Eigenbe wegungsmodells des Fahrzeugs unterstützt.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einer Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhän ger der Zugmaschine, aufweisend:
eine Erfassungseinrichtung zum Erfassen wenigstens zweier zeitlich nacheinander ermittelten Kamerabilder mittels wenigstens einer an der Zugmaschine angeordneten, nach rückwärts gerichteten Kamera; und eine funktional mit der Erfassungseinrichtung verbundene Ermittlungs einrichtung zum Ermitteln des Betriebswinkels durch Auswerten von erfassten Strukturen in den Kamerabildern.
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computer programmprodukt mit Programmcodemitteln, welche auf einem vorgeschlagenen System ausgeführt werden oder auf einem computerlesbaren Speichermedium gespeichert sind. Vorteilhaft kann auf diese Weise das Verfahren als Software ausgebildet werden und dadurch auf einfache und effiziente Weise abgeändert und adaptiert werden.
Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) aus den Kamerabildern Flussvektoren eines optischen Flusses gebildet werden, wobei in zeitlich aufeinanderfolgenden Kamerabildern ähnliche Strukturen ermittelt werden. Dabei werden übereinstimmende Elemente in Kamerabildern ermittelt, aus denen der Betriebswinkel ermittelt wird. Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für den optischen Fluss eine Abbildung einer Hinterkante des Anhängers erfasst wird. Vorteilhaft ist dies mit sogenannten„Kantenalgorithmen“ auf einfache Weise möglich. Alternativ können über den optischen Fluss auch andere übereinstim mende Strukturen in Kamerabildern, wie z.B. Flächen des Anhängers ermittelt werden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) zum Erkennen der Strukturen des Anhängers in den Kamerabildern eine Disparität von Bildelementen der Kamerabilder ermittelt wird. Bei dieser Variante wird eine Kamera in Form einer Stereokamera eingesetzt, für die ein Basisab stand der beiden Linsen bekannt ist. Systembedingt ergibt sich dadurch eine leichte Verschiebung der beiden mit den unterschiedlichen Linsen aufgenom menen Kamerabilder, wobei über eine Triangulation ein Abstand zum bildlich erfassten Objekt gemessen wird. Auf diese Weise kann durch eine Ermittlung eines veränderten Abstands auf den Betriebswinkel geschlossen werden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in Schritt b) zum Erkennen der Strukturen des Anhängers in den Kamerabildern eine Bilddatensegmentation der Kamerabilder durchgeführt wird, wobei über eine Zählung von Bildpixel eine Größe und/oder Länge des Anhängers ermittelt wird. Auf diese Weise wird vorteilhaft eine alternative Methode zum Erkennen von Strukturen in den Kamerabildern bereitgestellt.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Erkennen von Strukturen des Anhängers in den Kamerabildern eine Klassifi kation der erkannten Strukturen und/oder ein neuronales Netzwerk trainiert wird. Auch auf diese Weise wird eine alternative Methode zum Erkennen von Struktu ren in den Kamerabildern bereitgestellt.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass beim Er mitteln des Betriebswinkels durch Auswerten der erfassten Strukturen in den Kamerabildern eine Mittelwertberechnung durchgeführt wird. Auf diese Weise wird eine Art Konfidenz-Schätzung realisiert, wobei die Genauigkeit des ermit telten Betriebswinkels umso höher ist, je mehr der vorgeschlagenen Methoden zur Erkennung der Strukturen in den Kamerabildern verwendet werden. Sinn vollerweise werden wenigstens zwei unterschiedliche Methoden zur Ermittlung der Strukturen verwendet.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für die Ermittlung des Betriebswinkels wenigstens einer der folgenden Parameter des Fahrzeugs verwendet wird: Anhängerlänge, Anhängerhöhe, Höhe der Ladefläche des Anhängers, Geschwindigkeit der Zugmaschine, Gierrate der Zugmaschine. Auf diese Weise kann durch eine Berücksichtigung weiterer Parameter des Fahrzeugs der Betriebswinkel noch genauer ermittelt werden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wenigstens einer der folgenden Betriebswinkel ermittelt wird: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel. Vorteilhaft lassen sich mit vorgeschlagenen Verfahrens mit unterschiedliche Arten von Betriebswinkel zwischen Zugmaschine und Anhänger ermitteln, die alle jeweils unterschiedliche Betriebszustände bzw. geometrische Ausrichtungen von Zugmaschine und Anhänger repräsentieren.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei in Schritt b) die Kamerabilder mittels einer oder mittels zweier Kameras aufgenom men werden. Vorteilhaft kann unter Verwendung zweier Kameras die Ermittlung des Betriebswinkels noch genauer durchgeführt werden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei der ermittelte Betriebswinkel zum Erstellen eines Eigenbewegungsmodells des Last kraftfahrzeugs verwendet wird. Das Eigenbewegungsmodell stellt eine wichtige Eingangsgröße für diverse Fahrerassistenzsysteme dar und profitiert somit von der genauen Ermittlung des Betriebswinkels. Im Ergebnis ist dadurch in Abhän gigkeit des ermittelten Betriebswinkels eine verbesserte Betriebscharakteristik der Fahrerassistenzsysteme unterstützt.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt. Die Figuren sind dabei nicht unbedingt maßstabsgetreu ausgeführt.
Kurze Beschreibung der Figuren In den begleitenden Figuren zeigt:
Fig. 1 eine prinzipielle Draufsicht auf einen Lastkraftwagen mit einer Zug
maschine und einem Anhänger;
Fig. 2 ein Systemdiagramm mit einer Darstellung eines vorgeschlagenen
Verfahrens zum Erfassen eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger des Lastkraftwagens;
Fig. 3 ein prinzipielles Blockschaltbild einer Vorrichtung zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger eines Lastkraftwagens; und
Fig. 4 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum
Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger eines Lastkraftwagens.
Ausführungsformen der Erfindung
Herkömmlich ist an Anhängern bzw. Aufliegern von Lastkraftwagen kaum Sensorik zur Erfassung von Eigenbewegungen der Anhänger angebracht. Da eine Zugmaschine im täglichen Normalbetrieb mit vielen verschiedenen
Anhängern bzw. Aufliegern fährt, ist ein Nachrüsten mit der genannten Sensorik aufwendig und insbesondere ökonomisch nicht sinnvoll. Auch in der Zugma schine selbst lässt sich mit der bestehenden Sensorik (z.B. Sensorik für ESP) eine Fahrdynamik des Anhängers bzw. Aufliegers nicht erfassen.
Vorgeschlagen wird ein Einsatz wenigstens einer, vorzugsweise zweier oder mehrerer rückwärts gerichteten Kameras an der Zugmaschine, wodurch das rückwärtige Umfeld der Zugmaschine inklusive Anhänger bildlich bzw. mit zeitlich nacheinander abfolgenden Bildsequenzen („Videobild“) erfasst wird. Je nach Betriebswinkel zwischen der Zugmaschine und dem Anhänger bzw. dem Auf lieger bzw. der Anhängerkombination, befindet sich ein Teil des Anhängers bzw. des Aufliegers bzw. der Anhängerkombination im Kamerabild, wodurch es möglich wird, den Knickwinkel (d.h. den Winkel zwischen der Zugmaschine und dem Anhänger) anhand der Pixelzahl zu ermitteln. Mittels des derart ermittelten Knickwinkels kann ein Eigenbewegungsmodell des Fahrzeugs, z.B. des Last kraftwagens vorteilhaft deutlich genauer ermittelt werden.
Zudem kann durch eine Erfassung der Verschiebung der Hinterkante des Anhängers auch ein anderer Betriebswinkel in Form eines Rollwinkels abge schätzt werden, wodurch ein Schlingern des Anhängers frühzeitig erkannt und geeignete Gegenmaßnahmen (z.B. assistenzgesteuerte Brems- und/oder Lenk manöver) eingeleitet werden können. Auch dieser wird zur Modellierung der Eigenbewegung des Fahrzeugs benötigt.
Vorteilhaft kann mit dem vorgeschlagenen Verfahren wenigstens einer der folgenden Betriebswinkel a ermittelt werden: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel.
Weiterhin ist es mit dem vorgeschlagenen Verfahren vorteilhaft auch möglich, durch Detektion der Verschiebung von Objekten im Bild die Winkelraten (d.h. zeitliche Änderungen der genannten unterschiedlichen Betriebswinkel) der Eigenbewegung des Anhängers bzw. Aufliegers zu schätzen.
Im Ergebnis ist dadurch die Möglichkeit bereitgestellt, durch den Einsatz einer rückwärts gerichteten Kamera eine Messung des Knick- und Wankwinkels durchzuführen, der bei Abbiege-, Rangier-, und Manövriervorgängen, bei Spurwechseln, Aus- und Einschervorgängen als auch bei möglichen Schlinger oder Kippgefahren eine Rolle spielt, um die Eigenbewegung des gesamten Fahrzeugs zu prädizieren.
Fig. 1 zeigt eine prinzipielle Draufsicht auf ein Fahrzeug 100 mit einer Zug maschine 10 und einem mit der Zugmaschine 10 verbundenen Anhänger 20. Das Fahrzeug 100 kann z.B. als ein Lastkraftfahrzeug oder als ein anderes Fahrzeug mit Anhänger (z.B. Personenkraftfahrzeug mit einem Campingan hänger, usw.) ausgebildet sein. Man erkennt, dass an beiden Seiten der Zug maschine 10 jeweils eine rückwärtsgerichtete Kamera 11 , 12 angebracht ist. Die Kameras 11 , 12 können beispielsweise im Umfeld der Rückspiegel (nicht darge stellt) oder auch im vorderen oder hinteren Teil der Zugmaschine 10 angeordnet sein, wodurch die Kameras 11 , 12 im Betrieb des Fahrzeugs 100 immer einen Schwenkbereich des Anhängers 20 im Blickfeld haben. Ist der Anhänger 20 aufgrund einer Kurvenfahrt des Fahrzeugs 100 in einer Kamera 11 , 12 nicht sichtbar, wird dazu entsprechend die jeweils andere Kamera 11 , 12 verwendet. Die Kamera 11 , 12 detektiert dabei insbesondere eine Hinterkante 21 , 22 des Anhängers 20 als 2D-Koordinaten im Einzelbild basierend auf weiter unten näher angegebenen Möglichkeiten.
Mittels einer Parametrierung von technischen Anhängerdaten (z.B. Länge, Höhe des Laderaums, Höhe des Laderaums über dem Boden, usw.) wird die Position der Hinterkante 21 , 22 in einem Fahrzeugkoordinatensystem berechnet. Die Länge und Höhe des Laderaums kann auch mittels bestehender Methoden der Oberflächenschätzung von selbst bestimmt werden.
Um eine Robustheit der Positionsschätzung der Hinterkante 21 , 22 zu verbes sern und Fehlererkennungen auf ähnlichen Strukturen (z.B. Laternenpfahl, Ver kehrsschild, oder dergleichen) zu vermeiden, kann optional ein Filter (z.B. Ex- tended-Kalman-Filter oder dergleichen) verwendet werden. Dieser prädiziert anhand der Fahrzeugdynamik und vorangegangener Messungen, wie sich der Anhänger 20 bewegt und verwendet dies für die Messung des Betriebswinkels a.
Die gefilterten Messungen von linker und rechter Kamera 11 , 12 werden in einem zentralen Steuergerät 13 oder in einer der Kameras 11 , 12 kombiniert. Knick- und Wankwinkel werden verwendet, um die Trajektorie des Anhängers 20 zu be stimmen. Darauf basierend kann die gesamte Trajektorie des gesamten Fahr zeugs 100, unter anderem z.B. auch die Schleppkurve modelliert werden. Dies kann zur lateralen Steuerung des Fahrzeugs 100 im Rahmen von bestehenden Systemen verwendet werden, wie zum Beispiel Spurhalteassistenten oder im Bereich des automatisierten Fahrens.
Die oben genannte bildliche Detektion der Hinterkanten 21 , 22 des Anhängers kann auf unterschiedliche Weisen realisiert werden, die nachfolgend näher erläutert werden.
(i) Erste Möglichkeit: optischer Fluss
Dabei wird aus zeitlich aufeinanderfolgenden Kamerabildern (Bildsequenzen oder Videobildern) der Kameras 11 , 12 mittels gängiger Verfahren ein optischer Fluss bzw. ein Flussvektor aus den Kamerabildern ermittelt. Da sich der Anhän ger 20 im Gegensatz zur Umgebung während der Fahrt kaum bewegt, separiert das Flussfeld des optischen Flusses den Anhänger 20 von der Umgebung, wo durch die Hinterkante 21 , 22 des Anhängers bildlich erkannt werden kann.
(ii) Zweite Möglichkeit: Disparitätsschätzung
Durch die Verwendung einer als Stereokamera ausgebildeten Kamera 11 , 12 kann für jeden Pixel mittels einer Disparitätsschätzung eine Tiefeninformation ermittelt werden. Dadurch kann mittels Triangulation die Fläche des Anhängers 20 oder andere Strukturen des Anhängers 20 vom Hintergrund separiert werden.
(iii) Dritte Möglichkeit: Bilddatensegmentation
Im Falle, dass das mittels der Kamera 11 , 12 ermittelte Bild selbst verwendet wird, kann unter Verwendung von Klassifikationen oder eines neuronalen Netzwerks die Hinterkante 21 , 22 bzw. eine Fläche des Anhängers 20 durch die Detektion der Hinterkante 21 , 22 bestimmt werden. Dies ist möglich, da die An hängerfläche sich als eine homogene Fläche von der restlichen Umgebung separieren lässt. Da sich die Anhängerfläche in einem vorhersagbaren Raum befindet, ist es möglich, dies ressourcenschonend zu ermitteln.
Alle drei genannten Varianten verwenden verschiedene Grundannahmen zur Kantenerkennung, weshalb sie einzeln oder auch kombiniert eingesetzt werden können, um dadurch die Robustheit der bildlichen Erkennung der Hinterkante 21 , 22 zu steigern. Bei einer Anhängerkombination (nicht in Figuren dargestellt) kön nen auch mehrere Hinterkanten detektiert werden.
Vorteilhaft kann das Erkennen von Strukturen in den Kamerabildsequenzen, insbesondere von Kanten mittels eines Extended Kalman Filters durchgeführt werden.
Bei Dämmerung oder Nacht kann zudem anstatt der Detektion der Hinterkante 21 , 22 auf eine Erkennung von Anhänger- bzw. Trailerlichtern (nicht dargestellt) des Anhängers 20 abgestellt werden, um die Umrisse des Anhängers 20 und die Hinterkante 21 , 22 bildlich zu detektieren. Fig. 2 zeigt ein prinzipielles Systembild des vorgeschlagenen Verfahrens zum Ermitteln eines Betriebswinkels a zwischen Anhänger 20 und Zugmaschine 10 eines Fahrzeugs 100.
In einem Schritt 200 wird ein Video- bzw. ein Kamerabild bzw. eine Kamerabild sequenz mittels wenigstens einer, auf der Zugmaschine 10 rückwärtsgerichtet angeordneten Kamera 11 , 12 ermittelt. In einem Schritt 210 wird die Kantener kennung auf eine oder auch mehrere der oben erläuterten Art und Weisen durch geführt. In einem Schritt 220 wird ein mathematischer Algorithmus durchgeführt, der den Betriebswinkel a zwischen der Zugmaschine 10 und dem Anhänger 20 ermittelt. Optional kann zur Ermittlung des Betriebswinkels a noch in Schritt 230 eine Anhängerhöhe, Anhängerlänge, Höhe der Ladefläche des Anhängers 20, usw. als zusätzliche Parameter verwendet werden. Optional kann in einem Schritt 240 ferner auch eine Eigenbewegung des Fahrzeugs 100, z.B. eine Geschwindigkeit, Gierrate, usw. für die Berechnung des Betriebswinkels a verwendet werden.
Der Betriebswinkel a wird als Ergebnis von Schritt 220 einer lateralen Steuerung des Fahrzeugs 100 zugeführt, die zu einer lateralen Steuerung des Fahrzeugs 100 verwendet wird. Dabei wird der Betriebswinkel a vorzugsweise für die Ermit tlung eines Eigenbewegungsmodells des Fahrzeugs 100 verwendet.
Fig. 3 zeigt ein stark vereinfachtes Blockschaltbild einer Vorrichtung 400 zum Ermitteln eines Winkels a zwischen Zugmaschine 10 und einem Anhänger 20 der Zugmaschine 10. Man erkennt eine Erfassungseinrichtung 310 zum Erfassen eines rückwärtigen Umfelds der Zugmaschine 10 mittels wenigstens einer rück wärts gerichteten Kamera 11 , 12. Funktional mit der Erfassungseinrichtung 310 verbunden ist eine Ermittlungseinrichtung 320, die den Betriebswinkel a auf eine und/oder mehrere der oben genannten Art und Weisen ermittelt.
Die Ermittlungseinrichtung 320 ist vorzugsweise als ein Computerprogramm produkt ausgebildet, das auf einem Steuergerät 13 der Zugmaschine 10 abläuft. Optional kann das Steuergerät aber auch dezentral und getrennt vom Fahrzeug 100 cloudbasiert ausgebildet sein, wobei die Ermittlung des Betriebswinkels a mittels des dezentralen Steuergeräts durchgeführt wird und die Übertragung des Betriebswinkels a auf das Fahrzeug 100 mittels einer hochleistungsfähigen drahtlosen Funkverbindung (nicht dargestellt) realisiert wird. Fig. 4 zeigt einen prinzipiellen Ablauf eines Verfahrens Verfahren zum Ermitteln eines Betriebswinkels a zwischen einer Zugmaschine 10 und einem Anhänger 20 der Zugmaschine 10. In einem Schritt 500 wird ein zeitlich nacheinander durchgeführtes Ermitteln von
Kamerabildern mittels wenigstens einer an der Zugmaschine 10 angeordneten, nach rückwärts gerichteten Kamera 11 , 12 durchgeführt.
In einem Schritt 510 wird ein Erkennen von Strukturen des Anhängers 20 in den Kamerabildern durchgeführt.
In einem Schritt 520 wird ein Ermitteln des Betriebswinkels a durch Auswerten der erfassten Strukturen in den Kamerabildern durchgeführt. Der Fachmann wird bei der Umsetzung der Erfindung auch vorgehend nicht erläuterte Ausführungsformen realisieren.

Claims

Ansprüche
1. Verfahren zum Ermitteln eines Betriebswinkels (a) zwischen einer
Zugmaschine (10) und einem Anhänger (20) der Zugmaschine (10), mit den Schritten:
a) zeitlich nacheinander durchgeführtes Ermitteln von Kamerabildern mittels wenigstens einer an der Zugmaschine (10) angeordneten, nach rückwärts gerichteten Kamera (11 , 12);
b) Erkennen von Strukturen des Anhängers (20) in den Kamerabildern; und c) Ermitteln des Betriebswinkels (a) durch Auswerten der erfassten
Strukturen in den Kamerabildern.
2. Verfahren nach Anspruch 1 , wobei in Schritt b) aus den Kamerabildern
Flussvektoren eines optischen Flusses gebildet werden, wobei in zeitlich aufeinanderfolgenden Kamerabildern ähnliche Strukturen ermittelt werden.
3. Verfahren nach Anspruch 2, wobei für den optischen Fluss eine Abbildung einer Hinterkante (21 , 22) des Anhängers (20) erfasst wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt b) zum Erkennen der Strukturen des Anhängers (20) in den Kamerabildern eine Disparität von Bildelementen der Kamerabilder ermittelt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt b) zum Erkennen der Strukturen des Anhängers (20) in den Kamerabildern eine Bilddatensegmentation der Kamerabilder durchgeführt wird, wobei über eine Zählung von Bildpixel eine Größe und/oder Länge des Anhängers (20) ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erkennen von Strukturen des Anhängers (20) in den Kamerabildern eine Klassifikation der erkannten Strukturen und/oder ein neuronales Netzwerk trainiert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Ermitteln des Betriebswinkels (a) durch Auswerten der erfassten Strukturen in den Kamerabildern eine Mittelwertberechnung durchgeführt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei für die
Ermittlung des Betriebswinkels (a) wenigstens einer der folgenden
Parameter eines Fahrzeugs (100) verwendet wird: Anhängerlänge,
Anhängerhöhe, Höhe der Ladefläche des Anhängers, Geschwindigkeit der Zugmaschine, Gierrate der Zugmaschine.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens einer der folgenden Betriebswinkel (a) ermittelt wird: Wankwinkel, Zugwinkel, Rollwinkel, Knickwinkel.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt b) die Kamerabilder mittels einer oder mittels zweier Kameras (11 , 12) aufgenommen werden.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei der ermittelte Betriebswinkel (a) zum Erstellen eines Eigenbewegungsmodells des
Fahrzeugs (100) verwendet wird.
12. Vorrichtung (400) zum Ermitteln eines Betriebswinkels (a) zwischen einer Zugmaschine (10) und einem Anhänger (20) der Zugmaschine (10), aufweisend:
eine Erfassungseinrichtung (310) zum Erfassen wenigstens zweier zeitlich nacheinander ermittelten Kamerabilder mittels wenigstens einer an der Zugmaschine (10) angeordneten, nach rückwärts gerichteten Kamera (11 , 12); und
eine funktional mit der Erfassungseinrichtung (310) verbundene
Ermittlungseinrichtung (320) zum Ermitteln des Betriebswinkels (a) durch Auswerten von erfassten Strukturen in den Kamerabildern.
13. Computerprogrammprodukt mit Programmcodemitteln zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 11 , wenn es auf einer
Vorrichtung (400) zum Ermitteln eines Betriebswinkels (a) zwischen einer Zugmaschine (10) und einem Anhänger (20) eines Fahrzeugs (100) ausgeführt wird oder auf einem computerlesbaren Speichermedium gespeichert ist.
EP20723023.6A 2019-05-14 2020-04-17 Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine Pending EP3970116A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019206985.1A DE102019206985A1 (de) 2019-05-14 2019-05-14 Verfahren zum Ermitteln eines Betriebswinkels zwischen einer Zugmaschine und einem Anhänger der Zugmaschine
PCT/EP2020/060883 WO2020229094A1 (de) 2019-05-14 2020-04-17 Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine

Publications (1)

Publication Number Publication Date
EP3970116A1 true EP3970116A1 (de) 2022-03-23

Family

ID=70480224

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20723023.6A Pending EP3970116A1 (de) 2019-05-14 2020-04-17 Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine

Country Status (5)

Country Link
US (1) US20220196395A1 (de)
EP (1) EP3970116A1 (de)
CN (1) CN113874914A (de)
DE (1) DE102019206985A1 (de)
WO (1) WO2020229094A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129143A (ko) * 2021-03-15 2022-09-23 현대자동차주식회사 군집 주행 제어 장치 및 그의 경로 생성 방법
US11798288B2 (en) * 2021-03-16 2023-10-24 Toyota Research Institute, Inc. System and method for generating a training set for improving monocular object detection
US11897469B2 (en) * 2021-10-20 2024-02-13 Continental Autonomous Mobility US, LLC System and method for adjusting trailer reverse assist parameters based upon estimated trailer position
DE102022126231B3 (de) 2022-10-10 2023-10-05 Daimler Truck AG Vorrichtung und Verfahren zum Betrieb eines Fahrzeugs

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010006323B4 (de) * 2010-01-29 2013-07-04 Continental Teves Ag & Co. Ohg Stereokamera für Fahzeuge mit Anhänger
DE102010006521A1 (de) * 2010-02-02 2010-09-30 Daimler Ag Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
DE102011113197B4 (de) * 2011-09-10 2021-06-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger, und Fahrzeug
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
DE102014007900A1 (de) * 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs
DE102014018364A1 (de) * 2014-12-10 2016-06-16 Man Truck & Bus Ag Vorrichtung und Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Nutzfahrzeugs
US10155478B2 (en) * 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
DE102017103540A1 (de) * 2017-02-21 2018-08-23 Connaught Electronics Ltd. Ermitteln einer Winkelstellung eines Anhängers ohne Zielmarkierung
US10706291B2 (en) * 2017-03-03 2020-07-07 Magna Electronics Inc. Trailer angle detection system for vehicle

Also Published As

Publication number Publication date
WO2020229094A1 (de) 2020-11-19
CN113874914A (zh) 2021-12-31
US20220196395A1 (en) 2022-06-23
DE102019206985A1 (de) 2020-11-19

Similar Documents

Publication Publication Date Title
EP3970116A1 (de) Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine
DE102017201717B4 (de) Verfahren zur Verwendung eines Rückblicksystem für ein Trägerfahrzeug sowie Rückblicksystem zur Ausführung des Verfahrens
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102011120814B4 (de) Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem damit gekoppelten Anhänger
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102014114078A9 (de) Intelligentes Abschleppen
EP3183721A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102014107917A1 (de) Verfahren und Vorrichtung zum Vermeiden einer Kollision eines ein Kraftfahrzeug und einen Anhänger umfassenden Gespanns mit einem Hindernis
DE102016122489A1 (de) Sichtgestützte erfassung von nassen fahrbahnzuständen mittels reifenspuren
DE102017107542A1 (de) Verfahren zur berechnung von abmessungen eines anhängerfahrzeugs
DE102016113808A1 (de) Fahrspurerkennungsvorrichtung
DE102009005184A1 (de) Fahrzeugabtastsystem
DE102015223176A1 (de) Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE102014007900A1 (de) Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs
DE102020109279A1 (de) System und verfahren zur anhängerausrichtung
DE102016217637A1 (de) Odometrie-Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug
DE102017223098A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Relativwinkels zwischen zwei Fahrzeugen
DE102016208372A1 (de) Verfahren, Vorrichtung und ein mobiles Anwendergerät zum Erzeugen einer Fahrerinformation im Zusammenhang mit einem von einem Fahrzeug zu zumindest einem Zeitpunkt überdeckten Geländebereich
DE102021129550A1 (de) Systeme, verfahren und vorrichtungen zur schätzung des anhängekupplungsgelenkwinkels (haa) mit hilfe von ultraschallsensoren (uss) und fusion mit anderen sensoren
DE102018200861A1 (de) Verfahren und Vorrichtung zur videobasierten Überwachung eines Bestandelements eines Güterkraftfahrzeugs
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
WO2020052840A1 (de) Verfahren und vorrichtung zum betrieb eines zumindest teilweise automatisiert betriebenen ersten fahrzeugs
DE102016111079A1 (de) Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem
DE102015210816B4 (de) Verfahren für einen Anhängerrangierassistenten
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211214

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)