EP4602554A1 - Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm - Google Patents

Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm

Info

Publication number
EP4602554A1
EP4602554A1 EP23771765.7A EP23771765A EP4602554A1 EP 4602554 A1 EP4602554 A1 EP 4602554A1 EP 23771765 A EP23771765 A EP 23771765A EP 4602554 A1 EP4602554 A1 EP 4602554A1
Authority
EP
European Patent Office
Prior art keywords
trailer
camera
segment
camera image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23771765.7A
Other languages
English (en)
French (fr)
Inventor
Markus EICH
Anuradha PASUPATHY
Deepanshu Makkar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Aumovio Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aumovio Autonomous Mobility Germany GmbH filed Critical Aumovio Autonomous Mobility Germany GmbH
Publication of EP4602554A1 publication Critical patent/EP4602554A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for generating an environmental view of an environment located at least partially behind a trailer of a vehicle combination comprising the trailer and a towing vehicle from camera images obtained using a camera arrangement, wherein the camera arrangement has at least one first camera that captures at least a section of the trailer and at least one second camera that captures at least a partial area of the environment behind the trailer.
  • the invention further relates to a method for training a neural network, a control device, a vehicle and a computer program.
  • a camera that captures an area behind the tractor such as a rear-view camera
  • a camera that captures an area behind the tractor can only be used to a limited extent, since the camera's field of view is at least partially blocked by the trailer.
  • a clear view to the rear is also desirable, especially with such a combination, since the trailer can also hinder the safety of a driver if his head is turned backwards or when using a rear-view or side mirror.
  • the representation of the trailer in an image from the rear view camera of the towing vehicle is a four-sided surface whose dimensions are known, for example due to an input of these dimensions by a user of the vehicle combination.
  • the generation of a transparent view of the trailer in the environment image is limited to box-shaped trailers with known and constant dimensions.
  • the invention is based on the object of specifying an improved method for generating an environmental view of an environment located at least partially behind a trailer of a vehicle combination, which in particular facilitates use of the method with different trailers.
  • the first camera can, for example, be located on the towing vehicle and capture an area behind the towing vehicle.
  • the first camera can be Example: a rear view camera of the towing vehicle.
  • the camera image recorded with the first camera shows the front of the trailer facing the towing vehicle.
  • the geometry of the front surface of the trailer facing the towing vehicle depends in particular on a swivel angle between the towing vehicle and the trailer and can include not only a front surface or a section of a front surface of the trailer, but also one or more sides or side surfaces of the trailer in whole or in part.
  • the front surface of the trailer within the meaning of the invention is not only restricted to a front surface of the trailer body, but can also include loads on the trailer that are arranged on the trailer and visible from the first camera, for example when the load is arranged on a trailer without a cover or the like.
  • the trailer can thus advantageously be recognized independently of a predetermined geometry and independently of dimensions entered in advance or provided in another way and hidden in the surrounding view or supplemented with image data from the second camera image.
  • An at least partially transparent representation of the trailer in the surrounding view can thus advantageously be achieved for trailers of any shape.
  • trailers for transporting vehicles such as boat trailers, motorcycle trailers, car trailers or similar, with and without a load
  • trailers for transporting other loads such as flatbed trailers, trailers for transporting bulk goods or containers and so on, which can also have different front surfaces when unloaded and when fully or partially loaded.
  • a further advantage of the solution according to the invention is that it is not necessary to determine the dimensions of the trailer, for example by measuring the trailer. This simplifies the application of the method in the context of a driver assistance system, since it can be used with different trailers without user input of trailer dimensions or the like. Furthermore, the method can also be used with a trailer in an unloaded state and in differently loaded states without any further action.
  • individual pixels of the first camera image are assigned to the front face of the trailer shown in the first camera image.
  • a contour that encloses the pixels and encloses the segment can then be determined.
  • Pixels of the first camera image that are not assigned to the front surface of the trailer can, for example, be assigned to other sections of the trailer and/or the surroundings of the vehicle combination.
  • the second camera image which is recorded by the second camera, shows the surroundings of the vehicle combination behind the trailer.
  • the second camera can be arranged, for example, on the back or rear of the trailer.
  • the at least one segment determined in the first camera image is then supplemented with image information from the second camera image.
  • the segment can be partially or completely supplemented with image data from the second camera image.
  • the supplementation is carried out in particular in such a way that image sections of the surroundings lying within the segment, which cannot be seen in the first camera image due to the trailer, are filled in with corresponding image sections of the second camera image. In this way, a, in particular at least substantially distortion-free and A continuous image of the environment behind the vehicle combination can be generated as an environmental view.
  • the environmental view can be generated depending on position information that describes the relative arrangement between the first camera and the second camera.
  • position information that describes the relative arrangement between the first camera and the second camera.
  • the position information can in particular describe a spatial offset between the first camera and the second camera, for example by a translation and/or a rotation.
  • the position information can be initially specified and determined, for example, by a measurement and/or determined continuously, in particular during a driving movement of the vehicle combination.
  • the position information can be continuously determined, for example, by odometry and/or by machine vision, for example on the basis of an optical flow or of highlighted features in the first and/or second camera images.
  • Extrinsic camera parameters of the first camera and/or extrinsic camera parameters of the second camera and/or a vehicle model of the towing vehicle, the trailer and/or the vehicle combination can also be used to determine the position information.
  • the segmentation takes place continuously for a plurality of first camera images, in particular for first camera images recorded in a video stream. Accordingly, image data from second camera images, which are also continuously recorded, are also added to the continuously recorded and segmented first camera images, so that the view of the surroundings can also be displayed as an image stream or video.
  • the view of the surroundings can be displayed, for example, on a display device arranged in the towing vehicle and visible to a driver of the towing vehicle.
  • a lateral swivel angle of the trailer is determined depending on the position of one or more edges of the at least one segment in the first camera image and the position of a coupling point at which the trailer is laterally swivel-coupled to the towing vehicle, wherein the surrounding view is generated depending on the lateral swivel angle and/or wherein, when a swivel angle limit value is exceeded, a warning is issued to a driver of the towing vehicle and/or a control command is issued to an actuator of the towing vehicle.
  • the edges can be determined using a line fitting algorithm, for example.
  • the coupling point can be determined, for example, from a three-dimensional vehicle model stored in a computing device designed to carry out the method and/or from the first camera image using an image recognition algorithm. Determining the lateral swivel angle between the towing vehicle and the trailer, i.e. the angle of rotation of the trailer around the coupling point, which can occur when the vehicle combination is cornering, for example, from the at least one segment determined in the first camera image has the advantage that no further devices or algorithms need to be used to determine this angle.
  • the respective intersection points of two lateral edges of the segment, which correspond to the lateral edges of the trailer, with a lower edge of the segment, which corresponds to a lower edge of the trailer are determined, wherein the lateral swivel angle is determined from a projection of the intersection points and the coupling point onto a base plane extending parallel to a roadway plane of the vehicle combination. It is assumed that the towing vehicle and the trailer are moving on the same road or on a common plane.
  • intersection points can be determined from the side edges of the trailer, in particular from the side edges of the front of the trailer facing the towing vehicle, and the lower edge of the trailer, which depend on the orientation of the trailer to the towing vehicle and thus on the lateral swivel angle. These intersection points and the coupling point can then be projected onto the base plane.
  • the swivel angle can be determined, for example, as the angle between a longitudinal direction of the towing vehicle and a perpendicular from the projection of the coupling point onto the straight line between the projections of the intersection points.
  • At least one further segment is determined by segmenting the first camera image, wherein the further segment corresponds to a coupling section of the trailer.
  • the representation of the coupling section of the trailer cannot be replaced by the camera image of the second, trailer-side camera, so that this continues to be shown in the surrounding view.
  • the representation of the coupling section also enables a driver to recognize the current angle between the towing vehicle and the trailer by depicting the coupling section in the surrounding view, even when the front surface of the trailer is shown completely transparently.
  • the segmentation of the first camera image is carried out by a neural network and/or that the segmentation of the first camera image is carried out by semantic segmentation, in particular a content-guided network algorithm.
  • a camera arrangement which uses one or more third cameras, each of which captures a lateral surrounding area of the towing vehicle and/or the trailer, wherein the surrounding view is additionally generated from one or more third camera images of the third cameras.
  • the view of the surroundings can be expanded so that areas to the side of and/or to the side behind the vehicle combination can also be imaged.
  • At least one training data set comprising a plurality of training images, each of which depicts at least one front face of a trailer directed towards a recording position of the training image as a ground truth
  • a neural network trained according to the method described above can preferably be used in a method according to the invention for generating an environmental view of a vehicle located at least partially behind a trailer of a
  • the neural network can be used to segment the at least one first camera image, so that the at least one segment of the first camera image comprising the front side of the trailer can advantageously be determined.
  • a training dataset is used to train the neural network, which includes a large number of training images.
  • Each of the training images shows the front face of a trailer facing a recording position of the respective training image, which represents a ground truth of the respective training image.
  • the training images can, for example, be images taken by the rear view camera of the towing vehicle of a vehicle combination and on which a trailer of the vehicle combination can be seen.
  • At least one segment can then be assigned to each of these training images, which corresponds to the front face of the trailer depicted in the respective training image.
  • the neural network can then be trained in such a way that the parameters of the neural network are adapted to match the segments with the images of the front faces of the trailers that are present as ground truth in the training images.
  • the training images preferably include representations of different types of trailers and/or different loading states of trailers.
  • the neural network can also be advantageously adapted to ensure a match between the additional segments corresponding to the coupling section and the ground truth. This results in the neural network being trained to also recognize coupling sections of trailers.
  • control device designed to receive at least one first camera image and at least one second camera image, wherein the control device is set up to carry out a method according to the invention for generating an environmental view.
  • the control unit can be connected in particular to at least one first camera, at least one second camera and optionally also to one or more third cameras.
  • the connections between the control unit and the cameras can be implemented, for example, as wired or wireless communication connections. This enables the first camera images, the second camera images and, if applicable, also the images from the third cameras to be transmitted to the control unit.
  • a vehicle according to the invention can comprise a control device according to the invention.
  • the vehicle can be a motor vehicle, for example a passenger car or a truck, or a trailer.
  • a computer program according to the invention comprises instructions which cause a computing device to carry out a method according to the invention.
  • the computer program according to the invention can in particular be stored on a non-transient data carrier or can be called up and/or downloaded from a computing device via a communication connection, for example the Internet.
  • the computing device can be, for example, a control unit of a vehicle or a vehicle-external computing device which communicates with such a control unit. All advantages and embodiments described above in relation to the method according to the invention for generating an environmental view also apply accordingly to the method according to the invention for training a neural network, the control device according to the invention, the vehicle according to the invention and the computer program according to the invention and vice versa.
  • Fig. 1 a vehicle combination comprising an embodiment of a vehicle according to the invention
  • Fig. 2 is a representation of the relative arrangement of a first camera and a second camera
  • Fig. 3 an example of a first camera image
  • Fig. 4 shows the example of the first camera image after determining the at least one segment
  • Fig. 5 a graphical representation of a first step of determining a swivel angle between towing vehicle and trailer from the segmented first camera image
  • Fig. 6 a graphical representation of a second step of determining the swivel angle
  • a first camera 4 is arranged at the rear of the towing vehicle 2.
  • the first camera 4 can, for example, be a reversing camera of the towing vehicle 2.
  • a second camera 5 is arranged on a rear side of the trailer 3, which in this case faces away from the towing vehicle 2.
  • the first camera 4 and the second camera 5 form a camera arrangement of the vehicle combination 1.
  • the camera arrangement can optionally also comprise one or more third cameras 6, which, for example, capture the surroundings of the vehicle band 1 to the side of the towing vehicle 2 or to the side of the trailer 3.
  • the cameras 4 - 6 of the camera arrangement are connected, for example wirelessly or via a wired communication connection, to a control unit 7, which is designed to carry out a method for generating an environmental view of an environment that is at least partially behind the trailer 3 of the vehicle combination 1.
  • the first camera 4 arranged on the towing vehicle 2 captures at least a section of the trailer 3 within a detection range 8 of the first camera 4, which is shown in dashed lines.
  • the second camera 5 captures at least a partial area of the surroundings behind the trailer 3 and has a detection range 9, also shown in dashed lines in Fig. 1.
  • the trailer 3 comprises a coupling section 11, with which it is coupled to a coupling point 12, for example its trailer coupling, of the towing vehicle 2.
  • the trailer 3 can be pivoted at least laterally via the coupling section 11.
  • “laterally pivotable” refers to a Pivoting the trailer 3 relative to the towing vehicle 2 in a plane which is spanned by the vehicle longitudinal direction x and the vehicle transverse direction y.
  • the control unit 7 receives the camera images from the first camera 4, the second camera 5 and, if applicable, also the third camera 6. From the received camera images, the control unit 7 generates a surrounding view which at least partially depicts the surroundings of the vehicle combination.
  • the surrounding view can be displayed, for example, to a driver of the towing vehicle 2 via a display device (not shown) arranged inside the towing vehicle 2.
  • position information describing the relative arrangement between the first camera 4 and the second camera 5 is stored in the control unit 7. Even when using several first cameras 4, several second cameras 5 and/or when optionally using one or more third cameras 6, the respective relative, initial arrangements of the cameras 4, 5, 6 to one another can be stored in the form of position information in order to enable the respective image data from the camera images to be combined as seamlessly as possible.
  • the position information is shown schematically for the first camera 4 and the second camera 5.
  • the position information includes, for example, for the first camera 4 a translation vector T and a rotation vector R, which describe the translational or rotational arrangement of the first camera 4 in relation to the coupling point 12 of the trailer 3.
  • the position information for the second camera 5 describes the translational offset of the second camera 5 to the coupling point 12 with a translation vector T' and the rotational offset to the coupling point 12 with a rotation vector R'.
  • the respective components x, y, z of the vectors T, T' and the components a, b, c of the vectors R and R' can initially be determined, for example, by a measurement and/or using image data determined by the first camera 4 and/or the second camera 5.
  • the vectors and their components can be at least partially recalculated in order to be able to correctly display the surrounding view at least approximately in real time.
  • additional second cameras 5 and/or optionally present one or more third cameras 6, corresponding vectors can also be determined accordingly.
  • FIG. 3 schematically shows a first camera image 13, which was recorded, for example, with a first camera 4 comprising a fisheye lens.
  • the first camera image 13 shows a partial area of the surroundings of the vehicle combination 1 behind the towing vehicle 2, wherein a front side of the trailer 3 facing the towing vehicle can also be seen.
  • the coupling section 11, the coupling point 12 and other features of the surroundings are also shown in the first camera image 13. All images in the first camera image 13 have the distortion characteristic of a fisheye lens.
  • the first camera image 13 is then segmented by a segmentation algorithm implemented in the control unit 7.
  • An example of a segmented camera image 14 is shown in Fig. 4.
  • the segment 15 can also comprise a load of the trailer 3 arranged uncovered on the trailer 3, so that different types of trailers and/or different loading states of a trailer can advantageously be recognized and superimposed with image data from a second camera image of the second camera 5 when generating the surrounding view.
  • An surrounding view can thus advantageously be generated in which the trailer 3 or the front surface of the trailer 3 facing the towing vehicle 2 appears transparent.
  • the further segment 16 corresponds to the coupling section 11 of the trailer 3.
  • the background of the first camera image 13 forms a background segment 17.
  • the surrounding view is then generated by replacing the entire segment 15 or at least part of the segment 15 with image data from a second camera image generated using the second camera 5.
  • the image data of the first camera image 13 can remain in the background segment 17, so that the image data of the second camera image inserted into the segment 15 results in a rear view from the towing vehicle 2 that is not blocked by the trailer 3.
  • the segment 15 corresponding to the front face of the trailer 3 in the first camera image 13 is completely or at least partially supplemented with image data from the second camera image.
  • the image area outside the segment 15, i.e. the further segment 16 and the background segment 17, can in particular continue to contain the image data from the first camera image, since these depict the surroundings of the vehicle combination 1, which are not covered by the trailer 3 in these areas.
  • the second camera image can be edited, e.g. by cropping and rotating or by rotational and/or translational transformation.
  • further changes and/or editing can be carried out on the second camera image, for example a projection onto a plane corresponding to the segment 15 in the first camera image 13 and/or comparable transformations.
  • the segmentation of the first camera image 13 is carried out, for example, by a neural network implemented in the control unit 7.
  • the segmentation can be carried out, for example, by semantic segmentation, in particular a content-guided network algorithm.
  • the shape of the segment 15 depends not only on the geometry of the trailer 3 and any load transported on the trailer 3, but also on the lateral swivel angle of the trailer 3, i.e. on the angle at which the trailer is swiveled about the coupling point 12.
  • This allows the image data from the second camera image that is suitable for the current driving situation of the vehicle combination 1 to be selected for a seamless representation of the surroundings in the surroundings view and inserted into the segment 15.
  • the lateral swivel angle between the towing vehicle 2 in the trailer 3 can also advantageously be determined.
  • the first step of determining the swivel angle from the segmented first camera image 14 is graphically shown.
  • the lateral swivel angle can be determined depending on the position of one or more edges of the at least one segment 15 in the first camera image 13 and a position P1 of the coupling point 12 at which the trailer 3 is laterally pivotably coupled to the towing vehicle 2.
  • the respective intersection points P2, P3 of two lateral edges 18, 19 of the segment 15, which correspond to the lateral edges of the trailer 3, with a lower edge 20 of the segment 15, which corresponds to the lower edge of the trailer 3, are determined.
  • the points P1, P2 and P3 are then projected onto a base plane extending parallel to a roadway plane of the vehicle combination 1.
  • Fig. 6 shows a projection of the intersection points P2, P3 and the position P1 of the coupling point 12 onto the base plane extending in the vehicle's longitudinal direction x and in the vehicle's transverse direction y, wherein the projections of the points P1, P2 and P3 onto the base plane are designated P1', P2' and P3'.
  • the lateral swivel angle a can then be determined as the angle between the longitudinal direction x of the towing vehicle 2 and a perpendicular 21 which is dropped through the point P1' onto a straight line 22 between the projections P2', P3' of the intersection points P2, P3.
  • the surrounding view can be generated in particular depending on the lateral swivel angle a.
  • a warning can be issued to a driver of the towing vehicle 2 and/or a control command can be issued to an actuator of the towing vehicle 2.
  • Fig. 7 shows an embodiment of a method for training a neural network for the segmentation of an image. The method comprises the steps:
  • (S1) at least one training data set comprising a plurality of training images, each of which depicts at least one front face of a trailer 3 directed towards a recording position of the training image as a ground truth
  • - Assigning (S2) at least one segment 15 to each of the training images, wherein the segment 15 corresponds to the front surface of the trailer 3 in the training image
  • - Optimizing (S3) the neural network with regard to a match between the at least one segment 15 and the front face of the trailer 3 described by the ground truth. It is possible that at least some of the training images depict the coupling section 11 of the trailer 3 as a further ground truth, wherein a further segment 16 is assigned to the coupling section 11 and the neural network is also optimized with regard to a match between the at least one further segment 16 and the coupling section 11 described by the further ground truth.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zum Erzeugen einer Umgebungsansicht einer zumindest teilweise hinter einem Anhänger (3) eines den Anhänger (3) und ein Zugfahrzeug (2) umfassenden Fahrzeuggespanns (1) liegenden Umgebung aus mithilfe einer Kameraanordnung gewonnenen Kamerabildern, wobei die Kameraanordnung wenigstens eine zumindest einen Abschnitt des Anhängers erfassende erste Kamera (4) sowie wenigstens eine zumindest einen Teilbereich der Umgebung hinter dem Anhänger erfassende zweite Kamera (5) aufweist, mit den Schritten: - Erfassen wenigstens eines ersten Kamerabildes (13) mit der wenigstens einen ersten Kamera (4) und wenigstens eines zweiten Kamerabildes mit der zweiten Kamera (5), - Ermitteln wenigstens eines einer zum Zugfahrzeug (2) gerichteten Stirnfläche des Anhängers (3) in dem ersten Kamerabild (13) entsprechenden Segments (15) des ersten Kamerabilds (13) durch Segmentierung des ersten Kamerabildes (13) und - Erzeugen der Umgebungsansicht aus dem ersten Kamerabild (13) und dem zweiten Kamerabild in Abhängigkeit des ermittelten Segments (15), wobei zumindest ein Teil des Segments (15) mit Bilddaten aus dem zweiten Kamerabild ergänzt wird.

Description

Beschreibung
Verfahren zum Erzeugen einer Umgebungsansicht, Verfahren zum Trainieren eines neuronalen Netzes, Steuergerät, Fahrzeug und Computerprogramm
Die Erfindung betrifft ein Verfahren zum Erzeugen einer Umgebungsansicht einer zumindest teilweise hinter einem Anhänger eines den Anhänger und ein Zugfahrzeug umfassenden Fahrzeuggespanns liegenden Umgebung aus mithilfe einer Kameraanordnung gewonnenen Kamerabildern, wobei die Kameraanordnung wenigstens eine zumindest einen Abschnitt des Anhängers erfassende erste Kamera sowie wenigstens eine zumindest einen Teilbereich der Umgebung hinter dem Anhänger erfassende zweite Kamera aufweist. Weiterhin betrifft die Erfindung ein Verfahren zum Trainieren eines neuronalen Netzes, ein Steuergerät, ein Fahrzeug und ein Computerprogramm.
Bei einem Fahrzeuggespann, welches eine Zugmaschine und einen Anhänger umfasst, ist eine einen Bereich hinter dem Zugfahrzeug erfassende Kamera wie eine Rückfahrkamera nur eingeschränkt nutzbar, da das Sichtfeld der Kamera zumindest teilweise von dem Anhänger blockiert wird. Weiterhin ist jedoch gerade bei einem derartigen Gespann ein freier Blick nach hinten wünschenswert, da durch den Anhänger auch eine Sicherbehinderung eines Fahrers bei nach hinten gewandtem Kopf oder bei Benutzung eines Rück- oder Seitenspiegels auftreten kann.
Aus dem Stand der Technik ist dazu bekannt, dass die Bilder einer Rückfahrkamera des Zugfahrzeugs durch Bilder ergänzt werden, welche von einer an der vom Zugfahrzeug abgewandten Rückseite des Anhängers angeordneten Kamera aufgenommen werden. Auf diese Weise kann eine Umgebungsansicht erzeugt werden, in der ein von dem Anhänger blockierter Teil der Umgebung in den Bildern der Rückfahrkamera sichtbar wird, indem der Anhänger zumindest teilweise transparent dargestellt wird, sodass eine zumindest im Wesentlichen unblockierte Darstellung der Umgebung hinter dem Fahrzeug möglich ist. Ein derartiges Verfahren wird zum Beispiel in der Druckschrift WO 2021/046379 A1 beschrieben.
Zur Erzeugung eines quasi-transparenten Anhängers in der Umgebungsansicht ist es erforderlich, die Abmessungen des Anhängers zu kennen, um ein nahtloses Aneinanderfügen der Bilder der verschiedenen Kameras zu ermöglichen. Dazu ist es bekannt, anzunehmen, dass die Darstellung des Anhängers in einem Bild der Rückfahrkamera des Zugfahrzeugs eine vierseitige Fläche ist, deren Abmessungen bekannt sind, zum Beispiel aufgrund einer Eingabe dieser Abmessungen durch einen Benutzers des Fahrzeuggespanns. Die Erzeugung einer transparenten Ansicht des Anhängers im Umgebungsbild ist dabei jedoch auf kastenförmige Anhänger mit bekannten und konstanten Abmessungen beschränkt.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen einer Umgebungsansicht einer zumindest teilweise hinter einem Anhänger eines Fahrzeuggespanns liegenden Umgebung anzugeben, welches insbesondere einen Einsatz des Verfahrens bei unterschiedlichen Anhängern erleichtert.
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass das Verfahren die folgenden Schritte umfasst:
- Erfassen wenigstens eines ersten Kamerabildes mit der wenigstens einen ersten Kamera und wenigstens eines zweiten Kamerabildes mit der zweiten Kamera,
- Ermitteln wenigstens eines einer zum Zugfahrzeug gerichteten Stirnfläche des Anhängers in dem ersten Kamerabild entsprechenden Segments des ersten Kamerabilds durch Segmentierung des ersten Kamerabildes,
- Erzeugen der Umgebungsansicht aus dem ersten Kamerabild und dem zweiten Kamerabild in Abhängigkeit des ermittelten Segments, wobei zumindest ein Teil des Segments mit Bilddaten aus dem zweiten Kamerabild ergänzt wird.
Die erste Kamera kann zum Beispiel an dem Zugfahrzeug angeordnet sein und einen Bereich hinter dem Zugfahrzeug erfassen. Die erste Kamera kann zum Beispiel eine Rückfahrkamera des Zugfahrzeugs sein. Auf dem mit der ersten Kamera aufgenommenen Kamerabild ist die zum Zugfahrzeug gewandte Stirnseite des Anhängers abgebildet. Die Geometrie der zum Zugfahrzeug gerichteten Stirnfläche des Anhängers hängt dabei insbesondere von einem Schwenkwinkel zwischen dem Zugfahrzeug und dem Anhänger ab und kann neben einer Vorderseite oder einem Abschnitt einer Vorderseite des Anhängers auch eine oder mehrere Seiten bzw. Seitenflächen des Anhängers ganz oder zumindest teilweise umfassen. Die Stirnfläche des Anhängers im Sinne der Erfindung ist dabei nicht nur auf eine Stirnseite des Anhängerkörpers beschränkt, sondern kann auch auf dem Anhänger angeordnete und von der ersten Kamera sichtbare Beladung des Anhängers umfassen, zum Beispiel wenn die Beladung ohne Abdeckung oder dergleichen auf einem Anhänger angeordnet ist.
Durch das Segmentieren des ersten Kamerabildes zum Erkennen der in dem ersten Kamerabild abgebildeten Stirnfläche des Anhängers wird es vorteilhaft ermöglicht, Anhängerstirnflächen mit beliebiger Geometrie zu erkennen. Aufgrund der Segmentierung des ersten Kamerabildes zur Erkennung der Darstellung des Anhängers in dem ersten Kamerabild kann der Anhänger somit vorteilhaft unabhängig von einer vorgegebenen Geometrie und unabhängig von im Vorfeld eingegebenen oder anderweitig bereitgestellten Abmessungen erkannt und in der Umgebungsansicht ausgeblendet bzw. mit Bilddaten aus dem zweiten Kamerabild ergänzt werden. Mit Vorteil kann somit eine zumindest teiltransparente Darstellung des Anhängers in der Umgebungsansicht bei beliebig geformten Anhängern erreicht werden.
Vorteilhaft können somit neben kastenförmigen Anhängern auch andere Arten von Anhängern, beispielsweise Anhänger zum Transport von Fahrzeugen wie Bootsanhänger, Motorradanhänger, Autohänger oder Ähnliches, mit und ohne Beladung in der Umgebungsansicht ganz oder teilweise ausgeblendet werden. Gleiches gilt für Anhänger zum Transport von anderen Ladungen, wie Flachbett-Anhänger, Anhänger zum Transport von Schüttgut oder von Containern und so weiter, welche ebenfalls im entladenen Zustand und im ganz oder teilweise beladenen Zustand unterschiedliche Stirnflächen aufweisen können. Ein weiterer Vorteil der erfindungsgemäßen Lösung liegt darin, dass auf ein Bestimmen der Abmessungen des Anhängers, zum Beispiel mittels eines Vermessens des Anhängers, verzichtet werden kann. Dies vereinfacht die Anwendung des Verfahrens im Rahmen eines Fahrerassistenzsystems, da dieses ohne Benutzereingabe von Anhängerdimension oder dergleichen bei unterschiedlichen Anhängern verwendet werden kann. Ferner kann das Verfahren bei einem Anhänger auch ohne weiteres Zutun im unbeladenen sowie in unterschiedlich beladenen Zuständen eingesetzt werden kann.
Mittels der Segmentierung werden insbesondere einzelne Pixel des ersten Kamerabildes der in dem ersten Kamerabild abgebildeten Stirnfläche des Anhängers zugeordnet. Für die Pixel bzw. Pixelbereiche, welche als der Stirnfläche des Anhängers zugehörig ermittelt werden, kann anschließend eine die Pixel umschließende Kontur ermittelt werden, welche das Segment umschließt.
Abhängig von der Ausprägung des Anhängers bzw. seiner Stirnfläche können ein oder mehrere Segmente ermittelt werden. Nicht der Stirnfläche des Anhängers zugeordnete Pixel des ersten Kamerabildes können zum Beispiel weitere Abschnitten des Anhängers und/oder der Umgebung des Fahrzeuggespanns zugeordnet werden.
Das zweite Kamerabild, welches von der zweiten Kamera aufgenommen wird, zeigt die Umgebung des Fahrzeuggespanns hinter dem Anhänger. Die zweite Kamera kann zum Beispiel an einer Rückseite bzw. einem Heck des Anhängers angeordnet sein. Das im ersten Kamerabild ermittelte, wenigstens eine Segment wird anschließend mit Bildinformationen aus dem zweiten Kamerabild ergänzt. Das Segment kann dabei teilweise oder vollständig mit Bilddaten aus dem zweiten Kamerabild ergänzt werden. Die Ergänzung erfolgt dabei insbesondere derart, dass innerhalb des Segments liegende Bildabschnitte der Umgebung, welche aufgrund des Anhängers im ersten Kamerabild nicht zu sehen sind, durch korrespondierende Bildabschnitte des zweiten Kamerabildes aufgefüllt werden. Auf diese Weise kann eine, insbesondere zumindest im Wesentlichen verzerrungsfreie und kontinuierliche, Abbildung der Umgebung hinter dem Fahrzeuggespann als Umgebungsansicht erzeugt werden.
Die Erzeugung der Umgebungsansicht kann in Abhängigkeit einer Positionsinformation, welche die relative Anordnung zwischen der ersten Kamera und der zweiten Kamera beschreibt, erfolgen. Auf diese Weise können die Bilddaten aus dem zweiten Kamerabild möglichst nahtlos und möglichst verzerrungsfrei in das in dem ersten Kamerabild ermittelte Segment eingefügt werden. Die Positionsinformation kann dabei insbesondere einen räumlichen Versatz zwischen der ersten Kamera und der zweiten Kamera, beispielsweise durch eine Translation und/oder eine Rotation, beschreiben. Die Positionsinformation kann initial vorgegeben und beispielsweise durch eine Messung bestimmt sein und/oder fortlaufend, insbesondere während einer Fahrbewegung des Fahrzeuggespanns, ermittelt werden.
Eine fortlaufende Ermittlung der Positionsinformation kann dabei zum Beispiel durch Odometrie und/oder durch maschinelles Sehen, beispielsweise auf Grundlage eines optischen Flusses oder von get ckten Merkmalen in den ersten und/oder zweiten Kamerebildern, erfolgen. Zur Ermittlung der Positionsinformation können auch extrinsische Kameraparemeter der ersten Kamera und/oder extrinsische Kameraparemeter der zweiten Kamera und/oder ein Fahrzeugmodell des Zugfahrzeugs, des Anhängers und/oder des Fahrzeuggespanns verwendet werden.
Die Segmentierung findet insbesondere fortlaufend für eine Mehrzahl von ersten Kamerebildern, insbesondere für in einem Videofluss aufgenommene erste Kamerabilder, statt. Entsprechend werden in die fortlaufend ermittelten und segmentierten ersten Kamerabilder auch Bilddaten aus ebenfalls fortlaufend ermittelten zweiten Kamerebildern ergänzt, sodass die Umgebungsansicht ebenfalls als ein Bilderstrom bzw. Video dargestellt werden kann. Die Umgebungsansicht kann zum Beispiel auf einer in dem Zugfahrzeug angeordneten und von einem Fahrer des Zugfahrzeugs einsehbaren Anzeigeeinrichtung dargestellt werden. Erfindungsgemäß kann vorgesehen sein, dass in Abhängigkeit der Position einer oder mehrerer Kanten des wenigstens einen Segments in dem ersten Kamerabild sowie der Position eines Ankopplungspunkts, an dem der Anhänger lateral schwenkbar an das Zugfahrzeug angekoppelt ist, ein lateraler Schwenkwinkel des Anhängers ermittelt wird, wobei die Umgebungsansicht in Abhängigkeit des lateralen Schwenkwinkels erzeugt wird und/oder wobei bei Überschreiten eines Schwenkwinkelgrenzwerts eine Warnung an einen Fahrer des Zugfahrzeugs und/oder ein Steuerbefehl an einen Aktor des Zugfahrzeugs ausgegeben wird.
Die Kanten können zum Beispiel mithilfe eines Line-Fitting-Algorithmus ermittelt werden. Der Ankopplungspunkt kann beispielsweise aus einem in einer zur Durchführung des Verfahrens ausgebildeten Recheneinrichtung hinterlegten, dreidimensionalen Fahrzeugmodell und/oder mithilfe eines Bilderkennungsalgorithmus aus dem ersten Kamerabild bestimmt werden. Die Ermittlung des lateralen Schwenkwinkels zwischen dem Zugfahrzeug und dem Anhänger, also dem Winkel einer Drehung des Anhängers um den Ankopplungspunkt, welche zum Beispiel bei einer Kurvenfahrt des Fahrzeuggespanns auftreten kann, aus dem wenigstens einen im ersten Kamerabild ermittelten Segment hat den Vorteil, dass keine weiteren Vorrichtungen oder Algorithmen zur Ermittlung dieses Winkels eingesetzt werden müssen.
Vorteilhaft kann somit auf Sensoren, welche den Schwenkwinkel messen, sowie auf eine zusätzliche Auswertung des ersten Kamerabildes und/oder weiterer Bilddaten verzichtet werden.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die jeweiligen Schnittpunkte zweier seitlicher Kanten des Segments, welche den seitlichen Kanten des Anhängers entsprechen, mit einer unteren Kante des Segments, welche einer unteren Kante des Anhängers entspricht, ermittelt werden, wobei der laterale Schwenkwinkel aus einer Projektion der Schnittpunkte und des Ankoppelpunkts auf eine sich parallel zu einer Fahrbahnebene des Fahrzeuggespanns erstreckenden Grundebene ermittelt wird. Dabei wird davon ausgegangen, dass sich das Zugfahrzeug und der Anhänger auf derselben Fahrbahn bzw. auf einer gemeinsamen Ebene bewegen. Aus den seitlichen Kanten des Anhängers, insbesondere aus den seitlichen Kanten einer zum Zugfahrzeug gewandten Vorderseite des Anhängers, sowie der unteren Kante des Anhängers lassen sich zwei Schnittpunkte bestimmen, welche von der Orientierung des Anhängers zum Zugfahrzeug und somit vom lateralen Schwenkwinkel abhängen. Diese Schnittpunkte sowie der Ankopplungspunkt können anschließend in die Grundebene projiziert werden. Der Schwenkwinkel kann dabei zum Beispiel als der Winkel zwischen einer Längsrichtung des Zugfahrzeugs und einem Lot von der Projektion des Ankoppelpunkts auf die Gerade zwischen den Projektionen der Schnittpunkten ermittelt werden.
Erfindungsgemäß kann vorgesehen sein, dass durch die Segmentierung des ersten Kamerabildes wenigstens ein weiteres Segment ermittelt wird, wobei das weitere Segment einem Koppelabschnitt des Anhängers entspricht. Die Darstellung des Koppelabschnitts des Anhängers kann nicht durch das Kamerabild der zweiten, anhängerseitigen Kamera ersetzbar sein, sodass dieses weiterhin in der Umgebungsansicht angezeigt wird. Ferner ermöglicht es die Darstellung des Koppelabschnitts auch, dass ein Fahrer durch die Abbildung des Koppelabschnitts in der Umgebungsansicht den aktuellen Winkel zwischen Zugfahrzeug und Anhänger auch bei insbesondere vollständig transparent dargestellter Stirnfläche des Anhängers erkennen kann.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Segmentierung des ersten Kamerabildes durch ein neuronales Netz erfolgt und/oder dass die Segmentierung des ersten Kamerabildes durch semantische Segmentierung, insbesondere einen Content-Guided-Network-Algorithmus, erfolgt.
Eine Beschreibung des Content-Guided-Network-Algorithmus findet sich zum Beispiel in dem Artikel WU, Tianyi, et al. Cgnet: A light-weight context guided network for semantic segmentation. IEEE Transactions on Image Processing, 2020, 30. Jg., S. 1169-1179. Die Erfindung ist jedoch nicht auf diese Art von Algorithmus beschränkt, es können auch andere Algorithmen für eine semantische Segmentierung von Bilddaten für die Ermittlung des wenigstens einen Segments in dem ersten Kamerabild eingesetzt werden.
Erfindungsgemäß kann vorgesehen sein, dass eine Kameraanordnung verwendet wird, welche eine oder mehrere dritte Kameras, welche jeweils einen seitlichen Umgebungsbereich des Zugfahrzeugs und/oder des Anhängers erfassen, verwendet wird, wobei die Umgebungsansicht zusätzlich aus einem oder mehreren dritten Kamerabildern der dritten Kameras erzeugt wird.
Durch die Verwendung einer oder mehrerer dritter Kameras, welche jeweils einen Teil der seitlichen Umgebung des Fahrzeuggespanns erfassen, kann die Umgebungsansicht erweitert werden, sodass auch Bereiche seitlich neben und/oder seitlich hinter dem Fahrzeuggespann abgebildet werden können.
Für ein erfindungsgemäßes Verfahren zum Trainieren eines neuronalen Netzes für die Segmentierung eines Bildes, insbesondere für die Verwendung in einem erfindungsgemäßen Verfahren, ist vorgesehen, dass es die folgenden Schritte umfasst:
- Bereitstellen wenigstens eines Trainingsdatensatzes umfassend mehrere Trainingsbilder, welche jeweils wenigstens eine zu einer Aufnahmeposition des Trainingsbildes gerichtete Stirnfläche eines Anhängers als eine Grundwahrheit abbilden,
- Zuweisen jeweils wenigstens eines Segments zu den Trainingsbildern, wobei das Segment jeweils der Stirnfläche des Anhängers in dem Trainingsbild entspricht, und
- Optimieren des neuronalen Netzes hinsichtlich einer Übereinstimmung zwischen dem wenigstens einen Segment und der durch die Grundwahrheit beschriebenen Stirnfläche des Anhängers.
Ein gemäß des vorangehend beschriebenen Verfahrens trainiertes neuronales Netz kann bevorzugt in einem erfindungsgemäßen Verfahren zum Erzeugen einer Umgebungsansicht einer zumindest teilweise hinter einem Anhänger eines den Anhänger und ein Zugfahrzeug umfassenden Fahrzeuggespanns liegenden Umgebung verwendet werden. Das neuronale Netz kann dabei zur Segmentierung des wenigstens einen ersten Kamerabildes eingesetzt werden, sodass vorteilhaft das wenigstens eine, die Stirnseite des Anhängers umfassende Segment des ersten Kamerabildes ermittelt werden kann.
Zum Trainieren des neuronalen Netzes wird ein Trainingsdatensatz verwendet, welcher einer Vielzahl von Trainingsbildern umfasst. Auf jedem der Trainingsbilder ist dabei eine zu einer Aufnahmeposition des jeweiligen Trainingsbildes gerichtete Stirnfläche eines Anhängers zu sehen, welche eine Grundwahrheit des jeweiligen Trainingsbildes darstellt. Bei den Trainingsbildern kann es sich beispielsweise um Bilder handeln, welche von der Rückfahrkamera des Zugfahrzeugs eines Fahrzeuggespanns aufgenommen wurden und auf welchen ein Anhänger des Fahrzeuggespanns zu erkennen ist.
Diesen Trainingsbildern kann dann jeweils wenigstens ein Segment zugewiesen werden, welches der Stirnfläche des in dem jeweiligen Trainingsbild abgebildeten Anhängers entspricht. Anschließend kann das neuronale Netz derart trainiert werden, dass die Parameter des neuronalen Netzes an eine Übereinstimmung der Segmente mit den als Grundwahrheit in den Trainingsbildern vorhandenen Abbildungen der Stirnflächen der Anhänger angepasst werden. Die Trainingsbilder umfassen bevorzugt Darstellungen unterschiedlicher Typen von Anhängern und/oder unterschiedlicher Beladungszuständen von Anhängern.
Erfindungsgemäß kann vorgesehen sein, dass zumindest ein Teil der Trainingsbilder einen Koppelabschnitt des Anhängers als eine weitere Grundwahrheit abbilden, wobei dem Koppelabschnitt ein weiteres Segment zugewiesen wird und das neuronale Netz auch hinsichtlich einer Übereinstimmung zwischen dem wenigstens einen weiteren Segment und dem durch die weitere Grundwahrheit beschriebenen Koppelabschnitt optimiert wird.
Dadurch, dass den Trainingsbildern jeweils auch eine einen Koppelabschnitt des
Anhängers zeigende Grund war zugewiesen wird, können die Parameter des neuronalen Netzes vorteilhaft auch hinsichtlich einer Übereinstimmung zwischen den dem Koppelabschnitt entsprechenden weiteren Segmenten und der Grundwahrheit angepasst werden. Dadurch ergibt sich ein Training des neuronalen Netzes auch für die Erkennung von Koppelabschnitten von Anhängern.
Für ein erfindungsgemäßes Steuergerät ist vorgesehen, dass es zum Empfang wenigstens eines ersten Kamerabildes und wenigstens eines zweiten Kamerabildes ausgebildet ist, wobei das Steuergerät zur Durchführung eines erfindungsgemäßen Verfahrens zum Erzeugen einer Umgebungsansicht eingerichtet ist.
Das Steuergerät kann dabei insbesondere mit wenigstens einer ersten Kamera, wenigstens einer zweiten Kamera und optional auch mit einer oder mehreren dritten Kameras verbindbar sein. Die Verbindungen zwischen dem Steuergerät und den Kameras können dabei beispielsweise als kabelgebundene oder drahtlose Kommunikationsverbindungen realisiert sein. Dies ermöglicht, dass die ersten Kamerabilder, die zweiten Kamerabilder sowie gegebenenfalls auch die Bilder von den dritten Kameras an das Steuergerät übertragen werden können.
Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es ein erfindungsgemäßes Steuergerät umfasst. Das Fahrzeug kann ein Kraftfahrzeug, zum Beispiel ein Personenkraftwagen oder ein Lastkraftwagen, oder ein Anhänger sein.
Ein erfindungsgemäßes Computerprogramm umfasst Instruktionen, welche eine Recheneinrichtung dazu veranlassen, ein erfindungsgemäßes Verfahren auszuführen. Das erfindungsgemäße Computerprogramm kann insbesondere auf einem nicht-transienten Datenträger gespeichert sein oder von einer Recheneinrichtung über eine Kommunikationsverbindung, beispielsweise das Internet, abrufbar und/oder herunterladbar sein. Bei der Recheneinrichtung kann es sich zum Beispiel um ein Steuergerät eines Fahrzeugs oder um eine mit einem solchen Steuergerät kommunizierende, fahrzeugexterne Recheneinrichtung handeln. Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren zum Erzeugen einer Umgebungsansicht beschriebenen Vorteile und Ausgestaltungen gelten entsprechend auch für das erfindungsgemäße Verfahren zum Trainieren eines neuronalen Netzes, das erfindungsgemäße Steuergerät, das erfindungsgemäße Fahrzeug und das erfindungsgemäße Computerprogramm sowie jeweils umgekehrt.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
Fig. 1 ein Fahrzeuggespann umfassend ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs,
Fig. 2 eine Darstellung der relativen Anordnung einer ersten Kamera und einer zweiten Kamera,
Fig. 3 ein Beispiel für ein erstes Kamerabild,
Fig. 4 das Beispiel des ersten Kamerabilds nach Ermitteln des wenigstens einen Segments,
Fig. 5 ein grafische Darstellung eines ersten Schritts einer Ermittlung eines Schwenkwinkels zwischen Zugfahrzeug und Anhänger aus dem segmentierten ersten Kamerabild,
Fig. 6 ein grafische Darstellung eines zweiten Schritts der Ermittlung des Schwenkwinkels und
Fig. 7 ein Ausführungsbeispiel eines Verfahrens zum Trainieren eines neuronalen Netzes für die Segmentierung eines Bildes. In Fig. 1 ist ein Fahrzeuggespann 1 dargestellt. Das Fahrzeuggespann 1 umfasst ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs als Zugfahrzeug 2 und einen an das Zugfahrzeug 2 angekoppelten Anhänger 3. Das Zugfahrzeug 2 ist als ein Kraftfahrzeug, beispielsweise als ein Personenkraftwagen oder ein Lastkraftwagen, ausgeführt.
Am Heck des Zugfahrzeugs 2 ist eine erste Kamera 4 angeordnet. Die erste Kamera 4 kann beispielsweise eine Rückfahrkamera des Zugfahrzeugs 2 sein. An einer Rückseite des Anhängers 3, welche vorliegend vom Zugfahrzeug 2 abgewandt ist, ist eine zweite Kamera 5 angeordnet. Die erste Kamera 4 und die zweite Kamera 5 bilden eine Kameraanordnung des Fahrzeuggespanns 1 . Die Kameraanordnung kann optional auch eine oder mehrere dritte Kameras 6 umfassen, welche beispielsweise das Umfeld des Fahrzeugs Bands 1 seitlich vom Zugfahrzeug 2 bzw. seitlich vom Anhänger 3 erfassen. Die Kameras 4 - 6 der Kameraanordnung sind zum Beispiel drahtlos oder über eine kabelgebundene Kommunikationsverbindung mit einem Steuergerät 7 verbunden, welches zur Durchführung eines Verfahrens zum Erzeugen einer Umgebungsansicht einer zumindest teilweise hinter dem Anhänger 3 des Fahrzeuggespanns 1 liegenden Umgebung ausgebildet ist.
Die am Zugfahrzeug 2 angeordnete erste Kamera 4 erfasst zumindest einen Abschnitt des Anhängers 3 innerhalb eines Erfassungsbereichs 8 der ersten Kamera 4, welcher gestrichelt eingezeichnet ist. Die zweite Kamera 5 erfasst zumindest einen Teilbereich der Umgebung hinter dem Anhänger 3 und weist einen in Fig. 1 ebenfalls gestrichelt dargestellten Erfassungsbereich 9 auf. Die optional ebenfalls vorhandenen dritten Kameras 6 weisen jeweils einen Erfassungsbereich 10 auf, der einen Teilbereich der Umgebung seitlich von dem Fahrzeuggespann 1 abdeckt.
Der Anhänger 3 umfasst einen Koppelabschnitt 11 , mit welchem er an einem Ankoppelpunkt 12, beispielsweise seiner Anhängerkupplung, des Zugfahrzeugs 2 angekoppelt ist. Über den Koppelabschnitt 11 ist der Anhänger 3 zumindest lateral schwenkbar. In diesem Zusammenhang bezieht sich „lateral schwenkbar“ auf ein Verschwenken des Anhängers 3 relativ zum Zugfahrzeug 2 in einer Ebene, welche durch die Fahrzeuglängsrichtung x und die Fahrzeugquerrichtung y aufgespannt wird.
Zum Erzeugen der Umgebungsansicht empfängt das Steuergerät 7 die Kamerabilder der ersten Kamera 4, der zweiten Kamera 5 sowie gegebenenfalls auch der dritten Kameras 6. Aus den empfangenen Kamerabildern erzeugt das Steuergerät 7 eine Umgebungsansicht, welche die Umgebung des Fahrzeuggespanns zumindest teilweise abbildet. Die Umgebungsansicht kann beispielsweise einem Fahrer des Zugfahrzeugs 2 über eine im Inneren des Zugfahrzeugs 2 angeordnete Darstellungseinrichtung (nicht dargestellt) angezeigt werden.
Das Steuergerät 7 ist dazu eingerichtet, in einem ersten Schritt wenigstens ein erstes Kamerabild der ersten Kamera 4 und wenigstens ein zweites Kamerabild der zweiten Kamera 5 zu empfangen. Anschließend ermittelt das Steuergerät 7 wenigstens ein Segment, das einer zum Zugfahrzeug 2 gerichteten Stirnfläche des Anhängers 3 in dem ersten Kamerabild 4 entspricht. Das Ermitteln des Segments erfolgt mittels Segmentierung des ersten Kamerabildes, welche nachfolgend noch genauer beschrieben wird. Anschließend erzeugt das Steuergerät 7 die Umgebungsansicht aus dem ersten Kamerabild und dem zweiten Kamerabild in Abhängigkeit des ermittelten Segments, wobei zumindest ein Teil des Segments mit Bilddaten aus dem zweiten Kamerabild ergänzt wird.
Um die Ergänzung des Segments mit den Bilddaten des zweiten Kamerabilds vornehmen zu können, ist in dem Steuergerät 7 insbesondere eine Positionsinformation, welche die relative Anordnung zwischen der ersten Kamera 4 und der zweiten Kamera 5 beschreibt, hinterlegt. Auch bei der Verwendung von mehreren ersten Kameras 4, mehreren zweiten Kameras 5 und/oder bei der optionalen Verwendung von einer oder mehreren dritten Kameras 6 können die jeweiligen relativen, initialen Anordnungen der Kameras 4, 5, 6 zueinander in Form der Positionsinformation hinterlegt werden, um eine möglichst nahtloses Zusammenfügen der jeweiligen Bilddaten aus den Kamerabildern zu ermöglichen. In Fig. 2 ist die Positionsinformation schematisch für die erste Kamera 4 und die zweite Kamera 5 dargestellt. Die Positionsinformation umfasst zum Beispiel für die erste Kamera 4 einen Translationsvektor T sowie einen Rotationsvektor R, welche die translatorische bzw. rotatorische Anordnung der ersten Kamera 4 in Bezug zu dem Ankopplungspunkt 12 des Anhängers 3 beschreiben. Entsprechend beschreibt die Positionsinformation für die zweite Kamera 5 den translatorischen Versatz der zweiten Kamera 5 zu dem Ankopplungspunkt 12 mit einem Translationsvektor T‘ und den rotatorischen Versatz zu dem Ankopplungspunkt 12 mit einem Rotationsvektor R‘.
Die jeweiligen Komponenten x, y, z der Vektoren T, T‘ und die Komponenten, a, b, c der Vektoren R und R‘ können initial zum Beispiel durch eine Messung und/oder anhand von durch die ersten Kamera 4 und/oder die zweite Kamera 5 ermittelten Bilddaten bestimmt werden. Während eines Fährbetriebs des Fahrzeuggespanns 1 können die Vektoren zw. ihre Komponenten zumindest teilweise neu ermittelt werden, um die Umgebungsansicht zumindest näherungsweise in Echtzeit korrekt darstellen zu können. Für weitere erste Kameras 4, weitere zweite Kameras 5 und/oder optional vorhandene, ein oder mehrere dritte Kameras 6 können entsprechende Vektoren ebenfalls entsprechend ermittelt werden.
Zur Erläuterung der Segmentierung eines ersten Kamerabildes ist in Fig. 3 schematisch ein erstes Kamerabild 13 dargestellt, welches zum Beispiel mit einer ein Fischaugenobjektiv umfassenden ersten Kamera 4 aufgenommen wurde. Das erste Kamerabild 13 zeigt einen Teilbereich des Umfelds des Fahrzeuggespanns 1 hinter dem Zugfahrzeug 2, wobei auch eine zum Zugfahrzeug gewandte Stirnseite des Anhängers 3 zu erkennen ist. Ferner sind auch der Koppelabschnitt 11 , der Ankopplungspunkt 12 sowie weitere Merkmale der Umgebung in dem ersten Kamerabild 13 abgebildet. Alle Abbildungen in dem ersten Kamerabild 13 weisen vorliegend die für ein Fischaugenobjektiv charakteristische Verzerrung auf.
Das erste Kamerabild 13 wird anschließend durch einen in dem Steuergerät 7 implementierten Segmentierungsalgorithmus segmentiert. Ein Beispiel für ein segmentiertes Kamerabild 14 ist in Fig. 4 dargestellt. Mithilfe der Segmentierung wird wenigstens ein der zum Zugfahrzeug 2 gerichteten Stirnfläche des Anhängers 3 entsprechendes Segment 15 des ersten Kamerabilds 13 ermittelt. Die Größe und die Geometrie des Segments 15 richten sich dabei nach den tatsächlichen Abmessungen des Anhängers 3. Das Segment 15 kann neben einem Aufbau des Anhängers 3 auch eine unverdeckt auf dem Anhänger 3 angeordnete Beladung des Anhängers 3 umfassen, sodass vorteilhaft unterschiedliche Typen von Anhängern und/oder unterschiedliche Beladungszustände eines Anhängers erkannt und bei der Erzeugung der Umgebungsansicht mit Bilddaten aus einem zweiten Kamerabild der zweiten Kamera 5 überlagert werden können. Vorteilhaft kann somit eine Umgebungsansicht erzeugt werden, in der der Anhänger 3 bzw. die zum Zugfahrzeug 2 gewandte Stirnfläche des Anhängers 3 transparent erscheint.
Durch die Segmentierung des ersten Kamerabildes 13 wird weiterhin wenigstens ein weiteres Segment 16 ermittelt wird, wobei das weitere Segment 16 dem Koppelabschnitt 11 des Anhängers 3 entspricht. Der Hintergrund des ersten Kamerabildes 13 bildet ein Hintergrundsegment 17. Das Erzeugen der Umgebungsansicht erfolgt anschließend durch ein Ersetzen des gesamten Segments 15 oder zumindest eines Teils des Segments 15 durch Bilddaten aus einem mithilfe der zweiten Kamera 5 erzeugten zweiten Kamerabilds. In dem Hintergrundsegment 17 können beispielsweise die Bilddaten des ersten Kamerabildes 13 verbleiben, sodass sich mithilfe der in das Segment 15 eingefügten Bilddaten des zweiten Kamerabildes eine Rückansicht aus dem Zugfahrzeug 2 ergibt, welche nicht durch den Anhänger 3 blockiert wird.
Zur Erzeugung der transparenten Ansicht wird also das der Stirnfläche des Anhängers 3 in dem ersten Kamerabild 13 entsprechende Segment 15 ganz oder zumindest teilweise mit Bilddaten aus dem zweiten Kamerabild ergänzt. Der Bildbereich außerhalb des Segments 15, also das weitere Segment 16 und das Hintergrundsegment 17, kann dabei insbesondere weiterhin die Bilddaten aus dem ersten Kamerabild beinhalten, da diese die Umgebung des Fahrzeuggespanns 1 abbilden, welche in diesen Bereichen nicht von dem Anhänger 3 verdeckt ist. Für die Ergänzung des Segments 15 mit den Bilddaten aus dem zweiten Kamerabild kann das zweite Kamerabild bearbeitet werden, z.B. durch Zuschneiden und Drehen bzw. durch rotatorisches und/oder translatorisches Transformieren. Zusätzlich oder alternativ dazu können auch weitere Veränderungen und/oder Bearbeitungen an dem zweiten Kamerabild vorgenommen werden, beispielsweise eine Projektion auf eine dem Segment 15 in dem ersten Kamerabild 13 entsprechende Ebene und/oder vergleichbare Transformationen.
Die Segmentierung des ersten Kamerabildes 13 erfolgt zum Beispiel durch ein in dem Steuergerät 7 implementiertes neuronales Netz. Die Segmentierung kann dabei beispielsweise durch semantische Segmentierung, insbesondere einen Content-Guided-Network-Algorithmus, erfolgen.
Die Form des Segments 15 hängt neben der Geometrie des Anhängers 3 sowie gegebenenfalls auf dem Anhänger 3 transportierter Ladung auch von dem lateralen Schwenkwinkel des Anhängers 3, also von dem Winkel, in dem der Anhänger um den Ankoppelpunkt 12 verschwenkt ist, ab. Das Ersetzen zumindest eines Teils des Segments 15 in dem ersten Kamerabild 13 durch Bilddaten des zweiten Kamerabildes, welches vorangehend beschrieben wurde, erfolgt insbesondere in Abhängigkeit des Schwenkwinkels des Anhängers 3. Dadurch können die für die aktuelle Fahrsituation des Fahrzeuggespanns 1 passenden Bilddaten aus dem zweiten Kamerabild für eine nahtlose Umgebungsdarstellung in der Umgebungsansicht ausgewählt und in das Segment 15 eingefügt werden. Durch die Segmentierung des ersten Kamerabildes 13 kann vorteilhaft auch der laterale Schwenkwinkel zwischen dem Zugfahrzeug 2 in dem Anhänger 3 ermittelt werden.
In Fig. 5 ist der erste Schritt der Ermittlung des Schwenkwinkels aus dem segmentierten ersten Kamerabild 14 grafisch dargestellt. Der laterale Schwenkwinkel kann dabei in Abhängigkeit der Position einer oder mehrerer Kanten des wenigstens einen Segments 15 in dem ersten Kamerabild 13 sowie einer Position P1 des Ankopplungspunkts 12, an dem der Anhänger 3 lateral schwenkbar an das Zugfahrzeug 2 angekoppelt ist, ermittelt werden. Dazu werden die jeweiligen Schnittpunkte P2, P3 zweier seitlicher Kanten 18, 19 des Segments 15, welche den seitlichen Kanten des Anhängers 3 entsprechen, mit einer unteren Kante 20 des Segments 15, welche der unteren Kante des Anhängers 3 entspricht, ermittelt. Anschließend werden die Punkte P1 , P2 und P3 auf eine sich parallel zu einer Fahrbahnebene des Fahrzeuggespanns 1 erstreckende Grundebene projiziert.
Fig. 6 zeigt eine Projektion der Schnittpunkte P2, P3 und der Position P1 des Ankoppelpunkts 12 auf die sich in sich in Fahrzeuglängsrichtung x und in Fahrzeugquerrichtung y erstreckende Grundebene, wobei die Projektionen der Punkte P1 , P2 und P3 auf die Grundebene mit P1 ', P2‘ und P3‘ bezeichnet sind. Der laterale Schwenkwinkel a kann dann als der Winkel zwischen der Längsrichtung x des Zugfahrzeugs 2 und einem Lot 21 , welches durch den Punkt P1 ‘ auf eine Gerade 22 zwischen den Projektionen P2‘, P3‘ der Schnittpunkte P2, P3 gefällt wird, ermittelt werden.
Die Umgebungsansicht kann insbesondere in Abhängigkeit des lateralen Schwenkwinkels a erzeugt werden. Zusätzlich oder alternativ dazu ist bei einem Überschreiten eines Schwenkwinkelgrenzwerts durch den ermittelten Schwenkwinkel a die Ausgabe einer Warnung an einen Fahrer des Zugfahrzeugs 2 und/oder die Ausgabe eines Steuerbefehls an einen Aktor des Zugfahrzeugs 2 möglich.
In Fig. 7 ist ein Ausführungsbeispiel für ein Verfahren zum Trainieren eines neuronalen Netzes für die Segmentierung eines Bildes dargestellt. Das Verfahren umfasst die Schritte:
- Bereitstellen (S1 ) wenigstens eines Trainingsdatensatzes umfassend mehrere Trainingsbilder, welche jeweils wenigstens eine zu einer Aufnahmeposition des Trainingsbildes gerichtete Stirnfläche eines Anhängers 3 als eine Grundwahrheit abbilden,
- Zuweisen (S2) jeweils wenigstens eines Segments 15 zu den Trainingsbildern, wobei das Segment 15 jeweils der Stirnfläche des Anhängers 3 in dem Trainingsbild entspricht, und - Optimieren (S3) des neuronalen Netzes hinsichtlich einer Übereinstimmung zwischen dem wenigstens einen Segment 15 und der durch die Grundwahrheit beschriebenen Stirnfläche des Anhängers 3. Dabei ist es möglich, dass zumindest ein Teil der Trainingsbilder den Koppelabschnitt 11 des Anhängers 3 als eine weitere Grundwahrheit abbilden, wobei dem Koppelabschnitt 11 ein weiteres Segment 16 zugewiesen wird und das neuronale Netz auch hinsichtlich einer Übereinstimmung zwischen dem wenigstens einen weiteren Segment 16 und dem durch die weitere Grundwahrheit beschriebenen Koppelabschnitt 11 optimiert wird.

Claims

Patentansprüche
1 . Verfahren zum Erzeugen einer Umgebungsansicht einer zumindest teilweise hinter einem Anhänger (3) eines den Anhänger (3) und ein Zugfahrzeug (2) umfassenden Fahrzeuggespanns (1 ) liegenden Umgebung aus mithilfe einer Kameraanordnung gewonnenen Kamerabildern, wobei die Kameraanordnung wenigstens eine zumindest einen Abschnitt des Anhängers erfassende erste Kamera (4) sowie wenigstens eine zumindest einen Teilbereich der Umgebung hinter dem Anhänger erfassende zweite Kamera (5) aufweist, mit den Schritten:
- Erfassen wenigstens eines ersten Kamerabildes (13) mit der wenigstens einen ersten Kamera (4) und wenigstens eines zweiten Kamerabildes mit der zweiten Kamera (5),
- Ermitteln wenigstens eines einer zum Zugfahrzeug (2) gerichteten Stirnfläche des Anhängers (3) in dem ersten Kamerabild (13) entsprechenden Segments (15) des ersten Kamerabilds (13) durch Segmentierung des ersten Kamerabildes (13) und
- Erzeugen der Umgebungsansicht aus dem ersten Kamerabild (13) und dem zweiten Kamerabild in Abhängigkeit des ermittelten Segments (15), wobei zumindest ein Teil des Segments (15) mit Bilddaten aus dem zweiten Kamerabild ergänzt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in Abhängigkeit der Position einer oder mehrerer Kanten (18, 19, 20) des wenigstens einen Segments (15) in dem ersten Kamerabild (13) sowie der Position (P1 ) eines Ankopplungspunkts (12), an dem der Anhänger (3) lateral schwenkbar an das Zugfahrzeug (2) angekoppelt ist, ein lateraler Schwenkwinkel des Anhängers (3) ermittelt wird, wobei die Umgebungsansicht in Abhängigkeit des lateralen Schwenkwinkels erzeugt wird und/oder wobei bei Überschreiten eines Schwenkwinkelgrenzwerts eine Warnung an einen Fahrer des Zugfahrzeugs (2) und/oder ein Steuerbefehl an einen Aktor des Zugfahrzeugs (2) ausgegeben wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die jeweiligen Schnittpunkte (P2, P3) zweier seitlicher Kanten (18, 19) des Segments (15), welche den seitlichen Kanten des Anhängers (3) entsprechen, mit einer unteren Kante des Segments (15), welche einer unteren Kante (20) des Anhängers (3) entspricht, ermittelt werden, wobei der laterale Schwenkwinkel aus einer Projektion der Schnittpunkte (P2, P3) und der Position (P1 ) des Ankoppelpunkts (12) auf eine sich parallel zu einer Fahrbahnebene des Fahrzeuggespanns (1 ) erstreckenden Grundebene ermittelt wird.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass durch die Segmentierung des ersten Kamerabildes (13) wenigstens ein weiteres Segment (16) ermittelt wird, wobei das weitere Segment (16) einem Koppelabschnitt (11 ) des Anhängers (3) entspricht.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Segmentierung des ersten Kamerabildes (13) durch ein neuronales Netz erfolgt und/oder dass die Segmentierung des ersten Kamerabildes (13) durch semantische Segmentierung, insbesondere einen Content-Guided-Network-Algorithmus, erfolgt.
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Kameraanordnung verwendet wird, welche eine oder mehrere dritte Kameras (6), welche jeweils einen seitlichen Umgebungsbereich des Zugfahrzeugs (2) und/oder des Anhängers (3) erfassen, verwendet wird, wobei die Umgebungsansicht zusätzlich aus einem oder mehreren dritten Kamerabildern der dritten Kameras (6) erzeugt wird. Verfahren zum Trainieren eines neuronalen Netzes für die Segmentierung eines Bildes, insbesondere für die Verwendung in einem Verfahren nach einem der vorangehenden Ansprüche, umfassend die Schritte:
- Bereitstellen wenigstens eines Trainingsdatensatzes umfassend mehrere Trainingsbilder, welche jeweils wenigstens eine zu einer Aufnahmeposition des Trainingsbildes gerichtete Stirnfläche eines Anhängers (3) als eine Grundwahrheit abbilden,
- Zuweisen jeweils wenigstens eines Segments (15) zu den Trainingsbildern, wobei das Segment (15) jeweils der Stirnfläche des Anhängers (3) in dem Trainingsbild entspricht, und
- Optimieren des neuronalen Netzes hinsichtlich einer Übereinstimmung zwischen dem wenigstens einen Segment (15) und der durch die Grundwahrheit beschriebenen Stirnfläche des Anhängers (3). Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass zumindest ein Teil der Trainingsbilder einen Koppelabschnitt (11 ) des Anhängers (3) als eine weitere Grundwahrheit abbilden, wobei dem Koppelabschnitt (11 ) ein weiteres Segment (16) zugewiesen wird und das neuronale Netz auch hinsichtlich einer Übereinstimmung zwischen dem wenigstens einen weiteren Segment (16) und dem durch die weitere Grundwahrheit beschriebenen Koppelabschnitt (11 ) optimiert wird. Steuergerät ausgebildet zum Empfang wenigstens eines ersten Kamerabildes (13) und wenigstens eines zweiten Kamerabildes, wobei das Steuergerät (7) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 6 eingerichtet ist. Fahrzeug umfassend ein Steuergerät (7) nach Anspruch 9. Computerprogramm, umfassend Instruktionen, welche eine Recheneinrichtung dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
EP23771765.7A 2022-10-12 2023-09-04 Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm Pending EP4602554A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022210732 2022-10-12
PCT/DE2023/200177 WO2024078667A1 (de) 2022-10-12 2023-09-04 Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm

Publications (1)

Publication Number Publication Date
EP4602554A1 true EP4602554A1 (de) 2025-08-20

Family

ID=88069002

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23771765.7A Pending EP4602554A1 (de) 2022-10-12 2023-09-04 Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm

Country Status (3)

Country Link
EP (1) EP4602554A1 (de)
DE (1) DE112023004244A5 (de)
WO (1) WO2024078667A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024211587B3 (de) 2024-12-04 2026-03-19 Aumovio Autonomous Mobility Germany Gmbh Verfahren zum Schätzen eines Anhängerwinkelwerts, Steuergerät und Fahrzeug

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
JP7416918B2 (ja) 2019-09-04 2024-01-17 コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー トレーラ連結透視図
US11403767B2 (en) * 2020-09-15 2022-08-02 Connaught Electronics, Ltd. Method and apparatus for detecting a trailer, tow-ball, and coupler for trailer hitch assistance and jackknife prevention

Also Published As

Publication number Publication date
WO2024078667A1 (de) 2024-04-18
DE112023004244A5 (de) 2025-07-31

Similar Documents

Publication Publication Date Title
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
EP3743312B1 (de) Kamera-monitor-system sowie verfahren und vorrichtung zum betreiben eines kamera-monitor-systems für ein kraftfahrzeug
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
DE102013214368A1 (de) Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102010006521A1 (de) Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
EP4308418B1 (de) Verfahren und umfeld-erfassungssystem zum erzeugen eines umgebungsbildes eines mehrgliedrigen gesamtfahrzeugs
DE102019122086A1 (de) Fahrerassistenz für eine Kombination
DE102024114360A1 (de) Fahrzeugkamerasystem
DE102019133948A1 (de) Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger
EP3556090B1 (de) Dreidimensionales rundumsichtsystem
EP3476696B1 (de) Verfahren zum ermitteln von objektgrenzen eines objekts in einem aussenbereich eines kraftfahrzeugs sowie steuervorrichtung und kraftfahrzeug
DE102008030104A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
EP4602554A1 (de) Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
EP3743311B1 (de) Verfahren und vorrichtung zum betreiben eines kamera-monitor-systems für ein kraftfahrzeug
DE102020122908A1 (de) Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges auf einer Anzeigeeinrichtung, Verarbeitungseinheit und Fahrzeug
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
WO2023016798A1 (de) Verfahren zur darstellung einer rückwärtigen umgebung einer mobilen plattform, die mit einem anhänger gekoppelt ist
EP4198482B1 (de) Erstellen von testdaten mit konsistenten anfangsbedingungen zum stimulieren eines zu testenden steuergeräts

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250512

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)