EP4128160A1 - Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug - Google Patents

Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug

Info

Publication number
EP4128160A1
EP4128160A1 EP21715163.8A EP21715163A EP4128160A1 EP 4128160 A1 EP4128160 A1 EP 4128160A1 EP 21715163 A EP21715163 A EP 21715163A EP 4128160 A1 EP4128160 A1 EP 4128160A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
markers
marker
trailer
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21715163.8A
Other languages
English (en)
French (fr)
Inventor
Tobias KLINGER
Dennis Sabelhaus
Oliver WULF
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF CV Systems Global GmbH
Original Assignee
ZF CV Systems Global GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF CV Systems Global GmbH filed Critical ZF CV Systems Global GmbH
Publication of EP4128160A1 publication Critical patent/EP4128160A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/245—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for determining a pose of an object, a method for controlling a vehicle, and a control unit and a vehicle for performing the method.
  • a stereo camera can be used, for example, which recognizes the trailer or two-dimensional or flat markers on the trailer or on components of the trailer and derives depth information therefrom.
  • This is described by way of example in DE 102016011 324 A1, DE 10 2018 114730 A1, WO 2018/210990 A1 or DE 102017 119968 A1.
  • a position and an orientation, i.e. a pose, of the respective object relative to the camera or the towing vehicle can be derived from this.
  • a kink angle or a distance can be determined.
  • the pose can also be determined with a mono camera by localizing at least three markers, which are preferably applied flatly on the object, in the image and, knowing the marker positions on the object, determining a transformation matrix from which the pose of the object on which they are located can be derived.
  • DE102018210340A1 it is also provided to determine a distance to a swap body by adding a size of three applied markers is compared with stored sizes for these markers.
  • the markers are coded accordingly so that their size can be determined in advance using a camera.
  • An angular offset can also be estimated from a relative position of individual markers to one another.
  • Detection of a kink angle by means of a camera is also described in US 2014200759 A, a flat marker on the trailer being observed over time from the towing vehicle and the kink angle being estimated therefrom.
  • JP 2002012 172 A, US2014277942A1, US 2008231 701 A and US 2017106796 A also describe knee angle detection as a function of flat markers.
  • coupling points can carry a marker to facilitate automatic detection.
  • the marker can have a special color, texture or wave reflection property.
  • DE 102004025252 B4 also describes how to determine the kink angle by transmitting radiation from a transmitter onto a semicircular or hemispherical reflector and then detecting the radiation reflected therefrom.
  • DE 10302545 A1 also describes the detection of a clutch using an object recognition algorithm.
  • EP 3 180769 B1 also describes how to use cameras to record a rear side of a trailer and to recognize traceable features from the image, e.g. an edge or corner. These are then tracked over time, in particular to infer a bend angle between the pulling vehicle and the trailer. This means that no specially applied markers are used.
  • US 2018039266 A also describes how to access information from a two-dimensional barcode or QR code.
  • a QR code can also be read out with a camera in order to identify the trailer and to pass on trailer parameters to a reversing assistant.
  • an am RFID reader located on a trailer read out an RFID transponder that is attached to the towing vehicle, for example in the form of a label. This allows a position of the QR code or the RFID transponder to be calculated. An orientation is not determined.
  • a solution using radio-based transponders is also provided in W01 8060192A1.
  • RFID elements are also used on the trailer for triangulation when approaching Fier.
  • an observation element which has at least three auxiliary points or measuring points that can be recognized by a camera.
  • the coordinates or vectors of the centers of gravity of the auxiliary points are determined from geometric considerations, and from this the coordinates of the measurement points relative to the camera or the image sensor.
  • a kink angle can be determined from this.
  • the object of the invention is therefore to provide a method which enables a simple and reliable determination of the pose of an object and a subsequent processing or use of this pose for controlling the vehicle.
  • the object of the invention is also to provide a control unit and a vehicle for carrying out the method.
  • a pose ie a combination of a position and an orientation, an object with an object width and an object height relative to a one-part or multi-part vehicle, the object and the vehicle ge against each other are movable, and the object has at least three markers, preferably at least four markers, namely spatially extended markers or markers with a spatial geometry, for example with a spherical or cylindrical or cuboid geometry.
  • the at least three, preferably at least four markers lie in the same object plane on the object and no line can be laid through the at least three, preferably at least four markers. It is assumed here that the object plane described by the marker also lies approximately on the respective object, so that the pose can be estimated from this.
  • the object is captured by at least one camera on the vehicle and at least the following steps are carried out:
  • a transformation matrix (homography) as a function of the marker positions and / or the marker vectors and as a function of the marker images, the transformation matrix being the spatially extended markers on the object or the first coordinate system on the Marker mapping in the image of the camera on the vehicle or a Schmko ordinatensystem maps;
  • At least three markers are required to determine the transformation matrix, in which case - possibly with further additional information - a transformation matrix can at least be estimated, possibly with heuristic methods. However, it is more precise if four or more markers are present on the respective object, since a clearly defined transformation matrix or flomography matrix can then be determined using known methods.
  • spatially extended markers can still be detected very well by the camera of the vehicle even at large bending angles or at extreme viewing angles, because they protrude from the object plane and can thus be better perceived.
  • This provides a method for determining both the position and the orientation of the object that is almost invariant to the viewing angle.
  • This is also made possible by monocular image processing so that stereo cameras do not necessarily have to be used to obtain depth information on the object from which the pose can be geometrically derived. This simplifies the process and the costs can be kept low.
  • the spatial markers can be displayed on the image plane with high contrast even in poor visibility or ambient conditions, so that the marker images can be used in different environments. Practice conditions and visual conditions allow sufficient information to be determined about the object level.
  • a coupling assistance function as a function of a normal distance and / or reference distance derived from the determined pose of the object between the towing vehicle as a vehicle and a trailer to be coupled as an object on which the markers are arranged.
  • the towing vehicle is then controlled manually or automatically in such a way that a second coupling point on the towing vehicle, for example a (fifth wheel) coupling, approaches a first coupling point on the trailer to be coupled, for example a kingpin or a drawbar, and the two coupling points at one common pivot point can be coupled together, or
  • a distance assistance function as a function of a normal distance and / or reference distance derived from the determined pose between the towing vehicle as a vehicle and a building as an object on which the markers are arranged, for example a loading ramp or a garage door, or a foreign vehicle is controlled as the object on which the markers are arranged.
  • the method for determining the pose of the object and / or also the control of the vehicle are carried out on a control unit according to the invention in a vehicle. It is preferably also provided that at least one of the at least three markers
  • - Has a self-luminous coating, for example a fluorescent coating, or the like.
  • the spatially extended markers can advantageously be used to ensure that the object plane or the pose of the object can also be detected with high contrast in the dark. This means that the respective assistance functions can also be reliably carried out in the dark.
  • the self-luminous coating or the fluorescent coating have the advantage that no energy sources are required on the object.
  • the light source is controlled in at least one of the at least three markers and / or the ambient light as a function of a state of motion of the vehicle and / or the object. This saves energy, since the markers are actually only actively illuminated when this is absolutely necessary, for example when moving as part of one of the driver assistance functions.
  • the markers can be illuminated in a targeted manner in order to additionally assist the driver, so that the driver can for example use a display device to see how far he can drive backwards before the respective object or the object plane defined by the marker is reached. Even in the case of adjacent objects, it is possible to distinguish between objects in the dark by means of color coding or flashing light coding. Such a color coding can also be achieved by the self-luminous coating, which can be applied to the respective marker in predefined colors depending on the marker position on the object.
  • the light sources in at least one of the at least three markers are supplied with energy from an energy source, for example a solar panel, on the object.
  • an energy source for example a solar panel
  • the illumination of the markers on the object is independent of the presence of a vehicle, for example in the non-coupled state.
  • the markers on the object for example on the trailer, can thus be individually illuminated when parking in a depot.
  • At least one of the at least three markers is formed by a clearance light or outline lighting on the edges of the object.
  • the ambient light emits visible and / or invisible radiation onto the markers and that the markers have a reflective coating. As a result, good visibility can be achieved in a variable manner.
  • a QR code and / or a barcode and / or an Aruco marker is applied to the surface of at least one of the markers or adjacent to at least one of the markers and the QR code and / or the barcode and / or the Aruco marker is captured by the camera.
  • coded information can be read out without using separate data transmission.
  • the marker positions and / or the marker vectors in the vehicle can be determined in a simple manner, which are necessary for determining the transformation matrix in order to be able to infer the pose from the transformation matrix.
  • an object width and / or an object height can be coded on the respective code or marker in a simple manner so that this information can also be accessed from the vehicle without further data transmission or any other reading in of the data to need.
  • the object width of the object and / or the object height of the object and / or a first reference point on the object can, however, preferably also be determined as a function of the spatial arrangement of the recognized markers on the object / or at least be estimated. Accordingly, a specific coding can also be achieved in this way without an additional Data transfer is necessary.
  • the object width of the object and / or the object height of the object and / or a first reference point on the object and / or the marker positions and / or the marker vectors via a communication unit on the object, for example in the markers, preferably transmitted to the vehicle via Bluetooth or RFID.
  • a communication unit on the object for example in the markers, preferably transmitted to the vehicle via Bluetooth or RFID.
  • the camera additionally records surface markings which are arranged adjacent to at least one of the markers on the object, the position of the object being redundantly determined from the surface markings recorded.
  • the area markings can for example also be used for a rough adjustment or rough determination of the pose if, for example, the determination of the pose from the spatial markers is still too imprecise because, for example, the resolution of the camera is too low.
  • the area markings can accordingly be resolved to a greater extent without great effort, the area markings advantageously also being illuminated in the dark due to their proximity to the spatial markers, so that a double function can be achieved through the illumination.
  • the extent of the spatial markers can be kept small, since these are only necessary for fine adjustment, for example during a coupling process or during another approach process.
  • the area markings and / or the markers are at least partially arranged at the edges of the object and an object width of the object and / or an object height of the object is derived from the captured image of the camera. Because the markers or area markings - each for themselves or in combination with one another - are arranged at the edges, a contour can be determined from which the respective object width or the object height can also be estimated.
  • the vehicle is in one piece and the object is not connected to the vehicle, the vehicle moving relative to the object and the object being a trailer to be coupled or a building, for example a loading ramp or a garage door, or is a third-party vehicle.
  • the vehicle moving relative to the object and the object being a trailer to be coupled or a building, for example a loading ramp or a garage door, or is a third-party vehicle.
  • the vehicle is in several parts, i.e. has at least one towing vehicle and at least one trailer, and the camera is arranged on a towing vehicle and / or on a trailer coupled to it, with
  • the object is connected to the multi-part vehicle in the form of a trailer coupled to the towing vehicle, the trailer moving rela tively to the towing vehicle at least temporarily or pivoting in relation to it, or
  • the object is not connected to the multi-part vehicle, the object being a building, for example a loading ramp or a garage door, or a third-party vehicle on which the markers are respectively arranged.
  • This object can then be in front of or next to the towing vehicle or behind or next to the coupled trailer, with the camera being aligned accordingly to the part of the environment.
  • the image of the camera is displayed on a display device, the image from the display device being a normal distance and / or a reference distance (as well as their lateral and vertical components) and / or a contour of the object and / or control information and / or an articulation angle between the towing vehicle and the trailer and / or a first coupling point (e.g.
  • king pin, drawbar and / or a second coupling point (e.g. (saddle) coupling) and / or a trailer identifier and / or a loading space image and / or a trailer center axis determined as a function of the markers and / or a towing vehicle center axis, or axles lying parallel to it, are superimposed.
  • the following information can also be displayed, especially from the po se, so that the driver can perceive this and can react to it in a more targeted manner within the framework of the respective assistance functions.
  • the driver can, for example, take countermeasures manually if the indicated articulation angle is too high or observe the coupling process and manually influence it.
  • FIG. 1 shows a two-part vehicle with markers and cameras
  • FIG. 3 shows a detailed view of a front side of a trailer as
  • FIG. 1 a multi-part vehicle 1 from a train vehicle 2 and a trailer 3 is shown schematically, according to the embodiment shown, a camera 4 with a detection area E is arranged on each of the two vehicle parts 2, 3.
  • a towing vehicle camera 42 with a towing vehicle detection area E2 which is oriented towards the trailer 3
  • a trailer camera 43 with a rearward-facing trailer detection area E3 is arranged on the trailer 3.
  • the cameras 4; 42, 43 each output camera data KD.
  • the vehicle 1 can be designed in several parts, for example as a truck with a truck and drawbar trailer or turntable trailer or as a tractor-trailer with a tractor unit and semi-trailer (see FIG. 1). It is also possible to provide more than just one trailer 3, for example in the case of a EuroCombi or a road train. In principle, however, the vehicle 1 can also only be in one piece.
  • the orientation of the camera 4 is chosen depending on the application. For example, an omnidirectional camera, a fisheye camera or a telephoto lens camera or other types of cameras can be used as the camera 4.
  • the respective camera data KD are generated as a function of an environment U around the vehicle 1, which is located in the respective detection area E and which is imaged on an image sensor 4a of the respective camera 4.
  • An image B of image points BPi with image coordinates xB, yB can therefore be created from the camera data KD, an object point PPi in the vicinity U being assigned to each image point BPi.
  • the object points PPi belong to objects O that are in the vicinity U.
  • the image B can also be displayed to the driver of the vehicle 1 via a display device 8.
  • the camera data KD of the respective camera 4 are transmitted to a control unit 5 in the respective vehicle part 2, 3 or to a higher-level control unit 5 of the vehicle 1, which is designed as a function of the camera data KD from one or more recorded images B to extract marker images M1a, M2a, M3a, M4a, for example by means of edge detection.
  • a marker M1, M2, M3, M4 in the vicinity U is assigned to each marker image M1a, M2a, M3a, M4a.
  • the respective control unit 5 is designed to determine an object plane OE in which the respective markers M1, M2, M3 , M4 are arranged in the vicinity U.
  • markers M1, M2, M3, M4 are provided and that these are at least four markers M1, M2, M3, M4 as shown in FIG. 3, in one plane and not on one Line are located on the object O to be recognized in the environment U, for example on a preferably flat front side 3a of the trailer 3. It is assumed that the object plane OE defined by the markers M1, M2, M3, M4 is actually the object O in the relevant area Describes the area, ie here on the flat front side 3a, at least approximately in an abstract way.
  • the four markers M1, M2, M3, M4 can then be detected by the towing vehicle camera 42, for example.
  • more than four markers M1, M2, M3, M4 can also be provided on the respective object O, with at least four markers M1, M2, M3, M4 being necessary to determine the transformation matrix T in order to obtain a clearly determined transformation matrix T.
  • a transformation matrix T ab can also be estimated with only three markers M1, M2, M3 and possibly further additional information, possibly using heuristic methods, which may then be less precise.
  • transforma- mation matrix T starting from the towing vehicle 2 both a position (translational degree of freedom) and an orientation (rotational degree of freedom) or a combination thereof, ie a pose PO, of the trailer 3 in space relative to the towing vehicle camera 42 and thus also relative to the Towing vehicle 2 can be estimated, as explained in more detail below:
  • image coordinates xB, yB are first determined in the at least one recorded image B in an image coordinate system KB. Since the markers M1, M2, M3, M4 have a certain spatial extent and are therefore mapped flat in the image B, ie several image points BPi are assigned to a marker M1, M2, M3, M4, the center point of the respective marker can, for example -Image M1a, M2a, M3a, M4a is determined and its image coordinates xB, yB are further processed.
  • the control unit 5 knows how the four markers M1, M2, M3, M4 are actually positioned on the object O, e.g. the front side 3a of the trailer 3, relative to one another in the object plane OE. Accordingly, a marker position P1, P2, P3, P4 or a marker vector V1, V2, V3, V4 can be specified for each marker M1, M2, M3, M4 (see FIG. 3).
  • the marker vectors V1, V2, V3, V4 each contain first coordinates x1, y1, z1 of a first coordinate system K1 with a first origin U1, the marker vectors V1, V2, V3, V4 for the respective marker M1, M2, M3, M4 show.
  • the first coordinate system K1 is fixed to the trailer or marker fixed, i.e. it moves with the markers M1, M2, M3, M4.
  • the first origin U1 can lie in a fixed first reference point PB1 on the object O, for example in one of the markers M1, M2, M3,
  • the control unit 5 can now use the known marker vectors V1, V2, V3, V4 or marker positions P1, P2 , P3, P4 of the markers M1, M2, M3, M4 in the first coordinate system K1 a transformation matrix T can be derived.
  • This transformation matrix T indicates how the individual markers M1, M2, M3, M4 as well as the object points PPi of the entire object plane OE, which according to FIG.
  • the transformation matrix T thus indicates how the object plane OE is mapped onto the image plane BE of the image sensor 4a in the current driving situation.
  • the transformation matrix T also contains the information on how the trailer-fixed or marker-fixed first coordinate system K1 is oriented relative to the image coordinate system KB, with both translational and rotational degrees of freedom being included, so that a pose PO (combination of position and orientation ) the object plane OE can be determined relative to the image plane BE.
  • a pose PO combination of position and orientation
  • the object plane OE can be determined relative to the image plane BE.
  • an aspect ratio SV of the image sensor 4a which are stored, for example, on the control unit 5 or transmitted to it, a series of information can be derived from the transformation matrix T, which can be derived from different assistance functions Fi let use.
  • the transformation matrix T follows from the current driving situation of the vehicle 1, it contains, for example, a dependence on an articulation angle KW between the towing vehicle 2 and the trailer 3 and on a normal distance AN between the camera 4 or the image sensor 4a and the object plane OE .
  • These can be determined when the position of the image sensor 4a or the image plane BE of the image sensor 4a is known in a camera-fixed or here also tractor-fixed second coordinate system K2.
  • both the image plane BE with the individual image points BPi and the object plane OE can be expressed in second coordinates x2, y2, z2 of the coordinate system K2 fixed to the towing vehicle, from which the pose PO of the object O relative to the towing vehicle 2 can be determined.
  • the normal distance AN which specifies the perpendicular distance between the object plane OE and the image sensor 4a. If the position of the coordinate systems K1, K2 with respect to one another is known from the transformation matrix T or if the object plane OE can be specified in the second coordinate system K2, then the normal distance NA can be determined in a simple manner. Instead of the normal distance NA, however, a reference distance AR can also be determined, which is measured between a first reference point PR1 in the object plane OE, e.g. on the trailer 3 or on a loading ramp 11a, and a second reference point PR2 on the towing vehicle 2 ( see Fig. 4). If the reference points PR1, PR2 in the respective coordinate system K1, K2 are known, the reference distance AR can be determined from them with simple geometric considerations using the transformation matrix T.
  • a second origin U2 of the second coordinate system K2 can, depending on the application, be at a specified second reference point PB2 on the towing vehicle 2, for example in the image sensor 4a itself or in a second coupling point 7 on the towing vehicle 2, for example in a fifth wheel 7a of a tractor-trailer.
  • the two coupling points 6, 7 thus define a common pivot point DP about which the towing vehicle 2 and the trailer 3 pivot with respect to one another when cornering.
  • the po se PO of the trailer 3 or the pose PO of any other objects O which mark such markers M1, M2, M3, M4 with known marker vectors V1,
  • V2, V3, V4 or marker positions P1, P2, P3, P4 are determined who the.
  • the image coordinate system KB is converted into the first coordinate system K1 by the transformation matrix T, whereby the object level OE can also be represented in the second coordinate system K2.
  • both translational measured variables e.g. the distances AN, AR, and rotational measured variables, e.g. angles, between the towing vehicle 2 and the object plane OE of the respective object O, i.e. the pose PO, ab can be estimated.
  • the markers M1, M2, M3, M4 In order to make the recognition of the markers M1, M2, M3, M4 more reliable, they each have a spatial geometry, preferably a spherical geometry, i.e. they are designed in the form of a sphere.
  • markers M1, M2, M3, M4 are always mapped as a circle in the recorded image B regardless of the viewing angle of the respective camera 4, ie form a two-dimensional projection of image points BPi on the image sensor 4a.
  • the markers M1, M2, M3, M4 are therefore invariant to the viewing angle.
  • markers M1, M2, M3, M4 with other spatial geometries can also be used, for example hemispheres, cubes or cylinders, which can also be detected from different angles by the camera 4 with defined two-dimensional projections.
  • markers M1, M2, M3, M4 for example, fixed clearance lights 21a or from These radiated outline lighting can be used, which may already be present on trailers 3.
  • the markers M1, M2, M3, M4 preferably from the inside or the rear from a marker interior 20 with a corresponding light source 21 (see. Fig. 5a, 5b, 5c), for example an LED, which can be controlled via a lighting control 22 with a lighting signal SL.
  • the respective marker M1, M2, M3, M4 is then at least partially transparent or translucent in order to enable the electromagnetic radiation to exit from the inside or from the rear.
  • the markers M1, M2, M3, M4 can be detected with high contrast by the camera 4 from different angles, even in the dark.
  • the markers M1, M2, M3, M4 or their light sources 21 are preferably supplied with energy via an energy source 23 in the trailer 3 or on the respective object O, wherein the energy source 23 can be charged by solar panels 23a.
  • the markers M1, M2, M3, M4 are illuminated by the lighting control 22 as a function of a movement state Z of the vehicle 1, the towing vehicle 2 and / or the trailer 3, or generally the respective object O.
  • a motion sensor 24 can be provided on the trailer 3 or generally on the object O with the markers M1, M2, M3, M4, which indicates the movement state Z of the vehicle 1, the towing vehicle 2 and / or the trailer 3, or the object O with the markers M1, M2, M3, M4 can detect. If the vehicle 1 or towing vehicle 2 moves in relation to the respective object O or the markers M1, M2, M3, M4, the light sources 21 can be supplied with energy by the light control 22 and thus made to glow. It can preferably also be provided that the light sources
  • the lighting criteria can be the normal distance AN and / or the reference distance AR.
  • the lighting control 22 can, for example, set different colors C for the lighting sources 21 and / or different pulse durations dt (flashing light) by frequency modulating the lighting signal SL. If the distance AN, AR is large, long pulse durations dt can be provided, and if the distance AN, AR is short, shorter pulse durations dt can be provided.
  • a marker position P1, P2, P3, P4 of the respective marker M1, M2, M3, M4 on the respective object O can be taken into account as a further lighting criterion.
  • the lighting control 22 can illuminate a marker located at the top left in red and a marker located at the bottom right in blue. In this way, the driver can better distinguish between objects O lying next to one another, which each have markers M1, M2, M3, M4 for themselves, for example trailers 3 parked parallel to one another.
  • the markers M1, M2, M3, M4 can be visible in other ways in the dark.
  • the markers M1, M2, M3, M4 can be provided on the surface with a self-luminous coating 27, for example a fluorescent coating 27a, or the markers M1, M2, M3, M4 can be made of a self-luminous material.
  • a self-luminous coating 27a for example a fluorescent coating 27a
  • the markers M1, M2, M3, M4 can be made of a self-luminous material.
  • the markers M1, M2, M3, M4 can also be illuminated or illuminated from the outside, for example by an ambient light 25 on the towing vehicle 2 or on the respective vehicle 1, which is attached to a trailer 3, a loading ramp 11 a, or in general to the object O with the markers M1, M2, M3, M4 approximates so that the markers M1, M2, M3, M4 can also be made visible in the dark.
  • the ambient light 25 can in this case emit radiation in the visible or invisible spectrum, for example ultraviolet, and illuminate the markers M1, M2, M3, M4 with it.
  • the markers M1, M2, M3, M4 can also be provided with a corresponding reflective coating 26 in order to be able to reflect the radiation in the respective spectrum back to the camera 4 with high intensity.
  • the ambient light 25 can, like the light source 21, be controlled as a function of the state of motion Z and other light criteria in order to e.g. to be illuminated depending on the normal distance AN and / or the reference distance AR or the state of movement Z.
  • the surface markings Mf can also be illuminated in the dark by the adjacent light sources 21 of the markers M1, M2, M3, M4 or by their self-luminosity or by the ambient light 25 so that they can still be recognized in the dark.
  • the flat marker Mf can also be provided with a self-illuminating coating 27 or a reflective coating 26 in order to be better recognizable even in the dark or to be able to reflect the radiation from the ambient light 25 with high intensity to the respective camera 4.
  • the area markings Mf can be used to identify the object O with the markers M1, M2, M3, M4, for example the trailer 3, over a greater distance of up to 10m if the markers M1, M2, M3, M4 cannot be sufficiently resolved by the camera 4 under certain circumstances.
  • a coarse identification based on the area markings Mf and, depending on this, a targeted approach of the camera 4 to the respective object O can take place until the camera 4 can also adequately resolve the markers M1, M2, M3, M4.
  • the object plane OE can then be determined using only the markers M1, M2, M3, M4 or using the markers M1, M2, M3, M4 and the area markings Mf, so that redundant information can be used for the determination can.
  • the area markings Mf can also provide additional information that can contribute to determining the position of the object plane OE in space.
  • the area markings Mf can be positioned adjacent to the edges 17 of the front side 3a of the trailer 3 or of the respective object O.
  • An object width OB and an object flea OFI of the front side 3a or of the respective object O within the determined object plane OE can therefore be estimated if it is assumed that the markers M1, M2, M3, M4 or at least some of the Markers M1, M2, M3, M4 delimit the object O on the edge.
  • the markers M1, M2, M3, M4 themselves or at least some of the markers M1, M2, M3, M4 can also be arranged in this way on the edges 17, so that their marker positions P1, P2, P3, P4 or marker vectors V1, V2, V3, V4, the object width OB and the object fleas OFI of the object O within the determined object plane OE can be estimated. If more than four markers M1, M2, M3, M4 and / or area markings Mf are provided, these can also delimit a polygonal object area OF in the object plane OE, so that a shape or a contour K of the object O within the determined object plane OE can be extracted. In addition, conclusions can be drawn about the shape of the entire object O, for example in the case of a trailer 3.
  • the object width OB and / or the object height OFI can thus be determined or at least estimated on the basis of different reference points.
  • the corresponding extension of the front side and in the case of a loading ramp 11a or a garage door 11b its areal extension. If it is unknown whether the respective reference points (markers, area markings, etc.) are on the edge, at least an approximate (minimal) limitation of the respective object O and thus an approximate (minimal) object width OB and / or can be derived from this Approximate (minimal) object fleas OFI can be estimated.
  • the area markings Mf can have QR codes CQ or barcodes CB or Aruco markers CA (see FIG. 5a).
  • the object width OB and / or the object fleas OFI of the object O in particular special within the determined object plane OE and / or the marker vectors V1, V2, V3, V4 and / or the marker positions P1, P2 , P3, P4 relative to the first reference point BP1 (for example, the first coupling point 6 on trailer 3) be coded.
  • the control unit 5, which is connected to the camera 4 can determine the first coordinate system K1 or extract the corresponding information from the transformation matrix T even without previously reading in this data.
  • the QR codes CQ or barcodes CB or Aruco marker CA can be created after calibration of the markers M1, M2, M3, M4 and as part of the Area markings Mf are then applied close to the area on the respective object O marker.
  • geometric information of the object O for example the object width OB and / or the object height OH of the object O, in particular within the determined object plane OE, and / or the marker vectors V1, V2, V3, V4 and / or the marker positions P1, P2, P3, P4 relative to the first reference point BP1 (for example the first coupling point 6 on the trailer 3) via the marker positions P1, P2, P3, P4 on the respective object O.
  • the first reference point BP1 for example the first coupling point 6 on the trailer
  • markers M1, M2, M3, M4 for example, one marker each can be arranged at the top left, top center and top right and another marker at the bottom center. This spatial arrangement is then assigned to a certain fixed position of the first Ankup pelands 6, which the control unit 5 is known. Correspondingly, in the case of a different fixed position of the first coupling point 6, a different spatial arrangement of the markers M1, M2, M3, M4 can be assigned, it also being possible for further markers to be provided for further subdivision.
  • the QR codes CQ or barcodes CB or aruco marker CA with the corresponding coding can also be applied in a correspondingly curved manner on the markers M1, M2, M3, M4 (not shown), so that the respective data for defining the first Coordinate system K1 or to identify the marker positions P1, P2, P3, P4 of the markers M1, M2, M3, M4 can be recognized by the camera 4.
  • communication units 30 can also be arranged in one or more markers M1, M2, M3, M4 (see FIG.
  • the articulation angle KW between these can preferably be determined continuously with the aid of the markers M1, M2, M3, M4.
  • This articulation angle KW can then be used, for example, to control the multi-part vehicle 1 when reversing and / or during a parking process or to estimate the stability during cornering by means of a change in the articulation angle dKW.
  • An assistance function F1 based on the articulation angle can thus be provided.
  • a coupling assistance function F2 can be made possible with the aid of the normal distance AN or the reference distance AR.
  • Coupling points 6, 7, for example can be selected as reference points PR1, PR2, with a lateral reference distance ARI and a vertical reference distance ARv being determined from the resulting reference distance AR.
  • These also follow from the pose PO of the object plane OE, determined via the transformation matrix T, relative to the image sensor 4a or the object plane OE in the second coordinate system K2. This enables a targeted approach of the second coupling point 7 on the towing vehicle 2 to the first coupling point 6 on the trailer 3 when the towing vehicle 2 is controlled manually or automatically as a function of the components of the reference distance ARI, ARv.
  • trailer information AI can also be created and displayed by a display device 8 together with the recorded image B of the camera 4 for the driver to see.
  • a trailer identifier ID, the normal distance AN and / or the reference distance AR, the articulation angle KW, etc. can be displayed by the display device 8 as trailer information AI.
  • the display device 8 can superimpose the trailer information AI on the image B recorded by the respective camera 4, so that both the image of the surroundings U and the trailer information Ai are displayed.
  • the trailer information AI can for example be clearly scaled as a function of the distance AN, AR and displayed superimposed in the image area of the image B in which the front side 3a of the trailer 3 is shown.
  • the display device 8 displays the contour K, for example of the front side 3a of the trailer 3 or of the entire trailer 3, as trailer information AI.
  • the contour K is modeled from the object plane OE determined via the markers M1, M2, M3, M4 as a function of the stored or determined object width OB and object height OH of the trailer 3 in each case.
  • the marker positions P1, P2, P3, P4 of the markers M1, M2, M3, M4 can also be taken into account if they are arranged, for example, on the edges 17 of the front side 3a.
  • the trailer contour K can be displayed individually or superimposed on the image B. This can, for example, simplify maneuvering or coupling in the dark.
  • first or second coupling point 6, ie the kingpin 6a or the satellite coupling 7a can be displayed individually or as an overlay over the image B by the display device 8 as trailer information AI. Since, for example, the kingpin 6a in image B of camera 4 is not directly can be seen, coupling can be facilitated by this superimposition, possibly in combination with the displayed reference distance AR, or a coupling process can be precisely monitored, for example, even in the dark.
  • a trailer center axis 40 of the trailer 3 and a towing vehicle center axis 41 of the towing vehicle 2 can be superimposed on the image B from the display device 8 as trailer information AI. While the central axis of the towing vehicle 41 is known, the central axis of the trailer 40 can be determined from the object level OE determined via the markers M1, M2, M3, M4 as a function of the stored or determined object width OB and / or object height OH Trailer 3 can be modeled.
  • the marker positions P1, P2, P3, P4 of the markers M1, M2, M3, M4 can also be taken into account if they are arranged, for example, on the edges 17 of the front side 3a.
  • the angle between the trailer center axis 40 of the trailer 3 and a towing vehicle center axis 41 of the towing vehicle 2 is then the articulation angle KW, which can also be displayed.
  • the display or superimposition of the center axes 40, 41 enables the driver to position both lines relative to one another, e.g. to bring them one on top of the other, so that he can be supported during a coupling process, for example.
  • An axis that is parallel to the trailer center axis 40 of the trailer 3 or the towing vehicle center axis 41 of the towing vehicle 2 can also be drawn in each case with the same effect.
  • control information Sl can be superimposed on the image B from the display device 8, which shows the driver, for example by arrows, in which direction he has to steer the towing vehicle 2 in order to approach the second coupling point 6 to the first coupling point 7.
  • the control information Sl can, for example, by a Speaking control algorithm can be determined on the control unit 5, which determines a suitable trajectory.
  • a cargo hold camera 10 can be provided in the cargo hold 10a of the trailer 3, which camera can detect a loaded cargo.
  • the cargo space images LB recorded by the cargo space camera 10 can be displayed by the display device 8.
  • the cargo space images LB can be placed over the images B of the camera 4 in such a way that they are displayed in the area of the trailer 3, which is verified by the markers M1, M2, M3, M4.
  • the driver can also check the freight during operation or recognize what the trailer 3 detected by the camera 4 has loaded. This can be done when approaching or while driving past the trailer 3, e.g. at a depot 11a, in order to visually verify whether a trailer 3 is assigned to the towing vehicle 2.
  • a multi-part vehicle 1 In addition to an internal application in a multi-part vehicle 1 as described, it can be provided as part of a distance assistance function F3 that the markers M1, M2, M3, M4, for example, on a building 11, e.g. a loading ramp 11 a, a garage door 11 b, etc., or are positioned on a moving or stationary third-party vehicle 12 or on other obstacles in the environment U, which can each be recognized by the camera 4 as potentially relevant objects O.
  • the markers M1, M2, M3, M4 can thus also be used in the manner described to determine a relevant object plane OE of these objects O when the marker positions P1, P2, P3, P4 and / or the marker vectors V1 , V2, V3, V4 are known. These can then also be combined with area markings Mf and / or light sources 21 and / or a self-illuminating coating 27 and / or reflective coating 26 in the described manner in order to conditions to enable the object level OE to be determined as reliably and simply as possible.
  • V1, V2, V3, V4 marker vector z state of motion xB, yB image coordinates x1, y1, z1 first coordinates in the first coordinate system K1 x2, y2, z2 second coordinates in the second coordinate system K2

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer Pose (PO) eines Objektes (O) relativ zu einem Fahrzeug (1), wobei das Objekt (O) mindestens drei Marker (M1, M2, M3, M4) aufweist und von mindestens einer Kamera (4) an dem Fahrzeug (1) erfasst wird, mit den folgenden Schritten: - Erfassen der Marker (M1, M2, M3, M4) mit der Kamera (4) und Erzeugen eines Bildes (B), wobei den Markern (M1, M2, M3, M4) in dem Bild eine Marker-Abbildung zugeordnet ist; - Ermitteln von Marker-Positionen und/oder Marker-Vektoren der Marker (M1, M2, M3, M4) auf dem erfassten Objekt (O); - Ermitteln einer Transformationsmatrix (T) in Abhängigkeit der Marker-Positionen und/oder der Marker-Vektoren sowie in Abhängigkeit der Marker-Abbildungen, wobei die Transformationsmatrix (T) die Marker (M1, M2, M3,M4) auf dem Objekt (O) auf die Marker-Abbildung in dem Bild (B) abbildet; - Ermitteln einer durch die Marker (M1, M2, M3, M4) auf dem Objekt (O) ausgebildeten Objektebene (OE) in einem zweiten Koordinatensystem (K2) in Abhängigkeit der ermittelten Transformationsmatrix (T), wobei das zweite Koordinatensystem (K2) fahrzeugfest ist zum Ermitteln der Pose (PO) des Objektes (O) relativ zu dem Fahrzeug (1). Erfindungsgemäß ist vorgesehen, dass die mindestens drei Marker (M1, M2, M3, M4) an dem Objekt (O) räumlich ausgedehnt sind und in dem Bild (B) flächigen Marker-Abbildungen zugeordnet werden.

Description

Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
Die Erfindung betrifft ein Verfahren zum Ermitteln einer Pose eines Ob jektes, ein Verfahren zum Steuern eines Fahrzeuges, sowie eine Steuerein heit und ein Fahrzeug zur Durchführung des Verfahrens.
Aus dem Stand der Technik ist bekannt, wie mithilfe von einer oder mehrerer Kameras ein Fahrzeug an ein Objekt angenähert werden kann, wobei das Objekt beispielsweise ein Anhänger sein kann. Die Erfassung der Umgebung zur Abschätzung einer Tiefeninformation bezüglich des Objektes kann dabei in 2D oder 3D erfolgen.
Dazu kann beispielsweise eine Stereokamera verwendet werden, die den Anhänger oder zweidimensionale bzw. flächige Marker an dem Anhä nger oder an Bestandteilen des Anhängers erkennt und daraus Tiefeninfor mationen herleitet. Beispielhaft ist dies in DE 102016011 324 A1 , DE 10 2018 114730 A1 , WO 2018/210990 A1 oder DE 102017 119968 A1 be schrieben. Daraus kann eine Position und eine Orientierung, d.h. eine Pose, des jeweiligen Objektes relativ zur Kamera bzw. dem Zugfahrzeug hergelei tet werden. In Abhängigkeit davon können beispielsweise ein Knickwinkel oder ein Abstand ermittelt werden. Auch mit einer Mono-Kamera kann die Pose ermittelt werden, indem mindestens drei Marker, die vorzugsweise flä chig auf dem Objekt aufgebracht sind, im Bild lokalisiert werden und in Kenntnis der Marker-Positionen auf dem Objekt eine Transformationsmatrix ermittelt wird, aus der die Pose des Objektes, auf dem sich diese befinden, hergeleitet werden kann.
Gemäß DE102018210340A1 ist weiterhin vorgesehen, einen Abstand zu einer Wechselbrücke zu ermitteln, indem eine Größe von drei flächig da- rauf aufgebrachten Markern mit abgespeicherten Größen für diese Marker verglichen wird. Die Marker sind entsprechend kodiert, so dass deren Größe vorab über eine Kamera ermittelt werden kann. Über eine relative Lage ein zelner Marker zueinander kann zudem ein Winkelversatz abgeschätzt wer den.
Eine Erkennung eines Knickwinkels über eine Kamera ist weiterhin in US 2014200759 A beschrieben, wobei ein flächiger Marker auf dem Anhä nger vom Zugfahrzeug aus über die Zeit beobachtet und daraus der Knick winkel abgeschätzt wird. Auch JP 2002012 172 A, US2014277942A1 , US 2008231 701 A und US 2017106796 A beschreiben eine Knickwinkelerken nung in Abhängigkeit von flächigen Markern. In US 2006293800 A können Ankuppelpunkte zu einer erleichterten automatischen Erkennung einen Mar ker tragen. Der Marker kann eine spezielle Farbe, Textur oder Wellenreflexi onseigenschaft besitzen. In DE 102004025252 B4 wird weiterhin beschrie ben, den Knickwinkel zu ermitteln, indem von einem Sender Strahlung auf einen halbkreis- oder halbkugelförmigen Reflektor gesendet und die davon reflektierte Strahlung anschließend detektiert wird. In DE 10302545 A1 ist zudem beschrieben über einen Objekterkennungsalgorithmus eine Kupplung zu erfassen. In EP 3 180769 B1 ist zudem beschrieben, über Kameras eine Rückseite eines Anhängers zu erfassen und aus dem Bild verfolgbare Fea tures, z.B. eine Kante oder Ecke, zu erkennen. Diese werden dann über die Zeit verfolgt, um insbesondere auf einen Knickwinkel zwischen dem Zugfahr zeug und dem Anhänger zu schließen. Damit werden darin keine extra auf gebrachten Marker verwendet.
In US 2018039266 A ist ergänzend beschrieben, auf Informationen ei nes zweidimensionalen Barcodes bzw. QR-Codes zurückzugreifen. In DE 10 2016209 418 A1 kann ebenfalls ein QR-Code mit einer Kamera ausgelesen werden, um den Anhänger zu identifizieren und Anhängerparameter an eine Rückfahrassistenz weiterzugeben. Alternativ oder ergänzend kann ein am Anhänger befindliches RFID-Lesegerät einen RFID-Transponder, der am Zugfahrzeug beispielsweise in Form eines Etiketts angebracht ist, auslesen. Dadurch kann eine Position des QR-Codes bzw. des RFID-Transponders berechnet werden. Eine Orientierung wird dabei nicht ermittelt. Auch in W01 8060192A1 ist eine Lösung mittels funkbasierter Transponder vorgese hen. In DE 10 2006 040 879 B4 werden ebenfalls RFID-Elemente am Anhä nger zur Triangulation beim Fieranfahren verwendet.
In WO 2008064892 A1 ist ein Beobachtungselement vorgesehen, das mindestens drei Hilfspunkte bzw. Messpunkte aufweist, die von einer Kame ra erkannt werden können. Aus geometrischen Betrachtungen werden die Koordinaten bzw. Vektoren der Schwerpunkte der Hilfspunkte ermittelt und daraus die Koordinaten der Messpunkte relativ zur Kamera bzw. zum Bildsensor. Daraus kann ein Knickwinkel ermittelt werden.
Nachteilig bei bekannten Verfahren ist, dass diese Verfahren bzw. Sys teme entweder sehr aufwendig sind oder aber eine Detektion der Marker bei unterschiedlichen Umgebungsbedingungen nicht zuverlässig möglich ist. Beispielsweise können flächige Marker bei Dunkelheit und/oder unter extre men bzw. flachen Blinkwinkeln nicht sicher erfasst werden, wodurch die Be stimmung der Pose des Objektes bzw. des Knickwinkels des Anhängers rela tiv zum Zugfahrzeug nicht zuverlässig erfolgen kann.
Aufgabe der Erfindung ist daher, ein Verfahren anzugeben, das eine einfache und zuverlässige Ermittlung der Pose eines Objektes sowie eine anschließende Verarbeitung bzw. Verwendung dieser Pose zum Steuern des Fahrzeuges ermöglicht. Aufgabe der Erfindung ist weiterhin, eine Steuerein heit und ein Fahrzeug zur Durchführung des Verfahrens anzugeben.
Diese Aufgabe wird durch ein Verfahren zum Ermitteln der Pose eines Objektes, ein Verfahren zum Steuern eines Fahrzeuges, eine Steuereinheit und ein Fahrzeug gemäß den unabhängigen Ansprüchen gelöst. Die Unter ansprüche geben bevorzugte Weiterbildungen an.
Erfindungsgemäß ist demnach ein Verfahren zum Ermitteln einer Pose, d.h. einer Kombination aus einer Position und einer Orientierung, eines Ob jektes mit einer Objekt-Breite und einer Objekt-Höhe relativ zu einem einteili gen oder mehrteiligen Fahrzeug, wobei das Objekt und das Fahrzeug ge geneinander beweglich sind, und das Objekt mindestens drei Marker, vor zugsweise mindestens vier Marker, nämlich räumlich ausgedehnte Marker bzw. Marker mit einer räumlichen Geometrie, beispielsweise mit einer sphä rischen oder zylinderförmigen oder quaderförmigen Geometrie, aufweist. Die mindestens drei, vorzugsweise mindestens vier Marker liegen dabei in der selben Objektebene am Objekt und durch die mindestens drei, vorzugsweise mindestens vier Marker lässt sich keine Linie legen. Dabei wird angenom men, dass die durch die Marker beschriebene Objektebene annäherungs weise auch auf dem jeweiligen Objekt liegt, so dass aus dieser die Pose ab geschätzt werden kann.
Das Objekt wird von mindestens einer Kamera an dem Fahrzeug er fasst und es werden mindestens die folgenden Schritte ausgeführt:
- Erfassen der mindestens drei räumlich ausgedehnten Marker mit der Kame ra und Erzeugen eines Bildes, wobei den mindestens drei räumlich ausge dehnten Markern in dem Bild jeweils eine Marker-Abbildung zugeordnet ist;
- Ermitteln von Marker-Positionen und/oder Marker-Vektoren der räumlich ausgedehnten Marker auf dem erfassten Objekt, wobei dies beispielsweise in einem ersten Koordinatensystem angegeben wird, das markerfest ist bzw. sich mit den räumlich ausgedehnten Markern mitbewegt;
- Ermitteln einer Transformationsmatrix (Homographie) in Abhängigkeit der Marker-Positionen und/oder der Marker-Vektoren sowie in Abhängigkeit der Marker-Abbildungen, wobei die Transformationsmatrix die räumlich ausge dehnten Marker auf dem Objekt bzw. das erste Koordinatensystem auf die Marker-Abbildung in dem Bild der Kamera am Fahrzeug bzw. einem Bildko ordinatensystem abbildet; und
- Ermitteln einer durch die räumlich ausgedehnten Marker auf dem Objekt ausgebildeten Objektebene in einem zweiten Koordinatensystem in Abhän gigkeit der ermittelten Transformationsmatrix, wobei das zweite Koordinaten system fahrzeugfest ist zum Ermitteln der Pose des Objektes relativ zu dem Fahrzeug aus der relativen Lage zwischen der Objektebene und der Bild ebene.
Zur Ermittlung der Transformationsmatrix sind mindestens drei Marker nötig, wobei in dem Fall - ggf. mit weiteren Zusatzinformationen - eine Trans formationsmatrix zumindest abgeschätzt werden kann, ggf. mit heuristischen Methoden. Genauer ist es jedoch, wenn vier oder mehr Marker an dem je weiligen Objekt vorhanden sind, da dann eine eindeutig bestimmte Trans formationsmatrix bzw. Flomographie-Matrix mit bekannten Methoden ermittelt werden kann.
Erfindungsgemäß wurde dabei erkannt, dass räumlich ausgedehnte Marker auch bei großen Knickwinkeln bzw. bei extremen Blickwinkeln noch sehr gut von der Kamera des Fahrzeuges erfasst werden können, dadurch dass diese aus der Objektebene hervorstehen und dadurch besser wahrge nommen werden können. Dadurch wird ein nahezu blickwinkelinvariantes Verfahren zum Ermitteln sowohl der Position als auch der Orientierung des Objektes angegeben. Dies wird auch durch eine monokulare Bildverarbei tung ermöglicht, so dass nicht zwangsläufig auf Stereokameras zurückzu greifen ist, um eine Tiefeninformation zum Objekt zu erhalten, aus denen die Pose geometrisch abgeleitet werden kann. Dadurch wird das Verfahren ver einfacht und die Kosten können geringgehalten werden. Dabei können die räumlichen Marker auch bei schlechten Sichtbedingungen bzw. Umgebungs bedingungen noch kontrastreich auf der Bildebene abgebildet werden, so dass sich aus den Marker-Abbildungen auch bei verschiedenen Umge- bungsbedingungen und Sichtbedingungen noch ausreichend Informationen über die Objektebene ermitteln lassen.
Damit kann durch Anwendung dieses Verfahrens auch erfindungsge mäß eine zuverlässige Steuerung eines Fahrzeuges erfolgen, wobei das Fahrzeug
- im Rahmen einer knickwinkelbasierten Assistenzfunktion in Abhängigkeit eines aus der ermittelten Pose des Objektes hergeleiteten Knickwinkels zwi schen einem Zugfahrzeug und einem Anhänger eines mehrteiligen Fahrzeu ges und/oder einer Knickwinkel-Änderung gesteuert wird, oder
- im Rahmen einer Ankuppelassistenzfunktion in Abhängigkeit eines aus der ermittelten Pose des Objektes hergeleiteten Normal-Abstandes und/oder Re ferenz-Abstandes zwischen dem Zugfahrzeug als Fahrzeug und einem an zukuppelnden Anhänger als Objekt, an dem die Marker angeordnet sind, wobei das Fahrzeug bzw. das Zugfahrzeug dann derartig manuell oder au tomatisiert gesteuert wird, dass sich ein zweiter Ankuppelpunkt am Zugfahr zeug, beispielsweise eine (Sattel)kupplung, an einen ersten Ankuppelpunkt an dem anzukuppelnden Anhänger, beispielsweise ein Königszapfen oder eine Deichsel, annähert und die beiden Ankuppelpunkte an einem gemein samen Drehpunkt aneinander gekuppelt werden können, oder
- im Rahmen einer Abstands-Assistenzfunktion in Abhängigkeit eines aus der ermittelten Pose hergeleiteten Normal-Abstandes und/oder Referenz- Abstandes zwischen dem Zugfahrzeug als Fahrzeug und einem Gebäude als Objekt, an dem die Marker angeordnet sind, beispielsweise einer Laderampe oder einem Garagentor, oder einem Fremd-Fahrzeug als Objekt, an dem die Marker angeordnet sind, gesteuert wird. Das Verfahren zum Ermitteln der Pose des Objektes und/oder auch der Steuerung des Fahrzeuges werden dabei auf einer erfindungsgemäßen Steuereinheit in einem Fahrzeug ausge führt. Vorzugsweise ist weiterhin vorgesehen, dass zumindest einer der min destens drei Marker
- von innen und/oder hinten beleuchtet wird, beispielsweise über in einem Marker-Innenraum der mindestens drei Marker angeordneten Leuchtquelle, wobei der jeweilige Marker dann zumindest teilweise transparent bzw. licht durchlässig ist, und/oder
- von außen angeleuchtet und/oder angestrahlt wird, beispielsweise über ei ne Umgebungsleuchte, vorzugsweise am Fahrzeug und/oder auch am Ob jekt, und/oder
- eine selbstleuchtende Beschichtung aufweist, beispielsweise eine fluores zierende Beschichtung, o.ä..
Dadurch können die räumlich ausgedehnten Marker vorteilhafterweise dazu verwendet werden, dass die Objektebene bzw. die Pose des Objektes auch in der Dunkelheit kontrastreich erfasst werden kann. Damit lassen sich die jeweiligen Assistenzfunktionen auch in der Dunkelheit zuverlässig durchfüh ren. Die selbstleuchtende Beschichtung bzw. die fluoreszierende Beschich tung haben dabei den Vorteil, dass keine Energiequellen am Objekt nötig sind.
Vorzugsweise ist weiterhin vorgesehen, dass die Leuchtquelle in zu mindest einem der mindestens drei Marker und/oder die Umgebungsleuchte in Abhängigkeit eines Bewegungszustandes des Fahrzeuges und/oder des Objektes angesteuert wird. Damit kann Energie gespart werden, da die Mar ker tatsächlich nur dann aktiv beleuchtet werden, wenn dies unbedingt nötig ist, beispielsweise bei einer Bewegung im Rahmen einer der Fahrassistenz funktionen.
Vorzugsweise kann weiterhin vorgesehen sein, dass - eine Farbe der Leuchtquelle und/oder der Umgebungsleuchte und/oder ei ne Pulsdauer der Leuchtquelle und/oder der Umgebungsleuchte in Abhän- gigkeit eines Abstandes zwischen dem Fahrzeug und dem Objekt, und/oder - eine Farbe der Leuchtquelle und/oder eine Pulsdauer der Leuchtquelle in Abhängigkeit der Marker-Position am Objekt eingestellt wird. Demnach kön nen die Marker gezielt beleuchtet werden, um dem Fahrer zusätzlich zu as sistieren, so dass dieser beispielsweise über eine Anzeigeeinrichtung erken nen kann, wie weit er noch rückwärtsfahren kann, bevor das jeweilige Objekt bzw. die durch die Marker definierte Objektebene erreicht ist. Auch bei ne beneinanderstehenden Objekten kann in der Dunkelheit durch die Farbcodie- rung oder Blinklichtkodierung eine Unterscheidung eines Objektes ermöglicht werden. Eine derartige Farbcodierung kann auch durch die selbstleuchtende Beschichtung erreicht werden, die in vorab festgelegten Farben in Abhängig keit der Marker-Position am Objekt auf den jeweiligen Marker aufgebracht werden kann.
Vorzugsweise ist weiterhin vorgesehen, dass die Leuchtquellen in zu mindest einem der mindestens drei Marker von einer Energiequelle, bei spielsweise einem Solarpaneel, am Objekt mit Energie versorgt werden. Dadurch ist die Beleuchtung der Marker am Objekt unabhängig vom Vorhan densein eines Fahrzeuges, beispielsweise im nicht-angekoppelten Zustand. Die Marker am Objekt, beispielsweise am Anhänger, können dadurch beim Abstellen auf einem Betriebshof noch individuell beleuchtet werden.
Vorzugsweise ist weiterhin vorgesehen, dass mindestens einer der mindestens drei Marker durch eine Umrissleuchte bzw. Umrissbeleuchtung an Rändern des Objektes gebildet wird. Damit können bereits vorhandene Elemente an einem Anhänger doppelt verwendet werden und eine Installati on von zusätzlichen Markern kann entfallen. Dazu ist lediglich eine Festle gung zu treffen, welche Umrissleuchten als Marker fungieren sollen, wobei dies über die jeweiligen Marker-Positionen bzw. Marker-Vektoren erfolgen kann. In Kenntnis dessen kann die Pose des Anhängers in Abhängigkeit der Abbildung der jeweiligen ausgewählten Umrissleuchten aus der Objektebene ermittelt werden. Da sich die Umrissleuchten normalerweise am Rand des Anhängers befinden, kann daraus in einfacher Weise eine Kontur des Anhä ngers generiert werden.
Vorzugsweise ist weiterhin vorgesehen, dass die Umgebungsleuchte sichtbare und/oder nicht-sichtbare Strahlung auf die Marker aussendet und die Marker eine Reflektions-Beschichtung aufweisen. Dadurch kann eine gu te Sichtbarkeit in variabler Weise erreicht werden.
Vorzugsweise ist weiterhin vorgesehen, dass auf zumindest einem der Marker oder benachbart zu zumindest einem der Marker ein QR-Code und/oder ein Barcode und/oder ein Aruco-Marker oberflächlich aufgebracht ist und der QR-Code und/oder der Barcode und/oder der Aruco-Marker von der Kamera erfasst wird. Dadurch lassen sich kodierte Informationen ausle- sen, ohne eine separate Datenübertragung zu verwenden. Dadurch können in einfacherWeise beispielsweise die Marker-Positionen und/oder die Mar ker-Vektoren im Fahrzeug ermittelt werden, die für die Ermittlung der Trans formationsmatrix nötig sind, um aus der Transformationsmatrix auf die Pose schließen zu können. Weiterhin können in einfacher Weise eine Objekt- Breite und/oder eine Objekt-Höhe auf dem jeweiligen Code bzw. Marker ko diert sein, dass auch auf diese Informationen vom Fahrzeug aus zugegriffen werden kann, ohne eine weitere Datenübertragung oder ein anderweites Ein lesen der Daten zu benötigen.
Die Objekt-Breite des Objekts und/oder die Objekt-Höhe des Objekts und/oder ein erster Bezugspunkt am Objekt, z.B. ein erster Ankuppelpunkt, Kingpin an einem Anhänger, kann aber vorzugsweise auch in Abhängigkeit der räumlichen Anordnung der erkannten Marker am Objekt ermittelt und/oder zumindest abgeschätzt werden. Demnach kann eine bestimmte Kodierung auch auf diese Weise erreicht werden, ohne dass eine zusätzliche Datenübertragung nötig ist.
Weiterhin kann vorgesehen sein, dass die Objekt-Breite des Objekts und/oder die Objekt-Höhe des Objekts und/oder ein erster Bezugspunkt am Objekt und/oder die Marker-Positionen und/oder die Marker-Vektoren über eine Kommunikationseinheit am Objekt, beispielsweise in den Markern, vor zugsweise per Bluetooth oder RFID an das Fahrzeug übermittelt werden. Damit kann auf eine drahtlose Datenübertragung zurückgegriffen werden, die das Erfassen der jeweiligen geometrischen Information erleichtern.
Vorzugsweise ist weiterhin vorgesehen, dass von der Kamera ergän zend Flächen-Markierungen erfasst werden, die benachbart zu zumindest einem der Marker auf dem Objekt angeordnet sind, wobei aus den erfassten Flächen-Markierungen eine redundante Ermittlung der Pose des Objektes erfolgt. Dabei können die Flächen-Markierungen beispielsweise auch für eine Grobjustierung bzw. Grobermittlung der Pose herangezogen werden, wenn beispielsweise die Ermittlung der Pose aus den räumlichen Markern noch zu ungenau ist, weil beispielsweise die Auflösung der Kamera zu gering ist. Die Flächen-Markierungen können entsprechend ohne großen Aufwand größer aufgelöst werden, wobei die Flächen-Markierungen vorteilhafterweise durch ihre Nähe zu den räumlichen Markern ebenfalls in der Dunkelheit beleuchtet werden, so dass durch die Beleuchtung eine Doppelfunktion erreicht werden kann. Dadurch kann die Ausdehnung der räumlichen Marker gering gehalten werden, da diese lediglich für die Feinjustierung nötig sind, beispielsweise bei einem Ankuppelvorgang oder bei einem anderen Annäherungsvorgang.
Vorzugsweise ist außerdem vorgesehen, dass die Flächen- Markierungen und/oder die Marker zumindest teilweise an Rändern des Ob jektes angeordnet sind und aus dem erfassten Bild der Kamera eine Objekt- Breite des Objektes und/oder eine Objekt-Höhe des Objektes abgeleitet wird. Dadurch, dass die Marker bzw. Flächen-Markierungen - jeweils für sich oder in Kombination miteinander - an den Rändern angeordnet sind, kann also eine Kontur ermittelt werden, aus der auch die jeweilige Objekt-Breite oder die Objekt-Höhe abgeschätzt werden kann.
Vorzugsweise ist weiterhin vorgesehen, dass das Fahrzeug einteilig ist und das Objekt nicht mit dem Fahrzeug verbunden ist, wobei sich das Fahr zeug relativ zu dem Objekt bewegt und das Objekt ein anzukuppelnder An hänger oder ein Gebäude, beispielsweise eine Laderampe oder ein Gara gentor, oder ein Fremd-Fahrzeug ist. Dadurch können mit diesem Verfahren unterschiedlichste Objekte erkannt werden, die zumindest bereichsweise einen flächigen Charakter aufweisen und deren Pose relativ zum Fahrzeug, d.h. Abstände (translatorischer Freiheitsgrad) und/oder Winkel (rotatorischer Freiheitsgrad), beispielsweise für eine Ankuppelassistenz, Einpark-Assistenz, Annäherungassistenz, oder dergleichen relevant ist.
Vorzugsweise ist weiterhin vorgesehen, dass das Fahrzeug mehrteilig ist, d.h. mindestens ein Zugfahrzeug und mindestens einen Anhänger auf weist, und die Kamera an einem Zugfahrzeug und/oder an einem daran an gekuppelten Anhänger angeordnet ist, wobei
- das Objekt in Form eines an das Zugfahrzeug angekuppelten Anhängers mit dem mehrteiligen Fahrzeug verbunden ist, wobei sich der Anhänger rela tiv zu dem Zugfahrzeug zumindest zeitweise bewegt bzw. demgegenüber verschwenkt, oder
- das Objekt nicht mit dem mehrteiligen Fahrzeug verbunden ist, wobei das Objekt ein Gebäude, beispielsweise eine Laderampe oder ein Garagentor, oder ein Fremd-Fahrzeug ist, an dem die Marker jeweils angeordnet sind. Dieses Objekt kann sich dann vor oder neben dem Zugfahrzeug oder hinter oder neben dem angekuppelten Anhänger befinden, wobei die Kamera ent sprechend auf den Teil der Umgebung ausgerichtet ist. Vorzugsweise ist weiterhin vorgesehen, dass das Bild der Kamera auf einer Anzeigeeinrichtung angezeigt wird, wobei dem Bild von der Anzeigeein richtung ein Normal-Abstand und/oder ein Referenz-Abstand (sowie deren laterale und vertikale Komponenten) und/oder eine Kontur des Objektes und/oder Steuerinformationen und/oder ein Knickwinkel zwischen dem Zug fahrzeug und dem Anhänger und/oder ein erster Ankuppelpunkt (z.B. Kö nigszapfen, Deichsel) und/oder ein zweiter Ankuppelpunkt (z.B. (Sat- tel)kupplung) und/oder eine Anhänger-Kennung und/oder ein Laderaum-Bild und/oder eine in Abhängigkeit der Marker ermittelten Anhänger-Mittenachse und/oder eine Zugfahrzeug-Mittenachse, oder parallel dazu liegenden Ach sen, überlagert werden. Damit können ergänzend insbesondere aus der Po se folgende Informationen dargestellt werden, so dass der Fahrer diese wahrnehmen kann und gezielter darauf reagieren kann im Rahmen der je weiligen Assistenzfunktionen. Der Fahrer kann beispielsweise manuell ge gensteuern, wenn der angezeigte Knickwinkel zu hoch ist oder den Ankup pelvorgang beobachten und manuell Einfluss darauf nehmen.
Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert. Es zeigen:
Fig. 1 ein zweiteiliges Fahrzeug mit Markern und Kameras;
Fig. 2 ein von der Kamera aufgenommenes Bild;
Fig.3 eine Detailansicht einer Vorderseite eines Anhängers als
Objekt mit Markern;
Fig. 4 eine schematische Ansicht eines zweiteiligen Fahrzeuges; und
Fig. 5a, 5b, 5c Detailansichten von Markern und Flächen-Markierungen. In Figur 1 ist schematisch ein mehrteiliges Fahrzeug 1 aus einem Zug fahrzeug 2 und einem Anhänger 3 dargestellt, wobei gemäß der gezeigten Ausführungsform an beiden Fahrzeugteilen 2, 3 jeweils eine Kamera 4 mit einem Erfassungsbereich E angeordnet ist. An dem Zugfahrzeug 2 ist eine Zugfahrzeug-Kamera 42 mit einem Zugfahrzeug-Erfassungsbereich E2, der auf den Anhänger 3 ausgerichtet ist, und an dem Anhänger 3 eine Anhänger- Kamera 43 mit einem nach hinten gerichteten Anhänger-Erfassungsbereich E3 angeordnet. Die Kameras 4; 42, 43 geben jeweils Kamera-Daten KD aus.
Das Fahrzeug 1 kann hierbei mehrteilig ausgeführt sein, beispielsweise als Lastzug mit Lastkraftwagen und Deichselanhänger bzw. Drehschemelan hänger oder als Sattelzug mit Sattelzugmaschine und Sattelauflieger (s. Fig. 1). Es können auch mehr als nur ein Anhänger 3 vorgesehen sein, bei spielsweise bei einem EuroCombi oder einem Road Train. Grundsätzlich kann das Fahrzeug 1 aber auch nur einteilig sein. Die Ausrichtung der Kame ra 4 wird in Abhängigkeit der jeweiligen Anwendung gewählt. Als Kamera 4 kann beispielsweise eine omnidirektionale Kamera, eine Fisheye-Kamera oder eine Teleobjektiv-Kamera oder auch weitere Kameraarten verwendet werden.
Die jeweiligen Kamera-Daten KD werden in Abhängigkeit einer Umge bung U um das Fahrzeug 1 erzeugt, die im jeweiligen Erfassungsbereich E liegt und die auf einem Bildsensor 4a der jeweiligen Kamera 4 abgebildet wird. Aus den Kamera-Daten KD lässt sich daher jeweils ein Bild B aus Bild punkten BPi mit Bildkoordinaten xB, yB (s. Fig. 2) erstellen, wobei jedem Bildpunkt BPi ein Objektpunkt PPi in der Umgebung U zugeordnet ist. Die Objektpunkte PPi gehören dabei zu Objekten O, die sich in der Umgebung U befinden. Das Bild B kann dem Fahrer des Fahrzeuges 1 über eine Anzeige einrichtung 8 auch angezeigt werden. Die Kamera-Daten KD der jeweiligen Kamera 4 werden an eine Steuer einheit 5 im jeweiligen Fahrzeugteil 2, 3 oder an eine übergeordnete Steuer einheit 5 des Fahrzeuges 1 übermittelt, die ausgebildet ist, in Abhängigkeit der Kamera-Daten KD aus einem oder mehreren aufgenommenen Bildern B beispielsweise durch eine Kantenerkennung Marker-Abbildungen M1a, M2a, M3a, M4a zu extrahieren. Jeder Marker-Abbildung M1a, M2a, M3a, M4a ist dabei ein Marker M1, M2, M3, M4 in der Umgebung U zugeordnet. Weiterhin ist die jeweilige Steuereinheit 5 ausgebildet, aus den Marker-Abbildungen M1a, M2a, M3a, M4a mit einer Transformationsmatrix T (Flomographie), d.h. durch eine Matrixoperation, eine Objektebene OE zu ermitteln, in der die je weiligen Marker M1 , M2, M3, M4 in der Umgebung U angeordnet sind.
Dabei wird davon ausgegangen, dass mindestens drei, vorzugsweise mindestens vier Marker M1 , M2, M3, M4 vorgesehen sind und sich diese mindestens vier Marker M1 , M2, M3, M4 wie in Fig. 3 dargestellt, in einer Ebene und dabei nicht auf einer Linie auf dem zu erkennenden Objekt O in der Umgebung U befinden, beispielsweise an einer vorzugsweise flächigen Vorderseite 3a des Anhängers 3. Dabei wird angenommen, dass die durch die Marker M1 , M2, M3, M4 definierte Objektebene OE auch tatsächlich das Objekt O im betreffenden Bereich, d.h. hier an der flächigen Vorderseite 3a, zumindest annähernd ggf. abstrahierend beschreibt.
Die vier Marker M1 , M2, M3, M4 können dann beispielsweise von der Zugfahrzeug-Kamera 42 aus erfasst werden. Es können aber auch mehr als vier Marker M1 , M2, M3, M4 an dem jeweiligen Objekt O vorgesehen sein, wobei zur Ermittlung der Transformationsmatrix T zumindest vier Marker M1 , M2, M3, M4 nötig sind, um eine eindeutig bestimmte Transformationsmatrix T zu erhalten. Grundsätzlich kann aber auch mit nur drei Markern M1 , M2, M3 und ggf. weiteren Zusatzinformationen eine Transformationsmatrix T ab geschätzt werden, ggf. mit heuristischen Methoden, wobei diese dann unter Umständen ungenauer ist. Über die ermittelte oder abgeschätzte Transfor- mationsmatrix T kann ausgehend vom Zugfahrzeug 2 sowohl eine Position (translatorischer Freiheitsgrad) als auch eine Orientierung (rotatorischer Freiheitsgrad) bzw. eine Kombination daraus, d.h. eine Pose PO, des Anhä ngers 3 im Raum relativ zur Zugfahrzeug-Kamera 42 und damit auch relativ zum Zugfahrzeug 2 abgeschätzt werden, wie im Folgenden näher erläutert wird:
Für die Marker-Abbildungen M1a, M2a, M3a, M4a werden in dem min destens einen aufgenommenen Bild B zunächst jeweils Bildkoordinaten xB, yB in einem Bild-Koordinatensystem KB ermittelt. Da die Marker M1 , M2, M3, M4 eine gewisse räumliche Ausdehnung aufweisen und daher flächig in dem Bild B abgebildet werden, d.h. einem Marker M1 , M2, M3, M4 mehrere Bild punkte BPi zugeordnet sind, kann beispielsweise der Mittelpunkt der jeweili gen Marker-Abbildung M1a, M2a, M3a, M4a bestimmt und dessen Bildkoor dinaten xB, yB weiterverarbeitet werden.
Gleichzeitig ist der Steuereinheit 5 bekannt, wie die vier Marker M1 , M2, M3, M4 tatsächlich auf dem Objekt O, z.B. der Vorderseite 3a des Anhängers 3, relativ zueinander in der Objektebene OE positioniert sind. Demnach kön nen für jeden Marker M1 , M2, M3, M4 eine Marker-Position P1 , P2, P3, P4 bzw. ein Marker-Vektor V1 , V2, V3, V4 angegeben werden (s. Fig. 3). Die Marker-Vektoren V1 , V2, V3, V4 beinhalten dabei jeweils erste Koordinaten x1 , y1 , z1 eines ersten Koordinatensystems K1 mit einem ersten Ursprung U1 , wobei die Marker-Vektoren V1 , V2, V3, V4 zum jeweiligen Marker M1 , M2, M3, M4 zeigen. Das erste Koordinatensystem K1 ist dabei anhängerfest bzw. markerfest, d.h. es bewegt sich mit den Markern M1 , M2, M3, M4 mit. Der erste Ursprung U1 kann in einem festgelegten ersten Bezugspunkt PB1 auf dem Objekt O liegen, beispielsweise in einem der Marker M1 , M2, M3,
M4 oder aber in einem ersten Ankuppelpunkt 6, bei einem Sattelzug als mehrteiliges Fahrzeug 1 beispielsweise in einem Königszapfen 6a (s. Fig. 1). Aus den Bildkoordinaten xB, yB der vier Marker-Abbildungen M1a, M2a, M3a, M4a im Bild-Koordinatensystem KB kann nun von der Steuereinheit 5 anhand der bekannten Marker-Vektoren V1, V2, V3, V4 bzw. Marker- Positionen P1 , P2, P3, P4 der Marker M1 , M2, M3, M4 im ersten Koordina tensystem K1 eine Transformationsmatrix T abgeleitet werden. Diese Trans formationsmatrix T gibt dabei an, wie die einzelnen Marker M1 , M2, M3, M4 sowie auch die Objektpunkte PPi der gesamten Objektebene OE, die gemäß Fig 1 parallel zu der flächigen Vorderseite 3a des Anhängers 3 liegt, auf dem Bildsensor 4a der Kamera 4 und damit in dem Bild B in der derzeitigen Fahr situation des Fahrzeuges 1 abgebildet werden. Die Transformationsmatrix T gibt also an, wie die Objektebene OE in der derzeitigen Fahrsituation auf die Bildebene BE des Bildsensors 4a abgebildet wird.
Demnach enthält die Transformationsmatrix T auch die Information, wie das anhängerfeste bzw. markerfeste erste Koordinatensystem K1 relativ zu dem Bild-Koordinatensystem KB ausgerichtet ist, wobei sowohl translatori sche als auch rotatorische Freiheitsgrade enthalten sind, so dass eine Pose PO (Kombination aus Position und Orientierung) der Objektebene OE relativ zur Bildebene BE ermittelt werden kann. In Kenntnis von Kameraparametern, beispielsweise einer Brennweite f, einem Seitenverhältnis SV des Bildsensors 4a, die beispielsweise auf der Steuereinheit 5 hinterlegt oder an diese übermittelt werden, können aus der Transformationsmatrix T eine Rei he von Informationen abgeleitet werden, die sich in unterschiedlichen Assis tenzfunktonen Fi verwenden lassen.
Da die Transformationsmatrix T aus der aktuellen Fahrsituation des Fahrzeuges 1 folgt, beinhaltet diese beispielsweise eine Abhängigkeit von einem Knickwinkel KW zwischen dem Zugfahrzeug 2 und dem Anhänger 3 sowie von einem Normal-Abstand AN zwischen der Kamera 4 bzw. dem Bildsensor 4a und der Objektebene OE. Diese können ermittelt werden, wenn die Lage des Bildsensors 4a bzw. der Bildebene BE des Bildsensors 4a in einem kamerafesten bzw. hier auch zugfahrzeugfesten zweiten Koordi natensystems K2 bekannt ist. Darüber lässt sich sowohl die Bildebene BE mit den einzelnen Bildpunkten BPi als auch die Objektebene OE in zweiten Koordinaten x2, y2, z2 des zugfahrzeugfesten Koordinatensystems K2 aus- drücken, woraus die Pose PO des Objektes O relativ zum Zugfahrzeug 2 ermittelt werden kann.
In entsprechender Weise gilt dies für den Normal-Abstand AN, der den lotrechten Abstand zwischen der Objektebene OE und dem Bildsensor 4a angibt. Ist die Lage der Koordinatensysteme K1 , K2 zueinander aus der Transformationsmatrix T bekannt bzw. kann die Objektebene OE im zweiten Koordinatensystem K2 angegeben werden, so kann der Normal-Abstand NA in einfacher Weise ermittelt werden. Statt dem Normal-Abstand NA kann aber auch ein Referenz-Abstand AR ermittelt werden, der zwischen einem ersten Referenzpunkt PR1 in der Objektebene OE, z.B. am Anhänger 3 oder an einer Laderampe 11a, und einem zweiten Referenzpunkt PR2 am Zug fahrzeug 2 gemessen wird (s. Fig. 4). Sind die Referenzpunkte PR1 , PR2 im jeweiligen Koordinatensystem K1 , K2 bekannt, so kann daraus mit einfachen geometrischen Betrachtungen mithilfe der Transformationsmatrix T der Refe renz-Abstand AR ermittelt werden.
Ein zweiter Ursprung U2 des zweiten Koordinatensystems K2 kann je nach Anwendung an einem festgelegten zweiten Bezugspunkt PB2 am Zug fahrzeug 2 liegen, beispielsweise im Bildsensor 4a selbst oder aber in einem zweiten Ankuppelpunkt 7 am Zugfahrzeug 2, beispielsweise in einer Sattel kupplung 7a eines Sattelzuges. Die beiden Ankuppelpunkte 6, 7 legen damit einen gemeinsamen Drehpunkt DP fest, um den sich das Zugfahrzeug 2 und der Anhänger 3 bei einer Kurvenfahrt gegeneinander verschwenken.
Der Fachmann wird hier einfach erkennen, dass die Ankuppelpunkte 6, 7 bei einem Deichselanhänger oder einem Drehschemelanhänger oder wei- teren Anhängerarten entsprechend anzupassen sind und auch für derartige Lastzüge aus geometrischen Betrachtungen ein Abstand AN, AR sowie ein Knickwinkel KW wie beschrieben aus der Transformationsmatrix T ermittelt werden kann.
Zusammenfassend kann also über die Marker M1 , M2, M3, M4 die Po se PO des Anhängers 3 bzw. auch die Pose PO jeglicher anderer Objekte O, die derartige Marker M1 , M2, M3, M4 mit bekannten Marker-Vektoren V1 ,
V2, V3, V4 bzw. Marker-Positionen P1 , P2, P3, P4 aufweisen, bestimmt wer den. Dazu wird das Bild-Koordinatensystem KB durch die Transformations matrix T in das erste Koordinatensystem K1 überführt, wodurch sich die Ob jektebene OE auch im zweiten Koordinatensystem K2 darstellen lässt. Dar aus können sowohl translatorische Messgrößen, z.B. die Abstände AN, AR, als auch rotatorische Messgrößen, z.B. Winkel, zwischen dem Zugfahrzeug 2 und der Objektebene OE des jeweiligen Objektes O, d.h. die Pose PO, ab geschätzt werden.
Um das Erkennen der Marker M1 , M2, M3, M4 zuverlässiger zu gestal ten, weisen diese jeweils eine räumliche Geometrie auf, vorzugsweise eine sphärische Geometrie, d.h. sie sind in Form einer Kugel ausgestaltet.
Dadurch wird vorteilhafterweise erreicht, dass die Marker M1 , M2, M3, M4 unabhängig von dem Blickwinkel der jeweiligen Kamera 4 immer als Kreis in dem aufgenommen Bild B abgebildet werden, d.h. eine zweidimensionale Projektion von Bildpunkten BPi auf dem Bildsensor 4a ausbilden. Als Kugeln sind die Marker M1 , M2, M3, M4 also blickwinkelinvariant. Grundsätzlich können aber auch Marker M1 , M2, M3, M4 mit anderen räumlichen Geomet rien verwendet werden, beispielsweise Halbkugeln, Würfel oder Zylinder, die ebenfalls von unterschiedlichen Blickwinkeln von der Kamera 4 mit definier ten zweidimensionalen Projektionen erfassbar sind. Als derartige Marker M1 , M2, M3, M4 können beispielsweise festgelegte Umrissleuchten 21a oder von diesen ausgestrahlte Umrissbeleuchtung selbst verwendet werden, die an Anhängern 3 bereits vorhanden sein können.
Weiterhin ergibt sich die Möglichkeit, die Marker M1 , M2, M3, M4 zu be leuchten, vorzugsweise von innen bzw. hinten aus einem Marker-Innenraum 20 mit einer entsprechenden Leuchtquelle 21 (s. Fig. 5a, 5b, 5c), beispiels weise einer LED, die über eine Leuchtsteuerung 22 mit einem Leuchtsignal SL angesteuert werden kann. Der jeweilige Marker M1 , M2, M3, M4 ist dann zumindest teilweise transparent bzw. lichtdurchlässig, um den Austritt der elektromagnetischen Strahlung von innen bzw. hinten zu ermöglichen. Dadurch sind die Marker M1 , M2, M3, M4 aus unterschiedlichen Blickwinkeln auch gut in der Dunkelheit von der Kamera 4 kontraststark zu erfassen. Die Marker M1 , M2, M3, M4 bzw. deren Leuchtquellen 21 werden dabei vor zugsweise über eine Energiequelle 23 im Anhänger 3 bzw. am jeweiligen Objekt O mit Energie versorgt, wobei die Energiequelle 23 durch Solarpanee le 23a geladen werden kann.
Dabei kann ergänzend vorgesehen sein, dass die Marker M1 , M2, M3, M4 in Abhängigkeit eines Bewegungszustandes Z des Fahrzeuges 1 , des Zugfahrzeuges 2 und/oder des Anhängers 3, bzw. allgemein des jeweiligen Objektes O von der Leuchtsteuerung 22 beleuchtet werden. Dazu kann bei spielsweise ein Bewegungssensor 24 am Anhänger 3 bzw. allgemein an dem Objekt O mit den Markern M1 , M2, M3, M4 vorgesehen sein, der den Bewe gungszustand Z des Fahrzeuges 1 , des Zugfahrzeuges 2 und/oder des An hängers 3, bzw. des Objektes O mit den Markern M1 , M2, M3, M4 erfassen kann. Bewegt sich das Fahrzeug 1 bzw. Zugfahrzeug 2 gegenüber dem je weiligen Objekt O bzw. den Markern M1 , M2, M3, M4 können die Leuchtquel len 21 von der Leuchtsteuerung 22 mit Energie versorgt und damit zum Leuchten gebracht werden. Vorzugsweise kann weiterhin vorgesehen sein, dass die Leuchtquellen
21 in Abhängigkeit unterschiedlicher Leuchtkriterien von der Leuchtsteuerung
22 angesteuert werden. Die Leuchtkriterien können hierbei der Normal- Abstand AN und/oder der Referenz-Abstand AR sein. In Abhängigkeit davon kann die Leuchtsteuerung 22 beispielsweise unterschiedliche Farben C für die Leuchtquellen 21 und/oder unterschiedliche Pulsdauern dt (Blinklicht) durch Frequenzmodulation des Leuchtsignals SL einstellen. Bei großem Ab stand AN, AR können beispielsweise lange Pulsdauern dt und bei geringem Abstand AN, AR geringere Pulsdauern dt vorgesehen sein. Als weiteres Leuchtkriterium kann eine Marker-Position P1, P2, P3, P4 des jeweiligen Markers M1 , M2, M3, M4 am jeweiligen Objekt O berücksichtigt werden. So kann die Leuchtsteuerung 22 beispielsweise einen oben links liegenden Mar ker in roter Farbe beleuchten und einen unten rechts liegenden Marker in blauer Farbe. Damit kann der Fahrer nebeneinander liegende Objekte O, die jeweils für sich Marker M1 , M2, M3, M4 aufweisen, beispielsweise parallel zueinander geparkte Anhänger 3, besser unterscheiden.
Grundsätzlich ist es auch möglich, die Marker M1 , M2, M3, M4 in ande rer Weise in der Dunkelheit sichtbar zu machen. Beispielsweise können die Marker M1 , M2, M3, M4 oberflächlich mit einer selbstleuchtenden Beschich tung 27, beispielsweise einer fluoreszierenden Beschichtung 27a, versehen sein oder die Marker M1 , M2, M3, M4 aus einem selbstleuchtenden Material gefertigt werden. Dadurch ist keine Energiequelle am jeweiligen Objekt O, das die Marker M1 , M2, M3, M4 aufweist, nötig.
Damit sind eine Reihe von Möglichkeiten vorgesehen, um die Marker M1 , M2, M3, M4 selbstleuchtfähig zu machen. Grundsätzlich können die Marker M1 , M2, M3, M4 aber auch von außen angeleuchtet bzw. angestrahlt werden, beispielsweise durch eine Umgebungsleuchte 25 am Zugfahrzeug 2 oder am jeweiligen Fahrzeug 1 , das sich an einen Anhänger 3, eine Lade rampe 11 a, oder allgemein an das Objekt O mit den Markern M1 , M2, M3, M4 annähert, so dass die Marker M1 , M2, M3, M4 auch dadurch in der Dun kelheit sichtbar gemacht werden können. Die Umgebungsleuchte 25 kann hierbei Strahlung im sichtbaren oder nicht-sichtbaren Spektrum, z.B. Ultravio lett, aussenden und die Marker M1 , M2, M3, M4 damit beleuchten. Die Mar ker M1 , M2, M3, M4 können auch mit einer entsprechenden Reflektions- Beschichtung 26 versehen sein, um die Strahlung im jeweiligen Spektrum mit hoher Intensität zurück zur Kamera 4 reflektieren zu können. Auch die Um gebungsleuchte 25 kann, wie die Leuchtquelle 21 , in Abhängigkeit des Be wegungszustandes Z und weiterer Leuchtkriterien angesteuert werden, um die Marker M1 , M2, M3, M4 in unterschiedliche Farben C und/oder mit unter schiedlichen Pulsdauern dt (Blinklicht) z.B. in Abhängigkeit vom Normal- Abstand AN und/oder vom Referenz-Abstand AR bzw. dem Bewegungszu stand Z anzuleuchten.
Dies unterscheidet die Erfindung von herkömmlichen Verfahren, bei de nen planare Flächen-Markierungen Mf allein oder in Kombination mit QR- Codes CQ und/oder Barcodes CB und/oder Aruco-Markern CA verwendet werden, um eine Pose PO der Objektebene OE des Objektes O zu erfassen, wobei die Sichtbarkeit der Flächen-Markierungen Mf unter großen Blickwin keln und in der Dunkelheit sehr stark eingeschränkt ist. Trotz dieser Nachtei le kann vorgesehen sein, die räumlich ausgedehnten Marker M1 , M2, M3,
M4 mit derartigen Flächen-Markierungen Mf zu kombinieren (s. Fig. 5). Die Flächen-Markierungen Mf können in der Dunkelheit durch die benachbart dazu liegenden Leuchtquellen 21 der Marker M1 , M2, M3, M4 bzw. durch deren Selbstleuchtfähigkeit oder durch die Umgebungsleuchte 25 ebenfalls beleuchtet werden, so dass diese auch in der Dunkelheit noch erkennbar sind. Die flächigen Marker Mf können dazu ebenso mit einer selbstleuchten den Beschichtung 27 oder einer Reflektions-Beschichtung 26 versehen sein, um selbst im Dunkeln besser erkennbar zu sein oder die Strahlung der Um gebungsleuchte 25 mit hoher Intensität zur jeweiligen Kamera 4 zurückreflek tieren zu können. Ergänzend können die Flächen-Markierungen Mf dazu verwendet wer den, das Objekt O mit den Markern M1 , M2, M3, M4, beispielsweise den An hänger 3, über eine größere Distanz von bis zu 10m zu erkennen, wenn die Marker M1 , M2, M3, M4 von der Kamera 4 unter Umständen noch nicht aus reichend aufgelöst werden können. Damit kann zu Beginn eine Groberken nung anhand der Flächen-Markierungen Mf und in Abhängigkeit davon eine gezielte Annäherung der Kamera 4 an das jeweilige Objekt O erfolgen bis die Kamera 4 auch die Marker M1 , M2, M3, M4 ausreichend auflösen kann. An schließend kann dann die Ermittlung der Objektebene OE anhand lediglich der Marker M1 , M2, M3, M4 oder anhand der Marker M1 , M2, M3, M4 und der Flächen-Markierungen Mf erfolgen, so dass bei der Bestimmung auf re dundante Informationen zurückgegriffen werden kann.
Die Flächen-Markierungen Mf können ergänzend Zusatz-Informationen liefern, die zur Ermittlung der Lage der Objektebene OE im Raum beitragen können. Beispielsweise können die Flächen-Markierungen Mf benachbart zu den Rändern 17 der Vorderseite 3a des Anhängers 3 bzw. des jeweiligen Objektes O positioniert sein. Dadurch kann nicht nur die Objektebene OE selbst ermittelt werden, sondern auch die Ausdehnung des jeweiligen Objek tes O bzw. die Objekt-Fläche OF, die das jeweilige Objekt O innerhalb der ermittelten Objektebene OE einnimmt. Es kann also eine Objekt-Breite OB und eine Objekt-Flöhe OFI der Vorderseite 3a bzw. des jeweiligen Objektes O innerhalb der ermittelten Objektebene OE abgeschätzt werden, wenn ange nommen wird, dass die Marker M1 , M2, M3, M4 oder zumindest einige der Marker M1 , M2, M3, M4 das Objekt O randseitig begrenzen.
Auch die Marker M1 , M2, M3, M4 selbst oder zumindest einige der Mar ker M1 , M2, M3, M4 können in dieser Weise an den Rändern 17 angeordnet sein, so dass auch aus deren Marker-Positionen P1 , P2, P3, P4 bzw. Mar ker-Vektoren V1 , V2, V3, V4 die Objekt-Breite OB und die Objekt-Flöhe OFI des Objektes O innerhalb der ermittelten Objektebene OE abgeschätzt wer den kann. Sind mehr als vier Marker M1 , M2, M3, M4 und/oder Flächen- Markierungen Mf vorgesehen, können diese auch eine mehreckige Objekt- Fläche OF in der Objektebene OE begrenzen, so dass dadurch eine Form bzw. eine Kontur K des Objektes O innerhalb der ermittelten Objektebene OE extrahiert werden kann. Darüber kann auf die Form des gesamten Objek tes O zurückgeschlossen werden, beispielsweise bei einem Anhänger 3.
Die Objekt-Breite OB und/oder die Objekt-Flöhe OFI können damit an hand unterschiedlicher Anhaltspunkte ermittelt oder zumindest abgeschätzt werden. Im Falle eines Anhängers 3 die entsprechende Ausdehnung der Vorderseite und im Falle einer Laderampe 11a oder eines Garagentores 11b deren flächige Ausdehnung. Ist unbekannt, ob sich die jeweiligen Anhalts punkte (Marker, Flächen-Markierungen etc.) randseitig befinden, kann dar aus zumindest eine ungefähre (minimale) Begrenzung des jeweiligen Objek tes O und damit eine ungefähre (minimale) Objekt-Breite OB und/oder unge fähre (minimale) Objekt-Flöhe OFI abgeschätzt werden.
Ergänzend können die Flächen-Markierungen Mf QR-Codes CQ oder Barcodes CB oder Aruco-Marker CA aufweisen (s. Fig. 5a). In diesen können die Objekt-Breite OB und/oder die Objekt-Flöhe OFI des Objektes O insbe sondere innerhalb der ermittelten Objektebene OE und/oder die Marker- Vektoren V1 , V2, V3, V4 und/oder die Marker-Positionen P1 , P2, P3, P4 rela tiv zu dem ersten Bezugspunkt BP1 (z.B. der erste Ankuppelpunkt 6 am An hänger 3) kodiert sein. So kann die Steuereinheit 5, die mit der Kamera 4 verbunden ist, auch ohne ein vorheriges Einlesen dieser Daten beispielswei se das erste Koordinatensystem K1 festlegen bzw. aus der Transformati onsmatrix T die entsprechenden Informationen extrahieren. Die QR-Codes CQ oder Barcodes CB oder Aruco-Marker CA können dabei beispielsweise nach einer Kalibrierung der Marker M1 , M2, M3, M4 erstellt und als Teil der Flächen-Markierungen Mf anschließend auf das jeweilige Objekt O marker nah flächig aufgebracht werden.
Es kann auch vorgesehen sein, dass geometrische Informationen des Objektes O, z.B. die Objekt-Breite OB und/oder die Objekt-Höhe OH des Ob jektes O, insbesondere innerhalb der ermittelten Objektebene OE, und/oder die Marker-Vektoren V1 , V2, V3, V4 und/oder die Marker-Positionen P1 , P2, P3, P4 relativ zu dem ersten Bezugspunkt BP1 (z.B. der erste Ankuppelpunkt 6 am Anhänger 3) über die Marker-Positionen P1 , P2, P3, P4 am jeweiligen Objekt O kodiert sind. So kann aus der räumlichen Anordnung der Marker M1 , M2, M3, M4 erkannt werden, wo beispielsweise der erste Bezugspunkt BP1 , z.B. der erste Ankuppelpunkt 6, liegt. So können bei vier Markern M1 , M2, M3, M4 z.B. jeweils ein Marker oben links, oben mittig und oben rechts angeordnet sein und ein weiterer Marker unten mittig. Diese räumliche An ordnung ist dann einer bestimmten festgelegten Position des ersten Ankup pelpunktes 6 zugeordnet, die der Steuereinheit 5 bekannt ist. Entsprechend kann bei einer anderen festgelegten Position des ersten Ankuppelpunktes 6 eine andere räumlich Anordnung der Marker M1 , M2, M3, M4 zugeordnet sein, wobei zur weiteren Untergliederung auch weitere Marker vorgesehen sein können.
Grundsätzlich können die QR-Codes CQ oder Barcodes CB oder Aru- co-Marker CA mit der entsprechenden Kodierung auch auf den Markern M1 , M2, M3, M4 entsprechend gekrümmt aufgebracht werden (nicht dargestellt), so dass die jeweiligen Daten zur Festlegung des ersten Koordinatensystems K1 bzw. zur Identifizierung der Marker-Positionen P1 , P2, P3, P4 der Marker M1 , M2, M3, M4 durch die Kamera 4 erkannt werden können. Weiterhin kön nen in einem oder mehreren Markern M1 , M2, M3, M4 auch Kommunikati onseinheiten 30 angeordnet sein (s. Fig. 5a), die ausgebildet sind, diese Da ten (die Objekt-Breite OB und/oder die Objekt-Höhe OH des Objektes O, ins besondere innerhalb der ermittelten Objektebene OE, und/oder die Marker- Vektoren V1 , V2, V3, V4 und/oder die Marker-Positionen P1 , P2, P3, P4 rela tiv zu dem ersten Bezugspunkt BP1) drahtlos, z.B. über Bluetooth 30a, RFID 30b, o.ä., an das Zugfahrzeug 2 bzw. die Steuereinheit 5 zu übermitteln, z.B. eine Anhänger-Kennung ID.
Mit den derartig ausgebildeten Markern M1, M2, M3, M4 können je nach Fahrzeugtyp eine Reihe von Assistenzfunktionen Fi durchgeführt werden:
Wie bereits beschrieben, kann mithilfe der Marker M1 , M2, M3, M4 bei einem mehrteiligen Fahrzeug 1 aus einem Zugfahrzeug 2 und einem Anhä nger 3 der Knickwinkel KW zwischen diesen vorzugsweise fortlaufend ermit telt werden. Dieser Knickwinkel KW kann dann beispielsweise dazu verwen det werden, das mehrteilige Fahrzeug 1 bei einer Rückwärtsfahrt und/oder während eines Einparkvorganges zu steuern oder während einer Kurvenfahrt über eine Knickwinkel-Änderung dKW die Stabilität abzuschätzen. Damit kann eine knickwinkelbasierte Assistenzfunktion F1 bereitgestellt werden.
Weiterhin kann mithilfe des Normal-Abstandes AN bzw. des Referenz- Abstandes AR eine Ankuppelassistenzfunktion F2 ermöglicht werden. Als Referenzpunkte PR1 , PR2 können dabei beispielsweise die Ankuppelpunkte 6, 7 gewählt werden, wobei unterstützend aus dem daraus folgenden Refe renz-Abstand AR ein lateraler Referenz-Abstand ARI und ein vertikaler Refe renz-Abstand ARv ermittelt werden. Diese folgen ebenfalls aus der über die Transformationsmatrix T ermittelten Pose PO der Objektebene OE relativ zum Bildsensor 4a bzw. der Objektebene OE im zweiten Koordinatensystem K2. Dies ermöglicht eine gezielte Annäherung des zweiten Ankuppelpunktes 7 am Zugfahrzeug 2 an den ersten Ankuppelpunkt 6 am Anhänger 3, wenn das Zugfahrzeug 2 in Abhängigkeit der Komponenten des Referenz- Abstandes ARI, ARv gezielt manuell oder automatisiert gesteuert wird. Alternativ oder ergänzend können in Abhängigkeit der ermittelten relati ven Lage der Objektebene OE bzw. der Vorderseite 3a des Anhängers 3 auch Anhänger-Informationen AI erstellt und von einer Anzeigeeinrichtung 8 zusammen mit dem aufgenommenen Bild B der Kamera 4 für den Fahrer sichtbar angezeigt werden. Beispielsweise können als Anhänger- Informationen AI eine Anhänger-Kennung ID, der Normal-Abstand AN und/oder der Referenz-Abstand AR, der Knickwinkel KW, etc. von der Anzei geeinrichtung 8 angezeigt werden. Die Anzeigeeinrichtung 8 kann die Anhä nger-Informationen AI dabei dem von der jeweiligen Kamera 4 aufgenomme nen Bild B überlagern, so dass sowohl die Abbildung der Umgebung U als auch die Anhänger-Informationen Ai angezeigt werden. Die Anhänger- Informationen AI können beispielsweise übersichtlich in Abhängigkeit des Abstandes AN, AR skaliert und in dem Bildbereich des Bildes B überlagert angezeigt werden, in dem die Vorderseite 3a des Anhängers 3 dargestellt ist.
Weiterhin kann vorgesehen sein, dass die Anzeigeeinrichtung 8 als An hänger-Information AI die Kontur K beispielsweise der Vorderseite 3a des Anhängers 3 oder des gesamten Anhängers 3 anzeigt. Die Kontur K wird dabei aus der über die Marker M1 , M2, M3, M4 ermittelten Objektebene OE in Abhängigkeit der hinterlegten oder ermittelten Objekt-Breite OB und Ob jekt-Höhe OH jeweils des Anhängers 3 modelliert. Auch die Marker- Positionen P1 , P2, P3, P4 der Marker M1 , M2, M3, M4 können dabei berück sichtigt werden, wenn diese beispielsweise an den Rändern 17 der Vorder seite 3a angeordnet sind. Die Anhänger-Kontur K kann einzeln oder dem Bild B überlagert angezeigt werden. Dies kann z.B. bei Dunkelheit ein Rangieren oder Ankuppeln vereinfachen.
Weiterhin kann von der Anzeigeeinrichtung 8 als Anhänger-Information AI der erste bzw. zweite Ankuppelpunkt 6, d.h. der Kingpin 6a bzw. die Sat telkupplung 7a, einzeln oder als Überlagerung über dem Bild B angezeigt werden. Da beispielsweise der Kingpin 6a im Bild B der Kamera 4 nicht direkt zu sehen ist, kann durch diese Überlagerung ggf. in Kombination mit dem angezeigten Referenz-Abstand AR ein Ankuppeln erleichtert werden bzw. kann ein Ankuppelvorgang beispielsweise auch bei Dunkelheit genau über wacht werden.
Ergänzend können dem Bild B von der Anzeigeeinrichtung 8 als Anhä nger-Informationen AI eine Anhänger-Mittenachse 40 des Anhängers 3 sowie eine Zugfahrzeug-Mittenachse 41 des Zugfahrzeuges 2 überlagert werden. Während die Zugfahrzeug-Mittenachse 41 bekannt ist, kann die Anhänger- Mittenachse 40 aus der über die Marker M1 , M2, M3, M4 ermittelten Objekt ebene OE in Abhängigkeit der hinterlegten oder ermittelten Objekt-Breite OB und/oder Objekt-Höhe OH jeweils des Anhängers 3 modelliert werden. Auch die Marker-Positionen P1 , P2, P3, P4 der Marker M1 , M2, M3, M4 können dabei berücksichtigt werden, wenn diese beispielsweise an den Rändern 17 der Vorderseite 3a angeordnet sind. Der Winkel zwischen der Anhänger- Mittenachse 40 des Anhängers 3 sowie eine Zugfahrzeug-Mittenachse 41 des Zugfahrzeuges 2 ist dann der Knickwinkel KW, der ergänzend angezeigt werden kann. Die Anzeige bzw. Überlagerung der Mittenachsen 40, 41 er möglicht es dem Fahrer beide Linien relativ zueinander zu positionieren, z.B. übereinanderzubringen, so dass er dadurch beispielsweise bei einem An kuppelvorgang unterstützt werden kann. Gleichwirkend damit kann auch je weils eine Achse eingezeichnet werden, die parallel zu der Anhänger- Mittenachse 40 des Anhängers 3 bzw. der Zugfahrzeug-Mittenachse 41 des Zugfahrzeuges 2 liegt.
Ergänzend können dem Bild B von der Anzeigeeinrichtung 8 auch Steuerinformationen Sl überlagert werden, die dem Fahrer beispielsweise durch Pfeile anzeigen, in welche Richtung er das Zugfahrzeug 2 zu steuern hat, um den zweiten Ankuppelpunkt 6 an den ersten Ankuppelpunkt 7 anzu nähern. Die Steuerinformationen Sl können beispielsweise durch eine ent- sprechend Steueralgorithmus auf der Steuereinheit 5 ermittelt werden, der eine geeignete Trajektorie ermittelt.
Weiterhin kann eine Laderaumkamera 10 im Laderaum 10a des Anhä ngers 3 vorgesehen sein, die eine geladene Fracht erfassen kann. Die von der Laderaumkamera 10 aufgenommenen Laderaum-Bilder LB können von der Anzeigeeinrichtung 8 angezeigt werden. Die Laderaum-Bilder LB können dabei derartig über die Bilder B der Kamera 4 gelegt werden, dass diese im Bereich des Anhängers 3, der durch die Marker M1 , M2, M3, M4 verifiziert wird, angezeigt werden. Dadurch kann der Fahrer auch während des Be triebs die Fracht kontrollieren bzw. erkennen, was der durch die Kamera 4 erfasste Anhänger 3 geladen hat. Dies kann bei einem Annäherungsvorgang oder auch bereits beim Vorbeifahren am Anhänger 3 z.B. auf einem Be triebshof 11a geschehen, um auch optisch zu verifizieren, ob ein Anhänger 3 dem Zugfahrzeug 2 zugeordnet ist.
Neben einer internen Anwendung in einem mehrteiligen Fahrzeug 1 wie beschrieben, kann im Rahmen einer Abstands-Assistenzfunktion F3 vorge sehen sein, dass die Marker M1 , M2, M3, M4 beispielsweise an einem Ge bäude 11 , z.B. einer Laderampe 11 a, einem Garagentor 11 b, etc., oder an einem sich bewegenden oder stehenden Fremd-Fahrzeug 12 oder an sonsti gen Hindernissen in der Umgebung U positioniert sind, die jeweils als poten tiell relevante Objekte O von der Kamera 4 erkannt werden können.
Die Marker M1 , M2, M3, M4 können auch damit in der beschriebenen Weise dazu dienen, eine relevante Objektebene OE dieser Objekte O zu er mitteln, wenn die Marker-Positionen P1 , P2, P3, P4 und/oder die Marker- Vektoren V1 , V2, V3, V4 bekannt sind. Auch diese können dann mit Flächen- Markierungen Mf und/oder Leuchtquellen 21 und/oder einer selbstleuchten den Beschichtung 27 und/oder Reflektions-Beschichtung 26 in der beschrie benen Weise kombiniert werden, um bei unterschiedlichen Umgebungsbe- dingungen eine möglichst zuverlässige und einfache Ermittlung der Objekt ebene OE zu ermöglichen.
Bezugszeichenliste (Teil der Beschreibung)
1 Fahrzeug
2 Zugfahrzeug
3 Anhänger
3a Vorderseite des Anhängers 3
4 Kamera
42 Zugfahrzeug-Kamera
43 Anhänger-Kamera 4a Bildsensor
5 Steuereinheit
6 erster Ankuppelpunkt
6a Kingpin/Königszapfen
7 zweiter Ankuppelpunkt
7a Sattelkupplung
8 Anzeigeeinrichtung
10 Laderaumkamera
11 Gebäude
11 a Laderampe
11 b Garagentor
12 Fremd-Fahrzeug
17 Ränder des Objektes O
20 Marker-Innenraum
21 Leuchtquelle
21 a Umrissleuchten
22 Leuchtsteuerung
23 Energiequelle
23a Solarpaneel 24 Bewegungssensor
25 Umgebungsleuchte
26 Reflektions-Beschichtung 27 selbstleuchtende Beschichtung 27a fluoreszierende Beschichtung 30 Kommunikationseinheit 30a Bluetooth 30b RFID
40 Anhänger-Mittenachse
41 Zugfahrzeug-Mittenachse AN Normal-Abstand AR Referenz-Abstand ARI lateraler Referenz-Abstand ARv vertikaler Referenz-Abstand B Bild
BE Bildebene
BPi Bildpunkten
C Farbe
CQ QR-Code
CB Barcode
CA Aruco-Marker
DP Drehpunkt dt Pulsdauer dKW Knickwinkel-Änderung
E Erfassungsbereich
E2 Zugfahrzeug-Erfassungsbereich
E3 Anhänger-Erfassungsbereich f Brennweite
F1 knickwinkelbasierte Assistenzfunktion
F2 Ankuppelassistenzfunktion
F3 Abstands-Assistenzfunktion ID Anhänger-Kennung
K Kontur des Objektes O
K1 erstes Koordinatensystem (markerfest)
K2 zweites Koordinatensystem (kamerafest)
KB Bild-Koordinatensystem
KD Kamera-Daten
KW Knickwinkel
LB Laderaum-Bild
M1 , M2, M3, M4 Marker
M1a, M2a M3a, M4a Marker-Abbildung
Mf Flächen-Markierung
O Objekt
OB Objekt-Breite
OE Objektebene
OF Objekt-Fläche
OFI Objekt-Flöhe
P1 , P2, P3, P4 Marker-Position
PB1 erster Bezugspunkt
PB2 zweiter Bezugspunkt
PO Pose
PPi Objektpunkt
PR1 erster Referenzpunkt
PR2 zweiter Referenzpunkt
Sl Steuerinformation
SL Leuchtsignal
SV Seitenverhältnis des Bildsensors 4a
T T ransformationsmatrix u Umgebung
U1 erster Ursprung
U2 zweiter Ursprung
V1 , V2, V3, V4 Marker-Vektor z Bewegungszustand xB, yB Bildkoordinaten x1 , y1 , z1 erster Koordinaten im ersten Koordinatensystem K1 x2, y2, z2 zweite Koordinaten im zweiten Koordinatensystem K2

Claims

Patentansprüche
1. Verfahren zum Ermitteln einer Pose (PO) eines Objektes (O) relativ zu einem Fahrzeug (1), wobei das Objekt (O) und das Fahrzeug (1) gegen einander beweglich sind und das Objekt (O) mindestens drei Marker (M1 , M2, M3, M4) aufweist, wobei das Objekt (O) von mindestens einer Kamera (4) an dem Fahrzeug (1) erfasst wird, mit mindestens den fol genden Schritten:
- Erfassen der mindestens drei Marker (M1 , M2, M3, M4) mit der Kamera (4) und Erzeugen eines Bildes (B), wobei den mindestens drei Markern (M1 , M2, M3, M4) in dem Bild (B) jeweils eine Marker-Abbildung (M1 a, M2a, M3a, M4a) zugeordnet ist;
- Ermitteln von Marker-Positionen (P1 , P2, P3, P4) und/oder Marker- Vektoren (V1 , V2, V3, V4) der Marker (M1 , M2, M3, M4) auf dem erfass ten Objekt (O);
- Ermitteln einer Transformationsmatrix (T) in Abhängigkeit der Marker- Positionen (P1 , P2, P3, P4) und/oder der Marker-Vektoren (V1 , V2, V3, V4) sowie in Abhängigkeit der Marker-Abbildungen (M1a, M2a, M3a, M4a), wobei die Transformationsmatrix (T) die Marker (M1 , M2, M3, M4) auf dem Objekt (O) auf die Marker-Abbildung (M1a, M2a, M3a, M4a) in dem Bild (B) der Kamera (4) am Fahrzeug (1) abbildet; und
- Ermitteln einer durch die Marker (M1 , M2, M3, M4) auf dem Objekt (O) ausgebildeten Objektebene (OE) in einem zweiten Koordinatensystem (K2) in Abhängigkeit der ermittelten Transformationsmatrix (T), wobei das zweite Koordinatensystem (K2) fahrzeugfest ist zum Ermitteln der Pose (PO) des Objektes (O) relativ zu dem Fahrzeug (1), dadurch gekennzeichnet, dass die mindestens drei Marker (M1 , M2, M3, M4) an dem Objekt (O) räum lich ausgedehnt sind und in dem Bild (B) flächigen Marker-Abbildungen (M1a, M2a, M3a, M4a) zugeordnet werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass von der Ka mera (4) mindestens drei Marker (M1 , M2, M3, M4), vorzugsweise min destens vier Marker (M1 , M2, M3, M4) erfasst werden, die sphärisch o- der zylinderförmig oder quaderförmig sind.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass zumindest einer der mindestens drei Marker (M1 ,
M2, M3, M4)
- von innen und/oder hinten beleuchtet wird, beispielsweise über in ei nem Marker-Innenraum (20) der mindestens drei Marker (M1 , M2, M3, M4) angeordneten Leuchtquelle (21) und/oder
- von außen angeleuchtet und/oder angestrahlt wird, beispielsweise über eine Umgebungsleuchte (25), vorzugsweise am Fahrzeug (1), und/oder
- eine selbstleuchtende Beschichtung (27) aufweist, beispielsweise eine fluoreszierende Beschichtung (27a).
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Leucht quelle (21) und/oder die Umgebungsleuchte (25) in Abhängigkeit eines Bewegungszustandes (Z) des Fahrzeuges (1) und/oder des Objektes (O) angesteuert wird.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass
- eine Farbe (C) der Leuchtquelle (21) und/oder der Umgebungsleuchte (25) und/oder eine Pulsdauer (dt) der Leuchtquelle (21) und/oder der Umgebungsleuchte (25) in Abhängigkeit eines Abstandes (AN, AR) zwi schen dem Fahrzeug (1) und dem Objekt (O), und/oder
- eine Farbe (C) der Leuchtquelle (21) und/oder eine Pulsdauer (dt) der Leuchtquelle (21) in Abhängigkeit der Marker-Position (P1 , P2, P3, P4) am Objekt (O) eingestellt wird, und/oder
- eine Farbe (C) der selbstleuchtenden Beschichtung (27) an zumindest einem der mindestens drei Marker (M1 , M2, M3, M4) in Abhängigkeit der Marker-Position (P1, P2, P3, P4) am Objekt (O) eingestellt wird.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Leuchtquellen (21) in zumindest einem der mindestens drei Marker (M1 , M2, M3, M4) von einer Energiequelle (23), beispielsweise einem Solarpaneel (23a), am Objekt (O) mit Energie versorgt werden.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass mindestens einer der mindestens drei Marker (M1 , M2, M3, M4) durch eine Umrissleuchte (21a) an Rändern (17) des Objektes (O) gebil det wird.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Umgebungsleuchte (25) sichtbare und/oder nicht-sichtbare Strahlung auf die Marker (M1 , M2, M3, M4) aussendet und die Marker (M1 , M2, M3, M4) eine Reflektions-Beschichtung (26) aufweisen.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass das Objekt (O) eine Objekt-Breite (OB) und eine Ob jekt-Höhe (OH) aufweist.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass auf zumin dest einem der Marker (M1 , M2, M3, M4) oder benachbart zu zumindest einem der Marker (M1 , M2, M3, M4) ein QR-Code (CQ) und/oder ein Barcode (CB) und/oder ein Aruco-Marker (CA) oberflächlich aufgebracht ist und der QR-Code (CQ) und/oder der Barcode (CB) und/oder der Aru co-Marker (CA) von der Kamera (4) erfasst wird.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass aus dem von der Kamera (4) erfassten QR-Code (CQ) und/oder dem Barcode (CB) und/oder dem Aruco-Marker (CA) die Objekt-Breite (OB) des Ob- jekts (O) und/oder die Objekt-Höhe (OH) des Objekts (O) und/oder die Marker-Positionen (P1 , P2, P3, P4) und/oder die Objekt-Vektoren (V1 , V2, V3, V4) ermittelt werden.
12. Verfahren nach einem der Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass die Objekt-Breite (OB) des Objekts (O) und/oder die Objekt-Höhe (OH) des Objekts (O) und/oder ein erster Bezugspunkt (BP1 ) am Objekt (O) in Abhängigkeit der räumlichen Anordnung der erkannten Marker (M1 , M2, M3, M4) am Objekt (O) zueinander ermittelt und/oder zumin dest abgeschätzt werden.
13. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die Objekt-Breite (OB) des Objekts (O) und/oder die Objekt-Höhe (OH) des Objekts (O) und/oder ein erster Bezugspunkt (BP1 ) am Objekt (O) und/oder die Marker-Positionen (P1 , P2, P3, P4) und/oder die Mar ker-Vektoren (V1 , V2, V3, V4) über eine Kommunikationseinheit (30) am Objekt (O), beispielsweise per Bluetooth (30a) oder RFID (30b) an das Fahrzeug (1 ) übermittelt werden.
14. Verfahren nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass von der Kamera (4) ergänzend Flächen-Markierungen (Mf) erfasst werden, die benachbart zu zumindest einem der Marker (M1 , M2, M3, M4) auf dem Objekt (O) angeordnet sind, wobei aus den erfassten Flä chen-Markierungen (Mf) eine redundante Ermittlung der Pose (PO) des Objektes (O) relativ zu dem Fahrzeug (1 ) erfolgt.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Flä chen-Markierungen (Mf) und/oder die Marker (M1 , M2, M3, M4) zumin dest teilweise an Rändern (17) des Objektes (O) angeordnet sind und aus dem erfassten Bild (B) der Kamera (4) die Objekt-Breite (OB) des Objekts (O) und/oder die Objekt-Höhe (OH) des Objekts (O) abgeleitet wird.
16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass
- das Fahrzeug (1) einteilig ist und das Objekt (O) nicht mit dem Fahr zeug (1) verbunden ist, wobei sich das Fahrzeug (1) relativ zu dem Ob jekt (O) bewegt und das Objekt (O) ein anzukuppelnder Anhänger (3) oder ein Gebäude (11 ), beispielsweise eine Laderampe (11 a) oder ein Garagentor (11 b), oder ein Fremd-Fahrzeug (12) ist, oder dass
- das Fahrzeug (1) mehrteilig ist und die Kamera (4; 42; 43) an einem Zugfahrzeug (2) und/oder an einem daran angekuppelten Anhänger (3) angeordnet ist, wobei
- das Objekt (O) mit dem mehrteiligen Fahrzeug (1) verbunden ist, wobei das Objekt (O) ein angekuppelter Anhänger (3) ist, der sich relativ zu dem Zugfahrzeug (2) zumindest zeitweise bewegt, oder
- das Objekt (O) nicht mit dem mehrteiligen Fahrzeug (1) verbunden ist, wobei das Objekt (O) ein Gebäude (11), beispielsweise eine Laderampe (11 a) oder ein Garagentor (11 b), oder ein Fremd-Fahrzeug (12) ist.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass das Bild (B) der Kamera (4) auf einer Anzeigeeinrich tung (8) angezeigt wird, wobei dem Bild (B) von der Anzeigeeinrichtung (8) ein Normal-Abstand (AN) und/oder ein Referenz-Abstand (AR) und/oder eine Kontur (K) des Objektes (O) und/oder Steuerinformationen (Sl) und/oder ein Knickwinkel (KW) zwischen dem Zugfahrzeug (2) und dem Anhänger (3) und/oder ein erster Ankuppelpunkt (6) und/oder ein zweiter Ankuppelpunkt (7) und/oder eine Anhänger-Kennung (ID) und/oder ein Laderaum-Bild (LB) und/oder eine in Abhängigkeit der Mar ker (M1 , M2, M3, M4) ermittelten Anhänger-Mittenachse (40) und/oder eine Zugfahrzeug-Mittenachse (41) überlagert werden.
18. Verfahren zum Steuern eines Fahrzeuges (1) in Abhängigkeit einer Pose (PO) eines Objektes (O) relativ zu dem Fahrzeug (1), wobei die Pose (PO) des Objektes (O) in einem Verfahren nach einem der vorherigen Ansprüche ermittelt wird, wobei das Fahrzeug (1)
- im Rahmen einer knickwinkelbasierte Assistenzfunktion (F1) in Abhän gigkeit eines aus der ermittelten Pose (PO) des Objektes (O) hergeleite ten Knickwinkels (KW) zwischen einem Zugfahrzeug (2) und einem An hänger (3) eines mehrteiligen Fahrzeuges (1) und/oder einer Knickwin kel-Änderung (dKW) gesteuert wird, oder
- im Rahmen einer Ankuppelassistenzfunktion (F2) in Abhängigkeit eines aus der ermittelten Pose (PO) des Objektes (O) hergeleiteten Normal- Abstandes (AN) und/oder Referenz-Abstandes (AR) zwischen dem Zug fahrzeug (2) als Fahrzeug (1) und einem anzukuppelnden Anhänger (3) als Objekt (O), an dem die mindestens drei Marker (M1 , M2, M3, M4) angeordnet sind, derartig gesteuert wird, dass sich ein erster Ankuppel punkt (6) an dem anzukuppelnden Anhänger (3) an einen zweiten An kuppelpunkt (7) am Zugfahrzeug (2) annähert und die beiden Ankuppel punkte (6, 7) an einem gemeinsamen Drehpunkt (DP) aneinander ge kuppelt werden, oder
- im Rahmen einer Abstands-Assistenzfunktion (F3) in Abhängigkeit ei nes aus der ermittelten Pose (PO) des Objektes (O) hergeleiteten Nor mal-Abstandes (AN) und/oder Referenz-Abstandes (AR) zwischen dem Zugfahrzeug (2) als Fahrzeug (1) und einem Gebäude (11) als Objekt (O), an dem die mindestens drei Marker (M1 , M2, M3, M4) angeordnet sind, beispielsweise einer Laderampe (11a) oder einem Garagentor
(11 b), oder einem Fremd-Fahrzeug (12) als Objekt (O), an dem die min destens drei Marker (M1 , M2, M3, M4) angeordnet sind, gesteuert wird.
19. Steuereinheit (5) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
20. Fahrzeug (1 ) mit einer Steuereinheit (5) nach Anspruch 19, wobei das Fahrzeug (1 ) einteilig oder mehrteilig ist und die mindestens eine Kame ra (4) an dem Zugfahrzeug (2) und/oder dem Anhänger (3) des mehrtei ligen Fahrzeuges (1 ) angeordnet ist.
21. Fahrzeug (1 ) nach Anspruch 20, dadurch gekennzeichnet, dass die min destens drei Marker (M1 , M2, M3, M4) an einer Vorderseite (3a) des An hängers (3) angeordnet sind.
EP21715163.8A 2020-03-26 2021-03-22 Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug Pending EP4128160A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020108416.1A DE102020108416A1 (de) 2020-03-26 2020-03-26 Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
PCT/EP2021/057174 WO2021191099A1 (de) 2020-03-26 2021-03-22 Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug

Publications (1)

Publication Number Publication Date
EP4128160A1 true EP4128160A1 (de) 2023-02-08

Family

ID=75277976

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21715163.8A Pending EP4128160A1 (de) 2020-03-26 2021-03-22 Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug

Country Status (4)

Country Link
US (1) US20230196609A1 (de)
EP (1) EP4128160A1 (de)
DE (1) DE102020108416A1 (de)
WO (1) WO2021191099A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022111110A1 (de) 2022-05-05 2023-11-09 Bayerische Motoren Werke Aktiengesellschaft Markervorrichtung zur Positionsbestimmung sowie Verfahren zum Installieren einer Markervorrichtung
CN117622322B (zh) * 2024-01-26 2024-04-26 杭州海康威视数字技术股份有限公司 转角检测方法、装置、设备及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002012172A (ja) 2000-06-30 2002-01-15 Isuzu Motors Ltd トレーラ連結角検出装置
DE10302545A1 (de) 2003-01-23 2004-07-29 Conti Temic Microelectronic Gmbh Automatisches Ankuppel bzw. Andocken mittels 2D- und 3D-Bildsensorik
DE102004008928A1 (de) 2004-02-24 2005-09-08 Bayerische Motoren Werke Ag Verfahren zum Ankuppeln eines Anhängers unter Einsatz einer Fahrzeugniveauregulierung
DE102004025252B4 (de) 2004-05-22 2009-07-09 Daimler Ag Anordnung zur Bestimmung des Gespannwinkels eines Gliederzugs
US20070065004A1 (en) * 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
DE102006040879B4 (de) 2006-08-31 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Einpark- und Rückfahrhilfe
DE102006056408B4 (de) 2006-11-29 2013-04-18 Universität Koblenz-Landau Verfahren zum Bestimmen einer Position, Vorrichtung und Computerprogrammprodukt
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
RU2009113008A (ru) * 2009-04-08 2010-10-20 Михаил Юрьевич Воробьев (RU) Способ определения позиции и ориентации прицепа транспортного средства и устройство для его осуществления
US9139977B2 (en) * 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
WO2012103193A1 (en) 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
US9335162B2 (en) 2011-04-19 2016-05-10 Ford Global Technologies, Llc Trailer length estimation in hitch angle applications
DE102012003992A1 (de) * 2012-02-28 2013-08-29 Wabco Gmbh Zielführungssystem für Kraftfahrzeuge
GB2534039B (en) * 2013-04-26 2017-10-25 Jaguar Land Rover Ltd System for a towing vehicle
US9464887B2 (en) * 2013-11-21 2016-10-11 Ford Global Technologies, Llc Illuminated hitch angle detection component
US9437055B2 (en) 2014-08-13 2016-09-06 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
DE102016209418A1 (de) 2016-05-31 2017-11-30 Bayerische Motoren Werke Aktiengesellschaft Betreiben eines Gespanns mittels Vermessung der relativen Lage eines Informationsträgers über eine Ausleseeinrichtung
US10073451B2 (en) 2016-08-02 2018-09-11 Denso International America, Inc. Safety verifying system and method for verifying tractor-trailer combination
DE102016011324A1 (de) 2016-09-21 2018-03-22 Wabco Gmbh Verfahren zur Steuerung eines Zugfahrzeugs bei dessen Heranfahren und Ankuppeln an ein Anhängerfahrzeug
DE102016218603A1 (de) 2016-09-27 2018-03-29 Jost-Werke Deutschland Gmbh Vorrichtung zur Positionserkennung eines ersten oder zweiten miteinander zu kuppelnden Fahrzeugs
AU2017334261B2 (en) * 2016-09-27 2022-12-01 Towteknik Pty Ltd Device, method, and system for assisting with trailer reversing
DE102017208055A1 (de) * 2017-05-12 2018-11-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Neigung eines kippbaren Anbaugerätes eines Fahrzeugs
IT201700054083A1 (it) 2017-05-18 2018-11-18 Cnh Ind Italia Spa Sistema e metodo di collegamento automatico tra trattore ed attrezzo
US10346705B2 (en) 2017-06-20 2019-07-09 GM Global Technology Operations LLC Method and apparatus for estimating articulation angle
DE102017119969B4 (de) * 2017-08-31 2023-01-05 Saf-Holland Gmbh Anhänger mit einer Anhänger-Steuervorrichtung, Ankupplungssystem und Verfahren zur Durchführung eines Kupplungsprozesses
DE102017119968B4 (de) 2017-08-31 2020-06-18 Saf-Holland Gmbh Anhänger und System zur Identifikation eines Anhängers und zur Unterstützung eines Ankupplungsprozesses an eine Zugmaschine
DE102018203152A1 (de) * 2018-03-02 2019-09-05 Continental Automotive Gmbh Anhängerwinkelbestimmungssystem für ein Fahrzeug
DE102018210340A1 (de) 2018-06-26 2020-01-02 Zf Friedrichshafen Ag Verfahren und System zum Ermitteln einer Relativpose zwischen einem Zielobjekt und einem Fahrzeug

Also Published As

Publication number Publication date
US20230196609A1 (en) 2023-06-22
DE102020108416A1 (de) 2021-09-30
WO2021191099A1 (de) 2021-09-30

Similar Documents

Publication Publication Date Title
DE102006056408B4 (de) Verfahren zum Bestimmen einer Position, Vorrichtung und Computerprogrammprodukt
DE102006035929B4 (de) Verfahren zum sensorgestützten Unterfahren eines Objekts oder zum Einfahren in ein Objekt mit einem Nutzfahrzeug
DE102019124152A1 (de) Kupplungsunterstützungssystem
EP4128160A1 (de) Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug
WO2015120981A1 (de) Verfahren zur ermittlung der absoluten position einer mobilen einheit und mobile einheit
EP2985182A2 (de) Verfahren zur warnung von verkehrsteilnehmern vor möglichen gefahrenbereichen, die durch ein fahrzeug entstehen, das ein fahrmanöver ausführt oder ausführen will
WO2014177413A1 (de) Geführte fahrzeugpositionierung für induktives laden mit hilfe einer fahrzeugkamera
DE102004028763A1 (de) Andockassistent
DE102012003992A1 (de) Zielführungssystem für Kraftfahrzeuge
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
DE102018220298A1 (de) Einparkassistenzverfahren und Vorrichtung
EP3774499B1 (de) Verfahren zur überwachung und steuerung eines fernbedienten park- oder manövriervorgangs eines fahrzeugs
DE102020109279A1 (de) System und verfahren zur anhängerausrichtung
DE102020124985A1 (de) Unterscheiden zwischen nahem anhänger und verbundenem anhänger
WO2016000894A1 (de) Ortspositionsabhängige darstellung von fahrzeugumfelddaten auf einer mobilen einheit
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102017219119A1 (de) Verfahren zur Formerkennung eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102019116951A1 (de) System zur Erfassung von und Reaktion auf einen zurückweichenden Anhänger
DE102021204363A1 (de) Verfahren zur Kalibrierung eines Sensors mittels eines Fortbewegungsmittels
WO2021180671A1 (de) Verfahren zum steuern eines fahrzeuges auf einem betriebshof, fahrt-steuereinheit und fahrzeug
DE102017223098A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Relativwinkels zwischen zwei Fahrzeugen
DE102019132019A1 (de) Fahrzeug und steuerverfahren dafür
EP3267153B1 (de) Verfahren zur bestimmung einer position und/oder einer orientierung eines kraftfahrzeugs
DE102014211106A1 (de) Marker sowie Vorrichtung zur Positionsbestimmung, zur Positionierung, zum Bewegen eines Fahrzeugs und zur Bestimmung eines Knickwinkels

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221026

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)