EP4416688A1 - Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug - Google Patents

Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug

Info

Publication number
EP4416688A1
EP4416688A1 EP22783343.1A EP22783343A EP4416688A1 EP 4416688 A1 EP4416688 A1 EP 4416688A1 EP 22783343 A EP22783343 A EP 22783343A EP 4416688 A1 EP4416688 A1 EP 4416688A1
Authority
EP
European Patent Office
Prior art keywords
trailer
model
representation
determined
model data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22783343.1A
Other languages
English (en)
French (fr)
Inventor
Tobias KLINGER
Ralph-Carsten Lülfing
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF CV Systems Global GmbH
Original Assignee
ZF CV Systems Global GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF CV Systems Global GmbH filed Critical ZF CV Systems Global GmbH
Publication of EP4416688A1 publication Critical patent/EP4416688A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the invention relates to a method for locating a trailer, a processing unit for carrying out the method and a vehicle with the processing unit.
  • the exact localization of a trailer in an environment around a towing vehicle is crucial, for example to be able to plan an exact trajectory when approaching or coupling, or to estimate a kink angle between the already coupled trailer and the towing vehicle, e.g. for stability functions.
  • To localize the trailer it is necessary to determine a trailer position and/or a trailer orientation, i.e. a trailer pose, of the respective trailer in three-dimensional space, which is conventionally carried out using appropriate sensors and/or image processing.
  • QR codes or Aruco markers additional flat maker structures
  • the structure of the scene can be determined in 3D using photogrammetric methods with the aid of a monocular camera by the forward or backward movement of a vehicle on which the camera is mounted (so-called Structure from Motion (SfM)).
  • DE 10 2016 01 1 324 A1, DE 10 2018 1 14 730 A1, WO 2018/210990 A1 or DE 10 2017 119 968 A1 describes, for example, that a trailer position and a trailer orientation of the respective object or the trailer are relative to the camera or the towing vehicle using image processing work. Depending on this, for example, a kink angle or a distance can be determined.
  • the trailer pose can also be determined with a mono camera by locating at least three markers, which are preferably applied flatly on the trailer, in a recorded individual image and, knowing the marker positions on the trailer, determining a transformation matrix from which the pendant pose can be derived.
  • a detection of an articulation angle via a camera is also described in US 2014 200759 A, with a flat marker on the trailer being observed from the towing vehicle over time and the articulation angle being estimated from this.
  • JP 2002 012 172 A, US2014277942A1, US 2008231701 A and US 2017106796 A also describe a kink angle detection as a function of flat markers.
  • coupling points can carry a marker for easier automatic recognition.
  • the marker can have a specific color, texture, or wave reflection property.
  • DE 10 2004 025 252 B4 also describes determining the kink angle in that a transmitter sends radiation onto a semicircular or hemispherical reflector and the radiation reflected by it is then detected.
  • DE 103 025 45 A1 also describes detecting a clutch using an object detection algorithm.
  • EP 3 180 769 B1 also describes capturing the back of a trailer using cameras and recognizing features that can be tracked from the image, e.g. an edge or corner. These are then tracked over time in order in particular to deduce a kink angle between the towing vehicle and the trailer.
  • US 2018 039 266 A additionally describes accessing information from a two-dimensional barcode or QR code.
  • a QR code can also be read with a camera to identify the trailer and trailer parameters to a pass on reversing assistance.
  • an RFID reader located on the trailer can read an RFID transponder that is attached to the towing vehicle, for example in the form of a label. This allows a position of the QR code or the RFID transponder to be calculated. An orientation is not determined.
  • a solution using radio-based transponders is also provided in WO1 8060192A1.
  • DE 10 2006 040 879 B4 also uses RFID elements on the trailer for triangulation when approaching.
  • WO 2008064892 A1 provides an observation element that has at least three auxiliary points or measurement points that can be recognized by a camera.
  • the coordinates or vectors of the focal points of the auxiliary points are determined from geometric considerations and from this the coordinates of the measuring points relative to the camera or to the image sensor.
  • a kink angle can be determined from this.
  • the object of the invention is to specify a method with which almost any trailer can be localized in an area with little structural effort and low cost.
  • the task is also to specify a processing unit and a vehicle. This object is solved by a method, a processing unit and a vehicle according to the independent claims.
  • the dependent claims indicate preferred developments.
  • a method for locating a trailer in the vicinity of a towing vehicle, in particular in the rear area is provided with at least the following steps:
  • a feature representation from the at least one read-in single image using an image processing algorithm, with defined features of the trailer to be localized being reproduced in the feature representation, i.e. a representation is generated from the two-dimensional scene representation in which only specific features (spatial character, edges, intensity values, etc.) of the scene are displayed, it being possible for this display to be two-dimensional or three-dimensional;
  • the trailer pose of the trailer to be localized is determined from the then set model pose.
  • the trailer model that is read in is thus essentially brought into line with the previously generated feature representation from the scene representation by a corresponding movement (translation, rotation, if necessary scaling) in two or three dimensions, i.e. both representations are within one Tolerance or superimposed as best as possible.
  • the then existing or set position and orientation of the trailer model is adopted accordingly for the trailer shown in the respective individual image. Therefore, advantageously, only a monocular camera is required, with which the two-dimensional images can be recorded, as well as a corresponding image processing algorithm and a database with correspondingly stored trailer models, from which the trailer position and trailer orientation or the trailer Pose can be derived immediately after fitting or fitting from geometric considerations. Therefore, no additional markers on the respective trailer or complex sensors on the towing vehicle are required, so that flexible use without the need for complex retrofitting is given.
  • a processing unit and a vehicle with such a processing unit are also provided.
  • a point cloud representation is determined as the feature representation, with the point cloud representation containing a point cloud made up of a number of object points, with the object points at least also being associated with the trailer (and possibly also other objects ) are assigned in the environment.
  • At least the trailer is therefore preferably represented in the point cloud representation by its three-dimensional trailer shape or its three-dimensional character as a defined feature, which subsequently enables a clear identification of the trailer or a comparison with the imported trailer model.
  • a number of spatial details or characteristics of the trailer can also be displayed in a point cloud.
  • the point cloud of the point cloud representation is determined using an SfM algorithm, with depth information being determined from at least two individual images read in via the SfM algorithm by triangulation to a number of object points on the trailer and from the multiple Object points depending on the determined depth information, the point cloud is generated.
  • SfM Structure from Motion
  • the procedure is then preferably that a 3D model data set is read in as the model data set, with the respective trailer model being described three-dimensionally in the 3D model data set by model points.
  • the imported trailer model is also available in three dimensions, so that fitting can take place in the same (three-dimensional) coordinate system and spatial details can be brought into line accordingly.
  • This can then be done in a simple manner, for example, in that the model points of the respective 3D model data set are brought into overlap with the object points in the point cloud representation, preferably within a tolerance, for fitting the respective trailer model into the determined point cloud representation.
  • an edge representation is determined as the feature representation, with at least trailer edges also being reproduced in the edge representation as defined features of the trailer to be localized.
  • This embodiment can be used as an alternative or in addition to another embodiment of the feature representation, for example as redundancy or for plausibility checking. Accordingly, the mapped trailer edges are considered as features, which subsequently enables the trailer to be unambiguously identified or compared with the read-in trailer model in a simple manner.
  • a corresponding edge representation in two dimensions (or three dimensions), which can be used for the subsequent localization process, can therefore be generated by simple image processing from just one (or more) individual images recorded by a monocular camera.
  • an edge model data record is read in as the model data record, with the respective trailer model being described in the edge model data record by model edges that are characteristic of the simulated trailer model. Edges are thus compared with one another and essentially brought into agreement or overlapping for fitting or fitting the trailer model into the edge representation.
  • the edge model data set can be two-dimensional or three-dimensional, whereby both should preferably have the same dimensionality in order to enable a coordinate transformation (3D 2D) to avoid.
  • an intensity representation is determined as the feature representation, with trailer intensity values at least also being displayed in a spatially resolved manner in the intensity representation as defined features of the trailer to be localized.
  • This embodiment can be used as an alternative or in addition to another embodiment of the feature representation, for example as redundancy or for plausibility checking. Accordingly, at least the intensity values associated with one or more object points on the tag are considered in the corresponding color space.
  • the tag intensity values relate, for example, to one or more specific color channels, ie in the RGB color space Red (R), Green (G), Blue (B), or in the CMYK color space Cyan (C), Magenta (M), Yellow ( Y) and the black component (K).
  • a color value of the respective hue can also be recorded with the same effect.
  • the reproduced trailer model is shown scaled in the respective model data record, for example by storing the dimensions of the respectively reproduced trailer model.
  • the scaling is relevant, for example, so that the trailer to be localized can be found more easily in the respective model data record based on its size (too small or too large) and the distance to the localized trailer can be better estimated or calculated .can be taken into account.
  • the scaling of the trailer model can be taken into account accordingly when approaching.
  • a model orientation and/or a model position and/or a model pose of the respective trailer model takes place by applying a geometric transformation to the respectively read model data set.
  • the details stored in the respective model data record are thus “moved” by a geometric transformation in the corresponding coordinate system, i.e. shifted and/or rotated and /or scaled, whereby this "movement" can be described by the geometric transformation.
  • the trailer orientation of the trailer to be localized and/or the trailer position of the trailer to be localized and/or the trailer pose of the trailer to be localized can subsequently be determined in a simple manner from that geometric transformation in the application of which the respective trailer Model is fitted into the identified feature representation. From the transformation, the orientation or position or pose that is present in each case follows from geometric considerations, in particular also a calibration of the respective camera. It is preferably also provided that the respective trailer model is fitted into the determined feature representation in several iteration steps, the model orientation and/or the model position and/or the model pose of the respective trailer model being in the respective iteration steps is changed iteratively.
  • the search or fitting can take place in different resolution levels (keyword image pyramid). Therefore, an iterative process is used in order to be able to bring the trailer model in the respective model data record essentially into agreement with the respective feature representation as quickly and easily as possible.
  • an average distance between the trailer model of the respective model data record and the respectively assigned features in the respective feature representation falls below a limit distance. If the exit criterion is met, it is assumed that the trailer model is essentially fitted or fitted into the respective feature representation. As a result, small deviations are accepted in order not to prolong the iterative process too much in terms of time and thus complete the localization more quickly without impairing the accuracy of the method too much, with the accuracy being able to be adapted by appropriately defining the iterative parameters.
  • a chassis and / or a structure and/or a coupling can be modeled. Therefore, the entire trailer does not necessarily have to be reproduced in detail, but only distinctive or characteristic features with which a trailer can be clearly identified. As a result, the amount of data can be reduced and an exact localization can still be carried out, which can be used for subsequent processes.
  • FIG. 3 shows a detailed view of one in two individual images of a single one
  • FIG. 1a shows a schematic plan view of a vehicle 1, which consists of a towing vehicle 1a and a trailer 1b, with the trailer 1b not being coupled to the towing vehicle 1a in the situation shown.
  • the trailer 1b can be coupled to the towing vehicle 1a by the towing vehicle 1 a moves along a fixed trajectory J.
  • the trailer 1b can also be coupled, as shown in FIG. 1b, and using the method according to the invention, for example, a kink angle KW between the trailer 1b and the towing vehicle 1a can be determined.
  • a camera system 2 is provided on the towing vehicle 1a, which has at least one camera 2a, in particular in a monocular design, with which an environment U, in particular behind the towing vehicle 1a, can be recorded.
  • a field of view 4 of the at least one camera 2a is therefore aligned in particular to a rear area R behind the towing vehicle 1a.
  • the camera(s) 2a can be designed, for example, as a fisheye camera(s), each of which has a viewing area 4 with a viewing angle of equal to or greater than 170° can cover or can.
  • Image signals SB output by the respective camera 2a are optionally pre-processed and output to a processing unit 5, e.g. 2 carry out exemplary methods for locating a trailer 1b.
  • a processing unit 5 e.g. 2 carry out exemplary methods for locating a trailer 1b.
  • a processing unit 5 e.g. 2 carry out exemplary methods for locating a trailer 1b.
  • the individual images EBk therefore contain a 2D representation of the current scene (scene representation in two dimensions).
  • a feature representation FD is then generated from this at least one individual image EBk using a selected image processing algorithm A.
  • a feature representation FD is understood to mean a representation in which only fixed or defined features F (features) of the depicted scene are reproduced.
  • the feature representation FD is therefore to be understood as a subset of the scene representation, this subset being generated by the respective image processing algorithm A from the at least one individual image EBk.
  • Different exemplary embodiments can be used as image processing algorithms A for determining or generating a feature representation FD:
  • SfM algorithm AS SfM: Structure-from-Motion
  • these at least two individual images EBk can be used in a first SfM step STS1 to obtain depth information Tin for object points POn (see FIG. 3) recorded or depicted in the individual images EBk, which correspond to a specific object O in the Environment U are assigned to be won.
  • Depth information Tin is extracted via the SfM algorithm AS by recording an object point POn on the respective object O from at least two different viewpoints SP1, SP2 using the same camera 2a, as indicated in FIG.
  • the depth information Tin with regard to each object point POn recorded in pairs can then be obtained by triangulation T.
  • image coordinates xB, yB in a two-dimensional coordinate system K2D (see Fig. 4) become at least one first single-image pixel EB1 P1 in a first single image EB1 and at least one first single-image pixel EB2P1 in a second single image EB2 of the same Camera 2a determined.
  • the two individual images EB1, EB2 are recorded by the camera 2a at different positions SP1, SP2, ie the towing vehicle 1a or the camera 2a moves between the individual images EB1, EB2 by a base length L.
  • the two first individual image pixels EB1 P1, EB2P1 are selected in the respective individual images EB1, EB2 in a known manner in such a way that they are assigned to the same object point POn on the object O that is imaged in each case.
  • the absolute, actual object coordinates xO, yO, zO ( World coordinates) of the or the respective object points POn of the three-dimensional object O are calculated or estimated.
  • a correspondingly determined base length L between the positions SP1, SP2 of the camera 2a is used, for example from movement data of the towing vehicle 1a or the camera 2a.
  • the movement data is not available, it is also possible to use visual odometry, i.e. "visually" to determine the movement data from the individual images EBk in the course of the SfM algorithm AS.
  • visual odometry i.e. "visually" to determine the movement data from the individual images EBk in the course of the SfM algorithm AS.
  • the movement of the camera 2a is estimated using time-tracked feature points or object points POn from individual images EBk.
  • a three-dimensional point cloud PW can be generated from a number of object points POn in actual object coordinates xO, yO, zO (world coordinates). dinates) are generated to describe the respective object O in three-dimensional space. Since a trailer 1b is to be recognized and localized in the method according to the invention, at least object points POn are also determined by the SfM algorithm AS and these are displayed as a three-dimensional cloud of points PW, which are assigned to a trailer 1b as object O in the environment U .
  • a point cloud representation FDPW in three-dimensional space is generated as a feature representation FD from the two-dimensional representation of the scene (scene representation in the individual images EBk).
  • This point cloud representation FDPW contains at least those object points POn that lie on the trailer 1b that is shown and that is to be localized, for example on the side surfaces of the trailer 1b.
  • the three-dimensional character or the three-dimensional trailer shape AF of the trailer 1b that is depicted and to be localized is thus reproduced as a defined feature F by the point cloud PW.
  • Model data records Dp are read in, with a specific trailer model AMp being reproduced in each model data record Dp.
  • the respective trailer model AMp is simulated using the features F considered in the respective exemplary embodiment a 3D model data record D3Dp is read.
  • each 3D model data set D3Dp at least the three-dimensional character or the three-dimensional shape of the relevant trailer Model AMP reproduced as a model.
  • only those spatial details that are specific to the respective trailer model AMp can be simulated, for example a chassis 21 and/or a body 22 and/or a coupling 23 of the respectively simulated trailer model AMp.
  • the respective 3D model data set D3Dp can reveal whether the respective modeled trailer has a box-shaped structure 22a with or without an additional cooling unit 22b or a silo-shaped structure 22c or a platform-shaped structure 22d, i.e. via the 3D model data set D3Dp a refrigerated trailer or a normal box trailer or a tank trailer or a flatbed trailer, etc. is modeled.
  • the respective 3D model data set D3Dp can show whether the simulated trailer model AMp has a container chassis 21a (without body) and/or how many vehicle axles 21b are arranged on the chassis 21.
  • the respective 3D model data set D3Dp can contain whether the respective simulated trailer model AMp has a drawbar coupling 23a (rigid or flexible) or a kingpin 23b as coupling 23 .
  • a fourth step ST4 it is subsequently checked whether one of the read-in model data sets Dp or 3D model data sets D3Dp can be fitted into the generated point cloud PW from the point cloud representation FDPW.
  • a model-based comparison is therefore carried out, in which an attempt is made to fit a defined trailer model AMp into the generated point cloud PW.
  • the trailer model AMp reproduced in the respective 3D model data set D3Dp is scaled in several iteration steps STI by a geometric transformation TG and/or "moved" by translation and/or rotation such that the trailer model AMp with the point cloud PW representing the three-dimensional tag shape AF are essentially the same.
  • the search or fitting can take place in different resolution levels (keyword image pyramid).
  • a model position MP and a model orientation MO (cf. model pose MPO) of the respective trailer model AMp are successively changed.
  • This can be done, for example, in that the model points PMq in the respective 3D model data set D3Dp are made to overlap with the object points POn in the point cloud representation FDPW, i.e. the model coordinates xM, yM, zM of the model Points PMq are iteratively brought into agreement by a translation and/or a rotation with the object coordinates xO, yO, zO of the object points POn, the simulated form of the trailer model AMp being retained and possibly scaled.
  • An exit or exit criterion EK can be defined for the iterative process for fitting or fitting the trailer model AMp into the point cloud PW, and the iterative process is terminated when this criterion is present becomes.
  • the exit criterion EK can be present, for example, when a specific iteration number IA of iteration steps STI has been carried out, ie the trailer model AMp has been moved in IA different model poses MOP.
  • it can be provided to determine an average distance DM between the model points PMq describing the trailer model AMp and the object points POn forming the point cloud PW, which are assigned to the trailer 1b to be localized, from the respective coordinates . If this average distance DM falls below a limit distance DG, the exit criterion EK is met and the iterative process is terminated.
  • the model position MP or the model orientation MO or the model pose MPO of the trailer model AMp can be determined.
  • the trailer position AP or the trailer orientation AO or the trailer pose APO of the trailer 1b follows directly from geometric considerations and with a corresponding calibration of the camera 2a, i.e. knowing the exact position of the camera 2a in space relative to the towing vehicle 1a. The trailer 1b can therefore be located above it.
  • the trailer pose APO can then be used in a sixth step ST6 for different applications, for example for an automated approach and/or coupling of the trailer 1b along a specified trajectory J or to determine a kink angle KW between the trailer 1b and the towing vehicle 1a with an already existing coupling connection.
  • AS is a relative movement for the SfM algorithm between the towing vehicle 1a and the trailer 1b is necessary in order to obtain different positions SP1, SP2 of the camera 2a.
  • an edge representation FDK can be generated as a feature representation FD from the scene representation or the read individual images EBk, with an edge algorithm AK, e.g. a Canny, Sobel, Prewitt, etc. algorithm, trailer edges AE can be recognized in at least one of the read-in individual images EBk.
  • the edge representation FDK then contains at least trailer edges AE as defined features F, which are assigned to the trailer 1b shown or which lie on the trailer 1b shown in each case and characterize it.
  • the edge representation FDK is preferably present in a two-dimensional coordinate system K2D, insofar as only one read-in individual image EBk of the camera 2a is accessed. With a corresponding design of the camera 2a and/or the image processing, a three-dimensional edge representation FDK can in principle also be present.
  • an edge model data record DKp is read in as a model data record Dp, in which a specific trailer model AMp is simulated, in which in particular the model edges ME. characteristic of the respective trailer model AMp are shown as features.
  • the model edges ME of the trailer model AMp can be present either in a two-dimensional coordinate system K2D or in a three-dimensional coordinate system K3D.
  • only those details can be contained in the edge model data record DKp that are specific to the respective trailer model AMp, for example the model edges ME in the area of the chassis 21 and/or the body 22 and/or or the clutch 23 of the replicated trailer model AMp.
  • a check is then carried out for this exemplary embodiment to determine whether one of the read-in edge model data sets DKp can be fitted into the identified trailer edges AE from the edge representation FDK.
  • a model-based comparison is therefore carried out, in which an attempt is made to fit a defined trailer model AMp into the generated edge representation FDK.
  • the trailer model AMp reproduced in the respective edge model data set DKp is scaled in several iteration steps STI by a geometric transformation TG and/or "moved" by translation and/or rotation in such a way that the model edges ME of the trailer Model AMP essentially match or overlap with the trailer edges AE from the edge representation FDK.
  • the search or fitting can take place in different resolution levels (keyword image pyramid).
  • a model position MP and a model orientation MO cf. model pose MPO
  • An exit criterion EK for the iterative process can also be defined in this exemplary embodiment, for example exceeding a specified number of iterations IA and/or falling below a specified average distance DM between the model edges ME and the trailer edges AE limit distance DG.
  • the geometric transformation TG which moves and/or rotates the model edges ME from the edge model data set DKp to the trailer edges AE from the trailer model AMp, can be used /or scaled, the model position MP or the model orientation MO or the model pose MPO of the trailer model AMp are determined in a fifth step ST5.
  • the trailer position AP or the trailer orientation AO or the trailer pose APO of the trailer 1b follows directly from geometrical considerations and with a corresponding calibration of the camera 2a, ie knowing the precise position of the camera 2a in space relative to the towing vehicle 1a.
  • the trailer 1b can therefore also be localized, which can be further used in the sixth step ST6 for the corresponding application.
  • an intensity representation FDI can be generated as a feature representation FD from the scene representation or the read-in individual images EBk, with this being done in the second step ST2 in at least one of the read-in individual images EBk by an intensity algorithm AI trailer
  • Intensity values AW are detected in a spatially resolved manner, i.e. the intensity values assigned to one or more object points POn on the trailer 1b in the corresponding color space.
  • the tag intensity values AW relate, for example, to one or more specific color channels, i.e. red (R), green (G), blue (B) in the RGB color space, or cyan (C), magenta (M), yellow in the CMYK color space (Y) and the black component (K).
  • RGB red
  • M magenta
  • Y CMYK color space
  • K black component
  • the intensity representation FDI then also contains at least spatially resolved trailer intensity values AW as defined features F, which are assigned to the trailer 1b shown or which characterize the trailer 1b shown in each case.
  • the intensity display FDI is preferably present in a two-dimensional coordinate system K2D, insofar as only one single image EBk of the camera 2a that has been read in is used. With a corresponding design of the camera 2a and/or the image processing, a three-dimensional intensity representation FDI can also be present.
  • an intensity model data record Dip is read in as model data record Dp, in which a specific trailer model AMp is simulated MW are spatially resolved as features.
  • the model intensity values MW of the trailer model AMp can be present either in a two-dimensional coordinate system K2D or in a three-dimensional coordinate system K3D. In this way, a trailer model AMP can be differentiated or specified based on its color design.
  • a check is then carried out for this exemplary embodiment to determine whether one of the intensity model data records Dip that has been read in or the model intensity values MW contained therein can be brought into agreement with the identified trailer intensity values AW from the intensity representation FDI.
  • a model-based comparison is therefore carried out, in which an attempt is made to fit a defined trailer model AMp into the generated intensity representation FDI.
  • the trailer model AMp reproduced in the respective intensity model data set Dip is scaled in several iteration steps STI by a geometric transformation TG and/or "moved" by translation and/or rotation in such a way that the spatially resolved model intensity values MW des trailer model AMP with the likewise locally determined trailer intensity values AW from the intensity sity representation FDI essentially match or are brought into overlap.
  • the search or fitting can take place in different resolution levels (keyword image pyramid).
  • a model position MP and a model orientation MO cf. model pose MPO
  • An exit criterion EK for the iterative process can also be defined in this exemplary embodiment, for example exceeding a specified number of iterations IA and/or falling below the average distance DM (in terms of value) between the model intensity values MW and the trailer intensity values AW below a specified limit distance DG (in terms of values).
  • the model position MP or the model orientation MO or the model pose MPO of the trailer model AMp are determined in a fifth step ST5.
  • the trailer position AP or the trailer orientation AO or the trailer pose APO of the trailer 1b follows directly from geometrical considerations and with a corresponding calibration of the camera 2a, ie knowing the precise position of the camera 2a in space relative to the towing vehicle 1 a.
  • the trailer 1b can therefore also be localized, which can be further used in the sixth step ST6 for the corresponding application.
  • All of the specified embodiments can be used as an alternative or in addition to one another, for example in order to set up redundancies or to be able to carry out a plausibility check.
  • a trailer 1b can be localized from the same scene representation (single images EBk) with different image processing algorithms A.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Anhängers (1b), mit mindestens den folgenden Schritten: - Einlesen eines Einzelbildes, in dem die Umgebung (U) um das Zugfahrzeug (1a) abgebildet ist; - Ermitteln einer Merkmals-Darstellung unter Verwendung eines Bildverarbeitungs-Algorithmus, in der definierte Merkmale des zu lokalisierenden Anhängers (1b) wiedergegeben sind; - Einlesen mindestens eines Modell-Datensatzes, in dem ein definiertes Anhänger-Modell modellhaft nachgebildet ist; - Verändern einer Modell-Orientierung und/oder einer Modell-Position und/oder einer Modell-Pose des Anhänger-Modells aus dem einen eingelesenen Modell-Datensatz zum Einpassen des Anhänger-Modells in die ermittelte Merkmals-Darstellung, wobei für den Fall, dass das Anhänger-Modell in die ermittelte Merkmals-Darstellung eingepasst ist, - die Anhänger-Orientierung (AO) und/oder die Anhänger-Position (AP) und/oder die Anhänger-Pose (APO) jeweils des zu lokalisierenden Anhängers (1b) aus der dann eingestellten Modell-Orientierung und/oder Modell-Position und/oder Modell-Pose des Anhänger-Modells ermittelt wird.

Description

Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug
Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Anhängers, eine Verarbeitungseinheit zur Durchführung des Verfahrens sowie ein Fahrzeug mit der Verarbeitungseinheit.
Das genaue Lokalisieren eines Anhängers in einer Umgebung um ein Zugfahrzeug ist entscheidend, um beispielsweise bei einem Annäherungs- bzw. Ankoppel-Vorgang eine genaue Trajektorie planen zu können oder einen Knickwinkel zwischen dem bereits angekoppelten Anhänger und dem Zugfahrzeug z.B. für Stabilitätsfunktionen abzuschätzen. Für die Lokalisierung des Anhängers ist dabei die Ermittlung einer Anhänger-Position und/oder einer Anhänger-Orientierung, d.h. einer Anhänger-Pose, des jeweiligen Anhängers im dreidimensionalen Raum erforderlich, was herkömmlicherweise durch eine entsprechende Sensorik und/oder mittels Bildverarbeitung durchgeführt wird. So ist beispielsweise vorgesehen, einen Anhänger mittels LIDAR-Sensoren oder 3D-Stereo-Kameras räumlich zu lokalisieren und/oder mithilfe zusätzlicher flächiger Maker-Strukturen (QR-Codes oder Aruco-Marker) an dem Anhänger eine Anhänger-Position und/oder Anhänger-Orientierung abzuschätzen. Weiterhin ist bekannt, wie mithilfe einer monokularen Kamera durch die Vorwärts- oder Rückwärtsbewegung eines Fahrzeugs, an dem die Kamera montiert ist, anhand photogrammetrischer Methoden die Struktur der Szene in 3D bestimmt werden kann (sog. Structure from Motion (SfM)).
In DE 10 2016 01 1 324 A1 , DE 10 2018 1 14 730 A1 , WO 2018/210990 A1 oder DE 10 2017 119 968 A1 ist beispielsweise beschrieben, eine Anhänger-Position und eine Anhänger-Orientierung des jeweiligen Objektes bzw. des Anhängers relativ zur Kamera bzw. dem Zugfahrzeug mittels Bildverar- beitung herzuleiten. In Abhängigkeit davon können beispielsweise ein Knickwinkel oder ein Abstand ermittelt werden. Auch mit einer Mono-Kamera kann die Anhänger-Pose ermittelt werden, indem mindestens drei Marker, die vorzugsweise flächig auf dem Anhänger aufgebracht sind, in einem aufgenommenen Einzelbild lokalisiert werden und in Kenntnis der Marker-Positionen auf dem Anhänger eine Transformationsmatrix ermittelt wird, aus der die Anhänger-Pose hergeleitet werden kann.
Eine Erkennung eines Knickwinkels über eine Kamera ist weiterhin in US 2014 200759 A beschrieben, wobei ein flächiger Marker auf dem Anhänger vom Zugfahrzeug aus über die Zeit beobachtet und daraus der Knickwinkel abgeschätzt wird. Auch JP 2002 012 172 A, US2014277942A1 , US 2008 231 701 A und US 2017106796 A beschreiben eine Knickwinkelerkennung in Abhängigkeit von flächigen Markern. In US 2006 293 800 A können Ankuppelpunkte zu einer erleichterten automatischen Erkennung einen Marker tragen. Der Marker kann eine spezielle Farbe, Textur oder Wellenreflexionseigenschaft besitzen. In DE 10 2004 025 252 B4 wird weiterhin beschrieben, den Knickwinkel zu ermitteln, indem von einem Sender Strahlung auf einen halbkreis- oder halbkugelförmigen Reflektor gesendet und die davon reflektierte Strahlung anschließend detektiert wird. In DE 103 025 45 A1 ist zudem beschrieben über einen Objekterkennungsalgorithmus eine Kupplung zu erfassen. In EP 3 180 769 B1 ist zudem beschrieben, über Kameras eine Rückseite eines Anhängers zu erfassen und aus dem Bild verfolgbare Features, z.B. eine Kante oder Ecke, zu erkennen. Diese werden dann über die Zeit verfolgt, um insbesondere auf einen Knickwinkel zwischen dem Zugfahrzeug und dem Anhänger zu schließen.
In US 2018 039 266 A ist ergänzend beschrieben, auf Informationen eines zweidimensionalen Barcodes bzw. QR-Codes zurückzugreifen. In DE 10 2016 209 418 A1 kann ebenfalls ein QR-Code mit einer Kamera ausgelesen werden, um den Anhänger zu identifizieren und Anhängerparameter an eine Rückfahrassistenz weiterzugeben. Alternativ oder ergänzend kann ein am Anhänger befindliches RFID-Lesegerät einen RFID-Transponder, der am Zugfahrzeug beispielsweise in Form eines Etiketts angebracht ist, auslesen. Dadurch kann eine Position des QR-Codes bzw. des RFID-Transponders berechnet werden. Eine Orientierung wird dabei nicht ermittelt. Auch in WO1 8060192A1 ist eine Lösung mittels funkbasierter Transponder vorgesehen. In DE 10 2006 040 879 B4 werden ebenfalls RFID-Elemente am Anhänger zur Triangulation beim Heranfahren verwendet.
In WO 2008064892 A1 ist ein Beobachtungselement vorgesehen, das mindestens drei Hilfspunkte bzw. Messpunkte aufweist, die von einer Kamera erkannt werden können. Aus geometrischen Betrachtungen werden die Koordinaten bzw. Vektoren der Schwerpunkte der Hilfspunkte ermittelt und daraus die Koordinaten der Messpunkte relativ zur Kamera bzw. zum Bildsensor. Daraus kann ein Knickwinkel ermittelt werden.
Nachteilig bei den beschriebenen Lösungen ist, dass diese Verfahren bzw. Systeme entweder sehr aufwändig durchzuführen sind bzw. auf eine kostenintensive Sensorik und zusätzlich anzubringende Marker o.ä. zurückgreifen oder aber eine Detektion der Marker bei unterschiedlichen Umgebungsbedingungen nicht zuverlässig möglich ist. Beispielsweise können flächige Marker bei Dunkelheit und/oder unter extremen bzw. flachen Blinkwinkeln nicht sicher erfasst werden, wodurch die Bestimmung der Anhänger- Pose bzw. des Knickwinkels des Anhängers relativ zum Zugfahrzeug nicht zuverlässig erfolgen kann. Zudem können Anhänger ohne derartige Marker nicht lokalisiert werden.
Aufgabe der Erfindung ist, ein Verfahren anzugeben, mit dem mit geringem konstruktivem Aufwand und geringem Kosten-Aufwand ein nahezu beliebiger Anhänger in einer Umgebung lokalisiert werden kann. Aufgabe ist weiterhin, eine Verarbeitungseinheit und ein Fahrzeug anzugeben. Diese Aufgabe wird durch ein Verfahren, eine Verarbeitungseinheit und ein Fahrzeug gemäß den unabhängigen Ansprüchen gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.
Erfindungsgemäß ist demnach ein Verfahren zum Lokalisieren eines Anhängers in einer Umgebung eines Zugfahrzeuges, insbesondere in einem Rückraum, mit mindestens den folgenden Schritten vorgesehen:
- Einlesen mindestens eines Einzelbildes, in dem die Umgebung um das Zugfahrzeug zweidimensional abgebildet ist, d.h. es wird eine Szenen- Darstellung in einem zweidimensionalen Koordinatensystem eingelesen;
- Ermitteln einer Merkmals-Darstellung aus dem mindestens einen eingelesenen Einzelbild unter Verwendung eines Bildverarbeitungs-Algorithmus, wobei in der Merkmals-Darstellung definierte Merkmale des zu lokalisierenden Anhängers wiedergegeben sind, d.h. aus der zweidimensionalen Sze- nen-Darstellung wird eine Darstellung generiert, in der nur noch spezifische Merkmale (räumlicher Charakter, Kanten, Intensitätswerte, usw.) der Szene dargestellt sind, wobei diese Darstellung zweidimensional oder dreidimensional vorliegen kann;
- Einlesen mindestens eines Modell-Datensatzes aus einer Anhänger- Datenbank, wobei in jedem Modell-Datensatz ein definiertes Anhänger- Modell modellhaft nachgebildet ist;
- Verändern einer Modell-Orientierung und/oder einer Modell-Position und/oder einer Modell-Pose des jeweiligen Anhänger-Modells aus dem mindestens einen eingelesenen Modell-Datensatz zum Einpassen bzw. Einfitten des jeweiligen Anhänger-Modells in die ermittelte Merkmals-Darstellung, wobei für den Fall, dass das jeweilige Anhänger-Modell unter Berücksichtigung einer Toleranz in die ermittelte Merkmals-Darstellung im Wesentlichen eingepasst bzw. eingefittet ist,
- die Anhänger-Orientierung des zu lokalisierenden Anhängers aus der dann eingestellten Modell-Orientierung und/oder - die Anhänger-Position des zu lokalisierenden Anhängers aus der dann eingestellten Modell-Position und/oder
- die Anhänger-Pose des zu lokalisierenden Anhängers aus der dann eingestellten Modell-Pose ermittelt wird.
Das jeweils eingelesene Anhänger-Modell wird also durch eine entsprechende Bewegung (Translation, Rotation, ggf. Skalierung) in zwei oder drei Dimensionen mit der vorher aus der Szenen-Darstellung generierten Merkmals-Darstellung im Wesentlichen in Übereinstimmung gebracht, d.h. beide Darstellungen werden innerhalb einer Toleranz bzw. so gut es geht übereinandergelegt. Wenn dies geschehen ist, wird die dann vorliegende bzw. eingestellte Position und Orientierung des Anhänger-Modells entsprechend für den im jeweiligen Einzelbild abgebildeten Anhänger übernommen. Daher ist vorteilhafterweise lediglich eine monokulare Kamera erforderlich, mit der die zweidimensionale Bilder aufgenommen werden können, sowie ein entsprechender Bildverarbeitungs-Algorithmus und eine Datenbank mit entsprechend hinterlegten Anhänger-Modellen, aus denen sich die Anhänger- Position und Anhänger-Orientierung bzw. die Anhänger-Pose nach dem Einpassen bzw. Einfitten aus geometrischen Betrachtungen unmittelbar ableiten lässt. Daher sind keine zusätzlichen Marker am jeweiligen Anhänger oder aufwändige Sensoriken am Zugfahrzeug nötig, so dass ein flexibler Einsatz ohne die Notwendigkeit für eine aufwändige Nachrüstung gegeben ist.
Erfindungsgemäß sind weiterhin eine Verarbeitungseinheit und ein Fahrzeug mit einer solchen Verarbeitungseinheit vorgesehen.
Gemäß einer Ausführungsform ist vorgesehen, dass als Merkmals- Darstellung eine Punktewolken-Darstellung ermittelt wird, wobei die Punkte- wolken-Darstellung eine Punktewolke aus mehreren Objekt-Punkten enthält, wobei die Objekt-Punkte zumindest auch dem Anhänger (und ggf. auch weiteren Objekten) in der Umgebung zugeordnet sind. Zumindest der Anhänger ist also in der Punktewolken-Darstellung vorzugsweise durch seine dreidimensionale Anhänger-Form bzw. seinen dreidimensionalen Charakter als definiertes Merkmal wiedergegeben, wodurch nachträglich ein eindeutiges Identifizieren des Anhängers bzw. ein Vergleich mit dem eingelesenen Anhänger-Modell ermöglicht wird. In einer Punktewolke lassen sich zudem eine Reihe von räumlichen Details bzw. Merkmalen des Anhängers darstellen.
Vorzugsweise ist weiterhin vorgesehen, dass die Punktewolke der Punktewolken-Darstellung unter Verwendung eines SfM-Algorithmus ermittelt wird, wobei aus mindestens zwei eingelesenen Einzelbildern über den SfM- Algorithmus durch Triangulation zu mehreren Objekt-Punkten auf dem Anhänger eine Tiefeninformation ermittelt wird und aus den mehreren Objekt- Punkten in Abhängigkeit der jeweils ermittelten Tiefeninformation die Punktewolke generiert wird. Auf diese Weise kann auch lediglich mit einer monokularen Kamera unter Rückgriff auf die entsprechende Bildverarbeitung (SfM, Structure from Motion) eine dreidimensionale Merkmals-Darstellung des Anhängers gewonnen werden.
In dieser Ausführungsform ist dann vorzugsweise vorgehen, dass als Modell-Datensatz ein 3D-Modell-Datensatz eingelesen wird, wobei das jeweilige Anhänger-Modell in dem 3D-Modell-Datensatz durch Modell-Punkte dreidimensional beschrieben wird. Wie auch die Merkmal-Darstellung bzw. die Punktewolke liegt also auch das eingelesene Anhänger-Modell in drei Dimensionen vor, so dass das Einpassen bzw. Einfitten in demselben (dreidimensionalen) Koordinatensystem stattfinden kann und räumliche Details entsprechend im Wesentlichen in Übereinstimmung gebracht werden können. Dies kann dann beispielsweise dadurch in einfacher Weise erfolgen, dass die Modell-Punkte des jeweiligen 3D-Modell-Datensatzes mit den Objekt-Punkten in der Punktewolken-Darstellung in Überdeckung gebracht werden, vorzugsweise innerhalb einer Toleranz, zum Einpassen des jeweiligen Anhänger-Modells in die ermittelte Punktewolken-Darstellung. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass als Merkmals-Darstellung eine Kanten-Darstellung ermittelt wird, wobei in der Kanten-Darstellung zumindest auch Anhänger-Kanten als definierte Merkmale des zu lokalisierenden Anhängers wiedergegeben sind. Diese Ausführungsform kann dabei alternativ oder in Ergänzung, beispielsweise als Redundanz oder zur Plausibilisierung, zu einer anderen Ausführungsform der Merkmals-Darstellung herangezogen werden. Demnach werden die abgebildeten Anhänger-Kanten als Merkmale betrachtet, wodurch nachfolgend ein eindeutiges Identifizieren des Anhängers bzw. ein Vergleich mit dem eingelesenen Anhänger-Modell in einfacher Weise ermöglicht wird.
Vorzugsweise ist dazu vorgesehen, dass insbesondere die Anhänger- Kanten der Kanten-Darstellung unter Verwendung eines Kanten-Algorithmus, z.B. einem Canny-, Sobel-, Prewitt-, etc. Algorithmus, aus mindestens einem eingelesenen Einzelbild ermittelt werden. Daher kann durch eine einfache Bildverarbeitung auch aus nur einem (oder mehreren) aufgenommenen Einzelbildern) einer monokularen Kamera eine entsprechende Kanten- Darstellung in zwei Dimensionen (oder drei Dimensionen) generiert werden, die für den nachfolgenden Lokalisierungs-Prozess herangezogen werden kann. Dabei ist vorzugsweise vorgesehen, dass als Modell-Datensatz ein Kanten-Modell-Datensatz eingelesen wird, wobei das jeweilige Anhänger- Modell in dem Kanten-Modell-Datensatz durch Modell-Kanten, die für das nachgebildete Anhänger-Modell charakteristisch sind, beschrieben wird. Es werden also Kanten miteinander verglichen und im Wesentlichen in Übereinstimmung bzw. Überdeckung gebracht zum Einfitten bzw. Einpassen des Anhänger-Modells in die Kanten-Darstellung. Der Kanten-Modell-Datensatz kann dabei wie auch die Kanten-Darstellung zweidimensional oder dreidimensional ausgeführt sein, wobei beide vorzugsweise dieselbe Dimensionali- tät aufweisen sollten, um eine Koordinatentransformation (3D 2D) zu vermeiden. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass als Merkmals-Darstellung eine Intensitäts-Darstellung ermittelt wird, wobei in der Intensitäts-Darstellung zumindest auch Anhänger-Intensitätswerte als definierte Merkmale des zu lokalisierenden Anhängers ortsaufgelöst wiedergegeben sind. Diese Ausführungsform kann dabei alternativ oder in Ergänzung, beispielsweise als Redundanz oder zur Plausibilisierung, zu einer anderen Ausführungsform der Merkmals-Darstellung herangezogen werden. Demnach werden zumindest die einem oder mehrerer Objekt-Punkte auf dem Anhänger zugeordneten Intensitätswerte im entsprechenden Farbraum betrachtet. Die Anhänger-Intensitätswerte betreffen demnach beispielsweise einen oder mehrere bestimmte Farbkanäle, d.h. im RGB-Farbraum Red (R), Green (G), Blue (B), oder im CMYK-Farbraum Cyan (C), Magenta (M), Yellow (Y) und den Schwarzanteil (K). Gleichwirkend damit kann auch ein Farbwert des jeweiligen Farbtons erfasst werden.
Vorzugsweise ist dazu vorgesehen, dass als Modell-Datensatz ein Intensitäts-Modell-Datensatz eingelesen wird, wobei das jeweilige Anhänger- Modell in dem Intensitäts-Modell-Datensatz durch Modell-Intensitätswerte, die für das nachgebildete Anhänger-Modell charakteristisch sind, ortsaufgelöst beschrieben ist, vorzugsweise als zweidimensionale Nachbildung. Daher werden in dieser Ausführungsform Intensitätswerte miteinander verglichen und ortsaufgelöst im Wesentlichen miteinander in Übereinstimmung bzw. Überdeckung gebracht zum Einfitten bzw. Einpassen des Anhänger-Modells in die Intensitäts-Darstellung. Daher können mit der Punktewolke, den Kanten und den Intensitätswerten eine Reihe von definierten Merkmalen des zu lokalisierenden Anhängers, die sich auch modellhaft nachbilden lassen, heranzogen werden, um das nachfolgende Einpassen bzw. Einfitten in einfacher Weise durchführen zu können. Vorzugsweise ist weiterhin vorgesehen, dass das nachgebildete Anhänger-Modell in dem jeweiligen Modell-Datensatz skaliert dargestellt ist, beispielsweise durch ein Hinterlegen der Dimensionen des jeweils nachgebildeten Anhänger-Models. Die Skalierung ist bei der Nachbildung des Anhängers im jeweiligen Modell-Datensatz beispielsweise dafür relevant, dass der zu lokalisierende Anhänger in dem jeweiligen Modell-Datensatz leichter anhand seiner Größe (zu klein oder zu groß) gefunden und auch eine Entfernung zum lokalisierten Anhänger besser abgeschätzt bzw. berücksichtigt werden kann. Die Skalierung des Anhänger-Modells kann beim Annähern entsprechend berücksichtigt werden.
Vorzugsweise ist weiterhin vorgesehen, dass das Verändern einer Modell-Orientierung und/oder einer Modell-Position und/oder einer Modell-Pose des jeweiligen Anhänger-Modells durch Anwenden einer geometrischen Transformation auf den jeweils eingelesenen Modell-Datensatz erfolgt. Die im jeweiligen Modell-Datensatz hinterlegten Details (dreidimensionale Modell-Punkte, Modell-Kanten, Modell-Intensitätswerte) werden also unter Beibehaltung der Form des Anhänger-Modells durch eine geometrische Transformation im entsprechenden Koordinatensystem „bewegt“, d.h. verschoben und/oder verdreht und/oder skaliert, wobei diese „Bewegung“ durch die geometrische Transformation beschrieben werden kann. Dadurch kann nachfolgend auf einfache Weise die Anhänger-Orientierung des zu lokalisierenden Anhängers und/oder die Anhänger-Position des zu lokalisierenden Anhängers und/oder die Anhänger-Pose des zu lokalisierenden Anhängers aus derjenigen geometrischen Transformation ermittelt werden, bei deren Anwendung das jeweilige Anhänger-Modell in die ermittelte Merkmals- Darstellung eingepasst ist. Aus der Transformation folgt also unter geometrischen Betrachtungen, insbesondere auch einer Kalibrierung der jeweiligen Kamera, die jeweils vorliegende Orientierung bzw. Position bzw. Pose. Vorzugsweise ist weiterhin vorgesehen, dass das Einpassen des jeweiligen Anhänger-Modells in die ermittelte Merkmals-Darstellung in mehreren Iterationsschritten erfolgt, wobei die Modell-Orientierung und/oder die Modell- Position und/oder die Modell-Pose des jeweiligen Anhänger-Modells in den jeweiligen Iterationsschritten iterativ verändert wird. Um dabei unterschiedliche Entfernungen bzw. Größen des zu lokalisierenden Anhängers zu berücksichtigen, kann die Suche bzw. das Einpassen in unterschiedlichen Auflösungsstufen stattfinden (Stichwort Bildpyramide). Daher wird auf einen iterativen Prozess zurückgegriffen, um das Anhänger-Modell in dem jeweiligen Modell-Datensatz so schnell und einfach wie möglich mit der jeweiligen Merkmals-Darstellung im Wesentlichen in Übereinstimmung bringen zu können.
Vorzugsweise ist dabei vorgesehen, dass das iterative Einpassen des jeweiligen Anhänger-Modells in die ermittelte Merkmals-Darstellung bei Vorliegen eines Ausstiegs-Kriteriums abgebrochen wird, wobei das Ausstiegs- Kriterium erfüllt ist, wenn
- eine Iterations-Anzahl an Iterationsschritten erreicht ist und/oder
- ein mittlerer Abstand zwischen dem Anhänger-Modell des jeweiligen Modell-Datensatzes und den jeweils zugeordneten Merkmalen in der jeweiligen Merkmals-Darstellung einen Grenzabstand unterschreitet. Ist das Ausstiegkriterium erfüllt, wird also davon ausgegangen, dass das Anhänger-Modell in die jeweilige Merkmals-Darstellung im Wesentlichen eingefittet bzw. eingepasst ist. Dadurch werden geringe Abweichungen in Kauf genommen, um den iterativen Prozess zeitlich nicht zu sehr auszudehnen und die Lokalisierung damit schneller abzuschließen, ohne dabei die Genauigkeit des Verfahrens zu stark zu beeinträchtigen, wobei die Genauigkeit durch eine entsprechende Festlegung der iterativen Parameter angepasst werden kann.
Vorzugsweise ist weiterhin vorgesehen, dass durch das Anhänger- Modell des jeweils eingelesenen Modell-Datensatzes ein Chassis und/oder ein Aufbau und/oder eine Kupplung modellhaft nachgebildet werden. Daher ist nicht zwangsläufig der gesamte Anhänger detailliert nachzubilden, sondern auch lediglich markante bzw. charakteristische Merkmale, mit denen ein Anhänger eindeutig identifiziert werden kann. Dadurch kann die Datenmenge reduziert werden und dennoch eine exakte Lokalisierung erfolgen, die für nachfolgende Vorgänge herangezogen werden kann. Dazu kann beispielsweise vorgesehen sein, dass aus der ermittelten Anhänger-Orientierung und/oder Anhänger-Position und/oder Anhänger-Pose des Anhängers ein Knickwinkel des Anhängers relativ zu einem Zugfahrzeug und/oder eine Trajektorie zum Annähern des Zugfahrzeuges an den Anhänger ermittelt wird. Auf diese Weise ist ein flexibler Einsatz gegeben, der auf einem wenig aufwändigen Lokalisierungs-Prozess basiert.
Die Erfindung wird im Folgenden anhand von Figuren näher erläutert. Es zeigen:
Fig. 1 a, 1 b schematische Ansichten eines Fahrzeuges;
Fig. 2 ein Flussdiagramm des erfindungsgemäßen Verfahrens;
Fig. 3 eine Detailansicht eines in zwei Einzelbildern einer einzigen
Kamera abgebildeten Objektes; und
Fig. 4 eine Detailansicht der aufgenommenen Einzelbilder.
Figur 1 a zeigt in der Draufsicht schematisiert ein Fahrzeug 1 , das aus einem Zugfahrzeug 1 a und einem Anhänger 1 b besteht, wobei der Anhänger 1 b in der gezeigten Situation nicht an das Zugfahrzeug 1 a angekuppelt ist. Unter Verwendung eines erfindungsgemäßen Verfahrens zum Lokalisieren des Anhängers 1 b, das nachfolgend beschrieben wird, kann der Anhänger 1 b an das Zugfahrzeug 1 a angekuppelt werden, indem sich das Zugfahrzeug 1 a entlang einer festgelegten Trajektorie J bewegt. Alternativ kann der Anhänger 1 b auch angekuppelt sein, wie in Fig. 1 b dargestellt, und unter Verwendung des erfindungsgemäßen Verfahrens kann beispielsweise ein Knickwinkel KW zwischen dem Anhänger 1 b und dem Zugfahrzeug 1 a ermittelt werden.
Zur Durchführung des Verfahrens zum Lokalisieren des Anhängers 1 b ist am Zugfahrzeug 1 a ein Kamerasystem 2 vorgesehen, das mindestens eine Kamera 2a, insbesondere in monokularer Ausführung, aufweist, mit dem eine Umgebung U insbesondere hinter dem Zugfahrzeug 1 a aufgenommen werden kann. Ein Sichtbereich 4 der mindestens einen Kamera 2a ist also insbesondere auf einen Rückraum R hinter dem Zugfahrzeug 1 a ausgerichtet. Um den gesamten oder zumindest einen großen Bereich der Umgebung U, insbesondere den Rückraum R, abdecken zu können, kann bzw. können die Kamera(s) 2a z.B. als Fisheye-Kamera(s) ausgeführt sein, die jeweils einen Sichtbereich 4 mit einem Sichtwinkel von gleich oder größer 170° abdecken kann bzw. können.
Von der jeweiligen Kamera 2a ausgegebene Bild-Signale SB werden ggf. vorverarbeitet an eine Verarbeitungseinheit 5 z.B. im Zugfahrzeug 1 a ausgegeben, die ausgebildet ist, basierend auf den Bild-Signalen SB Einzelbilder EBk der jeweiligen Kamera 2a zu verarbeiten, um das in Fig. 2 beispielhaft dargestellte Verfahren zum Lokalisieren eines Anhängers 1 b auszuführen. Nach einem Initialisierungsschritt STO werden dazu in einem ersten Schritt ST1 zunächst ein (k=1 ) oder mehrere (k= 1 , 2, ...) die Umgebung U um das Zugfahrzeug 1 a in zwei Dimensionen wiedergebende Einzelbilder EBk von der Verarbeitungseinheit 5 eingelesen, wobei der jeweilige zu lokalisierende Anhänger 1 b als Objekt O auf den Einzelbildern EBk abgebildet ist. Die Einzelbilder EBk enthalten daher eine 2D-Darstellung der aktuellen Szene (Szenen-Darstellung in zwei Dimensionen). Anschließend wird in einem zweiten Schritt ST2 anhand eines ausgewählten Bildverarbeitungs-Algorithmus A aus diesem mindestens einen Einzelbild EBk eine Merkmals-Darstellung FD generiert. Als Merkmals- Darstellung FD wird dabei eine Darstellung verstanden, in der nur noch festgelegte bzw. definierte Merkmale F (features) der abgebildeten Szene wiedergegeben sind. Die Merkmals-Darstellung FD ist also als eine Untermenge der Szenen-Darstellung aufzufassen, wobei diese Untermenge durch den jeweiligen Bildverarbeitungs-Algorithmus A aus dem mindestens einen Einzelbild EBk erzeugt wird. Als Bildverarbeitungs-Algorithmen A zum Ermitteln bzw. Erzeugen einer Merkmals-Darstellung FD können unterschiedliche Ausführungsbeispiele zur Anwendung kommen:
In einem ersten Ausführungsbeispiel werden von der Verarbeitungseinheit 5 über einen SfM-Algorithmus AS (SfM: Structure-from-Motion) mehrere, d.h. mindestens zwei (k = 1 , 2), eingelesene Einzelbilder EBk derselben Kamera 2a verarbeitet. Mittels des SfM-Algorithmus AS können aus diesen mindestens zwei Einzelbildern EBk in einem ersten SfM-Schritt STS1 Tiefeninformationen Tin zu aufgenommenen bzw. in den Einzelbildern EBk abgebildeten Objekt- Punkten POn (s. Fig. 3), die einem bestimmten Objekt O in der Umgebung U zugeordnet sind, gewonnen werden. Das Extrahieren von Tiefeninformationen Tin über den SfM-Algorithmus AS erfolgt dabei, indem ein Objekt-Punkt POn auf dem jeweiligen Objekt O von mindestens zwei unterschiedlichen Standpunkten SP1 , SP2 aus von derselben Kamera 2a aufgenommen wird, wie in Fig. 3 angedeutet.
Durch Triangulation T können anschließend die Tiefeninformationen Tin bezüglich jedes paarweise aufgenommenen Objekt- Punktes POn erhalten werden. Dazu werden Bild-Koordinaten xB, yB in einem zweidimensionalen Koordinatensystem K2D (s. Fig. 4) zu mindestens einem ersten Einzelbild- Bildpunkt EB1 P1 in einem ersten Einzelbild EB1 und mindestens einem ersten Einzelbild-Bildpunkt EB2P1 in einem zweiten Einzelbild EB2 derselben Kamera 2a bestimmt. Beide Einzelbilder EB1 , EB2 werden von der Kamera 2a an unterschiedlichen Standpunkten SP1 , SP2 aufgenommen, d.h. zwischen den Einzelbildern EB1 , EB2 bewegt sich das Zugfahrzeug 1 a bzw. die Kamera 2a um eine Basislänge L. Die beiden ersten Einzelbild-Bildpunkte EB1 P1 , EB2P1 werden in den jeweiligen Einzelbildern EB1 , EB2 in bekannter Weise derartig gewählt, dass sie demselben Objekt-Punkt POn auf dem jeweils abgebildeten Objekt O zugeordnet sind.
Auf diese Weise können für ein Objekt O mit seinen Objekt-Punkten POn jeweils ein oder mehrere Paare von Einzelbild-Bildpunkten EB1 Pi, EB2Pi für ein (n=1 ) oder auch mehrere (n = 1 , 2, ...) Objekt-Punkte POn ermittelt werden. In einer Näherung können nachfolgend aus den für das jeweilige Objekt O bzw. die Objekt-Punkte POn ermittelten Bild-Koordinaten xB, yB der Einzelbild-Bildpunkte EB1 Pi, EB2Pi durch Triangulation T die absoluten, tatsächlichen Objekt-Koordinaten xO, yO, zO (Weltkoordinaten) des oder der jeweiligen Objekt-Punkte POn des dreidimensionalen Objektes O berechnet bzw. abgeschätzt werden. Um die Triangulation T ausführen zu können, wird auf eine entsprechend ermittelte Basislänge L zwischen den Standpunkten SP1 , SP2 der Kamera 2a zurückgegriffen, beispielsweise aus Bewegungsdaten des Zugfahrzeuges 1 a bzw. der Kamera 2a.
Falls die Bewegungsdaten nicht vorliegen, ist es auch möglich, im Zuge des SfM-Algorithmus AS die Bewegungsdaten durch visuelle Odometrie, d.h. „visuell“ aus den Einzelbildern EBk zu bestimmen. Dazu wird die Bewegung der Kamera 2a anhand von zeitlich getrackten Merkmalspunkten bzw. Objekt-Punkten POn aus Einzelbildern EBk abgeschätzt.
Wurde die Triangulation T für eine ausreichende Anzahl an Objekt- Punkten POn eines Objektes O durchgeführt, kann daraus in einem zweiten SfM-Schritt STS2 eine dreidimensionale Punktewolke PW aus mehreren Objekt-Punkten POn in tatsächlichen Objekt-Koordinaten xO, yO, zO (Weltkoor- dinaten) generiert werden, um das jeweilige Objekt O im dreidimensionalen Raum zu beschreiben. Da im erfindungsgemäßen Verfahren ein Anhänger 1 b erkannt und lokalisiert werden soll, werden durch den SfM-Algorithmus AS zumindest auch Objekt-Punkte POn ermittelt und diese als dreidimensionale Punktewolke PW dargestellt, die einem Anhänger 1 b als Objekt O in der Umgebung U zugeordnet sind.
Mittels des SfM-Algorithmus AS wird also aus der zweidimensionalen Darstellung der Szene (Szenen-Darstellung in den Einzelbildern EBk) eine Punktewolken-Darstellung FDPW im dreidimensionalen Raum als Merkmals- Darstellung FD generiert. Diese Punktewolken-Darstellung FDPW enthält dabei zumindest solche Objekt-Punkte POn, die auf dem abgebildeten und dem zu lokalisierenden Anhänger 1 b liegen, beispielsweise auf den Seitenflächen des Anhängers 1 b. In der Punktewolken-Darstellung FDPW ist also durch die Punktewolke PW insbesondere der dreidimensionale Charakter bzw. die dreidimensionale Anhänger-Form AF des abgebildeten und zu lokalisierenden Anhängers 1 b als definiertes Merkmal F wiedergegeben.
In einem dritten Schritt ST3, der auch vor dem zweiten Schritt ST2 bereits durchgeführt werden kann, werden von der Verarbeitungseinheit 5 aus einer Anhänger-Datenbank 6 ein (p=1 ) oder mehrere (p = 1 , 2, ...) darin hinterlegte Modell-Datensätze Dp eingelesen, wobei in jedem Modell-Datensatz Dp ein bestimmtes Anhänger-Modell AMp nachgebildet ist. Die Nachbildung des jeweiligen Anhänger-Modells AMp erfolgt dabei unter Rückgriff auf die im jeweiligen Ausführungsbeispiel betrachteten Merkmale F. Im ersten Ausführungsbeispiel, bei dem auf die mittels des SfM-Algorithmus AS generierte Punktewolken-Darstellung FDPW zurückgegriffen wird, wird als Modell- Datensatz Dp beispielsweise ein 3D-Modell-Datensatz D3Dp eingelesen.
In jedem 3D-Modell-Datensatz D3Dp ist zumindest der dreidimensionale Charakter bzw. die dreidimensionale Form des betreffenden Anhänger- Modells AMp modellhaft nachgebildet. Dazu enthält ein solcher 3D-Modell- Datensatz D3Dp beispielsweise mehrere (q = 1 , 2, ...) Modell-Punkte PMq mit jeweils Modell-Koordinaten xM, yM, zM in einem dreidimensionalen kartesischen Koordinatensystem K3D, wobei die Modell-Punkte PMq das Anhänger-Modell AMp räumlich beschreiben bzw. charakterisieren, vorzugsweise skaliert, um den Anhänger leichter anhand seiner Größe identifizieren und lokalisieren zu können. Dabei können auch lediglich diejenigen räumlichen Details nachgebildet sein, die spezifisch für das jeweilige Anhänger-Modell AMp sind, beispielsweise ein Chassis 21 und/oder ein Aufbau 22 und/oder eine Kupplung 23 des jeweils nachgebildeten Anhänger-Modells AMp.
So kann aus dem jeweiligen 3D-Modell-Datensatz D3Dp beispielsweise hervorgehen, ob der jeweilige modellhaft nachgebildete Anhänger einen kastenförmigen Aufbau 22a mit oder ohne einem zusätzlichem Kühlaggregat 22b oder einen siloförmigen Aufbau 22c oder einen pritschenförmigen Aufbau 22d aufweist, d.h. über den 3D-Modell-Datensatz D3Dp ein Kühl- Anhänger oder ein normaler Kasten-Anhänger oder ein Tank-Anhänger oder ein Pritschen-Anhänger, usw. modellhaft nachgebildet wird.
Ergänzend oder alternativ kann aus dem jeweiligen 3D-Modell- Datensatz D3Dp hervorgehen, ob das nachgebildete Anhänger-Modell AMp ein Containerchassis 21 a (ohne Aufbau) aufweist und/oder wie viele Fahrzeugachsen 21 b an dem Chassis 21 angeordnet sind. Außerdem kann der jeweilige 3D-Modell-Datensatz D3Dp beinhalten, ob das jeweils nachgebildete Anhänger-Modell AMp eine Deichselkupplung 23a (starr oder beweglich) oder einen Königszapfen 23b als Kupplung 23 aufweist.
Je nach Umfang der Anhänger-Datenbank 6 werden zunächst parallel zueinander unterschiedliche 3D-Modell-Datensätze D3Dp eingelesen, da noch festzustellen ist, welcher eingelesene 3D-Modell-Datensatz D3Dp dem durch die Punktewolken-Darstellung FDPW wiedergegebenen Anhänger 1 b entspricht. Dazu wird nachfolgend in einem vierten Schritt ST4 geprüft, ob eines der eingelesenen Modell-Datensätze Dp bzw. 3D-Modell-Datensätze D3Dp in die generierte Punktewolke PW aus der Punktewolken-Darstellung FDPW eingepasst werden kann. Es erfolgt also ein modelbasierter Abgleich, bei dem versucht wird, ein definiertes Anhänger-Modell AMp in die generierte Punktewolke PW zu fitten.
Dazu wird das in dem jeweiligen 3D-Modell-Datensatz D3Dp nachgebildete Anhänger-Modell AMp in mehreren Iterationsschritten STI durch eine geometrische Transformation TG derartig skaliert und/oder durch Translation und/oder Rotation „bewegt“, dass das Anhänger-Modell AMp mit der Punktewolke PW, die die dreidimensionale Anhänger-Form AF wiedergibt, im Wesentlichen übereinstimmt. Um dabei unterschiedliche Entfernungen bzw. Größen des zu lokalisierenden Anhängers 1 b zu berücksichtigen, kann die Suche bzw. das Einpassen in unterschiedlichen Auflösungsstufen stattfinden (Stichwort Bildpyramide).
In einem iterativen Prozess wird also eine Modell-Position MP und eine Modell-Orientierung MO (vgl. Modell-Pose MPO) des jeweiligen Anhänger- Modells AMp sukzessive verändert. Dies kann beispielsweise dadurch erfolgen, dass die Modell-Punkte PMq im jeweiligen 3D-Modell-Datensatz D3Dp mit den Objekt- Punkten POn in der Punktewolken-Darstellung FDPW in Überdeckung gebracht werden, d.h. die Modell-Koordinaten xM, yM, zM der Modell-Punkte PMq werden durch eine Translation und/oder eine Rotation mit den Objekt-Koordinaten xO, yO, zO der Objekt-Punkte POn iterativ in Übereinstimmung gebracht, wobei die nachgebildete Form des Anhänger- Modells AMp erhalten bleibt und dabei ggf. skaliert wird.
Für den iterativen Prozess zum Einfitten bzw. Einpassen des Anhänger- Modells AMp in die Punktewolke PW kann ein Exit- bzw. Ausstiegs-Kriterium EK definiert werden, bei dessen Vorliegen der iterative Prozess abgebrochen wird. Das Ausstiegs-Kriterium EK kann beispielsweise dann vorliegen, wenn eine bestimmte Iterations-Anzahl IA an Iterationsschritten STI durchgeführt wurde, d.h. das Anhänger-Modell AMp in IA unterschiedliche Modell-Posen MOP bewegt wurde. Ergänzend oder alternativ kann vorgesehen sein, einen mittleren Abstand DM zwischen den das Anhänger-Modell AMp beschreibenden Modell-Punkten PMq und den die Punktewolke PW bildenden Objekt-Punkten POn, die dem zu lokalisierenden Anhänger 1 b zugeordnet sind, aus den jeweiligen Koordinaten zu ermitteln. Unterschreitet dieser mittlere Abstand DM einen Grenzabstand DG, so ist das Ausstiegs-Kriterium EK erfüllt und der iterative Prozess wird abgebrochen.
Ist der iterative Prozess abgeschlossen und/oder abgebrochen, so kann aus der geometrischen Transformation TG, die das Anhänger-Modell AMp auf die Punktewolke PW verschiebt und/oder verdreht und/oder skaliert, in einem fünften Schritt ST5 die Modell-Position MP bzw. die Modell- Orientierung MO bzw. die Modell-Pose MPO des Anhänger-Modells AMp ermittelt werden. Aus geometrischen Betrachtungen sowie bei einer entsprechenden Kalibrierung der Kamera 2a, d.h. in Kenntnis der genauen Lage der Kamera 2a im Raum, folgt daraus unmittelbar die Anhänger-Position AP bzw. die Anhänger-Orientierung AO bzw. die Anhänger-Pose APO des Anhängers 1 b relativ zum Zugfahrzeug 1 a. Der Anhänger 1 b kann also darüber lokalisiert werden.
Die Anhänger-Pose APO kann dann nachfolgend in einem sechsten Schritt ST6 für unterschiedliche Anwendungen weiterverwendet werden, beispielsweise für ein automatisiertes Annähern und/oder Ankuppeln des Anhängers 1 b entlang einer festgelegten Trajektorie J oder aber zur Ermittlung eines Knickwinkels KW zwischen dem Anhänger 1 b und dem Zugfahrzeug 1a bei bereits bestehender Kupplungsverbindung. Für die Ermittlung des Knickwinkels KW ist für den SfM-Algorithmus AS eine relative Bewegung zwischen dem Zugfahrzeug 1 a und dem Anhänger 1 b nötig, um unterschiedliche Standpunkte SP1 , SP2 der Kamera 2a zu erhalten.
Gemäß einer zweiten Ausführungsform kann aus der Szenen- Darstellung bzw. den eigelesenen Einzelbildern EBk eine Kanten-Darstellung FDK als Merkmals-Darstellung FD generiert werden, wobei dazu im zweiten Schritt ST2 durch einen Kanten-Algorithmus AK, z.B. einen Canny-, Sobel-, Prewitt-, etc. Algorithmus, in zumindest einem der eingelesenen Einzelbilder EBk Anhänger-Kanten AE erkannt werden. Die Kanten-Darstellung FDK enthält dann also zumindest auch Anhänger-Kanten AE als definierte Merkmale F, die dem abgebildeten Anhänger 1 b zugeordnet sind bzw. die auf dem jeweils abgebildeten Anhänger 1 b liegen und diesen charakterisieren. Die Kanten-Darstellung FDK liegt dabei vorzugsweise in einem zweidimensionalen Koordinatensystem K2D vor, insofern auf lediglich ein eingelesenes Einzelbild EBk der Kamera 2a zurückgegriffen wird. Bei entsprechender Ausführung der Kamera 2a und/oder der Bildverarbeitung kann grundsätzlich auch eine dreidimensionale Kanten-Darstellung FDK vorliegen.
In diesem Ausführungsbeispiel wird als Modell-Datensatz Dp, in dem ein bestimmtes Anhänger-Modell AMp nachgebildet ist, im dritten Schritt ST3 ein Kanten-Modell-Datensatz DKp eingelesen, in dem insbesondere die für das jeweilige Anhänger-Modell AMp charakteristischen Modell-Kanten ME als Merkmale dargestellt sind. Die Modell-Kanten ME des Anhänger-Modells AMp können dabei entweder in einem zweidimensionalen Koordinatensystem K2D oder in einem dreidimensionalen Koordinatensystem K3D vorliegen. Auch in diesem Ausführungsbeispiel können auch lediglich diejenigen Details in dem Kanten-Modell-Datensatz DKp enthalten sein, die spezifisch für das jeweilige Anhänger-Modell AMp sind, beispielsweise die Modell- Kanten ME im Bereich des Chassis 21 und/oder des Aufbaus 22 und/oder der Kupplung 23 des jeweils nachgebildeten Anhänger-Modells AMp. Nachfolgend wird für dieses Ausführungsbeispiel in dem vierten Schritt ST4 geprüft, ob eines der eingelesenen Kanten-Modell-Datensätze DKp in die erkannten Anhänger-Kanten AE aus der Kanten-Darstellung FDK eingepasst werden kann. Es erfolgt also ein modelbasierter Abgleich, bei dem versucht wird, ein definiertes Anhänger-Modell AMp in die generierte Kanten- Darstellung FDK zu fitten.
Dazu wird das in dem jeweiligen Kanten-Modell-Datensatz DKp nachgebildete Anhänger-Modell AMp in mehreren Iterationsschritten STI durch eine geometrische Transformation TG derartig skaliert und/oder durch Translation und/oder Rotation „bewegt“, dass die Modell-Kanten ME des Anhänger-Modells AMp mit den Anhänger-Kanten AE aus der Kanten-Darstellung FDK im Wesentlichen übereinstimmen bzw. in Überdeckung gebracht werden. Um dabei unterschiedliche Entfernungen bzw. Größen des zu lokalisierenden Anhängers 1 b zu berücksichtigen, kann die Suche bzw. das Einpassen in unterschiedlichen Auflösungsstufen stattfinden (Stichwort Bildpyramide). In einem iterativen Prozess wird also eine Modell-Position MP und eine Modell-Orientierung MO (vgl. Modell-Pose MPO) des jeweiligen Anhänger- Modells AMp sukzessive verändert.
Dies erfolgt entweder in zwei Dimensionen oder in drei Dimensionen, je nachdem, in welchem Koordinatensystem der Kanten-Modell-Datensatz DKp und die Kanten-Darstellung FDK vorliegen. Liegen beide in unterschiedlichen Dimensionen vor, ist zusätzlich eine Koordinatentransformation vorgesehen, vorzugsweise in ein gemeinsames zweidimensionales Koordinatensystem K2D. Auch in diesem Ausführungsbeispiel kann ein Ausstiegs-Kriterium EK für den iterativen Prozess definiert werden, beispielsweise das Überschreiten einer festgelegten Iterations-Anzahl IA und/oder das Unterschreiten des mittleren Abstandes DM zwischen den Modell-Kanten ME und den Anhänger- Kanten AE unter einen festgelegten Grenzabstand DG. Ist der iterative Prozess abgeschlossen und/oder abgebrochen, so kann aus der geometrischen Transformation TG, die die Modell-Kanten ME aus dem Kanten-Modell-Datensatz DKp auf die Anhänger-Kanten AE aus dem Anhänger-Modell AMp verschiebt und/oder verdreht und/oder skaliert, in einem fünften Schritt ST5 die Modell-Position MP bzw. die Modell-Orientierung MO bzw. die Modell-Pose MPO des Anhänger-Modells AMp ermittelt werden. Aus geometrischen Betrachtungen sowie bei einer entsprechenden Kalibrierung der Kamera 2a, d.h. in Kenntnis der genauen Lage der Kamera 2a im Raum, folgt daraus unmittelbar die Anhänger-Position AP bzw. die Anhänger-Orientierung AO bzw. die Anhänger-Pose APO des Anhängers 1 b relativ zum Zugfahrzeug 1 a. Der Anhänger 1 b kann also auch darüber lokalisiert werden, was in dem sechsten Schritt ST6 für die entsprechende Anwendung weiterverwendet werden kann.
Gemäß einer dritten Ausführungsform kann aus der Szenen-Darstellung bzw. den eigelesenen Einzelbildern EBk eine Intensitäts-Darstellung FDI als Merkmals-Darstellung FD generiert werden, wobei dazu im zweiten Schritt ST2 in zumindest einem der eingelesenen Einzelbilder EBk durch einen Intensitäts-Algorithmus AI Anhänger-Intensitätswerte AW ortsaufgelöst erfasst werden, d.h. die einem oder mehrerer Objekt-Punkte POn auf dem Anhänger 1 b zugeordneten Intensitätswerte im entsprechenden Farbraum. Die Anhänger-Intensitätswerte AW betreffen demnach beispielsweise einen oder mehrere bestimmte Farbkanäle, d.h. im RGB-Farbraum Red (R), Green (G), Blue (B), oder im CMYK-Farbraum Cyan (C), Magenta (M), Yellow (Y) und den Schwarzanteil (K). Gleichwirkend damit kann auch ein Farbwert des jeweiligen Farbtons erfasst werden.
Die Intensitäts-Darstellung FDI enthält dann also zumindest auch ortsaufgelöst dargestellte Anhänger-Intensitätswerte AW als definierte Merkmale F, die dem abgebildeten Anhänger 1 b zugeordnet sind bzw. die den jeweils abgebildeten Anhänger 1 b charakterisieren. Die Intensitäts-Darstellung FDI liegt dabei vorzugsweise in einem zweidimensionalen Koordinatensystem K2D vor, insofern auf lediglich ein eingelesenes Einzelbild EBk der Kamera 2a zurückgegriffen wird. Bei entsprechender Ausführung der Kamera 2a und/oder der Bildverarbeitung kann grundsätzlich auch eine dreidimensionale Intensitäts-Darstellung FDI vorliegen.
In diesem dritten Ausführungsbeispiel wird als Modell-Datensatz Dp, in dem ein bestimmtes Anhänger-Modell AMp nachgebildet ist, im dritten Schritt ST3 ein Intensitäts-Modell-Datensatz Dip eingelesen, in dem insbesondere die für das jeweilige Anhänger-Modell AMp charakteristischen Modell- Intensitätswerte MW ortsaufgelöst als Merkmale dargestellt sind. Die Modell- Intensitätswerte MW des Anhänger-Modells AMp können dabei entweder in einem zweidimensionalen Koordinatensystem K2D oder in einem dreidimensionalen Koordinatensystem K3D vorliegen. Auf diese Weise kann ein Anhänger-Modell AMp also anhand seiner farblichen Gestaltung unterschieden bzw. spezifiziert werden.
Nachfolgend wird für dieses Ausführungsbeispiel in dem vierten Schritt ST4 geprüft, ob eines der eingelesenen Intensitäts-Modell-Datensätze Dip bzw. die darin enthaltenen Modell-Intensitätswerte MW mit den erkannten Anhänger-Intensitätswerten AW aus der Intensitäts-Darstellung FDI in Übereinstimmung gebracht werden kann. Es erfolgt also ein modelbasierter Abgleich, bei dem versucht wird, ein definiertes Anhänger-Modell AMp in die generierte Intensitäts-Darstellung FDI zu fitten.
Dazu wird das in dem jeweiligen Intensitäts-Modell-Datensatz Dip nachgebildete Anhänger-Modell AMp in mehreren Iterationsschritten STI durch eine geometrische Transformation TG derartig skaliert und/oder durch Translation und/oder Rotation „bewegt“, dass die ortsaufgelöst bereitgestellten Modell-Intensitätswerte MW des Anhänger-Modells AMp mit den ebenfalls ortsaufgelöst ermittelten Anhänger-Intensitätswerten AW aus der Inten- sitäts-Darstellung FDI im Wesentlichen übereinstimmen bzw. in Überdeckung gebracht werden. Um dabei unterschiedliche Entfernungen bzw. Größen des zu lokalisierenden Anhängers 1 b zu berücksichtigen, kann die Suche bzw. das Einpassen in unterschiedlichen Auflösungsstufen stattfinden (Stichwort Bildpyramide). In einem iterativen Prozess wird also eine Modell-Position MP und eine Modell-Orientierung MO (vgl. Modell-Pose MPO) des jeweiligen farblich „codierten“ Anhänger-Modells AMp sukzessive verändert.
Dies erfolgt entweder in zwei Dimensionen oder in drei Dimensionen, je nachdem, in welchem Koordinatensystem der Intensitäts-Modell-Datensatz Dip und die Intensitäts-Darstellung FDI vorliegen. Liegen beide in unterschiedlichen Dimensionen vor, ist zusätzlich eine Koordinatentransformation vorgesehen, vorzugsweise in ein gemeinsames zweidimensionales Koordinatensystem K2D. Auch in diesem Ausführungsbeispiel kann ein Ausstiegs- Kriterium EK für den iterativen Prozess definiert werden, beispielsweise das Überschreiten einer festgelegten Iterations-Anzahl IA und/oder das Unterschreiten des mittleren Abstandes DM (wertemäßig) zwischen den Modell- Intensitätswerten MW und den Anhänger-Intensitätswerten AW unter einen festgelegten Grenzabstand DG (wertemäßig).
Ist der iterative Prozess abgeschlossen und/oder abgebrochen, so kann aus der geometrischen Transformation TG, die die ortsaufgelösten Modell- Intensitätswerte MW aus dem Intensitäts-Modell-Datensatz Dip auf die ortsaufgelösten Anhänger-Intensitätswerte AW aus dem Anhänger-Modell AMp verschiebt und/oder verdreht und/oder skaliert, in einem fünften Schritt ST5 die Modell-Position MP bzw. die Modell-Orientierung MO bzw. die Modell- Pose MPO des Anhänger-Modells AMp ermittelt werden. Aus geometrischen Betrachtungen sowie bei einer entsprechenden Kalibrierung der Kamera 2a, d.h. in Kenntnis der genauen Lage der Kamera 2a im Raum, folgt daraus unmittelbar die Anhänger-Position AP bzw. die Anhänger-Orientierung AO bzw. die Anhänger-Pose APO des Anhängers 1 b relativ zum Zugfahrzeug 1 a. Der Anhänger 1 b kann also auch darüber lokalisiert werden, was in dem sechsten Schritt ST6 für die entsprechende Anwendung weiterverwendet werden kann.
Alle genannten Ausführungsformen können dabei alternativ oder ergänzend zueinander zur Anwendung kommen, beispielsweise um Redundanzen aufzubauen oder eine Plausibilisierung durchführen zu können. Auf diese Weise kann aus derselben Szenen-Darstellung (Einzelbilder EBk) mit unterschiedlichen Bildverarbeitungs-Algorithmen A eine Lokalisierung eines Anhängers 1 b erfolgen.
Bezugszeichenliste (Teil der Beschreibung)
1 Fahrzeug
1a Zugfahrzeug
1 b Anhänger
2 Kamerasystem
2a Kamera
4 Sichtbereich der Kamera 2a
5 Verarbeitungseinheit
6 Anhänger-Datenbank
21 Chassis
21 a Containerchassis
21 b Fahrzeugachsen
22 Aufbau
22a kastenförmiger Aufbau
22b Kühlaggregat
22c siloförmiger Aufbau
22d pritschenförmiger Aufbau
23 Kupplung
23a Deichselkupplung
23b Königszapfen
A Bildverarbeitungs-Algorithmus
AE Anhänger-Kanten
AF Anhänger-Form
AI Intensitäts-Algorithmus
AO Anhänger-Orientierung
AP Anhänger-Position
APO Anhänger-Pose
AK Kanten-Algorithmus
AMp p. Anhänger-Modell AS SfM-Algorithmus
AW Anhänger-Intensitätswert
Dp Modell-Datensatz des p. Anhänger-Modells
D3Dp 3D-Modell-Datensatz des p. Anhänger-Modells
DG Grenz-Abstand
Dip Intensitäts-Modell-Datensatz des p. Anhänger-Modells
DKp Kanten-Modell-Datensatz des p. Anhänger-Modells
DM mittlerer Abstand
EBk k. Einzelbild
EBkPi i. Einzelbild-Bildpunkt im k. Einzelbild EBk
EK Ausstiegs-Kriterium
F Merkmal
FD Merkmals-Darstellung
FDI Intensitäts-Darstellung
FDK Kanten-Darstellung
FD PW Punktewolken-Darstellung
IA Iterations-Anzahl
J Trajektorie
K2D zweidimensionales Koordinatensystem
K3D dreidimensionales Koordinatensystem
KW Knickwinkel
L Basislänge
ME Modell-Kanten
MO Modell-Orientierung
MP Modell-Position
MPO Modell-Pose
MW Modell-Intensitätswert
O Objekt
POn n. Objekt- Punkt
PMq q. Modell-Punkt PW Punktewolke R Rückraum
SB Bild-Signal
SP1 erster Standpunkt der Kamera 2a
SP2 zweiter Standpunkt der Kamera 2a
T Triangulation
Tin Tiefeninformation zum n. Objektpunkt PPn
TG geometrische Transformation
U Umgebung xB, yB Bild-Koordinaten xO, yO, zO Objekt-Koordinaten xM, yM, zM Modell-Koordinaten i, k, n, p, q Index
STO, ST1 , ST2, ST3, ST4, ST5, ST6 Schritte des Verfahrens zum Lokalisieren des Anhängers 1 b
STI Iterationsschritte zum Einpassen des jeweiligen Modell-
Datensatzes DP in die jeweilige Merkmals-Darstellung FD
STS1 , STS2 SfM-Schritte zum Ermitteln der Punktewolken-Darstellung PW über den SfM-Algorithmus AS

Claims

- 28 - Patentansprüche
1 . Verfahren zum Lokalisieren eines Anhängers (1 b) in einer Umgebung (U) eines Zugfahrzeuges (1 a), mit mindestens den folgenden Schritten:
- Einlesen mindestens eines Einzelbildes (EBk), in dem die Umgebung (U) um das Zugfahrzeug (1 a) zweidimensional abgebildet ist (ST1 );
- Ermitteln einer Merkmals-Darstellung (FD) aus dem mindestens einen eingelesenen Einzelbild (EBk) unter Verwendung eines Bildverarbeitungs-Algorithmus (A), wobei in der Merkmals-Darstellung (FD) definierte Merkmale (F) des zu lokalisierenden Anhängers (1 b) wiedergegeben sind (ST2);
- Einlesen mindestens eines Modell-Datensatzes (Dp) aus einer Anhänger-Datenbank (6), wobei in jedem Modell-Datensatz (Dp) ein definiertes Anhänger-Modell (AMp) modellhaft nachgebildet ist (ST3);
- Verändern einer Modell-Orientierung (MO) und/oder einer Modell- Position (MP) und/oder einer Modell-Pose (MPO) des jeweiligen Anhänger-Modells (AMp) aus dem mindestens einen eingelesenen Modell- Datensatz (Dp) zum Einpassen des jeweiligen Anhänger-Modells (AMp) in die ermittelte Merkmals-Darstellung (FD) (ST4), wobei für den Fall, dass das jeweilige Anhänger-Modell (AMp) in die ermittelte Merkmals- Darstellung (FD) eingepasst ist,
- die Anhänger-Orientierung (AO) des zu lokalisierenden Anhängers (1 b) aus der dann eingestellten Modell-Orientierung (MO) und/oder
- die Anhänger-Position (AP) des zu lokalisierenden Anhängers (1 b) aus der dann eingestellten Modell-Position (MP) und/oder
- die Anhänger-Pose (APO) des zu lokalisierenden Anhängers (1 b) aus der dann eingestellten Modell-Pose (MPO) ermittelt wird (ST5).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Merkmals-Darstellung (FD) eine Punktewolken-Darstellung (FDPW) ermittelt wird, wobei die Punktewolken-Darstellung (FDPW) eine Punktewolke (PW) aus mehreren Objekt- Punkten (POn) in der Umgebung (U) enthält, wobei zumindest einige der Objekt-Punkte (POn) dem Anhänger (1 b) in der Umgebung (U) zugeordnet sind. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in der Punk- tewolken-Darstellung (FDPW) zumindest die dreidimensionale Anhänger-Form (AF) des zu lokalisierenden Anhängers (1 b) als definiertes Merkmal (F) wiedergegeben ist. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Punktewolke (PW) der Punktewolken-Darstellung (FDPW) unter Verwendung eines SfM-Algorithmus (AS) ermittelt wird, wobei aus mindestens zwei eingelesenen Einzelbildern (EBk) über den SfM-Algorithmus (AS) durch Triangulation (T) zu mehreren Objekt- Punkten (POn) in der Umgebung (U) eine Tiefeninformation (Tin) ermittelt wird und aus den mehreren Objekt- Punkten (POn) in Abhängigkeit der jeweils ermittelten Tiefeninformation (Tin) die Punktewolke (PW) generiert wird. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass als Modell-Datensatz (Dp) ein 3D-Modell-Datensatz (D3Dp) eingelesen wird, wobei das jeweilige Anhänger-Modell (AMp) in dem 3D- Modell-Datensatz (D3Dp) durch Modell-Punkte (PMq) dreidimensional beschrieben wird. Verfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Modell-Punkte (PMq) des jeweiligen 3D-Modell-Datensatzes (D3Dp) mit den Objekt-Punkten (POn) in der Punktewolken-Darstellung (FDPW) in Überdeckung gebracht werden zum Einpassen des jeweiligen Anhänger-Modells (AMp) in die ermittelte Punktewolken-Darstellung (FDPW). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmals-Darstellung (FD) eine Kanten- Darstellung (FDK) ermittelt wird, wobei in der Kanten-Darstellung (FDK) zumindest Anhänger-Kanten (AE) als definierte Merkmale (F) des zu lokalisierenden Anhängers (1 b) wiedergegeben sind. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Anhänger-Kanten (AE) der Kanten-Darstellung (FDK) unter Verwendung eines Kanten-Algorithmus (AK) aus mindestens einem eingelesenen Einzelbild (EBk) ermittelt werden. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass als Modell-Datensatz (Dp) ein Kanten-Modell-Datensatz (DKp) eingelesen wird, wobei das jeweilige Anhänger-Modell (AMp) in dem Kanten-Modell- Datensatz (DKp) durch Modell-Kanten (ME), die für das nachgebildete Anhänger-Modell (AMp) charakteristisch sind, beschrieben wird. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Anhänger-Kanten (AE) in der ermittelten Kanten-Darstellung (FDK) und/oder die Modell-Kanten (ME) in dem eingelesenen Kanten- Modell-Datensatz (DKp) zweidimensional oder dreidimensional beschrieben sind. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmals-Darstellung (FD) eine Intensitäts- Darstellung (FDI) unter Verwendung eines Intensitäts-Algorithmus (AI) ermittelt wird, wobei in der Intensitäts-Darstellung (FDI) zumindest auch Anhänger-Intensitätswerte (AW) als definierte Merkmale (F) des zu lokalisierenden Anhängers (1 b) ortsaufgelöst wiedergegeben sind. Verfahren nach Anspruch 11 , dadurch gekennzeichnet, dass als Modell- Datensatz (Dp) ein Intensitäts-Modell-Datensatz (Dip) eingelesen wird, wobei das jeweilige Anhänger-Modell (AMp) in dem Intensitäts-Modell- Datensatz (Dip) durch Modell-Intensitätswerte (MW), die für das nachgebildete Anhänger-Modell (AMp) charakteristisch sind, ortsaufgelöst beschrieben ist, vorzugsweise zweidimensional. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das nachgebildete Anhänger-Modell (AMp) in dem jeweiligen Modell-Datensatz (Dp) skaliert dargestellt ist. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verändern einer Modell-Orientierung (MO) und/oder einer Modell-Position (MP) und/oder einer Modell-Pose (MPO) des jeweiligen Anhänger-Modells (AMp) durch Anwenden einer geometrischen Transformation (TG) auf den jeweils eingelesenen Modell- Datensatz (Dp) erfolgt. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Anhänger-Orientierung (AO) des zu lokalisierenden Anhängers (1 b) und/oder die Anhänger-Position (AP) des zu lokalisierenden Anhängers (1 b) und/oder die Anhänger-Pose (APO) des zu lokalisierenden Anhängers (1 b) aus derjenigen geometrischen Transformation (TG) ermittelt wird, bei deren Anwendung das jeweilige Anhänger-Modell (AMp) in die ermittelte Merkmals-Darstellung (FD) eingepasst ist. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Einpassen des jeweiligen Anhänger-Modells (AMp) in die ermittelte Merkmals-Darstellung (FD) in mehreren Iterationsschritten (STI) erfolgt, wobei die Modell-Orientierung (MO) und/oder die Modell-Position (MP) und/oder die Modell-Pose (MPO) des jeweiligen - 32 -
Anhänger-Modells (AMp) in den jeweiligen Iterationsschritten (STI) iterativ verändert wird. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass das iterative Einpassen des jeweiligen Anhänger-Modells (AMp) in die ermittelte Merkmals-Darstellung (FD) bei Vorliegen eines Ausstiegs-Kriteriums (EK) abgebrochen wird, wobei das Ausstiegs-Kriterium (EK) erfüllt ist, wenn
- eine Iterations-Anzahl (IA) an Iterationsschritten (STI) erreicht ist und/oder
- ein mittlerer Abstand (DM) zwischen dem Anhänger-Modell (AMp) des jeweiligen Modell-Datensatzes (Dp) und den jeweils zugeordneten Merkmalen (F) in der jeweiligen Merkmals-Darstellung (MD) einen Grenzabstand (DG) unterschreitet. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch das Anhänger-Modell (AMp) des jeweils eingelesenen Modell-Datensatzes (Dp) ein Chassis (21 ) und/oder ein Aufbau (22) und/oder eine Kupplung (23) modellhaft nachgebildet werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus der ermittelten Anhänger-Orientierung (AO) und/oder Anhänger-Position (AP) und/oder Anhänger-Pose (APO) des Anhängers (1 b) ein Knickwinkel (KW) des Anhängers (1 b) relativ zu einem Zugfahrzeug (1 b) und/oder eine Trajektorie (J) zum Annähern des Zugfahrzeuges (1 b) an den Anhänger (1 b) ermittelt wird (ST6). Verarbeitungseinheit (5) für ein Fahrzeug (1 ), insbesondere zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wobei die Verarbeitungseinheit ausgebildet ist,
- mindestens ein Einzelbild (EBk), in dem die Umgebung (U) um ein Zug- - 33 - fahrzeug (1 a) zweidimensional abgebildet ist, einzulesen, vorzugsweise von einer monokularen Kamera (2a);
- eine Merkmals-Darstellung (FD) aus dem mindestens einen eingelesenen Einzelbild (EBk) unter Verwendung eines Bildverarbeitungs- Algorithmus (A) zu ermitteln, wobei in der Merkmals-Darstellung (FD) definierte Merkmale (F) eines zu lokalisierenden Anhängers (1 b) wiedergegeben sind;
- mindestens einen Modell-Datensatz (Dp) aus einer Anhänger- Datenbank (6) einzulesen, wobei in jedem Modell-Datensatz (Dp) ein definiertes Anhänger-Modell (AMp) modellhaft nachgebildet ist;
- eine Modell-Orientierung (MO) und/oder einer Modell-Position (MP) und/oder einer Modell-Pose (MPO) des jeweiligen Anhänger-Modells (AMp) aus dem mindestens einen eingelesenen Modell-Datensatz (Dp) zu verändern, zum Einpassen des jeweiligen Anhänger-Modells (AMp) in die ermittelte Merkmals-Darstellung (FD), wobei die Verarbeitungseinheit (5) ausgebildet ist, für den Fall, dass das jeweilige Anhänger-Modell (AMp) in die ermittelte Merkmals-Darstellung (FD) eingepasst ist,
- die Anhänger-Orientierung (AO) des zu lokalisierenden Anhängers (1 b) aus der dann eingestellten Modell-Orientierung (MO) und/oder
- die Anhänger-Position (AP) des zu lokalisierenden Anhängers (1 b) aus der dann eingestellten Modell-Position (MP) und/oder
- die Anhänger-Pose (APO) des zu lokalisierenden Anhängers (1 b) aus der dann eingestellten Modell-Pose (MPO) zu ermitteln. Fahrzeug (1 ) mit einer Verarbeitungseinheit (5) nach Anspruch 20.
EP22783343.1A 2021-10-15 2022-09-23 Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug Pending EP4416688A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021126814.1A DE102021126814A1 (de) 2021-10-15 2021-10-15 Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug
PCT/EP2022/076556 WO2023061732A1 (de) 2021-10-15 2022-09-23 Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug

Publications (1)

Publication Number Publication Date
EP4416688A1 true EP4416688A1 (de) 2024-08-21

Family

ID=83546853

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22783343.1A Pending EP4416688A1 (de) 2021-10-15 2022-09-23 Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug

Country Status (5)

Country Link
US (1) US20240412410A1 (de)
EP (1) EP4416688A1 (de)
CN (1) CN117999579A (de)
DE (1) DE102021126814A1 (de)
WO (1) WO2023061732A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021106670A1 (de) * 2021-03-18 2022-09-22 Zf Cv Systems Europe Bv Verfahren und Umfeld-Erfassungssystem zum Erzeugen eines Umgebungsbildes eines mehrgliedrigen Gesamtfahrzeugs
JP2023144981A (ja) * 2022-03-28 2023-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
CN116424327B (zh) * 2023-04-25 2025-07-22 九曜智能科技(浙江)有限公司 牵引车和被牵引目标的对接方法和电子设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002012172A (ja) 2000-06-30 2002-01-15 Isuzu Motors Ltd トレーラ連結角検出装置
DE10302545A1 (de) 2003-01-23 2004-07-29 Conti Temic Microelectronic Gmbh Automatisches Ankuppel bzw. Andocken mittels 2D- und 3D-Bildsensorik
DE102004008928A1 (de) 2004-02-24 2005-09-08 Bayerische Motoren Werke Ag Verfahren zum Ankuppeln eines Anhängers unter Einsatz einer Fahrzeugniveauregulierung
DE102004025252B4 (de) 2004-05-22 2009-07-09 Daimler Ag Anordnung zur Bestimmung des Gespannwinkels eines Gliederzugs
WO2006042665A1 (de) 2004-10-15 2006-04-27 Daimlerchrysler Ag Verfahren zur bestimmung von deichsel- und trailerwinkel
DE102006040879B4 (de) 2006-08-31 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Einpark- und Rückfahrhilfe
DE102006056408B4 (de) 2006-11-29 2013-04-18 Universität Koblenz-Landau Verfahren zum Bestimmen einer Position, Vorrichtung und Computerprogrammprodukt
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
DE102008045436A1 (de) * 2008-09-02 2010-03-04 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Knickwinkels zwischen einem Zugfahrzeug und einem Anhänger
US8693634B2 (en) * 2010-03-19 2014-04-08 Hologic Inc System and method for generating enhanced density distribution in a three dimensional model of a structure for use in skeletal assessment using a limited number of two-dimensional views
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US9335162B2 (en) 2011-04-19 2016-05-10 Ford Global Technologies, Llc Trailer length estimation in hitch angle applications
DE102012006206B4 (de) 2012-03-27 2022-11-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erfassung einer drohenden Kollision zwischen einem Zugfahrzeug und seinem Anhänger
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
GB2526342A (en) * 2014-05-22 2015-11-25 Nokia Technologies Oy Point cloud matching method
US9437055B2 (en) 2014-08-13 2016-09-06 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
DE102016209418A1 (de) 2016-05-31 2017-11-30 Bayerische Motoren Werke Aktiengesellschaft Betreiben eines Gespanns mittels Vermessung der relativen Lage eines Informationsträgers über eine Ausleseeinrichtung
US10073451B2 (en) 2016-08-02 2018-09-11 Denso International America, Inc. Safety verifying system and method for verifying tractor-trailer combination
DE102016011324A1 (de) 2016-09-21 2018-03-22 Wabco Gmbh Verfahren zur Steuerung eines Zugfahrzeugs bei dessen Heranfahren und Ankuppeln an ein Anhängerfahrzeug
DE102016218603A1 (de) 2016-09-27 2018-03-29 Jost-Werke Deutschland Gmbh Vorrichtung zur Positionserkennung eines ersten oder zweiten miteinander zu kuppelnden Fahrzeugs
DE102017208055A1 (de) 2017-05-12 2018-11-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Neigung eines kippbaren Anbaugerätes eines Fahrzeugs
IT201700054083A1 (it) 2017-05-18 2018-11-18 Cnh Ind Italia Spa Sistema e metodo di collegamento automatico tra trattore ed attrezzo
US10346705B2 (en) 2017-06-20 2019-07-09 GM Global Technology Operations LLC Method and apparatus for estimating articulation angle
DE102017119968B4 (de) 2017-08-31 2020-06-18 Saf-Holland Gmbh Anhänger und System zur Identifikation eines Anhängers und zur Unterstützung eines Ankupplungsprozesses an eine Zugmaschine
DE102018204981A1 (de) 2018-04-03 2019-10-10 Robert Bosch Gmbh Verfahren zum Ermitteln eines Knickwinkels und Fahrzeugsystem
CN111366938B (zh) * 2018-12-10 2023-03-14 北京图森智途科技有限公司 一种挂车夹角的测量方法、装置及车辆
US11358637B2 (en) * 2019-12-16 2022-06-14 GM Global Technology Operations LLC Method and apparatus for determining a trailer hitch articulation angle in a motor vehicle
DE102020106304A1 (de) * 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug
DE102020108416A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug

Also Published As

Publication number Publication date
CN117999579A (zh) 2024-05-07
WO2023061732A1 (de) 2023-04-20
DE102021126814A1 (de) 2023-04-20
US20240412410A1 (en) 2024-12-12

Similar Documents

Publication Publication Date Title
DE112020004813B4 (de) System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
DE102007045835B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
EP4416682B1 (de) Verfahren zum ermitteln eines knickwinkels, verarbeitungseinheit und fahrzeug
WO2023061732A1 (de) Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug
DE102009012435B4 (de) Vorrichtung und Verfahren zum monokularen Motion-Stereo-basierten Detektieren von freien Parkplätzen
DE102007045834B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE112010004767B4 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102011113197B4 (de) Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger, und Fahrzeug
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE112018000899T5 (de) Gemeinsame 3D-Objekterfassung und Ausrichtungsabschätzung über multimodale Fusion
DE102018125676A1 (de) Dreidimensionale Ausrichtung von Radar- und Kamerasensoren
EP4128160A1 (de) Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug
DE102021201369A1 (de) Verfahren und System zur Bestimmung einer Okklusion bzw. Verdeckung innerhalb eines Kamerasichtfelds
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
DE102020127278A1 (de) Around-View-Synthese-System und -Verfahren
DE10145608B4 (de) Modellbasierte Objektklassifikation und Zielerkennung
EP4523055B1 (de) Verfahren zum bestimmen von punktgruppen, die von einem vorgegebenen betrachtungspunkt sichtbar oder nicht sichtbar sind
DE102019102561A1 (de) Verfahren zum Erkennen einer Pflastermarkierung
DE102020127797B4 (de) Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten
EP3724852B1 (de) Verfahren zur berührungslosen ermittlung von freiheitsgraden eines körpers
DE69231152T2 (de) Verfahren und vorrichtung zur auswertung von strassenbildsequenzen für die erkennung von hindernissen
DE102024130452A1 (de) Verfahren zum Ermitteln einer Objektinformation zu einem Objekt in einer vorgegebenen Umgebung
DE102008014381B4 (de) Bildverarbeitungsvorrichtung
DE102020215639A1 (de) Verfahren zum Erzeugen eines Erkennungsmodells zum Erkennen von Merkmalen in Kamerabilddaten und Verfahren zum Erkennen von Merkmalen in Kamerabilddaten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260414