EP4253188A1 - Justage einer detektion eines schienenstrangs auf basis einer registrierung eines schienenmodells mit einem kamerabild - Google Patents

Justage einer detektion eines schienenstrangs auf basis einer registrierung eines schienenmodells mit einem kamerabild Download PDF

Info

Publication number
EP4253188A1
EP4253188A1 EP23162314.1A EP23162314A EP4253188A1 EP 4253188 A1 EP4253188 A1 EP 4253188A1 EP 23162314 A EP23162314 A EP 23162314A EP 4253188 A1 EP4253188 A1 EP 4253188A1
Authority
EP
European Patent Office
Prior art keywords
rail
parameterized
model
activation
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23162314.1A
Other languages
English (en)
French (fr)
Inventor
Stefan Fuchs
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4253188A1 publication Critical patent/EP4253188A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/047—Track or rail movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Definitions

  • the invention relates to a method for determining an adjusted, parameterized 3D rail model.
  • image data from an area surrounding a rail vehicle is recorded by an image recording unit arranged on the rail vehicle.
  • the surrounding area includes a rail track.
  • the invention further relates to an adjustment device.
  • the adjustment device comprises an input interface for receiving image data from an area surrounding a rail vehicle, which includes a rail track, from an image recording unit arranged on the rail vehicle.
  • the invention relates to a rail vehicle.
  • a first possibility is to detect the rail track in the image sensor used for object recognition. This keeps the system independent of calibration (with respect to an auxiliary sensor) and prevents additional system-related errors from occurring.
  • image-based approaches a rail path is recognized by a variety of edge filtering methods or machine learning methods (e.g. panoptic segmentation with AI-based methods).
  • Post-processing approaches are applied to improve the visualization and localization of the track path or even to determine the distance of objects on the track in relation to the camera.
  • There are vanishing point or Hough transform methods that are limited to straight rails.
  • Other methods use nonlinear functions to approximate curved rail shapes.
  • the known track width is used to infer the distance of an object within the gauge if track detection is interrupted. In general, the methods described above do not determine the location of the tracks or the exact dimensions of the tracks. Line-like features are assumed to represent the tracks and the results are not checked for plausibility using a generative track model.
  • a second possibility involves adding an auxiliary camera or range sensor (lidar) to extract the tracks.
  • Lidar-based methods filter the ground plane and the remaining lidar points are used to fit rail models.
  • so-called Markov chain Monte Carlo methods (abbreviated with the acronym MCMC) fit a rail profile model into the point cloud generated by the lidar and the successive matches are used to obtain the curved path of the track with a third-order interpolation .
  • a third option could be to expand with an inertial navigation system, also known as INS (INS is an acronym for "inertial navigation system").
  • INS inertial navigation system
  • the INS provides the pose of a sensor system within an accurate map. This means that the route of the track in front of the train can be deduced directly.
  • additional sensors is more error-prone and requires a sophisticated a priori calibration of the sensor system.
  • An accurate map is a crucial prerequisite for INS-based procedures. Map creation is expensive and laborious and the map can quickly become outdated.
  • the task is therefore to provide reliable detection of a rail path with as little effort as possible in terms of the arrangement for detecting the environment and the computing effort.
  • This task is solved by a method for determining an adjusted parameterized 3D rail model according to claim 1, an adjustment device according to claim 12 and a rail vehicle according to claim 13.
  • an activation map is acquired on the basis of the image data mentioned at the beginning, acquired by an image recording unit of a rail vehicle from a rail track in the area surrounding the rail vehicle.
  • image data should be understood as two-dimensional image data of the environment of the rail vehicle, which depicts the three-dimensional environment.
  • a parameterized 3D rail model is a rail model that indicates the pose of one or more rail strands relative to the image capture unit of the rail vehicle.
  • the term pose is understood to mean the orientation and the relative position of the rail track and in particular a section of such a rail track relative to the image recording unit of the rail vehicle.
  • the parameterized 3D rail model includes a set of parameters that enables a basic shape of a 3D rail model to be adapted to a real course of a rail track.
  • the surroundings of the rail vehicle include in particular the areas that are in the clearance profile of the rail vehicle in the direction of travel Rail vehicle and around it and are therefore of particular interest for the journey of the rail vehicle.
  • An activation map includes a feature map in which features extracted from image data are displayed.
  • the term activation card comes from AI (AI is an acronym for artificial intelligence).
  • AI is an acronym for artificial intelligence
  • the output of a network is often referred to as activation, based on the neurons that activate specific outputs. Therefore, the output of a network can be called an activation map.
  • the above-mentioned features preferably include edge data or outline data of objects present in the image data.
  • AI-based segmentation methods also known as panoptic segmentation methods, can also be used to generate the activation map.
  • a pixel with a predetermined apparent brightness, also referred to as intensity preferably encodes a probability that a rail track runs at this point. Such a pixel is also referred to below as an activation point.
  • the adjusted parameterized 3D rail model which reflects the pose of the rail track relative to the image recording unit, is determined by comparing a parameterized 3D rail model with the determined activation map.
  • the parameterized 3D rail model is figuratively adapted to the activation map based on the comparison.
  • the parameterized 3D rail model is first merged into a two-dimensional representation of the parameterized 3D rail model with the activation map.
  • both a model for the imaging behavior of the image recording unit and its pose relative to the image area as well as the parameterized 3D rail model are adjusted so that they can be brought into line with the activation map.
  • the structures shown in the activation map form one Type of specification to which the two-dimensional representation of the parameterized 3D rail model is adapted.
  • the approach according to the invention can be generalized so that transition curves, such as clothoids, and also switches or several parallel rail tracks can also be detected or included.
  • Determining the adjusted parameters of the rail model and the rail pose makes it possible to semantically check the detection result of the rail track. If the parameters or rail pose deviate significantly from expected results, it is probably not rails.
  • the method according to the invention also copes with sparse segmentation results or ambiguous edge detection. It is robust against missing edge features and noisy activation maps.
  • a rail model is adjusted with which the pose of a rail track can be precisely determined relative to a camera. Since a camera is usually mounted on a car body of a rail vehicle and the bogie of the rail vehicle and its car body are not firmly connected to each other, there is no constant extrinsic calibration of the camera with the rails. Therefore, the extrinsic camera orientation with respect to the rails needs to be updated. The result of the adjustment according to the invention can therefore also be used for other applications.
  • GNSS global navigation satellite system
  • INS intial navigation system
  • the adjustment device In addition to the input interface mentioned at the beginning for receiving image data from a surrounding area of a rail vehicle, the adjustment device according to the invention also has a determination unit for determining an activation card based on the captured image data.
  • the adjustment device comprises an adjustment unit for determining an adjusted, parameterized 3D rail model, which reproduces the pose of the rail track relative to the image recording unit, by comparing the parameterized 3D rail model with the determined activation map.
  • the adjustment device shares the advantages of the method according to the invention for determining an adjusted 3D rail model.
  • the rail vehicle according to the invention has an image recording unit for acquiring image data from a surrounding area of the rail vehicle, which includes a rail track.
  • Part of the rail vehicle according to the invention is also an adjustment device according to the invention for determining an adjusted, parameterized 3D rail model.
  • the rail vehicle according to the invention also has a control unit for controlling a journey of the rail vehicle based on the adjusted, parameterized 3D rail model.
  • the control unit preferably includes the adjustment device according to the invention.
  • the adjustment device can also be designed separately from the control unit and interact with it.
  • the rail vehicle according to the invention shares the advantages of the adjustment device according to the invention.
  • a majority of the aforementioned components of the adjustment device can be implemented entirely or partially in the form of software modules in a processor of a corresponding computing system, for example by a control unit of a rail vehicle.
  • a largely software-based implementation has the advantage that previously used computing systems can also be easily retrofitted by a software update in order to work in the manner according to the invention.
  • the task is also solved by a corresponding computer program product with a computer program which can be loaded directly into a computing system, with program sections to carry out the steps of the method according to the invention, at least the steps that can be carried out by a computer, in particular the steps for determining an activation card based on the captured image data and to determine the adjusted parameterized 3D rail model when the program is executed in the computing system.
  • such a computer program product may optionally contain additional components, such as: B. documentation and/or additional components, including hardware components, such as hardware keys (dongles, etc.) for using the software.
  • a computer-readable medium e.g. a memory stick, a hard drive or another transportable or permanently installed data carrier, on which the data that can be read by a computing system can be used and executable program sections of the computer program are stored.
  • the computing system can, for example, have one or more cooperating microprocessors or the like.
  • the projection achieves the fusion of the two-dimensional representation of the 3D rail model parameterized with candidate parameter values with the activation map.
  • the candidate parameter values represent predetermined initial parameter values with which the 3D rail model is parameterized.
  • the candidate parameter values preferably include the current parameter values of the 3D rail model or the parameter values of the 3D rail model that were determined during the last adjustment and have since been used to detect the pose of a detected rail track.
  • the adjusted parameter values and the adjusted projection rule can be used as adjusted parameter values and as an adjusted projection rule.
  • determining an adjusted, parameterized 3D rail model includes carrying out an iterative approximation process, wherein steps i) and ii) are repeated are and in a repetition the adapted parameter values determined in step ii) are used in step i) as candidate parameter values and / or the adapted projection rule determined in step ii) is used in step i) as a candidate projection rule.
  • the parameterized 3D rail model and its projection onto the image data can be adjusted step by step, with the precision of the adjusted parameter values and the adjusted projection rule being increased with each iteration.
  • a deviation of the projected parameterized rail model from the activation map should be understood as a difference between activation values of activation points of the parameterized rail model projected onto the activation map and activation values of activation points of the activation map, which were image-based, i.e. generated on the basis of the captured image data.
  • the difference between the individual activation points should be understood to mean in particular a difference between the activation values, preferably the intensity values, i.e. the apparent brightness, of the individual points of the projected, parameterized rail model and the points or activation points present at the same position of the image-based activation map. To put it bluntly, it is determined whether the rail model fits the structures identified as rails based on the image or covers them on the activation map.
  • the activation values of the individual points of the rail model are preferably set so that they are always 100% (or 1), while the activation values of the image-based activation points of the activation map, i.e. the activation points determined by segmentation or an edge filter, are less than the value 1 or a maximum of the value 1.
  • a parameter set is sought for the 3D rail model in which the sum of the differences between the activation values of the image-based activation points and the activation values of the model-based activation points present at the same position is minimal.
  • the determined deviation can advantageously be used to adapt the 3D rail model to the actual course of the rails.
  • the parameters or model parameters that are gradually adjusted can be included in the next iteration step of the adjustment process in order to reduce the deviation and thus gradually improve the result of the adjustment.
  • the sum of the activation values of the image-based activation points and the activation values of the model-based activation points can also be maximized.
  • a loss function is a special function in mathematical statistics and part of a statistical decision problem. It assigns each decision in the form of a point estimate, of a range estimate or test, the damage caused by a decision that deviates from the true parameter.
  • the correlation represents a connection between the course of the projected parameterized rail model and structures in the activation map.
  • the comparison includes determining a minimum of the deviation between the projected parameterized rail model and the activation map when they are figuratively superimposed. This means that the parameter values of the parameterized rail model and/or the projection rule are determined in such a way that when they are used, the deviation of the parameterized rail model from structures of the image-based activation map is minimal. An optimal adjustment result is advantageously achieved by determining the minimum.
  • the determined deviation preferably includes a deviation between apparent brightness values of the projected, parameterized rail model and the image-based activation points of the activation map at the same position in the activation map.
  • the apparent brightness values indicate a probability that a rail track runs at a position in the activation map.
  • the adaptation of the projected, parameterized rail model is advantageously carried out in such a way that it is positioned in the activation map where the probability of localizing a rail track is highest.
  • the deviation preferably has the sum of the squares of the differences between activation values of activation points of the projected parameterized rail model and values of activation points of the activation map at the same location.
  • the intensity values of the projected rail model refer to intensity values of scanning points during a “virtual” scanning of the environment of a rail vehicle by a scanning sensor, such as a lidar system.
  • the values of the activation points preferably also relate to intensity values or density values of the image-based activation points.
  • the intensity values or density values indicate a probability derived from the object detection that a predefined object, in this case a rail track, runs at a position.
  • a combined activation map is generated on the basis of the projected, parameterized rail model and the image-based activation map by projecting the rail model onto the image-based activation map. The comparison is then made between activation values of model-based activation points and activation values of image-based activation points generated at the same location on the combined activation map.
  • An adjusted parameterized 3D rail model is preferably determined using a local nonlinear optimization method for calculating the parameters of the adjusted parameterized 3D rail model and the parameters of an exact projection of the adjusted parameterized 3D rail model onto the captured image data.
  • a more precise parameterized 3D rail model and a more precise projection are determined in each step, which then forms a basis for the parameterized 3D rail model and the projection in the next step.
  • This category includes the downhill simplex algorithm, the Gauss-Newton method or the Levenberg-Marquardt algorithm.
  • the projection parameters include, among other things, the rotation, the translation or the focal length and the optical center, and therefore have a different scaling. For efficient and robust optimization, it is necessary to align the magnitudes of these parameters.
  • the parameterized 3D rail model generates 3D points along the rail head. These 3D points can then be projected onto the activation map for adjustment and, after being projected onto the activation map, matched to the activation points arranged therein.
  • the adaptation of the 3D rail model to a real rail path is made possible by a suitable choice of parameter values.
  • a clothoid also called an Euler spiral, can model a rail transition curve.
  • a sampling density is for example, it depends on the distance and pose of a rail track relative to the image recording unit. In principle, you can choose the sampling density so that it increases with distance, so that the perspective image is taken into account.
  • a basic shape of a branch can be used to model different types of branching, such as an intersection or a switch.
  • Parallel lines can be used to model straight rails.
  • the activation map is preferably determined by segmenting the image data.
  • segmented image data is determined based on the captured image data and the activation map is determined based on the segmented image data.
  • Segmentation involves dividing the image data into sub-areas, which are assigned to a classification.
  • Segmentation may include panoptic segmentation.
  • a panoptic segmentation classification can, for example, distinguish pixels of the image data that belong to people or objects in the foreground of the vehicle's surroundings from pixels that mark the background.
  • Segmentation is preferably carried out using an AI-based segmentation method, with each point in the image data being assigned a probability value that this point is part of a rail track. This probability value can be used as an activation value in the comparison mentioned above.
  • the segmentation preferably includes edge detection in the image data.
  • Edge detection can be achieved, for example, using a Sobel filter.
  • the activation map is preferably determined by smoothing the segmented image data. Under a smoothing, too What is referred to as blurring or blurring is a broadening of the distribution of the activation points over the activation map, preferably based on the application of a statistical function.
  • the smoothing is preferably carried out by applying a Gaussian kernel to the segmented image data.
  • a more continuous distribution of activation points can be used more effectively for an approximation method, since the approximation can take place step by step from the periphery of such a distribution towards the center.
  • the continuous distribution gives the approximation method an orientation in which direction the rail model can be adapted to the image-based activation points. If the distribution of image-based activation points is only discrete or line-like and limited to a fraction of the total area, problems can arise when calculating approximate values.
  • the image recording unit preferably comprises an image recording unit stabilized by intertial sensors, preferably a MEMS-based image recording unit.
  • MEMS-based image capture units include inertial sensors, ie acceleration and rotation sensors, as well as micromechanical systems or components for stabilizing an image capture unit. They are used for situational awareness. If microelectronic components are used to control the pose of the image recording unit, a constant change in the pose of the image recording unit relative to the rail vehicle and also to the rail track results due to a constant compensating movement of the stabilizers.
  • the adjustment according to the invention can advantageously compensate for the dynamic changes in the pose of the image recording unit.
  • FIG 1 is a flowchart 100 shown, which illustrates a method for determining an adjusted parameterized 3D rail model M 'according to an exemplary embodiment of the invention.
  • step 1.I image data BD from an surrounding area UB of a rail vehicle 1 (see FIG 7 ) recorded.
  • the image data BD includes a rail track ST or several rail tracks ST (see FIG 6 ), which is or are located in the field of vision of an image recording unit BA of the rail vehicle 1.
  • step 1.II an activation card AK is determined based on the captured image data BD. Details on determining the activation card are provided in FIG 2 illustrated.
  • a parameterized 3D rail model M is determined with a parameter set C 0 to be adjusted and a projection rule T cr0 to be adjusted.
  • the mentioned data to be adjusted can, for example, come from a control unit 3 of the rail vehicle 1 (see FIG 7 ), which uses this data to process the image data BD from the image recording unit BA in order to determine a pose P of the rails lying in front of the rail vehicle 1.
  • step 1.IV an optimization step takes place in which a deviation L of the parameterized rail model M2D projected into the activation map AK based on the projection rule T cr0 is determined from the activation map AK and is minimized using an iteration process. As a result, an adjusted parameter set C and an adjusted projection rule T cr are determined.
  • step 1.V the adjusted parameter set C for an adjusted parameterized 3D rail model M 'and the adjusted projection rule T cr are used for the subsequent determination of the pose P of the rail track ST running in front of the rail vehicle 1.
  • FIG 2 is a flowchart showing the in FIG 1 illustrated step 1.II for determining an activation card AK illustrated in detail.
  • step 1.IIa the captured image data BD is used to generate segmented image data SBD.
  • the segmented image data SBD is generated using an edge filter that detects edges based on differences in brightness and thus makes object outlines visible. Furthermore, the segmentation can be done based on an AI-based classification model.
  • step 1.IIb an activation map AK is generated, with the segmented image data SBD being smoothed or blurred to a certain extent by using a Gaussian kernel GK, so that they have a certain continuity with continuous transitions in brightness and are therefore better suited for use Optimization method are suitable.
  • FIG 3 A flowchart is shown which illustrates the in FIG 1 Step 1.IV shown for determining an adjusted parameterized 3D rail model M 'is illustrated in detail. For this purpose, an iterative approximation procedure is used for optimization.
  • a variant for determining the above-mentioned deviation L, and thus an error function, includes the method of determining the least squares.
  • the step of determining an adjusted parameterized 3D rail model M' is using a local nonlinear optimization method to calculate the parameters C of the adjusted parameterized 3D rail model M' and the parameters of an exact projection T CR of the adjusted parameterized 3D rail model M 'connected to the captured image data BD.
  • a more precise parameterized 3D rail model and a more precise projection are determined in each step, which then form a basis for the parameterized 3D rail model and the projection in the next step.
  • optimization methods in this category are the downhill simplex algorithm, the Gauss-Newton method or the Levenberg-Marquardt algorithm.
  • the Jacobi matrix determined can be used as a quality criterion for the determined parameters.
  • the projection parameters include, among other things, the rotation, the translation or the focal length and the optical center, and therefore have a different scaling. For efficient and robust optimization, it is necessary to align the magnitudes of these parameters.
  • step 1.IVa the parameterized 3D rail model M determined in step 1.III is projected onto the captured image data BD with the parameter set C 0 to be adjusted and the projection rule T cr0 to be adjusted.
  • a two-dimensional representation M2D of the parameterized 3D rail model M also referred to as a projected parameterized rail model, which is inserted into the captured two-dimensional image data BD, is generated.
  • step 1.IVb a deviation L between apparent brightness values of the projected parameterized rail model M2D and activation points of the activation map AK is determined. This deviation is determined based on the sum of the squares of the differences between intensity values of the projected parameterized rail model M2D and activation points of the activation map AK.
  • adapted parameter values C k of the parameterized rail model M and an adapted projection matrix T crk are determined based on the determined deviation using the approximation methods mentioned in connection with step 1.IV.
  • a Jakobi matrix J can be determined based on the determined deviation L.
  • adjusted parameter values C k and an adapted projection matrix T crk can be determined.
  • direct derivations of the deviation L with respect to the mentioned parameters C k of the parameterized rail model and the parameters characterizing the projection, in particular parameters of the projection matrix T crk can be formed and these values can be used to determine approximate parameter values of the parameterized 3D rail model M and the adapted ones projection can be used.
  • step 1.IVd it is checked whether the quality Q of the determined variables C k , T crk reaches a quality criterion.
  • the quality criterion can, for example, include a predetermined threshold value for the determined deviation L. If the threshold value is undershot, the quality criterion Q is achieved.
  • the Jakobi matrix J or its entries can be used for a quality assessment.
  • step 1.IVe the determined adjusted parameter set C k and the determined adjusted projection matrix T crk are used as an adjusted parameter set C for an adjusted parameterized 3D rail model M 'and as an adjusted projection matrix T cr issued.
  • step 1.IVa If the quality criterion Q has not yet been achieved, what happens in FIG 3 is marked with "n”, then one returns to step 1.IVa and the adapted parameter set C k and the determined adapted projection matrix T crk are used to project the rail model M onto the activation map AK and the iteration is continued until the quality criterion Q is fulfilled in step 1.IVd.
  • an adjustment device 40 which has an input interface 41 for receiving image data BD from a surrounding area UB of a rail vehicle 1 (see FIG 7 ).
  • the image data BD includes one or more ST rail tracks (see FIG 6 ), which is provided by an image recording unit BA (in.) arranged on the rail vehicle 1 FIG 4 not shown).
  • the adjustment device 40 also includes a determination unit 42 for determining an activation card AK based on the captured image data BD.
  • Part of the adjustment device 40 is also an adjustment unit 43 for determining an adjusted, parameterized 3D rail model M '.
  • the adjusted parameterized 3D rail model M ' represents the pose P of the rail track ST relative to the image recording unit BA.
  • Adjusted parameter values C are assigned to the adjusted parameterized 3D rail model M'.
  • the adjusted, parameterized 3D rail model M' is determined by an iterative process, which is also referred to as "matching", whereby a parameterized 3D rail model M is compared with the determined activation map AK. For this comparison, a projection rule T cr, which is also automatically adjusted in this process, is required in order to project the compared rail model M onto the activation map AK.
  • FIG 5 is a schematic representation of the in FIG 4 illustrated adjustment unit 43 of the adjustment device 40 is shown.
  • the adjustment unit 43 includes a model determination unit 43a for receiving initial parameter values as candidate parameter values C 0 and an initial candidate projection matrix T cr0 , which, for example, from a control unit 3 of the rail vehicle 1 (see FIG 7 ) to determine a pose P of a rail track ST (see FIG 6 ) be used.
  • the thus specified parameterized 3D rail model M and the activation map AK are transmitted to a fusion unit 43b, which generates the specified parameterized 3D rail model M and the activation map AK by projection of the specified parameterized 3D rail model M on the activation map AK to form a combined activation map KAK.
  • the combined activation map KAK is transmitted to a deviation determination unit 43c, which determines a deviation L between apparent brightness values of the projected parameterized rail model M2D and the activation map AK on the basis of the combined activation map KAK.
  • an adaptation unit 43d determines adapted parameters C k and an adapted projection matrix T crk .
  • a quality unit 43e determines whether the variables C k , T crk determined by the adaptation unit 43d reach a quality criterion Q.
  • the determined adjusted parameter set C k and the determined adjusted projection matrix T crk are output as adjusted parameters C for an adjusted parameterized 3D rail model M 'and as an adjusted projection matrix T cr .
  • the adapted parameter set C k and the determined adapted projection matrix T crk are transmitted to the fusion unit 43b and used there to project the 3D rail model M parameterized with the adapted parameter set C k onto the activation card AK.
  • FIG 6 is a symbolic representation of the in FIG 1 to FIG 3 already illustrated method shown. Individual steps are shown in a sequence of symbolic image representations, with the sequence forming a chain that runs from the top left of the image to the right and then continues at the bottom left of the picture and also runs from left to right in the bottom row.
  • step 1.I Corresponding acquisition of image data BD from a visual area lying in front of a rail vehicle 1 in the direction of travel with rail tracks ST is shown.
  • step 1.IIa Corresponding determination of segmented image data SBD is illustrated based on edge detection in the captured image data BD. Furthermore, the segmented image data SBD is “blurred”, which corresponds to step 1.IIb (see FIG 2 ) corresponds and the activation card shown at the top right results in AK.
  • step 1.III a step in generating a parameterized rail model M based on candidate parameters C k is symbolized. This procedure corresponds to step 1.III (see FIG 1 ).
  • step 1.IVa an image projection based on a candidate projection matrix T rck is symbolized. This step corresponds to step 1.IVa (see FIG 3 ).
  • the bottom row below shows a combined activation map KAK, in which both the activation map AK based on the captured image data BD and the brightly displayed parameterized rail model M2D projected onto the activation map AK and crossing with a rail track ST are shown.
  • step 1.IV the step of minimizing a deviation L of the projected parameterized rail model M2D from the activation map AK is shown.
  • step 1.IV the step corresponds to step 1.IV (see FIG 1 ).
  • adjusted parameters C k are used, which are then used to determine an adjusted parameterized 3D rail model M, and an adjusted projection matrix T crk , which is used to re-project the parameterized 3D rail model M adapted by the adapted parameters C k onto the activation map AK, which is symbolized by corresponding backward-referencing arrows.
  • FIG 7 is a schematic representation of a rail vehicle 1 illustrated according to an embodiment of the invention.
  • the rail vehicle 1 moves in the direction of the arrow over a rail track ST.
  • the rail vehicle 1 includes an image recording unit BA for acquiring image data BD from a surrounding area UB of the rail vehicle 1.
  • the surrounding area UB includes a rail track ST lying in front of the rail vehicle 1.
  • Part of the rail vehicle 1 is also an adjustment device 40, as shown in FIG 4 and FIG 5 is illustrated in detail to determine an adjusted parameterized 3D rail model M'.
  • the adjustment device 40 transmits the adjusted, parameterized 3D rail model M 'with the adjusted parameter set C and the adjusted projection matrix T cr to a control unit 3, which, in order to control a journey of the rail vehicle 1, uses a pose of the rail track ST lying in front of the rail vehicle 1 on a basis of the adjusted parameterized 3D rail model M'.
  • Parameter values C 0 , T cr0 of a 3D rail model M to be adjusted, which is currently being used by the control unit 3, can also be transmitted to the adjustment device 40 in order to carry out an adjustment of these parameter values C 0 , T cr0 .
  • FIG 8 a schematic representation of an image-based activation map AK generated by smoothing is shown.
  • the activation map AK is only shown as a projection onto the x-axis.
  • an activation map AK is usually two-dimensional, that is, it has xy coordinates for the individual activation points on.
  • discrete activation values AW are represented by rectangular bars at the positions where rail tracks ST are present.
  • the squares of the differences between the activation values AW of the rail strands ST and the activation values AW' of the projected parameterized model M2D do not change.
  • the value of the sum of the squares of the differences between the activation values AW of the rail tracks ST and the activation values AW' of the projected parameterized model M2D remains at the value 4.
  • the Newton method is only intended here for the sake of simple illustration, for example as a representative of approximation methods for functions with multi-dimensional arguments or multi-dimensional functions, such as this Gauss-Newton method or other approximation methods mentioned above in the text can be selected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Es wird ein Verfahren zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells (M') beschrieben. Das Verfahren umfasst das Erfassen von Bilddaten (BD) von einem Umgebungsbereich (UB) eines Schienenfahrzeugs (1), welcher einen Schienenstrang (ST) umfasst, durch eine an dem Schienenfahrzeug (1) angeordnete Bildaufnahmeeinheit (BA). Auf Basis der erfassten Bilddaten (BD) wird eine Aktivierungskarte (AK) ermittelt. Schließlich wird das adjustierte parametrisierte 3D-Schienenmodell (M'), welches die Pose (P) des Schienenstrangs (ST) relativ zur Bildaufnahmeeinheit (BA) wiedergibt, auf Basis eines Vergleichs eines parametrisierten 3D-Schienenmodells (M) mit der ermittelten Aktivierungskarte (AK) ermittelt. Es wird auch eine Justage-Einrichtung (40) beschrieben. Weiterhin wird ein Schienenfahrzeug (1) beschrieben.

Description

  • Die Erfindung betrifft ein Verfahren zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells. Bei dem Verfahren werden Bilddaten von einem Umgebungsbereich eines Schienenfahrzeugs durch eine an dem Schienenfahrzeug angeordnete Bildaufnahmeeinheit aufgenommen. Der Umgebungsbereich umfasst einen Schienenstrang. Weiterhin betrifft die Erfindung eine Justage-Einrichtung. Die Justage-Einrichtung umfasst eine Eingangsschnittstelle zum Empfangen von Bilddaten von einem Umgebungsbereich eines Schienenfahrzeugs, welcher einen Schienenstrang umfasst, von einer an dem Schienenfahrzeug angeordneten Bildaufnahmeeinheit. Überdies betrifft die Erfindung ein Schienenfahrzeug.
  • Automatisierte und fahrerlose Zugsysteme werden benötigt, um Objekte entlang einer Schienenstrecke zu erkennen und zu unterscheiden, ob es sich bei diesen Objekten um unbedeutende Infrastrukturanlagen neben dem Gleis oder um gefährliche Hindernisse innerhalb des Lichtraumprofils handelt. Darüber hinaus können lokalisierte Anlagen neben dem Gleis in einen kontinuierlichen Kartierungsansatz integriert werden, um aktualisierte Karten der Eisenbahninfrastruktur abzurufen. Der Einsatz von Kameras für solche Objekterfassungs- und -erkennungsaufgaben ist weit verbreitet. In letzter Zeit haben verschiedene auf maschinellem Lernen basierende Anwendungen mit ihrer überzeugenden Leistung an Popularität gewonnen.
  • Grundsätzlich gibt es drei unterschiedliche Möglichkeiten, einen Schienenstrang zu erkennen. Eine erste Möglichkeit besteht darin, den Schienenstrang in dem zur Objekterkennung verwendeten Bildsensor zu erkennen. Somit wird das System unabhängig von einer Kalibrierung (in Bezug auf einen Hilfssensor) gehalten und es wird vermieden, dass zusätzliche systembedingte Fehler auftreten. Bei bildbasierten Ansätzen wird ein Schienenverlauf durch eine Vielzahl von Kantenfiltermethoden oder Methoden des maschinellen Lernens (z. B. panoptische Segmentierung mit KI-basierten Methoden) erkannt. Postprocessing-Ansätze werden angewendet, um die Darstellung und Lokalisierung des Gleisverlaufs zu verbessern oder sogar den Abstand von Objekten auf dem Gleis in Bezug auf die Kamera zu ermitteln. Es gibt Methoden mit Fluchtpunkten oder Hough-Transformation, die auf gerade Schienenverläufe beschränkt sind. Bei anderen Methoden werden nichtlineare Funktionen verwendet, um gekrümmte Schienenformen anzunähern. Die bekannte Spurweite wird verwendet, um auf die Entfernung eines Objekts innerhalb des Lichtraumprofils zu schließen, falls die Gleiserkennung unterbrochen ist. Im Allgemeinen werden bei den zuvor beschriebenen Verfahren weder die Lage der Gleise noch die genauen Abmessungen der Gleise ermittelt. Es wird davon ausgegangen, dass linienartige Merkmale die Gleise darstellen, und die Ergebnisse werden nicht mit einem generativen Gleismodell auf Plausibilität überprüft.
  • Eine zweite Möglichkeit betrifft das Hinzufügen einer Hilfskamera oder eines Entfernungssensors (Lidar), um die Gleise zu extrahieren. Lidar-basierte Methoden filtern die Grundebene und die verbleibenden Lidar-Punkte werden verwendet, um Schienenmodelle anzupassen. Zum Beispiel passen sogenannte Markov-Ketten-Monte-Carlo-Methoden (abgekürzt mit dem Akronym MCMC) ein Schienenprofilmodell in die durch das Lidar erzeugte Punktwolke ein und die aufeinanderfolgenden Übereinstimmungen werden verwendet, um den gekrümmten Verlauf des Gleises mit einer Interpolation dritter Ordnung zu erhalten.
  • Eine dritte Möglichkeit könnte die Erweiterung mit einem Trägheitsnavigationssystem, auch als INS bezeichnet (INS ist ein Akronym für "inertial navigation system"), sein. Das INS liefert die Pose eines Sensorsystems innerhalb einer genauen Karte. Somit kann direkt auf den Gleisverlauf vor dem Zug geschlossen werden. Die Verwendung zusätzlicher Sensoren ist allerdings fehleranfälliger und erfordert eine anspruchsvolle a-priori-Kalibrierung des Sensorsystems. Eine genaue Karte ist eine entscheidende Voraussetzung für INS-basierte Verfahren. Die Kartenerstellung ist teuer und mühsam und die Karte kann schnell veraltet sein.
  • Es besteht also die Aufgabe, eine zuverlässige Detektion eines Schienenverlaufs mit möglichst geringem Aufwand, was die Anordnung zur Erfassung der Umgebung als auch den Rechenaufwand betrifft, anzugeben.
  • Diese Aufgabe wird durch ein Verfahren zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells gemäß Patentanspruch 1, eine Justage-Einrichtung gemäß Patentanspruch 12 und ein Schienenfahrzeug gemäß Patentanspruch 13 gelöst.
  • Bei dem erfindungsgemäßen Verfahren zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells wird auf Basis der eingangs erwähnten, von einer Bildaufnahmeeinheit eines Schienenfahrzeugs von einem Schienenstrang in der Umgebung des Schienenfahrzeugs erfassten Bilddaten eine Aktivierungskarte erfasst. Als Bilddaten sollen in diesem Zusammenhang zweidimensionale Bilddaten von der Umgebung des Schienenfahrzeugs verstanden werden, die die dreidimensionale Umgebung abbilden.
  • Unter einem parametrisierten 3D-Schienenmodell ist ein Schienenmodell zu verstehen, welches die Pose eines oder mehrerer Schienenstränge relativ zur Bildaufnahmeeinheit des Schienenfahrzeugs angibt. Als Pose ist die Orientierung sowie die Relativposition des Schienenstrangs und insbesondere eines Abschnitts eines solchen Schienenstrangs relativ zur Bildaufnahmeeinheit des Schienenfahrzeugs zu verstehen. Das parametrisierte 3D-Schienenmodell umfasst einen Parametersatz, welcher eine Anpassung einer Grundform eines 3D-Schienenmodells an einen realen Verlauf eines Schienenstrangs ermöglicht.
  • Die Umgebung des Schienenfahrzeugs umfasst insbesondere die Bereiche, welche in Fahrtrichtung im Lichtraumprofil des Schienenfahrzeugs und darum herum liegen und daher für die Fahrt des Schienenfahrzeugs von besonderem Interesse sind.
  • Eine Aktivierungskarte umfasst eine Merkmalskarte, bei der Merkmale, welche aus Bilddaten extrahiert werden, dargestellt werden. Tatsächlich kommt der Begriff Aktivierungskarte aus der KI (KI ist ein Akronym für künstliche Intelligenz). Dort wird die Ausgabe eines Netzwerks oft in Anlehnung an die Neuronen, die bestimmte Ausgänge aktivieren, als Aktivierung bezeichnet. Daher kann man die Ausgabe eines Netzwerks als Aktvierungskarte bezeichnen.
  • Im Zusammenhang mit der Erfindung umfassen die oben genannten Merkmale vorzugsweise Kantendaten oder Umrissdaten von in den Bilddaten vorhandenen Objekten. Zur Generierung der Aktivierungskarte können auch KI-basierte Segmentierungsverfahren, auch als panoptische Segmentierungsverfahren bezeichnet, eingesetzt werden. Dabei kodiert vorzugsweise ein Pixel mit einer vorbestimmten scheinbaren Helligkeit, auch Intensität bezeichnet, eine Wahrscheinlichkeit, dass an dieser Stelle ein Schienenstrang verläuft. Ein solcher Pixel wird im Folgenden auch als Aktivierungspunkt bezeichnet.
  • Weiterhin wird das adjustierte parametrisierte 3D-Schienenmodell, dass die Pose des Schienenstrangs relativ zur Bildaufnahmeeinheit wiedergibt, durch einen Vergleich eines parametrisierten 3D-Schienenmodells mit der ermittelten Aktivierungskarte ermittelt. Das parametrisierte 3D-Schienenmodell wird auf Basis des Vergleichs bildlich gesprochen an die Aktivierungskarte angepasst. Hierzu erfolgt zunächst eine Fusion des parametrisierten 3D-Schienenmodells einer zweidimensionalen Repräsentation des parametrisierten 3D-Schienenmodell mit der Aktivierungskarte. Bei der Anpassung werden sowohl ein Modell für das Abbildungsverhalten der Bildaufnahmeeinheit und deren Pose relativ zum Bildbereich als auch das parametrisierte 3D-Schienenmodell so angepasst, dass sie in Einklang mit der Aktivierungskarte zu bringen sind. D.h., die in der Aktivierungskarte dargestellten Strukturen bilden eine Art Vorgabe, an die die zweidimensionale Repräsentation des parametrisierten 3D-Schienenmodells angepasst wird.
  • Vorteilhaft wird nur eine einzige Bildaufnahmeeinheit benötigt, um die Pose eines Schienenstrangs zu ermitteln. Durch die Nutzung eines generalisierten 3D-Schienengeometriemodells als parametrisiertes 3D-Schienenmodell kann der erfindungsgemäße Ansatz so verallgemeinert werden, dass auch Übergangskurven, wie zum Beispiel Klothoiden, und auch Weichen oder mehrere parallele Schienenstränge detektiert bzw. einbezogen werden können.
  • Die Ermittlung der adjustierten Parameter des Schienenmodells und der Schienenpose ermöglichen es, das Detektionsergebnis des Schienenstrangs semantisch zu prüfen. Weichen die Parameter oder die Schienenpose deutlich von erwarteten Ergebnissen ab, so handelt es sich wahrscheinlich nicht um Schienen.
  • Das erfindungsgemäße Verfahren bewältigt auch spärliche Segmentierungsergebnisse oder eine nicht eindeutige Kantendetektion. Es ist robust gegen fehlende Kantenmerkmale und verrauschte Aktivierungskarten.
  • Mit dem erfindungsgemäßen Verfahren wird ein Schienenmodell adjustiert, mit dem die Pose eines Schienenstrangs relativ zu einer Kamera exakt ermittelt werden kann. Da eine Kamera meist an einem Wagenkasten eines Schienenfahrzeugs montiert ist und das Drehgestell des Schienenfahrzeugs und sein Wagenkasten nicht fest miteinander verbunden sind, gibt es keine konstante extrinsische Kalibration der Kamera mit den Schienen. Daher muss die extrinsische Kameraorientierung bezüglich der Schienen aktualisiert werden. Mithin kann das Ergebnis der erfindungsgemäßen Justierung zusätzlich für andere Anwendungen genutzt werden.
  • Solche Anwendungen betreffen die Ermittlung der Orientierung des Wagenkastens zum Gleiskörper mittels hochgenauer Karte und GNSS (ein Akronym für global navigation satellite system = globales Satellitennavigationssystem) und INS (INS steht für "inertial navigation system"). Eine Zusatzinformation anhand der Kamera könnte hier hilfreich sein.
  • Die erfindungsgemäße Justage-Einrichtung weist neben der eingangs erwähnten Eingangsschnittstelle zum Empfangen von Bilddaten von einem Umgebungsbereich eines Schienenfahrzeugs auch eine Ermittlungseinheit zum Ermitteln einer Aktivierungskarte auf Basis der erfassten Bilddaten auf.
  • Weiterhin umfasst die erfindungsgemäße Justage-Einrichtung eine Justage-Einheit zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells, welches die Pose des Schienenstrangs relativ zur Bildaufnahmeeinheit wiedergibt, durch einen Vergleich des parametrisierten 3D-Schienenmodells mit der ermittelten Aktivierungskarte.
  • Die erfindungsgemäße Justage-Einrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Ermitteln eines adjustierten 3D-Schienenmodells.
  • Das erfindungsgemäße Schienenfahrzeug, weist eine Bildaufnahmeeinheit zum Akquirieren von Bilddaten von einem Umgebungsbereich des Schienenfahrzeugs, welcher einen Schienenstrang umfasst, auf.
  • Teil des erfindungsgemäßen Schienenfahrzeugs ist auch eine erfindungsgemäße Justage-Einrichtung zur Ermittlung eines adjustierten parametrisierten 3D-Schienenmodells.
  • Das erfindungsgemäße Schienenfahrzeug weist auch eine Steuereinheit zur Steuerung einer Fahrt des Schienenfahrzeugs auf Basis des adjustierten parametrisierten 3D-Schienenmodells auf. Die Steuereinheit umfasst bevorzugt die erfindungsgemäße Justage-Einrichtung. Die Justage-Einrichtung kann aber auch separat zu der Steuereinheit ausgebildet sein und mit dieser zusammenwirken. Das erfindungsgemäße Schienenfahrzeug teil die Vorteile der erfindungsgemäßen Justage-Einrichtung.
  • Ein Großteil der zuvor genannten Komponenten der Justage-Einrichtung können ganz oder teilweise in Form von Softwaremodulen in einem Prozessor eines entsprechenden Rechensystems realisiert werden, z.B. von einer Steuereinheit eines Schienenfahrzeugs. Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Rechensysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in ein Rechensystem ladbar ist, mit Programmabschnitten, um die Schritte des erfindungsgemäßen Verfahrens, zumindest die durch einen Computer ausführbaren Schritte, insbesondere die Schritte zum Ermitteln einer Aktivierungskarte auf Basis der erfassten Bilddaten und zum Ermitteln des adjustierten parametrisierten 3D-Schienenmodells, auszuführen, wenn das Programm in dem Rechensystem ausgeführt wird. Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z. B. eine Dokumentation, und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
  • Zum Transport zum Rechensystem bzw. zur Steuereinheit und/oder zur Speicherung an oder in dem Rechensystem bzw. der Steuereinheit kann ein computerlesbares Medium, z.B. ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einem Rechensystem einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Das Rechensystem kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.
  • Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
  • In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells umfasst das Ermitteln des adjustierten parametrisierten 3D-Schienenmodells:
    1. i) das Projizieren eines durch Kandidaten-Parameterwerte parametrisierten 3D-Schienenmodells auf die Aktivierungskarte auf Basis einer Kandidaten-Projektionsvorschrift, und
    2. ii) das Ermitteln von angepassten Parameterwerten des parametrisierten 3D-Schienenmodells und/oder einer angepassten Projektionsvorschrift auf Basis des Vergleichs des projizierten parametrisierten Schienenmodells mit der Aktivierungskarte.
  • Durch die Projektion wird die Fusion der zweidimensionalen Repräsentation des mit Kandidaten-Parameterwerten parametrisierten 3D-Schienenmodells mit der Aktivierungskarte erzielt. Die Kandidaten-Parameterwerte stellen vorbestimmte initiale Parameterwerte dar, mit denen das 3D-Schienenmodell parametrisiert wird. Vorzugsweise umfassen die Kandidaten-Parameterwerte die aktuellen Parameterwerte des 3D-Schienenmodells bzw. die Parameterwerte des 3D-Schienenmodells, die bei der letzten Justage ermittelt wurden und seitdem für die Detektion der Pose eines detektierten Schienenstrangs verwendet werden. Die angepassten Parameterwerte und die angepasste Projektionsvorschrift können als adjustierte Parameterwerte und als adjustierte Projektionsvorschrift verwendet werden.
  • Bevorzugt umfasst das Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells das Durchführen eines iterativen Näherungsverfahrens, wobei die Schritte i) und ii) wiederholt werden und bei einer Wiederholung die bei Schritt ii) ermittelten angepassten Parameterwerte bei Schritt i) als Kandidaten-Parameterwerte verwendet werden und/oder die bei dem Schritt ii) ermittelte angepasste Projektionsvorschrift bei Schritt i) als Kandidaten-Projektionsvorschrift verwendet wird. Vorteilhaft kann eine schrittweise Anpassung des parametrisierten 3D-Schienenmodells und seiner Projektion auf die Bilddaten erfolgen, wobei die Präzision der angepassten Parameterwerte und der angepassten Projektionsvorschrift bei jedem Iterationsdurchgang erhöht wird.
  • Bevorzugt umfasst der Vergleich das Ermitteln mindestens einer der folgenden Größen:
    • eine Abweichung des projizierten Schienenmodells von der Aktivierungskarte,
    • eine Korrelation zwischen dem projizierten parametrisierten Schienenmodell mit der Aktivierungskarte.
  • Als Abweichung des projizierten parametrisierten Schienenmodells von der Aktivierungskarte soll eine Differenz zwischen Aktivierungswerten von Aktivierungspunkten des auf die Aktivierungskarte projizierten parametrisierten Schienenmodells und Aktivierungswerten von Aktivierungspunkten der Aktivierungskarte, welche bildbasiert, d.h. auf Basis der erfassten Bilddaten erzeugt wurden, verstanden werden. Als Differenz zwischen den einzelnen Aktivierungspunkten soll insbesondere eine Differenz zwischen den Aktivierungswerten, vorzugsweise den Intensitätswerten, d.h. der scheinbaren Helligkeit, der einzelnen Punkten des projizierten parametrisierten Schienenmodells und der jeweils an derselben Position vorhandenen Punkte bzw. Aktivierungspunkte, der bildbasiert erzeugten Aktivierungskarte verstanden werden. Anschaulich gesprochen wird also ermittelt, ob das Schienenmodell zu den bildbasiert als Schienen identifizierten Strukturen passt bzw. diese auf der Aktivierungskarte überdeckt.
  • Die Aktivierungswerte der einzelnen Punkte des Schienenmodells werden vorzugsweise so festgelegt, dass sie immer 100 % (oder 1) betragen, während die Aktivierungswerte der bildbasiert ermittelten Aktivierungspunkte der Aktivierungskarte, also der durch Segmentierung oder einen Kantenfilter ermittelten Aktivierungspunkte weniger als der Wert 1 bzw. maximal den Wert 1 betragen. Die einzelnen Punkte des Schienenmodells können als eindeutig angesehen werden und daher mit dem Wert 1 belegt werden, während für die bildbasiert, beispielsweise durch ein KI-basiertes Segmentierungsmodell ermittelten "Schienenpunkte" der Aktivierungskarte nur eine gewisse Wahrscheinlichkeit <= 1 besteht, dass sie auch Teil der Schienen sind. Die Differenz wird minimiert über die Anpassung der Schienenparameter. D.h. es wird ein Parametersatz für das 3D-Schienenmodell gesucht, bei dem die Summe der Differenzen zwischen den Aktivierungswerten der bildbasiert erzeugten Aktivierungspunkte und den Aktivierungswerten, der jeweils an derselben Position vorhandenen modellbasiert erzeugten Aktivierungspunkte minimal ist. Vorteilhaft kann die ermittelte Abweichung dazu genutzt werden, das 3D-Schienenmodell an den tatsächlichen Verlauf der Schienen anzupassen. Die dabei schrittweise angepassten Parameter bzw. Modellparameter können in den nächsten Iterationsschritt des Justage-Verfahrens eingehen, um die Abweichung zu reduzieren und damit das Ergebnis der Justage schrittweise zu verbessern.
  • Alternativ kann anstatt der oben beschriebenen Minimierung der Differenz zwischen den bildbasiert erzeugten Aktivierungspunkten und den modellbasiert erzeugten Aktivierungspunkten auch eine Maximierung der Summe der Aktivierungswerte der bildbasiert erzeugten Aktivierungspunkte und der Aktivierungswerte der modellbasiert erzeugten Aktivierungspunkte erfolgen.
  • Insbesondere soll eine solche Abweichung einen sogenannten "matching loss" umfassen. Eine Verlustfunktion (im Englischen "loss function") ist eine spezielle Funktion in der mathematischen Statistik und Teil eines statistischen Entscheidungsproblems. Sie ordnet jeder Entscheidung in Form einer Punktschätzung, einer Bereichsschätzung oder eines Tests den Schaden zu, der durch eine vom wahren Parameter abweichende Entscheidung entsteht.
  • Die Korrelation repräsentiert einen Zusammenhang zwischen dem Verlauf des projizierten parametrisierten Schienenmodells und Strukturen in der Aktivierungskarte.
  • Bevorzugt weist der Vergleich eine Ermittlung eines Minimums der Abweichung zwischen dem projizierten parametrisierten Schienenmodell und der Aktivierungskarte auf, wenn sie bildlich gesprochen übereinandergelegt werden. D.h., die Parameterwerte des parametrisierten Schienenmodells und/oder der Projektionsvorschrift werden derart ermittelt, dass bei deren Anwendung die Abweichung des parametrisierten Schienenmodells von Strukturen der bildbasiert erzeugten Aktivierungskarte minimal ist. Vorteilhaft wird ein optimales Justage-Ergebnis durch die Ermittlung des Minimums erreicht.
  • Bevorzugt umfasst die ermittelte Abweichung eine Abweichung zwischen scheinbaren Helligkeitswerten des projizierten parametrisierten Schienenmodells und der bildbasiert erzeugten Aktivierungspunkte der Aktivierungskarte an jeweils derselben Position in der Aktivierungskarte. Die scheinbaren Helligkeitswerte geben eine Wahrscheinlichkeit dafür an, dass an einer Position in der Aktivierungskarte ein Schienenstrang verläuft. Vorteilhaft erfolgt die Adaption des projizierten parametrisierten Schienenmodells derart, dass es dort in der Aktivierungskarte positioniert wird, wo die Wahrscheinlichkeit einer Lokalisation eines Schienenstrangs am höchsten ist.
  • Bevorzugt weist die Abweichung die Summe der Quadrate der Differenzen zwischen Aktivierungswerten von Aktivierungspunkten des projizierten parametrisierten Schienenmodells und Werten von Aktivierungspunkten der Aktivierungskarte an jeweils derselben Stelle auf. Die Intensitätswerte des projizierten Schienenmodells beziehen sich auf Intensitätswerte von Abtastpunkten bei einer "virtuellen" Abtastung der Umgebung eines Schienenfahrzeugs durch einen abtastenden Sensor, wie zum Beispiel ein Lidarsystem. Die Werte der Aktivierungspunkte beziehen sich vorzugsweise ebenfalls auf Intensitätswerte oder Dichtewerte der bildbasierten Aktivierungspunkte. Die Intensitätswerte oder Dichtewerte geben eine aus der Objektdetektion abgeleitete Wahrscheinlichkeit dafür an, dass an einer Position ein vordefiniertes Objekt, in diesem Fall ein Schienenstrang verläuft. Vorteilhaft erfolgt bei der Ermittlung der Abweichung das Aufaddieren der Fehler bzw. Abweichungen zwischen dem projizierten parametrisierten Schienenmodell und Aktivierungen der Aktivierungskarte, so dass die Abweichung den gesamten Verlauf des Schienenmodells in der Aktivierungskarte berücksichtigt.
  • Besonders bevorzugt wird auf Basis des projizierten parametrisierten Schienenmodells und der bildbasiert erzeugten Aktivierungskarte durch Projektion des Schienenmodells auf die bildbasiert erzeugte Aktivierungskarte eine kombinierte Aktivierungskarte erzeugt. Dann erfolgt der Vergleich zwischen Aktivierungswerten von modellbasiert erzeugten Aktivierungspunkten und von Aktivierungswerten von jeweils an derselben Stelle bildbasiert erzeugten Aktivierungspunkten auf der kombinierten Aktivierungskarte.
  • Bevorzugt erfolgt das Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells mit einer Methode der lokalen nichtlinearen Optimierung zur Berechnung der Parameter des adjustierten parametrisierten 3D-Schienenmodells und der Parameter einer exakten Projektion des adjustierten parametrisierten 3D-Schienenmodells auf die erfassten Bilddaten. Mit Hilfe solcher in der Regel iterativer Näherungsverfahren wird in jedem Schritt ein exakteres parametrisiertes 3D-Schienenmodell und eine exaktere Projektion ermittelt, welche dann eine Basis für das parametrisierte 3D-Schienenmodell und die Projektion im nächsten Schritt bildet. Beispiele für Optimierungsverfahren dieser Kategorie sind der Downhill-Simplex-Algorithmus, das Gauss-Newton-Verfahren oder der Levenberg-Marquardt-Algorithmus.
  • Die Projektionsparameter umfassen als Parameter unter anderem die Rotation, die Translation oder die Brennweite und das optische Zentrum, und weisen daher eine unterschiedliche Skalierung auf. Für eine effiziente und robuste Optimierung ist es notwendig, die Größenordnungen dieser Parameter anzugleichen.
  • Bevorzugt weist das parametrisierte 3D-Schienenmodell mindestens eines der folgenden Merkmale auf:
    • 3D-Punkte, welche entlang eines Schienenkopfes des Schienenstrangs mit einer vorbestimmten Abtastdichte angeordnet sind,
    • eine vorbestimmte parametrisierbare Grundform.
  • Anders ausgedrückt, werden durch das parametrisierte 3D-Schienenmodell 3D-Punkte entlang des Schienenkopfes generiert. Diese 3D-Punkte können dann für eine Justage auf die Aktivierungskarte projiziert werden und nach der Projektion auf die Aktivierungskarte den darin angeordneten Aktivierungspunkten abgeglichen werden.
  • Umfasst das 3D-Schienenmodell eine vorbestimmte parametrisierbare Grundform, so wird die Anpassung des 3D-Schienenmodells an einen realen Schienenverlauf durch eine geeignete Wahl der Parameterwerte ermöglicht.
  • Bevorzugt umfasst die Grundform die Form einer der folgenden Objekte:
    • eine Klothoide,
    • eine Verzweigung,
    • parallele Geraden.
  • Eine Klothoide, auch als Euler-Spirale bezeichnet, kann eine Schienenübergangskurve modellieren. Eine Abtastdichte ist zum Beispiel von der Entfernung und der Pose eines Schienenstrangs relativ zur Bildaufnahmeeinheit abhängig. Prinzipiell kann man die Abtastdichte so wählen, dass diese mit dem Abstand größer wird, so dass der perspektivischen Abbildung Rechnung getragen wird.
  • Eine Grundform einer Verzweigung kann für die Modellierung unterschiedlicher Arten der Abzweigung, wie zum Beispiel eine Kreuzung oder eine Weiche genutzt werden.
  • Parallele Geraden können für die Modellierung gerade verlaufender Schienen genutzt werden.
  • Bevorzugt wird die Aktivierungskarte durch eine Segmentierung der Bilddaten ermittelt. Anders ausgedrückt werden auf Basis der erfassten Bilddaten segmentierte Bilddaten ermittelt und die Aktivierungskarte wird auf Basis der segmentierten Bilddaten ermittelt. Eine Segmentierung umfasst eine Einteilung der Bilddaten in Teilbereiche, welche einer Klassifizierung zugeordnet sind. Eine Segmentierung kann eine panoptische Segmentierung umfassen. Eine Klassifizierung einer panoptischen Segmentierung kann zum Beispiel Pixel der Bilddaten, welche zu Personen oder Objekten im Vordergrund der Umgebung eines Fahrzeugs gehören, von Pixeln, die den Hintergrund markieren, unterscheiden. Segmentierung erfolgt vorzugsweise durch ein KI-basiertes Segmentierungsverfahren, wobei jedem Punkt der Bilddaten ein Wahrscheinlichkeitswert zugeordnet wird, dass dieser Punkt Teil eines Schienenstrangs ist. Dieser Wahrscheinlichkeitswert kann bei dem oben genannten Vergleich als Aktivierungswert genutzt werden.
  • Die Segmentierung weist vorzugsweise eine Kantendetektion in den Bilddaten auf. Eine Kantendetektion kann zum Beispiel durch ein Sobelfilter realisiert werden.
  • Die Aktivierungskarte wird bevorzugt durch eine Glättung der segmentierten Bilddaten ermittelt. Unter einer Glättung, auch als Verwischen oder unscharf machen, im Englischen "blurring", bezeichnet, ist eine, vorzugsweise auf einer Anwendung einer statistischen Funktion basierende Verbreiterung der Verteilung der Aktivierungspunkte über die Aktivierungskarte zu verstehen. Die Glättung erfolgt vorzugsweise durch Anwendung eines Gauss-Kernels auf die segmentierten Bilddaten. Vorteilhaft kann eine solche mehr stetige Verteilung der Aktivierungspunkte effektiver für ein Näherungsverfahren genutzt werden, da die Näherung schrittweise von der Peripherie einer solchen Verteilung zum Zentrum hin erfolgen kann. Anders ausgedrückt gibt die stetige Verteilung dem Näherungsverfahren eine Orientierung, in welche Richtung das Schienenmodell an die bildbasierten Aktivierungspunkte angepasst werden kann. Bei einer nur diskreten bzw. linienartigen, auf einen Bruchteil des Gesamtgebiets beschränkten Verteilung der bildbasierten Aktivierungspunkte kann es zu Problemen bei der Berechnung von Näherungswerten kommen.
  • Bevorzugt umfasst die Bildaufnahmeeinheit eine der folgenden Sensorarten:
    • eine Bildkamera,
    • eine optische Bildkamera,
    • eine Infrarotkamera.
  • Bevorzugt umfasst die Bildaufnahmeeinheit eine durch Intertialsensoren stabilisierte Bildaufnahmeeinheit, vorzugsweise eine MEMS-basierte Bildaufnahmeeinheit. MEMS-basierte Bildaufnahmeeinheiten umfassen Inertialsensoren, d.h. Beschleunigungs- und Drehsensoren sowie mikromechanische Systeme bzw. Bauelemente zur Stabilisierung einer Bildaufnahmeeinheit. Sie werden zur Lageerkennung eingesetzt. Werden für die Steuerung der Pose der Bildaufnahmeeinheit mikroelektronische Bauelemente eingesetzt, so ergibt sich aufgrund einer ständigen Ausgleichsbewegung der Stabilisatoren eine ständige Veränderung der Pose der Bildaufnahmeeinheit zum Schienenfahrzeug und auch zum Schienenstrang. Vorteilhaft kann die erfindungsgemäße Justage die dynamischen Veränderungen der Pose der Bildaufnahmeeinheit ausgleichen.
  • Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
    • FIG 1 ein Flussdiagramm, welches ein Verfahren zum Ermitteln eines adjustierten 3D-Schienenmodells gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
    • FIG 2 ein Flussdiagramm, welches den in FIG 1 veranschaulichten Schritt 1.II zum Ermitteln einer Aktivierungskarte im Detail veranschaulicht,
    • FIG 3 ein Flussdiagramm, welches den in FIG 1 gezeigten Schritt 1.IV zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells im Detail veranschaulicht,
    • FIG 4 eine schematische Darstellung einer Justage-Einrichtung gemäß einem Ausführungsbeispiel der Erfindung,
    • FIG 5 eine schematische Darstellung der Justage-Einheit der in FIG 4 veranschaulichten Justage-Einrichtung gemäß einem Ausführungsbeispiel der Erfindung,
    • FIG 6 eine symbolhafte Darstellung des in FIG 1 bis FIG 3 veranschaulichten Verfahrens,
    • FIG 7 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung,
    • FIG 8 eine schematische Darstellung einer durch Glättung erzeugten bildbasierten Aktivierungskarte.
  • In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Verfahren zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells M' gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
  • Bei dem Schritt 1.I werden mit einer Bildaufnahmeeinheit BA Bilddaten BD von einem Umgebungsbereich UB eines Schienenfahrzeugs 1 (siehe FIG 7) erfasst. Die Bilddaten BD umfassen einen Schienenstrang ST oder auch mehrere Schienenstränge ST (siehe FIG 6), der bzw. die sich im Sichtbereich einer Bildaufnahmeeinheit BA des Schienenfahrzeugs 1 befindet bzw. befinden.
  • Bei dem Schritt 1.II wird eine Aktivierungskarte AK auf Basis der erfassten Bilddaten BD ermittelt. Details zur Ermittlung der Aktivierungskarte werden in FIG 2 veranschaulicht.
  • Bei dem Schritt 1.III wird ein parametrisiertes 3D-Schienenmodell M mit einem zu adjustierenden Parametersatz C0 und einer zu adjustierenden Projektionsvorschrift Tcr0 ermittelt. Die genannten zu adjustierenden Daten können zum Beispiel von einer Steuereinheit 3 des Schienenfahrzeugs 1 (siehe FIG 7) stammen, die mit diesen Daten die Bilddaten BD von der Bildaufnahmeeinheit BA verarbeitet, um eine Pose P der vor dem Schienenfahrzeug 1 liegenden Schienen zu ermitteln.
  • Bei dem Schritt 1.IV erfolgt ein Optimierungsschritt, bei dem eine Abweichung L des auf Basis der Projektionsvorschrift Tcr0 in die Aktivierungskarte AK projizierten, parametrisierten Schienenmodells M2D von der Aktivierungskarte AK ermittelt wird und mit Hilfe eines Iterationsverfahrens minimiert wird. Als Ergebnis werden ein adjustierter Parametersatz C und eine adjustierte Projektionsvorschrift Tcr ermittelt.
  • Bei dem Schritt 1.V werden der adjustierte Parametersatz C für ein adjustiertes parametrisiertes 3D-Schienenmodell M' und die adjustierte Projektionsvorschrift Tcr für die anschließende Ermittlung der Pose P des vor dem Schienenfahrzeug 1 verlaufenden Schienenstrangs ST eingesetzt.
  • In FIG 2 ist ein Flussdiagramm, welches den in FIG 1 veranschaulichten Schritt 1.II zum Ermitteln einer Aktivierungskarte AK im Detail veranschaulicht.
  • Bei dem Schritt 1.IIa werden die erfassten Bilddaten BD dazu genutzt, segmentierte Bilddaten SBD zu erzeugen. Die segmentierten Bilddaten SBD werden mit einem Kantenfilter erzeugt, der auf Basis von Unterschieden der Helligkeit Kanten erkennt und damit Objektumrisse sichtbar macht. Weiterhin kann die Segmentierung auf Basis eines KI-basierten Klassifikationsmodells erfolgen.
  • Bei dem Schritt 1.IIb wird eine Aktivierungskarte AK erzeugt, wobei die segmentierten Bilddaten SBD durch Anwendung eines Gauss-Kernels GK gewissermaßen geglättet bzw. unscharf gemacht, so dass sie eine gewisse Stetigkeit mit kontinuierlichen Übergängen der Helligkeit aufweisen und so besser für eine Anwendung eines Optimierungsverfahrens geeignet sind.
  • In FIG 3 ist ein Flussdiagramm gezeigt, welches den in FIG 1 gezeigten Schritt 1.IV zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells M' im Detail veranschaulicht. Hierzu wird zur Optimierung ein iteratives Näherungsverfahren angewandt. Eine Variante zur Ermittlung der oben genannten Abweichung L, und damit einer Fehlerfunktion, umfasst die Methode der Ermittlung der kleinsten Quadrate.
  • Allgemein gesprochen, ist der Schritt des Ermittelns eines adjustierten parametrisierten 3D-Schienenmodells M' mit einer Methode der lokalen nichtlinearen Optimierung zur Berechnung der Parameter C des adjustierten parametrisierten 3D-Schienenmodells M' und der Parameter einer exakten Projektion TCR des adjustierten parametrisierten 3D-Schienenmodells M' auf die erfassten Bilddaten BD verbunden. Mit Hilfe solcher in der Regel iterativer Näherungsverfahren wird in jedem Schritt ein exakteres parametrisiertes 3D-Schienenmodell und eine exaktere Projektion ermittelt, welche dann eine Basis für das parametrisierte 3D-Schienenmodell und die Projektion im nächsten Schritt bilden. Beispiele für Optimierungsverfahren dieser Kategorie sind der Downhill-Simplex-Algorithmus, das Gauss-Newton-Verfahren oder der Levenberg-Marquardt-Algorithmus.
  • Einige dieser Verfahren verlangen nach der 1. oder auch 2. Ableitung der Loss-Funktion hinsichtlich der gesuchten Parameter. In diesem Fall kann die ermittelte Jakobi-Matrix als Qualitätskriterium für die ermittelten Parameter genutzt werden. Die Projektionsparameter umfassen als Parameter unter anderem die Rotation, die Translation oder die Brennweite und das optische Zentrum, und weisen daher eine unterschiedliche Skalierung auf. Für eine effiziente und robuste Optimierung ist es notwendig, die Größenordnungen dieser Parameter anzugleichen.
  • Bei dem Schritt 1.IVa erfolgt ein Projizieren des bei dem Schritt 1.III ermittelten parametrisierten 3D-Schienenstrangmodells M mit dem zu adjustierenden Parametersatz C0 und der zu adjustierenden Projektionsvorschrift Tcr0 auf die erfassten Bilddaten BD. Dabei wird eine auch als projiziertes parametrisiertes Schienenmodell bezeichnete zweidimensionale Repräsentation M2D des parametrisierten 3D-Schienenmodells M, die in die erfassten zweidimensionalen Bilddaten BD eingefügt wird, erzeugt.
  • Bei dem Schritt 1.IVb wird eine Abweichung L zwischen scheinbaren Helligkeitswerten des projizierten parametrisierten Schienenmodells M2D und Aktivierungspunkten der Aktivierungskarte AK ermittelt. Diese Abweichung wird auf Basis der Summe der Quadrate der Differenzen zwischen Intensitätswerten des projizierten parametrisierten Schienenmodells M2D und Aktivierungspunkten der Aktivierungskarte AK ermittelt.
  • Bei dem Schritt 1.IVc werden auf Basis der ermittelten Abweichung mit den im Zusammenhang mit Schritt 1.IV genannten Näherungsverfahren angepasste Parameterwerte Ck des parametrisierten Schienenmodells M und eine angepasste Projektionsmatrix Tcrk ermittelt. Beispielsweise kann im Rahmen des Gauss-Newton-Verfahrens eine Jakobi-Matrix J auf Basis der ermittelten Abweichung L ermittelt werden. Auf Basis der Jakobi-Matrix J können dann angepasste Parameterwerte Ck und eine angepasste Projektionsmatrix Tcrk ermittelt werden. Alternativ können auch direkt Ableitungen der Abweichung L hinsichtlich der genannten Parameter Ck des parametrisierten Schienenmodells und der die Projektion charakterisierenden Parameter, insbesondere Parameter der Projektionsmatrix Tcrk, gebildet werden und diese Werte zur Ermittlung von angenäherten Parameterwerten des parametrisierten 3D-Schienenmodells M und der angepassten Projektion genutzt werden.
  • Bei dem Schritt 1.IVd wird geprüft, ob die Qualität Q der ermittelten Größen Ck, Tcrk ein Qualitätskriterium erreicht. Das Qualitätskriterium kann zum Beispiel einen vorbestimmten Schwellwert für die ermittelte Abweichung L umfassen. Wird der Schwellwert unterschritten, so wird das Qualitätskriterium Q erreicht. Außerdem kann die Jakobi-Matrix J bzw. deren Einträge für eine Qualitätsbeurteilung genutzt werden.
  • Wird das Qualitätskriterium Q erreicht, was in FIG 3 mit "y" symbolisiert ist, so wird zu dem Schritt 1.IVe übergegangen, und der ermittelte angepasste Parametersatz Ck und die ermittelte angepasste Projektionsmatrix Tcrk werden als adjustierter Parametersatz C für ein adjustiertes parametrisiertes 3D-Schienenmodell M' und als adjustierte Projektionsmatrix Tcr ausgegeben.
  • Wird das Qualitätskriterium Q noch nicht erreicht, was in FIG 3 mit "n" gekennzeichnet ist, so wird zu dem Schritt 1.IVa zurückgekehrt und der angepasste Parametersatz Ck und die ermittelte angepasste Projektionsmatrix Tcrk werden zur Projektion des Schienenmodells M auf die Aktivierungskarte AK verwendet und die Iteration wird weiterverfolgt, bis das Qualitätskriterium Q bei Schritt 1.IVd erfüllt ist.
  • In FIG 4 ist eine Justage-Einrichtung 40 gezeigt, welche eine Eingangsschnittstelle 41 zum Empfangen von Bilddaten BD von einem Umgebungsbereich UB eines Schienenfahrzeugs 1 (siehe FIG 7) umfasst. Die Bilddaten BD umfassen einen oder mehrere Schienenstränge ST (siehe FIG 6), die von einer an dem Schienenfahrzeug 1 angeordneten Bildaufnahmeeinheit BA (in FIG 4 nicht gezeigt) aufgenommen werden.
  • Die Justage-Einrichtung 40 umfasst auch eine Ermittlungseinheit 42 zum Ermitteln einer Aktivierungskarte AK auf Basis der erfassten Bilddaten BD.
  • Teil der Justage-Einrichtung 40 ist auch eine Justage-Einheit 43 zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells M'. Das adjustierte parametrisierte 3D-Schienenmodell M' gibt die Pose P des Schienenstrangs ST relativ zur Bildaufnahmeeinheit BA wieder. Dem adjustierte parametrisierte 3D-Schienenmodell M' sind adjustierte Parameterwerte C zugeordnet. Das Ermitteln des adjustierten parametrisierten 3D-Schienenmodells M' erfolgt durch einen iterativen Prozess, der auch als "matching" bezeichnet wird, wobei ein Vergleich eines parametrisierten 3D-Schienenmodells M mit der ermittelten Aktivierungskarte AK erfolgt. Für diesen Vergleich wird eine in diesem Prozess ebenfalls automatisch mitadjustierte Projektionsvorschrift Tcr benötigt, um das zu vergleichen Schienenmodell M auf die Aktivierungskarte AK zu projizieren.
  • In FIG 5 ist eine schematische Darstellung der in FIG 4 veranschaulichten Justage-Einheit 43 der Justage-Einrichtung 40 gezeigt. Die Justage-Einheit 43 umfasst eine Modellermittlungseinheit 43a zum Empfangen von initialen Parameterwerten als Kandidaten-Parameterwerte C0 und einer initialen Kandidaten-Projektionsmatrix Tcr0, die zum Beispiel von einer Steuereinheit 3 des Schienenfahrzeugs 1 (siehe FIG 7) zur Ermittlung einer Pose P eines Schienenstrangs ST (siehe FIG 6) genutzt werden.
  • Das so spezifizierte parametrisierte 3D-Schienenmodell M und die Aktivierungskarte AK werden an eine Fusionseinheit 43b übermittelt, die das spezifizierte parametrisierte 3D-Schienenstrangmodell M und die Aktivierungskarte AK durch Projektion des spezifizierten parametrisierten 3D-Schienenstrangmodells M auf die Aktivierungskarte AK zu einer kombinierten Aktivierungskarte KAK zusammenführt.
  • Die kombinierte Aktivierungskarte KAK wird an eine Abweichungsermittlungseinheit 43c übermittelt, die auf Basis der kombinierten Aktivierungskarte KAK eine Abweichung L zwischen scheinbaren Helligkeitswerten des projizierten parametrisierten Schienenmodells M2D und der Aktivierungskarte AK ermittelt.
  • Auf Basis der ermittelten Abweichung L ermittelt eine Adaptionseinheit 43d angepasste Parameter Ck und eine angepasste Projektionsmatrix Tcrk.
  • Eine Qualitätseinheit 43e ermittelt, ob die von der Adaptionseinheit 43d ermittelten Größen Ck, Tcrk ein Qualitätskriterium Q erreichen.
  • Wird das Qualitätskriterium Q erreicht, so werden der ermittelte angepasste Parametersatz Ck und die ermittelte angepasste Projektionsmatrix Tcrk als adjustierte Parameter C für ein adjustiertes parametrisiertes 3D-Schienenmodell M' und als adjustierte Projektionsmatrix Tcr ausgegeben.
  • Wird das Qualitätskriterium Q noch nicht erreicht, so werden der angepasste Parametersatz Ck und die ermittelte angepasste Projektionsmatrix Tcrk an die Fusionseinheit 43b übermittelt und dort zur Projektion des mit dem angepassten Parametersatz Ck parametrisierten 3D-Schienenmodells M auf die Aktivierungskarte AK verwendet.
  • In FIG 6 ist eine symbolisierende Darstellung des in FIG 1 bis FIG 3 bereits veranschaulichten Verfahrens gezeigt. Dabei sind einzelne Schritte in einer Abfolge von symbolhaften Bilddarstellungen gezeigt, wobei die Abfolge eine Kette bildet, die von oben links im Bild nach rechts verläuft und dann unten links im Bild weitergeführt wird und in der unteren Reihe ebenfalls von links nach rechts verläuft.
  • Links oben wird eine dem Schritt 1.I (siehe FIG 1) entsprechende Erfassung von Bilddaten BD von einem vor einem Schienenfahrzeug 1 in Fahrtrichtung liegenden Sichtbereich mit Schienensträngen ST dargestellt. Als nächster Schritt wird eine dem Schritt 1.IIa (siehe FIG 2) entsprechende Ermittlung von segmentierten Bilddaten SBD auf Basis einer Kantendetektion in den erfassten Bilddaten BD veranschaulicht. Weiterhin erfolgt ein "Verwischen" der segmentierten Bilddaten SBD, was dem Schritt 1.IIb (siehe FIG 2) entspricht und die oben rechts dargestellte Aktivierungskarte AK ergibt.
  • Unten links ist ein Schritt einer Generierung eines parametrisierten Schienenmodells M auf Basis von Kandidaten-Parametern Ck symbolisiert. Dieses Vorgehen entspricht dem Schritt 1.III (siehe FIG 1).
  • Rechts daneben folgend wird eine Bildprojektion auf Basis einer Kandidaten-Projektionsmatrix Trck symbolisiert. Dieser Schritt entspricht dem Schritt 1.IVa (siehe FIG 3).
  • In der unteren Reihe folgend ist eine kombinierte Aktivierungskarte KAK gezeigt, in der sowohl die auf den erfassten Bilddaten BD basierende Aktivierungskarte AK als auch das auf die Aktivierungskarte AK projizierte hell dargestellte und mit einem Schienenstrang ST kreuzende parametrisierte Schienenmodell M2D gezeigt ist.
  • Schließlich ist als letzte symbolische Darstellung der Schritt der Minimierung einer Abweichung L des projizierten parametrisierten Schienenmodells M2D von der Aktivierungskarte AK gezeigt. Dieser Schritt entspricht dem Schritt 1.IV (siehe FIG 1). Dabei werden auf Basis der ermittelten Abweichung L angepasste Parameter Ck, die dann wieder zur Ermittlung eines angepassten parametrisierten 3D-Schienenmodells M genutzt werden, und eine angepasste Projektionsmatrix Tcrk, die zur erneuten Projektion des durch die angepassten Parameter Ck angepassten parametrisierten 3D-Schienenmodells M auf die Aktivierungskarte AK genutzt wird, was durch entsprechende sich zurückbeziehende Pfeile symbolisiert ist, ermittelt.
  • In FIG 7 ist eine schematische Darstellung eines Schienenfahrzeugs 1 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Das Schienenfahrzeug 1 bewegt sich in Pfeilrichtung über einen Schienenstrang ST.
  • Das Schienenfahrzeug 1 umfasst eine Bildaufnahmeeinheit BA zum Akquirieren von Bilddaten BD von einem Umgebungsbereich UB des Schienenfahrzeugs 1. Der Umgebungsbereich UB umfasst einen vor dem Schienenfahrzeug 1 liegenden Schienenstrang ST. Teil des Schienenfahrzeugs 1 ist auch eine Justage-Einrichtung 40, wie sie in FIG 4 und FIG 5 im Detail veranschaulicht ist, zur Ermittlung eines adjustierten parametrisierten 3D-Schienenmodells M'. Die Justage-Einrichtung 40 übermittelt das adjustierte parametrisierte 3D-Schienenmodell M' mit dem adjustierten Parametersatz C und der adjustierten Projektionsmatrix Tcr an eine Steuereinheit 3, welche zur Steuerung einer Fahrt des Schienenfahrzeugs 1 eine Pose des vor dem Schienenfahrzeugs 1 liegenden Schienenstrangs ST auf Basis des adjustierten parametrisierten 3D-Schienenmodells M' ermittelt. Ebenfalls können Parameterwerte C0, Tcr0 eines zu adjustierenden 3D-Schienenmodells M, welches gerade von der Steuereinheit 3 genutzt wird, an die Justage-Einrichtung 40 übermittelt werden, um eine Justage dieser Parameterwerte C0, Tcr0 vorzunehmen.
  • In FIG 8 ist eine schematische Darstellung einer durch Glättung erzeugten bildbasierten Aktivierungskarte AK dargestellt. Der Einfachheit ist die Aktivierungskarte AK nur als Projektion auf die x-Achse dargestellt. Selbstverständlich ist eine Aktivierungskarte AK üblicherweise zweidimensional, d.h. sie weist für die einzelnen Aktivierungspunkte x-y-Koordinaten auf. In der Aktivierungskarte AK sind diskrete Aktivierungswerte AW an den Positionen, an denen Schienenstränge ST vorhanden sind, durch rechteckige Balken dargestellt. Außerdem ist ein auf die Aktivierungskarte AK projiziertes parametrisiertes Schienenmodell M2D an den Positionen x0 und x0' mit durch gestrichelt gezeichnete rechteckige Balken symbolisierten Aktivierungswerten AW' dargestellt (AW =1, AW' = 1). Beginnt eine iterative Ermittlung geeigneter Modellparameter nun beispielsweise mit dem projizierten parametrisierten Schienenmodell M2D an den Positionen x0 und x0' zwischen den Schienensträngen ST, so ergibt sich für die Ableitung der Summe der Quadrate der Differenzen zwischen den Aktivierungswerten AW der Schienenstränge ST und den Aktivierungswerten AW' des projizierten parametrisierten Schienenmodells M2D der Wert 0.
  • D.h., wird das projizierte parametrisierte Schienenmodell M2D ein wenig in x-Richtung verschoben, so ändern sich die Quadrate der Differenzen zwischen den Aktivierungswerten AW der Schienenstränge ST und den Aktivierungswerten AW' des projizierten parametrisierten Modells M2D nicht. Beispielsweise bleibt der Wert der Summe der Quadrate der Differenzen zwischen den Aktivierungswerten AW der Schienenstränge ST und den Aktivierungswerten AW' des projizierten parametrisierten Modells M2D bei dem Wert 4.
  • Damit wäre aber eine ableitungsbasierte Näherung, beispielsweise ein Newtonverfahren mit der Rechenvorschrift xn+1 = xn - f(xn)/f'(xn) (Beispielsweise n = 0, 1, 2, ..., f(x) gleich die Summe der Quadrate der Differenzen zwischen den Aktivierungswerten AW der Schienenstränge ST und den Aktivierungswerten AW des projizierten parametrisierten Modells M2D) nicht anwendbar, denn x1 hätte dann einen negativen unendlichen Wert. Das Newton-Verfahren soll hier nur der einfachen Veranschaulichung halber, beispielsweise stellvertretend für Näherungsverfahren für Funktionen mit mehrdimensionalen Argumenten oder mehrdimensionalen Funktionen, wie zum Beispiel das Gauss-Newton-Verfahren oder andere vorstehend im Text genannten Näherungsverfahren, gewählt werden.
  • Wird nun die diskrete Verteilung der Aktivierungswerte AW des Schienenstrangs ST in eine stetige Verteilung ST', welche in FIG 8 durch geschwungene durchgezogene Linien dargestellt ist, transformiert, so ergibt sich für die Ableitung der Quadrate der Differenzen zwischen den Aktivierungswerten AW der Schienenstränge ST und den Aktivierungswerten AW' des projizierten parametrisierten Schienenmodells M2D ein von dem Wert 0 unterschiedlicher Wert, so dass die Iteration fortgesetzt werden kann, da X1 einen endlichen Wert annimmt.
  • Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel "ein" bzw. "eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff "Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.

Claims (15)

  1. Verfahren zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells (M'), aufweisend die Schritte:
    - Erfassen von Bilddaten (BD) von einem Umgebungsbereich (UB) eines Schienenfahrzeugs (1), welcher einen Schienenstrang (ST) umfasst, durch eine an dem Schienenfahrzeug (1) angeordnete Bildaufnahmeeinheit (BA),
    - Ermitteln einer Aktivierungskarte (AK) auf Basis der erfassten Bilddaten (BD),
    - Ermitteln des adjustierten parametrisierten 3D-Schienenmodells (M'), welches die Pose (P) des Schienenstrangs (ST) relativ zur Bildaufnahmeeinheit (BA) wiedergibt, auf Basis eines Vergleichs eines parametrisierten 3D-Schienenmodells (M) mit der ermittelten Aktivierungskarte (AK).
  2. Verfahren nach Anspruch 1, wobei das Ermitteln des adjustierten parametrisierten 3D-Schienenmodells (M') die folgenden Schritte umfasst:
    i) Projizieren des durch Kandidaten-Parameter (C0) parametrisierten 3D-Schienenmodells (M) auf die Aktivierungskarte (AK) auf Basis einer Kandidaten-Projektionsvorschrift (Tcr0),
    ii) Ermitteln von angepassten Parameterwerten (Ck) des parametrisierten 3D-Schienenmodells (M) und/oder einer angepassten Projektionsvorschrift (Tcrk) auf Basis des Vergleichs des projizierten parametrisierten Schienenmodells (M2D) mit der Aktivierungskarte (AK).
  3. Verfahren nach Anspruch 2, wobei das Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells (M') das Durchführen eines iterativen Näherungsverfahrens umfasst, wobei die Schritte i) und ii) wiederholt werden und bei einer Wiederholung die bei Schritt ii) ermittelten angepassten Parameterwerte (Ck) bei Schritt i) als Kandidaten-Parameterwerte (C0) verwendet werden und/oder die bei Schritt ii) ermittelte angepasste Projektionsvorschrift (Tcrk) bei Schritt i) als Kandidaten-Projektionsvorschrift (Tcr0) verwendet wird.
  4. Verfahren nach Anspruch 2 oder 3, wobei der Vergleich das Ermitteln mindestens einer der folgenden Größen umfasst:
    - eine Abweichung (L) des projizierten parametrisierten Schienenmodells (M2D) von der Aktivierungskarte (AK),
    - eine Korrelation (K) zwischen dem projizierten parametrisierten Schienenmodell (M2D) mit der Aktivierungskarte (AK) .
  5. Verfahren nach Anspruch 4, wobei der Vergleich eine Ermittlung einer Abweichung (L) aufweist und der Vergleich eine Ermittlung eines Minimums der Abweichung (L) zwischen dem projizierten parametrisierten Schienenmodell (M2D) und der Aktivierungskarte (AK) aufweist.
  6. Verfahren nach einem der Ansprüche 4 oder 5, wobei der Vergleich eine Ermittlung einer Abweichung (L) aufweist und die ermittelte Abweichung (L) eine Abweichung zwischen Aktivierungswerten (AW') des projizierten parametrisierten Schienenmodells (M2D) und Aktivierungswerten (AW) der Aktivierungskarte (AK) umfasst.
  7. Verfahren nach einem der Ansprüche 4 bis 6, wobei der Vergleich eine Ermittlung einer Abweichung (L) aufweist und die Abweichung (L) die Summe der Quadrate der Differenzen zwischen Aktivierungswerten (AW') von Aktivierungspunkten des projizierten parametrisierten Schienenmodells (M2D) und Aktivierungswerten (AW) von Aktivierungspunkten der Aktivierungskarte (AK) aufweist.
  8. Verfahren nach einem der vorstehenden Ansprüche, wobei das parametrisierte 3D-Schienenmodell (M) mindestens eines der folgenden Merkmale aufweist:
    - 3D-Punkte, welche entlang eines Schienenkopfes des Schienenstrangs (ST) mit einer vorbestimmten Abtastdichte angeordnet sind,
    - eine vorbestimmte parametrisierbare Grundform, welche vorzugsweise die Form eines der folgenden Objekte umfasst:
    - eine Klothoide,
    - eine Verzweigung,
    - parallele Geraden.
  9. Verfahren nach einem der vorstehenden Ansprüche, wobei auf Basis der Bilddaten (BD) segmentierte Bilddaten (SBD) ermittelt werden und die Aktivierungskarte (AK) auf Basis der segmentierten Bilddaten (SBD) ermittelt wird.
  10. Verfahren nach Anspruch 9, wobei die Aktivierungskarte (AK) durch eine Glättung der segmentierten Bilddaten (SBD) ermittelt wird.
  11. Verfahren nach Anspruch 10, wobei die Glättung durch Anwendung eines Gauss-Kernels (GK) auf die segmentierten Bilddaten (SBD) erfolgt.
  12. Justage-Einrichtung (40), aufweisend:
    - eine Eingangsschnittstelle (41) zum
    - Empfangen von Bilddaten (BD) von einem Umgebungsbereich (UB) eines Schienenfahrzeugs (1), welcher einen Schienenstrang (ST) umfasst, von einer an dem Schienenfahrzeug (1) angeordneten Bildaufnahmeeinheit (BA),
    - eine Ermittlungseinheit (42) zum Ermitteln einer Aktivierungskarte (AK) auf Basis der erfassten Bilddaten (BD),
    - eine Justage-Einheit (43) zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells (M'), welches die Pose (P) des Schienenstrangs (ST) relativ zur Bildaufnahmeeinheit (BA) wiedergibt, durch einen Vergleich eines parametrisierten 3D-Schienenmodells (M) mit der ermittelten Aktivierungskarte (AK).
  13. Schienenfahrzeug (1), aufweisend
    - eine Bildaufnahmeeinheit (BA) zum Akquirieren von Bilddaten (BD) von einem Umgebungsbereich (UB) des Schienenfahrzeugs (1), welcher einen Schienenstrang (ST) umfasst,
    - eine Justage-Einrichtung (40) nach Anspruch 12 zur Ermittlung eines adjustierten parametrisierten 3D-Schienenmodells (M'),
    - eine Steuereinheit (3) zur Steuerung einer Fahrt des Schienenfahrzeugs (2) auf Basis des adjustierten parametrisierten 3D-Schienenmodells (M').
  14. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 11 zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells (M') auszuführen.
  15. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach Anspruch 1 bis 11 zum Ermitteln eines adjustierten parametrisierten 3D-Schienenmodells (M') auszuführen.
EP23162314.1A 2022-03-28 2023-03-16 Justage einer detektion eines schienenstrangs auf basis einer registrierung eines schienenmodells mit einem kamerabild Pending EP4253188A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022203011.7A DE102022203011A1 (de) 2022-03-28 2022-03-28 Justage einer Detektion eines Schienenstrangs auf Basis einer Registrierung eines Schienenmodells mit einem Kamerabild

Publications (1)

Publication Number Publication Date
EP4253188A1 true EP4253188A1 (de) 2023-10-04

Family

ID=85703435

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23162314.1A Pending EP4253188A1 (de) 2022-03-28 2023-03-16 Justage einer detektion eines schienenstrangs auf basis einer registrierung eines schienenmodells mit einem kamerabild

Country Status (2)

Country Link
EP (1) EP4253188A1 (de)
DE (1) DE102022203011A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3138753A1 (de) * 2015-09-03 2017-03-08 Rail Vision Europe Ltd Eisenbahnschienenvermessungssystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3138753A1 (de) * 2015-09-03 2017-03-08 Rail Vision Europe Ltd Eisenbahnschienenvermessungssystem

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"3D Computer Vision", 1 January 2013, SPRINGER LONDON, London, ISBN: 978-1-4471-4150-1, ISSN: 1612-1449, article CHRISTIAN WÖHLER: "Three-Dimensional Pose Estimation and Segmentation Methods", pages: 89 - 137, XP055307333, DOI: 10.1007/978-1-4471-4150-1_2 *

Also Published As

Publication number Publication date
DE102022203011A1 (de) 2023-09-28

Similar Documents

Publication Publication Date Title
DE102016223422B4 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102005035746B4 (de) Verfahren zur Bestimmung einer Relativposition einer mobilen Einheit durch Vergleich von Scans einer Umgebung und mobile Einheit
EP3782117A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102018117660A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE102018123393A1 (de) Erkennung von Parkflächen
DE102019117559A1 (de) Verfahren und System zum Fusionieren von zweidimensionalen semantischen Informationen aus Bildern mit einer dreidimensionalen Punktwolke
EP4068223A1 (de) Verfahren und system zur bestimmung der bodenebene mit einem künstlichen neuronalen netz
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102022214330A1 (de) Verfahren zur Erzeugung mindestens einer Ground Truth aus der Vogelperspektive
EP4253188A1 (de) Justage einer detektion eines schienenstrangs auf basis einer registrierung eines schienenmodells mit einem kamerabild
DE102013018561A1 (de) Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
DE102021206475A1 (de) Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
DE102021101336A1 (de) Verfahren zur Auswertung von Sensordaten eines Abstandssensors, Ermittlungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102012008780B4 (de) Verfahren und Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes und Kraftfahrzeug
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
DE102019124498A1 (de) Verfahren zum Komprimieren von 3D-Punktdaten in einer mittels eines Detektionssystems eines Fahrzeugs erzeugten 3D-Punktwolke
DE102019102423A1 (de) Verfahren zur Live-Annotation von Sensordaten
DE102009015500B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Lageänderung eines Objekts mittels einer Stereokamera
DE102016123058A1 (de) Optischer Fluss mit Konfidenzschätzung
WO2024188548A1 (de) Verfahren zum erkennen von fahrbahnschwellen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240402

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR