EP4681178A1 - Verfahren zum erkennen von fahrbahnschwellen - Google Patents

Verfahren zum erkennen von fahrbahnschwellen

Info

Publication number
EP4681178A1
EP4681178A1 EP24704733.5A EP24704733A EP4681178A1 EP 4681178 A1 EP4681178 A1 EP 4681178A1 EP 24704733 A EP24704733 A EP 24704733A EP 4681178 A1 EP4681178 A1 EP 4681178A1
Authority
EP
European Patent Office
Prior art keywords
scene
height
road
threshold
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24704733.5A
Other languages
English (en)
French (fr)
Inventor
Istvan Nagy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4681178A1 publication Critical patent/EP4681178A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects

Definitions

  • the present invention relates to a method for detecting road humps.
  • the invention also relates to a computer program and a data processing device.
  • a method for detecting road speed bumps comprises obtaining input data, in particular depth input data.
  • the input data may result at least partially from a sensor detection of an environment of a vehicle.
  • the input data may comprise at least one scene representation, such as an input image, and a corresponding depth map.
  • the scene representation represents a scene of the environment, which may comprise a representation of a road and objects next to and/or on the road, in particular in the direction of travel of the vehicle.
  • the depth map may indicate distances in the scene, such as the distance to the surface of the road and/or to the objects.
  • the depth map may be obtained from flow estimation and depth calculation (in particular in the case of a mono camera used as a sensor) and/or from stereo vision (in particular in the case of a stereo camera used as a sensor). Therefore, the depth map may be in the form of a three-dimensional or 3D Depth map can be obtained, where each pixel of the depth map contains the estimated depth between the camera and the associated 3D world location in the scene.
  • the input data may optionally include a semantic segmentation of the scene, including in particular the road and/or sidewalk and/or raised structures, which may be used to reject sidewalks and other raised structures that are not part of speed humps in subsequent processing.
  • a semantic segmentation of the scene including in particular the road and/or sidewalk and/or raised structures, which may be used to reject sidewalks and other raised structures that are not part of speed humps in subsequent processing.
  • the inventive method can thus allow detection of speed bumps with different height, color (textured or textureless), different material and different appearance, especially when their height is increased with respect to the road.
  • Conventional image processing and machine learning approaches rely on the 2D image data and can have difficulties in detecting unique speed bumps that do not necessarily appear in the training data.
  • 3D attributes can be provided for each detected speed bump, in particular distance and height. Based on this information, the detection can accordingly be used in controlling a vehicle, in particular for braking functions and suspension control.
  • the inventive method can also work on mono cameras with noisy depth data. Thus, it has the advantage of working even in the presence of noise in the 3D map. In comparison, stereo vision-based disparity usually provides a better and more accurate 3D map, but mono camera sensors are technically less complex.
  • the evaluation comprises determining a height-above-ground map, in particular as part of a feature accumulation step.
  • the height-above-ground map may indicate a height of surfaces in the scene and may be determined based on the depth map and the road surface estimate and in particular based on a semantic segmentation of the road.
  • the evaluation and in particular the feature accumulation step may further comprise determining a plurality of height distributions of height values along the road, in particular for different rungs along the road, based on the determined height-above-ground map, in particular for the indicated height of surfaces in the scene.
  • the evaluation may further comprise classifying the determined height distributions into at least one raised threshold segment and one flat road segment based on the height values.
  • the height distributions may be determined for a search region of interest of the scene.
  • Each rung of the search region of interest may then be one of (at least or exactly) two Classes: Raised Threshold Segment or Flat Road Segment.
  • a raised threshold segment can be a segment that has dense 3D data and an elevation above the ground that is above a threshold.
  • the validity of a threshold segment can be affected by the standard deviation of depths according to the depth map and/or the elevation of surfaces.
  • the depth map indicates the distances for different elements corresponding to the scene, in particular pixels, wherein the height-above-ground map is determined on the basis of an element-by-element examination of each of the elements, wherein the element-by-element examination preferably comprises an examination of conditions, in particular whether the respective element represents a static and/or flat structure, in particular at a valid depth, and/or whether the respective element is classified as a road area by the semantic segmentation.
  • the distributions of the height values along each rung can be calculated, allowing reliable road speed bump detection.
  • the classification is performed based on a height error model, thereby considering a height error for the given height of surfaces in the scene at different distances in the scene.
  • the allowable error can be calculated in the case of each threshold segment candidate.
  • a threshold segment can contain multiple height measurements. The larger the number of measurements, the smaller the theoretical error, which can also be considered by using the height error model.
  • adjacent threshold segments can be merged into a single threshold object. Based on the detected threshold segments, clustering can be performed, where adjacent threshold segments can be merged into a single threshold object. To merge two segments, they may need to satisfy the condition of being close to each other in both 2D and 3D space.
  • a threshold object can be obtained on the basis of the detection, wherein the threshold object represents the road threshold by three-dimensional attributes, in particular distance and height.
  • the evaluation can comprise an evaluation of dimensional features of the input data to thereby detect the road threshold on the basis of the height of the road threshold raised with respect to the road in the scene.
  • the vehicle can be controlled on the basis of the detected road hump, the control comprising in particular braking functions and/or suspension control and/or autonomous driving. This allows road humps to be reliably observed while the vehicle is driving.
  • a computer program in particular a computer program product, comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out the method according to the invention.
  • the computer program according to the invention can thus have the same advantages as have been described in detail with reference to a method according to the invention.
  • a data processing device can be provided which is designed to carry out the method according to the invention.
  • a computer can be provided which executes the computer program according to the invention.
  • the computer can comprise at least one processor which can be used to execute the computer program.
  • a non-volatile data memory can be provided in which the computer program can be stored and from which the computer program can be read out by the processor for execution.
  • a computer-readable storage medium which comprises the computer program according to the invention.
  • the storage medium can be used as a data storage Device, such as a hard disk and/or a non-volatile memory and/or a memory card and/or a semiconductor drive.
  • the storage medium can, for example, be integrated into the computer.
  • the method according to the invention can be implemented as a computer-implemented method.
  • Fig. 1 shows an exemplary architecture of embodiments of the invention.
  • Fig. 2 a 3D depth map of a scene with a threshold
  • Fig. 3 a visualization of the output.
  • Fig. 4 a height-above-ground map for an exemplary given scene.
  • Fig. 5 another example scene.
  • Fig. 6 a height-above-ground distribution in a road area.
  • Fig. 7 shows a height-above-ground distribution in an area containing a threshold.
  • Fig. 8 a classification of segments as road and threshold segments.
  • Fig. 9 different threshold segment detections.
  • FIG. 10 Individual threshold segments and a resulting threshold object.
  • Fig. 11 another example scene.
  • Fig. 12 a road profile.
  • Fig. 14 further detection examples.
  • Fig. 15 a visualization of a method, a computer program and a device according to embodiments of the invention.
  • Fig. 1 shows an exemplary architecture of embodiments of the invention. The method steps shown relate to the algorithm 113 and its inputs 111 and outputs 112, as will be described in more detail below.
  • the functional means for providing the method steps related to threshold detection may be referred to as a threshold detection component.
  • the following inputs 111 may be required by the threshold detection component: a 3D depth map 121, a road surface estimate 122 (planar or non-planar), also referred to as a road surface model 122, and in particular a semantic segmentation 123 of the scene/road and/or a steering angle 124 of the vehicle.
  • the algorithm 113 may first examine 131 the inputs 111 and then perform feature accumulation 132.
  • the feature accumulation 132 may also use results from the road surface model 122 and the semantic segmentation 123.
  • the 3D depth map 121 may be used for the feature accumulation 132.
  • segment classification 133 may be performed.
  • Threshold object clustering and detection 134 may then be performed using the threshold segments.
  • the resulting threshold objects may be used to generate a threshold object list 141, which in particular includes threshold objects described using a two-dimensional bounding box, the distance and the height information.
  • a road elevation profile 142 may be generated.
  • the 3D depth map can be considered as the main input (see Fig. 2).
  • each pixel contains the estimated depth between the sensor, in particular the camera 40 (see Fig. 15), and the associated 3D world location. This can be obtained from flow estimation and depth calculation in the case of mono cameras and from stereo vision in the case of stereo cameras. It can be mainly used to calculate the height-above-ground map and to estimate the 3D attributes of threshold objects.
  • a second necessary input can be the road surface estimate, which can be a planar estimate or a non-planar estimate.
  • a planar model it can be described by the normal vector and the height of the plane. It can be used to estimate the distance between a 3D point and the road.
  • Semantic segmentation of the scene/road is also an optional input that helps during feature accumulation by rejecting sidewalks and other elevated structures that are not parts of thresholds.
  • Information about the steering angle is another optional input that can be used to disable the detection component during left and right turns of the vehicle.
  • the output of the detection algorithm can be threshold objects in the scene.
  • 2D data represents the boundary box of the road threshold in image space.
  • 3D data attributes refer to the distance to the road threshold. threshold (between camera and threshold) and the height above the ground of the road threshold (relative to the road surface).
  • a confidence score between 0 and 100 is calculated for each threshold object.
  • Fig. 3 shows the visualization of the output.
  • a first step of a method according to embodiments of the invention may be a feature accumulation step.
  • the height-above-ground feature may be calculated and a statistical analysis may be performed on the distribution of height values along each rung in the search region.
  • Fig. 4 shows a height-above-ground map for an exemplary given scene.
  • a height-above-ground distribution may be calculated, in particular based on the pixels that satisfy the following conditions: valid depth, static (not dynamic), relatively flat region (based on the local surface normal), classified as part of the road area by semantic segmentation.
  • the distributions of the height values along each rung may be calculated.
  • the mean and standard deviation of each distribution may be calculated, in particular followed by an outlier removal process, resulting in a more accurate mean height estimate.
  • Fig. 5 shows another example scene, where rung 501 represents a road rung and rung 502 contains a threshold object. These can each form a sample region 501, 502, and Fig. 6 and Fig. 7 show the distribution of height values for these sample regions 501, 502.
  • the height-above-ground distribution in a road region 501 also includes a small portion of a sidewalk 601.
  • the sidewalk region 601 can be considered an outlier and filtered.
  • the mean of the remaining outliers is close to 0 meters, corresponding to a patch on the road (not elevated).
  • Fig. 7 the height-above-ground distribution in a region 502 containing a threshold is shown.
  • Fig. 8 shows the classification of segments as road and threshold segments.
  • Each rung of the search region of interest 801 can be classified into one of two classes: raised threshold segment and flat road segment.
  • a raised threshold segment may be a segment that has dense 3D data and a height above ground that is above a threshold (also taking into account the height above ground error at that distance).
  • the validity of a threshold segment may be affected by the standard deviation of height measurements (distribution with high height standard deviation may not be taken into account).
  • Figure 8 shows an example of four individual detected threshold segments 802.
  • a height error model may be used.
  • the height error may be based on calculating the depth error and propagating this to the height error.
  • the depth error at distance x may be where t is related to a metric scale (traveled distance), ro is related to the image distance between 2D point and focus of expansion (measured in pixels), ot is related to a metric scale error, crf oe is related to the focus of expansion error, and cr F/uss is related to the optical flow error.
  • t is related to a metric scale (traveled distance)
  • ro is related to the image distance between 2D point and focus of expansion (measured in pixels)
  • ot is related to a metric scale error
  • crf oe is related to the focus of expansion error
  • cr F/uss is related to the optical flow error.
  • semantic segmentation masking is described in more detail. Using only 3D data, it may not be possible to separate road humps from other elevated structures next to them (for example, sidewalks) in some scenarios.
  • Fig. 8 and Fig. 9 show an example where the hump 902 and the sidewalk 903 have approximately the same height (see marker 901 in Fig. 9a), making separation difficult using only 3D data.
  • Fig. 9 shows hump segment detection without a road mask.
  • Fig. 9b shows a Semantic Segmentation output, and the sidewalk here is part of the class "Other" and has nothing associated with it.
  • the threshold segments 902 are provided after applying the road mask.
  • Fig. 10a individual threshold segments 1001 are shown which are located close to each other in both 2D and 3D.
  • a threshold object 1002 is shown which has resulted from merging individual threshold segments.
  • clustering can be carried out, whereby adjacent threshold segments are merged into a single threshold object. In order to merge two segments, it may be necessary for them to be located close to each other in both 2D and 3D space.
  • each rung in the region of interest can be associated with an estimated depth and an estimated height above ground. Based on these filtered depth-height measurements, a longitudinal road profile can be calculated.
  • Fig. 11 shows a detected threshold 1101 at a distance of 6 meters
  • Fig. 12 shows the associated road height profile.
  • Points 1201 represent measurements classified as road.
  • Points 1202 represent the driving railway sleeper 30 corresponding elevated points.
  • Line 1203 represents the theoretical height error model at different distances. Points above line 1203 have a higher probability of being classified as elevated.
  • the method according to embodiments of the invention may comprise flow-based tracking.
  • flow-based confirmation may be used.
  • backward flow the mean of the flow along each threshold segment may be calculated.
  • the mean flow vectors provide locations that can be checked in the previous frame.
  • the detection in the current frame is confirmed. Otherwise, it is filtered.
  • the method according to embodiments of the invention can be carried out by a computer program 20 as shown in Fig. 15, for example implemented in C++.
  • the computer program 20 can run on a computer located in a vehicle 1 and/or in real time and/or on the camera 40, such as a mono camera 40, of the vehicle.
  • the method can be integrated into an adaptive cruise control function.
  • Fig. 13 and 14 show the detection of a road hump 30 in the case of different scenarios.
  • Fig. 15 further shows the method 100 for detecting road humps 30 with a first method step 101 for obtaining the input data 111.
  • the input data 111 can result at least partially from a sensor detection of an environment of the vehicle 1 and comprise at least one scene representation 201, such as an input image 201 and a corresponding depth map 121.
  • the scene representation 201 can represent a scene of the environment, and the depth map 121 can indicate distances in the scene.
  • a road surface area estimate 122 in the scene can be obtained on the basis of the input data 111.
  • a road hump 30 can then be detected in the scene on the basis of an evaluation of the depth map 121 and the road surface estimate 122.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Detektieren von Fahrbahnschwellen (30), das die folgenden Schritte umfasst: - Erhalten (101) von Eingangsdaten (111), wobei die Eingangsdaten (111) mindestens teilweise aus einer Sensordetektion einer Umgebung eines Fahrzeugs (1) resultieren, die Eingangsdaten (111) mindestens eine Szenenrepräsentation (201) und eine entsprechende Tiefenkarte (121) umfassen, die Szenenrepräsentation (201) eine Szene der Umgebung repräsentiert und die Tiefenkarte (121) Distanzen in der Szene angibt, - Erhalten (102) einer Straßenoberflächenschätzung (122) in der Szene auf der Basis der Eingangsdaten (111), - Detektieren (103) einer Fahrbahnschwelle (30) in der Szene auf der Basis einer Evaluierung der Tiefenkarte (121) und der Straßenoberflächenschätzung (122).

Description

Beschreibung
Titel
Verfahren zum Erkennen von Fahrbahnschwellen
Die vorliegende Erfindung betrifft ein Verfahren zum Detektieren von Fahrbahnschwellen. Ferner betrifft die Erfindung ein Computerprogramm und eine Datenverarbeitungsvorrichtung.
Stand der Technik
Es gibt verschiedene herkömmliche Verfahren zur Fahrbahnschwellendetektion unter Verwendung von Videodaten im Fall des autonomen Fahrens.
Einige existierende Verfahren konzentrieren sich auf die Verarbeitung von Graustufenbildern, zum Beispiel Devapriya, W., C. Nelson Kennedy Babu, and T. Sri- hari. "Advance driver assistance system (ADAS)- speed bump detection." 2015 IEEE international conference on computational intelligence and computing research (ICCIC). IEEE, 2015; und Devapriya, W., C. Nelson Kennedy Babu, und T. Srihari. "Real time speed bump detection using Gaussian filtering and connected component approach." 2016 World Conference on Futuristic Trends in Research and Innovation for Social Welfare (Startup Conclave). IEEE, 2016, wobei man sich auf den Umstand stützt, dass die Fahrbahnschwelle Markierungen enthält und eine wiederholte Färbung aufweist. Diese Verfahren nutzen gewöhnlich morphologische Operationen an dem Graustufenbild, Kennzeichnung verbundener Komponenten und Signalverarbeitung.
Andere Verfahren nutzen tiefes Lernen in Kombination mit Tiefenverarbeitung (Stereovision), zum Beispiel Ballinas-Hernändez, Ana Luisa, Ivan Olmos Pineda, and J. Arturo Olvera-Löpez. "Speed Bump Detection on Roads using Artificial Vi- sion." Res. Comput. Sei. 148.9 (2019): 71 -82, wobei Fahrbahnschwellen auch aus 3D- Merkmalen wie Höhe und Steigung der Erhöhung detektiert werden.
Als Letztes gibt es Verfahren, die sich nur auf künstliche Intelligenz und Training eines neuronalen Netzes zum Detektieren von Fahrbahnschwellen stützen, zum Beispiel: Patil, Sandip Omprakash, VV Sajith Variyar, und K. P. Soman. "Speed bump Segmentation an application of conditional generative adversarial network for self-driving vehicles." 2020 Fourth International Conference on Computing Methodologies and Communication (ICCMC). IEEE, 2020.
Offenbarung der Erfindung
Gemäß Aspekten der Erfindung werden ein Verfahren mit den Merkmalen von Anspruch 1 , ein Computerprogramm mit den Merkmalen von Anspruch 9 sowie eine Datenverarbeitungsvorrichtung mit den Merkmalen von Anspruch 10 bereitgestellt. Weitere Merkmale und Einzelheiten der Erfindung werden in den jeweiligen abhängigen Ansprüchen, in der Beschreibung und in den Zeichnungen offenbart. Im Kontext des Verfahrens gemäß der Erfindung beschriebene Merkmale und Einzelheiten entsprechen auch dem Computerprogramm sowie der Datenverarbeitungsvorrichtung und jeweils umgekehrt.
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Detektieren von Fahrbahnschwellen Erhalten von Eingangsdaten, insbesondere von Tiefeneingangsdaten. Die Eingangsdaten können mindestens teilweise aus einer Sensordetektion einer Umgebung eines Fahrzeugs resultieren. Die Eingangsdaten können mindestens eine Szenenrepräsentation, wie etwa ein Eingangsbild, und eine entsprechende Tiefenkarte umfassen. Die Szenenrepräsentation repräsentiert eine Szene der Umgebung, die eine Repräsentation einer Straße und von Objekten neben und/oder auf der Straße insbesondere in der Fahrrichtung des Fahrzeugs umfassen kann. Die Tiefenkarte kann Distanzen in der Szene angeben, wie die Distanz zur Oberfläche der Straße und/oder zu den Objekten. Die Tiefenkarte kann aus einer Flussschätzung und Tiefenberechnung (insbesondere im Fall einer als Sensor verwendeten Monokamera) und/oder aus Stereovision (insbesondere im Fall einer als Sensor verwendeten Stereokamera) erhalten werden. Deshalb kann die Tiefenkarte in Form einer dreidimensionalen bzw. 3D- Tiefenkarte erhalten werden, wobei jedes Pixel der Tiefenkarte die geschätzte Tiefe zwischen der Kamera und dem zugeordneten 3D-Welt-Ort in der Szene enthält.
Ferner kann das Verfahren Erhalten einer Straßenoberflächenschätzung in der Szene auf der Basis der Eingangsdaten, insbesondere der Tiefeneingangsdaten und/oder der Tiefenkarte, umfassen. Die Eingangsdaten können die Straßenoberflächenschätzung in Form einer planaren Schätzung oder einer nichtplanaren Schätzung umfassen. Im Fall eines planaren Modells kann es durch den normalen Vektor und die Höhe der Ebene beschrieben werden. Die Straßenoberflächenschätzung kann verwendet werden, um die Distanz zwischen einem 3D- Punkt und der Straße in der Szene zu schätzen.
Ferner können die Eingangsdaten gegebenenfalls eine semantische Segmentierung der Szene umfassen, die insbesondere die Straße und/oder den Bürgersteig und/oder erhöhte Strukturen umfasst, die verwendet werden kann, um Bürgersteige und andere erhöhte Strukturen, die nicht Teil von Fahrbahnschwellen sind, in der folgenden Verarbeitung zurückzuweisen.
Ferner können die Eingangsdaten gegebenenfalls einen Lenkwinkel umfassen, der verwendet werden kann, um die Fahrbahnschwellendetektion während des Links- und Rechtsabbiegens des Fahrzeugs zu deaktivieren.
Das Verfahren kann auch Detektieren einer Fahrbahnschwelle in der Szene auf der Basis einer Evaluierung der Tiefenkarte und der Straßenoberflächenschätzung umfassen. Das Verfahren gemäß der Erfindung kann dadurch Detektion von Fahrbahnschwellenobjekten verschiedener Dimensionen und Farben, die sich auf der befahrbaren Straßenoberfläche befinden, insbesondere auf der Basis von Videoeingaben erlauben. Die Verfahrensschritte können durch einen Algorithmus ausgeführt werden, der sich dadurch hauptsächlich auf Verarbeitung von 3D-Daten zusammen mit einer Straßenoberflächenschätzung stützt. Der Ort des Schwellenobjekts kann im Bildraum unter Verwendung eines Umrandungskastens bestimmt werden. Außerdem kann jedes Schwellenobjekt als die folgenden 3D-Attribute aufweisend betrachtet werden: Distanz und Höhe. Der erfindungsgemäße Ansatz kann sowohl für markierte als auch für unmarkierte Fahrbahnschwellen funktionieren, da er 3D-Daten anstelle von 2D-Bilddaten verarbeitet. Das erfindungsgemäße Verfahren kann somit Detektion von Fahrbahnschwellen mit verschiedener Höhe, Farbe (texturiert oder texturlos), verschiedenem Material und verschiedenem Aussehen erlauben, insbesondere wenn ihre Höhe mit Bezug auf die Straße erhöht ist. Herkömmliche Bildverarbei- tungs- und Maschinenlernansätze stützen sich dagegen auf die 2D-Bilddaten und können beim Detektieren von einzigartigen Fahrbahnschwellen, die nicht unbedingt in den Trainingsdaten erscheinen, Schwierigkeiten haben. Gemäß dem erfindungsgemäßen Verfahren können 3D-Attribute für jede detektierte Fahrbahnschwelle bereitgestellt werden, insbesondere Distanz und Höhe. Auf der Basis dieser Informationen kann die Detektion dementsprechend beim Steuern eines Fahrzeugs verwendet werden, insbesondere für Bremsfunktionen und Aufhängungssteuerung. Das erfindungsgemäße Verfahren kann auch an Monokameras mit rauschbehafteten Tiefendaten arbeiten. Somit hat es den Vorteil, auch bei Anwesenheit von Rauschen in der 3D-Karte zu funktionieren. Im Vergleich dazu stellt auf Stereovision basierende Disparität gewöhnlich eine bessere und genauere 3D- Karte bereit, Monokamerasensoren sind jedoch technisch weniger komplex.
Es ist auch möglich, dass die Evalulierung Bestimmen einer Höhe-über-Boden- Karte umfasst, insbesondere als Teil eines Merkmalakkumulationsschritts. Die Höhe-über-Boden-Karte kann eine Höhe von Oberflächen in der Szene angeben und kann auf der Basis der Tiefenkarte und der Straßenoberflächenschätzung und insbesondere auf der Basis einer semantischen Segmentierung der Straße bestimmt werden. Der Evalulierungs- und insbesondere der Merkmalakkumulationsschritt können ferner Bestimmen mehrerer Höhenverteilungen von Höhenwerten entlang der Straße umfassen, insbesondere für verschiedene Sprossen entlang der Straße, auf der Basis der bestimmten Höhe-über-Boden-Karte, insbesondere für die angegebene Höhe von Oberflächen in der Szene. Die Evaluierung kann ferner Klassifizieren der bestimmten Höhenverteilungen zu mindestens einem Erhöhte-Schwelle-Segment und einem Flache-Straße-Segment auf der Basis der Höhenwerte umfassen. Die Höhenverteilungen können für eine interessierende Suchregion der Szene bestimmt werden. Jede Sprosse der interessierenden Suchregion kann dann als eine der (mindestens oder genau) zwei Klassen klassifiziert werden: Erhöhte-Schwelle-Segment oder Flache-Straße- Segment. Ein Erhöhte-Schwelle-Segment kann ein Segment sein, das dichte 3D- Daten und eine Höhe über dem Boden, die über einem Schwellwert liegt, aufweist. Außerdem kann die Gültigkeit eines Schwellensegments durch die Standardabweichung der Tiefen gemäß der Tiefenkarte und/oder der Höhe von Oberflächen beeinflusst werden.
Es ist auch möglich, dass die Tiefenkarte die Distanzen für verschiedene Elemente, die der Szene entsprechen, insbesondere Pixel, angibt, wobei die Höhe- über-Boden-Karte auf der Basis einer elementweisen Untersuchung jedes der Elemente bestimmt wird, wobei die elementweise Untersuchung vorzugsweise eine Untersuchung von Bedingungen umfasst, insbesondere, ob das jeweilige Element eine statische und/oder flache Struktur, insbesondere in einer gültigen Tiefe, repräsentiert und/oder ob das jeweilige Element durch die semantische Segmentierung als ein Straßenbereich klassifiziert wird. Unter Verwendung der Höhe-über-Boden-Karte und der obigen Filterungsbedingungen können die Verteilungen der Höhenwerte entlang jeder Sprosse berechnet werden, was eine zuverlässige Fahrbahnschwellendetektion erlaubt.
Es ist möglich, dass das Klassifizieren auf der Basis eines Höhenfehlermodells ausgeführt wird, um dadurch einen Höhenfehler für die angegebene Höhe von Oberflächen in der Szene in verschiedenen Distanzen in der Szene zu betrachten. Zu diesem Zweck kann der zulässige Fehler im Fall jedes Schwellensegmentkandidaten berechnet werden. Ein Schwellensegment kann mehrere Höhenmessungen enthalten. Je größer die Anzahl der Messungen ist, desto kleiner ist der theoretische Fehler, was auch durch Verwendung des Höhenfehlermodells betrachtet werden kann.
Außerdem können angrenzende Schwellensegmente zu einem einzigen Schwellenobjekt zusammengeführt werden. Auf der Basis der detektierten Schwellensegmente kann eine Clusterung durchgeführt werden, wobei angrenzende Schwellensegmente zu einem einzigen Schwellenobjekt zusammengeführt werden können. Um zwei Segmente zusammenzuführen, müssen sie möglicherweise die Bedingung erfüllen, sich sowohl im 2D- als auch im 3D-Raum in der Nähe voneinander zu befinden. Außerdem kann auf der Basis der Detektion ein Schwellenobjekt erhalten werden, wobei das Schwellenobjekt die Fahrbahnschwelle durch dreidimensionale Attribute, insbesondere Distanz und Höhe, repräsentiert. Ferner kann die Evaluierung eine Evaluierung dimensionaler Merkmale der Eingangsdaten umfassen, um dadurch die Fahrbahnschwelle auf der Basis der Höhe der mit Bezug auf die Straße in der Szene erhöhten Fahrbahnschwelle zu detektieren.
Gegebenenfalls kann auf der Basis der detektierten Fahrbahnschwelle eine Steuerung des Fahrzeugs ausgeführt werden, wobei die Steuerung insbesondere Bremsfunktionen und/oder eine Aufhängungssteuerung und/oder ein autonomes Fahren umfasst. Dies erlaubt das zuverlässige Betrachten von Fahrbahnschwellen während des Fahrens des Fahrzeugs.
In einem anderen Aspekt der Erfindung kann ein Computerprogramm bereitgestellt werden, insbesondere ein Computerprogrammprodukt, das Anweisungen umfasst, die, wenn das Computerprogramm durch einen Computer ausgeführt wird, bewirken, dass der Computer das Verfahren gemäß der Erfindung ausführt. Das Computerprogramm gemäß der Erfindung kann somit dieselben Vorteile aufweisen, die ausführlich unter Bezugnahme auf ein Verfahren gemäß der Erfindung beschrieben wurden.
In einem anderen Aspekt der Erfindung kann eine Vorrichtung zur Datenverarbeitung bereitgestellt werden, die dafür ausgelegt ist, das Verfahren gemäß der Erfindung auszuführen. Als die Vorrichtung kann zum Beispiel ein Computer bereitgestellt werden, der das Computerprogramm gemäß der Erfindung ausführt. Der Computer kann mindestens einen Prozessor umfassen, der verwendet werden kann, um das Computerprogramm auszuführen. Außerdem kann ein nichtflüchtiger Datenspeicher bereitgestellt werden, in dem das Computerprogramm gespeichert werden kann und aus dem das Computerprogramm durch den Prozessor zur Ausführung ausgelesen werden kann.
Gemäß einem anderen Aspekt der Erfindung kann ein Computer-lesbares Speicherungsmedium bereitgestellt werden, das das Computerprogramm gemäß der Erfindung umfasst. Das Speicherungsmedium kann als eine Datenspeicherungs- Vorrichtung, wie etwa eine Festplatte und/oder ein nichtflüchtiger Speicher und/oder eine Speicherkarte und/oder ein Halbleiterlaufwerk gebildet sein. Das Speicherungsmedium kann zum Beispiel in den Computer integriert sein.
Ferner kann das Verfahren gemäß der Erfindung als Computer-implementiertes Verfahren implementiert werden.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung gehen aus der folgenden Beschreibung hervor, in der Ausführungsformen der Erfindung ausführlich unter Bezugnahme auf die Zeichnungen beschrieben werden. In dieser Verbindung können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale für die Erfindung einzeln oder in einer beliebigen Kombination wesentlich sein. Es zeigen schematisch:
Fig. 1 eine beispielhafte Architektur von Ausführungsformen der Erfindung.
Fig. 2 eine 3D-Tiefenkarte einer Szene mit einer Schwelle
Fig. 3 eine Visualisierung der Ausgabe.
Fig. 4 eine Höhe-über-Boden-Karte für eine beispielhaft gegebene Szene.
Fig. 5 eine weitere Beispielsszene.
Fig. 6 eine Höhe-über-Boden-Verteilung in einem Straßenbereich.
Fig. 7 eine Höhe-über-Boden-Verteilung in einem Bereich, der eine Schwelle enthält.
Fig. 8 eine Klassifikation von Segmenten als Straßen- und Schwellensegmente.
Fig. 9 verschiedene Schwellensegmentdetektionen.
Fig. 10 einzelne Schwellensegmente und ein resultierendes Schwellenobjekt. Fig. 11 eine andere Beispielsszene.
Fig. 12 ein Straßenprofil.
Fig. 13 Detektionsbeispiele.
Fig. 14 weitere Detektionsbeispiele.
Fig. 15 eine Visualisierung eines Verfahrens, eines Computerprogramms und einer Vorrichtung gemäß Ausführungsformen der Erfindung.
In den folgenden Figuren werden für dieselben technischen Merkmale selbst in verschiedenen Ausführungsbeispielen identische Bezugszeichen verwendet.
Fig. 1 zeigt eine beispielhafte Architektur von Ausführungsformen der Erfindung. Die gezeigten Verfahrensschritte betreffen den Algorithmus 113 und seine Eingaben 111 und Ausgaben 112, wie im Folgenden ausführlicher beschrieben werden wird.
Die funktionalen Mittel zum Bereitstellen der Verfahrensschritte in Bezug auf die Schwellendetektion können als Schwellendetektionskomponente bezeichnet werden. Gemäß Fig. 1 können die folgenden Eingaben 111 von der Schwellendetektionskomponente benötigt werden: eine 3D-Tiefenkarte 121 , eine Straßenoberflächenschätzung 122 (planar oder nicht planar), die auch als Straßenoberflächenmodell 122 bezeichnet wird, und insbesondere eine semantische Segmentierung 123 der Szene/Straße und/oder einen Lenkwinkel 124 des Fahrzeugs. Unter Verwendung dieser Eingaben 111 kann der Algorithmus 113 zuerst die Eingaben 111 prüfen 131 und dann eine Merkmalakkumulation 132 durchführen. Die Merkmalakkumulation 132 kann auch Ergebnisse aus dem Straßenoberflächenmodell 122 und der semantischen Segmentierung 123 benutzen. Außerdem kann die 3D-Tiefenkarte 121 für die Merkmalakkumulation 132 vewendet werden. Unter Verwendung der resultierenden Höhe über dem Boden kann eine Segmentklassifizierung 133 durchgeführt werden. Danach können unter Verwendung der Schwellensegmente eine Schwellenobjektclusterung und -detektion 134 ausgeführt werden. Die resultierenden Schwellenobjekte können verwendet werden, um eine Schwellenobjektliste 141 zu erzeugen, die insbesondere Schwellenobjekte enthält, die unter Verwendung eines zweidimensionalen Umrandungskastens, der Distanz- und der Höheninformationen beschrieben werden. Ferner kann unter Verwendung der Ergebnisse aus der Clusterung und Detektion 143 ein Straßenhöhenprofil 142 erzeugt werden.
Die 3D-Tiefenkarte kann als Haupteingabe (siehe Fig. 2) betrachtet werden. In dieser Karte enthält jedes Pixel die geschätzte Tiefe zwischen dem Sensor, insbesondere der Kamera 40 (siehe Fig. 15), und dem zugeordneten 3D-Weltort. Dies lässt sich im Fall von Monokameras aus Flussschätzung und Tiefenberechnung und im Fall von Stereokameras aus Stereovision erhalten. Es kann hauptsächlich verwendet werden, um die Höhe-über-Boden-Karte zu berechnen und die 3D-Attribute von Schwellenobjekten zu schätzen.
Eine zweite notwendige Eingabe kann die Straßenoberflächenschätzung sein, die eine planare Schätzung oder eine nichtplanare Schätzung sein kann. Im Fall eines planaren Modells kann sie durch den normalen Vektor und die Höhe der Ebene beschrieben werden. Sie kann verwendet werden, um die Distanz zwischen einem 3D-Punkt und der Straße zu schätzen.
Semantische Segmentierung der Szene/Straße ist auch eine optionale Eingabe, die während der Merkmalakkumulation per Zurückweisung von Bürgersteigen und anderen erhöhten Strukturen, die nicht Teile von Schwellen sind, hilft. Eine Information über den Lenkungswinkel ist eine andere optionale Eingabe, die verwendet werden kann, um die Detektionskomponente während des Links- und Rechtsabbiegens des Fahrzeugs zu deaktivieren.
Die Ausgabe des Detektionsalgorithmus kann Schwellenobjekte in der Szene sein. Für jedes Schwellenobjekt kann es zugordnete 2D-Daten und 3D-Daten geben. 2D-Daten repräsentieren den Umrandungskasten der Fahrbahnschwelle im Bildraum. 3D- Datenattribute beziehen sich auf die Distanz zur Fahrbahn- schwelle (zwischen Kamera und Schwelle) und die Höhe über dem Boden der Fahrbahnschwelle (relativ zur Straßenoberfläche). Zusätzlich wird für jedes Schwellenobjekt eine Konfidenzbewertung zwischen 0 und 100 berechnet. Fig. 3 zeigt die Visualisierung der Ausgabe.
Ein erster Schritt eines Verfahrens gemäß Ausführungsformen der Erfindung kann ein Merkmalakkumulationsschritt sein. In diesem Schritt kann das Höhe- über-Boden-Merkmal berechnet und eine statistische Analyse an der Verteilung von Höhenwerten entlang jeder Sprosse in der Suchregion durchgeführt werden. Fig. 4 zeigt eine Höhe-über-Boden-Karte für eine beispielhaft gegebene Szene. Entlang jeder Sprosse kann eine Höhe-über-Boden-Verteilung berechnet werden, insbesondere auf der Basis der Pixel, die die folgenden Bedingungen erfüllen: gültige Tiefe, statisch (nicht dynamisch), relativ flache Region (auf der Basis der lokalen Oberflächennormale), klassifiziert als Teil des Straßenbereichs durch semantische Segmentierung. Unter Verwendung der Höhe-über-Boden-Karte und der obigen Filterungsbedingungen können die Verteilungen der Höhenwerte entlang jeder Sprosse berechnet werden. Es können Mittelwert und Standardabweichung jeder Verteilung berechnet werden, insbesondere gefolgt von einem Ausreißer-Entfernungsprozess, was zu einer genaueren Mittlere-Höhe- Schätzung führt.
Fig. 5 zeigt eine andere Beispielsszene, wobei die Sprosse 501 eine Straßensprosse repräsentiert und die Sprosse 502 ein Schwellenobjekt enthält. Diese können jeweils eine Stichprobenregion 501 , 502 bilden, und Fig. 6 und Fig. 7 zeigen die Verteilung von Höhenwerten für diese Stichprobenregionen 501 , 502. Gemäß Fig. 6 enthält die Höhe-über-Boden-Verteilung in einem Straßenbereich 501 auch einen kleinen Teil eines Bürgersteigs 601. Die Bürgersteigregion 601 kann als Ausreißer betrachtet und gefiltert werden. Der Mittelwert der übrigen Einlieger ist nahe bei 0 Meter, entsprechend einem Fleck auf der Straße (nicht erhöht). Gemäß Fig. 7 ist die Höhe-über-Boden-Verteilung in einem Bereich 502, der eine Schwelle enthält, gezeigt.
Fig. 8 zeigt die Klassifikation von Segmenten als Straßen- und Schwellensegmente. Jede Sprosse der interessierenden Suchregion 801 kann in eine der zwei Klassen eingeteilt werden: erhöhtes Schwellensegment und flaches Straßen- segment. Ein erhöhtes Schwellensegment kann ein Segment sein, das dichte 3D-Daten und eine Höhe über dem Boden aufweist, die über einer Schwelle liegt (wobei auch der Höhe-über-Boden-Fehler in dieser Distanz berücksichtigt wird). Außerdem kann die Gültigkeit eines Schwellensegments durch die Standardabweichung von Höhenmessungen beeinflusst werden (Verteilung mit hoher Höhenstandardabweichung kann nicht berücksichtigt werden). Fig. 8 zeigt ein Beispiel von vier einzelnen detektierten Schwellensegmenten 802.
Gemäß Ausführungsformen der Erfindung kann ein Höhenfehlermodell verwendet werden. Beim Klassifizieren von Segmenten in Schwellen- und Nicht- Schwellen-Klassen auf der Basis der mittleren Höhe kann es hilfreich sein, den Höhenfehler in verschiedenen Distanzen zu berücksichtigen. Die Berechnung des zulässigen Fehlers im Fall jedes Schwellensegmentkandidaten kann somit notwendig sein. Im Fall eines Monokamerasystems kann der Höhenfehler auf Berechnung des Tiefenfehlers und Propagieren dieses zu dem Höhenfehler basieren. Der Tiefenfehler in der Distanz x kann sein, wobei t auf einen metrischen Maßstab (gefahrene Distanz) bezogen ist, ro auf die Bilddistanz zwischen 2D-Punkt und Fokus der Expansion (gemessen in Pixeln) bezogen ist, ot auf einen metrischen Maßstabsfehler bezogen ist, crfoe auf den Fokus-der-Expansion-Fehler bezogen ist und crF/uss auf den optischen Flussfehler bezogen ist.
Es kann angenommen werden, dass der Tiefenfehler entlang einer Sprosse ungefähr gleich ist. Somit kann nur ein Höhenfehler berechnet werden (aj:
= | t?| ■ ffx, wobei v als vertikale normierte Koordinate bezeichnet werden kann.
Ein Schwellensegment kann mehrere Höhenmessungen enthalten. Je höher die Anzahl der Messungen ist, desto kleiner ist der theoretische Fehler. Dies kann modelliert werden durch ffschwefts = wobei n die Anzahl der Höhenmessun- gen ist, die zur Berechnung der mittleren Höhe beigetragen haben. Im Folgenden wird die Semantische-Segmentierung-Maskierung ausführlicher beschrieben. Unter Verwendung nur von 3D-Daten kann es in einigen Szenarien nicht möglich sein, Fahrbahnschwellen von anderen erhöhten Strukturen neben ihnen (zum Beispiel Bürgersteigen) zu trennen. Fig. 8 und Fig. 9 zeigen ein Beispiel, bei dem die Schwelle 902 und der Bürgersteig 903 ungefähr dieselbe Höhe aufweisen (siehe Markierung 901 in Fig. 9a), wodurch die Trennung nur unter Verwendung von 3D-Daten schwierig wird. Unter Verwendung von semantischer Segmentierung, die Straße, Bürgersteige, Fahrzeuge und Bordsteine mit einer verschiedenen Klasse kennzeichnet, ist es möglich, die Schwelle genau abzugrenzen, wie in Fig. 9 ersichtlich ist. Die Straßenmaske 904, die durch semantische Segmentierung bereitgestellt wird, kann im Kontext der Schwellendetektion zur Filterung von Höhenwerten während der Akkumulation verwendet werden, aber auch beim Konstruieren des 2D-Ausgabe-Umrandungskastens. Fig. 9a zeigt eine Schwellensegmentdetektion ohne Straßenmaske. Fig. 9b zeigt eine Semantische-Segmentierung-Ausgabe, und der Bürgersteig ist hier Teil der Klasse „Andere“ und hat nichts zugeordnetes. In Fig. 9c werden die Schwellensegmente 902 nach Anwendung der Straßenmaske bereitgestellt.
In Fig. 10a sind einzelne Schwellensegmente 1001 gezeigt, die sich sowohl in 2D als auch in 3D in der Nähe voneinander befinden. In Fig. 10b ist ein Schwellenobjekt 1002 gezeigt, das sich aus Zusammenführung von einzelnen Schwellensegmenten ergeben hat. Auf der Basis der zuvor detektierten Schwellensegmente kann eine Clusterung durchgeführt werden, wobei angrenzende Schwellensegmente zu einem einzigen Schwellenobjekt zusammengeführt werden. Um zwei Segmente zusammenzuführen, kann es notwendig sein, dass sie sich sowohl im 2D- als auch im 3D-Raum in der Nähe voneinander befinden.
Während der Verarbeitung von Höhenverteilungen kann jede Sprosse in der interessierenden Region einer geschätzten Tiefe und einer geschätzten Höhe über dem Boden zugeordnet sein. Auf der Basis dieser gefilterten Tiefen-Höhen- Messungen kann ein longitudinales Straßenprofil berechnet werden. Fig. 11 zeigt eine detektierte Schwelle 1101 in 6 Meter Entfernung, während in Fig. 12 das zugeordnete Straßenhöhenprofil zu sehen ist. Die Punkte 1201 repräsentieren als Straße klassifizierte Messungen. Die Punkte 1202 repräsentieren der Fahr- bahnschwelle 30 entsprechende erhöhte Punkte. Die Linie 1203 repräsentiert das theoretische Höhenfehlermodell in verschiedenen Distanzen. Punkte über der Linie 1203 haben eine höhere Wahrscheinlichkeit, als erhöht klassifiziert zu werden.
Ferner kann das Verfahren gemäß Ausführungsformen der Erfindung eine auf Fluss basierende Verfolgung umfassen. Im Fall einer rauschbehafteten 3D- Tiefenkarte sind Falschdetektionen möglich. Um die Auswirkung sporadischer Falschdetektionen zu mindern, kann eine auf Fluss basierende Bestätigung verwendet werden. Anhand eines Rückwärtsflusses kann der Mittelwert des Flusses entlang jedes Schwellensegments berechnet werden. Die mittleren Flussvektoren stellen Orte bereit, die im vorherigen Einzelbild geprüft werden können. Im Fall einer Detektion im aktuellen Einzelbild, die auch im vorherigen Einzelbild erscheint, und wenn beide unter Verwendung von optischem Fluss verglichen werden, wird die Detektion im aktuellen Einzelbild bestätigt. Andernfalls wird sie gefiltert.
Das Verfahren gemäß Ausführungsformen der Erfindung kann durch ein Computerprogramm 20, wie in Fig. 15 gezeigt, zum Beispiel in C++ implementiert, ausgeführt werden. Das Computerprogramm 20 kann auf einem Computer laufen, der sich in einem Fahrzeug 1 befindet, und/oder in Echtzeit und/oder auf der Kamera 40, wie etwa einer Monokamera 40, des Fahrzeugs. Ferner kann das Verfahren in eine adaptive Tempomatfunktion integriert werden.
Ferner zeigen Fig. 13 und 14 die Detektion einer Fahrbahnschwelle 30 im Fall verschiedener Szenarien.
Fig. 15 zeigt ferner das Verfahren 100 zum Detektieren von Fahrbahnschwellen 30 mit einem ersten Verfahrensschritt 101 zum Erhalten der Eingangsdaten 111. Die Eingangsdaten 111 können mindestens teilweise aus einer Sensordetektion einer Umgebung des Fahrzeugs 1 resultieren und umfassen mindestens eine Szenenrepräsentation 201 , wie etwa ein Eingangsbild 201 und eine entsprechende Tiefenkarte 121 . Die Szenenrepräsentation 201 kann eine Szene der Umgebung repräsentieren, und die Tiefenkarte 121 kann Distanzen in der Szene angeben. Gemäß einem zweiten Verfahrensschritt 102 kann eine Straßenober- flächenschätzung 122 in der Szene auf der Basis der Eingangsdaten 111 erhalten werden. Gemäß einem dritten Verfahrensschritt 103 kann dann eine Fahrbahnschwelle 30 in der Szene auf der Basis einer Evaluierung der Tiefenkarte 121 und der Straßenoberflächenschätzung 122 detektiert werden.
Die obige Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung im Kontext von Beispielen. Natürlich können einzelne Merkmale der Ausführungsformen frei miteinander kombiniert werden, solange dies technisch vernünftig ist, ohne vom Schutzumfang der vorliegenden Erfindung abzuweichen.

Claims

Ansprüche
1. Verfahren (100) zum Detektieren von Fahrbahnschwellen (30), das die folgenden Schritte umfasst:
Erhalten (101) von Eingangsdaten (111), wobei die Eingangsdaten (111) mindestens teilweise aus einer Sensordetektion einer Umgebung eines Fahrzeugs (1) resultieren, die Eingangsdaten (111) mindestens eine Szenenrepräsentation (201) und eine entsprechende Tiefenkarte (121) umfassen, die Szenenrepräsentation (201) eine Szene der Umgebung repräsentiert und die Tiefenkarte (121) Distanzen in der Szene angibt, Erhalten (102) einer Straßenoberflächenschätzung (122) in der Szene auf der Basis der Eingangsdaten (111),
Detektieren (103) einer Fahrbahnschwelle (30) in der Szene auf der Basis einer Evaluierung der Tiefenkarte (121) und der Straßenoberflächenschätzung (122).
2. Verfahren (100) nach Anspruch 1 , dadurch gekennzeichnet, dass die Evaluierung Folgendes umfasst:
Bestimmen einer Höhe-über-Boden-Karte, wobei die Höhe-über-Boden- Karte eine Höhe von Oberflächen in der Szene angibt, wobei die Höhe- über-Boden-Karte auf der Basis der Tiefenkarte (121) und der Straßenoberflächenschätzung (122) und insbesondere auf der Basis einer semantischen Segmentierung (123) der Szene bestimmt wird,
Bestimmen von mehreren Höhenverteilungen von Höhenwerten entlang der Straße, insbesondere für verschiedene Sprossen entlang der Straße, auf der Basis der bestimmten Höhe-über-Boden-Karte, insbesondere für die angegebene Höhe von Oberflächen in der Szene,
Klassifizieren der bestimmten Höhenverteilungen in mindestens ein erhöhtes Schwellensegment und ein flaches Straßensegment auf der Basis der Höhenwerte.
3. Verfahren (100) nach Anspruch 2, dadurch gekennzeichnet, dass die Tiefenkarte (121) die Distanzen für verschiedene Elemente, die der Szene entsprechen, insbesondere Pixel, angibt, wobei die Höhe-über-Boden-Karte auf der Basis einer elementweisen Untersuchung jedes der Elemente bestimmt wird, wobei die elementweise Untersuchung eine Untersuchung von Bedingungen umfasst, insbesondere ob das jeweilige Element eine statische und/oder flache Struktur repräsentiert, insbesondere in einer gültigen Tiefe, und/oder ob das jeweilige Element durch die semantische Segmentierung als ein Straßenbereich klassifiziert wird.
4. Verfahren (100) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Klassifizieren auf der Basis eines Höhenfehlerfelds ausgeführt wird, um dadurch einen Höhenfehler für die angegebene Höhe von Oberflächen in der Szene in verschiedenen Distanzen in der Szene zu betrachten.
5. Verfahren (100) nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Evaluierung ferner Folgendes umfasst:
Zusammenführen von angrenzenden Schwellensegmenten zu einem einzigen Schwellenobjekt.
6. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Schwellenobjekt auf der Basis der Detektion (103) erhalten wird, wobei das Schwellenobjekt die Fahrbahnschwelle (30) durch dreidimensionale Attribute, insbesondere Distanz und Höhe, repräsentiert.
7. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Evaluierung eine Evaluierung dimensionaler Merkmale der Eingangsdaten umfasst, um dadurch die Fahrbahnschwelle (30) auf der Basis der Höhe der mit Bezug auf die Straße in der Szene erhöhten Fahrbahnschwelle (30) zu detektieren.
8. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Basis der detektierten Fahrbahnschwelle (30) eine Steuerung des Fahrzeugs (1) ausgeführt wird, wobei die Steuerung insbe- sondere Bremsfunktionen und/oder eine Aufhängungssteuerung und/oder ein autonomes Fahren umfasst.
9. Computerprogramm (20), das Anweisungen umfasst, die, wenn das Compu- terprogramm (20) durch einen Computer (10) ausgeführt wird, bewirken, dass der Computer (10) das Verfahren (100) nach einem der vorhergehenden Ansprüche ausführt
10. Datenverarbeitungsvorrichtung (10), die Mittel zum Ausführen des Verfahrens (100) nach einem der Ansprüche 1 bis 8 umfasst.
EP24704733.5A 2023-03-13 2024-02-08 Verfahren zum erkennen von fahrbahnschwellen Pending EP4681178A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023202247.8A DE102023202247A1 (de) 2023-03-13 2023-03-13 Verfahren zum Erkennen von Fahrbahnschwellen
PCT/EP2024/053152 WO2024188548A1 (de) 2023-03-13 2024-02-08 Verfahren zum erkennen von fahrbahnschwellen

Publications (1)

Publication Number Publication Date
EP4681178A1 true EP4681178A1 (de) 2026-01-21

Family

ID=89905945

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24704733.5A Pending EP4681178A1 (de) 2023-03-13 2024-02-08 Verfahren zum erkennen von fahrbahnschwellen

Country Status (4)

Country Link
EP (1) EP4681178A1 (de)
CN (1) CN120958493A (de)
DE (1) DE102023202247A1 (de)
WO (1) WO2024188548A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854218B2 (en) * 2021-02-12 2023-12-26 Cnh Industrial Canada, Ltd. Systems and methods for terrain variation detection

Also Published As

Publication number Publication date
DE102023202247A1 (de) 2024-09-19
CN120958493A (zh) 2025-11-14
WO2024188548A1 (de) 2024-09-19

Similar Documents

Publication Publication Date Title
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE102013205950A1 (de) Detektion und Verfolgung einer Straßenstruktur
DE102011078615B4 (de) Objekterfassungsvorrichtung und objekterfassungsprogramm
EP2629243A1 (de) Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
DE102019115240A1 (de) Systeme und verfahren für die anwendung von landkarten zur verbesserung von objektverfolgung, fahrstreifenzuordnung und klassifizierung
DE102011117585A1 (de) Systeme und Verfahren zum Verfolgen von Objekten
DE102019216206A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Kehrtwendestrategie eines autonomen Fahrzeugs
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
DE102006012914A1 (de) System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug
DE102022134876A1 (de) STRAßENKARTENERSTELLSYSTEM UND VERFAHREN ZUR NUTZUNG
WO2022106414A2 (de) Verfahren und system zur annotation von sensordaten
DE102012023030A1 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
DE102022135002A1 (de) Straßenkartenerzeugungssystem und Verfahren zur Verwendung
DE102018123393A1 (de) Erkennung von Parkflächen
DE102024129386A1 (de) Verfahren und vorrichtung zur fahrerabsichtsprognose
DE102018100667A1 (de) Computersichtvorfusion und räumlich-zeitliche Verfolgung
WO2022042903A1 (de) Verfahren zur erkennung dreidimensionaler objekte, computerprogramm, maschinenlesbares speichermedium, steuergerät, fahrzeug und videoüberwachungssystem
DE102021206190A1 (de) Verfahren zur Erkennung von Objekten gesuchter Typen in Kamerabildern
WO2024188548A1 (de) Verfahren zum erkennen von fahrbahnschwellen
DE102021124680A1 (de) Verfahren zur Erfassung von Straßenbegrenzungen durch eine Erfassungsvorrichtung eines Fahrzeugs, Erfassungsvorrichtung und Fahrzeug
DE102011108468B4 (de) Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen
DE102018112171A1 (de) Verfahren zum Beurteilen von Objekten in einer Umgebung eines Kraftfahrzeugs anhand einer dreidimensionalen Fusionskarte, Steuereinrichtung; Fahrerassistenzsystem, Computerprogrammprodukt
DE102021209772A1 (de) Verfahren zum Betreiben von Radarsensoren
DE102022212575A1 (de) Verfahren zum Schätzen eines interessierenden Bereichs für eine Straßenoberfläche

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20251013

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR