-
Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs. Bei dem Verfahren werden mittels einer Sensoranordnung dreidimensionale Oberflächenkoordinaten der Oberfläche erzeugt. Ferner betrifft die Erfindung eine Vorrichtung zum Bestimmen der Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs. Die Vorrichtung umfasst eine Sensoranordnung, mittels welcher dreidimensionale Oberflächenkoordinaten der Oberfläche erzeugbar sind.
-
Das Verfahren und die Vorrichtung der vorliegenden Erfindung sind insbesondere für Fahrzeuge relevant, die automatisch oder teilautomatisch auf einer unbefestigten Fahrbahn fahren. In diesem Fall ist es besonders wichtig, dass zum Beispiel Schlaglöcher, Abhänge, Gräben, Hindernisse oder dergleichen sicher und zuverlässig erkannt werden. Insbesondere bei einem automatischen Fahren von Lastkraftwägen sollte die Beschaffenheit des zu befahrenden Untergrunds so genau wie möglich bekannt sein.
-
Es sind Sensoranordnungen bekannt, mit denen die Oberfläche einer Fahrbahn bzw. einer Fahrbahnumgebung dreidimensional vermessen werden kann. Für Anwendungen wie dem automatischen Fahren von Fahrzeugen ist die Messgenauigkeit dieser Sensoranordnungen jedoch nicht ausreichend. Häufig ist das Messrauschen zu groß oder es treten zu viele Messfehler auf.
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art anzugeben, mit welchen die Beschaffenheit der Oberfläche in der Umgebung eines Fahrzeugs, insbesondere in Fahrtrichtung eines Fahrzeugs, genauer bestimmt werden kann.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung mit den Merkmalen des Anspruchs 14 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
-
Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung gewonnen wird und anhand des Krümmungsverlaufs und/oder vertikaler Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt wird.
-
Durch die von der Sensoranordnung erzeugten dreidimensionalen Oberflächenkoordinaten wird bei dem erfindungsgemäßen Verfahren ein zweidimensionales Punktgitter für die Oberfläche in der Umgebung des Fahrzeugs definiert. Die Oberflächenkoordinaten umfassen zwei Horizontalkoordinaten. Ferner enthalten sie eine Vertikalkoordinate oder Höhenkoordinate, die für einen durch die Horizontalkoordinaten definierten Punkt angibt, in welcher Höhe sich die Oberfläche befindet. Im Folgenden beziehen sich Begriffe wie „oben“ und „unten“ auf eine vertikale Richtung, d. h. auf die Richtung der Wirkung der Gravitationskraft auf der Erde.
-
Bei dem erfindungsgemäßen Verfahren wird aus den dreidimensionalen Oberflächenkoordinaten in zumindest einer Richtung ein Krümmungsverlauf der Oberfläche gewonnen, und zwar durch eine Approximation. Im Gegensatz zu einer Interpolation werden in diesem Fall nicht nur Zwischenkoordinaten zwischen den mittels der Sensoranordnung gemessenen bzw. erzeugten dreidimensionalen Oberflächenkoordinaten gewonnen, sondern es wird unter Verwendung der dreidimensionalen Oberflächenkoordinaten als Stützstellen eine Kurve oder Fläche gewonnen, welche sich den zugrunde gelegten dreidimensionalen Oberflächenkoordinaten nur annähern muss. Auf diese Weise kann der Krümmungsverlauf der realen Oberfläche in der Umgebung des Fahrzeugs genauer reproduziert werden. Zur Kennzeichnung der Beschaffenheit der Oberfläche werden dann der auf diese Weise gewonnene Krümmungsverlauf und/oder vertikale Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten bestimmt. Da die Kurve oder Fläche der Approximation nicht durch die dreidimensionale Oberflächenkoordinate gehen muss, auf Basis welcher die Approximation gewonnen wurde, kann sich ein solcher vertikaler Abstand ergeben. Der vertikale Abstand ist somit die Differenz der Höhenkoordinaten der dreidimensionalen Oberflächenkoordinaten und der Kurve oder Fläche der Approximation für dieselben Horizontalkoordinaten. Der vertikale Abstand umfasst auch ein Vorzeichen, d. h. die Information, ob die Kurve oder Fläche der Approximation oberhalb oder unterhalb der dreidimensionalen Oberflächenkoordinaten liegt.
-
Es wurde gefunden, dass der Wert dieses vertikalen Abstands zusätzlich zu dem Krümmungsverlauf der approximierenden Kurve oder Fläche die Beschaffenheit der Oberfläche so kennzeichnen kann, dass die Oberfläche hinsichtlich einer möglichen Befahrbarkeit durch das Fahrzeug geeignet klassifiziert werden kann.
-
Vorteilhafterweise ist es durch das erfindungsgemäße Verfahren möglich, auch bei einem starken Messrauschen bei der Erfassung der Oberfläche in der Umgebung des Fahrzeugs eine zuverlässige Bestimmung des Oberflächenverlaufs zu erhalten. Auf diese Weise kann die Beschaffenheit der Oberfläche in der Umgebung des Fahrzeugs zuverlässig bestimmt werden.
-
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird die Approximation des Krümmungsverlaufs anhand einer approximierenden Splinekurve durchgeführt. Die approximierende Splinekurve nähert sich dabei ihren Stützstellen an. Die Stützstellen werden in diesem Fall von den mittels der Sensoranordnung erzeugten dreidimensionalen Oberflächenkoordinaten bzw. einer Teilmenge dieser Oberflächenkoordinaten gewonnen. Die approximierende Splinekurve beschreibt einen glatten Kurvenverlauf, der durch die Stützstellen bestimmt wird, ohne dass die Kurve notwendigerweise durch die Stützstellen verlaufen muss.
-
Bei der approximierenden Splinekurve kann es sich um eine so genannte Basis-Splinekurve, die auch als B-Splinekurve bezeichnet wird, handeln. Bei einer Basis-Splinekurve wird eine Basisfunktion verwendet. zum Beispiel werden zur Bestimmung eines Punktes an einer bestimmten Stelle auf der Kurve die einzelnen Stützstellen anhand der Werte der Basisfunktion an dieser Stelle gewichtet. Die Gewichtung wird insbesondere so gewählt, dass der Einfluss einer Stützstelle mit zunehmender Entfernung von der Stelle abnimmt.
-
Als Erweiterung der Basis-Splinekurve kann ein NURBS (non-uniform rational B-spline) verwendet werden, bei der die Stützstellen gewichtet sind. Des Weiteren können Bézier-Splines oder so genannte P-Splines verwendet werden, bei denen auf die Basis-Splinekurve eine zusätzliche Kostenfunktion angewandt wird.
-
Durch approximierende Splinekurven kann vorteilhafterweise der Krümmungsverlauf der Oberfläche zumindest in einer bestimmten Richtung sehr genau und zuverlässig bestimmt werden.
-
Die Klassifikation kann dann in Abhängigkeit von dem Krümmungsverlauf der approximierenden Splinekurve durchgeführt werden.
-
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird basierend auf den dreidimensionalen Oberflächenkoordinaten, die in Querrichtung zu einer Fahrtrichtung des Fahrzeugs verlaufen, eine Approximation des Krümmungsverlaufs in Querrichtung gewonnen. Die Klassifikation wird dann in Abhängigkeit von dem Krümmungsverlauf in Querrichtung durchgeführt. Die Beschaffenheit der Oberfläche in der Umgebung des Fahrzeugs in Querrichtung ist besonders wichtig, um eine seitliche Begrenzung einer Fahrbahn zu ermitteln. Eine unbefestigte Fahrbahn kann beispielsweise von Gräben, Hängen oder anderen Oberflächenverläufen begrenzt sein, welche nicht befahrbar sind. Durch die approximierende Bestimmung des Krümmungsverlaufs in Querrichtung können sicher und zuverlässig solche seitlichen Begrenzungen mittels der Klassifikation bestimmt werden.
-
Alternativ oder zusätzlich kann auch basierend auf den Oberflächenkoordinaten, die in Längsrichtung zur Fahrtrichtung verlaufen, eine Approximation des Krümmungsverlaufs in Längsrichtung gewonnen werden. In diesem Fall wird dann alternativ oder zusätzlich die Klassifikation in Abhängigkeit von dem Krümmungsverlauf in Längsrichtung durchgeführt. Mittels des Krümmungsverlaufs in Längsrichtung können insbesondere Hindernisse in Fahrtrichtung des Fahrzeugs sicher und zuverlässig anhand der Klassifikation erkannt werden. Dies ist besonders beim automatischen Fahren des Fahrzeugs wichtig, damit das Fahrzeug nicht mit einem Hindernis in Fahrtrichtung des Fahrzeugs kollidiert.
-
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird basierend auf den Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der gesamten Oberfläche gewonnen. Anhand der dreidimensionalen Oberflächenkoordinaten wird somit eine kontinuierliche gekrümmte Fläche berechnet, welche die reale Oberfläche in der Umgebung des Fahrzeugs repräsentiert. In diesem Fall wird somit nicht nur jede Zeile in Querrichtung bzw. jede Spalte in Längsrichtung, d. h. in Fahrtrichtung, einer Höhenkarte, welche von den dreidimensionalen Oberflächenkoordinaten gebildet wird, durch eine approximierende Kurve beschrieben. Vielmehr wird die gesamte Höhenkarte mittels einer approximierenden Fläche, insbesondere einer von Splinekurven gebildeten Fläche, angenähert. In diesem Fall kann der Krümmungsverlauf in allen Richtungen ermittelt und zur Klassifikation der Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche genutzt werden.
-
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird anhand des Krümmungsverlaufs ein befahrbarer Bereich ermittelt. Einem zusammenhängenden befahrbaren Bereich wird eine Fahrbahn und einem dazu benachbarten Bereich eine Fahrbahnumgebung zugeordnet. Bei einem automatischen Fahren des Fahrzeugs kann anhand dieses befahrbaren Bereichs das Fahrzeug so gesteuert werden, dass nur Fahrmanöver ausgeführt werden, welche sicherstellen, dass das Fahrzeug sich immer auf dem befahrbaren Bereich, d. h. der Fahrbahn, befindet.
-
Unter einer Fahrbahn wird in dieser Schrift eine Oberfläche verstanden, welche zum Befahren durch das Fahrzeug geeignet ist. Bei der Fahrbahn handelt es sich insbesondere um eine unbefestigte Fahrbahn oder eine so genannte Offroad-Fahrbahn. Unter der Fahrbahnumgebung wird der zu der Fahrbahn benachbarte Bereich, insbesondere der Bereich seitlich neben der Fahrbahn bezüglich der Fahrtrichtung des Fahrzeugs verstanden.
-
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird einer ersten Klasse der Klassifikation eine Gruppe von dreidimensionalen Oberflächenkoordinaten zugeordnet, die im Mittel so weit unterhalb des approximierten Krümmungsverlaufs angeordnet sind, dass ein erster Grenzwert überschritten wird. Solche Oberflächenkoordinaten betreffen insbesondere eine Oberfläche, wie sie von einem Schlagloch gebildet ist. Der Grenzwert wird daher so festgelegt, dass die gemessenen Oberflächenkoordinaten sehr weit unterhalb des approximierten Krümmungsverlaufs liegen. Des Weiteren kann in diesem Fall die Gruppe der Oberflächenkoordinaten nur dann der ersten Klasse zugeordnet werden, wenn sie im befahrbaren Bereich der Oberfläche liegen, d. h. auf der Fahrbahn. Nur in diesem Fall ist beispielsweise ein Schlagloch für die Fahrt des Fahrzeugs relevant.
-
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird einer zweiten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet, bei dem ein zunehmend abfallender Krümmungsverlauf in einem definierten ersten Intervall in Querrichtung ermittelt wird. Die zweite Klasse zeichnet sich somit durch eine stärker abfallende Krümmung, zum Beispiel in der Splinekurve, aus. Durch die zweite Klasse können daher Bereiche bestimmt werden, die tatsächlich einem Abhang oder einem Graben entsprechen. Solche Abhänge oder Gräben sind insbesondere seitlich neben der Fahrbahn relevant. Das erste Intervall wird daher insbesondere in Querrichtung zur Fahrtrichtung definiert. Auf diese Weise kann ein Abhang oder ein Graben neben der Fahrbahn, d. h. in der Fahrbahnumgebung, erfasst werden. Gerade derartige Abhänge oder Gräben sind schwer zu erfassen, wenn nur die dreidimensionalen Oberflächenkoordinaten berücksichtigt werden, welche von der Sensoranordnung erzeugt worden sind.
-
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird einer dritten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet, bei dem ein zunehmend ansteigender Krümmungsverlauf und ein zunehmend abfallender Krümmungsverlauf in einem definierten zweiten Intervall einer Oberflächenrichtung ermittelt wird. Das zweite Intervall wird dabei insbesondere in einer Oberflächenrichtung auf der Fahrbahn definiert. Auf diese Weise kann eine Bodenwelle oder ein Schlagloch erfasst werden, bei denen innerhalb eines Intervalls ein zunehmend ansteigender und ein zunehmend abfallender Krümmungsverlauf vorliegt. Im Gegensatz zu einem Schlagloch liegen die dreidimensionalen Oberflächenkoordinaten jedoch nicht so weit unterhalb des approximierten Krümmungsverlaufs, dass der Bereich, welcher die Oberflächenkoordinaten umfasst, der ersten Klasse zuzuordnen wäre.
-
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird einer vierten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet, bei dem ein abrupter Anstieg der Höhenkoordinate mehrerer benachbarter Oberflächenkoordinaten ermittelt wird. Ein solcher abrupter Anstieg der Höhenkoordinate tritt bei größeren Hindernissen, wie geparkten Fahrzeugen oder Bäumen auf. Die Erfassung des Bereichs der Oberfläche der vierten Klasse kann zum einen dazu dienen, die Fahrbahnumgebung von der Fahrbahn abzugrenzen. Zum anderen können auf diese Weise Hindernisse in Fahrtrichtung des Fahrzeugs erkannt werden.
-
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine Fahrbahnbeschaffenheit anhand des Wertes der Streuung des vertikalen Abstands der Approximation des Krümmungsverlaufs von den Oberflächenkoordinaten ermittelt. Beispielsweise kann in diesem Fall für jede Oberflächenkoordinate die vertikale Abweichung der Approximation des Krümmungsverlaufs bestimmt werden. Auf diese Weise kann beispielsweise der Wert für die Rauigkeit der Fahrbahn und/oder der Wert für die durchschnittliche Unebenheit der Fahrbahn gewonnen werden. Übersteigen die Werte für die Rauigkeit oder die Werte für die durchschnittlichen Unebenheiten einen bestimmten Grenzwert, kann daraus gefolgert werden, dass die Oberfläche für das betreffende Fahrzeug nicht mehr befahrbar ist.
-
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden zeitlich aufeinanderfolgend dreidimensionale Oberflächenkoordinaten erzeugt und es wird jeweils, d. h. für jeden Satz dreidimensionale Oberflächenkoordinaten, der zu einem bestimmten Zeitpunkt aufgenommen worden ist, eine Approximation des Krümmungsverlaufs gewonnen. Anhand des Krümmungsverlaufs und/oder der vertikalen Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten wird anschließend ein Hindernis identifiziert und die Bewegung des Hindernisses wird anhand des zeitlichen Verlaufs der dem Hindernis zugeordneten dreidimensionalen Oberflächenkoordinaten ermittelt. Bewegte Hindernisse können auf diese Weise mittels mehrerer Messserien, in denen das Hindernis erkannt wird, verfolgt werden.
-
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden die Positionen der Auflageflächen der Räder des Fahrzeugs auf der Oberfläche bestimmt. Die voraussichtlichen Trajektorien der Positionen der Auflageflächen der Räder des Fahrzeugs werden anschließend ermittelt und für die voraussichtlichen Trajektorien wird die Befahrbarkeit der Oberfläche anhand der Klassifikation der zu den Trajektorien gehörigen Oberflächenkoordinaten geprüft. Die Positionen der Auflageflächen der Räder des Fahrzeugs können auf geometrische Weise bestimmt werden, da die Position der Sensoranordnung zu den Auflageflächen der Räder des Fahrzeugs bekannt ist. Aus der Bewegungsrichtung und gegebenenfalls der Geschwindigkeit des Fahrzeugs können dann die voraussichtlichen Trajektorien der Auflageflächen der Räder ermittelt werden. Es kann nun, wie vorstehend erläutert, bestimmt werden, ob sich auf diesen voraussichtlichen Trajektorien Schlaglöcher oder größere Hindernisse befinden, welche die Befahrbarkeit der Oberfläche einschränken oder welche dazu führen, dass die Oberfläche nicht mehr befahrbar ist. Diese Informationen können dann beim automatischen Fahren des Fahrzeugs berücksichtigt werden, um entsprechenden Schlaglöchern oder Hindernissen auszuweichen.
-
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden die dreidimensionalen Oberflächenkoordinaten mittels eines Stereobildes erzeugt. Dies hat den Vorteil, dass die dreidimensionalen Oberflächenkoordinaten mittels einer sehr kostengünstigen Sensoranordnung ermittelt werden können. Zudem werden auf diese Weise Bilddaten bereitgestellt, welche für weitere Zwecke verwendet werden können. Die dreidimensionalen Oberflächenkoordinaten, welche mittels eines Stereobildes gewonnen worden sind, besitzen jedoch den Nachteil, dass die Messungenauigkeiten zu groß sind, als dass die gewonnenen dreidimensionalen Oberflächenkoordinaten als Grundlage für die Steuerung des automatischen Fahrens ausreichen würden. Außerdem können Abhänge und andere seitliche Begrenzungen einer Fahrbahn nur unzureichend erkannt werden. Ferner werden Schlaglöcher und Gräben bei zu starkem Messrauschen nicht mehr zuverlässig erkannt. Bei dem erfindungsgemäßen Verfahren werden die erzeugten dreidimensionalen Oberflächenkoordinaten jedoch weiter verarbeitet. Es wird eine Approximation des Krümmungsverlaufs der Oberfläche durchgeführt. Vorteilhafterweise können hierdurch die Daten des Stereobildes so aufbereitet werden, dass gefährliche Bereiche, wie z. B. Abhänge, große Löcher oder seitliche Wassergräben, in der voraussichtlichen Spur des Fahrzeugs frühzeitig erkannt und umgangen werden können. Auf diese Weise können die Messprobleme herkömmlicher, Stereokamera-basierter Messsysteme überwunden werden. Mittels der Approximation des Krümmungsverlaufs kann in diesem Fall auch bei starkem Messrauschen eine zuverlässige Schätzung des Oberflächenverlaufs und einer möglichen Hangneigung durchgeführt werden.
-
Des Weiteren können die dreidimensionalen Oberflächenkoordinaten mittels eines Laserscanners gewonnen werden, welcher die Oberfläche in Fahrtrichtung in Querrichtung abtastet. Vorteilhaft an dieser Art der Gewinnung der dreidimensionalen Oberflächenkoordinaten ist, dass sie auch bei schlechten Wetterbedingungen und bei Nacht funktionieren. Die Abtastdichte ist gegenüber der Verwendung einer Stereokamera in Fahrtrichtung, d. h. orthogonal zur Rotationsrichtung des scannenden Systems, geringer. Dies kann dazu führen, dass Gräben und Schlaglöcher nicht erkannt werden. Bei dem erfindungsgemäßen Verfahren wird durch die Approximation des Krümmungsverlaufs jedoch sichergestellt, dass solche Oberflächenbeschaffenheiten sicher erkannt werden können. Die Verwendung des Laserscanners hat außerdem den Vorteil, dass abrupte Höhenänderungen in der Oberfläche sehr zuverlässig erkannt werden können.
-
Die erfindungsgemäße Vorrichtung zum Bestimmen der Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs ist gekennzeichnet durch eine Recheneinheit, welche ausgebildet ist, basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung zu gewinnen, und eine Klassifikationseinheit, mittels welcher anhand des Krümmungsverlaufs und/oder vertikalen Abständen der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der dreidimensionalen Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchzuführen.
-
Die erfindungsgemäße Vorrichtung ist ausgebildet, das vorstehend beschriebene erfindungsgemäße Verfahren auszuführen. Es weist daher dieselben Vorteile wie das erfindungsgemäße Verfahren auf.
-
Die Sensoranordnung der erfindungsgemäßen Vorrichtung umfasst insbesondere eine Stereokamera. Ferner kann als Sensoranordnung auch ein scannendes Lasermesssystem oder ein Laserschnitt-basiertes Messsystem eingesetzt werden. Das Laserschnitt-basierte Messsystem hat den Vorteil, dass es die Bodenebene sehr genau erfassen kann. Es hat jedoch nur eine sehr begrenzte Reichweite. Außerdem ist der Bauraumbedarf eines solchen Messsystems relativ hoch.
-
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung werden insbesondere in einem Fahrzeug, insbesondere einem Lastkraftwagen, eingesetzt, welcher ein System zum automatischen Fahren aufweist. Das Fahrzeug kann auf diese Weise ohne Fahrer automatisch auf einer unbefestigten Fahrbahn fahren. Das System zum automatischen Fahren wird dabei von dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung unterstützt. Es werden Informationen über die Beschaffenheit der Oberfläche in Fahrtrichtung des Fahrzeugs geliefert. Dabei wird ermittelt, welcher Bereich dieser Oberfläche befahrbar ist und somit als Fahrbahn geeignet ist. Ferner wird die Beschaffenheit der Fahrbahnumgebung ermittelt, so dass bei der Steuerung des Fahrzeugs berücksichtigt werden kann, welche Oberfläche in der Umgebung des Fahrzeugs für Fahrmanöver beim automatischen Fahren geeignet ist.
-
Die erfindungsgemäße Vorrichtung kann hierfür in dem Fahrzeug, welches das System zum automatischen Fahren aufweist, integriert sein. Die Sensoranordnung erfasst dabei die Oberfläche des Untergrunds in Fahrtrichtung des Fahrzeugs, wobei auch seitliche Bereiche vor dem Fahrzeug erfasst werden.
-
Im Folgenden wird die Erfindung anhand eines Ausführungsbeispiels im Detail mit Bezug zu den angefügten Figuren beschrieben.
- 1 zeigt eine Situation, in der das erfindungsgemäße Verfahren eingesetzt werden kann,
- 2 zeigt eine andere Situation, in der das erfindungsgemäße Verfahren eingesetzt werden kann,
- 3 zeigt schematisch den Aufbau eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung,
- 4 zeigt ein Beispiel für eine rekonstruierte Höhenkarte, wie sie bei einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens gewonnen wurde,
- 5 zeigt ein anderes Beispiel einer rekonstruierten Höhenkarte, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens gewonnen wurde,
- 6 veranschaulicht die Approximation des Krümmungsverlaufs der Oberfläche, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchgeführt wird,
- 7 veranschaulicht die Approximation des Krümmungsverlaufs der Oberfläche bei einer Offroad-Situation, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchgeführt wird, und
- 8 veranschaulicht die Approximation des Krümmungsverlaufs der Oberfläche, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens bei einem Befahren einer Landstraße mit seitlichen Gräben durchgeführt wird.
-
Im Folgenden wird zunächst mit Bezug zu den 1 und 2 die Situation erläutert, in welcher das erfindungsgemäße Verfahren durchgeführt wird:
-
Ein Fahrzeug 1 befährt eine unbefestigte Oberfläche. Das Fahrzeug 1 kann beispielsweise automatisch ohne die Unterstützung eines Fahrers fahren. Die unbefestigte Oberfläche umfasst eine Fahrbahn 2 und in Fahrtrichtung seitlich daneben eine Fahrbahnumgebung 3. Diese Fahrbahnumgebung 3 begrenzt die Fahrbahn 2. In dem in 1 gezeigten Beispiel umfasst die Fahrbahnumgebung 3 seitlich neben der Fahrbahn 2 Gräben 4. Bei dem in 2 gezeigten Beispiel wird die Fahrbahn 2 seitlich durch einen Erdwall 5 und durch Bäume 16 oder Pylonen begrenzt. Beim Befahren der Oberfläche bilden die Räder des Fahrzeugs 1 Auflageflächen 11 auf der Fahrbahn 2.
-
Wie es im Folgenden erläutert wird, kann mittels des Ausführungsbeispiels des erfindungsgemäßen Verfahrens und des Ausführungsbeispiels der erfindungsgemäßen Vorrichtung erkannt werden, welcher Bereich der Oberfläche in Fahrtrichtung des Fahrzeugs 1 befahrbar ist und daher der Fahrbahn zugeordnet werden kann. Ferner kann die Beschaffenheit der Oberfläche der Fahrbahn 2 sowie die Beschaffenheit der Fahrbahnumgebung 3 bestimmt werden.
-
Mit Bezug zu 3 wird ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 6 erläutert:
-
Die Vorrichtung 6 umfasst eine Stereokamera 7 und eine damit verbundene Bildverarbeitungseinheit 8. Die Stereokamera 7 und die Bildverarbeitungseinheit 8 bilden eine Sensoranordnung, mittels welcher dreidimensionale Oberflächenkoordinaten der Oberfläche in der Umgebung des Fahrzeugs 1, insbesondere in Fahrtrichtung des Fahrzeugs 1, erzeugbar sind. Mittels der Sensoranordnung kann somit eine dreidimensionale Höhenkarte der Oberfläche in Fahrtrichtung des Fahrzeugs 1 gewonnen werden.
-
Die Bildverarbeitungseinheit 8 ist mit einer Recheneinheit 9 verbunden, an welche sie die dreidimensionalen Oberflächenkoordinaten überträgt. Die Recheneinheit 9 ist ausgebildet, basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche zu gewinnen, wie es später mit Bezug zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert wird.
-
Die Recheneinheit 9 ist mit einer Klassifikationseinheit 10 verbunden, mittels welcher anhand des Krümmungsverlaufs und der vertikalen Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der Oberflächenkoordinaten zur Abgrenzung der Fahrbahn 2 von der Fahrbahnumgebung 3 und zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt wird, wie es auch später mit Bezug zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert wird.
-
In anderen Ausführungsbeispielen kann die Sensoranordnung auch ein scannendes Lasermesssystem, ein Laserschnitt-basiertes Messsystem oder ein anderes Messsystem verwenden, mit welchem dreidimensionale Oberflächenkoordinaten gewonnen werden können.
-
Die Vorrichtung 6 kann schließlich mit einer Steuerung 13 für das automatische Fahren des Fahrzeugs 1 gekoppelt sein. An diese Steuerung 13 werden alle Daten zur Beschaffenheit der Oberfläche, insbesondere der Fahrbahn 2 und der Fahrbahnumgebung 3, übertragen.
-
Im Folgenden wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens, welches von der vorstehend beschriebenen Vorrichtung 6 ausgeführt werden kann, mit Bezug zu den 4 bis 8 erläutert:
-
Die Stereokamera 7 der Sensoranordnung nimmt von dem Fahrzeug 1 aus in Fahrtrichtung zeitlich aufeinanderfolgende Stereobilder auf. Solche Bilder in verschiedenen Fahrsituationen sind in den 4, 5, 7 und 8 gezeigt. Die Bildverarbeitungseinheit 8 bearbeitet das Stereobild auf an sich bekannte Weise und gewinnt dreidimensionale Oberflächenkoordinaten. Dabei wird für ein horizontales Gitter die Höhenkoordinate für jeden Punkt des Gitters bestimmt. Zwischen den Punkten des horizontalen Gitters ergibt sich ein Abstand, welcher von der Auflösung der Stereokamera und der anschließenden Bildverarbeitung bestimmt ist. Die rekonstruierten Höhenkarten, welche von den dreidimensionalen Oberflächenkoordinaten gebildet werden und die aus den Bildern der Stereokamera 7 gewonnen wurden, sind als Netz 17 in den in den 4, 5, 7 und 8 gezeigten Bildern dargestellt.
-
Die dreidimensionalen Oberflächenkoordinaten umfassen dabei Koordinaten in Querrichtung zur Fahrtrichtung. Diese dreidimensionalen Oberflächenkoordinaten in Querrichtung werden auch als Zeile der dreidimensionalen Höhenkarte, die von den dreidimensionalen Oberflächenkoordinaten gebildet ist, bezeichnet. Ferner umfassen die dreidimensionalen Oberflächenkoordinaten Koordinaten in Längsrichtung zur Fahrtrichtung. Diese werden auch als Spalte der dreidimensionalen Höhenkarte bezeichnet.
-
Bei dem erfindungsgemäßen Verfahren wird basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung gewonnen. Im vorliegenden Ausführungsbeispiel wird diese Approximation des Krümmungsverlaufs zeilenweise, d. h. in Querrichtung zur Fahrtrichtung, durchgeführt. Die dreidimensionalen Oberflächenkoordinaten einer Zeile werden dabei als Stützstellen für eine approximierende Splinekurve verwendet. Bei dem Ausführungsbeispiel wird eine Basis-Splinekurve verwendet. Es können jedoch auch andere approximierende Splinekurven verwendet werden, wie sie eingangs erwähnt wurden. Auf diese Weise ergibt sich für jede Zeile der dreidimensionalen Höhekarte eine kontinuierliche Splinekurve.
-
In 6 sind schematisch solche Splinekurven 14 für mehrere Zeilen einer dreidimensionalen Höhenkarte dargestellt. Die approximierende Splinekurve 14 zeichnet sich dadurch aus, dass sie zwar von ihren Stützstellen, d. h. den dreidimensionalen Oberflächenkoordinaten einer Zeile, bestimmt wird, jedoch nicht notwendigerweise durch diese dreidimensionalen Oberflächenkoordinaten verläuft. Bei jeder der dreidimensionalen Oberflächenkoordinaten jeder Zeile kann sich somit ein vertikaler Abstand von der approximierenden Splinekurve 14 ergeben. Der Wert dieses vertikalen Abstands ist in 6 durch die Länge der Pfeile 15 bei einer entsprechenden dreidimensionalen Oberflächenkoordinate dargestellt.
-
Mithilfe der approximierenden Splinekurven 14 kann somit aus den dreidimensionalen Oberflächenkoordinaten zeilenweise eine kontinuierliche Oberfläche modelliert werden. Des Weiteren kann der Krümmungsverlauf auch in mehreren Richtungen approximiert werden, sodass es auch möglich ist, aus den dreidimensionalen Oberflächenkoordinaten eine kontinuierliche Oberfläche zu modulieren. Dies ist auch dann möglich, wenn ein höheres Messrauschen bei der Erzeugung der dreidimensionalen Oberflächenkoordinaten vorlag. Der Verlauf der Splinekurven 14 erlaubt nun eine Einteilung der gemessenen dreidimensionalen Oberflächenkoordinaten, d. h. der dreidimensionalen Höhenkarte, anhand verschiedener Kriterien. Zum einen kann der vertikale Abstand einer dreidimensionalen Oberflächenkoordinate zu der Splinekurve 14 berücksichtigt werden. Zum anderen kann der Krümmungsverlauf der Splinekurven 14 berücksichtigt werden.
-
Im Folgenden wird die Klassifikation der dreidimensionalen Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche erläutert, wie sie von der Klassifikationseinheit 10 durchgeführt wird:
-
Anhand des Krümmungsverlaufs der Splinekurven 14 wird zunächst ein für das Fahrzeug 1 befahrbarer Bereich ermittelt. Ein zusammenhängender befahrbarer Bereich wird als Fahrbahn 2 definiert. Die nicht befahrbare Umgebung dieses befahrbaren Bereichs wird als Fahrbahnumgebung 3 definiert.
-
Wenn eine einzelne dreidimensionale Oberflächenkoordinate in vertikaler Richtung erheblich von ihren benachbarten dreidimensionalen Oberflächenkoordinaten abweicht, wird diese dreidimensionale Oberflächenkoordinate als Ausreißer klassifiziert und im Folgenden unberücksichtigt gelassen.
-
Die gewonnenen dreidimensionalen Oberflächenkoordinaten können außerdem zeitlich gefiltert werden, um Fehlklassifizierungen einzelner dreidimensionaler Oberflächenkoordinaten zu korrigieren.
-
Eine Gruppe von dreidimensionalen Oberflächenkoordinaten, die im Mittel so weit unterhalb des approximierten Krümmungsverlaufs, d. h. unterhalb der Splinekurven 14, angeordnet sind, dass ein erster Grenzwert überschritten wird, wird einer ersten Klasse zugeordnet. In diese Klasse fallen Oberflächenkoordinaten, welche ein Schlagloch bilden, welches von dem Fahrzeug 1 nicht überfahren werden sollte. Der erste Grenzwert kann dabei durch im Voraus durchgeführte Messungen an Schlaglöchern, die eine bestimmte Tiefe aufweisen, gewonnen werden. Es werden in diesem Fall insbesondere dreidimensionale Oberflächenkoordinaten berücksichtigt, welche in Längsrichtung zur Fahrtrichtung verlaufen.
-
Des Weiteren wird ein Bereich der Oberfläche bestimmt, bei dem ein zunehmend abfallender Krümmungsverlauf in einem definierten ersten Intervall in Querrichtung bestimmt wurde. Dieser Bereich wird einer zweiten Klasse der Klassifikation zugeordnet. Die zweite Klasse soll insbesondere seitliche Abhänge und Gräben erfassen. Das erste Intervall verläuft daher in Querrichtung. Der Krümmungsverlauf wird dabei anhand einer Splinekurve 14 bestimmt, welcher aus einer Zeile der dreidimensionalen Höhenkarte der dreidimensionalen Oberflächenkoordinaten gewonnen wurde. Wenn diese Splinekurve eine stärker abfallende Krümmung aufweist, wird darauf geschlossen, dass in diesem Bereich ein Abhang oder Graben ist.
-
Ferner wird ein Bereich der Oberfläche ermittelt, bei dem ein zunehmend ansteigender Krümmungsverlauf und ein zunehmend abfallender Krümmungsverlauf in einem definierten zweiten Intervall einer Oberflächenrichtung ermittelt wird. Dieser Bereich wird einer dritten Klasse der Klassifikation zugeordnet. Diese dritte Klasse kennzeichnet Bodenwellen, kleinere Schlaglöcher oder eine Bewuchs. Das zweite Intervall ist dabei so gewählt, dass es in einer beliebigen Oberflächenrichtung verläuft und auf der Fahrbahn 2 angeordnet ist. Die dritte Klasse kann alternativ auch nur Bereiche der Oberfläche umfassen, welche sich durch eine stärker ansteigende Krümmung in der Splinekurve 14 auszeichnet.
-
Ferner wird ein Bereich der Oberfläche bestimmt, bei dem ein abrupter Anstieg der Höhenkoordinate mehrerer benachbarter Oberflächenkoordinaten ermittelt wird. Dieser Bereich wird einer vierten Klasse der Klassifikation zugeordnet. Die vierte Klasse umfasst größere Hindernisse, wie beispielsweise geparkte Fahrzeuge, Bäume oder dergleichen. Derartige größere Hindernisse können sowohl auf der Fahrbahn 2 als auch in der Fahrbahnumgebung 3 ermittelt werden.
-
Schließlich wird die Fahrbahnbeschaffenheit anhand des Wertes der Streuung des vertikalen Abstands der Splinekurven 14 von den jeweiligen Oberflächenkoordinaten ermittelt. Auf diese Weise kann ein Wert für die Rauigkeit der Fahrbahn und ein Wert für die durchschnittliche Unebenheit der Fahrbahn gewonnen werden.
-
Die dreidimensionalen Oberflächenkoordinaten werden von der Sensoranordnung zeitlich aufeinanderfolgend erzeugt. Während das Fahrzeug 1 fährt, werden sequentiell Stereobilder aufgenommen und daraus die dreidimensionalen Oberflächenkoordinaten gewonnen. Für jedes Stereobild, d. h. für jeden Satz dreidimensionaler Höhenkoordinaten, wird der Krümmungsverlauf mittels Splinekurven 14 approximiert. Anhand dieses Krümmungsverlaufs und dem vertikalen Abstand der Splinekurve 14 von der jeweiligen dreidimensionalen Oberflächenkoordinate kann wie vorstehend erläutert ein Hindernis identifiziert werden. Die Bewegung des Hindernisses kann dann aus dem zeitlichen Verlauf der dem Hindernis zugeordneten dreidimensionalen Oberflächenkoordinaten ermittelt werden. Hindernisse können auf diese Weise zeitlich verfolgt werden.
-
Die Klassifikationseinheit 10 erzeugt somit eine Klassifikation der dreidimensionalen Oberflächenkoordinaten der dreidimensionalen Höhenkarte anhand ihrer vertikalen Lage zur approximierenden Splinekurve 14 sowie anhand des Verlaufs der Splinekurve 14, insbesondere anhand des Krümmungsverlaufs der Splinekurve 14.
-
In 4 ist ein Beispiel gezeigt, bei dem im linken Teil das von der Stereokamera 7 aufgenommene Bild dargestellt ist. Diesem Bild überlagert ist eine rekonstruierte Höhenkarte, d. h. das aus den dreidimensionalen Oberflächenkoordinaten gebildete Netz 17, eingeblendet. Ferner ist im Bild ein laterales Höhenprofil 18 eingeblendet. Rechts von dem Bild ist die Klassifikation der dreidimensionalen Oberflächenkoordinaten anhand eines Graustufenbildes dargestellt. Die Darstellung der 4 betrifft dabei eine Fahrsituation auf einer Landstraße, bei der die Fahrbahn 2 seitlich von einem Graben sowie von einem Bürgersteig begrenzt ist. In den Graustufenbildern rechts neben dem wiedergegebenen Bild sind die unterschiedlichen Klassifikationen deutlich erkennbar. Insbesondere kann der befahrbare Bereich, d. h. die Fahrbahn 2, eindeutig identifiziert werden.
-
In 5 ist Entsprechendes für eine Fahrsituation auf einer unbefestigten Straße mit seitlichen Gräben dargestellt. Das Bild rechts unten in 5 zeigt die Klassifikation der dreidimensionalen Oberflächenkoordinaten. Es sind deutlich die beiden Gräben rechts und links von der Fahrbahn 2 zu erkennen. Dazwischen befinden sich die dreidimensionalen Oberflächenkoordinaten, welche als befahrbarer Bereich, d. h. als Fahrbahn 2, klassifiziert wurden.
-
In 7 ist unten das von der Stereokamera 7 aufgenommene Bild in einer Fahrsituation einer Offroad-Strecke mit seitlichem Gefälle rechts neben der Fahrbahn 2 dargestellt. Auch in diesem Fall ist die dreidimensionale Höhenkarte anhand eines Netzes 17 in das Bild eingeblendet. Im oberen Teil der 7 sind die Splinekurven 14 zur Repräsentation der Fahrbahn 2 und der Fahrbahnumgebung 3 dargestellt. Im rechten Teil dieser Splinekurven 14 kann anhand des Krümmungsverlaufs der Splinekurven 14 und anhand der vertikalen Abstände der dreidimensionalen Oberflächenkoordinaten von den Splinekurven 14 auf das starke seitliche Gefälle geschlossen werden. Dieser Bereich wird als nicht befahrbar klassifiziert.
-
In 8 ist das Bild der Stereokamera 7 für eine Fahrsituation auf einer Landstraße mit seitlichen Gräben rechts und links neben der Fahrbahn 2 dargestellt. Dem Bild überlagert ist wiederum die dreidimensionale Höhenkarte anhand eines Netzes 17 dargestellt. Oberhalb des Bildes sind die zugehörigen Splinekurven 14 zur Repräsentation der Umgebung dargestellt. Im Bereich rechts oben und links oben ergibt sich eine große Abweichung der Höhenkoordinate der dreidimensionalen Oberflächenkoordinate von der entsprechenden Höhenkoordinate der Splinekurven 14. Auf diese Weise werden die seitlichen Gräben erkannt und entsprechend werden die zugeordneten dreidimensionalen Oberflächenkoordinaten klassifiziert.
-
Bei einem Einsatz des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung bei einem Fahrzeug 1, welches automatisch fährt, werden die Auflageflächen 11 der Räder des Fahrzeugs 1 auf der Oberfläche bestimmt. Es wird dabei ein räumlicher Bezug zwischen den dreidimensionalen Oberflächenkoordinaten und den Auflageflächen 11 der Räder des Fahrzeugs 1 aus der räumlichen Anordnung der Auflageflächen 11 der Räder relative zu der Stereokamera 7 und dem Blickwinkel der Stereokamera 7 ermittelt. Anhand der in der Steuereinheit 13 vorliegenden Daten werden die voraussichtlichen Trajektorien der Auflageflächen 11 der Räder des Fahrzeugs 1 ermittelt. Für diesen Bereich, d. h. für die voraussichtlichen Trajektorien, wird von der Klassifikationseinheit 10 dann die Befahrbarkeit der Oberfläche geprüft. Es wird dabei die Klassifikation der dreidimensionalen Oberflächenkoordinaten berücksichtigt, welche auf den voraussichtlichen Trajektorien der Auflageflächen 11 der Räder des Fahrzeugs 1 liegen. Ferner kann ein benachbarter Bereich hierzu berücksichtigt werden. Wenn sich dabei beispielsweise ergibt, dass ein Schlagloch auf einer solchen Trajektorie liegt, wird ein entsprechendes Signal an die Steuereinheit 13 übertragen. Diese kann dann automatisch ein Fahrmanöver ausführen, bei welchem das Schlagloch umfahren wird. Ferner kann die Steuereinheit 13 anhand der von der Klassifikationseinheit 10 übertragenen Daten sicherstellen, dass das Fahrzeug 1 automatisch auf einem befahrbaren Bereich, d. h. auf der Fahrbahn 2, bewegt wird. Außerdem kann bei Fahrmanövern die Fahrbahnumgebung 3 berücksichtigt werden. Beispielsweise kann auch ein Baum, welcher die Fahrbahn 2 seitlich begrenzt, so berücksichtigt werden, dass das automatisch fahrende Fahrzeug 1 nicht seitlich oder oben mit diesem Hindernis kollidiert, selbst wenn sich die Auflageflächen 11 der Räder des Fahrzeugs 1 vollständig auf der Fahrbahn 2 befinden.
-
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 6 werden insbesondere bei einem Offroad-Einsatz von Lastkraftwagen verwendet. Beispielsweise können sie bei Lastkraftwagen eingesetzt werden, welche im Bergbau eingesetzt werden. Die Lastkraftwagen können in diesem Fall mit einem System zum automatischen Fahren ausgestattet sein, welches die erfindungsgemäße Vorrichtung 6 und das erfindungsgemäße Verfahren nutzt, um den Lastkraftwagen zu steuern. Des Weiteren können das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 6 bei einem Offroad-Einsatz eines Personenkraftwagens und bei einem Fahren auf unbefestigtem Grund verwendet werden. Es kann auf diese Weise ein Assistenzsystem bereitgestellt werden, welches zuverlässig Hindernisse und Schlaglöcher detektiert und dem Fahrer Informationen über die Fahrbahnbeschaffenheit ausgibt. Schließlich können das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 6 bei einem Offroad-Einsatz von Motorrädern und einem Fahren von Motorrädern auf unbefestigtem Grund verwendet werden. Auch in diesem Fall kann ein Assistenzsystem bereitgestellt werden, welches zuverlässig Hindernisse und Schlaglöcher detektiert. Bei einem Einsatz in Motorrädern kann das Assistenzsystem insbesondere auf gefährliche, besonders tiefe Schlaglöcher und auf Bodenunebenheiten hinweisen.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Fahrbahn
- 3
- Fahrbahnumgebung
- 4
- Graben
- 5
- Erdwall
- 6
- Vorrichtung
- 7
- Stereokamera
- 8
- Bildverarbeitungseinheit
- 9
- Recheneinheit
- 10
- Klassifikationseinheit
- 11
- Auflageflächen
- 13
- Steuerung
- 14
- Splinekurve
- 15
- Pfeil
- 16
- Bäume
- 17
- Netz
- 18
- laterales Höhenprofil