DE112017003108T5

DE112017003108T5 - Verbesserungen bei der fahrzeugsteuerung

Info

Publication number: DE112017003108T5
Application number: DE112017003108.7T
Authority: DE
Inventors: Hongshi Yan; Andrew Fairgrieve; Paul King
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2016-06-24
Filing date: 2017-06-22
Publication date: 2019-03-28
Also published as: US20200317194A1; WO2017220705A1; US11772647B2

Abstract

Ein Steuersystem (10, 19, 185C) für ein Fahrzeug (100), wobei das System ein Verarbeitungsmittel (10, 19) umfasst, das eingerichtet ist, um von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten in Bezug auf das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, Geländeinformationen zu empfangen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen (100), wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, wobei das Verarbeitungsmittel (10, 19) konfiguriert ist zum:
Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizieren, in den Bilddaten, von Kanten eines vorhergesagten Weges des Fahrzeugs;
Berechnen eines 3D Punktwolken-Datensatzes in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
Bestimmen der 3D-Koordinaten von Seitenrändern des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf den Punktwolken-Datensatz, basierend auf den Koordinaten von Kanten des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D-vorhergesagten Weg des Fahrzeugs zu bestimmen. und
Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit von zumindest teilweise des 3D-vorhergesagten Weges.

Description

EINSCHLUSS DURCH BEZUGNAHME
Der Inhalt der gemeinsam anhängigen Patentanmeldungen GB2507622 und GB2499461 wird hiermit unter Bezugnahme eingeschlossen. Der Inhalt des US-Patents Nr. US7349776 und der gemeinsam anhängigen Patentanmeldungen WO2013124321 und WO2014/139875 wird hiermit unter Bezugnahme eingeschlossen. Der Inhalt der britischen Patentanmeldungen GB2492748 , GB2492655 und GB2499279 und des britischen Patents GB2508464 wird ebenfalls hiermit unter Bezugnahme eingeschlossen.
GEBIET DER ERFINDUNG
Ein Aspekt der Erfindung betrifft ein System zum Steuern der Geschwindigkeit eines Fahrzeugs. Insbesondere, aber nicht ausschließlich, betrifft die Erfindung ein System zum Steuern der Geschwindigkeit eines Landfahrzeugs, das in der Lage ist, in einer Vielzahl unterschiedlicher und extremer Gelände und Bedingungen zu fahren.
Ein weiterer Aspekt der Erfindung betrifft ein System zum Steuern eines Fahrzeugs. Insbesondere, aber nicht ausschließlich, betrifft die Erfindung ein System zum Steuern der Lenkung eines Landfahrzeugs, das in der Lage ist, in einer Vielzahl unterschiedlicher und extremer Gelände und Bedingungen zu fahren.
HINTERGRUND
Bei Fahrzeug-Geschwindigkeitssteuersystemen, typischerweise als Geschwindigkeitssteuerungssysteme bezeichnet, wird die vom Benutzer einmal eingestellte Fahrzeuggeschwindigkeit auf der Straße ohne weitere Eingriffe des Benutzers gehalten, um den Fahrkomfort für den Benutzer durch das Verringern der Einsatzbelastung zu verbessern. Die Geschwindigkeitssteuerungs-Geschwindigkeit (oder Fahrsollgeschwindigkeit) ist vom Fahrzeugfahrer einstellbar, typischerweise durch Drücken einer Taste, wenn das Fahrzeug die gewünschte Geschwindigkeit aufweist. Plus- und Minustasten ermöglichen eine schrittweise Geschwindigkeitsänderung, während der Geschwindigkeitsregler eingestellt wird.
Sobald der Benutzer eine Geschwindigkeit ausgewählt hat, bei der das Fahrzeug gehalten werden soll, wird das Fahrzeug bei dieser Geschwindigkeit gehalten, solange der Benutzer keine Bremse betätigt oder im Falle eines Fahrzeugs mit einem Handschaltgetriebe kein Kupplungspedal tritt. Das Geschwindigkeitssteuerungssystem empfängt sein Geschwindigkeitssignal von einem Antriebswellen-Drehzahlsensor oder von RadDrehzahlsensoren. Wenn die Bremse betätigt oder ein Kupplungspedal getreten wird, wird das Geschwindigkeitssteuerungssystem abgeschaltet, so dass sich der Benutzer über das Geschwindigkeitssteuerungssystem hinwegsetzen kann, um die Fahrzeuggeschwindigkeit ohne Widerstand vom System zu ändern. Wenn das Geschwindigkeitssteuerungssystem aktiv ist und der Benutzer das Gaspedal um eine ausreichende Menge tritt, nimmt die Fahrzeuggeschwindigkeit zu; sobald aber der Benutzer seinen Fuß vom Gaspedal nimmt, kehrt das Fahrzeug zur voreingestellten Fahrgeschwindigkeit durch Leerlauf zurück.
Solche Systeme sind üblicherweise nur oberhalb einer bestimmten Geschwindigkeit, typischerweise um 15-20 km/h, betriebsbereit und sind ideal bei Umständen, bei denen das Fahrzeug in stetigen Verkehrsverhältnissen fährt, insbesondere auf Autobahnen oder Schnellstraßen. Bei dichtem Verkehr aber, bei dem die Fahrzeuggeschwindigkeit zum starken Variieren neigt, sind Geschwindigkeitssteuerungssysteme ineffizient, insbesondere wenn die Systeme aufgrund einer erforderlichen Mindestgeschwindigkeit nicht betriebsbereit sind. Eine Mindestgeschwindigkeit ist bei Geschwindigkeitssteuerungssystemen oft erforderlich, um die Wahrscheinlichkeit von Kollisionen bei niedriger Geschwindigkeit, beispielsweise beim Parken, zu verringern. Solche Systeme sind daher unter bestimmten Fahrbedingungen (beispielsweise bei niedriger Geschwindigkeit) ineffizient und werden daher bei Umständen automatisch abgeschaltet, bei denen ein Benutzer dies gegebenenfalls als nicht wünschenswert betrachtet.
Intelligentere Geschwindigkeitssteuerungssysteme sind in das Motormanagementsystem integriert und können eine adaptive Funktion umfassen, die den Abstand zum vorausfahrenden Fahrzeug unter Verwendung eines radarbasierten Systems berücksichtigt. Beispielsweise kann das Fahrzeug mit einem vorausschauenden Radarerfassungssystem ausgestattet sein, so dass die Geschwindigkeit und der Abstand des vorausfahrenden Fahrzeugs erfasst werden und eine sichere Geschwindigkeit sowie ein sicherer Abstand zum Hinterherfahren automatisch ohne die Notwendigkeit von Benutzereingaben gehalten werden. Wenn das vorausfahrende Fahrzeug verlangsamt oder ein anderes Objekt vom Radarerfassungssystem erfasst wird, sendet das System ein Signal an den Motor oder das Bremssystem zum entsprechenden Verlangsamen des Fahrzeugs, um einen sicheren Abstand zum Hinterherfahren zu halten.
Geschwindigkeitssteuerungssysteme nach dem Stand der Technik brechen die Regelung ebenfalls ab, wenn ein Radschlupfereignis erfasst wird, das einen Eingriff durch ein Traktionskontrollsystem (Traction Control System, TCS) oder Stabilitätskontrollsystem (Stability Control System, SCS) erfordert. Daher sind diese nicht besonders geeignet zum Beibehalten der Vorwärtsfahrt des Fahrzeugs beim Fahren unter Geländebedingungen, bei denen solche Ereignisse relativ häufig sind.
Einige Fahrzeuge sind für einen Einsatz abseits der Straße angepasst, und es wurden Niedriggeschwindigkeits-Geschwindigkeitssteuerungssysteme für solche Fahrzeuge entwickelt. Unter Bedingungen abseits der Straße ermöglichen Niedriggeschwindigkeits-Geschwindigkeitssteuerungssysteme einem Fahrer, insbesondere einem unerfahrenen Fahrer, sich auf Aktivitäten wie das Lenken zu konzentrieren.
Für den Geländeeinsatz geeignete Niedriggeschwindigkeits-Geschwindigkeitssteuerungssysteme können konfiguriert sein, um ein Fahrzeug zum Fahren mit einer Geschwindigkeit, die unterhalb der vom Benutzer bestimmten Sollgeschwindigkeit liegt, in Abhängigkeit vom vorliegenden Gelände, in dem das Fahrzeug fährt, zu veranlassen. Der vorliegende Anmelder hat aber erkannt, dass es andere Umstände als das Fahren in vorliegendem Gelände gibt, unter denen eine verringerte Fahrzeuggeschwindigkeit für einen Benutzer, der das Gelände bewältigen will, hilfreich wäre.
Insbesondere hat der vorliegende Anmelder erkannt, dass es sinnvoll wäre, wenn ein Niedriggeschwindigkeits-Geschwindigkeitssteuerungssystem die Fahrzeuggeschwindigkeit in Abhängigkeit von der Krümmung des Weges des Fahrzeugs vor dem Fahrzeug anpassen könnte. Lenkeingaben können zum Vorhersagen der Fahrzeugwegbahn in einem relativ nahen Bereich verwendet werden; um aber die Geschwindigkeit bei einer engen Kurve zu verringern, ist es gegebenenfalls vorteilhaft, eine vorausliegende Kurve zu identifizieren, bevor das Lenkrad gedreht wird. Die Wegerfassung und -vorhersage im Gelände ist wenigstens teilweise aufgrund der Vielfalt des Geländes und der Bedingungen, in denen ein Fahrzeug im Gelände gegebenenfalls im Einsatz ist, nicht unerheblich. Das Fehlen von Merkmalen wie Fahrbahnmarkierungen, Bordsteinen u. Ä. stellt eine nicht unwesentliche Herausforderung dar. Die Grenze zwischen Fahrzeugweg und umgebendem Gelände ist gegebenenfalls wenigstens teilweise aufgrund von Geländemerkmalen wie Vegetation, Änderungen des Wegmaterials oder der Weggeometrie entlang des Wegs und dem Vorhandensein von stehenden oder fließenden Gewässern oder Schatten schlecht definiert.
Ferner wäre es vorteilhaft, insbesondere wenn andere Merkmale des Geländes, beispielsweise schmale Lücken, vorhanden sind, zu deren Berücksichtigung eine Steuerung der Geschwindigkeit vorteilhaft wäre, über eine zuverlässige Wegvorhersage zu verfügen.
Der Stand der Technik kennt das Bereitstellen eines Steuerungssystems für ein Kraftfahrzeug zum Steuern von einem oder mehreren Fahrzeuguntersystemen. US7349776 offenbart ein Fahrzeugsteuersystem, umfassend mehrere Untersysteme, einschließlich Motormanagementsystem, Getriebesteuergerät, Lenkungssteuergerät, Bremsensteuergerät und Fahrwerksteuergerät. Die Untersystem-Steuergeräte können jeweils in mehreren Untersystemfunktions- oder Konfigurationsmodi betrieben werden. Die Untersystemsteuergeräte sind mit einem Fahrzeugmodus-Steuergerät verbunden, das die Untersystem-Steuergeräte steuert, um in einen erforderlichen Funktionsmodus zu wechseln, um mehrere Fahrmodi für das Fahrzeug bereitzustellen. Jeder der Fahrmodi entspricht einer bestimmten Fahrbedingung oder einem Satz von bestimmten Fahrbedingungen und in jedem Modus wird jedes der Untersysteme auf den unter diesen Bedingungen am ehesten geeigneten Funktionsmodus eingestellt. Diese Bedingungen stehen in Verbindung mit verschiedenen Geländetypen, über die das Fahrzeug gefahren werden kann, wie etwa Gras/Schotter/Schnee, Matsch und Spurrillen, Kriechen auf Felsen, Sand, sowie einem Straßenmodus, der als „Spezialprogramme aus“ (Special Programs Off, SPO) bezeichnet wird. Das Fahrzeugmodussteuergerät kann als ein Geländereaktions-(Terrain-Response-/TR-)System (RTM-System) oder -Steuergerät bezeichnet werden. Die Fahrmodi können ebenfalls als Geländemodi, Geländereaktionsmodi oder Steuermodi bezeichnet werden.
GB2492655B offenbart ein Steuerungssystem für ein Kraftfahrzeug, bei dem der am besten geeignete Geländemodus für das vorliegende Gelände, in dem das Fahrzeug fährt, automatisch vom Steuerungssystem bestimmt wird. Das Steuerungssystem veranlasst anschließend das Fahrzeug zum Betrieb in dem Geländemodus, der als der am besten geeignete bestimmt wurde.
Bei Fahrzeug-Lenkungssteuerungssystemen nach dem Stand der Technik, etwa bei Spurhalteassistenten, erfasst ein vorausschauendes Kamerasystem Fahrspurmarkierungen auf der Straße vor dem Fahrzeug. Bei einigen Systemen ist eine Rückmeldung in der Form eines akustischen Alarms oder einer haptischen Reaktion, etwa des Vibrierens eines Lenkrads, vorgesehen, wenn das Fahrzeug zu stark von einer vorgegebenen Fahrspur-Mittellinie abweicht oder eine Fahrspurmarkierung überquert. Einige Lenkungssteuerungssysteme steuern automatisch den lenkbaren Straßenrad-Lenkwinkel zum Halten eines Fahrzeugs in der Fahrspur beim Fahren auf einer Autobahn durch Bezugnahme auf Fahrspurmarkierungen.
Der vorliegende Anmelder hat erkannt, dass Lenkungssteuerungssysteme nach dem Stand der Technik in Geländefahrumgebungen nicht verwendbar sind, obgleich solche Systeme von besonderem Nutzen wären, um die Ermüdung des Fahrers zu verringern.
Vor diesem Hintergrund wurde die vorliegende Erfindung konzipiert. Ausführungsformen der Erfindung können eine Vorrichtung, ein Verfahren oder ein Fahrzeug bereitstellen, die dieses Problem adressieren. Andere Ziele und Vorteile der Erfindung erschließen sich aus der folgenden Beschreibung, den folgenden Ansprüchen und den folgenden Zeichnungen.
ZUSAMMENFASSUNG DER ERFINDUNG
In einem Aspekt der zu schützenden Erfindung wird ein System für ein Fahrzeug bereitgestellt, wobei das System ein Verarbeitungsmittel umfasst, das eingerichtet ist, um von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten in Bezug auf das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, Geländeinformationen zu empfangen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, wobei das Verarbeitungsmittel konfiguriert ist zum:

Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizierung, in den Bilddaten, von Kanten und/oder einer Mittellinie eines vorhergesagten Weges des Fahrzeugs;
Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
Bestimmen der 3D-Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D-vorhergesagten Weg des Fahrzeugs zu bestimmen; und
Ausgeben eines Signals in Abhängigkeit von zumindest teilweise des 3D-vorhergesagten Weges.

Die 3D-Daten können ein Punktwolken-Datensatz sein.
Die Geländeinformationen können stereoskopische Bilder des Geländes vor dem Fahrzeug umfassen, beispielsweise in der Form eines Stroms von Videobildern von entsprechenden linken und rechten Videokameras. Das Geländedaten-Erfassungsmittel kann zum Übergeben der Bilder an das Geländedaten-Verarbeitungsmittel konfiguriert sein, das wiederum zum Erzeugen von 3D-Punktwolkendaten aus dem Strom von Bildern konfiguriert sein kann.
Optional ist das Verarbeitungsmittel konfiguriert, um vor der Durchführung des Segmentierungsvorgangs einen Farb- und Texturdeskriptor zu erzeugen, der Farbinformationen und Texturinformationen in Bezug auf jedes Pixel des Bildes umfasst, mit Ausnahme der Pixel, die den Rand eines jeden Bildes definieren.
Optional umfassen die Bilddaten, die das mindestens eine Bild definieren, RGB-Farbrauminformationen in Bezug auf jedes Pixel, wobei die Farbinformationen für den Farb- und Texturdeskriptor durch Transformieren des 2D-Bildes vom RGB-Farbraum in den Lab-Farbraum erzeugt werden, wobei jeder Farb- und Texturdeskriptor drei Farbkomponentendeskriptoren L, a, b umfasst. Alternativ können beliebige alternative Farbräume wie HSV oder beleuchtungsinvariantes RGB verwendet werden.
Optional wird die Texturinformation für den Farb- und Texturdeskriptor (p_i) durch Subtrahieren der Intensität eines gegebenen Pixels von der Intensität jedes der 8 Pixel erzeugt, die dieses Pixel umgeben, um acht Texturdeskriptoren pro Pixel zu erhalten.
Optional umfasst die Texturinformation einen Gewichtungsfaktor in Bezug auf jeden Farbkomponentendeskriptor und jeden Texturdeskriptor jedes Pixels.
Optional umfasst das Verarbeitungsmittel, das konfiguriert ist, um eine Segmentierungsoperation an Bilddaten durchzuführen, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren, das Verarbeitungsmittel, das konfiguriert ist, um eine Gaußsche Mischverteilungsmodell-(Gaussian-Mixture-Model-/GMM-)basierte Bildsegmentierungstechnik mit einem statistischen Expectation-Maximization-(EM-)Online-Lernschema durchzuführen.
Optional umfasst das Verarbeitungsmittel, das konfiguriert ist, um eine Segmentierungsoperation an Bilddaten durchzuführen, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren, das Verarbeitungsmittel, das konfiguriert ist, um eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich von einem Benutzer zu empfangen oder automatisch zu bestimmen, der ein Bereich des Bildes ist, der als Teil eines überfahrbaren Weges des Fahrzeugs betrachtet wird, wobei das Verarbeitungsmittel konfiguriert ist, um Bilddaten in Bezug auf den mindestens einen Weg-Bereich zum Bestimmen von Kanten eines vorhergesagten Weges zu verwenden.
Optional ist das Verarbeitungsmittel konfiguriert, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich zu empfangen, wobei das Verarbeitungsmittel konfiguriert ist, um eine Kontur einer vorbestimmten Form zu überlagern, die einen Abschnitt des Weg-Bereichs an mindestens einer vom Benutzer angegebenen Position definiert.
Optional umfasst das Verarbeitungsmittel, das konfiguriert ist, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich zu empfangen, das Verarbeitungsmittel, das konfiguriert ist, um die Anzeige mittels eines Touchscreens zu empfangen.
Optional ist das Verarbeitungsmittel konfiguriert, um eine Anzeige einer Position im Bild von mindestens einem Nicht-Weg-Bereich von einem Benutzer zu empfangen oder automatisch zu bestimmen, der ein Bereich des Bildes ist, der nicht als Teil eines überfahrbaren Weges des Fahrzeugs gilt, wobei das Verarbeitungsmittel konfiguriert ist, um Bilddaten in Bezug auf mindestens einen Nicht-Weg-Bereich zum Bestimmen von Kanten eines vorhergesagten Weges zu verwenden.
Optional ist das Verarbeitungsmittel konfiguriert, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Nicht-Weg-Bereich zu empfangen, wobei das Verarbeitungsmittel konfiguriert ist, um eine Kontur einer vorbestimmten Form zu überlagern, die einen Abschnitt eines Nicht-Weg-Bereichs an mindestens einer vom Benutzer angegebenen Position definiert.
Optional ist das Verarbeitungsmittel konfiguriert, um von einem Benutzer eine Anzeige einer Position im Bild von Nicht-Weg-Bereichen entlang des linken, rechten und oberen Bereichs des Bildes zu empfangen.
Optional ist das Verarbeitungsmittel konfiguriert, um jedes Pixel des Bildes als einem der mindestens einen Weg-Bereiche oder einem der mindestens einen Nicht-Weg-Bereiche zugehörig zu klassifizieren.
Optional ist das Verarbeitungsmittel konfiguriert, um für jeden des mindestens einen Weg-Bereiches und jeden des mindestens einen Nicht-Weg-Bereiches einen Bereich des Bildes zu identifizieren, der die größte Anzahl von verbundenen Pixeln umfasst, die diesem Bereich zugehören, der ein primärer Pixelblock dieses Bereichs ist, wobei alle Pixel eines Bereichs, die von Pixeln eines primären Pixelblocks eines anderen Bereichs umgeben sind, als dem primären Block des anderen Bereichs zugehörig reklassifiziert werden, und alle Pixel, die anschließend nicht zu einem primären Pixelblock gehören, als zu einem sekundären Block gehörend reklassifiziert werden.
Pixel des sekundären Blocks können als neu gekennzeichnete Cluster betrachtet werden. Der Prozess des Reklassifizierens von Pixeln kann als ein Verfeinerungsprozess bezeichnet werden.
Optional ist das Verarbeitungsmittel konfiguriert, um Pixel der 3D-Punktwolke zu identifizieren, die dem primären Block von Pixeln des 2D-Bildes zugehören, die dem mindestens einen Weg-Bereich entsprechen.
Optional ist das Verarbeitungsmittel konfiguriert, um eine „Grundebene“ des Weg-Bereichs basierend auf den Pixeln der 3D-Punktwolke zu berechnen, die dem primären Pixelblock entsprechen.
Optional ist das Verarbeitungsmittel (10, 19) konfiguriert, um einen Verfeinerungsvorgang durchzuführen, bei dem das Verarbeitungsmittel aus dem Wegbereich Abschnitte des Wegbereichs eliminiert, die Hindernissen entsprechen, die mit einem überfahrbaren Weg nicht kompatibel sind, basierend auf der Höhe der Abschnitte über der Grundebene, und bei dem es anschließend Bereiche eines überfahrbaren Weges des Fahrzeugs identifiziert.
Somit kann das Verarbeitungsmittel erkennen, dass bestimmte Abschnitte des 3D-vorhergesagten Weges eines oder mehrere Hindernisse umfassen können, die das Fahrzeug wahrscheinlich umfahren statt überfahren wird, und kann den 3D-vorhergesagten Weg in Abhängigkeit vom Vorhandensein von solchen Hindernissen verfeinern. Die Hindernisse können beispielsweise Objekte wie Büsche, Bäume, Felsen o. Ä. umfassen.
Somit können in einigen Ausführungsformen Hindernisse, die eine vorgegebene Menge überschreitende Höhenschrittänderung darstellen, und/oder Hindernisse, die eine vorgegebene Menge überschreitende Steigung aufweisen, und/oder Hindernisse, die eine Kombination aus Höhe und lateraler Ausdehnung aufweisen, die eines oder mehrere vorgegebene Kriterien nicht erfüllt, als Bereiche des vorhergesagten Weges betrachtet werden, die das Fahrzeug wahrscheinlich nicht überfahren wird. Es können andere Anordnungen zweckdienlich sein.
Optional ist das Verarbeitungsmittel konfiguriert, um eine Krümmung des 3D-vorhergesagten Weges zu berechnen.
Optional ist das Verarbeitungsmittel konfiguriert, um mindestens eine 3D-Kurve an mindestens einen Bereich, der eine Kante des überfahrbaren Weges sein kann, einzupassen und eine Schätzung einer Wegkrümmung basierend auf der mindestens einen 3D-Kurve zu erzeugen.
Optional ist das System ferner konfiguriert, um das Fahrzeug zu veranlassen, basierend zumindest teilweise auf dem 3D-vorhergesagten Weg gesteuert zu werden.
Optional umfasst das System eine Geschwindigkeitssteuerung, wobei das Steuerungssystem, das konfiguriert ist, um das Fahrzeug zum Gesteuertwerden basierend zumindest teilweise auf dem 3D-vorhergesagten Weg zu veranlassen, die Geschwindigkeitssteuerung umfasst, die konfiguriert ist, um die Fahrzeuggeschwindigkeit basierend zumindest teilweise auf dem 3D-vorhergesagten Weg zu steuern.
Optional ist das System konfiguriert, um die Fahrzeuggeschwindigkeit basierend zumindest teilweise auf der Krümmung des 3D-vorhergesagten Weges zu steuern.
Optional ist das System konfiguriert, um eine Ausgabe an die Geschwindigkeitssteuerung bereitzustellen, die eine maximale empfohlene Geschwindigkeit in Abhängigkeit zumindest teilweise vom 3D-vorhergesagten Weg anzeigt.
Optional ist das System konfiguriert, um eine Ausgabe an die Geschwindigkeitssteuerung bereitzustellen, die eine maximale empfohlene Geschwindigkeit in Abhängigkeit zumindest teilweise von der Krümmung des 3D-vorhergesagten Weges anzeigt.
Die Ausgabe, die eine maximale empfohlene Geschwindigkeit in Abhängigkeit zumindest teilweise von der Krümmung des 3D-vorhergesagten Weges anzeigt, kann durch Bezugnahme auf eine Nachschlagetafel in Bezug auf die maximale empfohlene Geschwindigkeit als eine Funktion der Wegkrümmung erzeugt werden.
Das Steuerungssystem kann ferner das Geländedatenerfassungsmittel umfassen.
Optional kann das Geländedatenerfassungsmittel ein stereoskopisches Kamerasystem umfassen.
Die Geländeinformationen können einen Strom von stereoskopischen Bildern des Geländes vor dem Fahrzeug umfassen.
Es können auch andere Geländedatenerfassungsmittel in einigen Ausführungsformen nützlich sein, etwa ein radarbasiertes Gelände-Entfernungsmesssystem, ein laserbasiertes Gelände-Entfernungsmesssystem oder ein akustisches Entfernungsmesssystem.
Optional kann das Steuerungssystem konfiguriert sein, um eine Ausgabe für einen Fahrer bereitzustellen, welche die Krümmung des vorhergesagten Weges des Fahrzeugs anzeigt.
Optional kann das Steuerungssystem konfiguriert sein, um einen Alarm für einen Fahrer in Abhängigkeit von der Krümmung des vorhergesagten Weges bereitzustellen.
Optional umfasst das System einen elektronischen Prozessor mit einem elektrischen Eingang zum Empfangen der Geländeinformationen, die die Geländetopographie vor dem Fahrzeug anzeigen; und
eine elektronische Speichervorrichtung, die elektrisch mit dem elektronischen Prozessor gekoppelt ist, und Anweisungen darin gespeichert hat,
wobei der Prozessor konfiguriert ist, auf die Speichervorrichtung zuzugreifen und die darin gespeicherten Anweisungen derart auszuführen, dass er betriebsfähig ist zum: Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizieren, in den Bilddaten, von Kanten eines vorhergesagten Weges des Fahrzeugs;

Berechnen eines 3D Punktwolken-Datensatzes in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
Bestimmen der 3D-Koordinaten von Kanten des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf den Punktwolken-Datensatz, basierend auf den Koordinaten von Kanten des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen.

In einem weiteren Aspekt der zu schützenden Erfindung wird ein Fahrzeug, umfassend ein System nach einem vorhergehenden Aspekt, bereitgestellt.
In einem weiteren Aspekt der zu schützenden Erfindung wird ein Verfahren zum Vorhersagen des Weges eines Fahrzeugs bereitgestellt, wobei das Verfahren Folgendes umfasst:

Empfangen, von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten über das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, von Geländeinformationen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren;
- Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizieren, in den Bilddaten, von Kanten und/oder einer Mittellinie eines vorhergesagten Weges des Fahrzeugs;
- Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
- Bestimmen der 3D-Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D-vorhergesagten Weg des Fahrzeugs zu bestimmen; und
- Ausgeben eines Signals in Abhängigkeit von zumindest teilweise des 3D vorhergesagten Weges.

In einem weiteren Aspekt der zu schützenden Erfindung wird ein Verfahren zum Steuern eines Fahrzeugs bereitgestellt, wobei das Verfahren das Vorhersagen des Weges eines Fahrzeugs gemäß dem Verfahren des vorhergehenden Aspekts und das Veranlassen des Fahrzeugs zum Gesteuertwerden basierend zumindest teilweise auf dem 3D-vorhergesagten Weg umfasst.
In einem Aspekt der zu schützenden Erfindung wird ein nichtflüchtiges Trägermedium bereitgestellt, das einen computerlesbaren Code zum Steuern eines Fahrzeugs enthält, um das Verfahren nach einem anderen Aspekt auszuführen.
In einem Aspekt der zu schützenden Erfindung wird ein Computerprogrammprodukt bereitgestellt, ausführbar auf einem Prozessor, um das Verfahren nach einem anderen Aspekt zu implementieren.
In einem Aspekt der zu schützenden Erfindung wird ein computerlesbares Medium bereitgestellt, welches mit dem Computerprogrammprodukt nach einem anderen Aspekt geladen ist.
In einem Aspekt der zu schützenden Erfindung wird ein Prozessor bereitgestellt, angeordnet, um das Verfahren nach einem anderen Aspekt oder das Computerprogrammprodukt nach einem anderen Aspekt zu implementieren.
In einem Aspekt der zu schützenden Erfindung wird ein Steuerungssystem für ein Fahrzeug bereitgestellt, wobei das System ein Verarbeitungsmittel umfasst, das eingerichtet ist, um von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten in Bezug auf das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, Geländeinformationen zu empfangen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, wobei das Verarbeitungsmittel konfiguriert ist zum:

Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizieren, in den Bilddaten, von Kanten und/oder einer Mittellinie eines vorhergesagten Weges des Fahrzeugs;
Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
Bestimmen der 3D-Koordinaten von lateralen Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten der Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und
Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit von zumindest teilweise des 3D-vorhergesagten Weges.

Optional ist das System konfiguriert, um eine Mittellinie des vorhergesagten Weges, der durch seine lateralen Kanten definiert ist, und eine laterale Position des Fahrzeugs in Bezug auf die vorhergesagte Wegmittellinie zu bestimmen,, wobei das System konfiguriert ist, um die Fahrtrichtung des Fahrzeugs in Abhängigkeit von der vorhergesagten Wegmittellinie und der lateralen Fahrzeugposition in Bezug auf die vorhergesagte Wegmittellinie zu steuern.
Optional ist das System konfiguriert, um die Fahrtrichtung des Fahrzeugs zu steuern, um das Fahrzeug innerhalb der lateralen Kanten des vorhergesagten Weges zu halten.
Optional ist das System konfiguriert, um die Fahrtrichtung des Fahrzeugs zu steuern, um einen im Wesentlichen konstanten lateralen Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie einzuhalten.
Alternativ kann das System konfiguriert sein, um die Fahrtrichtung des Fahrzeugs zu steuern, um einen im Wesentlichen konstanten lateralen Abstand der Fahrzeugmittellinie von einer lateralen Kante des vorhergesagten Weges einzuhalten.
Optional ist das System konfiguriert, um die Fahrtrichtung des Fahrzeugs zu steuern, um ein im Wesentlichen konstantes Verhältnis zwischen dem Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie und dem Abstand der Fahrzeugmittellinie von der nächsten lateralen Kante des vorhergesagten Weges einzuhalten.
Der Weg, dem die Fahrzeugmittellinie folgt, kann als Fahrzeugweglinie bezeichnet werden.
In einigen Ausführungsformen kann das Steuerungssystem konfiguriert sein, um die Fahrzeugmittellinie zum Folgen einer Fahrzeugweglinie, die im Wesentlichen mit der vorhergesagten Wegmittellinie übereinstimmt oder parallel zu dieser ist, in Abhängigkeit von der Fahrzeugmittellinie in Bezug auf die vorhergesagte Wegmittellinie zu veranlassen.
In einigen Ausführungsformen kann das System die vorhergesagte Wegmittellinie versetzen, um eine Fahrzeugweglinie parallel zur vorhergesagten Wegmittellinie zu definieren, die durch die momentane Position des Fahrzeugs entlang der Fahrzeugmittellinie verläuft, es sei denn, die Mittellinie des Fahrzeugs von oben gesehen stimmt im Wesentlichen mit der vorhergesagten Wegmittellinie überein.
Das System kann konfiguriert sein, um das Fahrzeug zum Bleiben innerhalb lateraler Wegkanten zu veranlassen. Somit kann, wenn die Fahrzeugmittellinie zur Wegmittellinie versetzt ist und der Abstand zwischen den Wegkanten so beschaffen ist, dass das Fahrzeug nur vorwärtskommen kann, wenn es im Wesentlichen auf der Wegmittellinie angeordnet ist, das System das Fahrzeug veranlassen, entlang einer Fahrzeugweglinie zu fahren, die im Wesentlichen mit der Wegmittellinie übereinstimmt.
Optional ist das System konfiguriert, um eine Fahrzeugweglinie zu erzeugen, die im Wesentlichen mit der vorhergesagten Wegmittellinie übereinstimmt oder parallel zu dieser liegt, wobei das System konfiguriert ist, um einen Lenkwinkel des Fahrzeugs auf einen Winkel einzustellen, der dem Winkel einer Tangente zur Fahrzeugweglinie an einer vorbestimmten Tangentenposition entlang der Fahrzeugweglinie entspricht.
Somit kann das System den Winkel einer Tangente zur Fahrzeugweglinie an der vorbestimmten Tangentenposition berechnen und den Lenkwinkel auf einen Winkel entsprechend diesem Winkel einstellen. Der Winkel kann in einigen Ausführungsformen im Wesentlichen gleich diesem Winkel sein.
Optional ist die vorbestimmte Tangentenposition ein vorbestimmter Tangentenabstand vor der momentanen Position des Fahrzeugs entlang der Fahrzeugweglinie.
Der vorbestimmte Tangentenabstand kann ein beliebiger geeigneter Abstand wie 6 m, 3 m, 10 m oder ein beliebiger anderer geeigneter Abstand vor der momentanen Position des Fahrzeugs sein.
Optional ist die vorbestimmte Position auf einen Wert im Bereich von 3 m bis 10 m eingestellt.
Andere Werte, beispielsweise im Bereich von 1 m bis 3 m, 1 m bis 10 m oder ein beliebiger anderer geeigneter Wert, können in einigen Ausführungsformen zweckmäßig sein.
Optional umfassen die Daten, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, Geländefarbinformationen, und das Verarbeitungsmittel ist konfiguriert, um vor der Durchführung des Segmentierungsvorgangs einen Farb- und Texturdeskriptor zu erzeugen, der Farbinformationen und Texturinformationen in Bezug auf jedes Pixel des Bildes umfasst, mit Ausnahme der Pixel, die den Rand eines jeden Bildes definieren.
Optional umfassen die Bilddaten, die das mindestens eine Bild definieren, RGB-Farbrauminformationen in Bezug auf jedes Pixel, wobei die Farbinformationen für den Farb- und Texturdeskriptor durch Transformieren des 2D-Bildes vom RGB-Farbraum in den Lab-Farbraum erzeugt werden, wobei jeder Farb- und Texturdeskriptor drei Farbkomponentendeskriptoren L, a, b umfasst.
Optional wird die Texturinformation für den Farb- und Texturdeskriptor durch Subtrahieren der Intensität eines gegebenen Pixels von der Intensität jedes der 8 Pixel erzeugt, die dieses Pixel umgeben, um acht Texturdeskriptoren pro Pixel zu erhalten.
Optional umfasst die Texturinformation einen Gewichtungsfaktor in Bezug auf jeden Farbkomponentendeskriptor und jeden Texturdeskriptor jedes Pixels.
Optional umfasst das Verarbeitungsmittel, das konfiguriert ist, um eine Segmentierungsoperation an Bilddaten durchzuführen, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren, das Verarbeitungsmittel, das konfiguriert ist, um eine Gaußsche Mischverteilungsmodell-(Gaussian-Mixture-Model-/GMM-)basierte Bildsegmentierungstechnik mit einem statistischen Expectation-Maximization-(EM-)Online-Lernschema durchzuführen.
Optional umfasst das Verarbeitungsmittel, das konfiguriert ist, um eine Segmentierungsoperation an Bilddaten durchzuführen, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren, das Verarbeitungsmittel, das konfiguriert ist, um eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich von einem Benutzer zu empfangen oder automatisch zu bestimmen, der ein Bereich des Bildes ist, der als Teil eines überfahrbaren Weges des Fahrzeugs betrachtet wird, wobei das Verarbeitungsmittel konfiguriert ist, um Bilddaten in Bezug auf den mindestens einen Weg-Bereich zum Bestimmen von Kanten eines vorhergesagten Weges zu verwenden.
Optional ist das Verarbeitungsmittel konfiguriert, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich zu empfangen, wobei das Verarbeitungsmittel konfiguriert ist, um eine Kontur einer vorbestimmten Form zu überlagern, die einen Abschnitt des Weg-Bereichs an mindestens einer vom Benutzer angegebenen Position definiert.
Optional umfasst das Verarbeitungsmittel, das konfiguriert ist, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich zu empfangen, das Verarbeitungsmittel, das konfiguriert ist, um die Anzeige mittels eines Touchscreens zu empfangen.
Optional ist das Verarbeitungsmittel konfiguriert, um eine Anzeige einer Position im Bild von mindestens einem Nicht-Weg-Bereich von einem Benutzer zu empfangen oder automatisch zu bestimmen, der ein Bereich des Bildes ist, der nicht als Teil eines überfahrbaren Weges des Fahrzeugs gilt, wobei das Verarbeitungsmittel konfiguriert ist, um Bilddaten in Bezug auf mindestens einen Nicht-Weg-Bereich zum Bestimmen von Kanten eines vorhergesagten Weges zu verwenden.
Optional ist das Verarbeitungsmittel konfiguriert, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Nicht-Weg-Bereich zu empfangen, wobei das Verarbeitungsmittel konfiguriert ist, um eine Kontur einer vorbestimmten Form zu überlagern, die einen Abschnitt eines Nicht-Weg-Bereichs an mindestens einer vom Benutzer angegebenen Position definiert.
Optional ist das Verarbeitungsmittel konfiguriert, um von einem Benutzer eine Anzeige einer Position im Bild von Nicht-Weg-Bereichen entlang der linken, rechten und oberen Kanten des Bildes zu empfangen.
Optional ist das Verarbeitungsmittel konfiguriert, um jedes Pixel des Bildes als einem der mindestens einen Weg-Bereiche oder einem der mindestens einen Nicht-Weg-Bereiche zugehörig zu klassifizieren.
Optional ist das Verarbeitungsmittel konfiguriert, um für jeden der mindestens einen Weg-Bereiche und jeden der mindestens einen Nicht-Weg-Bereiche einen Bereich des Bildes zu identifizieren, der die größte Anzahl von verbundenen Pixeln umfasst, die diesem Bereich zugehören, der ein primärer Pixelblock dieses Bereichs ist, wobei alle Pixel eines Bereichs, die von Pixeln eines primären Pixelblocks eines anderen Bereichs umgeben sind, als dem primären Block des anderen Bereichs zugehörig reklassifiziert werden, und alle Pixel, die anschließend nicht zu einem primären Pixelblock gehören, als zu einem sekundären Block gehörend reklassifiziert werden.
Optional ist das Verarbeitungsmittel konfiguriert, um Pixel der 3D-Punktwolke zu identifizieren, die dem primären Block von Pixeln des 2D-Bildes zugehören, die dem mindestens einen Weg-Bereich entsprechen.
Optional ist das Verarbeitungsmittel konfiguriert, um eine „Grundebene“ des Weg-Bereichs basierend auf den Pixeln der 3D-Punktwolke zu berechnen, die dem primären Pixelblock entsprechen.
Optional ist das Verarbeitungsmittel konfiguriert, um einen Verfeinerungsvorgang durchzuführen, bei dem das Verarbeitungsmittel aus dem Wegbereich Kantenabschnitte des Wegbereichs eliminiert, die Hindernissen entsprechen, die mit einem überfahrbaren Weg nicht kompatibel sind, basierend auf der Höhe der Abschnitte über der Grundebene, und bei dem es anschließend Kanten eines überfahrbaren Weges des Fahrzeugs identifiziert.
Optional ist das Verarbeitungsmittel konfiguriert, um eine Krümmung des 3D-vorhergesagten Weges zu berechnen.
Optional ist das Verarbeitungsmittel konfiguriert, um mindestens eine 3D-Kurve an mindestens einer Kante des überfahrbaren Weges einzupassen und eine Schätzung einer Wegkrümmung basierend auf der mindestens einen 3D-Kurve zu erzeugen.
Optional ist das Verarbeitungsmittel konfiguriert, um eine erste Schätzung der Oberflächenrauhigkeit des Geländes vor dem Fahrzeug zu erzeugen, die zumindest teilweise auf Geländeinformationen basiert, die die Topographie des sich vor dem Fahrzeug erstreckenden Bereichs anzeigen.
Optional ist das Verarbeitungsmittel konfiguriert, um die erste Schätzung der Oberflächenrauhigkeit des Geländes vor dem Fahrzeug zu erzeugen, die zumindest teilweise in weiterer Abhängigkeit auf einem aktuellen gemessenen Wert der Oberflächenrauhigkeit basiert, der basierend auf Sensordaten erzeugt wird, die eine Bewegung einer Fahrzeugkarosserie anzeigen.
Optional ist das Verarbeitungsmittel konfiguriert, um auf gespeicherte Daten zuzugreifen, die historische erfasste Geländeinformationen korrelieren, die eine Geländetopographie anzeigen, die sich vor dem Fahrzeug erstreckt, basierend auf Daten, die von den Geländedatenerfassungsmitteln mit historischen Messungen von Werten der Oberflächenrauheit erfasst werden, während das Fahrzeug das Gelände durchquert, und um die historischen Geländeinformationen mit Geländeinformationen in Bezug auf die aktuelle Geländetopographie vor dem Fahrzeug, die von den Geländedatenerfassungsmitteln erfasst werden, zu korrelieren, wobei das Verarbeitungsmittel konfiguriert ist, um eine zweite, verfeinerte Schätzung der Oberflächenrauhigkeit basierend auf den historischen, gespeicherten Werten der Oberflächenrauhigkeit in Bezug auf das Gelände zu erzeugen, die den Geländeinformationen in Bezug auf die aktuelle Geländetopographie vor dem Fahrzeug entspricht.
Das System kann eine Geschwindigkeitssteuerung umfassen, wobei die Geschwindigkeitssteuerung konfiguriert ist, um die Fahrzeuggeschwindigkeit basierend zumindest teilweise auf dem 3D-vorhergesagten Weg zu steuern.
Das System kann konfiguriert sein, um die Fahrzeuggeschwindigkeit basierend zumindest teilweise auf der Krümmung des 3D-vorhergesagten Weges zu steuern.
Das System kann konfiguriert sein, um eine Ausgabe an die Geschwindigkeitssteuerung bereitzustellen, die eine maximale empfohlene Geschwindigkeit in Abhängigkeit zumindest teilweise von der Krümmung des 3D-vorhergesagten Weges anzeigt.
Das Steuerungssystem kann konfiguriert sein, um der Geschwindigkeitssteuerung eine Ausgabe bereitzustellen, die eine maximale empfohlene Geschwindigkeit in weiterer Abhängigkeit zumindest teilweise von der ersten Schätzung der Oberflächenrauheit anzeigt.
Das Steuerungssystem kann konfiguriert sein, um der Geschwindigkeitssteuerung eine Ausgabe bereitzustellen, die eine maximale empfohlene Geschwindigkeit in weiterer Abhängigkeit zumindest teilweise von der zweiten Schätzung der Oberflächenrauheit anzeigt.
Das Steuerungssystem kann ferner das Geländedatenerfassungsmittel umfassen.
Optional kann das Geländedatenerfassungsmittel ein stereoskopisches Kamerasystem umfassen.
Das Steuerungssystem kann konfiguriert sein, um einen Alarm für einen Fahrer in Abhängigkeit von der Krümmung des vorhergesagten Weges bereitzustellen.
Optional umfasst das System ferner einen elektronischen Prozessor mit einem elektrischen Eingang zum Empfangen der Geländeinformationen, die die Geländetopographie vor dem Fahrzeug anzeigen; und
eine elektronische Speichervorrichtung, die elektrisch mit dem elektronischen Prozessor gekoppelt ist, und Anweisungen darin gespeichert hat,
wobei der Prozessor konfiguriert ist, auf die Speichervorrichtung zuzugreifen und die darin gespeicherten Anweisungen derart auszuführen, dass er betriebsfähig ist zum:

Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizieren, in den Bilddaten, von Kanten eines vorhergesagten Weges des Fahrzeugs;
Berechnen eines 3D Punktwolken-Datensatzes in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
Bestimmen der 3D-Koordinaten von Kanten des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf den Punktwolken-Datensatz, basierend auf den Koordinaten von Kanten des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und
Bewirken, dass die Fahrtrichtung des Fahrzeugs zumindest teilweise in Abhängigkeit von dem 3D vorhergesagten Bild gesteuert wird.

In einem weiteren Aspekt der zu schützenden Erfindung wird ein Fahrzeug, umfassend ein System nach einem anderen Aspekt, bereitgestellt.
In einem Aspekt der zu schützenden Erfindung wird ein Verfahren zum Vorhersagen des Weges eines Fahrzeugs bereitgestellt, wobei das Verfahren Folgendes umfasst:

Empfangen, von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten über das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, von Geländeinformationen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren;
Durchführen einer Segmentierungsoperation an Bilddaten, die eines des mindestens einen 2D-Bildes definieren, und Identifizieren, in den Bilddaten, von Kanten und/oder einer Mittellinie eines vorhergesagten Weges des Fahrzeugs;
Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen;
Bestimmen der 3D-Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und
Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit von zumindest teilweise des 3D-vorhergesagten Weges.

Das Verfahren kann das Bestimmen einer Mittellinie des vorhergesagten Weges, der durch seine lateralen Kanten definiert ist, und einer lateralen Position des Fahrzeugs in Bezug auf die vorhergesagte Wegmittellinie, und das Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit von der vorhergesagten Wegmittellinie und der lateralen Fahrzeugposition relativ zu der vorhergesagten Wegmittellinie umfassen.
Das Verfahren kann das Steuern der Fahrtrichtung des Fahrzeugs, um das Fahrzeug innerhalb der lateralen Kanten des vorhergesagten Weges zu halten, umfassen.
Das Verfahren kann das Steuern der Fahrtrichtung des Fahrzeugs, um einen im Wesentlichen konstanten lateralen Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie einzuhalten, umfassen.
Das Verfahren kann das Steuern der Fahrtrichtung des Fahrzeugs, um ein im Wesentlichen konstantes Verhältnis zwischen dem Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie und dem Abstand der Fahrzeugmittellinie von der nächsten lateralen Kante des vorhergesagten Weges einzuhalten, umfassen.
Das Verfahren kann das Erzeugen einer Fahrzeugweglinie umfassen, die im Wesentlichen mit der vorhergesagten Wegmittellinie übereinstimmt oder parallel zu dieser ist, wobei das Verfahren das Einstellen eines Lenkwinkels des Fahrzeugs auf einen Winkel umfasst, der dem Winkel einer Tangente zur Fahrzeugweglinie an einer vorbestimmten Position entlang der Fahrzeugweglinie entspricht.
Das Verfahren kann das Einstellen der vorbestimmten Position auf einen vorbestimmten Abstand vor der momentanen Position des Fahrzeugs entlang der Fahrzeugweglinie umfassen.
Das Verfahren kann das Einstellen der vorbestimmten Position im Wesentlichen auf die momentane Position des Fahrzeugs umfassen.
In einem Aspekt der zu schützenden Erfindung wird ein nicht-transientes computerlesbares Trägermedium bereitgestellt, das computerlesbaren Code zum Steuern eines Fahrzeugs enthält, um das Verfahren nach einem vorhergehenden Aspekt auszuführen.
In einem weiteren Aspekt der zu schützenden Erfindung wird ein Computerprogrammprodukt bereitgestellt, das auf einem Prozessor ausführbar ist, um das Verfahren eines vorhergehenden Aspekts zu implementieren.
In einem weiteren Aspekt der zu schützenden Erfindung wird ein nicht-transientes computerlesbares Medium bereitgestellt, das mit dem Computerprogrammprodukt eines anderen Aspekts geladen wird.
In einem Aspekt der zu schützenden Erfindung wird ein Prozessor bereitgestellt, der angeordnet ist, um das Verfahren oder das Computerprogrammprodukt nach einem anderen Aspekt zu implementieren.
Innerhalb des Umfangs dieser Anmeldung wird ausdrücklich beabsichtigt, dass die unterschiedlichen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorhergehenden Absätzen, in den Ansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen dargestellt werden, und insbesondere deren individuellen Merkmale, unabhängig voneinander oder in einer beliebigen Kombination berücksichtigt werden können. Dies bedeutet, dass alle Ausführungsformen und/oder Merkmale einer beliebigen Ausführungsform auf beliebige Weise und/oder Kombination kombiniert werden können, sofern diese Merkmale nicht inkompatibel sind. Der Anmelder behält sich das Recht vor, jeden beliebigen ursprünglich eingereichten Patentanspruch zu ändern oder jeden neuen Patentanspruch entsprechend einzureichen, einschließlich des Rechts, jeden beliebigen ursprünglich eingereichten Patentanspruch zu verändern, um von einem beliebigen Merkmal eines beliebigen anderen Anspruchs abzuhängen und/oder dieses zu integrieren, obwohl es auf diese Art und Weise zuvor nicht beansprucht wurde.
Figurenliste
Nachfolgend ist die vorliegende Erfindung rein beispielhaft in Bezug auf die beigefügten Zeichnungen beschrieben.

1 zeigt eine schematische Darstellung eines Fahrzeugs gemäß einer Ausführungsform der Erfindung in Draufsicht.
2 zeigt das Fahrzeug von 1 in Seitenansicht.
3 zeigt ein übergeordnetes schematisches Diagramm einer Ausführungsform des Fahrzeug-Geschwindigkeitssteuerungssystems der vorliegenden Erfindung, umfassend ein Geschwindigkeitssteuerungssystem und ein Niedergeschwindigkeits-Fortbewegungs-Steuerungssystem.
4 zeigt ein Lenkrad eines Fahrzeugs gemäß der Ausführungsform von 1.
5 zeigt die Weise, wie ein Farb- und Texturdeskriptor p_i während der Verarbeitung eines erfassten Bildes erzeugt wird.
6 zeigt 6(a) ein Beispiel eines von einem stereoskopischen Kamerasystem erfassten und auf einem Touchscreen einer Fahrzeug-Mensch-Maschine-Schnittstelle angezeigten Bildes, 6(b) das Bild von 6(a) nach der Anwendung einer GMM-EM-basierten Bildsegmentierungstechnik, 6(c) das Bild von 6(b) nach der Verfeinerung und (d) das Bild von 6(a), in dem ausschließlich Pixel des Clusters CP von 6(c) sichtbar sind.
7 zeigt 7(a) ein Beispiel eines weiteren, von einem stereoskopischen Kamerasystem erfassten und auf einem Touchscreen einer Fahrzeug-Mensch-Maschine-Schnittstelle angezeigten Bildes, 7(b) ein Bild entsprechend dem in 7(a) dargestellten, aber mit von oben dargestelltem Gelände, und in dem Pixel im Bild von 7(a), bei denen bestimmt wurde, dass sie der linken und rechten lateralen Kante des Weges oder einer Mittellinie CL des Weges entsprechen, in Weiß dargestellt sind, und 7(c) ein Bild entsprechend dem in 7(b) dargestellten, in dem ein Paar von 3D-Kurven zu den Daten entsprechend der linken und rechten lateralen Kante des Weges angelegt wurden, um laterale Kanten eines 3D-vorhersagten Weges zu definieren.
8 zeigt ein Fließbild zur Darstellung des Betriebs eines Fahrzeugs gemäß der Ausführungsform von 1.

AUSFÜHRLICHE BESCHREIBUNG
Eine Bezugnahme auf einen Block wie einen Funktionsblock ist als eine Bezugnahme, Softwarecode zum Ausführen der spezifizierten Funktion oder Aktion umfassend zu verstehen, die eine Ausgabe sein kann, die als Reaktion auf eine oder mehrere Ausgaben geliefert wird. Der Code kann in der Form einer von einem Hauptcomputerprogramm aufgerufenen Softwareroutine oder -funktion vorliegen oder kann Code sein, der einen Teil eines Stroms von Code bildet, der keine separate Routine oder Funktion ist. Die Bezugnahme auf einen Funktionsblock erfolgt, um die Erläuterung der Betriebsweise von Ausführungsformen der vorliegenden Erfindung zu erleichtern.
1 zeigt ein Fahrzeug 100 gemäß einer Ausführungsform der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Antriebsanlage 129 auf, die einen Motor 121 enthält, der mit einem Antriebsstrang 130 mit Automatikgetriebe 124 verbunden ist. Ausführungsformen der vorliegenden Erfindung eignen sich ebenfalls zur Verwendung in Fahrzeugen mit Handschaltgetriebe, stufenlosem Getriebe oder einem beliebigen anderen geeigneten Getriebe.
In der Ausführungsform von 1 kann das Getriebe 124 auf einen einer Vielzahl von Getriebebetriebsmodi, die einen Parkmodus, einen Rückwärtsmodus, einen Neutralmodus, einen Fahrmodus oder einen Sportmodus umfassen, mit einer Getriebemodusauswählscheibe 124S eingestellt werden. Die Wählscheibe 124S liefert ein Ausgangssignal an ein Antriebsstrang-Steuergerät 11, wobei das Antriebsstrang-Steuergerät 11 als Reaktion darauf bewirkt, dass das Getriebe 124 gemäß dem gewählten Getriebemodus betrieben wird.
Der Antriebsstrang 130 ist angeordnet, mithilfe eines Frontdifferentials 137 und eines Paares aus Frontantriebswellen 118 ein Paar aus Fahrzeugvorderrädern 111, 112 anzutreiben. Der Antriebsstrang 130 umfasst ferner einen Antriebsstrang-Hilfsabschnitt 131, angeordnet, um mithilfe einer Hilfsantriebswelle oder einer Kardanwelle 132, eines Heckdifferentials 135 und eines Paares aus hinteren Antriebswellen 139 ein Paar aus Hinterrädern 114, 115 anzutreiben.
Ausführungsformen der Erfindung sind geeignet für den Gebrauch mit Fahrzeugen, in denen das Getriebe angeordnet ist, um nur ein Paar Vorderräder oder nur ein Paar Hinterräder anzutreiben (d. h. Fahrzeuge mit Frontantrieb oder Fahrzeuge mit Heckantrieb), oder mit Fahrzeugen mit Zweirad-/Allradantrieb. In der Ausführungsform von 1 ist das Getriebe 124 lösbar verbindbar mit dem Antriebsstrang-Hilfsabschnitt 131 über eine Kraftübertragungseinheit (Power Transfer Unit, PTU) 131P, die einen Betrieb in einem Zweiradantriebsmodus oder einem Vierradantriebsmodus ermöglicht. Ausführungsformen der Erfindung können für Fahrzeuge mit mehr als vier Rädern oder mit einem Antrieb von nur zwei Rädern, beispielsweise von zwei Rädern eines dreirädrigen Fahrzeugs oder vierrädrigen Fahrzeugs oder eines Fahrzeugs mit mehr als vier Rädern, geeignet sein.
Ein Steuerungssystem für den Fahrzeugmotor 121 umfasst eine zentrale Steuerung 10, bezeichnet als Fahrzeugsteuereinheit (Vehicle Control Unit, VCU) 10, die Antriebsanlagensteuerung 11, eine Bremssteuerung 13 (eine Antiblockiersystem-(ABS-)Steuerung) und eine Lenkungssteuerung 170C. Die ABS-Steuerung 13 bildet einen Teil eines Bremssystems 22 (3). Die VCU 10 empfängt mehrere Signale von verschiedenen, am Fahrzeug angeordneten Sensoren und Untersystemen (nicht dargestellt) und gibt diese aus. Die VCU 10 umfasst ein in 3 dargestelltes Niedergeschwindigkeits-Fortbewegungs-(Low-Speed-Progress-/LSP-)Steuerungssystem 12, ein Stabilitätskontrollsystem (Stability Control System, SCS) 14, ein Geschwindigkeitssteuerungssystem 16 und ein Bergabfahrhilfen-(Hill-Descent-Control-/HDC-)System 12HD. Das SCS 14 verbessert die Sicherheit des Fahrzeugs 100 durch Erfassen und Managen eines Verlusts von Traktion oder Lenkkontrolle. Wenn eine Verringerung der Traktion oder Lenkkontrolle erfasst wird, ist das SCS 14 ausgebildet, um automatisch der ABS-Steuerung 13 zu befehlen, eine oder mehrere Bremsen des Fahrzeugs zu betätigen, um das Lenken des Fahrzeugs 100 in die Richtung, in die der Benutzer fahren will, zu unterstützen. In der dargestellten Ausführungsform ist das SCS 14 von der VCU 10 implementiert. In einigen alternativen Ausführungsformen kann das SCS 14 von der ABS-Steuerung 13 implementiert sein.
Obgleich nicht detailliert in 3 dargestellt, umfasst die VCU 10 ferner einen Traktionskontroll-(Traction-Control-/TC-)Funktionsblock. Der TC-Funktionsblock ist in von einer Computervorrichtung der VCU 10 ausgeführtem Softwarecode implementiert. Die ABS-Steuerung 13 und der TC-Funktionsblock liefern Ausgaben, die beispielsweise die TC-Aktivität, die ABS-Aktivität, Bremseingriffe an einzelnen Rädern und Motordrehmomentanforderungen von der VCU 10 an den Motor 121 bei Auftreten eines Radschlupfereignisses anzeigen. Jedes der zuvor genannten Ereignisse zeigt an, dass ein Radschlupfereignis aufgetreten ist. In einigen Ausführungsformen implementiert die ABS-Steuerung 13 den TC-Funktionsblock. Andere Fahrzeuguntersysteme wie ein Wankstabilitäts-Steuerungssystem o. Ä. können ebenfalls enthalten sein.
Wie zuvor beschrieben, umfasst das Fahrzeug 100 ebenfalls ein Geschwindigkeitssteuerungssystem 16, das ausgebildet ist, um automatisch die Fahrzeuggeschwindigkeit auf einer ausgewählten Geschwindigkeit zu halten, wenn das Fahrzeug mit Geschwindigkeiten von mehr als 25 km/h fährt. Das Geschwindigkeitssteuerungssystem 16 ist mit einer Geschwindigkeitssteuerungs-Mensch-Maschine-Schnittstelle 18 ausgestattet, mit der der Benutzer eine ZielFahrzeuggeschwindigkeit am Geschwindigkeitssteuerungssystem 16 auf eine Weise nach dem Stand der Technik eingeben kann. In einer Ausführungsform sind die Eingabesteuerelemente des Geschwindigkeitssteuerungssystems an einem Lenkrad 171 montiert (4). Das Geschwindigkeitssteuerungssystem 16 kann durch Drücken einer Geschwindigkeitssteuerungssystem-Wahltaste 176 eingeschaltet werden. Wenn das Geschwindigkeitssteuerungssystem 16 eingeschaltet ist, stellt das Drücken eines Steuerelements „Sollgeschwindigkeit“ 173 den aktuellen Wert eines Geschwindigkeitssteuerungs-Sollgeschwindigkeitsparameters cruise_set-speed auf die aktuelle Fahrzeuggeschwindigkeit ein. Das Drücken einer Taste „+“ 174 ermöglicht ein Erhöhen des Werts von cruise_set-speed, während das Drücken einer Taste „-“ 175 das Senken des Werts von cruise_set-speed ermöglicht. Eine Fortsetzungstaste 173R ist vorhanden, die ausgebildet ist, um das Geschwindigkeitssteuerungssystem 16 zum Fortsetzen der Geschwindigkeitssteuerung mit dem momentanen Wert von cruise_set-speed nach einem Außerkraftsetzen durch den Fahrer zu steuern. Straßen-Geschwindigkeitssteuerungssysteme nach dem Stand der Technik, umfassend das vorliegende System 16, sind so konfiguriert, dass, wenn der Benutzer die Bremse betätigt oder bei Fahrzeugen mit einem Handschaltgetriebe ein Kupplungspedal tritt, die Steuerung der Fahrzeuggeschwindigkeit durch das Geschwindigkeitssteuerungssystem 16 abgebrochen wird und das Fahrzeug 100 zu einem manuellen Betriebsmodus zurückkehrt, der eine Gas- oder Bremspedalbetätigung von einem Benutzer erfordert, um die Fahrzeuggeschwindigkeit zu halten. Ebenso bewirkt das Erkennen eines Radschlupfereignisses, das durch einen Traktionsverlust eingeleitet werden kann, das Abbrechen der Steuerung der Fahrzeuggeschwindigkeit durch das Geschwindigkeitssteuerungssystem 16. Die Geschwindigkeitssteuerung durch das System 16 wird fortgesetzt, wenn der Fahrer anschließend die Fortsetzungstaste 173R drückt.
Das Geschwindigkeitssteuerungssystem 16 überwacht die Fahrzeuggeschwindigkeit, und eine Abweichung von dieser Zielfahrzeuggeschwindigkeit wird automatisch angepasst, so dass die Fahrzeuggeschwindigkeit auf einem im Wesentlichen konstanten Wert, typischerweise von mehr als 25 km/h, gehalten wird. Das heißt, das Geschwindigkeitssteuerungssystem ist bei Geschwindigkeiten unterhalb von 25 km/h nicht betriebsbereit. Die Geschwindigkeitssteuerungs-Mensch-Maschine-Schnittstelle 18 kann ebenfalls konfiguriert sein, um eine Warnung für den Benutzer zum Status des Geschwindigkeitssteuerungssystems 16 über eine optische Anzeige der Mensch-Maschine-Schnittstelle 18 bereitzustellen. In der vorliegenden Ausführungsform ist das Geschwindigkeitssteuerungssystem 16 konfiguriert, um ein Einstellen des Werts von cruise_set-speed auf einen beliebigen Wert im Bereich von 25 bis 150 km/h zu ermöglichen.
Das LSP-Steuerungssystem 12 stellt ebenfalls ein geschwindigkeitsbasiertes Steuerungssystem für den Benutzer bereit, das dem Benutzer das Auswählen einer sehr niedrigen Zielgeschwindigkeit ermöglicht, bei der sich das Fahrzeug fortbewegen kann, ohne dass vom Benutzer Pedalbetätigungen erforderlich sind, um die Fahrzeuggeschwindigkeit zu halten. Eine Niedergeschwindigkeits-Geschwindigkeitssteuerungs- (oder Fortbewegungssteuerungs-)Funktion ist beim Straßen-Geschwindigkeitssteuerungssystem 16, das ausschließlich bei Geschwindigkeiten von mehr als 25 km/h in Betrieb ist, nicht vorhanden.
In der vorliegenden Ausführungsform wird das LSP-Steuerungssystem 12 durch Drücken der am Lenkrad 171 montierten LSP-Steuerungssystem-Wahltaste 178 aktiviert. Das System 12 ist ausgebildet, um selektive Antriebsstrang-, Traktionskontroll- und Bremsaktionen auf eines oder mehrere Räder des Fahrzeugs 100 gemeinsam oder einzeln anzuwenden.
Das LSP-Steuerungssystem 12 ist konfiguriert, um einem Benutzer das Eingeben eines gewünschten Werts der Fahrzeugzielgeschwindigkeit in der Form eines Sollgeschwindigkeitsparameters user_set-speed über eine Niedergeschwindigkeits-Fortbewegungssteuerungs-Mensch-Maschine-Schnittstelle (LSP-Mensch-Maschine-Schnittstelle) 20 (1, 3), die bestimmte Eingabetasten 173-175 mit dem Geschwindigkeitssteuerungssystem 16 und dem HDC-Steuerungssystem 12HD gemeinsam hat, zu ermöglichen. Wenn die Fahrzeuggeschwindigkeit innerhalb des zulässigen Betriebsbereichs des LSP-Steuerungssystems 12 liegt (was in der vorliegenden Ausführungsform der Bereich von 2 bis 30 km/h ist, obgleich andere Bereiche ebenfalls denkbar sind) und keine andere Bedingung für die Fahrzeuggeschwindigkeit vorliegt, während die Steuerung des LSP-Steuerungssystems 12 erfolgt, steuert das LSP-Steuerungssystem 12 die Fahrzeuggeschwindigkeit gemäß einem Sollgeschwindigkeitswert des LSP-Steuerungssystems LSP_set-speed, der im Wesentlichen wie user_set-speed eingestellt wird. Im Gegensatz zum Geschwindigkeitssteuerungssystem 16 ist das LSP-Steuerungssystem 12 für einen Betrieb unabhängig vom Auftreten eines Traktionsereignisses ausgebildet. Das heißt, das LSP-Steuerungssystem 12 bricht die Geschwindigkeitssteuerung bei Erkennung eines Radschlupfs nicht ab. Das LSP-Steuerungssystem 12 managt stattdessen aktiv das Fahrzeugverhalten, wenn ein Schlupf erkannt wird.
Die LSP-Steuerungs-Mensch-Maschine-Schnittstelle 20 ist im Fahrzeug-Innenraum angeordnet, damit der Benutzer direkt darauf zugreifen kann. Der Benutzer des Fahrzeugs 100 kann am LSP-Steuerungssystem 12 über die LSP-Mensch-Maschine-Schnittstelle 20 den gewünschten Wert von user_set-speed wie zuvor beschrieben mit der Taste „Sollgeschwindigkeit“ 173 und den Tasten „+“/„-“ 174, 175 auf eine ähnliche Weise am Geschwindigkeitssteuerungssystem 16 eingeben. Die LSP-Mensch-Maschine-Schnittstelle 20 umfasst ebenfalls eine optische Anzeige, mit der Informationen und Orientierungshilfen für den Benutzer zum Status des LSP-Steuerungssystems 12 bereitgestellt werden können.
Das LSP-Steuerungssystem 12 empfängt eine Eingabe von der ABS-Steuerung 13 des Bremssystems 22 des Fahrzeugs, die das Ausmaß anzeigt, in dem der Benutzer die Bremsen mit dem Bremspedal 163 betätigt hat. Das LSP-Steuerungssystem 12 empfängt ebenfalls eine Eingabe von einem Gaspedal 161, die das Ausmaß anzeigt, in dem der Benutzer das Gaspedal 161 getreten hat, und eine Eingabe vom Getriebe 124. Letztere kann Signale umfassen, die beispielsweise für die Drehzahl einer Abtriebswelle des Getriebes 124, eine Menge von Drehmomentwandler-Schlupf und eine Gangübersetzungsanforderung repräsentativ sein können. Andere Eingaben des LSP-Steuerungssystems 12 umfassen eine Eingabe von der Geschwindigkeitssteuerungs-Mensch-Maschine-Schnittstelle 18, die für den Status (Ein/Aus) des Geschwindigkeitssteuerungssystems 16 repräsentativ ist, eine Eingabe von der LSP-Steuerungs-Mensch-Maschine-Schnittstelle 20 und eine Eingabe von einem Gradientensensor 45, der den Gradienten der Fahrbahn, auf der das Fahrzeug 100 fährt, anzeigt. In der vorliegenden Ausführungsform ist der Gradientensensor 45 ein Gyroskopsensor. In einigen alternativen Ausführungsformen empfängt das LSP-Steuerungssystem 12 ein Signal, das den Fahrbahngradienten anzeigt, von einem anderen Steuergerät wie dem ABS-Steuergerät 13. Das ABS-Steuergerät 13 kann einen Gradienten auf der Basis einer Vielzahl von Eingaben bestimmen, optional auf der Basis wenigstens teilweise von Signalen, die auf die Längs- und Seitenbeschleunigung des Fahrzeugs hinweisen, und eines Signals, das auf die Fahrzeugbezugsgeschwindigkeit (v_actual) hinweist, das ein Signal darstellt, das auf die tatsächliche Fahrzeuggeschwindigkeit über Grund hinweist. Verfahren zum Berechnen der Fahrzeugbezugsgeschwindigkeit auf der Basis von beispielsweise Fahrzeugradgeschwindigkeiten entsprechen dem Stand der Technik. Beispielsweise kann in einigen Fahrzeugen nach dem Stand der Technik die Fahrzeugbezugsgeschwindigkeit so bestimmt werden, dass sie die Geschwindigkeit des sich am zweitlangsamsten drehenden Rads oder die Durchschnittsgeschwindigkeit aller Räder ist. Andere Weisen zum Berechnen der Fahrzeugbezugsgeschwindigkeit können in einigen Ausführungsformen zweckmäßig sein, etwa durch eine Kameravorrichtung oder einen Radarsensor.
Das HDC-System 12HD wird durch Drücken der in der HDC-System-Mensch-Maschine-Schnittstelle 20HD enthaltenen und am Lenkrad 171 montierten Taste 177 aktiviert. Wenn das HDC-System 12HD aktiv ist, steuert das System 12HD das Bremssystem 22, um die Fahrzeuggeschwindigkeit auf einen Wert entsprechend dem eines HDC-Sollgeschwindigkeitsparameters HDC_set-speed, der von einem Benutzer auf eine ähnliche Weise wie die Sollgeschwindigkeit des Geschwindigkeitssteuerungssystems 16 und des LSP-Steuerungssystems, unter Verwendung der gleichen Steuertasten 173, 173R, 174, 175, gesteuert wird, zu begrenzen. Das HDC-System 12HD ist zum Ermöglichen des Einstellens des Werts von HDC_set-speed auf einen beliebigen Wert im Bereich von 2 bis 30 km/h ausgebildet. Der HDC-Sollgeschwindigkeitsparameter kann ebenfalls als HDC-Zielgeschwindigkeit bezeichnet werden. Wenn der Benutzer das HDC-System 12HD nicht durch Treten des Gaspedals 161 bei aktivem HDC-System 12HD außer Kraft setzt, steuert das HDC-System 12HD die Bremsanlage 22 (3), um zu verhindern, dass die Fahrzeuggeschwindigkeit die HDC_set-speed überschreitet. In der vorliegenden Ausführungsform ist das HDC-System 12HD nicht zum Ausüben von positivem Antriebsmoment ausgebildet. Das HDC-System 12HD ist stattdessen ausschließlich zum Bewirken des Ausübens von negativem Bremsmoment über die Bremsanlage 22 ausgebildet.
Die VCU 10 ist zum Implementieren eines Terrain-Response-(TR-)/(RTM-)Systems der zuvor beschriebenen Art ausgebildet, wobei die VCU 10 Einstellungen von einem oder mehreren Fahrzeugsystemen oder -untersystemen wie dem Antriebsstrang-Steuergerät 11 entsprechend einem ausgewählten Fahrmodus steuert. Der Fahrmodus kann von einem Benutzer mit einer Fahrmodus-Auswahlvorrichtung 141S (1) ausgewählt werden. Die Fahrmodi können ebenfalls als Geländemodi, Geländereaktionsmodi (Terrain-Response-/TR-Modi) oder Steuermodi bezeichnet werden.
In der Ausführungsform von 1 werden vier Fahrmodi angeboten: ein Straßenfahrmodus, geeignet zum Fahren auf einer relativ harten, glatten Fahrbahn, auf der ein relativ hoher Oberflächen-Reibungswert zwischen der Fahrbahn und den Rädern des Fahrzeugs besteht; ein Sandfahrmodus, geeignet zum Fahren in sandigem Gelände, wobei sich das Gelände wenigstens teilweise durch relativ hohen Widerstand, relativ hohe Verformbarkeit oder Nachgiebigkeit und einen relativ niedrigen Oberflächen-Reibungswert auszeichnet; ein Gras-, Schotter- oder Schnee-Fahrmodus (Grass, Gravel or Snow, GGS), geeignet zum Fahren auf Gras, Schotter oder Schnee, die relativ rutschige Oberflächen darstellen (das heißt einen relativ niedrigen Reibungswert zwischen Oberfläche und Rad aufweisen und typischerweise eine niedrigere Nachgiebigkeit als Sand); ein Felsenkriech-Fahrmodus (Rock Crawl, RC), geeignet zum langsamen Fahren auf einer felsigen Oberfläche; und ein Matsch- und Spurrinnen-Fahrmodus (Mud and Ruts, MR), geeignet zum Fahren in einem matschigen Gelände mit Spurrillen. Andere Fahrmodi können zusätzlich oder stattdessen bereitgestellt werden. In der vorliegenden Ausführungsform ermöglicht die Auswahlvorrichtung 141S einem Benutzer ebenfalls, eine automatische Fahrmodusauswahl-Betriebsbedingung auszuwählen, in der die VCU 10 automatisch den am besten geeigneten Fahrmodus auswählt wie nachfolgend ausführlich beschrieben. Der Straßenfahrmodus kann in einigen Ausführungsformen als Sonderprogramme-aus-(Special-Programms-Off-/SPO-)Modus bezeichnet werden, da er einem Standardfahrmodus entspricht und keine Spezialfaktoren wie einen relativ niedrigen Oberflächen-Reibungswert oder Oberflächen mit hoher Rauheit berücksichtigen muss.
Um Beeinträchtigungen des Fahrgastkomforts durch schnelle Änderungen der Beschleunigungsrate (Rucken), wenn das LSP-Steuerungssystem 12 die Fahrzeuggeschwindigkeit steuert, zu verhindern oder wenigstens zu verringern, beschränkt das LSP-Steuerungssystem 12 die Rate der Änderung der Beschleunigung des Fahrzeugs 100 so, dass sie einen vorgeschriebenen Höchstwert nicht überschreitet. Die höchstzulässige Rate der Änderung der Beschleunigung oder der höchstzulässige Ruckwert wird vom Parameter LSP_J_MAX geliefert. Das LSP-Steuerungssystem 12 beschränkt den Höchstwert der Beschleunigungsrate ebenfalls auf einen Wert LSP_A_MAX.
Die Werte von LSP_A_MAX und LSP_J_MAX werden entsprechend wenigstens teilweise dem TR-Modus und der Fahrzeuggeschwindigkeit eingestellt. In einigen Ausführungsformen, einschließlich der vorliegenden Ausführungsform, sind die Werte für TR_mode=Sand höher als die entsprechenden Werte für TR_mode=SPO, GGS oder MR, aufgrund des auf ein durch Sand fahrendes Fahrzeug 100 einwirkenden größeren Widerstands im Vergleich zu einem auf einer trockenen Asphaltfahrbahn, auf Gras, Schotter oder Schnee oder einer matschigen Oberfläche oder einer Oberfläche mit Spurrinnen fahrenden Fahrzeug.
Das LSP-Steuerungssystem 12 veranlasst das Fahrzeug 100 zu einem Betrieb gemäß dem Wert von LSP_set-speed.
Zum Bewirken des Ausübens des erforderlichen positiven oder negativen Moments auf die Räder kann die VCU 10 befehlen, dass positives oder negatives Moment auf die Fahrzeugräder durch den Antriebsstrang 129 ausgeübt wird und/oder dass eine Bremskraft auf die Fahrzeugräder durch die Bremsanlage 22 ausgeübt wird, wobei eines oder beide zum Ausführen der Änderung des Moments verwendet werden kann/können, die erforderlich ist, um eine erforderliche Fahrzeuggeschwindigkeit zu erreichen oder zu halten. In einigen Ausführungsformen wird ein Moment auf die Fahrzeugräder einzeln ausgeübt, beispielsweise durch Antriebsstrang-Momentvektorierung, um das Fahrzeug auf der erforderlichen Geschwindigkeit zu halten. Alternativ kann in einigen Ausführungsformen Moment auf die Räder insgesamt ausgeübt werden, um die erforderliche Geschwindigkeit zu halten, beispielsweise bei Fahrzeugen mit Antriebssträngen, bei denen eine Momentvektorierung nicht möglich ist. In einigen Ausführungsformen kann das Antriebsstrang-Steuergerät 11 zum Ausführen einer Momentvektorierung zum Steuern einer auf ein oder mehrere Räder ausgeübten Momentmenge durch Steuern einer Antriebsstrangkomponente wie einer hinteren Antriebseinheit, vorderen Antriebseinheit, eines Differentials oder einer beliebigen anderen geeigneten Komponente ausgebildet sein. Beispielsweise können eine oder mehrere Komponenten des Antriebsstrangs 130 eine oder mehrere Kupplungen umfassen, die zum Ermöglichen des Variierens der auf ein oder mehrere Räder ausgeübten Momentmenge ausgebildet sind. Andere Anordnungen können ebenfalls zweckdienlich sein.
Wenn ein Antriebsstrang 129 eine oder mehrere Elektromaschinen umfasst, beispielsweise einen oder mehrere Antriebsmotoren und/oder Generatoren, kann das Antriebsstrang-Steuergerät 11 zum Modulieren des auf ein oder mehrere Räder ausgeübten Moments ausgebildet sein, um eine Momentvektorierung mit einer oder mehreren Elektromaschinen auszuführen.
In einigen Ausführungsformen kann das LSP-Steuerungssystem 12 ein Signal wheel_slip (ebenfalls mit 48 in 3 bezeichnet) empfangen, das auf das Auftreten eines Radschlupfereignisses hinweist. Dieses Signal 48 wird ebenfalls dem Straßen-Geschwindigkeitssteuerungssystem 16 des Fahrzeugs bereitgestellt, wobei es einen Übersteuerungs- oder Sperrbetriebsmodus im Straßen-Geschwindigkeitssteuerungssystem 16 auslöst, so dass die automatische Steuerung der Fahrzeuggeschwindigkeit durch das Straßen-Geschwindigkeitssteuerungssystem 16 unterbrochen oder abgebrochen wird. Das LSP-Steuerungssystem 12 ist aber nicht zum Abbrechen oder Unterbrechen des Betriebs bei Empfang des Signals wheel_slip 48 ausgebildet. Das System 12 ist stattdessen zum Überwachen und anschließenden Managen des Radschlupfs ausgebildet, um die Belastung des Fahrers zu verringern. Während eines Schlupfereignisses fährt das LSP-Steuerungssystem 12 mit dem Vergleichen der gemessenen Fahrzeuggeschwindigkeit mit dem Wert von LSP_set-speed fort und fährt mit dem automatischen Steuern des auf die Fahrzeugräder ausgeübten Moments (durch den Antriebsstrang 129 und die Bremsanlage 22) fort, um die Fahrzeuggeschwindigkeit auf dem ausgewählten Wert zu halten. Daher ist das LSP-Steuerungssystem 12 anders ausgebildet als das Geschwindigkeitssteuerungssystem 16, bei dem ein Radschlupfereignis die Wirkung eines Außerkraftsetzens der Geschwindigkeitssteuerungsfunktion hat, so dass der manuelle Betrieb des Fahrzeugs fortgesetzt werden muss oder die Geschwindigkeitssteuerung durch das Geschwindigkeitssteuerungssystem 16 durch die Fortsetzen-Taste 173R oder die Sollgeschwindigkeit-Taste 173 fortgesetzt werden muss.
Das Fahrzeug 100 ist ebenfalls mit zusätzlichen Sensoren (nicht dargestellt) ausgestattet, die für eine Vielzahl von verschiedenen Parametern repräsentativ sind, die mit Fahrzeugbewegung und -status verknüpft sind. Dabei kann es sich um LSP- oder HDC-Steuerungssysteme 12, 12HD spezifische Trägheitssysteme oder einen Teil eines Fahrgast-Rückhaltesystems oder ein beliebiges anderes Untersystem, das Daten von Sensoren wie Gyrometern und/oder Beschleunigungsmessern, die auf die Fahrzeugkarosserie-Bewegung hinweisen können und eine zweckdienliche Eingabe für LSP- und/oder HDC-Steuerungssystem 12, 12HD liefern können, handeln. Die Signale von den Sensoren liefern eine Vielzahl von Fahrbedingungsindikatoren (auch als Geländeindikatoren bezeichnet), die auf die Beschaffenheit der Geländebedingungen, unter denen das Fahrzeug 100 fährt, hinweisen, oder werden zum Berechnen dieser verwendet.
Zu den Sensoren (nicht dargestellt) am Fahrzeug 100 zählen, ohne darauf beschränkt zu sein, Sensoren, die dauerhafte Sensorausgaben an die VCU 10 ausgeben, einschließlich Raddrehzahlsensoren, wie zuvor beschrieben, eines Umgebungstemperatursensors, eines Luftdrucksensors, von Reifendrucksensoren, Radgelenksensoren, gyroskopischen Sensoren zum Erfassen von Gier-, Roll- und Nickwinkel/-rate des Fahrzeugs, eines Fahrzeuggeschwindigkeitssensors, eines Längsbeschleunigungssensors, eines Motordrehmomentsensors (oder Motordrehmomentabschätzers), eines Lenkwinkelsensors, eines Lenkwinkelgeschwindigkeitssensors, eines Steigungswinkelsensors (oder Steigungsabschätzers), eines Querbeschleunigungssensors, der Teil des SCS 14 sein kann, eines Bremspedal-Stellungssensors, eines Gaspedal-Stellungssensors, von Längs-, Quer- und Vertikalbewegungssensoren und von Wassererfassungssensoren, die den Teil eines Wading-Assistance-Systems („Wat“-Hilfesystem, für das Durchfahren von Wasser, nicht dargestellt) des Fahrzeugs bilden. In anderen Ausführungsformen wird gegebenenfalls nur eine Auswahl der vorhergehenden Sensoren eingesetzt.
Die VCU 10 empfängt ferner ein Signal vom Lenkungssteuergerät 170C. Das Lenkungssteuergerät 170C weist die Form einer elektronischen Servolenkungseinheit (electronic Power Assisted Steering, ePAS) auf. Das Lenkungssteuergerät 170C liefert ein Signal an die VCU 10, das auf die Lenkkraft hinweist, die auf lenkbare Räder 111, 112 des Fahrzeugs 100 ausgeübt wird. Diese Kraft entspricht der von einem Benutzer auf das Lenkrad 171 ausgeübten, in Kombination mit der von der ePAS-Einheit 170C erzeugten Lenkkraft. Die ePAS-Einheit 170C liefert ebenfalls ein Signal, das auf Drehposition oder - winkel des Lenkrads hinweist. Das Lenkungssteuergerät 170C ist ebenfalls zum Einstellen des Lenkwinkels der lenkbaren Räder auf einen gewünschten Wert unter Verwendung von einem Teil der ePAS-Einheit bildenden Elektromotoren ausgebildet. Somit ist das Fahrzeug 100 zum Ausführen der autonomen Lenkungssteuerung bei Bedarf ausgebildet.
In der vorliegenden Ausführungsform bewertet die VCU 10 die verschiedenen Sensoreingaben zum Ermitteln der Wahrscheinlichkeit, dass jede der Vielzahl von verschiedenen TR-Modi (Steuermodi oder Fahrmodi) für die Fahrzeuguntersysteme geeignet ist, wobei jeder Steuermodus einem bestimmten Geländetyp entspricht, in dem das Fahrzeug fährt (beispielsweise Matsch und Spurrillen, Sand, Gras/Kies/Schnee), wie zuvor beschrieben.
Wenn der Benutzer den Betrieb des Fahrzeugs in der automatischen Fahrzeugmodus-Auswahlbedingung gewählt hat, wählt die VCU 10 anschließend den am besten geeigneten der Steuermodi aus und ist zum automatischen Steuern der Untersysteme gemäß dem gewählten Modus ausgebildet. Dieser Aspekt der Erfindung ist ausführlicher beschrieben in unseren gemeinsam anhängigen Patentanmeldungen GB2492748 , GB2492655 und GB2499279 , deren Inhalt hier durch Verweis wie zuvor beschrieben eingeschlossen ist.
Wie zuvor beschrieben kann die Beschaffenheit des Geländes, in dem das Fahrzeug fährt (wie durch Bezugnahme auf den gewählten Steuermodus ermittelt), ebenfalls im LSP-Steuerungssystem 12 zum Ermitteln einer geeigneten Zu- oder Abnahme der Fahrzeuggeschwindigkeit verwendet werden. Wenn der Benutzer beispielsweise einen Wert von user_set-speed wählt, der für die Beschaffenheit des Geländes, in dem das Fahrzeug fährt, nicht geeignet ist, ist das System 12 zum automatischen Anpassen des Werts von LSP_set-speed an einen Wert niedriger als user_set-speed ausgebildet. In einigen Fällen kann die vom Benutzer gewählte Geschwindigkeit in bestimmten Geländetypen nicht erreichbar oder ungeeignet sein, insbesondere bei unebenen oder rauen Oberflächen. Wenn das System 12 eine Sollgeschwindigkeit (einen Wert von LSP_set-speed) wählt, der sich von der vom Benutzer gewählten Sollgeschwindigkeit user_set-speed unterscheidet, wird dem Benutzer über die LSP-Mensch-Maschine-Schnittstelle 20 eine optische Anzeige der Geschwindigkeitsbeschränkung geliefert, um darauf hinzuweisen, dass eine alternative Geschwindigkeit gewählt wurde.
Es können andere Anordnungen zweckdienlich sein.
In der vorliegenden Ausführungsform ist das Fahrzeug 100 mit einem stereoskopischen Kamerasystem 185C ausgestattet, das zum Erzeugen von Stereofarbbild-Paaren mit einem Paar von im System 185C enthaltenen, vorwärts blickenden Farbvideokameras ausgebildet ist. Ein Strom von Doppel-Videobilddaten wird der VCU 10 von den Kameras zugeführt, welche die empfangenen Bilddaten in einem Verarbeitungsteil 19 verarbeitet und wiederholt eine 3D-Punktwolken-Datenmenge auf der Basis der empfangenen Bilder erzeugt. Verfahren zum Erzeugen von 3D-Punktwolken-Datenmengen auf der Basis von stereoskopischen Bilddaten sind nach dem Stand der Technik wohlbekannt. Jeder Punkt in der 3D-Punktwolken-Datenmenge entspricht einer 3D-Koordinate auf einer Geländeoberfläche vor dem Fahrzeug 100 in Betrachtung von jeder der vorwärts blickenden Videokameras des stereoskopischen Kamerasystems 185C.
In der vorliegenden Ausführungsform wird die 3D-Punktwolken-Datenmenge so umgewandelt, dass der Ursprung des Bezugsrahmens der Datenmenge der Mittelpunkt einer die Punkte verbindenden Linie ist, an der die zwei Vorderräder 111, 112 des Fahrzeugs 100 den Boden berühren, auf dem das Fahrzeug 100 fährt. In der vorliegenden Ausführungsform ist der Bezugsrahmen in Bezug auf kartesische Koordinaten X, Y, Z definiert, wobei X eine Achse quer zur Richtung der Fahrzeugfahrt ist, das heißt entlang einer Seitenrichtung in Bezug auf das Fahrzeug 100, Y eine in einer Aufwärtsrichtung in Bezug des Fahrzeugs 100 ausgerichtete Achse, entsprechend einer Richtung im Wesentlichen vertikal nach oben, wenn das Fahrzeug 100 auf ebenem Boden steht, ist und Z parallel zu einer Längsachse des Fahrzeugs 100, entlang der Fahrtrichtung des Fahrzeugs 100, ist oder mit dieser zusammenfällt.
Der Verarbeitungsteil 19 ist zum Ermitteln eines vorhergesagten Wegs des Fahrzeugs anfänglich in Bezug auf vom stereoskopischen Kamerasystem 185C erfasste 2D-Bilder ausgebildet. In der vorliegenden Ausführungsform verwendet der Verarbeitungsteil 19 das linke Bild des neuesten erfassten Stereoskopbildpaares. Der Verarbeitungsteil 19 erzeugt anschließend einen Farb- und Texturdeskriptor p_i für jedes Pixel des Bildes mit Ausnahme der den Rand von jedem Bild definierenden Pixel. In einigen Ausführungsformen kann stattdessen das rechte Bild verwendet werden.
Die Farbinformation für den Deskriptor p_i wird durch Umwandeln des 2D-Bilds vom RGB-Farbraum (was die Form ist, in der es vom Kamerasystem 185C erzeugt wird) oder einem alternativen Farbraum in den Lab-Farbraum erzeugt. Die Farben im Lab-Farbraum sind bekanntermaßen für das menschliche Auge linear besser wahrnehmbar als Farben im RGB-Farbraum, was das Erzeugen von verbesserten Clustern ermöglicht, wenn ein Bild-Clustering durchgeführt wird (wie nachfolgend beschrieben).
Der Verarbeitungsteil 19 erzeugt ebenfalls Texturinformationen in Bezug auf jedes Pixel des Bildes mit Ausnahme der den Rand von jedem Bild definierenden Pixel. Textur ist ein Maß für die lokale Raumvariation in der Intensität eines Bildes. Die Texturinformation wird für den Farb- und Texturdeskriptor durch Subtrahieren der Intensität eines gegebenen Pixels von der Intensität jedes der 8 Pixel erzeugt, die dieses Pixel umgeben, um acht Texturdeskriptoren pro Pixel zu erhalten. Jeder Farb- und Texturdeskriptor enthält daher elf Komponenten: drei Farbkomponenten L, a, b und acht Texturkomponenten. 5 zeigt die Weise, wie ein Farb- und Texturdeskriptor p_i erzeugt wird; das Motivpixel S mit der Intensität Lc ist umgeben von den Pixeln S1 bis S8 jeweils mit der Intensität L1 bis L8 dargestellt. Lc, ac und bc sind die Lab-Farbkomponenten des Pixels Lc. Die Menge von Gewichten {W1, W2, W3} wird zum Ausgleich des Heranziehens von Farbe, Textur und Helligkeit für das Bild-Clustering verwendet.
Der Verarbeitungsteil 19 führt anschließend eine Bildsegmentierungstechnik, in der vorliegenden Ausführungsform eine Gaußsche-Mischverteilungsmodell-(Gaussian-Mixture-Model-/GMM-)basierte Expectation-Maximization-(EM-)Bildsegmentierungstechnik durch. Der Verarbeitungsteil wendet anschließend ein Online-Lernschema für die Geländewegerfassung und Online-Lernclustering und -Wegerkennung an. Die Technik aktualisiert automatisch Trainingsdaten für das Onlinetraining, das die Möglichkeit eines falschen Klassifizierens von Straßen- und Nicht-Straßen-Gelände verringert und die Anpassbarkeit des Geländewegerfassungs-Algorithmus verbessert.
Wenn das LSP-Steuerungssystem 12 zunächst von einem Benutzer aktiviert wird, erzeugt der Verarbeitungsteil 19 ein 2D-Bild auf der Basis des linken Bildes eines gegebenen Stereobildpaares wie zuvor beschrieben und zeigt das Bild auf einer Touchscreen-Anzeige an, die einen Teil einer Fahrzeug-Mensch-Maschine-Schnittstelle 100H bildet. 6(a) zeigt ein Beispiel eines mit dem stereoskopischen Kamerasystem 185C erfassten und auf dem Touchscreen der Mensch-Maschine-Schnittstelle 100H angezeigten Bildes I. Alternativ kann das rechte Bild des Stereofarbpaares verwendet werden.
Der Benutzer wird aufgefordert, im Bild I einen relativ kleinen rechteckigen „Wegbereich“ RP des Bildes vor dem Fahrzeug 100 (entlang einem unteren Rand oder Bereich des Bildes), der als Teil eines durchfahrbaren Weges des Fahrzeugs 100 betrachtet wird, und drei weitere rechteckige Bereiche RL, RR, RT jeweils entlang linkem, rechtem und oberen Rand oder Bereich des Bildes, die keinen Teil des durchfahrbaren Weges bilden, zu definieren. Die vier rechteckigen Bereiche können als Trainingsbereiche beschrieben werden. Anschließend wird die GMM-EN-basierte Bildsegmentierungstechnik auf das 2D-Bild auf der Basis der vom Benutzer definierten ursprünglichen Trainingsbereiche RP, RL, RR, RT angewendet. Wenn starke Schatten oder Farbänderungen im Bild auf dem Weg vorhanden sind, kann der Benutzer weitere rechteckige Bereiche (beispielsweise unter anderem bis zu zwei weitere rechteckige Bereiche), welche die Bereiche mit Schatten oder Straßenfarbänderungen abdecken, als zusätzliche durchfahrbare Wegmuster für das anfängliche Trainieren des Verarbeitungsteils 19 zum Erfassen des Weges des Fahrzeugs 100 im Bild I definieren.
In einigen Ausführungsformen ist der Verarbeitungsteil 19 zum automatischen Wählen eines unteren Mittelbereichs des Bildes I als anfänglichem Wegbereich oder Referenzmuster und eines linken, rechten und oberen Randbereichs des Bildes als anfänglichen Nicht-Weg-Bereichen für das anfängliche Trainieren ausgebildet.
In der vorliegenden Ausführungsform wird der Benutzer zum Angeben der Stellen der Trainingsbereiche durch Berühren eines das Bild I anzeigenden Touchscreens an den entsprechenden Stellen, die der Benutzer als Trainingsbereiche verwenden will, aufgefordert. Der Verarbeitungsteil legt dann rechteckige Konturen darüber, welche die Grenze der entsprechenden Trainingsbereiche definieren.
6(b) zeigt das Bild von 6(a) nach der Anwendung der GMM-EM-basierten Bildsegmentierungstechnik. Die Segmentierungstechnik kann zum Klassifizieren von jedem Pixel des Bildes als Textur und Farbe aufweisend entsprechend dem der Merkmale des Bildes, das von den Rechtecken der vier anfänglichen Trainingsbereiche RP, RL, RR, RT wie vom Benutzer definiert umschlossen wurde, berücksichtigt werden. Somit besteht jetzt das Bild, wie aus 6(b) ersichtlich, aus Pixeln, die eine von nur vier Farben haben, wobei jede Farbe auf Gelände entsprechend einem der vier anfänglichen Trainingsbereiche RP, RL, RR, RT hinweist. Beispiele für Pixelcluster entsprechend den vier anfänglichen Trainingsbereichen RP, RL, RR, RT sind jeweils in 6(b) an CP, CL, CR und CT dargestellt.
Wie aus 6(b) ersichtlich, kann die Anwendung des anfänglichen Clustering-Schritts zu einem Bild mit einer nicht unwesentlichen Menge von Störung bezüglich der Verteilung von Pixeln von einer oder mehreren Farben führen. Daher wird ein Verfeinerungsprozess angewendet, um die Segmentierung weiter zu verbessern, in dem ausschließlich die größte verbundene Komponente von Pixeln einer bestimmten Farbe behalten wird und nicht behaltene Bereiche von Pixeln als ein neuer Cluster gekennzeichnet und einer neuen vorgegebenen Farbe zugewiesen werden. Für jede der behaltenen Komponenten werden Pixel, die vollständig von dieser Komponente umgeben sind und nicht die gleiche Farbe wie diese Komponente aufweisen, erneut als zu dieser Komponente gehörig zugewiesen. 6(c) zeigt das Bild I nach der Verfeinerung mit einigen der neu gekennzeichneten Cluster von Pixeln mit CN gekennzeichnet. Diese Pixel können als sekundäre Blöcke von Pixeln betrachtet werden, während Cluster von Pixeln entsprechend den vier anfänglichen Trainingsbereichen RP, RL, RR, RT als primäre Blöcke von Pixeln bezeichnet werden können.
Anschließend kann eine dynamische Anpassung der vier Trainingsbereiche RP, RL, RR, RT auf der Basis der an vorhergehenden Frames durchgeführten Bildsegmentierung durchgeführt werden. Beispielsweise kann die Anordnung des Wegbereichs RP Frame für Frame wenigstens teilweise entsprechend dem Lenkwinkel angepasst werden, wobei sich der Wegbereich RP nach links bewegt, wenn der Lenkwinkel ein Lenken nach links angibt, und sich der Wegbereich nach rechts bewegt, wenn der Lenkwinkel ein Lenken nach rechts angibt.
Zusätzlich können für den Umgang mit starken Schatten oder Farb- und Texturänderungen auf dem Weg zwei weitere Wegreferenzbereiche RP2, RP3 im zuvor erfassten Wegbereich oberhalb des unteren Wegreferenzbereichs RP extrahiert werden. Diese zwei zusätzlichen Wegreferenzbereiche RP2, RP3 sind oberhalb der unteren Wegreferenz RP, aber unterhalb des Wegfluchtpunkts, optional knapp unterhalb des Fluchtpunkts, angeordnet. Sie können in einigen Ausführungsformen benutzerdefiniert sein oder können alternativ automatisch vom Verarbeitungsteil 19 auf der Basis von vorhergehenden Wegerfassungsergebnissen dynamisch definiert werden. Der Verarbeitungsteil 19 kann versuchen, die zusätzlichen Wegreferenzbereiche RP2, RP3 auf der Basis wenigstens teilweise einer Annahme, dass eine Änderung der Bahn des Weges von Frame zu Frame klein und relativ gleichmäßig ist, dynamisch definieren.
In einigen Ausführungsformen kann ein Zeitmitteln der Form der Cluster CP, CL, CR, CT durchgeführt werden.
Der Verarbeitungsteil 19 fährt auf der Basis fort, dass der Bereich CP von 6 den Weg des Fahrzeugs 100 voraus darstellt. Zur Illustration der Wirksamkeit der beschriebenen Technik zeigt 6(d) das Bild I von 6(a), in dem ausschließlich Pixel des Clusters CP sichtbar sind. Es ist erkennbar, dass die Genauigkeit, mit welcher der Weg vorhergesagt wurde, hoch ist.
Der Verarbeitungsteil 19 identifiziert anschließend in der 3D-Punktwolke die Pixel entsprechend dem Cluster CP in 6(c), die als potentielle Wegpixel bezeichnet werden. Der Verarbeitungsteil 19 versucht, eine Horizontalebene des Weges des Fahrzeugs entsprechend den potentiellen Wegpixeln zu identifizieren. Der Verarbeitungsteil 19 identifiziert anschließend Ränder des Weges durch Entfernen von potentiellen Wegpixeln an den seitlichen Rändern, die auf relativ großen Höhen oberhalb der Horizontalebene liegen. Somit können potentielle Hindernisse an den Rändern des Weges wie Büsche, Bäume, Felsen u. Ä. als Bereiche, über die das Fahrzeug 100 fahren kann, entfernt werden. Der Verarbeitungsteil 19 ermittelt anschließend die Anordnung von seitlichen Rändern des vorhergesagten Weges nach dem Entfernen von seitlichen Hindernissen. Aufgrund dieser Information passt der Verarbeitungsteil 19 eine 3D-Kurve ein, um eine Mittellinie des von den seitlichen Rändern definierten Weges zu definieren. Die Mittellinie kann als eine Mittellinie eines 3D-vorhergesagten Weges des Fahrzeugs 100 betrachtet werden. In einigen Ausführungsformen können die die Mittellinie definierenden Daten vor der Kurvenanpassung als zum Definieren der Mittellinie des 3D-vorhergesagten Weges betrachtet werden.
7 zeigt schematisch diesen Prozess. 7(a) zeigt ein Beispiel eines vom stereoskopischen Kamerasystem 185C erfassten Bildes (I) (in diesem Beispiel ein linkes Bild eines stereoskopischen Bildpaares). Der Verarbeitungsteil 19 erfasst Pixel im Bild (I) entsprechend jeweils dem linken und rechten seitlichen Rand LE, LR des Weges und ermittelt, welche Datenpunkte der 3D-Punktwolke diesen Pixeln entsprechen. 7(b) zeigt eine Draufsicht des vorhergesagten Weges auf einer Xe-Ze-Ebene, betrachtet entlang einer vertikalen Achse Ye in realistischen Koordinaten, wobei die Xe-Ze-Ebene eine im Wesentlichen horizontale Ebene darstellt. Die Pixel sind daher auf die Xe-Ze-Ebene projiziert dargestellt. Der Verarbeitungsteil 19 berechnet anschließend eine Mittellinie CL des 3D-vorhergesagten Weges unter Verwendung eines Standard-Bildverarbeitungsalgorithmus. Schließlich führt der Verarbeitungsteil 19 einen Kurvenanpassungsvorgang durch, in dem der Verarbeitungsteil 19 eine 3D-Kurve an die die seitlichen Ränder LE, RE und die Mittellinie CL des vorhergesagten Weges in der 3D-Punktwolke definierenden 3D-Datenpunkte anpasst, um eine Krümmung des vorhergesagten Weges zu berechnen. Der Verarbeitungsteil 19 führt dies durch Anpassen der entsprechenden 2D-Kurven an eine Projektion der die Ränder LE, RE und die Mittellinie CL definierenden Datenpunkte des 3D-vorhergesagten Weges auf die Xe-Ze-Ebene vor dem Berechnen der entsprechenden Krümmungswerte durch. Die Kurven werden unter Verwendung eines polynomischen Modells dritter Ordnung mit der Beschränkung einer im Wesentlichen konstanten Straßenbreite und der Bedingung, dass die Straßenmittellinie durch den Ursprung des Koordinatensystems laufen muss, eingepasst.
7(c) zeigt eine Draufsicht des vorhergesagten Weges auf der Xe-Ye-Ebene, betrachtet entlang der vertikalen Achse Ze, zur Darstellung der an die Ränder LE, RE und die Mittellinie CL angepassten Kurven.
In einigen alternativen Ausführungsformen können entsprechende 3D-Kurven an die den linken und rechten Rand und die Mittellinie des vorhergesagten Weges definierenden 3D-Koordinaten angepasst werden, ohne zunächst die Koordinaten auf eine 2D-Ebene zu projizieren und eine Kurvenanpassung in der 2D-Ebene durchzuführen. Andere Anordnungen können in manchen Ausführungsformen geeignet sein.
Die drei polynomischen Kurvenanpassungen der linken Linie, rechten Linie und Mittellinie des Weges werden Frame für Frame auf der Basis der mittleren quadratischen Abweichung (Root Mean Square Error, RMSE) zwischen den ursprünglichen Daten und den angepassten Daten bewertet. Wenn festgestellt wird, dass die RMSE einer Kurve einen vorgegebenen Wert überschreitet, wird die Anpassung als fehlgeschlagen betrachtet. Wenn eine oder zwei Anpassungen aufgrund einer Abweichung in der Wegranderfassung als fehlgeschlagen betrachtet werden oder wenn kein Wegrand erfasst wird (beispielsweise weil das Kamerasystem 185C den Innenrand eines gekrümmten Wegs nicht sehen kann), können die schlecht passenden Polynome aus der gut passenden Ausgabe auf der Basis eines polynomischen Modells der Straße wiederhergestellt werden. In der vorliegenden Ausführungsform wird die Annahme getroffen, dass das polynomische Straßenmodell ein Polynom dritter Ordnung mit einer bestimmten Breite ist. Wenn eine oder zwei der drei polynomischen Kurven (linker, rechter Rand und Mittellinie) bekannt sind, können das andere eine oder die anderen zwei unter Verwendung des polynomischen Straßenmodells wiederhergestellt werden.
Es können alle drei Anpassungen fehlschlagen, beispielsweise aufgrund einer niedrigen Qualität der Wegerfassungsergebnisse oder weil das Kamerasystem 185C den Weg an einer scharfen Ecke nicht sehen kann oder weil die aktuelle Straße nicht durch den Polynom dritter Ordnung dargestellt werden kann, etwa in einem Kreuzungsbereich. In solchen Fällen kann das System ein Wegmodell durch Bezug auf eine Menge von vorhergehenden, guten Kurvenanpassungsergebnissen auf der Basis der Umwandlung der Fahrzeugausrichtung in realistische Koordinatensysteme erstellen.
Schließlich wird der erfasste Weg auf drei polynomische Kurven in realistischen Koordinaten vereinfacht und die Krümmung oder der Radius in jedem Abstand des erfassten Weges kann einfach aus diesen drei Polynomen mathematisch berechnet werden. Der Wegerfassungs- und Wegvorhersagealgorithmus kann mit einer Betriebsgeschwindigkeit von 15 Frames pro Sekunde auf der Grundlage einer Videosequenz mit einer Auflösung von 1024x512 Pixeln arbeiten.
Der Verarbeitungsteil 19 kann die Fahrzeugausrichtung in Bezug auf realistische Koordinaten ermitteln, das heißt mit Bezug auf in Bezug auf die Erde festgelegte Koordinaten (einen Referenzrahmen), und nicht in Bezug auf das Fahrzeug 100, mit Bezug auf von einer Trägheitsmesseinheit (Inertial Measurement Unit, IMU) 23 wie in 3 dargestellt gelieferten Fahrzeugausrichtungsdaten.
Einige Ausführungsform der vorliegenden Erfindung, die stereoskopische Bilddaten verwenden, weisen den Vorteil auf, dass eine genauere Wegkrümmungsschätzung in 3D erzielbar ist im Vergleich zu einem monokularen Kamerasystem, bei dem Fahrzeugkarosserie-Bewegungsergebnisse zu weniger zuverlässigen Wegkrümmungsschätzungen führen, insbesondere auf langen Strecken. Ein weiterer Vorteil von einigen Ausführungsformen, die stereoskopische Bilddaten verwenden, einschließlich der vorliegenden Ausführungsform, welche die Gaußsche Mischverteilungsmodell-(Gaussian-Mixture-Model-/GMM-)basierte Bildsegmentierungstechnik mit einem statistischen Expectation-Maximization-(EM-)Online-Lernschema wie hier beschrieben verwendet, besteht darin, dass eine zuverlässige Wegerfassung selbst bei Vorhandensein von wiederholten Schatten oder Farbänderungen auf dem Weg möglich ist. Einige Ausführungsformen reagieren sogar unempfindlich auf starke Schatten oder relativ große Farbänderungen, die plötzlich entlang dem Verlauf des Weges auftreten können, während das Fahrzeug 100 auf dem Weg fährt. Die meisten vorhandenen Wegerfassungstechniken scheitern beim genauen Erfassen des korrekten vorhergesagten Weges unter solchen Umständen.
Nach dem Ermitteln der Koordinaten der Wegmittellinie CL ermittelt der Verarbeitungsteil eine Fahrzeugweglinie VPL, welche die Koordinaten eines Weges darstellt, denen eine Mittellinie des Fahrzeugs VCL (1) folgen muss. Eine beispielhafte Fahrzeugweglinie VPL ist in 8 dargestellt, wobei sie auf das Bild von 7(c) gelegt dargestellt ist, wobei es sich um eine Draufsicht des vorhergesagten Weges auf der (im Wesentlichen horizontalen) Xe-Ze-Ebene handelt, betrachtet entlang einer vertikalen Achse Ye in realistischen Koordinaten und zur Darstellung von linkem Wegrand LE, rechtem Wegrand RE und Wegmittellinie CL folgend der Kurvenanpassung. Die Fahrzeugweglinie VPL wird durch Berechnen der Position der Fahrzeugmittellinie VCL relativ zum nächsten Wegrand LE, RE und zur Wegmittellinie CL ermittelt. In der vorliegenden Ausführungsform wird dies durch Extrapolieren der Wegmittellinie CL und des Wegrands LE, RE zur momentanen Position des Fahrzeugs 100 durchgeführt. Wenn die Fahrzeugmittellinie VCL im Wesentlichen mit der Wegmittellinie CL übereinstimmt, wird die Fahrzeugweglinie VPL als die Wegmittellinie CL angesetzt. Wenn die Fahrzeugmittellinie VCL links von der Wegmittellinie CL liegt, ist die Fahrzeugweglinie VP ausgebildet, an der im Wesentlichen gleichen relativen seitlichen Position zwischen der Wegmittellinie und dem nächsten Wegrand LE, RE zu bleiben.
Im in 8 dargestellten Beispiel wird ermittelt, dass an der momentanen Position des Fahrzeugs 100 die Fahrzeugmittellinie VCL im Wesentlichen mittig zwischen der Wegmittellinie CL und dem linken Wegrand LE liegt. Entsprechend ist die Fahrzeugweglinie VPL als eine Linie im Wesentlichen mittig zwischen der Wegmittellinie CL und dem linken Wegrand LE in einer Extrapolierung der orthogonalen Projektion der Wegmittellinie CL und entsprechend dem Wegrand LE, RE auf einer im Wesentlichen horizontalen Ebene wie in 8 dargestellt definiert.
Der Verarbeitungsteil 19 ermittelt anschließend einen VPL-Tangentenwinkel A, der den Winkel zwischen der Fahrzeugmittellinie VCL und einer Linie VPLT tangential zur Fahrzeugweglinie VPL in einem vorgegebenen Tangentenabstand vor der momentanen Position des Fahrzeugs 100 darstellt. In der vorliegenden Ausführungsform beträgt der vorgegebene Tangentenabstand im Wesentlichen 6 m vor dem Fahrzeug 100, obgleich auch andere Abstände zweckdienlich sein können. Es können auch andere Werte für den vorgegebenen Abstand zweckdienlich sein.
Sobald der VPL-Tangentenwinkel A ermittelt wurde, gibt der Verarbeitungsteil den VPL-Tangentenwinkel A an das Lenkungssteuergerät 170C aus. Das Lenkungssteuergerät 170C stellt wiederum den Winkel der lenkbaren Räder so ein, dass das Fahrzeug veranlasst wird, in einem Winkel zur Fahrzeugmittellinie VCL einzulenken, der im Wesentlichen gleich dem VPL-Tangentenwinkel A ist.
In der vorliegenden Ausführungsform bewirkt das Lenkungssteuergerät 170C nur das Einstellen des Winkels der lenkbaren Räder auf einen Winkel entsprechend dem VPL-Tangentenwinkel A (der ein Winkel im Wesentlichen gleich dem VPL-Tangentenwinkel A sein kann), wenn das LSP-Steuerungssystem 12 die Fahrzeuggeschwindigkeit steuert und der Fahrer einen automatischen Lenkungsbetriebsmodus mit der LSP-Mensch-Maschine-Schnittstelle 20 ausgewählt hat.
Sobald eine Schätzung der Wegkrümmung durchgeführt wurde, bezieht sich in der vorliegenden Ausführungsform der Verarbeitungsteil 19 ebenfalls auf in einer Nachschlagetafel gespeicherte Daten zum Ermitteln der Wirkung, welche die Wegkrümmung auf die Fahrzeuggeschwindigkeit haben soll. In der vorliegenden Ausführungsform ermittelt der Verarbeitungsteil einen Wert der höchstempfohlenen (oder höchstzulässigen) Geschwindigkeit im Gelände vor dem Fahrzeug und gibt diese Geschwindigkeit an das LSP-Steuerungssystem 12 aus.
Das Lenkungssteuergerät 170C veranlasst beim Anpassen des Winkels der lenkbaren Räder ebenfalls das Lenkrad 171 zum Bewegen in eine Drehstellung entsprechend dem eingestellten Winkel der lenkbaren Räder. Das heißt, die Entsprechung zwischen Lenkradwinkel und Winkel der lenkbaren Räder wird vom Lenkungssteuergerät 170C im Wesentlichen konstant gehalten. Ferner fährt das Lenkungssteuergerät 170C fort, auf die Fahreranpassung des Lenkwinkels zu reagieren, und hindert einen Fahrer nicht am Anpassen des Lenkradwinkels zum Übersteuern des Lenkungssteuergeräts 170C, wenn der automatische Lenkungsbetriebsmodus ausgewählt ist. Somit kann, wenn der Fahrer die Fahrtrichtung des Fahrzeugs 100 anpassen will, der Fahrer dies durch Anpassen der Drehstellung des Lenkrads 171 durch Außerkraftsetzung der automatischen Anpassung des Lenkwinkels durch das Lenkungssteuergerät 170C durchführen.
Das Wissen um die Lenkungseingabe von einem Fahrer, beispielsweise des auf das Lenkrad 171 von einem Fahrer ausgeübten Lenkwinkels oder -moments, durch den Verarbeitungsteil 19 kann vom Verarbeitungsteil 19 zum Erhöhen der Zuverlässigkeit des vom Verarbeitungsteil 19 ermittelten vorhergesagten Weges verwendet werden. Wenn beispielsweise eine Gabelung auf einem Weg vor dem Fahrzeug 100 vorhanden ist und daher mehr als ein möglicher Weg gegeben ist, kann der Verarbeitungsteil 19 das Wissen um eine Fahrerlenkungseingabe nutzen, um eine Zuverlässigkeit zu erhöhen, welche Abzweigung gefahren wird, und somit einen Weg mit der größten Wahrscheinlichkeit zu ermitteln. Wenn das Lenkungssteuergerät 170C ein vom Fahrer auf das Lenkrad 171 in einer Richtung entgegen dem Uhrzeigersinn ausgeübtes Moment erfasst, sobald sich das Fahrzeug 100 einer Gabelung nähert, kann die Rückmeldung des erfassten Moments an den Verarbeitungsteil 19 den Verarbeitungsteil 19 zum Ermitteln veranlassen, dass der Fahrer einem Weg folgen will, der nach links vor dem Fahrzeug 100 abbiegt, und umgekehrt.
In einigen Ausführungsformen, in denen eine Vielzahl von vorhergesagten Wegmöglichkeiten als vorhanden ermittelt wird, kann der Verarbeitungsteil 19 auffordern, dass ein Fahrer eine Angabe dahingehend eingibt, welcher der Vielzahl von vorhergesagten Wegen der gewünschte ist, beispielsweise mit Fahrtrichtungsanzeigern, über die Mensch-Maschine-Schnittstelle 20 oder durch ein beliebiges anderes geeignetes Mittel.
In der vorliegenden Ausführungsform ermittelt der Verarbeitungsteil 19 ebenfalls eine Schätzung der Oberflächenrauhigkeit des Geländes vor dem Fahrzeug auf der Basis einer Kombination der von den Punktwolkendaten gelieferten topographischen 3D-Information und eines aktuell gemessenen Werts der Oberflächenrauhigkeit, erzeugt durch die VCU 10 auf der Basis von Sensordaten. In einigen Ausführungsformen kann der Verarbeitungsteil das Gelände auf dem Weg des Fahrzeugs vor dem Fahrzeug als dem Gelände entsprechend, über welches das Fahrzeug 100 zuvor gefahren ist, klassifizieren und auf gespeicherte Daten in Bezug auf dieses Gelände zugreifen, um eine Schätzung der Geländerauhigkeit zu verfeinern. Die VCU 10 kann anschließend den vorhergesagten Rauhigkeitswert zusätzlich zur Wegkrümmung beim Ermitteln der höchstempfohlenen Geschwindigkeit im Gelände voraus berücksichtigen.
In einigen Ausführungsformen kann zusätzlich zum Ausgeben des Werts der höchstempfohlenen Geschwindigkeit durch den Verarbeitungsteil 19 an das LSP-Steuerungssystem 12 der Wert der höchstempfohlenen Geschwindigkeit ebenfalls einem Fahrer des Fahrzeugs angezeigt werden.
In der vorliegenden Ausführungsform wird die Berechnung eines höchstempfohlenen Geschwindigkeitswert nur durchgeführt, wenn das LSP-Steuerungssystem 12 eingeschaltet ist, ungeachtet dessen, ob das LSP-Steuerungssystem 12 beim Steuern der Fahrzeuggeschwindigkeit aktiv ist. In einigen Ausführungsformen kann die VCU 10 so ausgebildet sein, dass der Verarbeitungsteil 19 eine Schätzung der höchstempfohlenen Geschwindigkeit unter Berücksichtigung der Straßenkrümmung und optional der Oberflächenrauheit im Wesentlichen kontinuierlich während der Fahrt mit dem Fahrzeug 100 berechnet, beispielsweise wenn sich das Fahrzeug 100 in einem vorgegebenen Zustand, etwa einem vorgegebenen Leistungsmodus, befindet oder wenn sich ein Getriebe des Fahrzeugs in einem Modus entsprechend einem Fahrzustand, etwa einem Vorwärtsfahrzustand, befindet, ungeachtet dessen, ob das LSP-Steuerungssystem 12 eingeschaltet ist.
9 zeigt ein Fließbild zur Darstellung eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung.
In Schritt S101 erfasst ein stereoskopisches Kamerasystem 185C ein Paar von stereographischen Bildern des Geländes vor dem Fahrzeug 100.
In Schritt S103 empfängt der Verarbeitungsteil 19 das Paar von Bildern und berechnet eine Disparitätskarte, die auf einen Unterschied (eine Disparität) zwischen den Bildern hinweist. In einigen alternativen Ausführungsformen berechnet ein mit dem stereoskopischen Kamerasystem 185C verknüpftes Steuergerät, beispielsweise in der Form einer eingebetteten Verarbeitungskarte mit einem feldprogrammierbaren Gate-Array (FPGA), die Disparitätskarte und gibt die Disparitätskarte an den Verarbeitungsteil 19 aus.
In Schritt S105 berechnet der Verarbeitungsteil 19 eine realistische 3D-Punktwolke auf der Basis der Disparitätskarte in Bezug auf einen Referenzrahmen, der in Bezug auf den Boden (und nicht in Bezug auf das Fahrzeug 100) festgelegt ist. Der Verarbeitungsteil 19 führt dies durch Bezugnahme wenigstens teilweise auf Informationen in Bezug auf die Fahrzeugausrichtung in Bezug auf von der IMU 23 gelieferte festgelegte Bodenkoordinaten durch.
Zusätzlich zu Schritt S103 und S105 führt der Verarbeitungsteil ebenfalls Schritt S109 und S111 vor Schritt S107 und S113 durch.
In Schritt S109 wendet der Verarbeitungsteil 19 einen 2D-Bildverarbeitungsalgorithmus auf ein, beispielsweise das linke, Farbbild des vom stereoskopischen Kamerasystem 185C empfangenen stereoskopischen Bildpaares an. In Schritt S111 führt der Verarbeitungsteil 19 den Gaußschen Mischverteilungsmodell-(Gaussian-Mixture-Model-/GMM-)basierten Bildsegmentierungsvorgang am linken Farbbild in Bezug auf Farbe und Textur wie zuvor beschrieben durch.
In Schritt S113 wendet der Verarbeitungsteil 19 ein Online-Lernschema für die Geländewegerfassung und Online-Lernclustering und -Wegerkennung an, wie zuvor ausführlicher beschrieben.
In Schritt S107 wendet der Verarbeitungsteil 19 einen 3D-Datenverarbeitungsalgorithmus an und erzeugt eine Schätzung einer Horizontalebene des in Schritt S113 erfassten Weges in Bezug auf die in Schritt S105 erzeugten 3D-Punktwolkendaten.
In Schritt S115 erfasst der Verarbeitungsteil 19 den linken und rechten Rand eines vorhergesagten Weges und eine Mittellinie CL des vorhergesagten Weges (7(b)) aus der in Schritt S113 erzeugten 2D-Datenmenge. Die erfassten Wegränder können als Skelett des vorhergesagten Weges betrachtet werden. Der Verarbeitungsteil 10 ermittelt anschließend entsprechende Datenpunkte in den in Schritt S105 erzeugten 3D-Punktwolkendaten, die einen 3D-Weg definieren.
In Schritt S117 führt der Verarbeitungsteil 19 einen 3D-Weg-Kurvenanpassungsvorgang an der Mittellinie CL und am linken und rechten Rand LE, RE des vorhergesagten Weges in Bezug auf die 3D-Punktwolkendaten durch, wodurch eine Mittellinie und ein linker und rechter Rand des 3D-vorhergesagten Weges definiert werden. Der Verarbeitungsteil 19 berechnet anschließend die Fahrzeugweglinie VPL, die einen vorhergesagten Weg der Fahrzeugmittellinie VCL wie zuvor beschrieben darstellt. Wenn das Fahrzeug 100 im Wesentlichen übereinstimmend mit der Mittellinie CL des 3D-vorhergesagten Weges angeordnet ist, wird ermittelt, dass die Fahrzeugweglinie VPL im Wesentlichen mit der Wegmittellinie CL übereinstimmt. Wenn das Fahrzeug 100 nicht im Wesentlichen mit der Mittellinie CL des 3D-vorhergesagten Weges übereinstimmend angeordnet ist, wird ermittelt, dass die Fahrzeugweglinie VPL ein Weg ist, der im Wesentlichen parallel zur Wegmittellinie CL ist und zwischen der Wegmittellinie CL und dem nächsten Wegrand LE, RE an einer Stelle angeordnet ist, die ein konstantes Verhältnis des Abstands der Fahrzeugmittellinie VCL zur Wegmittellinie CL und zum nächsten Wegrand LE, RE im Wesentlichen gleich der momentanen Position des Fahrzeugs 100 hält.
In Schritt S119 führt der Verarbeitungsteil 19 einen Krümmungsschätzungsvorgang durch, in dem der Verarbeitungsteil 19 eine Krümmung der Mittellinie der Fahrzeugweglinie VPL vor dem Fahrzeug 100 schätzt, in der vorliegenden Ausführungsform die maximale Krümmung der Fahrzeugweglinie VPL, die über einen vorgegebenen Krümmungsabstand vor dem Fahrzeug erfassbar ist, in der vorliegenden Ausführungsform 25 m, obgleich andere Abstände zweckdienlich sein können. Der Verarbeitungsteil bezieht sich anschließend auf in einer Nachschlagetafel gespeicherte Daten zur Korrelation der maximalen Krümmung mit der höchstempfohlenen (höchstzulässigen) Geschwindigkeit im Gelände vor dem Fahrzeug. Der Verarbeitungsteil 19 gibt diese Höchstgeschwindigkeit an das LSP-Steuerungssystem 12 aus. Das LSP-Steuerungssystem 12 wiederum steuert den Wert von LSP_set-speed, so dass dieser nicht den Wert der höchstempfohlenen Geschwindigkeit überschreitet.
Zusätzlich berechnet in der vorliegenden Ausführungsform der Verarbeitungsteil 19 eine Schätzung eines Wegtangentenwinkelwerts A, der dem Wert eines Winkels zur momentanen Fahrzeugmittellinie VCL einer Tangente VPLT zur Fahrzeugweglinie VPL in einem vorgegebenen Abstand vor dem Fahrzeug 100 entspricht. In der vorliegenden Ausführungsform beträgt der vorgegebene Abstand 6 m, obgleich auch andere Abstände zweckdienlich sein können. Der Verarbeitungsteil 19 ermittelt anschließend einen erforderlichen Wert des momentanen Lenkwinkels des Fahrzeugs 100 entsprechend dem Tangentenwinkelwert A, und dieser Wert wird an das Lenkungssteuergerät 170C ausgegeben. Wie zuvor beschrieben ist in der vorliegenden Ausführungsform das Lenkungssteuergerät 170C zum Einstellen des Winkels der lenkbaren Räder auf einen Winkel entsprechend dem Tangentenwinkelwert ausgebildet, so dass das Fahrzeug versucht, der Fahrzeugweglinie zu folgen. In der vorliegenden Ausführungsform ist das Lenkungssteuergerät 170C zum Einstellen des Winkels der lenkbaren Räder im Wesentlichen auf den Tangentenwinkelwert A ausgebildet. Einige Ausführungsformen der vorliegenden Erfindung ermöglichen einen Fahrzeugbetrieb mit optimierter Ruhe beim Fahren im Gelände. Dies ist wenigstens teilweise auf eine Verringerung der Fahrerbelastung beim Betrieb mit aktivem LSP-Steuerungssystem 12 zurückzuführen. Ein Fahrer muss nämlich nicht manuell das Fahrzeug lenken, um im Gelände vorwärts zu kommen. Ferner muss in der vorliegenden Ausführungsform der Fahrer nicht den Wert von user_set-speed in Reaktion auf Änderungen der Wegkrümmung vor dem Fahrzeug 100 erhöhen oder verringern. Stattdessen nimmt das Fahrzeug 100 die Krümmung des Weges vor dem Fahrzeug 100 vorweg und passt die Fahrzeuggeschwindigkeit entsprechend an.
Es versteht sich, dass die vorstehend beschriebenen Ausführungsformen nur beispielhaft sind und nicht dazu gedacht sind, die Erfindung, deren Umfang in den beigefügten Patentansprüchen definiert ist, zu beschränken.
Im Laufe der Beschreibung und der Patentansprüche dieser Patentschrift stehen die Worte „umfassen“ und „enthalten“ sowie Variationen der Worte, wie zum Beispiel „umfassend“ oder „umfasst“ für „enthaltend, ohne darauf beschränkt zu sein“, und sollen andere Teile, Additive, Komponenten, Zahlen und Schritte nicht ausschließen (und schließen diese nicht aus).
Im Laufe der Beschreibung und der Patentansprüche dieser Patentschrift schließt der Singular den Plural mit ein, es sei denn, der Kontext erfordere etwas anderes. Insbesondere wenn unbestimmte Artikel verwendet werden, ist die Patentschrift derart zu verstehen, dass sie die Pluralbedeutung sowie die Singularbedeutung einschließt, es sei denn, der Kontext erfordere etwas anderes.
Merkmale, Zahlen, Eigenschaften, Verbindungen, chemische Molekülteile oder Gruppen, die in Verbindung mit einem bestimmten Aspekt beschrieben werden, sollen auf jeden anderen Aspekt, jede andere Ausführungsform und jedes andere Beispiel nach der Beschreibung hierin anwendbar sein, falls sie nicht damit inkompatibel sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

GB 2507622 [0001]
GB 2499461 [0001]
US 7349776 [0001, 0013]
WO 2013124321 [0001]
WO 2014/139875 [0001]
GB 2492748 [0001, 0150]
GB 2492655 [0001, 0150]
GB 2499279 [0001, 0150]
GB 2508464 [0001]
GB 2492655 B [0014]

Claims

Steuersystem für ein Fahrzeug, wobei das System ein Verarbeitungsmittel umfasst, das eingerichtet ist, um von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten in Bezug auf das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, Geländeinformationen zu empfangen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, wobei das Verarbeitungsmittel konfiguriert ist zum: Durchführen einer Segmentierungsoperation an Bilddaten, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten und/oder eine Mittellinie eines vorhergesagten Weges des Fahrzeugs identifizieren; Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen; Bestimmen der 3D-Koordinaten von lateralen Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten der Kanten und/oder Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit von zumindest teilweise des 3D vorhergesagten Weges.
System für ein Fahrzeug, wobei das System ein Verarbeitungsmittel umfasst, das eingerichtet ist, um von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten in Bezug auf das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, Geländeinformationen zu empfangen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, wobei das Verarbeitungsmittel konfiguriert ist zum: Durchführen einer Segmentierungsoperation an Bilddaten, die eines der zumindest einen 2D-Bilder definieren und in den Bilddaten Kanten und/oder eine Mittellinie eines vorhergesagten Weges des Fahrzeugs identifizieren; Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen; Bestimmen der 3D-Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und Ausgeben eines Signals in Abhängigkeit von zumindest teilweise des 3D vorhergesagten Weges.
System nach Anspruch 1 oder Anspruch 2, wobei die 3D-Daten ein Punktwolken-Datensatz sind.
System nach einem vorhergehenden Anspruch, das konfiguriert ist, um eine Mittellinie des vorhergesagten Weges zu bestimmen, der durch seine lateralen Kanten definiert ist, und eine laterale Position des Fahrzeugs in Bezug auf die vorhergesagte Wegmittellinie, wobei das System konfiguriert ist, um die Fahrtrichtung des Fahrzeugs in Abhängigkeit von der vorhergesagten Wegmittellinie und lateralen Fahrzeugposition in Bezug auf die vorhergesagte Wegmittellinie zu steuern.
System nach einem vorhergehenden Anspruch, das konfiguriert ist, um die Fahrtrichtung des Fahrzeugs zu steuern, um das Fahrzeug innerhalb der lateralen Kanten des vorhergesagten Weges zu halten.
System nach Anspruch 4 oder Anspruch 5, das konfiguriert ist, um die Fahrtrichtung des Fahrzeugs zu steuern, um einen im Wesentlichen konstanten lateralen Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie einzuhalten.
System nach Anspruch 4 oder Anspruch 5, das konfiguriert ist, um die Fahrtrichtung des Fahrzeugs zu steuern, um einen im Wesentlichen konstanten lateralen Abstand der Fahrzeugmittellinie von einer lateralen Kante des vorhergesagten Weges einzuhalten.
System nach Anspruch 4 oder Anspruch 5, das konfiguriert ist, um die Fahrtrichtung des Fahrzeugs zu steuern, um ein im Wesentlichen konstantes Verhältnis zwischen dem Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie und dem Abstand der Fahrzeugmittellinie von der nächsten lateralen Kante des vorhergesagten Weges einzuhalten.
System nach einem vorhergehenden Anspruch, das konfiguriert ist, um eine Fahrzeugweglinie zu erzeugen, die im Wesentlichen mit der vorhergesagten Wegmittellinie übereinstimmt oder parallel zu dieser ist, wobei das System konfiguriert ist, um einen Lenkwinkel des Fahrzeugs auf einen Winkel einzustellen, der dem Winkel einer Tangente zur Fahrzeugweglinie an einer vorbestimmten Tangentenposition entlang der Fahrzeugweglinie entspricht.
System nach Anspruch 9, wobei die vorbestimmte Tangentenposition ein vorbestimmter Tangentenabstand vor der momentanen Position des Fahrzeugs entlang der Fahrzeugweglinie ist.
System nach Anspruch 9, wobei die vorbestimmte Position auf einen Wert im Bereich von 3m bis 10m eingestellt ist.
System nach einem vorhergehenden Anspruch, wobei die Daten, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren, Geländefarbinformationen umfassen, und das Verarbeitungsmittel konfiguriert ist, um vor der Durchführung des Segmentierungsvorgangs einen Farb- und Texturdeskriptor zu erzeugen, der Farbinformationen und Texturinformationen in Bezug auf jedes Pixel des Bildes umfasst, mit Ausnahme der Pixel, die den Rand eines jeden Bildes definieren.
System nach Anspruch 12, wobei die Bilddaten, die das mindestens eine Bild definieren, RGB-Farbrauminformationen in Bezug auf jedes Pixel umfassen, wobei die Farbinformationen für den Farb- und Texturdeskriptor durch Transformieren des 2D-Bildes vom RGB-Farbraum in den ‚Lab‘-Farbraum erzeugt werden, wobei jeder Farb- und Texturdeskriptor drei Farbkomponentendeskriptoren L, a, b umfasst.
System nach Anspruch 12 oder Anspruch 13, wobei die Texturinformation für den Farb- und Texturdeskriptor durch Subtrahieren der Intensität eines gegebenen Pixels von der Intensität jedes der 8 Pixel erzeugt wird, die dieses Pixel umgeben, um acht Texturdeskriptoren pro Pixel zu erhalten.
System nach Anspruch 14 in Abhängigkeit von Anspruch 13, wobei die Texturinformation einen Gewichtungsfaktor in Bezug auf jeden Farbkomponentendeskriptor und jeden Texturdeskriptor jedes Pixels umfasst.
System nach einem vorhergehenden Anspruch, wobei das Verarbeitungsmittel, das konfiguriert ist, um eine Segmentierungsoperation an Bilddaten durchzuführen, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren, das Verarbeitungsmittel umfasst, das konfiguriert ist, um eine Gaußsche Mischverteilungsmodell-basierte Expectation-Maximization Bildsegmentierungstechnik mit einem Online-Lernschema durchzuführen.
System nach einem vorhergehenden Anspruch, wobei das Verarbeitungsmittel konfiguriert ist, um eine Segmentierungsoperation an Bilddaten durchzuführen, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren, das Verarbeitungsmittel umfasst, das konfiguriert ist, um eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich von einem Benutzer zu empfangen oder automatisch zu bestimmen, der ein Bereich des Bildes ist, der als Teil eines überfahrbaren Weges des Fahrzeugs betrachtet wird, wobei das Verarbeitungsmittel konfiguriert ist, um Bilddaten in Bezug auf den mindestens einen Weg-Bereich zum Bestimmen von Kanten eines vorhergesagten Weges zu verwenden.
System nach Anspruch 17, wobei die Verarbeitungseinrichtung konfiguriert ist, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich zu empfangen, wobei die Verarbeitungseinrichtung konfiguriert ist, um eine Kontur einer vorbestimmten Form zu überlagern, die einen Abschnitt des Weg-Bereichs an mindestens einer vom Benutzer angegebenen Position definiert.
System nach Anspruch 18, wobei die Verarbeitungseinrichtung konfiguriert ist, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Weg-Bereich zu empfangen, umfassend die Verarbeitungseinrichtung, die konfiguriert ist, um die Anzeige mittels eines Touchscreens zu empfangen.
System nach einem vorhergehenden Anspruch, wobei die Verarbeitungseinrichtung konfiguriert ist, um eine Anzeige einer Position im Bild von mindestens einem Nicht-Weg-Bereich von einem Benutzer zu empfangen oder automatisch zu bestimmen, der ein Bereich des Bildes ist, der als Nicht-Teil eines überfahrbaren Weges des Fahrzeugs gilt, wobei die Verarbeitungseinrichtung konfiguriert ist, um Bilddaten in Bezug auf mindestens einen Nicht-Weg-Bereich zum Bestimmen von Kanten eines vorhergesagten Weges zu verwenden.
System nach Anspruch 20, wobei die Verarbeitungseinrichtung konfiguriert ist, um von einem Benutzer eine Anzeige einer Position im Bild von mindestens einem Nicht-Weg-Bereich zu empfangen, wobei die Verarbeitungseinrichtung konfiguriert ist, um eine Kontur einer vorbestimmten Form zu überlagern, die einen Abschnitt eines Nicht-Weg-Bereichs an mindestens einer vom Benutzer angegebenen Position definiert.
System nach Anspruch 21, wobei die Verarbeitungseinrichtung konfiguriert ist, um von einem Benutzer eine Anzeige einer Position im Bild von Nicht-Weg-Bereichen entlang der linken, rechten und oberen Kanten des Bildes zu empfangen.
System nach einem der Ansprüche 20 bis 22 in Abhängigkeit von Anspruch 16, wobei die Verarbeitungseinrichtung konfiguriert ist, um jedes Pixel des Bildes als einem der mindestens einen Weg-Bereiche oder einem der mindestens einen Nicht- Weg-Bereiche zugehörig zu klassifizieren.
System nach Anspruch 23, wobei die Verarbeitungseinrichtung konfiguriert ist, um für jeden der mindestens einen Weg-Bereiche und jeden der mindestens einen Nicht-Weg-Bereiche einen Bereich des Bildes zu identifizieren, der die größte Anzahl von verbundenen Pixeln umfasst, die diesem Bereich zugehören, der ein primärer Pixelblock dieses Bereichs ist, wobei alle Pixel eines Bereichs, die von Pixeln eines primären Pixelblocks eines anderen Bereichs umgeben sind, als dem primären Block des anderen Bereichs zugehörig reklassifiziert werden, und alle Pixel, die anschließend nicht zu einem primären Pixelblock gehören, als zu einem sekundären Block gehörend reklassifiziert werden.
System nach Anspruch 24, wobei das Verarbeitungsmittel konfiguriert ist, um Pixel der 3D-Punktwolke zu identifizieren, die dem primären Block von Pixeln des 2D-Bildes zugehören, die dem mindestens einen Weg-Bereich entsprechen.
System nach Anspruch 25, wobei das Verarbeitungsmittel konfiguriert ist, um eine „Grundebene“ des Weg-Bereichs basierend auf den Pixeln der 3D-Punktwolke zu berechnen, die dem primären Pixelblock entsprechen.
System nach Anspruch 26, wobei das Verarbeitungsmittel konfiguriert ist, um einen Verfeinerungsvorgang durchzuführen, bei dem das Verarbeitungsmittel aus dem Weg-Bereich Randabschnitte des Weg-Bereichs eliminiert, die Hindernissen entsprechen, die mit einem überfahrbaren Weg nicht kompatibel sind, basierend auf der Höhe der Abschnitte über der Grundplatte, und anschließend Kanten eines überfahrbaren Weges des Fahrzeugs identifiziert.
System nach einem vorhergehenden Anspruch, wobei das Verarbeitungsmittel konfiguriert ist, um eine Krümmung des 3D vorhergesagten Weges zu berechnen.
System nach Anspruch 28 in Abhängigkeit von Anspruch 27, wobei das Verarbeitungsmittel konfiguriert ist, um mindestens eine 3D-Kurve an mindestens eine Kante des überfahrbaren Weges zu fitten und eine Schätzung einer Wegkrümmung basierend auf der mindestens einen 3D-Kurve zu erzeugen.
System nach einem vorhergehenden Anspruch, wobei das Verarbeitungsmittel konfiguriert ist, um eine erste Schätzung der Oberflächenrauhigkeit des Geländes vor dem Fahrzeug zu erzeugen, die zumindest teilweise auf Geländeinformationen basiert, die die Topographie des sich vor dem Fahrzeug erstreckenden Bereichs anzeigen.
System nach Anspruch 30, wobei die Verarbeitungseinrichtung konfiguriert ist, um die erste Schätzung der Oberflächenrauhigkeit des Geländes vor dem Fahrzeug zu erzeugen, die zumindest teilweise in weiterer Abhängigkeit von einem aktuellen gemessenen Wert der Oberflächenrauhigkeit basiert, der basierend auf Sensordaten erzeugt wird, die eine Bewegung einer Fahrzeugkarosserie anzeigen.
System nach Anspruch 30 oder 31, wobei die Verarbeitungseinrichtung konfiguriert ist, um auf gespeicherte Daten zuzugreifen, die historische erfasste Geländeinformationen korrelieren, die eine Geländetopographie anzeigen, die sich vor dem Fahrzeug erstreckt, basierend auf Daten, die von den Geländedatenerfassungsmitteln erfasst werden, mit historischen Messungen von Werten der Oberflächenrauheit, während das Fahrzeug das Gelände durchquert, und die historischen Geländeinformationen mit Geländeinformationen in Bezug auf die aktuelle Geländetopographie vor dem Fahrzeug erfasst von den Geländedatenerfassungsmitteln zu korrelieren, wobei die Verarbeitungsmittel konfiguriert sind, um eine zweite, verfeinerte Schätzung der Oberflächenrauhigkeit basierend auf den historischen, gespeicherten Werten der Oberflächenrauhigkeit in Bezug auf das Gelände zu erzeugen, die den Geländeinformationen in Bezug auf die aktuelle Geländetopographie vor dem Fahrzeug entspricht.
System nach einem vorhergehenden Anspruch, umfassend eine Geschwindigkeitssteuerung, wobei die Geschwindigkeitssteuerung konfiguriert ist, um die Fahrzeuggeschwindigkeit basierend zumindest teilweise auf dem 3D vorhergesagten Weg zu steuern.
System nach Anspruch 33 in Abhängigkeit von Anspruch 28, das konfiguriert ist um die Fahrzeuggeschwindigkeit basierend zumindest teilweise auf der Krümmung des 3D vorhergesagten Weges zu steuern.
System nach Anspruch 34, das konfiguriert ist, um eine Ausgabe an die Geschwindigkeitssteuerung bereitzustellen, die eine maximale empfohlene Geschwindigkeit in Abhängigkeit zumindest teilweise von der Krümmung des 3D vorhergesagten Weges anzeigt.
Steuersystem nach Anspruch 35 in Abhängigkeit von Anspruch 30, das konfiguriert ist, um dem Geschwindigkeitsregler eine Ausgabe bereitzustellen, die eine maximale empfohlene Geschwindigkeit in weiterer Abhängigkeit zumindest teilweise von der ersten Schätzung der Oberflächenrauheit anzeigt.
Steuersystem nach Anspruch 35 in Abhängigkeit von Anspruch 32, das konfiguriert ist, um dem Geschwindigkeitsregler eine Ausgabe bereitzustellen, die eine maximale empfohlene Geschwindigkeit in weiterer Abhängigkeit zumindest teilweise von der zweiten Schätzung der Oberflächenrauheit anzeigt.
Steuerungssystem nach einem vorhergehenden Anspruch, ferner umfassend das Geländedatenerfassungsmittel.
System nach Anspruch 38, wobei das Geländedatenerfassungsmittel ein stereoskopisches Kamerasystem umfasst.
Steuerungssystem nach Anspruch 28 oder einem davon abhängigen Anspruch, das konfiguriert ist, um einem Fahrer in Abhängigkeit von der Krümmung des vorhergesagten Weges eine Warnung bereitzustellen.
System nach einem vorhergehenden Anspruch, wobei das System einen elektronischen Prozessor mit einem elektrischen Eingang zum Empfangen der Geländeinformationen umfasst, die die Geländetopographie vor dem Fahrzeug anzeigen; und eine elektronische Speichervorrichtung, die elektrisch mit dem elektronischen Prozessor gekoppelt ist, und Anweisungen darin gespeichert hat, wobei der Prozessor konfiguriert ist, um auf die Speichervorrichtung zuzugreifen und die darin gespeicherten Anweisungen auszuführen, so dass er betriebsfähig ist zum: Durchführen einer Segmentierungsoperation an Bilddaten, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten eines vorhergesagten Weges des Fahrzeugs identifizieren; Berechnen eines 3D Punktwolken-Datensatzes in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen; Bestimmen der 3D-Koordinaten von Kanten des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf den Punktwolken-Datensatz, basierend auf den Koordinaten von Kanten des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und Bewirken, dass die Fahrtrichtung des Fahrzeugs zumindest teilweise in Abhängigkeit von dem 3D vorhergesagten Bild gesteuert wird.
Fahrzeug, umfassend ein System gemäß einem vorhergehenden Anspruch.
Verfahren zum Vorhersagen des Weges eines Fahrzeugs, wobei das Verfahren umfasst: Empfangen, von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten über das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, von Geländeinformationen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren; Durchführen einer Segmentierungsoperation an Bilddaten, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten und/oder eine Mittellinie eines vorhergesagten Weges des Fahrzeugs identifizieren; Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen; Bestimmen der 3D-Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit zumindest teilweise von dem 3D vorhergesagten Weg.
Verfahren zum Vorhersagen des Weges eines Fahrzeugs, wobei das Verfahren umfasst: Empfangen, von Geländedatenerfassungsmitteln, die eingerichtet sind, um Daten über das Gelände vor dem Fahrzeug mittels eines oder mehrerer Sensoren zu erfassen, von Geländeinformationen, die die Topographie eines sich vor dem Fahrzeug erstreckenden Bereichs anzeigen, wobei die Geländeinformationen Daten umfassen, die mindestens ein 2D-Bild des Geländes vor dem Fahrzeug definieren; Durchführen einer Segmentierungsoperation an Bilddaten, die eines der mindestens einen 2D-Bilder definieren und in den Bilddaten Kanten und/oder eine Mittellinie eines vorhergesagten Weges des Fahrzeugs identifizieren; Berechnen von 3D-Daten in Bezug auf das Gelände vor dem Fahrzeug basierend auf den Geländeinformationen; Bestimmen der 3D-Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges des Fahrzeugs unter Bezugnahme auf die 3D-Daten, basierend auf den Koordinaten von Kanten und/oder der Mittellinie des vorhergesagten Weges, die in dem 2D-Bild identifiziert sind, um einen 3D vorhergesagten Weg des Fahrzeugs zu bestimmen; und Ausgeben eines Signals in Abhängigkeit zumindest teilweise vom 3D vorhergesagten Weg.
Verfahren nach Anspruch 43 oder Anspruch 44, wobei die 3D-Daten ein Punktwolken-Datensatz sind.
Verfahren nach einem der Ansprüche 43 bis 45, umfassend Bestimmen einer Mittellinie des vorhergesagten Weges, der durch seine lateralen Kanten definiert ist, und einer lateralen Position des Fahrzeugs in Bezug auf die vorhergesagte Wegmittellinie, und Steuern der Fahrtrichtung des Fahrzeugs in Abhängigkeit von der vorhergesagten Wegmittellinie und der lateralen Fahrzeugposition relativ zu der vorhergesagten Wegmittellinie.
Verfahren nach Anspruch 46, umfassend Steuern der Fahrtrichtung des Fahrzeugs, um das Fahrzeug innerhalb der lateralen Kanten des vorhergesagten Weges zu halten.
Verfahren nach Anspruch 46 oder Anspruch 47, umfassend Steuern der Fahrtrichtung des Fahrzeugs, um einen im Wesentlichen konstanten lateralen Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie einzuhalten.
System nach Anspruch 46 oder Anspruch 47, umfassend Steuern der Fahrtrichtung des Fahrzeugs, um ein im Wesentlichen konstantes Verhältnis zwischen dem Abstand der Fahrzeugmittellinie von der vorhergesagten Wegmittellinie und dem Abstand der Fahrzeugmittellinie von der nächsten lateralen Kante des vorhergesagten Weges einzuhalten.
Verfahren nach einem der Ansprüche 43 bis 49, umfassend Erzeugen einer Fahrzeugweglinie, die im Wesentlichen mit der vorhergesagten Wegmittellinie übereinstimmt oder parallel zu dieser ist, wobei das Verfahren das Einstellen eines Lenkwinkels des Fahrzeugs auf einen Winkel umfasst, der dem Winkel eines Tangens zur Fahrzeugweglinie an einer vorbestimmten Position entlang der Fahrzeugweglinie entspricht.
Verfahren nach Anspruch 50, umfassend Einstellen der vorbestimmten Position auf einen vorbestimmten Abstand vor der momentanen Position des Fahrzeugs entlang der Fahrzeugweglinie.
Verfahren nach Anspruch 50, umfassend Einstellen der vorbestimmten Position im Wesentlichen auf die momentane Position des Fahrzeugs.
Nichtflüchtiges, computerlesbares Trägermedium mit computerlesbarem Code zum Steuern eines Fahrzeugs zur Durchführung des Verfahrens nach einem der Ansprüche 43 bis 52.
Computerprogrammprodukt, das auf einem Prozessor ausführbar ist, um das Verfahren nach einem der Ansprüche 43 bis 52 zu implementieren.
Nichtflüchtiges, computerlesbares Medium, das mit dem Computerprogrammprodukt nach Anspruch 54 geladen ist.
Prozessor, der eingerichtet ist, um das Verfahren nach einem der Ansprüche 43 bis 52 oder das Computerprogrammprodukt nach Anspruch 54 durchzuführen.