DE102018109965A1

DE102018109965A1 - Verfahren und Vorrichtung für intelligente Geländeidentifikation, fahrzeugmontiertes Endgerät und Fahrzeug

Info

Publication number: DE102018109965A1
Application number: DE102018109965.7A
Authority: DE
Inventors: Jun Hu; Huan Tian; Shuai Cheng; Wei Liu
Original assignee: Neusoft Corp; Neusoft Reach Automotive Technology Shanghai Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2017-12-14
Filing date: 2018-04-25
Publication date: 2019-06-19
Also published as: JP6615933B2; JP2019106159A; US20190187722A1; CN107977641A

Abstract

Ein Verfahren und eine Vorrichtung zur intelligenten Geländeidentifikation, ein fahrzeugmontiertes Endgerät und ein Fahrzeug sind vorgesehen. Das Verfahren beinhaltet Folgendes: das Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion des Fahrzeugs; das Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; und das Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen. Mit dem Verfahren zur intelligenten Geländeidentifikation kann das Fahrzeug den Typ der aktuellen Fahrbahnoberfläche intelligent identifizieren und die Fahrstrategie des Fahrzeugs automatisch gemäß des Typs der Fahrbahnoberfläche umschalten, wodurch die Bequemlichkeit einer Anpassungsfunktion des Fahrzeugs an ein Gelände enorm verbessert wird, ein Fahrerlebnis verbessert wird und eine Wahrscheinlichkeit von Sicherheitsrisiken verringert wird.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft das technische Gebiet des intelligenten Fahrens, und insbesondere ein Verfahren und eine Vorrichtung zur intelligenten Geländeidentifikation, ein fahrzeugmontiertes Endgerät und ein Fahrzeug.
ALLGEMEINER STAND DER TECHNIK
In der Fahrpraxis werden Fahrstrategien, die unterschiedlichen Geländebedingungen entsprechen, für ein Fahrzeug bereitgestellt, wenn das Fahrzeug vom Werk geliefert wird. In einem Aspekt gilt dies Sicherheitsbedenken. Unter unterschiedlichen Geländebedingungen weist das Fahrzeug unterschiedliche Reibungskoeffizienten zwischen Rädern und Boden auf und weist unterschiedliche Bremswege auf, welche als Eingaben für den Notbremsassistenten (AEB - Autonomous Emergency Braking) dienen können, um die Fahrsicherheit zu verbessern. In einem weiteren Aspekt gilt dies Belangen des Komforts, und es werden Benutzern bequeme, stabile und kraftstoffsparende Fahrstrategien bereitgestellt. D.h., relevante Parameter des Fahrzeugs können für unterschiedliche Gelände, wie z.B. Straße, Sand, Schnee, Schlamm und Gras, angepasst werden, sodass die unterschiedlichen Gelände unterschiedlichen Fahrstrategien entsprechen, was nicht nur den Benutzern ein gutes Fahrerlebnis bietet, sondern auch Schäden am Fahrzeug verringert.
Gegenwärtig basiert die Auswahl einer Fahrstrategie hauptsächlich auf einer manuellen Art und Weise. Eine Geländebedingung wird durch die Augen eines Fahrers wahrgenommen, und ein Fahrmodus wird gemäß der wahrgenommenen Geländebedingung manuell über einen Funktionsknopf geschaltet, um in einen Fahrmodus in Übereinstimmung mit einer aktuellen Geländebedingung umzuschalten.
Die herkömmliche Geländeidentifikationstechnologie basiert auf einer Art und Weise, bei welcher der Fahrer das Gelände manuell bestimmt und dann die entsprechende Fahrstrategie manuell auswählt, was nicht nur das Fahrerlebnis beeinflusst, sondern auch in Problemen resultiert, wie z.B. verschiedenen Sicherheitsrisiken.
KURZDARSTELLUNG DER ERFINDUNG
Um die obigen technischen Probleme bei der herkömmlichen Technologie in Angriff zu nehmen, sind gemäß der vorliegenden Offenbarung ein Verfahren und eine Vorrichtung zur intelligenten Geländeidentifikation, ein fahrzeugmontiertes Endgerät und ein Fahrzeug vorgesehen, welche einen Typ einer Fahrbahnoberfläche automatisch identifizieren können und eine Fahrstrategie gemäß einer Beschaffenheit der Fahrbahnoberfläche automatisch regulieren können.
Angesichts des Obengenannten sind die folgenden technischen Lösungen gemäß Ausführungsformen der vorliegenden Offenbarung vorgesehen.
Ein Verfahren zur intelligenten Geländeidentifikation ist gemäß einer Ausführungsform der vorliegenden Offenbarung vorgesehen, welches Folgendes beinhaltet:

das Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs;
das Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; und
das Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.

Wahlweise beinhaltet das Verfahren, vor dem Extrahieren des Merkmals der Fahrbahnoberfläche aus dem Bild, ferner Folgendes:

das Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und
das Extrahieren des Merkmals der Fahrbahnoberfläche aus dem Bild beinhaltet Folgendes: das Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.

Wahlweise beinhaltet das Durchführen der Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen der Bodenregion Folgendes:

das Durchführen der Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Erfassen der Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts des Bildes;
das Entfernen eines dreidimensionalen Objekts, das sich in der Bodenregion befindet, und
das Durchführen von Bildkompensation an einem leeren Teil zum Erfassen einer kompletten Bodenregion, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde.

Wahlweise beinhaltet das Durchführen der Bildkompensation an dem leeren Teil, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde, Folgendes: das Durchführen der Bildkompensation an dem leeren Teil basierend auf einem Bildmerkmal einer Region, wobei sich die Region in der Bodenregion und benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, befindet.
Wahlweise beinhaltet das Erfassen des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs Folgendes: das Erfassen des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs über eine Kamera, die vom im Fahrzeug installiert ist, wobei der voreingestellte Fahrbereich durch das Einstellen eines Parameters der Kamera eingestellt werden kann.
Wahlweise beinhaltet das Bestimmen des Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche Folgendes: das Bestimmen des Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche mit einer Softmax-Funktion.
Wahlweise beinhaltet das Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk Folgendes: das sequentielle Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion mit mindestens einer Faltungsschicht und mindestens einer vollständig verbundenen Schicht.
Ferner ist eine Vorrichtung zur intelligenten Geländeidentifikation gemäß einer Ausführungsform der vorliegenden Offenbarung vorgesehen, welche Folgendes beinhaltet:

eine Bilderfassungseinheit, die konfiguriert ist zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs;
eine Merkmalsextraktionseinheit, die konfiguriert ist zum Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; und
eine Typbestimmungseinheit, die konfiguriert ist zum Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.

Wahlweise beinhaltet die Vorrichtung ferner eine Segmentierungseinheit, wobei
die Segmentierungseinheit konfiguriert ist zum Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und
die Merkmalsextraktionseinheit konfiguriert ist zum Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Wahlweise beinhaltet die Segmentierungseinheit Folgendes:
eine Segmentierungsuntereinheit, die konfiguriert ist zum Durchführen der Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk, zum Erfassen der Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts des Bildes;
eine Entfernungsuntereinheit, die konfiguriert ist zum Entfernen eines dreidimensionalen Objekts, das sich in der Bodenregion befindet, und
eine Kompensationsuntereinheit, die konfiguriert ist zum Durchführen von Bildkompensation an einem leeren Teil zum Erfassen einer kompletten Bodenregion, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde.
Wahlweise ist die Kompensationsuntereinheit konfiguriert zum Durchführen der Bildkompensation an dem leeren Teil basierend auf einem Bildmerkmal einer Region, wobei sich die Region in der Bodenregion und benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, befindet.
Ferner ist ein fahrzeugmontiertes Endgerät, das an einem Fahrzeug angebracht ist, gemäß einer Ausführungsform der vorliegenden Offenbarung vorgesehen, welches eine Kamera und einen Prozessor beinhaltet; wobei
die Kamera konfiguriert ist zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion des Fahrzeugs; und
der Prozessor zu Folgendem konfiguriert ist: Extrahieren eines Merkmal einer Fahrbahnoberfläche aus dem Bild; Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche; und Senden des Typs der Fahrbahnoberfläche an eine Fahrzeugsteuereinheit des Fahrzeugs, um die Fahrzeugsteuereinheit zum Steuern des Fahrzeugs zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Wahlweise ist der Prozessor zu Folgendem konfiguriert: Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Ferner ist ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Offenbarung vorgesehen, welches das fahrzeugmontierte Endgerät und die Fahrzeugsteuereinheit beinhaltet, wobei die Fahrzeugsteuereinheit konfiguriert ist zum Steuern des Fahrzeugs zum Auswählen der entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche.
Im Vergleich zur herkömmlichen Technologie weist die vorliegende Offenbarung mindestens die folgenden Vorteile auf.
Das Bild des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs wird erfasst. Das Merkmal der Fahrbahnoberfläche wird aus dem Bild extrahiert. Der Typ der Fahrbahnoberfläche wird basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche bestimmt, um das Fahrzeug zum Auswählen der entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Es ist zu sehen, dass bei dem Verfahren gemäß der vorliegenden Offenbarung das Bild der vorderen Fahrregion des Fahrzeugs automatisch erfasst wird und der Typ der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal durch das Extrahieren des Merkmals, das eine Beschaffenheit der Fahrbahnoberfläche reflektiert, bestimmt wird. Aufgrund dessen muss ein Fahrer das Gelände nicht mit den Augen wahrnehmen und die Fahrstrategie durch manuelles Auswählen eines Funktionsknopfes ändern. Mit dem Verfahren kann eine automatische Identifikation an verschiedenen Geländen, in welchen das Fahrzeug gegenwärtig fährt, intelligent durchgeführt werden, wodurch der Fahrer beim schnellen und automatischen Umschalten zwischen unterschiedlichen Fahrstrategien unterstützt wird. In einem Aspekt wird die Anpassungsfähigkeit des Fahrzeugs an das Gelände enorm verbessert, und auch das Fahrerlebnis wird verbessert. In einem weiteren Aspekt werden Sicherheitsrisiken verhindert, die verursacht werden, wenn der Fahrer Umschaltoperationen am Fahrzeug durchführt.
Figurenliste
Zur deutlicheren Veranschaulichung technischer Lösungen in Ausführungsformen der vorliegenden Offenbarung oder in der herkömmlichen Technologie werden im Folgenden Zeichnungen, die bei der Beschreibung der Ausführungsformen oder der herkömmlichen Technologie verwendet werden, kurz vorgestellt. Offensichtlich veranschaulichen die im Folgenden beschriebenen Zeichnungen lediglich einige Ausführungsformen der vorliegenden Offenbarung, und andere Zeichnungen können ohne jegliche kreativen Anstrengungen durch den Fachmann auf dem Gebiet basierend auf diesen Zeichnungen erhalten werden.

1 ist ein Flussdiagramm eines Verfahrens zur intelligenten Geländeidentifikation gemäß einer ersten Ausführungsform der vorliegenden Offenbarung;
2A ist ein Flussdiagramm einer spezifischen Implementierung von S102 gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung;
2B ist ein weiteres Flussdiagramm eines Verfahrens zur intelligenten Geländeidentifikation gemäß einer dritten Ausführungsform der vorliegenden Offenbarung;
3 ist eine schematische Darstellung des Extrahierens eines Merkmals einer Fahrbahnoberfläche gemäß der vorliegenden Offenbarung;
4 ist eine schematische Darstellung des Klassifizierens eines extrahierten Merkmals basierend auf einer Softmax-Funktion gemäß der vorliegenden Offenbarung;
5A bis 5D sind schematische Darstellungen einer Szene in einer praktischen Anwendung gemäß der vorliegenden Offenbarung;
6 ist ein Strukturdiagramm einer Vorrichtung zur intelligenten Geländeidentifikation gemäß einer vierten Ausführungsform der vorliegenden Offenbarung;
7 ist ein Strukturdiagramm eines fahrzeugmontierten Endgerätes gemäß einer fünften Ausführungsform der vorliegenden Offenbarung; und
8 ist ein schematisches Strukturdiagramm eines Fahrzeugs gemäß einer sechsten Ausführungsform der vorliegenden Offenbarung.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Damit der Fachmann auf dem Gebiet die technische Lösung der vorliegenden Offenbarung besser versteht, sind die technischen Lösungen in Ausführungsformen der vorliegenden Offenbarung im Folgenden in Verbindung mit den Zeichnungen der Ausführungsformen der vorliegenden Offenbarung klar und vollständig beschrieben. Offensichtlich sind die hierin beschriebenen Ausführungsformen lediglich ein paar wenige anstatt sämtliche der Ausführungsformen der Erfindung. Alle anderen Ausführungsformen, die durch den Fachmann auf dem Gebiet ohne jegliche kreative Anstrengung basierend auf den Ausführungsformen der vorliegenden Offenbarung erhalten werden, fallen in den Schutzumfang der vorliegenden Offenbarung.
Der Erfinder hat bei seiner Forschung festgestellt, dass eine Identifikationstechnologie für unterschiedliche Gelände hauptsächlich von einem Fahrer abhängt. Der Fahrer nimmt das aktuelle Gelände, in welchem ein Fahrzeug fährt, wahr, nimmt eine Bestimmung vor und schaltet dann manuell in einen Fahrmodus um, der mit dem aktuellen Gelände übereinstimmt. Die herkömmliche Fahrmodus-Umschaltung hängt davon ab, dass der Fahrer eine Bestimmung basierend auf einem praktischen Geländemerkmal vornimmt und dann manuell einen entsprechenden Fahrmodus auswählt.
In einem Aspekt ist es schwierig für den Fahrer, den Fahrmodus genau rechtzeitig umzuschalten. In einem weiteren Aspekt muss der Fahrer das Fahrzeug während eines Prozesses des Umschaltens bedienen, was den Fahrer ablenkt und zum Teil in Sicherheitsrisiken resultiert. Daher hat die herkömmliche Fahrmodus-Umschaltung für unterschiedliche Gelände nicht nur Einfluss auf das Fahrerlebnis des Fahrers, sondern lenkt den Fahrer auch ab, was in Sicherheitsrisiken resultiert.
Angesichts des Obengenannten ist ein Verfahren zur intelligenten Geländeidentifikation gemäß einer Ausführungsform der vorliegenden Offenbarung vorgesehen. Spezifisch wird ein Bild eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs automatisch erfasst, ein Merkmal einer Fahrbahnoberfläche wird durch Analyse aus dem Bild extrahiert und ein Typ der Fahrbahnoberfläche wird basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche bestimmt, sodass das Fahrzeug gemäß des Typs der Fahrbahnoberfläche automatisch in einen übereinstimmenden Fahrmodus umschaltet. Es ist zu sehen, dass das Fahrzeug mit dem Verfahren gemäß der Ausführungsform der vorliegenden Offenbarung den Typ der aktuellen Fahrbahnoberfläche intelligent identifizieren und eine Fahrstrategie des Fahrzeugs basierend auf dem Typ der Fahrbahnoberfläche automatisch umschalten kann, was die Bequemlichkeit einer Anpassungsfunktion des Fahrzeugs an das Gelände enorm verbessert, das Fahrerlebnis verbessert und eine Wahrscheinlichkeit von Sicherheitsrisiken verringert.
Außerdem kann, für den Fall, dass sich ein weiteres dreidimensionales Objekt, wie z.B. ein weiteres Fahrzeug oder ein Hindernis, in dem erfassten Bild befindet, das Bild basierend auf dem Verfahren gemäß der vorliegenden Offenbarung segmentiert werden, um Bildinformationen einer Bodenregion zu erhalten, ein dreidimensionales Objekt in der Bodenregion wird entfernt und das Bild mit einem leeren Teil wird kompensiert, um ein Bild einer kompletten Bodenregion zu erfassen. Auf diese Weise werden stabile und zuverlässige Bildinformationen zum Extrahieren eines Merkmals der Bodenregion bereitgestellt, wodurch eine genaue Bestimmung des Typs der Fahrbahnoberfläche sichergestellt wird.
Erste Ausführungsform
Es wird auf 1 Bezug genommen, bei welcher es sich um ein Flussdiagramm eines Verfahrens zur intelligenten Geländeidentifikation gemäß der Ausführungsform handelt.
Das Verfahren zur intelligenten Geländeidentifikation gemäß der Ausführungsform beinhaltet die Schritte S101 bis S103.
In S101 wird ein Bild eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs erfasst.
Es kann verstanden werden, dass der voreingestellte Fahrbereich nicht zu groß eingestellt werden muss. In der Praxis sind eine vorbestimmte Breite und eine vorbestimmte Distanz vor dem Fahrzeug in einer Fahrrichtung eingestellt. Zum Beispiel wird ein Bild innerhalb einer Region vor dem Fahrzeug erfasst, wobei die Region eine Breite von 10 Metern von links nach rechts und eine Länge von 20 Metern in der Fahrrichtung aufweist.
In der Ausführungsform können unterschiedliche Bilderfassungsbereiche für unterschiedliche Typen des Fahrzeugs mit dem voreingestellten Fahrbereich eingestellt werden, um so eine Anpassung an Strukturen der unterschiedlichen Fahrzeuge vorzunehmen. Auf diese Weise kann ein relativ ideales Bild zum Durchführen einer anschließenden Bildverarbeitung und Erfassen genauer Daten erfasst werden.
Zum Beispiel zählen zu den Typen des Fahrzeugs ein Geländefahrzeug, ein Auto, ein LKW, ein Kleinbus und dergleichen.
Das Geländefahrzeug weist eine große Gesamtstruktur auf und das Auto weist eine relativ kleine Gesamtstruktur auf. Daher müssen beim Einstellen der voreingestellten Fahrbereiche in den vorderen Fahrregionen, die den obigen beiden unterschiedlichen Typen von Fahrzeugen entsprechen, adaptiv Anpassungen basierend auf entsprechenden Merkmalen vorgenommen werden, um angemessene voreingestellte Fahrbereiche einzustellen.
Das Bild kann ein Binärbild, ein Grauskalenbild oder ein Farbbild sein, was in der Ausführungsform nicht eingeschränkt ist.
Eine spezifische Implementierung des Erfassens des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs kann durch das Installieren einer Kamera, einer Armaturenbrett-Kamera oder dergleichen vom im Fahrzeug erreicht werden.
In S102 wird ein Merkmal einer Fahrbahnoberfläche aus dem Bild extrahiert.
In der Ausführungsform dient das Merkmal der Fahrbahnoberfläche dem Angeben eines Merkmals eines Geländes, in welchem das Fahrzeug gegenwärtig fährt. Unterschiedliche Gelände entsprechen unterschiedlichen Merkmalen von Fahrbahnoberflächen.
Das Merkmal der Fahrbahnoberfläche kann eine Farbe, eine Form oder eine Textur der Fahrbahnoberfläche beinhalten.
Zum Beispiel entsprechen unterschiedliche Gelände, wie z.B. Straße, Sand, Schnee, Schlamm und Gras, unterschiedlichen Farben, Formen und Texturen von Fahrbahnoberflächen.
Daher kann das Gelände, in welchem das Fahrzeug gegenwärtig fährt, durch das Extrahieren des Merkmals der Fahrbahnoberfläche identifiziert werden. In einer praktischen Anwendung können ein oder mehrere Arten der obigen Merkmale der Fahrbahnoberfläche extrahiert werden, welche hierin nicht eingeschränkt sind. Vorzugsweise kann die Zahl der extrahierten Merkmale der Fahrbahnoberfläche mehr als Eins sein, um das aktuelle Gelände genau zu identifizieren.
In S103 wird ein Typ der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche bestimmt, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Aus der Beschreibung von S102 ist zu sehen, dass das Gelände mehrere Arten beinhalten kann, wie z.B. Straße, Sand, Schnee, Schlamm und Gras, und die unterschiedlichen Gelände präsentieren unterschiedliche Merkmale der Fahrbahnoberflächen. Der Typ der Fahrbahnoberfläche, auf welcher das Fahrzeug gegenwärtig fährt, wird basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche bestimmt, sodass das Fahrzeug die entsprechende Fahrstrategie automatisch gemäß des Typs der Fahrbahnoberfläche auswählen kann.
In der Ausführungsform können Merkmale unterschiedlicher Typen von Fahrbahnoberflächen im Vorhinein extrahiert werden und ein Merkmalsprobensatz, der jedem Typ der Fahrbahnoberfläche entspricht, wird durch Training erfasst. Beim Bestimmen des Typs der Fahrbahnoberfläche, auf welcher das Fahrzeug gegenwärtig fährt, kann das extrahierte Merkmal mit einem Merkmal im Merkmalsprobensatz abgeglichen werden, um ein Übereinstimmungsergebnis zu erhalten, und der Typ der Fahrbahnoberfläche wird bestimmt.
Es wird verstanden werden, dass in einer praktischen Anwendung auch andere Bestimmungsarten verwendet werden können, was hierin durch die Ausführungsform nicht eingeschränkt ist.
Eine Klassifizierung der Fahrstrategie entspricht einer Klassifizierung des Geländes. Zum Beispiel wird eine Fahrstrategie, die mit der Straße übereinstimmt, in einem Fall ausgewählt, dass das aktuelle Gelände als eine Straße bestimmt wird; und eine Fahrstrategie, die mit Schnee übereinstimmt, wird in einem Fall ausgewählt, dass das aktuelle Gelände als Schnee bestimmt wird. Unterschiedliche Fahrstrategien werden angewandt, indem mehrere Systeme, wie z.B. ein Lenksystem, ein elektronisches Stabilitätskontrollsystem und ein Fahrwerksystem, angepasst werden, um eine Anpassung an unterschiedliche Gelände vorzunehmen, Schäden am Fahrzeug zu verhindern und Kraftstoff zu sparen. Auch wird die Fahrsicherheit sichergestellt, um einen Unfall zu verhindern. Zum Beispiel wird das Fahrzeug im Fall einer Fahrt auf Schnee verlangsamt, um so ein Rutschen oder Driften zu verhindern.
Es kann verstanden werden, dass die spezifische Fahrstrategie gemäß des Geländes und eines Typs des Fahrzeugs ausgewählt werden kann, was in der Ausführungsform nicht im Detail beschrieben ist.
Mit dem Verfahren gemäß der vorliegenden Offenbarung wird das Bild der vorderen Fahrregion des Fahrzeugs automatisch erfasst, und der Typ der Fahrbahnoberfläche wird basierend auf dem extrahierten Merkmal durch Extrahieren des Merkmals, welches die Beschaffenheit der Fahrbahnoberfläche reflektiert, bestimmt. Ein Fahrer muss das Gelände nicht mit den Augen wahrnehmen und die Fahrstrategie nicht durch Auswahl eines Funktionsknopfes manuell ändern. Auf diese Weise wählt das Fahrzeug die entsprechende Fahrstrategie automatisch gemäß des Typs der Fahrbahnoberfläche. Es ist zu sehen, dass das Gelände, in welchem das Fahrzeug gegenwärtig fährt, automatisch und intelligent durch das Extrahieren und Bestimmen des Merkmals der Fahrbahnoberfläche identifiziert werden kann. In einem Aspekt wird die Anpassungsfähigkeit des Fahrzeugs an das Gelände enorm verbessert und auch das Fahrerlebnis wird verbessert. In einem weiteren Aspekt werden Sicherheitsrisiken, die verursacht werden, wenn der Fahrer Umschaltoperationen am Fahrzeug vornimmt, verhindert.
Das Verfahren zur intelligenten Geländeidentifikation ist oben gemäß der ersten Ausführungsform beschrieben, und im Folgenden wird eine spezifische Implementierung von S102 in der ersten Ausführungsform im Detail in Verbindung mit einer zweiten Ausführungsform vorgestellt.
Zweite Ausführungsform
Es wird auf 2A Bezug genommen, bei welcher es sich um ein Flussdiagramm einer spezifischen Implementierung von S102 gemäß der Ausführungsform handelt.
Die spezifische Implementierung beinhaltet die folgenden Schritte.
S102 in der ersten Ausführungsform beinhaltet Schritt S201 und S202.
In S201 erfolgt eine Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion.
In der Ausführungsform ist eine optionale Art der Bilderfassung vorgesehen, die spezifisch Folgendes beinhaltet: das Erfassen des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs über eine Kamera, die vorn im Fahrzeug installiert ist, wobei der voreingestellte Fahrbereich durch das Einstellen eines Parameters der Kamera eingestellt wird.
Der Parameter der Kamera kann einen intrinsischen Parameter und einen extrinsischen Parameter beinhalten. Der intrinsische Parameter beinhaltet die Brennweiten fx und fy, die Koordinaten (x0, y0) eines Hauptpunktes (in Bezug auf eine Bildgebungsebene), einen Koordinatenachsen-Kippparameter s und so weiter. Der extrinsische Parameter beinhaltet eine Rotationsmatrix, eine Translationsmatrix und so weiter. Unterschiedliche Parameter der Kamera werden für unterschiedliche Fahrzeuge eingestellt, sodass die Kamera das Bild eines angemessenen voreingestellten Fahrbereichs aufnehmen kann.
In einer praktischen Anwendung kann der Parameter der Kamera im Vorhinein eingestellt sein, wenn das Fahrzeug vom Werk geliefert wird, und kann durch einen Fahrer basierend auf der Fahrpraxis eingestellt werden. In der Ausführungsform ist eine Art und Weise des Einstellens des Parameters der Kamera nicht eingeschränkt, und ein spezifischer Wert des Parameters kann basierend auf einer praktischen Fahrsituation eingestellt werden.
In einer spezifischen Implementierung kann das Bild des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs über eine Armaturenbrett-Kamera aufgenommen werden. Es sei darauf hingewiesen, dass das Bild der vorderen Fahrregion des Fahrzeugs in der Ausführungsform auf verschiedene Art und Weise erfasst werden kann, welche hierin nicht eingeschränkt ist.
Es kann verstanden werden, dass das Bild mit einem voreingestellten Zeitintervall aufgenommen werden kann und dass es sich dabei um ein Bild handeln kann, das aus einem Video extrahiert wird, das in Echtzeit aufgezeichnet wird.
In einer praktischen Anwendung befindet sich zwangsläufig ein weiteres Fahrzeug und/oder ein Hindernis, wie z.B. ein Fußgänger, in der vorderen Fahrregion des Fahrzeugs. Eine optionale Art der Verarbeitung ist gemäß der Ausführungsform vorgesehen, um die Genauigkeit und Eindeutigkeit von Bildinformationen, die in anschließenden Schritten gesammelt werden, sicherzustellen und ein stabiles und zuverlässiges Merkmal der Fahrbahnoberfläche zu erfassen. Die optionale Art der Verarbeitung beinhaltet spezifisch Folgendes:

das Durchführen einer Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Erfassen der Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts des Bildes;
das Entfernen eines dreidimensionalen Objekts, das sich in der Bodenregion befindet; und
das Durchführen von Bildkompensation an einem leeren Teil zum Erfassen einer kompletten Bodenregion, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde.

In einer praktischen Anwendung kann zum Extrahieren eines Merkmals der Bodenregion eine Bildsegmentierung durchgeführt werden, um die Bodenregion, die Himmelsregion und das dreidimensionale Objekt in dem Bild zu erfassen. Die Bildsegmentierung dient dem Klassifizieren unterschiedlicher Objekte in dem Bild, und Grenzen der Objekte werden über eine Analyse an Pixeln der Objekte bestimmt, um eine Trennung der unterschiedlichen Objekte zu erreichen.
In einer spezifischen Implementierung wird das aufgenommene Bild in das tiefe neuronale Netzwerk eingegeben und die Himmelsregion, die Bodenregion und eine Region des dreidimensionalen Objekts werden durch Klassifizierung jedes Pixels in dem Bild getrennt, um so das Merkmal der Bodenregion genau zu extrahieren.
In einer praktischen Anwendung beinhaltet das durch die Kamera aufgenommene Bild im Allgemeinen einen Boden, einen Himmel und das dreidimensionale Objekt. Beim Extrahieren des Merkmals der Fahrbahnoberfläche werden die Himmelsregion des Bildes und das dreidimensionale Objekt, das sich in der Bodenregion befindet, des Bildes entfernt, um zu verhindern, dass die Himmelsregion und das dreidimensionale Objekt die Genauigkeit des Extrahierens des Merkmals der Fahrbahnoberfläche beeinflussen. Dadurch wird sichergestellt, dass ein Merkmal, das durch das Bild dargestellt wird, das Merkmal der Bodenregion ist, welches eine zuverlässige Basis zum Extrahieren des Merkmals der Fahrbahnoberfläche liefert.
Nachdem das dreidimensionale Objekt entfernt wurde, muss ein Bild der Bodenregion mit dem leeren Teil kompensiert werden, um ein komplettes Bild zu erfassen. In der Ausführungsform ist eine optionale Implementierung zum Kompensieren des leeren Teils vorgesehen, welche das Durchführen der Bildkompensation an dem leeren Teil basierend auf einem Bildmerkmal einer Region beinhaltet, wobei sich die Region in der Bodenregion und benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, befindet.
Zum Beispiel kann die Region benachbart zu dem dreidimensionalen Objekt einen Himmel und einen Boden beinhalten. Da im Endeffekt das Merkmal der Fahrbahnoberfläche der Bodenregion extrahiert werden soll, muss das Bildmerkmal der Region, welche benachbart zu dem dreidimensionalen Objekt ist und sich in der Bodenregion befindet, zum Kompensieren des leeren Teils verwendet werden, anstatt eine Region zu verwenden, welche benachbart zu dem dreidimensionalen Objekt ist und sich in einer anderen Region befindet.
In einer spezifischen Implementierung kann ein generatives Modell in dem tiefen neuronalen Netzwerk auf das Abtasten eines Merkmals der Bodenregion benachbart zu dem dreidimensionalen Objekt, d.h. das Abtasten eines Bodenmerkmals der Bodenregion, in welcher sich das dreidimensionale Objekt befindet, angewandt werden, und der leere Teil wird basierend auf einem Merkmalsprobensatz der Bodenregion, der durch die Abtastung erhalten wird, kompensiert, wodurch ein Bild der Bodenregion ohne Beeinträchtigung erzeugt wird, um so das Merkmal der Fahrbahnoberfläche durch Schritt S202 zu extrahieren.
In S202 wird das Merkmal der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk extrahiert.
Das Bild der Bodenregion ohne Beeinträchtigung wird durch weitere Verarbeitung des durch Schritt S201 erfassten Bildes erfasst. Das Merkmal der Fahrbahnoberfläche wird aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk extrahiert, und es kann mehrere spezifische Implementierungen des Extrahierens geben. Eine optionale Implementierung ist gemäß der Ausführungsform vorgesehen, welche spezifisch das sequentielle Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion mit mindestens einer Faltungsschicht und mindestens einer vollständig verbundenen Schicht beinhaltet.
Die Faltungsschicht dient dem Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion, die in die tiefe neuronale Netzwerkstruktur eingegeben wird. Die vollständig verbundene Schicht dient dem Umwandeln eines multidimensionalen Vektors, der durch die Faltungsschicht ausgegeben wird, in einen eindimensionalen Merkmalsvektor, so dass im Anschluss eine Berechnungsverarbeitung mit dem eindimensionalen Merkmalsvektor durchgeführt wird.
Theoretisch erhöht sich die Genauigkeit eines extrahierten effektiven Merkmalsvektors mit einem Anstieg der Zahl der Faltungsschichten und der vollständig verbundenen Schichten in der tiefen neuronalen Netzwerkstruktur. Jedoch resultiert die erhöhte Zahl der Schichten in einem angestiegenen Verbrauch von Ressourcen einer CPU, was Einfluss auf eine Leistung der CPU bei der Verarbeitung anderer Objekte hat. Daher kann in einer spezifischen Implementierung die Zahl der Faltungsschichten und die Zahl der vollständig verbundenen Schichten basierend auf praktischen Anforderungen ausgewählt werden und es wird mindestens eine Faltungsschicht und mindestens eine vollständig verbundene Schicht verwendet.
Bei umfassender Betrachtung der Berechnungsgenauigkeit und CPU-Leistung ist die tiefe neuronale Netzwerkstruktur zum Extrahieren des Merkmals der Fahrbahnoberfläche der Bodenregion in der Ausführungsform ein neuronales Faltungsnetzwerk, das durch drei Faltungsschichten und zwei vollständig verbundene Schichten gebildet wird. Jedoch werden die drei Faltungsschichten und die zwei vollständig verbundenen Schichten nur als ein Beispiel zur Veranschaulichung angenommen und stellen keine Einschränkung der Zahl der Faltungsschichten und der Zahl der vollständig verbundenen Schichten dar.
Für eine spezifische Implementierung der tiefen neuronalen Netzwerkstruktur, die in der Ausführungsform übernommen wird, sei auf 3 verwiesen.
Zunächst wird das Bild der Bodenregion eingegeben, und ein spezifischer Prozess des Extrahierens des Merkmals der Fahrbahnoberfläche aus der kompletten Bodenregion basierend auf der tiefen neuronalen Netzwerkstruktur ist wie Folgt:

Faltungsschicht 1: 3*3 Kernel, 64 Abbildungen, einschließlich einer Bündelungsschicht;
Faltungsschicht 2: 3*3 Kernel, 128 Abbildungen, einschließlich einer Bündelungsschicht;
Faltungsschicht 3: 3*3 Kernel, 128 Abbildungen, einschließlich einer Bündelungsschicht;
Vollständig verbundene Schicht 1: 2048 Dimensionen; und
Vollständig verbundene Schicht 2: 1024 Dimensionen.

Nach der obigen Verarbeitung gibt das tiefe neuronale Netzwerk einen 1024-dimensionalen Merkmalsvektor aus, sodass anschließend der Typ der Fahrbahnoberfläche basierend auf dem ausgegebenen 1024-dimensionalen Merkmalsvektor bestimmt werden kann.
In der Ausführungsform ist eine bevorzugte Art und Weise zum Bestimmen des Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche vorgesehen, welche spezifisch das Bestimmen des Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche mit einer Softmax-Funktion beinhaltet.
Es sei darauf hingewiesen, dass die Softmax-Funktion einen K-dimensionalen Vektor A auf einem K'-dimensionalen Vektor A' abbildet, und es handelt sich dabei im Wesentlichen um eine Wahrscheinlichkeitsfunktion. In der Ausführungsform dient die Softmax-Funktion spezifisch dem Angeben einer Wahrscheinlichkeitsverteilung eines Geländeklassifizierungsergebnisses, und für eine spezifische Berechnung sei auf einen in 4 gezeigten Prozess verwiesen.
Der 1024-dimensionale Merkmalsvektor, der durch das tiefe neuronale Netzwerk ausgegeben wird, wird in die Softmax-Funktion eingegeben. Der eingegebene Vektor wird mit einer Parametermatrix W multipliziert, dann wird ein Versatzvektor E zu einem Ergebnis, das nach der Multiplikation erhalten wird, addiert, und schließlich wird ein Ergebnis, das nach der Addition erhalten wird, reguliert, um eine Wahrscheinlichkeit jedes Typs zu erhalten, wie in 4 gezeigt.
Die Parametermatrix W ist eine a*b-Matrix und der Versatzvektor E ist ein a*1-Vektor, welche durch vorheriges Anlernen basierend auf einer großen Zahl von Merkmalsprobensätzen der Fahrbahnoberfläche erfasst werden, und können zum Bestimmen des Typs der Fahrbahnoberfläche verwendet werden, a ist die Zahl der Zeilen und ist die gleiche wie die Zahl der Typen der Fahrbahnoberfläche. b ist die Zahl der Spalten und ist die gleiche wie eine Dimensionalität des Merkmalsvektors, der durch das tiefe neuronale Netzwerk ausgegeben wird.
Es wird angenommen, dass die Typen der Fahrbahnoberfläche vier Typen beinhalten: Schnee, Schlamm, Sand und Straße. Ein Vektor mit Dimensionen von 4*1 wird nach der Berechnung basierend auf der obigen Softmax-Funktion erfasst und stellt eine Wahrscheinlichkeitsverteilung der obigen vier Typen der Fahrbahnoberfläche dar. Der Typ der Fahrbahnoberfläche mit einer maximalen Wahrscheinlichkeit ist der Typ der Fahrbahnoberfläche, der basierend auf dem Merkmal der Fahrbahnoberfläche durch die Softmax-Funktion bestimmt wird. In der Ausführungsform weist das Gelände, in welchem das Fahrzeug gegenwärtig fährt, eine Wahrscheinlichkeit von 0,72, dass es sich um Schnee handelt, eine Wahrscheinlichkeit von 0,11, dass es sich um Schlamm handelt, eine Wahrscheinlichkeit von 0,02, dass es sich um Sand handelt, und eine Wahrscheinlichkeit von 0,15, dass es sich um eine Straße handelt, auf. Aus der obigen Verteilung der Wahrscheinlichkeitswerte kann bestimmt werden, dass der Typ der aktuellen Fahrbahnoberfläche Schnee ist, und dadurch wählt das Fahrzeug die Fahrstrategie, die Schnee entspricht, aus.
Zum besseren Verständnis der obigen Merkmale der vorliegenden Offenbarung ist das Verfahren gemäß der obigen Ausführungsformen der vorliegenden Offenbarung im Folgenden in Verbindung mit 5A bis 5D im Detail beschrieben.
Das Bild des vorderen Fahrbereichs des Fahrzeugs wird durch das Einstellen des Parameters der Kamera, die vom im Fahrzeug installiert ist, erfasst. Als ein Beispiel ist ein Bild einer fächerförmigen Region in 5A gezeigt.
Das erfasste Bild wird in das tiefe neuronale Netzwerk eingegeben, das eingegebene Bild wird segmentiert und der Himmel, der Boden und das dreidimensionale Objekt im Bild werden identifiziert. Spezifisch können Objekte basierend auf einer Textur, einer Farbe oder einer Intensität im Bild identifiziert werden.
Das dreidimensionale Objekt in der Bodenregion, d.h. ein vorderes Fahrzeug und ein Fußgänger, das durch die Kamera aufgenommen wird, wird entfernt. Der leere Teil kann kompensiert werden, wenn das Bild, aus dem das dreidimensionale Objekt entfernt wurde, das generative Modell durchläuft, um das Bild der Bodenregion ohne Beeinträchtigung zu erzeugen, wie in 5B gezeigt. Bevor das Bild in ein neuronales Faltungsnetzwerk eingegeben wird, kann das Bild wieder segmentiert werden, und das segmentierte Bild wird in das neuronale Faltungsnetzwerk eingegeben. Der 1024-dimensionale Merkmalsvektor wird durch Verarbeitung durch die Faltungsschichten und die vollständig verbundenen Schichten erfasst, wie in 5C gezeigt.
Der 1024-dimensionale Vektor wird in die Softmax-Funktion eingegeben, und die Wahrscheinlichkeitsverteilung jedes Typs der Fahrbahnoberfläche wird erfasst, wie in 5D gezeigt. Der Typ der Fahrbahnoberfläche, auf welcher das Fahrzeug fährt, wird gemäß der Wahrscheinlichkeitsverteilung bestimmt, sodass das Fahrzeug die entsprechende Fahrstrategie gemäß des Typs der Fahrbahnoberfläche auswählt.
Mit dem Verfahren gemäß der Ausführungsform kann, wenn das aufgenommene Bild den Himmel und das dreidimensionale Objekt beinhaltet, das Bild über das tiefe neuronale Netzwerk segmentiert werden, um die Himmelsregion, die Bodenregion und das dreidimensionale Objekt zu erfassen, um so zu verhindern, dass der Himmel und das dreidimensionale Objekt Einfluss auf die Extraktion des Merkmals der Fahrbahnoberfläche haben. Das dreidimensionale Objekt in der Bodenregion wird entfernt, und der leere Teil in der Bodenregion, welcher durch das Entfernen des dreidimensionalen Objekts gebildet wird, wird kompensiert. Auf diese Weise wird das komplette und stabile Bild der Bodenregion erfasst, wodurch zuverlässige Bildinformationen für die anschließende Extraktion des Merkmals der Fahrbahnoberfläche bereitgestellt werden und die Genauigkeit der Bestimmung des Typs der Fahrbahnoberfläche verbessert wird.
Dritte Ausführungsform
Für ein besseres Verständnis der obigen Merkmale und Vorteile der vorliegenden Offenbarung ist die vorliegende Offenbarung im Folgenden in Verbindung mit 2B weiter im Detail veranschaulicht.
Es wird auf 2B Bezug genommen, wobei es sich um ein weiteres Flussdiagramm eines Verfahrens zur intelligenten Geländeidentifikation gemäß der Ausführungsform handelt. Das Verfahren beinhaltet die Schritte S301 bis S306.
In S301 wird ein Bild eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs über eine Kamera, die vom im Fahrzeug installiert ist, erfasst.
Der voreingestellte Fahrbereich kann durch das Einstellen eines Parameters der Kamera eingestellt werden. Unterschiedliche Parameter können für unterschiedliche Fahrzeuge eingestellt werden, sodass die Kamera ein deutliches und genaues Bild aufnehmen kann.
In S302 erfolgt eine Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts.
In S303 wird ein dreidimensionales Objekt, das sich in der Bodenregion befindet, entfernt.
In einer praktischen Anwendung müssen, um zu verhindern, dass die Himmelsregion und das dreidimensionale Objekt in dem Bild Einfluss auf die Genauigkeit der Extraktion eines Merkmals der Fahrbahnoberfläche haben, die Himmelsregion des Bildes und das dreidimensionale Objekt in der Bodenregion des Bildes entfernt werden, um eine zuverlässige Basis für das Extrahieren des Merkmals der Fahrbahnoberfläche bereitzustellen.
In S304 erfolgt eine Bildkompensation an einem leeren Teil, welcher in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde, basierend auf einem Bildmerkmal einer Region benachbart zu dem dreidimensionalen Objekt und in der Bodenregion zum Erfassen einer kompletten Bodenregion.
Ein generatives Modell in dem tiefen neuronalen Netzwerk kann auf das Abtasten eines Merkmals der Bodenregion benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, angewandt werden, und der leere Teil wird basierend auf einem gesammelten Merkmalsprobensatz der Bodenregion kompensiert, wodurch ein komplettes Bild der Bodenregion erfasst wird.
In S305 wird das Merkmal der Fahrbahnoberfläche sequentiell mit drei Faltungsschichten und zwei vollständig verbundenen Schicht aus der Bodenregion extrahiert.
In der Ausführungsform kann für eine spezifische Implementierung von Schritt S305 Bezug auf die spezifische Implementierung in der zweiten Ausführungsform genommen werden, welche hierin nicht im Detail beschrieben ist.
In S306 wird ein Typ der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche mit einer Softmax-Funktion bestimmt.
Für ein Berechnungsprinzip und eine Implementierung der Softmax-Funktion sei auf die spezifische Implementierung in der zweiten Ausführungsform verwiesen, welche hierin nicht im Detail beschrieben ist.
Mit dem Verfahren gemäß der Ausführungsform wird das Bild der vorderen Fahrregion des Fahrzeugs automatisch über die Kamera erfasst, das dreidimensionale Objekt in dem Bild wird mit einem Bildsegmentierungsverfahren entfernt, der leere Teil, der in der Bodenregion durch das Entfernen des dreidimensionalen Objekts gebildet wird, wird kompensiert, um das komplette und stabile Bild der Bodenregion zu erfassen, dann wird ein Merkmal, das eine Beschaffenheit der Fahrbahnoberfläche reflektiert, aus dem Bild extrahiert, und der Typ der Fahrbahnoberfläche wird basierend auf dem extrahierten Merkmal bestimmt. Es ist zu sehen, dass mit dem Verfahren gemäß der Ausführungsform das Gelände, in welchem das Fahrzeug gegenwärtig fährt, automatisch und intelligent identifiziert werden kann. In einem Aspekt wird die Anpassungsfähigkeit des Fahrzeugs an das Gelände enorm verbessert. In einem weiteren Aspekt werden Sicherheitsrisiken, die verursacht werden, wenn ein Fahrer Umschaltoperationen am Fahrzeug vornimmt, verhindert.
Basierend auf dem Verfahren zur intelligenten Geländeidentifikation gemäß der oben genannten ersten Ausführungsform bis dritten Ausführungsform ist gemäß einer Ausführungsform der vorliegenden Offenbarung ferner eine Vorrichtung zur intelligenten Geländeidentifikation vorgesehen. Im Folgenden wird die Vorrichtung zur intelligenten Geländeidentifikation gemäß einer vierten Ausführungsform in Verbindung mit Zeichnungen vorgestellt.
Vierte Ausführungsform
Es wird auf 6 Bezug genommen, welche ein Strukturdiagramm einer Vorrichtung zur intelligenten Geländeidentifikation gemäß der Ausführungsform veranschaulicht.
Die Vorrichtung beinhaltet eine Bilderfassungseinheit 610, eine Merkmalsextraktionseinheit 620 und eine Typbestimmungseinheit 630.
Die Bilderfassungseinheit 610 ist konfiguriert zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs.
Die Merkmalsextraktionseinheit 620 ist konfiguriert zum Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild.
Die Typbestimmungseinheit 630 ist konfiguriert zum Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Wahlweise kann die Vorrichtung ferner eine Segmentierungseinheit 640 beinhalten, die konfiguriert ist zum Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion, und die Merkmalsextraktionseinheit 620 ist konfiguriert zum Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Wahlweise beinhaltet die Segmentierungseinheit 640 eine Segmentierungsuntereinheit 641, eine Entfernungsuntereinheit 642 und eine Kompensationsuntereinheit 643.
Die Segmentierungsuntereinheit 641 ist konfiguriert zum Durchführen einer Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Erfassen der Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts des Bildes.
Die Entfernungsuntereinheit 642 ist konfiguriert zum Entfernen eines dreidimensionalen Objekts, das sich in der Bodenregion befindet.
Die Kompensationsuntereinheit 643 ist konfiguriert zum Durchführen von Bildkompensation an einem leeren Teil zum Erfassen einer kompletten Bodenregion, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde. Spezifisch ist die Kompensationsuntereinheit 643 konfiguriert zum Durchführen der Bildkompensation an dem leeren Teil basierend auf einem Bildmerkmal einer Region, wobei sich die Region in der Bodenregion und benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, befindet.
Die Vorrichtung gemäß der Ausführungsform entspricht dem Verfahren gemäß der ersten Ausführungsform bis dritten Ausführungsform. Daher sei für eine spezifische Implementierung einer Funktion jeder Einheit in der Ausführungsform, welche hierin nicht im Detail beschrieben ist, auf die Implementierungen der Verfahrensausführungsformen verwiesen.
Mit der Vorrichtung zur intelligenten Geländeidentifikation gemäß der Ausführungsform kann ein Bild des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs intelligent gesammelt werden, und der Typ der Fahrbahnoberfläche, auf welcher das Fahrzeug gegenwärtig fährt, wird automatisch identifiziert, um die Fahrstrategie des Fahrzeugs umzuschalten. In einem Aspekt wird die Anpassungsfähigkeit des Fahrzeugs an das Gelände enorm verbessert, und das Fahrerlebnis wird verbessert. In einem weiteren Aspekt werden Sicherheitsrisiken, die verursacht werden, wenn ein Fahrer Umschaltoperationen am Fahrzeug vornimmt, verhindert. Darüber hinaus wird das dreidimensionale Objekt in der Bodenregion durch Segmentierungsverarbeitung an dem Bild entfernt, und der gebildete leere Teil wird kompensiert. Dadurch kann ein stabiles und zuverlässiges Merkmal der Fahrbahnoberfläche extrahiert werden, und die Genauigkeit eines Bestimmungsergebnisses des Typs der Fahrbahnoberfläche wird sichergestellt.
Basierend auf dem Verfahren und der Vorrichtung zur intelligenten Geländeidentifikation gemäß der obigen Ausführungsformen ist ferner ein fahrzeugmontiertes Endgerät gemäß der vorliegenden Offenbarung vorgesehen. Detaillierte Beschreibungen werden im Folgenden in Verbindung mit Zeichnungen bereitgestellt.
Das fahrzeugmontierte Endgerät kann an Fahrzeugen verschiedenen Typs angebracht werden, wie z.B. einem Auto, einem Geländefahrzeug, einem LKW und einem Kleinbus, um so eine Funktion der intelligenten Geländeidentifikation gemäß der vorliegenden Offenbarung zu implementieren.
Fünfte Ausführungsform
Es wird auf 7 Bezug genommen, welche ein schematisches Strukturdiagramm eines fahrzeugmontierten Endgerätes gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Das fahrzeugmontierte Endgerät 710 beinhaltet eine Kamera 711 und einen Prozessor 712.
Die Kamera 711 ist konfiguriert zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs, wobei der voreingestellte Fahrbereich durch das Einstellen eines Parameters der Kamera eingestellt wird.
Der Prozessor 712 ist zu Folgendem konfiguriert: Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche; und Senden des Typs der Fahrbahnoberfläche an eine Fahrzeugsteuereinheit des Fahrzeugs, um die Fahrzeugsteuereinheit zum Steuern des Fahrzeugs zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Wahlweise ist der Prozessor 712 zu Folgendem konfiguriert: Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Es wird verstanden werden, dass das fahrzeugmontierte Endgerät als ein separates Produkt dienen kann und an Fahrzeugen verschiedenen Typs angebracht werden kann.
Basierend auf dem Verfahren und der Vorrichtung zur intelligenten Geländeidentifikation und dem fahrzeugmontierten Endgerät gemäß der obigen Ausführungsformen ist ferner ein Fahrzeug gemäß der vorliegenden Offenbarung vorgesehen. Detaillierte Beschreibungen werden im Folgenden in Verbindung mit Zeichnungen bereitgestellt.
Das Fahrzeug kann verschiedenen Typs sein, wie z.B. ein Auto, ein Geländefahrzeug, ein LKW und ein Kleinbus. Das Fahrzeug können auch Fahrzeuge mit verschiedenen Kraftquellen sein, wie z.B. ein Kraftstofffahrzeug und ein Elektrofahrzeug.
Sechste Ausführungsform
Es wird auf 8 Bezug genommen, bei welcher es sich um ein schematisches Strukturdiagramm eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Offenbarung handelt. Das Fahrzeug beinhaltet das fahrzeugmontierte Endgerät 710 gemäß der fünften Ausführungsform und eine Fahrzeugsteuereinheit 810.
Das fahrzeugmontierte Endgerät 710 ist konfiguriert zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion des Fahrzeugs; zum Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; zum Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche; und zum Senden des Typs der Fahrbahnoberfläche an die F ahrzeugsteuereinhei t.
Die Fahrzeugsteuereinheit 810 ist konfiguriert zum Steuern des Fahrzeugs zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche.
Wahlweise beinhaltet das fahrzeugmontierte Endgerät 710 eine Kamera 711 und einen Prozessor 712.
Die Kamera 711 ist konfiguriert zum Erfassen des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs, wobei der voreingestellte Fahrbereich durch das Einstellen eines Parameters der Kamera eingestellt wird.
Der Prozessor 712 ist zu Folgendem konfiguriert: Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Bei dem Fahrzeug gemäß der Ausführungsform wird das Bild des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs über die Kamera aufgenommen, die Pixelanalyse erfolgt an dem aufgenommenen Bild basierend auf dem tiefen neuronalen Netzwerk über den Prozessor zum Segmentieren des Bildes zum Erfassen der Bodenregion, das Merkmal der Fahrbahnoberfläche der Bodenregion wird basierend auf dem tiefen neuronalen Netzwerk extrahiert, der Typ der Fahrbahnoberfläche, auf welcher das Fahrzeug gegenwärtig fährt, wird basierend auf dem Merkmal der Fahrbahnoberfläche bestimmt, und ein Bestimmungsergebnis wird an die Fahrzeugsteuereinheit zurückübermittelt, um die Fahrzeugsteuereinheit zum Auswählen der Fahrstrategie entsprechend des Typs der Fahrbahnoberfläche gemäß des Bestimmungsergebnisses zu veranlassen. In einem Aspekt wird die Anpassungsfähigkeit des Fahrzeugs an ein Gelände enorm verbessert, und das Fahrerlebnis wird verbessert. In einem weiteren Aspekt werden Sicherheitsrisiken, die verursacht werden, wenn ein Fahrer Umschaltoperationen am Fahrzeug vornimmt, verhindert.
Die obigen Beschreibungen sind lediglich bevorzugte Ausführungsformen der vorliegenden Offenbarung und sollten nicht als die Erfindung in jeglicher Form einschränkend interpretiert werden. Obwohl die vorliegende Offenbarung durch die obigen bevorzugten Ausführungsformen offenbart ist, sollen die bevorzugten Ausführungsformen die Erfindung nicht einschränken. Verschiedene Änderungen und Modifikationen an den technischen Lösungen der vorliegenden Offenbarung können durch den Fachmann auf dem Gebiet basierend auf dem obigen Verfahren und technischen Inhalten innerhalb des Umfangs der technischen Lösungen der vorliegenden Offenbarung vorgenommen werden. Alternativ dazu können die technischen Lösungen der vorliegenden Offenbarung zu äquivalenten Ausführungsformen modifiziert werden. Daher fallen jegliche einfache Änderungen, Äquivalente und Modifikationen, welche sich nicht von den technischen Lösungen der vorliegenden Offenbarung entfernen und basierend auf dem Wesentlichen der vorliegenden Offenbarung vorgenommen werden, auch in dem Schutzumfang der technischen Lösungen der vorliegenden Offenbarung.

Claims

Verfahren zur intelligenten Geländeidentifikation, welches Folgendes umfasst: Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs; Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; und Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Verfahren zur intelligenten Geländeidentifikation nach Anspruch 1, wobei, vor dem Extrahieren des Merkmals der Fahrbahnoberfläche aus dem Bild, das Verfahren ferner Folgendes umfasst: Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und wobei das Extrahieren des Merkmals der Fahrbahnoberfläche aus dem Bild Folgendes umfasst: Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Verfahren zur intelligenten Geländeidentifikation nach Anspruch 2, wobei das Durchführen der Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen der Bodenregion Folgendes umfasst: Durchführen der Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Erfassen der Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts des Bildes; Entfernen eines dreidimensionalen Objekts, das sich in der Bodenregion befindet, und Durchführen von Bildkompensation an dem leeren Teil zum Erfassen einer kompletten Bodenregion, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde.
Verfahren zur intelligenten Geländeidentifikation nach Anspruch 3, wobei das Durchführen der Bildkompensation an dem leeren Teil, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde, Folgendes umfasst: Durchführen der Bildkompensation an dem leeren Teil basierend auf einem Bildmerkmal einer Region, wobei sich die Region in der Bodenregion und benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, befindet.
Verfahren zur intelligenten Geländeidentifikation nach Anspruch 1, wobei das Bestimmen des Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche Folgendes umfasst: Bestimmen des Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche mit einer Softmax-Funktion.
Verfahren zur intelligenten Geländeidentifikation nach Anspruch 2, wobei das Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk Folgendes umfasst: sequentielles Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion mit mindestens einer Faltungsschicht und mindestens einer vollständig verbundenen Schicht.
Verfahren zur intelligenten Geländeidentifikation nach einem der Ansprüche 1 bis 4, wobei das Erfassen des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs Folgendes umfasst: Erfassen des Bildes des voreingestellten Fahrbereichs in der vorderen Fahrregion des Fahrzeugs über eine Kamera, die vorn im Fahrzeug installiert ist, wobei der voreingestellte Fahrbereich durch das Einstellen eines Parameters der Kamera eingestellt wird.
Vorrichtung zur intelligenten Geländeidentifikation, welche Folgendes umfasst: eine Bilderfassungseinheit, die konfiguriert ist zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vorderen Fahrregion eines Fahrzeugs; eine Merkmalsextraktionseinheit, die konfiguriert ist zum Extrahieren eines Merkmals einer Fahrbahnoberfläche aus dem Bild; und eine Typbestimmungseinheit, die konfiguriert ist zum Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche, um das Fahrzeug zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Vorrichtung zur intelligenten Geländeidentifikation nach Anspruch 8, welche ferner eine Segmentierungseinheit umfasst; wobei die Segmentierungseinheit konfiguriert ist zum Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und wobei die Merkmalsextraktionseinheit konfiguriert ist zum Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Vorrichtung zur intelligenten Geländeidentifikation nach Anspruch 9, wobei die Segmentierungseinheit Folgendes umfasst: eine Segmentierungsuntereinheit, die konfiguriert ist zum Durchführen der Pixelanalyse an dem Bild basierend auf dem tiefen neuronalen Netzwerk zum Erfassen der Bodenregion, einer Himmelsregion und eines dreidimensionalen Objekts des Bildes; eine Entfernungsuntereinheit, die konfiguriert ist zum Entfernen eines dreidimensionalen Objekts, das sich in der Bodenregion befindet, und eine Kompensationsuntereinheit, die konfiguriert ist zum Durchführen von Bildkompensation an einem leeren Teil zum Erfassen einer kompletten Bodenregion, wobei der leere Teil in der Bodenregion gebildet wird, nachdem das dreidimensionale Objekt, das sich in der Bodenregion befindet, entfernt wurde.
Vorrichtung zur intelligenten Geländeidentifikation nach Anspruch 10, wobei die Kompensationsuntereinheit konfiguriert ist zum Durchführen der Bildkompensation an dem leeren Teil basierend auf einem Bildmerkmal einer Region, wobei sich die Region in der Bodenregion und benachbart zu dem dreidimensionalen Objekt, das sich in der Bodenregion befindet, befindet.
Fahrzeugmontiertes Endgerät, das an einem Fahrzeug angebracht ist, welches eine Kamera und einen Prozessor umfasst; wobei die Kamera konfiguriert ist zum Erfassen eines Bildes eines voreingestellten Fahrbereichs in einer vordere Fahrregion des Fahrzeugs; und wobei der Prozessor zu Folgendem konfiguriert ist: Extrahieren eines Merkmal einer Fahrbahnoberfläche aus dem Bild; Bestimmen eines Typs der Fahrbahnoberfläche basierend auf dem extrahierten Merkmal der Fahrbahnoberfläche; und Senden des Typs der Fahrbahnoberfläche an eine Fahrzeugsteuereinheit des Fahrzeugs, um die Fahrzeugsteuereinheit zum Steuern des Fahrzeugs zum Auswählen einer entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche zu veranlassen.
Fahrzeugmontiertes Endgerät nach Anspruch 12, wobei der Prozessor konfiguriert ist zum Durchführen einer Pixelanalyse an dem Bild basierend auf einem tiefen neuronalen Netzwerk zum Segmentieren des Bildes zum Erfassen einer Bodenregion; und Extrahieren des Merkmals der Fahrbahnoberfläche aus der Bodenregion basierend auf dem tiefen neuronalen Netzwerk.
Fahrzeug, welches das fahrzeugmontierte Endgerät nach Anspruch 12 oder 13 und eine Fahrzeugsteuereinheit umfasst, wobei die Fahrzeugsteuereinheit konfiguriert ist zum Steuern des Fahrzeugs zum Auswählen der entsprechenden Fahrstrategie gemäß des Typs der Fahrbahnoberfläche.