DE102021207185A1

DE102021207185A1 - Verfahren und Vorrichtung zur Klassifizierung einer Straße

Info

Publication number: DE102021207185A1
Application number: DE102021207185.6A
Authority: DE
Inventors: Shengtao Jin
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-30
Filing date: 2021-07-08
Publication date: 2022-02-03
Also published as: CN114092897A

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Klassifizierung einer Straße. Das Verfahren umfasst: Aufnahme mindestens eines Bildrahmens der aktuellen Straße; Verarbeiten des Bildrahmens zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft das Gebiet von automatisiertem Fahren und insbesondere die Straßenerkennung für das automatisierte Fahren.
Stand der Technik
Gegenwärtig können mit der Entwicklung der Netzwerkkommunikationstechnologie und der künstlichen Intelligenz eine intelligente Netzwerkverbindung bei Fahrzeugen realisiert werden, und das automatisierte Fahrsystem (ADS) von Fahrzeugen besitzt einen zunehmenden Automatisierungsgrad. Infolgedessen ist das automatisierte Fahren schrittweise zur Realität geworden. Eine wichtige Technologie für automatisiertes Fahren ist die Geofencing-Technologie. Geofencing-Technologie bezieht sich auf ein geografisches Gebiet, in dem elektronisch überwacht wird, wo ein intelligentes vernetztes Fahrzeug einfährt, sowie die Geschwindigkeit und der Kraftstoffverbrauch desselben. Dadurch wird die Kommunikation zwischen dem intelligenten Auto und einem Kontrollzentrum, wie einem intelligenten vernetzten Transportsystem, realisiert. Bei der Geofencing-Technologie ist die Kenntnis der aktuellen befahrenen Straße des Fahrzeugs ein wichtiger Faktor, da das ADS wissen muss, ob es sich bei der aktuellen Fahrstraße um eine Autobahn, eine Stadtstraße oder eine übliche Landstraße handelt.
Derzeit wird die Geofencing-Technologie durch GPS-Signale oder durch beim Vorbeifahren an einer Mautstation empfangene ETC-Signale realisiert. Für ein Fahrzeug, das auf Autobahnen fährt, könnte selbstverständlich das GPS-Signal verschlechtert werden oder sogar verschwinden, wenn es durch einen Tunnel, eine Wüste fährt und an anderen speziellen Umgebungen vorbeifährt. Zudem könnte es keine ETC-Signale empfangen, wenn es weit von einer Mautstation entfernt ist. So kann das Fahrzeug nicht wissen, ob es sich noch auf der Autobahn befindet. Daher ist die auf GPS oder ETC basierende Geofencing-Technologie stark eingeschränkt.
Offenbarung der Erfindung
Die vorliegende Erfindung schlägt eine Technologie zum Beurteilen des Typs einer Straße basierend auf direkten visuellen Merkmalen der Straße mittels maschineller Lerntechnologie vor.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur Klassifizierung einer Straße bereitgestellt, umfassend: Aufnahme mindestens eines Bildrahmens der aktuellen Straße; Verarbeiten des Bildrahmens zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren zum Training eines Straßenklassifizierungsmodells bereitgestellt, umfassend: Erhalten mehrerer Bildrahmen, wobei jeder Bildrahmen visuelle Merkmale einer Straße umfasst; Verarbeiten jedes Bildrahmens zum Identifizieren mehrerer im Bildrahmen enthaltenen visuellen Merkmale; Durchführen einer Clustering-Verarbeitung der mehreren Bildrahmen basierend auf den visuellen Merkmalen, um die Zielcluster, zu denen die Bildrahmen gehören, zu bestimmen, so dass mehrere Cluster gebildet werden; Auswählen mehrerer, für das Cluster am relevantesten, visueller Merkmale aus den visuellen Merkmalen in den Bildrahmen in demselben Cluster als Attributmerkmal dieses Clusters; und Bilden einer Trainingsprobe mittels der mehreren Attributmerkmale in jedem Bildrahmen in demselben Cluster zum Trainieren eines an dieses Cluster angepassten Straßenklassifizierungsmodells.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Rechnersystem bereitgestellt, umfassend ein Straßenklassifizierungsmodul zum Klassifizieren einer Fahrstraße, wobei das Straßenklassifizierungsmodul zu Folgendem konfiguriert ist: zum Verarbeiten mindestens eines Bildrahmens der aktuellen Fahrstraße zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; zum Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; zum Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und zum Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Klassifizierung einer Straße bereitgestellt, umfassend: ein Merkmalerfassungsmodul zum Verarbeiten mindestens eines Bildrahmens der aktuellen Straße zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; ein Clustering-Modul zum Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; ein Merkmalauswahlmodul zum Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und ein Klassifizierungsmodul zum Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.
Gemäß der Lösung der vorliegenden Erfindung können nicht nur offenbar unterschiedliche Straßen wie Autobahnen, Stadtstraßen und Landstraßen, sondern auch Straßen mit großen Ähnlichkeiten wie Autobahnen und Stadtschnellbahnen, unterschieden werden.
Figurenliste

1A zeigt ein Flussdiagramm des Trainings eines Straßenklassifizierungsmodells gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
1B zeigt ein schematisches Diagramm des Trainings eines Straßenklassifizierungsmodells gemäß einem anderen Ausführungsbeispiel der vorliegenden Erfindung;
2 zeigt ein schematisches Diagramm einer Vorrichtung zur Klassifizierung einer Straße gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 zeigt ein schematisches Diagramm einer Vorrichtung zur Klassifizierung einer Straße gemäß einem anderen Ausführungsbeispiel der vorliegenden Erfindung;
4 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung einer Straße gemäß einem Beispiel der vorliegenden Erfindung;
5 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung einer Straße gemäß einem anderen Beispiel der vorliegenden Erfindung.

Konkrete Ausführungsformen
Nachfolgend werden Ausgestaltungen der erfindungsgemäßen Ausführungsbeispiele anhand beiliegender Zeichnungen in den Ausführungsbeispielen der Erfindung vollständig und klar erläutert, wobei es sich versteht, dass die beschriebenen Ausführungsbeispiele lediglich zum Beschreiben der vorliegenden Erfindung dienen, ohne diese einzuschränken.
In der Straßenplanung werden in der Regel unterschiedliche Standards und Verkehrszeichen für unterschiedliche Straßen entworfen. Beispielsweise sind für städtische Straßen Schilder wie Straßenlaternen, Zebrastreifen, Parkverbot und Hupverbot erforderlich. Für Autobahnen werden in der Regel Schilder wie Raststätte, Tankstelle, Entfernung zur nächsten Ausfahrt oder Zielkilometer gezeigt. Herkömmlicherweise wird basierend auf neuronalen Netzen das maschinelle Lernen dieser Merkmale verwendet, um die Klasse der aktuellen Straße zu bestimmen, d.h. ob es sich um eine Autobahn, eine städtische Schnellstraße, eine Dorfstraße oder eine Vorstadtstraße handelt. In der Realität stimmen jedoch aufgrund der komplexen Straßenumgebung und der inkonsistenten oder unvollständigen Baunormen einige Merkmale oder Symbole, die in der Straßenumgebung erscheinen, nicht mit der Straße überein. Zum Beispiel erscheinen illegal fahrende Lastwagen auf städtischen Schnellstraßen, und einige Autobahn-spezifische Schilder erscheinen auf einigen Nicht-Autobahn-Straßen. Dies beeinträchtigt die gesamte Straßenerfassung. Darüber hinaus wird traditionellerweise ein einzelnes neuronales Netzwerkmodell verwendet, um Straßenmerkmale zu lernen und somit eine Straßenklassifizierung zu erreichen. Aufgrund der Komplexität der Straßen filtert dieses einzelne allgemeine Modell jedoch häufig wichtige Merkmale heraus, die für die aktuelle Straße nützlich sind. Daher kann durch die Verwendung eines einzelnen Modells keine genaue Straßenklassifizierung erreicht werden. Zu diesem Zweck schlägt die vorliegende Erfindung eine spezifische Fusionslösung zum Klassifizieren unterschiedlicher Arten von Straßen vor, bei der alle visuellen Merkmale Vis_F der aktuellen Straße berücksichtigt werden, und dynamisch wichtige Merkmale daraus ausgewählt werden und ein trainiertes dediziertes Straßenklassifizierungsmodell zur Klassifizierung von Straßen angewandt wird.
[Modelltraining]
1A zeigt ein Flussdiagramm zum Trainieren eines speziellen Straßenklassifizierungsmodells RCM gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gemäß einem Beispiel der vorliegenden Erfindung können Big-Data-Verarbeitungstechniken (wie maschinelle Lernverfahren) dazu verwendet werden, die visuellen Merkmale Vis_F der Straße zu trainieren und zu verarbeiten, um die Korrelation zwischen dem visuellen Merkmal Vis_F und der Straßenklassifizierung zu lernen. Diese Korrelation kann durch das Straßenklassifizierungsmodell RCM dargestellt werden. Hier ist es darauf hinzuweisen, dass das Straßenklassifizierungsmodell RCM nicht auf das neuronale Netzwerkmodell beschränkt ist, sondern auch ein beliebiges Big-Data-Modell für maschinelles Lernen sein kann, das durch andere Algorithmen oder mathematische Ausdrücke ausgedrückt wird, solange dieser Algorithmus oder diese mathematische Ausdruckstabelle die Korrelation zwischen der Straßenkategorie und dem visuellen Merkmal Vis_F der Straße widerspiegelt. Zusätzlich können gemäß der vorliegenden Erfindung verschiedene RCMs für verschiedene Arten von Straßen trainiert werden.
Zunächst werden in Schritt 101 für verschiedene Straßenarten Bildrahmen mit verschiedenen visuellen Merkmalen Vis_F der Straßen gesammelt, wobei jeder Bildrahmen eine reale Aufnahme einer Straßenart ist. Es ist nicht schwer zu verstehen, dass jeder Bildrahmen mehrere visuelle Bilder enthalten kann, die die Eigenschaften der Straße widerspiegeln. Beispielsweise können für eine Autobahn die visuellen Merkmale Vis_F in dem aufgenommenen Bildrahmen autobahnspezifische Verkehrszeichen wie für Lastwagen, Mautstation und Tankstellen enthalten. Für städtische Straßen können die visuellen Merkmale Vis_F in dem aufgenommenen Bildrahmen Verkehrszeichen wie für Straßenlaternen, Ampeln, Bürgersteige und Geschwindigkeitsbegrenzungsschilder enthalten. Aber offensichtlich gibt es für verschiedene Straßen auch die gleichen visuellen Merkmale wie Geschwindigkeitsbegrenzungsschilder. Hierbei wird angenommen, dass N Bildrahmen X₁,X₂,X₃,X₄, ... X_N für verschiedene Straßen gesammelt werden.
In Schritt 103 wird jeder in Schritt 101 erhaltene Bildrahmen X verarbeitet, um das in jedem Bildrahmen enthaltene visuelle Merkmal Vis_F zu identifizieren. Aufgrund der Unsicherheit von visuellen Merkmalen wie Verkehrszeichen, die in der Straße enthalten sind, wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung eine Erfassungsverarbeitung für eine voreingestellte Anzahl und Art von visuellen Merkmalen Vis_F an jedem Bildrahmen durchgeführt. Die Anzahl und Art der hier zu erfassenden visuellen Bilder können typische Verkehrszeichen oder -einrichtungen gemäß den geltenden Verkehrsgesetzen und Straßenbaustandards abdecken. Beispielsweise wird für alle Bildrahmen eine Erfassung für W visuelle Merkmale Vis_F wie Straßenlaternen, Bürgersteige, Lastwagen, Verkehrszeichen A, Verkehrszeichen B, Verkehrszeichen C ... Mautstation usw. ausgeführt. Hier kann die im Stand der Technik bekannte Merkmalerfassungstechnologie verwendet werden, um die visuellen Merkmale Vis_F zu identifizieren, die in dem Bild enthalten sein können. Beispielsweise kann für den ersten Bildrahmen X₁ ein Straßenlaternenerfassungsmodul verwendet werden, das auf der Grundlage von maschinellem Tiefenlernen trainiert wurde, um zu erkennen, ob Straßenlaternen in dem Bildrahmen X₁ enthalten sind. Als ein Beispiel kann das Erfassungsergebnis durch ein Konfidenzniveau charakterisiert sein, um die Wahrscheinlichkeit, dass auf dieser Straße eine Straßenlaterne erfasst wird, zu zeigen. Zusätzlich kann das Erfassungsergebnis auch die Relativposition der Straßenlaterne in dem Bildrahmen X₁ enthalten. Auf diese Weise kann durch Erfassungsmodul für Bürgersteige, Erfassungsmodul für Lastkraftwagen, Erfassungsmodul für Verkehrszeichen A, Erfassungsmodul für Verkehrszeichen B, Erfassungsmodul für Verkehrszeichen C ... Erfassungsmodul für Mautstation usw., die vorab durch Trainieren erhalten werden, jeweils die entsprechende Erfassung der visuellen Merkmale Vis_F auf demselben Bildrahmen X₁ durchgeführt werden, so dass für den Bildrahmen X₁ jedes visuelle Merkmal Vis_F erfasst wird. Somit werden die Daten für den Bildrahmen X₁ generiert, die im Folgenden als X₁ = (x₁ ⁽¹⁾, x₁ ⁽²⁾, x₁ ⁽³⁾ ... x₁ ^(W), y₁) bezeichnet werden. Hier repräsentiert x₁ ⁽ⁱ⁾ das i-te visuelle Merkmal Vis_F des Bildrahmens X₁, und hier repräsentiert y₁ die Straßenkategorie, die dem Bildrahmen X₁ entspricht, wie beispielsweise eine Autobahn.
Auf diese Weise werden die visuellen Merkmalsdaten jedes Bildrahmens generiert: dadurch, dass Straßenlaternenerfassungsmodul, Erfassungsmodul für Bürgersteige, Erfassungsmodul für Lastkraftwagen, Erfassungsmodul für Verkehrszeichen A, Erfassungsmodul für Verkehrszeichen B, Erfassungsmodul für Verkehrszeichen C ... Erfassungsmodul für Mautstation jeweils auf die verbleibenden N-1 Bildrahmen X₂ - X_N angewandt werden. $\begin{array}{l} X_{2} = (x_{2}^{(1)}, x_{2}^{(2)}, x_{2}^{(3)} \dots x_{2}^{(W)}, y_{2}), \\ \dots \\ X_{N} = (x_{N}^{(1)}, x_{N}^{(2)}, x_{N}^{(3)} \dots x_{N}^{(W)}, y_{N}), \end{array}$
Nach dem Generieren der Probendaten {X_1, X₂, ...X_N} wird in Schritt 105 ein Clustering für diese Datenproben unter Verwendung eines Clustering-Algorithmus durchgeführt, um die Datenproben X zu bestimmen, die in denselben Cluster unterteilt werden können. Da gemäß der vorliegenden Erfindung die Anzahl der Straßenkategorien im Voraus bekannt ist, kann hier die Anzahl der gebildeten Cluster festgelegt werden. Beispielsweise repräsentieren y₁, y₂, ... y_N jeweils eine von Autobahnen, städtischen Schnellstraßen, gewöhnlichen städtischen Straßen, Vorstadtstraßen und Landstraßen. Daher kann die Anzahl der Cluster hier mit 5 festgelegt werden. Das Ziel des Clustering der Datenproben besteht darin: in Abhängigkeit von der Ähnlichkeit zwischen den Proben werden die Proben in verschiedene Cluster unterteilt, um zu bestimmen, welche Proben für die Kategorienprognose der entsprechenden Straßen im Cluster besser geeignet sind, und die Proben, die für die Prognose nicht geeignet sind, sollten auch eliminiert werden.
Um ein Probenclustering durchzuführen, wird zuerst eine visuelle Merkmalsmatrix erstellt, die die visuellen Merkmale Vis_F jeder Straße und die Straßenkategorienetikette umfasst, wobei die visuellen Merkmale Vis_F durch ihren Konfidenzwert dargestellt werden. Die folgende Tabelle 1 zeigt die mit Datenproben aufgebaute Matrix (als Beispiel zeigt die Zeichnung nur die Konfidenzniveaudaten von Straßenlaternen in Bildrahmen (X₁, X₂, X₃, X₄...X_N)):
Aus dieser Matrix ist erkennbar, dass jede Zeile einen Bildrahmen darstellt. Der Wert jedes Elements in der Matrix ist das Konfidenzniveau des im Bildrahmen erfassten visuellen Merkmals, und die letzte Etikettenspalte zeigt die dem Bildrahmen entsprechende Straßenkategorie. Gleichzeitig repräsentiert jede Spalte der Matrix das Konfidenzniveau des Auftretens eines bestimmten visuellen Merkmals in jedem Bildrahmen. Beispielsweise beträgt für das Element der Straßenlaterne die Wahrscheinlichkeit seines Auftretens in dem 1-N-ten Bildrahmen jeweils 0.91, 0.09, 0.89, 0.89, ..., 0.18_o
Gemäß der vorliegenden Erfindung wird die Clustering-Verarbeitung basierend auf den visuellen Merkmalelementen in der Probenmatrix, also dem Konfidenzniveau, durchgeführt, wie den visuellen Merkmalelementen, die durch das gestrichelte Kästchen in der Figur angegeben sind. Hierbei ist zu beachten, dass bei der Clustering-Verarbeitung keine Etiketten einbezogen sind, um unüberwachtes Lernen zu erreichen. Jeder im Stand der Technik bekannte Clustering-Algorithmus, wie z. B. der k-Means-Algorithmus, der Mean-Shift-Algorithmus, der dichtebasierte räumliche Clustering (DBSCAN) für Rauschanwendungen, der EM-Algorithmus (Expectation Maximization) usw., kann verwendet werden, um dies zu erreichen. Als Beispiel für die Verwendung des k-Means-Algorithmus kann, da die Anzahl der Straßenklassifizierungen im Voraus bestimmt werden kann, sie beispielsweise auf 5 eingestellt werden. Daher wird bei der Implementierung des k-Means-Algorithmus das Cluster-Zentrum CP schließlich basierend auf dem euklidischen Abstand zwischen der Datenprobe und dem hypothetischen Mittelpunkt bestimmt, wodurch K (= 5) - Cluster erzeugt werden. Für jeden bestimmten Cluster liegt der euklidische Abstand D von der im Cluster befindlichen Probe zum Mittelpunkt CP innerhalb eines voreingestellten Radius R. In diesem Beispiel werden durch Clustering des Konfidenzniveaus visueller Merkmalselemente in Tabelle 1 fünf Cluster C1 bis C5 erhalten, wie in der folgenden Tabelle 2 schematisch mit drei Rahmen jeweils mit gepunkteten, gestrichelten und durchgezogenen Linien, drei Cluster C1 - C3 davon gezeigt.
Hierbei umfasst der in dem gepunkteten Rahmen gezeigte Cluster C1 Elemente wie Proben X_1, X_N usw. Der durch den gestrichelten Rahmen gezeigte Cluster C2 umfasst Elemente wie Proben X₂ und X₃, und der durch den durchgezogenen Rahmen gezeigte Cluster C3 umfasst Elemente wie Probe X₄. Hierbei ist zu beachten, dass die Etiketten einiger oder bestimmter Datenproben möglicherweise inkonsistent sind, so dass sie nach dem Clustering korrigiert oder entfernt werden können. Beispielsweise können die gesammelten Daten X_m, die ursprünglich zu nationalen Autobahnen gehören, nach dem Clustering in Landstraßen klassifiziert werden.
Nachdem die Cluster C1 - C5 in Schritt 105 bestimmt wurden, werden die angewendeten Algorithmusinformationen und Clusterbedingungen jedes Clusters gespeichert. Beispielsweise bei K-means werden der zum Clustering verwendete K-means-Algorithmus, die Mittelpunkte CP_1, CP_2, CP_3, CP_4, CP_5 jedes Clusters C1 - C5 und der euklidische Abstandsschwellenwert R1, R2, R3, R4, R5 zur Bestimmung des entsprechenden Clusters jeweils in der Speichereinheit gespeichert und für die nachfolgende Straßenklassifizierung verwendet.
In dem vorstehenden Ausführungsbeispiel wird der K-means-Algorithmus eingesetzt und die Anzahl der zu clusternden Cluster wird im Voraus festgelegt, aber die vorliegende Erfindung ist nicht darauf beschränkt. In einem anderen Ausführungsbeispiel der vorliegenden Erfindung kann auch ein Algorithmus verwendet werden, der die Anzahl von Clustern nicht spezifiziert, beispielsweise wird der Mean-Shift-Algorithmus verwendet. Im Vergleich zum K-means-Clustering-Algorithmus muss der Mean-Shift-Algorithmus nicht die Anzahl der Cluster auswählen. Dies liegt daran, dass bei Mean-Shift-Algorithmus automatisch gefunden wird, in welche Kategorien die aktuelle Datenprobe unterteilt werden kann. Mit diesem Algorithmus können die Proben mit großen Abweichungen herausgefiltert und nur die Interessencluster ausgewählt werden.
In Schritt 107 werden in jedem Cluster die M Merkmale aus den visuellen Merkmalen (x⁽¹⁾, x⁽²⁾, x⁽³⁾ ... x^(W) ausgewählt, die für das Clusteretikett, also die Straßenkategorie, am relevantesten sind, wobei M ≤ W ist. Man kann davon ausgehen, dass diese M Merkmale die Kategorie der aufgenommenen Straße bestimmen, und diese M visuellen Merkmale Vis_F in der vorliegenden Offenbarung auch als „Straßenattributmerkmale Attr_F“ bezeichnet werden. Gemäß einem Beispiel der vorliegenden Erfindung können unter Verwendung eines Algorithmus mittels des Spermann'schen Korrelationskoeffizienten die relevantesten Top-M-Merkmale unter jedem Etikett ausgewählt werden. Der Spearman-Korrelationskoeffizient wird häufig in Statistiken verwendet, um die Probenkorrelation zu bestimmen. Hierbei wird der Rang (Ranking) der Elemente in den beiden Sätzen in ihren jeweiligen Sätzen verwendet, um die Korrelation zwischen ihnen zu berechnen und somit die Daten auszuwerten. Als Anwendungsbeispiel verwendet die vorliegende Erfindung die folgende Verfahrensweise, um M Merkmale zu bestimmen:
Schritt 1: Berechnen des Spermann'schen Rangkorrelationskoeffizienten p mit der folgenden Formel: $ρ = \frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sqrt{\sum_{i} {(x_{i} - \bar{x})}^{2} \sum_{i} {(y_{i} - \bar{y})}^{2}}}$
In der Formel repräsentiert x jedes der W visuellen Merkmale Vis_F in jeder Probe und y repräsentiert den Etikettenwert der Datenprobe. Beispielsweise kann es sich um eine eindeutige ID-Nummer handeln, die jedem Cluster zugewiesen wird. Wenn in diesem Beispiel jedes Cluster einer Straßenklassifizierung entspricht, wird die obige ID-Nummer offensichtlich auch als Straßennummer angesehen, oder andere Merkmalwerte der Straße können auch als Etikettenwert der Stichprobe verwendet werden. Aus dieser Formel ist es zu erkennen, dass in diesem Beispiel der Spermann'sche Rangkorrelationskoeffizient verwendet wird, um die Korrelation zwischen dem jeweiligen visuellen Merkmal x und dem Etikett y zu bestimmen, d.h. den Beitragsgrad der jeweiligen visuellen Merkmale x zum Etikett y darzustellen.
Schritt 2: Sortieren der jeweiligen visuellen Merkmale x nach ihrem Korrelationswert p mit dem Etikett y. In diesem Beispiel werden die visuellen Merkmale x in absteigender Reihenfolge nach dem Beitragsgrad p des jeweiligen visuellen Merkmals sortiert und daraus werden die obersten M visuellen Merkmale als Attributmerkmal Attr_F ausgewählt, das einen wichtigen Einfluss auf das Etikett y, also die Straßenklassifizierung, ausübt. Hierbei ist darauf hinzuweisen, dass für jedes Cluster C die festgelegte Anzahl M der „Straßenattributmerkmale Attr F“ voneinander unterschiedlich oder identisch sein kann, was von den tatsächlichen Anforderungen abhängt. Beispielsweise kann die Hälfte der Anzahl der visuellen Merkmale in jedem Cluster als AttributMerkmale ausgewählt werden. Zur Vereinfachung der Erklärung wird es nur als Beispiel angenommen, dass für das Cluster C1 die (1), (2), (5), ... (j) -ten visuellen Merkmale Vis_F (M insgesamt) als Straßenattributmerkmal Attr_F₁ festgelegt werden, d.h. Attr_F₁ = (x⁽¹⁾, x⁽²⁾, x⁽⁵⁾ ... x^(j)).
Für andere Cluster C2 - C5 wird dasselbe oben genannte Verfahren ausgeführt, um das Straßenattributmerkmal Attr_F unter jedem Cluster zu erhalten. Für das Cluster C2 werden beispielsweise (1), (3), (8), ... (k) visuelle Merkmale Vis_F als Straßenattributmerkmale festgelegt, d.h. Attr_F₂ = x⁽¹⁾, x⁽³⁾, x⁽⁸⁾ ... x^(k)).
Anschließend wird in Schritt 109 basierend auf dem für jedes Cluster bestimmten Straßenattributmerkmal Attr_F eine Trainingsprobe zum Trainieren eines an das Cluster angepassten Straßenklassifizierungsmodells RCM gebildet. Beispielsweise für Cluster C1: umfassend Proben (X_1, X₃, X₆, X₇, X₁₂). Die für Cluster C1 verwendeten Trainingsproben sind wie folgt aufgebaut: $X_{1} = (Attr_F_{1}, y_{1}) = (x_{1}^{(1)}, x_{1}^{(2)}, x_{1}^{(5)} \dots x_{1}^{(j)}, y_{1})$
$X_{3} = (Attr_F_{3}, y_{3}) = (x_{3}^{(1)}, x_{3}^{(2)}, x_{3}^{(5)} \dots x_{3}^{(j)}, y_{3})$
$X_{6} = (Attr_F_{6}, y_{6}) = (x_{6}^{(1)}, x_{6}^{(2)}, x_{6}^{(5)} \dots x_{6}^{(j)}, y_{6})$
$X_{7} = (Attr_F_{7}, y_{7}) = (x_{7}^{(1)}, x_{7}^{(2)}, x_{7}^{(5)} \dots x_{7}^{(j)}, y_{7})$
$X_{12} = (Attr_F_{12}, y_{12}) = (x_{12}^{(1)}, x_{12}^{(2)}, x_{12}^{(5)} \dots x_{12}^{(j)}, y_{12})$
In obigen Proben sind die Etiketten y₁, y₃, y₆, y₇, y₁₂ identisch und beziehen sich alle auf dieselbe Straßenkategorie. Anschließend wird mittels der Trainingsprobe (X_1, X₃, X₆, X₇, X₁₂) ein neuronales Netzwerk trainiert, so dass ein für das Cluster C1 geeignetes Straßenklassifizierungsmodell RCM1 erhalten wird.
Gemäß dem Ausführungsbeispiel der vorliegenden Erfindung wird in Schritt 103 beim Identifizieren des visuellen Merkmals Vis_F in dem Bildrahmen nicht nur das Konfidenzniveau U des entsprechenden visuellen Merkmals Vis_F angegeben, sondern auch die Relativposition L dieses visuellen Merkmals Vis_F in dem Bildrahmen X sollte angegeben werden. Beispielsweise kann nach dem Bestimmen der Mittellinie der Straße oder der Kante der äußersten Straße, die in dem Bildrahmen enthalten ist, die Relativposition L hier der Abstand jedes visuellen Merkmals Vis_F relativ zur Mittellinie oder der Kante sein. Beispielsweise kann für den identifizierten Grünstreifen oder das identifizierte Gebäude seine Relativposition L der Abstand zu der äußersten Fahrspurlinie der am weitesten rechts liegenden Fahrspur sein. Daher umfasst bei der Erstellung der Probe zum Trainieren des Straßenklassifizierungsmodells RCM1 jedes Attributmerkmal x⁽ⁿ⁾ hier nicht nur das Konfidenzniveau, sondern auch die Relativpositionsinformationen, d.h. X⁽ⁿ⁾ = f(U_n, L_n). Hierbei repräsentiert U_n das Konfidenzniveau des erfassten visuellen Merkmals Vis_Fx⁽ⁿ⁾, und L_n repräsentiert die Relativposition des erfassten visuellen Merkmals Vis_Fx⁽ⁿ⁾, und f repräsentiert die kombinierte Verarbeitungsfunktion von U_n und L_n. Nachdem die Funktion f transformiert wurde, wird sie dem neuronalen Netzwerk bereitgestellt, um das Straßenklassifizierungsmodell RCM1 zu trainieren. Es ist nicht schwer zu verstehen, es kann auch U_n und L_n direkt dem neuronalen Netzwerk bereitgestellt werden.
Auf diese Weise werden für andere Cluster die Attributmerkmale Attr_F und Etiketten in jedem Cluster verwendet, um die entsprechenden Straßenklassifizierungsmodelle RCM2 - RCM5 zu trainieren. Beispielsweise für Cluster C2: Angenommen, er umfasst Proben (X₂, X₃, X₆, X₈, X₁₁). Dann werden die Trainingsproben des Clusters C2 wie folgt aufgebaut: $X_{2} = (Attr_F_{2}, y_{2}) = (x_{2}^{(1)}, x_{2}^{(3)}, x_{2}^{(8)} \dots x_{2}^{(k)}, y_{2})$
$X_{3} = (Attr_F_{3}, y_{3}) = (x_{3}^{(1)}, x_{3}^{(3)}, x_{3}^{(8)} \dots x_{3}^{(k)}, y_{3})$
$X_{6} = (Attr_F_{6}, y_{6}) = (x_{6}^{(1)}, x_{6}^{(3)}, x_{6}^{(8)} \dots x_{6}^{(k)}, y_{6})$
$X_{8} = (Attr_F_{8}, y_{8}) = (x_{8}^{(1)}, x_{8}^{(3)}, x_{8}^{(8)} \dots x_{8}^{(k)}, y_{8})$
$X_{11} = (Attr_F_{11}, y_{11}) = (x_{11}^{(1)}, x_{11}^{(3)}, x_{11}^{(8)} \dots x_{11}^{(k)}, y_{11})$
Wie oben beschrieben, ist zu diesem Zeitpunkt das jeweilige Element x in der Trainingsprobe eine Funktion des Konfidenzniveaus U und der Relativposition L des entsprechenden visuellen Merkmals Vis_F.
Anschließend werden die Trainingsproben (X₂, X₃, X₆, X₈, X₁₁) verwendet, um ein neuronales Netzwerk separat zu trainieren und somit das für das Cluster C2 geeignete Straßenklassifizierungsmodell RCM2 zu erhalten. Auf diese Weise werden für die Cluster C1 - C5 geeignete Straßenklassifizierungsmodelle RCM2 - RCM5 generiert. Nach dem Training der Straßenklassifizierungsmodelle RCM1-RCM5 können diese zur Straßenklassifizierung in der Speichereinheit der Vorrichtung zur Klassifizierung einer Straße gespeichert werden.
In dem Beispiel der vorliegenden Erfindung kann das neuronale Netzwerk, das zum Lernen des Attributmerkmals Attr_F der Straße verwendet wird, von jeder im Stand der Technik bekannten neuronalen Netzwerkmaschine realisiert werden. Beispielsweise können das Faltungs-neuronale Netzwerk CNN und das wiederkehrende neuronale Netzwerk RNN verwendet werden, um aus diesen Attributmerkmalen Attr_F die Korrelationsmerkmale mit Straßen zu extrahieren. Wie die Struktur des neuronalen Netzwerks CNN, RNN und jeder Einheit in jedem RNN zu gestalten ist, kann der Durchschnittsmann auf diesem Gebiet anhand der tatsächlichen Situation selbst bestimmen. Beispielsweise nimmt in einem bevorzugteren Ausführungsbeispiel das RNN ein bidirektionales wiederkehrendes neuronales Netzwerk (BRNN) an, und jeder Knoten kann mit verschiedenen Einheiten, wie beispielsweise einem neuronalen Netzwerk mit Langzeit und Kurzzeitgedächtnis (LSTM) oder einem Gated wiederkehrenden neuronalen Netzwerk (GRU), realisiert werden. Zusätzlich kann in einem anderen Ausführungsbeispiel der vorliegenden Erfindung das neuronale Netzwerk zum Lernen des Straßenattributmerkmals Attr_F auch durch ein Kaskadennetzwerk verschiedener Arten von neuronalen Netzwerken realisiert werden.
In dem vorstehenden Ausführungsbeispiel der vorliegenden Erfindung wird beim Generieren der Cluster von Proben in Schritt 105 ein einzelner Algorithmus wie K-means-, Mean-shift-, DBSCAN-Algorithmus usw. verwendet, um die Proben zu clustern. In einem anderen Ausführungsbeispiel der vorliegenden Erfindung können jedoch auch mehrere Clusteranalysen gleichzeitig an derselben Probenbibliothek durchgeführt werden. Darüber hinaus können beim Training des entsprechenden Straßenklassifizierungsmodells verschiedene Klassifizierungsverfahren für das Training verwendet werden. 1B zeigt ein Trainingsverfahren gemäß einem anderen Ausführungsbeispiel der vorliegenden Erfindung.
Wie in 1B gezeigt, wird wie in dem vorstehenden Ausführungsbeispiel nach dem Erhalten der in jedem Bildrahmen in Schritt 103 enthaltenen visuellen Merkmale Vis_F eine Clustering-Verarbeitung an dem jeweiligen Bildrahmen durchgeführt, der die visuellen Merkmale Vis_F in Schritt 105 umfasst. Im Gegensatz zu dem in 1A gezeigten Ausführungsbeispiel werden hier jedoch verschiedene Clustering-Verfahren verwendet, um eine Clustering-Verarbeitung für jeden Bildrahmen basierend auf dem in Schritt 103 gleichzeitig erhaltenen visuellen Merkmal Vis_F durchzuführen. Als Beispiel wird es in 1 B gezeigt, dass das Clustering unter Verwendung von K-means-, DBSCAN und EM-Algorithmen (Maximum Expectation) durchgeführt wurde. Daher gibt in Schritt 105 jedes Clustering-Verfahren ihre eigenen Clustering-Ergebnisse aus, die hier angenommen immer noch fünf Straßenklassifikationen entsprechen. 1 B zeigt, dass fünf Cluster jeweils durch K-means-, DBSCAN und EM-Algorithmen erzeugt werden. Hierbei werden die durch den K-means-Algorithmus erhaltenen Cluster als C_K1 - C_K5 bezeichnet. Der durch den DBSCAN-Algorithmus erhaltene Cluster wird als C_DB1 - C_DB5 bezeichnet, und der durch den EM-Algorithmus erhaltene Cluster wird als C_EM1 - C_EM5 bezeichnet.
Ähnlich wie in dem vorstehenden Ausführungsbeispiel werden nachfolgend in Schritt 107 für jeden von jedem Clustering-Algorithmus generierten Cluster die M Merkmale aus den visuellen Merkmalen (x⁽¹⁾, x⁽²⁾, x⁽³⁾ ... x^(W) ausgewählt, die für das Clusteretikett, also die Straßenkategorie, am relevantesten sind. In dem vorliegenden Beispiel werden, wie in 1B gezeigt, in Schritt 107 unter Verwendung beispielsweise des Spermann'schen Rangkorrelationskoeffizientenalgorithmus die Attributmerkmale C_K1_Attr_F - C_K5_Attr_F für die Cluster C_K1 - C_K5 bestimmt, und die Attributmerkmale C_DB1_Attr_F - C_DB5_Attr_F für die Cluster C_DB1 - C_DB5 generiert, und die Attributmerkmale C_EM1_Attr_F - C_EM5_Attr_F werden für die Cluster C_EM1 - C_EM5 generiert.

Anschließend werden in Schritt 109 mit verschiedenen Klassifizierungsverfahren das Straßenklassifizierungsmodell des entsprechenden Clusters basierend auf den in Schritt 107 bestimmten Attributmerkmalen trainiert. Wie in der Figur gezeigt, sind als Beispiel vier Klassifizierungsverfahren, nämlich der Algorithmus für den nächsten Nachbarn (K-NN), der AdaBoost-Kaskadenklassifizierer (AD), die Support Vector Machine (SVM) und der naive Bayes (NB) -Algorithmus, gezeigt. Selbstverständlich ist der Klassifizierungsalgorithmus, der in der vorliegenden Erfindung zur Verfügung steht, nicht darauf beschränkt, und andere im Stand der Technik bekannte Algorithmen können ebenfalls verwendet werden. In Schritt 109 werden für alle in Schritt 105 erzeugten Cluster aufgrund von Klassifizierungsalgorithmen k-NN, AD, SVM, NB die entsprechenden Klassifizierungsmodelle k-NN, AD, SVM, NB basierend auf den jeweiligen in Schritt 107 bestimmten Attributmerkmalen trainiert. Die folgende Tabelle 3 zeigt das Straßenklassifizierungsmodell RCM für die jeweiligen Cluster. Tabelle 3: Straßenklassifizierungsmodell RCM unter Multicluster-Klassifizierung

		k-NN	AD	SVM	NB
K-means	C K1	RCM^K ₁₁	RCM^K ₁₂	RCM^K ₁₃	RCM^K ₁₄
	C K2	RCM^K ₂₁	RCM^K ₂₂	RCM^K ₂₃	RCM^K ₂₄
	C K3	RCM^K ₃₁	RCM^K ₃₂	RCM^K ₃₃	RCM^K ₃₄
	C K4	RCM^K ₄₁	RCM^K ₄₂	RCM^K ₄₃	RCM^K ₄₄
	C K5	RCM^K ₅₁	RCM^K ₅₂	RCM^K ₅₃	RCM^K ₅₄
DBSCAN	C_DB1	RCM^DB ₁₁	RCM^DB ₁₂	RCM^DB ₁₃	RCM^DB ₁₄
	C_DB2	RCM^DB ₂₁	RCM^DB ₂₂	RCM^DB ₂₃	RCM^DB ₂₄
	C_DB3	RCM^DB ₃₁	RCM^DB ₃₂	RCM^DB ₃₃	RCM^DB ₃₄
	C_DB4	RCM^DB ₄₁	RCM^DB ₄₂	RCM^DB ₄₃	RCM^DB ₄₄
	C_DB5	RCM^DB ₅₁	RCM^DB ₅₂	RCM^DB ₅₃	RCM^DB ₅₄
EM	C_EM1	RCM^EM ₁₁	RCM^EM ₁₂	RCM^EM ₁₃	RCM^EM ₁₄
	C_EM2	RCM^EM ₂₁	RCM^EM ₂₂	RCM^EM ₂₃	RCM^EM ₂₄
	C_EM3	RCM^EM ₃₁	RCM^EM ₃₂	RCM^EM ₃₃	RCM^EM ₃₄
	C_EM4	RCM^EM ₄₁	RCM^EM ₄₂	RCM^EM ₄₃	RCM^EM ₄₄
	C_EM5	RCM^EM ₅₁	RCM^EM ₅₂	RCM^EM ₅₃	RCM^EM ₅₄

Wie in Tabelle 3 gezeigt, werden für jeden Cluster, der unter jedem Clustering-Algorithmus von K-means, DBSCAN und EM erhalten wird, Straßenklassifizierungsmodelle trainiert, die den vier Klassifizierungsalgorithmen entsprechen. Beispielsweise wird für das Cluster C_K1, der unter dem K-means-Algorithmus erhalten wird, das Klassifizierungsmodell RCM^K ₁₁ gemäß dem K-means-Algorithmus trainiert, das Klassifizierungsmodell RCM^K ₁₂ wird gemäß dem AD-Algorithmus trainiert, das Klassifizierungsmodell RCM^K ₁₃ wird gemäß dem SVM-Algorithmus trainiert und das Klassifizierungsmodell RCM^K ₁₄ wird gemäß dem BM-Algorithmus trainiert.
[Straßenklassifizierung]
Unter Verwendung des vorab trainierten Straßenklassifizierungsmodells und entsprechender Clusterinformationen kann die Vorrichtung zur Klassifizierung einer Straße gemäß der vorliegenden Erfindung verwendet werden, um die Klassifizierung der aktuellen Fahrstraße zu prognostizieren.
2 zeigt ein schematisches Diagramm einer Vorrichtung zur Klassifizierung einer Straße gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Wie in der Figur gezeigt, umfasst die Vorrichtung zur Klassifizierung einer Straße 200 eine Speichereinheit 201, eine Bildaufnahmeeinheit 202, eine Elementidentifizierungseinheit 203, eine Anpassungseinheit 204 und eine Klassifizierungseinheit 205. In der Speichereinheit 201 werden die durch Training erhaltenen ClusterInformationen und ein dementsprechendes Straßenklassifizierungsmodell RCM gespeichert. Als Beispiel eines einzelnen Clustering und Klassifizierungsverfahrens werden in der Speichereinheit 201 beispielsweise auch die Mittelpunkte CP_1, CP_2, CP_3, CP_4, CP_5 der Cluster C1 - C5 und die entsprechenden Schwellenradiusinformationen R1 - R5 sowie die den Clustern C1 - C5 entsprechenden Straßenklassifizierungsmodelle RCM1 - RCM5 gespeichert. Die Straßenklassifizierungsmodelle RCM1 - RCM5 werden hier durch Training gemäß dem in 1A gezeigten Beispiel erhalten.
Die Bildaufnahmeeinheit 202 wird dazu verwendet, ein Umgebungsbild der aktuellen Fahrstraße aufzunehmen, um einen oder mehrere Bildrahmen X zu erhalten, die mehrere visuelle Merkmale Vis_F enthalten. Hier können die visuellen Merkmale Vis_F alle Merkmale sein, die sich auf die aktuelle Fahrstraße beziehen, wie Straßenlaternen, Ampeln, Geschwindigkeitsbegrenzungsschilder, Ausgänge, Tankstellen und andere Verkehrsschilder, und können auch zusätzliche Einrichtungen wie Bürgersteige, Isolationszone oder Grünstreifen, oder sogar die eigenen Merkmale der Straße, wie z. B. Fahrspurtrennlinien, umfassen.
Die Merkmalidentifizierungseinheit 203 verarbeitet den Bildrahmen X, um die jeweiligen in dem Bildrahmen enthaltenen visuellen Merkmale Vis_F zu identifizieren. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird eine voreingestellte Anzahl W und Art der visuellen Merkmale Vis_F-Erfassungsverarbeitung an Bildrahmen durchgeführt, wobei die Anzahl und Art der hier zu erfassenden visuellen Bilder typische Verkehrszeichen oder - einrichtungen gemäß den geltenden Verkehrsgesetzen und Straßenbaustandards abdecken kann. Beispielsweise wird für Bildrahmen eine Erfassung für W visuelle Merkmale Vis_F wie Straßenlaternen, Bürgersteige, Lastwagen, Verkehrszeichen A, Verkehrszeichen B, Verkehrszeichen C ... Mautstation usw. ausgeführt. Hier kann mit der im Stand der Technik vorhandenen Merkmalerfassungstechnologie erfasst werden, dass in dem Bild die visuellen Merkmale Vis_F enthalten sein können. Beispielsweise kann man die im Stand der Technik üblicherweise, durch Training unter Verwendung von Faltungs-neuronalen Netzen erhaltenen Merkmalsmodelle verwenden, um Straßenmerkmale zu identifizieren. Beispielsweise kann für den Bildrahmen X ein Straßenlaternenerfassungsmodul verwendet werden, das auf der Grundlage von maschinellem Tiefenlernen trainiert wurde, um zu erkennen, ob Straßenlaternen im Bildrahmen X enthalten sind. Das Erfassungsergebnis kann durch ein Konfidenzniveau ausgedrückt werden, um die Wahrscheinlichkeit der Erfassung der Straßenlaternen, auf der Straße darzustellen. Gemäß dem Ausführungsbeispiel der vorliegenden Erfindung kann beim Erfassen der jeweiligen visuellen Merkmale Vis_F die Relativpositionsinformation der jeweiligen in dem Bildrahmen enthaltenen, visuellen Merkmale Vis_F weiter bestimmt werden.
Auf diese Weise können das Erfassungsmodul für Bürgersteige, das Erfassungsmodul für Lastkraftwagen, das Erfassungsmodul für Verkehrszeichen A, das Erfassungsmodul für Verkehrszeichen B, das Erfassungsmodul für Verkehrszeichen C ... das Erfassungsmodul für Mautstation usw., die vorab trainiert wurden, verwendet werden, um eine entsprechende Erfassung von visuellen Merkmalen Vis_F am Bildrahmen X durchzuführen. Daher werden für den Bildrahmen X die Konfidenzdaten U und die Relativpositionsdaten L der jeweiligen erfassten visuellen Merkmale Vis_F erhalten, die im Folgenden als X = (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)) bezeichnet werden, wobei x⁽ⁱ⁾ das i-te visuelle Merkmal Vis_F des Bildrahmens X darstellt.
Die Anpassungseinheit 204 passt die W visuellen Merkmale Vis_F des Bildrahmens X an jeden der voreingestellten Anzahlen von vorbestimmten, in dem Speicher 101 gespeicherten Clustern C1 bis C5 an, um zu bestimmen, zu welchem Cluster C1 - C5 der Bildrahmen X gehört. In diesem Beispiel berechnet im Fall der Verwendung des K-means-Algorithmus und der basierend auf dem Konfidenzniveau der visuellen Merkmale Vis_F trainierten Cluster C1 - C5 die Anpassungseinheit 204 anhand von dem Konfidenzniveau der jeweiligen visuellen Merkmale Vis_F in dem Bildrahmen X nacheinander den relativen Abstand D zwischen X und den Mittelpunkten CP_1, CP_2, CP_3, CP_4, CP_5 und vergleicht ihn mit dem euklidischen Abstandsschwellenwert R1, R2, R3, R4, R5 jedes Clusters, und der Cluster, dessen relativer Abstand D kleiner als der entsprechende Schwellenwert R ist, wird als Cluster festgelegt, zu dem der Bildrahmen X gehört. Unter der Annahme, dass beispielsweise der relative Abstand D2 zwischen X und CP_2 kleiner als R2 ist, kann bestimmt werden, dass der aktuelle Bildrahmen X zum Cluster C2 gehört.
Die Klassifizierungseinheit 205 kann es aus den in der Speichereinheit 101 gespeicherten Clusterinformationen basierend auf dem Cluster C2, zu dem der Bildrahmen X gehört, bestimmen, dass die Straßenattributmerkmale Attr_F2 des Clusters C2 x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k), insgesamt M Attributmerkmale sind. Daher werden die visuellen Merkmale (x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k)) als Attributmerkmal Attr_F₂ aus den visuellen Merkmalen (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)) des aktuellen Bildrahmens X ausgewählt und für das mit dem Cluster C2 korrespondierende Straßenklassifizierungsmodell RCM2 bereitgestellt. Das Straßenklassifizierungsmodell RCM2 verarbeitet das Attributmerkmal Attr_F₂ und generiert die Klassifizierungsanweisung Road_ID der entsprechenden Straße, um die Prognose der aktuellen Straße zu realisieren. Wie oben erwähnt, umfasst das Attributmerkmal Attr_F₂, das für das Straßenklassifizierungsmodell RCM2 hier bereitgestellt wird, nicht nur das Konfidenzniveau, sondern auch die Relativpositionsinformationen, d.h. jedes Element x in dem Attributmerkmal umfasst das Konfidenzniveau und die Relativpositionsinformationen. Somit rechnet die Klassifizierungseinheit 205 die Straßenklassifizierung aus, indem sie das angepasste Straßenklassifizierungsmodell RCM2 aufruft und die Straßenattributmerkmale Attr_F₂ (x⁽¹⁾, x⁽³⁾, x⁽⁸⁾ ... x^(k)) verarbeitet.
Es sollte hier darauf hingewiesen werden, dass in dem obigen Ausführungsbeispiel die Vorrichtung zur Klassifizierung einer Straße nur für einen Bildrahmen vorhersagt. In einem anderen Ausführungsbeispiel der vorliegenden Erfindung kann auch eine Reihe von kontinuierlich aufgenommenen Bildrahmen verarbeitet werden, und der aktuelle Straßentyp kann umfassend beurteilt werden, indem die Prognoseergebnisse für jeden Rahmen der Reihe von Bildrahmen synthetisiert werden.
In einem anderen Ausführungsbeispiel der vorliegenden Erfindung kann die Vorrichtung zur Klassifizierung einer Straße auch das in Verbindung mit 1B trainierte Multicluster-Klassifizierungsmodell verwenden, um eine Straßenklassifizierung durchzuführen. Hierbei werden in dem Speicher 101 der Vorrichtung zur Klassifizierung einer Straße beispielsweise 15 in Tabelle 3 gezeigte Cluster und die entsprechenden 60 Straßenklassifizierungsmodelle RCM gespeichert. Selbstverständlich können die Clusterinformationen und das Straßenklassifizierungsmodell auch am Fernterminal gespeichert werden, damit die Straßenklassifizierungsausrüstung aufgerufen werden kann.
Wie oben erwähnt, nachdem die Elementidentifizierungseinheit 203 die im Bildrahmen enthaltenen visuellen Merkmale Vis_F identifiziert hat (d.h. X = (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)), vergleicht die Anpassungseinheit 204 die W visuellen Merkmale Vis_F des Bildrahmens X mit jedem der voreingestellten Anzahlen von vorbestimmten, in dem Speicher 101 gespeicherten Clustern C_K1 - C_K5, C_DB1 - C_DB5, C_EM1 - C_EM5, um zu bestimmen, zu welchem Cluster C1-C5 der Bildrahmen X gehört. Als Beispiel wird hier angenommen, dass durch Vergleich der aktuelle Bildrahmen X unter dem K-means-Algorithmus zu C_K2 gehört, der aktuelle Bildrahmen X unter dem DBSCAN-Algorithmus zu C_DB3 gehört und der aktuelle Bildrahmen X unter dem EM-Algorithmus zu C_EM5 gehört.
Die Klassifizierungseinheit 205 kann aus der Speichereinheit 101 basierend auf dem Cluster C_K2, zu dem der Bildrahmen X gehört, bestimmen, dass, die Straßenattributmerkmale K_Attr_F₂ des Clusters C_K2 x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k), insgesamt M Attributmerkmale sind. Daher werden die visuellen Merkmale (x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k)) als Attributmerkmal K_Attr_F₂ aus den visuellen Merkmalen Vis_F = (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)) des aktuellen Bildrahmens X ausgewählt und für das mit dem K-NN-Algorithmus trainierte, mit dem Cluster C_K2 korrespondierende Straßenklassifizierungsmodell RCM^K ₂₁ bereitgestellt, um die Prognose der aktuellen Straße zu realisieren. Wie oben erwähnt, umfasst das Attributmerkmal K_Attr_F, das für das Straßenklassifizierungsmodell RCM^K ₂₁ hier bereitgestellt wird, nicht nur das Konfidenzniveau, sondern auch die das visuelle Merkmal x umfassenden Relativpositionsinformationen. Hier wird angenommen, dass die nach der Verarbeitung durch das Straßenklassifizierungsmodell RCM^K ₂₁ ausgegebene Straßenklassifizierungsanweisung Road_ID₁ = „Autobahn“ ist.
In ähnlicher Weise stellt die Klassifizierungseinheit 205 das Attributmerkmal K_Attr_F₂ für das dem Cluster C_K2 entsprechende, mit dem AD-Algorithmus trainierte Straßenklassifizierungsmodell RCM^K ₂₂ bereit, um die Prognose der aktuellen Straße zu realisieren. Hier wird angenommen, dass die nach der Verarbeitung durch das Straßenklassifizierungsmodell RCM^K ₂₂ ausgegebene Straßenklassifizierungsanweisung Road_ID₂ = „Autobahn“ ist. Zusätzlich stellt die Klassifizierungseinheit 205 das Attributmerkmal K_Attr_F₂ für das dem Cluster C_K2 entsprechende, mit dem SVM-Algorithmus trainierte Straßenklassifizierungsmodell RCM^K ₂₃ bereit, und die ausgegebene Straßenklassifizierungsanweisung ist Road_ID₃ = „städtische Schnellstraße“; die Klassifizierungseinheit 205 stellt das Attributmerkmal K_Attr_F₂ für das dem Cluster C_K2 entsprechende, mit dem NB-Algorithmus trainierte Straßenklassifizierungsmodell RCM^K ₂₄ bereit, und die ausgegebene Straßenklassifizierungsanweisung ist Road_ID₄ = „städtische Schnellbahn“.
Ähnlich wie bei der obigen Verarbeitung für das Cluster C_K2 werden auch für das Cluster C_DB3 unter dem DBSCAN-Algorithmus und das Cluster C_EM5 unter dem EM-Algorithmus, zu denen der aktuelle Bildrahmen gehört, die obigen vier Klassifizierungsmodelle verwendet, um die Prognose der aktuellen Straße zu realisieren. Insbesondere kann die Klassifizierungseinheit 205 das Straßenattributmerkmal DB_Attr_F₃ des Clusters C_DB3 aus der Speichereinheit 101 basierend auf dem Cluster C_DB3 bestimmen, zu dem der Bildrahmen X gehört, z.B. x⁽¹⁾, x⁽³⁾, x⁽⁷⁾... x^(k), insgesamt M Attributmerkmale. Daher werden die visuellen Merkmale (x⁽¹⁾, x⁽³⁾, x⁽⁷⁾... x^(k)) als Attributmerkmal DB_Attr_F₃ aus den visuellen Merkmalen Vis_F = (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)) des aktuellen Bildrahmens X ausgewählt und für das dem Cluster C_DB3 entsprechende, mit dem K-NN-Algorithmus trainierte Straßenklassifizierungsmodell RCM^DB _31, für das dem Cluster C_DB3 entsprechende, mit dem AD-Algorithmus trainierte Straßenklassifizierungsmodell RCM^DB ₃₂, für das dem Cluster C_DB3 entsprechende, mit dem SVM-Algorithmus trainierte Straßenklassifizierungsmodell RCM^DB ₃₃, für das dem Cluster C_DB3 entsprechende, mit dem NB-Algorithmus trainierte Straßenklassifizierungsmodell RCM^DB ₃₄, bereitgestellt, um die Prognose der aktuellen Straße zu realisieren. Hier wird angenommen, dass die nach der Verarbeitung dieser vier Straßenklassifizierungsmodelle ausgegebenen Straßenklassifizierungsanweisungen Road_ID₅ = „gewöhnliche Straße“, Road_ID₆ = „Autobahn“, Road_ID₇ = „Autobahn“, Road_ID₈ = „städtische Schnellbahn“ sind.
Die Klassifizierungseinheit 205 kann für das Cluster C_EM5 aus der Speichereinheit 101 bestimmen, dass, die Straßenattributmerkmale EM_Attr_F₅ des Clusters C_EM5 x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(p), insgesamt M Attributmerkmale sind. Daher werden die visuellen Merkmale (x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(p)) als Attributmerkmal EM_Attr_F₅ aus den visuellen Merkmalen Vis_F = (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)) des aktuellen Bildrahmens X ausgewählt und für das dem Cluster C_EM5 entsprechende, mit dem K-NN-Algorithmus trainierte Straßenklassifizierungsmodell RCM^EM ₅₁, für das dem Cluster C_EM5 entsprechende, mit dem AD-Algorithmus trainierte Straßenklassifizierungsmodell RCM^EM ₅₂, für das dem Cluster C_EM5 entsprechende, mit dem SVM-Algorithmus trainierte Straßenklassifizierungsmodell RCM^EM ₅₃, für das dem Cluster C_EM5 entsprechende, mit dem NB-Algorithmus trainierte Straßenklassifizierungsmodell RCM^EM ₅₄, bereitgestellt, um die Prognose der aktuellen Straße zu realisieren. Hier wird angenommen, dass die nach der Verarbeitung dieser vier Straßenklassifizierungsmodelle ausgegebenen Straßenklassifizierungsanweisungen Road_ID₉ = „gewöhnliche Straße“, Road_ID₁₀ = „Autobahn“, Road_ID₁₁ = „Autobahn“, Road_ID₁₂ = „städtische Schnellbahn“ sind.
Daher werden nach der Prognoseklassifizierung verschiedener Modelle unter verschiedenen Clustern 12 Straßenklassifizierungsanweisungsergebnisse (Road_ID_1, Road_ID₂, Road_ID₃, Road_ID₄, Road_ID₅, Road_ID₆, Road_ID₇, Road_ID₈, Road_ID₉, Road_ID₁₀, Road_ID₁₁, Road_ID₁₂) erhalten. Somit kann die Klassifizierungseinheit 205 die obigen Klassifizierungsanweisungsergebnisse auswerten, um schließlich die Klasse der aktuellen Straße zu bestimmen. Beispielsweise kann die Klassifizierungseinheit 205 über die obigen Klassifizierungsanweisungsergebnisse abstimmen und die Klassifizierung mit den meisten Stimmen als endgültiges Klassifizierungsergebnis der aktuellen Straße festlegen. Offensichtlich hat in diesem Beispiel die „Autobahn“ die meisten Stimmen, Road_ID₁ =Road_ID₂=Road_ID₆=Road_ID₇=Road_ID₁₀=Road_ID₁₁=Road_ID₁₂= „Autobahn“, sodass die Klassifizierungseinheit 205 die endgültige Entscheidung trifft, dass die aktuelle Straße eine Autobahn ist.
In einem anderen Ausführungsbeispiel kann das entsprechende Modellprognoseergebnis Road_ID auch gemäß dem Anpassungsgrad zwischen dem aktuellen Bildrahmen X und den 15 Clustern gewichtet werden. Wenn beispielsweise während der Clustering-Verarbeitung die Anpassungseinheit feststellt, dass die Anpassungsgrade zwischen dem aktuellen Bildrahmen und dem zugehörigen Cluster unter den Algorithmen K-means, DNSCAN und EM jeweils C_DB > C_K > C_EM lauten. Dann kann den vier Vorhersageergebnissen Road_ID₅, Road_IDr₆, Road_ID₇, Road_ID₈ unter dem Cluster C_DB ein hoher Gewichtswert wie 1,2 zugewiesen werden, während den vier Vorhersageergebnissen Road_ID₉, Road_ID₁₀, Road_ID₁₁, Road_ID₁₂ unter dem Cluster C_EM ein niedriger Gewichtswert wie 0,9 zugewiesen werden kann. Die vier Prognoseergebnisse unter dem Cluster C_K bleiben unverändert. Dann stimmt die Klassifizierungseinheit 205 über die gewichteten Klassifizierungsanweisungsergebnisse ab, wodurch die endgültige Klassifizierung bestimmt wird.
In dem obigen Ausführungsbeispiel wird die Vorrichtung zur Klassifizierung einer Straße in Form jeweiliger unabhängigen Einheiten realisiert. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, und die Vorrichtung zur Klassifizierung einer Straße kann in irgendeiner Form von Hardware, Software oder einer Kombination davon implementiert werden. 3 zeigt ein weiteres Beispiel einer Vorrichtung zur Klassifizierung einer Straße. Wie in der Figur gezeigt, umfasst die Vorrichtung zur Klassifizierung einer Straße 300 einen Prozessor 301 und einen Speicher 302. In dem Speicher 302 werden Programmmodule zum Implementieren der Verfahrensschritte der vorliegenden Erfindung gespeichert, umfassend ein Merkmalerfassungsmodul 303, ein Anpassungsmodul 304 und ein Klassifizierungsmodul 305. Zusätzlich umfasst der Speicher 302 auch einen Bildspeicherbereich 306 und einen Datenspeicherbereich 307. Hierbei wird der Bildspeicherbereich 306 dazu verwendet, das aktuelle von außen wie z.B. von Sensoren empfangene Straßenbild oder Video X zu erhalten und zu speichern. Der Speicherbereich 307 wird zum Speichern der durch Training erhaltenen Clusterinformationen und der entsprechenden RCM-Informationen des Straßenklassifizierungsmodells verwendet. Somit kann der Prozessor 301 dazu konfiguriert sein, durch Ausführen der in dem Speicher 302 befindlichen Programmmodule das Verfahren der vorliegenden Erfindung zu implementieren.
4 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung einer Straße, das von einer Vorrichtung zur Klassifizierung einer Straße gemäß einem Beispiel der vorliegenden Erfindung ausgeführt wird. Schritt 401: Verwenden eines Bildsensors wie einer Kamera zum Erhalten eines Umgebungsbilds der aktuellen Fahrstraße, um einen oder mehrere visuelle Merkmale Vis_F umfassende Bildrahmen X zu erhalten und die Bildrahmen X in einem Speicher zu speichern.
Schritt 402: Verarbeiten der Bildrahmen X, um die im Bildrahmen X enthaltenen visuellen Merkmale Vis_F zu identifizieren. Hier wird für den Bildrahmen X mittels des Erfassungsmoduls für Bürgersteige, des Erfassungsmoduls für Lastkraftwagen, des Erfassungsmoduls für Verkehrszeichen A, des Erfassungsmoduls für Verkehrszeichen B, des Erfassungsmoduls für Verkehrszeichen C ... des Erfassungsmoduls für Mautstation usw. die Erfassungsbearbeitung der jeweiligen visuellen Merkmale Vis_F durchgeführt. Das Erfassungsergebnis kann durch das Konfidenzniveau des erfassten visuellen Merkmals Vis_F dargestellt werden. Zusätzlich kann gemäß dem Ausführungsbeispiel der vorliegenden Erfindung beim Erhalten der jeweiligen visuellen Merkmale Vis_F die Relativposition der jeweiligen visuellen Merkmale Vis_F, die in dem Bildrahmen enthalten sind, weiter bestimmt werden. Auf diese Weise wird das visuelle Merkmal Vis_F für den Bildrahmen X generiert, d.h. X = (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)).
Schritt 403: Anpassen der W visuellen Merkmale Vis_F des Bildrahmens X an jeden der voreingestellten Anzahlen von vorbestimmten Clustern C1 bis C5 in dem Speicher, um zu bestimmen, zu welchem Cluster C1-C5 der Bildrahmen X gehört. In diesem Beispiel berechnet die Vorrichtung zur Klassifizierung einer Straße anhand von dem Konfidenzniveau der jeweiligen visuellen Merkmale Vis_F in dem Bildrahmen X nacheinander den relativen Abstand D zwischen X und den jeweils den fünf Clustern zugeordneten Mittelpunkten CP_1, CP_2, CP_3, CP_4, CP_5 und vergleicht ihn mit dem euklidischen Abstandsschwellenwert R1, R2, R3, R4, R5 jedes Clusters, um den Cluster, dessen relativer Abstand D kleiner als der entsprechende Schwellenwert R ist, als Cluster festzulegen, zu dem der Bildrahmen X gehört. In diesem Beispiel wird angenommen, dass der Bildrahmen X zum Cluster C2 gehört.
Schritt 404: Erstellen eines Eingabemerkmals zur Eingabe in das Straßenklassifizierungsmodell RCM, also des Attributmerkmals Attr_F, basierend auf dem in Schritt 403 bestimmten Cluster C, zu dem der aktuelle Bildrahmen X gehört. Als Beispiel wird basierend auf dem Cluster C2, zu dem der Bildrahmen X gehört, das Straßenattributmerkmal Attr_F₂ des Clusters C2 bestimmt x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k), insgesamt M Attributmerkmale sind. Daher werden die visuellen Merkmale (x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k)) als Attributmerkmal Attr_F₂ aus den visuellen Merkmalen Vis_F (x⁽¹⁾, x⁽²⁾, x⁽³⁾... x^(W)) des aktuellen Bildrahmens X ausgewählt. Wie oben erwähnt, umfasst das Attributmerkmal Attr_F₂, das für das Straßenklassifizierungsmodell RCM hier bereitgestellt wird, nicht nur das Konfidenzniveau, sondern auch die Relativpositionsinformationen.
Schritt 405: Aufrufen des an das Cluster C2 angepassten Straßenklassifizierungsmodells RCM2 und Ausrechnen der Straßenklassifizierung durch Verarbeiten der Straßenattributmerkmale Attr_F₂ (x⁽¹⁾, x⁽³⁾, x⁽⁸⁾... x^(k)).
5 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung einer Straße, das von einer Vorrichtung zur Klassifizierung einer Straße gemäß einem anderen Beispiel der vorliegenden Erfindung ausgeführt wird. Die Vorrichtung zur Klassifizierung einer Straße kann das in dem in 1B gezeigten Ausführungsbeispiel trainierte Multicluster-Klassifizierungsmodell verwenden, um die Straßenklassifizierung zu implementieren. Hier wird das in Tabelle 3 gezeigte Multicluster-Klassifizierungsmodell noch als Beispiel angegeben. Wie in 5 gezeigt, sind die Schritte 501 bis 503 hier dieselben wie die in 4 gezeigten Schritte 401 bis 403 und werden hier nicht wiederholt. Es muss jedoch darauf hingewiesen werden, dass in Schritt 503 die Vorrichtung zur Klassifizierung einer Straße den aktuellen Bildrahmen X jeweils an die 15 vorgespeicherten Cluster C_K1 - C_K5, C_DB1 - C_DB5, C_EM1 - C_EM5 anpassen muss, um die am besten passenden Cluster für jede Art von Clustering-Verfahren zu bestimmen. Hier wird angenommen, dass die Anpassungsergebnisse C_K2, C_DB3 und C_EM5 sind.
Schritt 504: Erstellen einer Eingabe für das Straßenklassifizierungsmodell RCM basierend auf dem in Schritt 503 bestimmten Cluster, zu dem der aktuelle Bildrahmen X gehört, und den festgelegten Attributmerkmalen. Als Beispiel wird basierend auf dem Cluster C_K2, zu dem der Bildrahmen X gehört, das Straßenattributmerkmal K_Attr_F₂ des Clusters C_K2 bestimmt. Somit wird basierend auf dem K_Attr_F₂ die Eingabe des Klassifizierungsmodells unter Verwendung der entsprechenden visuellen Merkmale im aktuellen Bildrahmen X erstellt.
Schritt 505: Aufrufen des an das Cluster C_K2 angepassten Straßenklassifizierungsmodells RCM^K ₂₁ und Generieren einer Straßenklassifizierungsanweisung als Road_ID₁ durch Verarbeiten des Straßenattributmerkmals K_Attr_F₂. Anschließend wird in Schritt 506 bestimmt, ob die Verarbeitung aller Arten der Straßenklassifizierungsmodelle für das Cluster C_K2 abgeschlossen wurde. Wenn nicht, wird zu Schritt 405 zurückgekehrt und das nächste Klassifizierungsmodell wird aufgerufen, beispielsweise das auf dem AD-Algorithmus trainierte Straßenklassifizierungsmodell RCM^K ₂₂, das auf dem SVM-Algorithmus trainierte Straßenklassifizierungsmodell RCM^K ₂₃ und das auf dem NB-Algorithmus trainierte Straßenklassifizierungsmodell RCM^K ₂₄, um die Klassifizierungsanweisungsausgaben Road_ID₂, Road_ID₃, Road_ID₄ zu erhalten.
Nachdem in Schritt 506 festgestellt wurde, dass die Verarbeitung aller Arten der Straßenklassifizierungsmodelle für das Cluster C_K2 abgeschlossen wurde, wird der Schritt 507 fortgesetzt, um zu bestimmen, ob die Straßenklassifizierungsverarbeitung für alle passenden Cluster abgeschlossen wurde. Wenn nicht, wird zu Schritt 504 zurückgekehrt, um die Verarbeitung des nächsten Clusters fortzusetzen. In diesem Beispiel wird nach der Verarbeitung von C_K2 zu Schritt 504 zurückgekehrt, um das Straßenattributmerkmal DB_Attr_F₃ des Clusters C_DB3 basierend auf dem Cluster C_DB3 zu bestimmen, zu dem der Bildrahmen X gehört. Daher wird basierend auf DB_Attr_F₃ die Eingabe des Klassifizierungsmodells unter Verwendung der entsprechenden visuellen Merkmale im aktuellen Bildrahmen X erstellt, und somit werden durch Ausführen der Schritte 505 und 506 die jeweiligen Klassifizierungsanweisungsausgaben Road_ID₅, Road_IDr₆, Road_ID₇, Road_ID₈ für das Cluster C_DB3 erhalten. Auf diese Weise werden die jeweiligen Klassifizierungsanweisungsausgaben Road_ID₉, Road_ID₁₀, Road_ID₁₁, Road_ID₁₂ für das Cluster C_EM5 generiert. Damit ist die Straßenklassifizierungsverarbeitung für alle Cluster abgeschlossen.
Nachdem in Schritt 507 festgestellt wurde, dass die Straßenklassifizierungsverarbeitung für alle passenden Cluster abgeschlossen wurde, wird der Schritt 508 fortgesetzt, um über die generierten 12 Kandidatenergebnisse (Road_ID_1, Road_ID₂, Road_ID₃, Road_ID₄, Road_ID₅, Road_ID₆, Road_ID₇, Road_ID₈, Road_ID₉, Road_ID₁₀, Road_ID₁₁, Road_ID₁₂) abzustimmen, und das Klassifizierungsergebnis mit der höchsten Stimmenzahl wird als endgültiges Klassifizierungsergebnis der aktuellen Straße ausgewählt.
Im vorstehenden Text werden Ausführungsbeispiele der Vorrichtung und des Verfahrens zur Klassifizierung einer Straße beschrieben. Die Vorrichtung und das Verfahren zur Klassifizierung einer Straße gemäß der vorliegenden Erfindung können in einem automatischen Fahrsystem verwendet werden. Durch die Verarbeitung der von der Kamera des Fahrzeugs erfassten Bildrahmen wird die Klassifizierung der aktuellen Straße des Fahrzeugs realisiert.
Obwohl die Ausführungsbeispiele der vorliegenden Erfindung durch die Zeichnungen und bevorzugten Ausführungsbeispiele detailliert gezeigt und beschrieben werden, ist die vorliegende Erfindung nicht auf diese offengelegten Ausführungsbeispiele beschränkt. Der Fachmann kann auf der Grundlage der obigen detaillierten Offenbarung jede Modifikation, umfassend Kombination, Ersetzung, Ergänzung und Weglassung von Merkmalen usw., vornehmen. Diese Lösungen sollten als in den durch die beigefügten Ansprüche definierten Schutzumfang fallend angesehen werden.

Claims

Verfahren zur Klassifizierung einer Straße, umfassend: Aufnahme mindestens eines Bildrahmens der aktuellen Straße; Verarbeiten des Bildrahmens zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.
Verfahren nach Anspruch 1, wobei die voreingestellte Anzahl von Kandidatenclustern mehrere Gruppen von Clustern umfasst, die durch Training unter Verwendung verschiedener Clustering-Algorithmen erhalten wurden, wobei jede Gruppe von Clustern mehrere Kandidatencluster, die mit demselben Algorithmus generiert wurden, umfasst; wobei das Bestimmen eines Zielclusters, zu dem der Bildrahmen gehört, umfasst: Bestimmen eines Zielclusters, zu dem der Bildrahmen gehört, in jeder Gruppe von Clustern; wobei das mit dem bestimmten Zielcluster korrespondierende Straßenklassifizierungsmodell mehrere Straßenklassifizierungsmodelle umfasst, die durch auf den Zielcluster abgezieltes Training mit verschiedenen maschinellen Lernverfahren erhalten wurden; wobei das Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren, ferner umfasst: separates Verarbeiten der Attributmerkmale in den mehreren Straßenklassifizierungsmodellen, um mehrere Kandidatenklassifizierungsergebnisse zu generieren; und Abstimmen für die mehreren Kandidatenklassifizierungsergebnisse zum Bestimmen der Klasse der aktuellen Straße.
Verfahren nach Anspruch 2, wobei das Abstimmen für die mehreren Kandidatenklassifizierungsergebnisse zum Bestimmen der Klasse der aktuellen Straße umfasst: Auswählen des Klassifizierungsergebnisses, das die größte Stimmzahl erhält, unter den mehreren Kandidatenklassifizierungsergebnissen, als die Klasse der aktuellen Straße.
Verfahren nach Anspruch 2, wobei das Abstimmen für die mehreren Kandidatenklassifizierungsergebnisse zum Bestimmen der Klasse der aktuellen Straße umfasst: Gewichten der Kandidatenklassifizierungsergebnisse, die von den verschiedenen Straßenklassifizierungsmodellen generiert sind, Summieren der gewichteten Kandidatenergebnisse, die dieselben Klassifizierungsergebnisse anzeigen, und Auswählen des Kandidatenergebnisses mit der größten gewichteten Summe als die Klasse der aktuellen Straße.
Verfahren nach einem der Ansprüche 1-4, wobei das Verarbeiten des Bildrahmens zum Identifizieren mehrerer visueller Merkmale im Bildrahmen umfasst: separates Erfassen jedes der mehreren visuellen Merkmale unter Verwendung von Merkmalerfassungsmodellen, die für jedes der mehreren visuellen Merkmale trainiert wurden, wobei jedes der visuellen Merkmale durch ein Konfidenzniveau charakterisiert ist.
Verfahren nach einem der Ansprüche 1-4, wobei das Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern umfasst: erneutes Berechnen der Clustering-Bedingungen für die mehreren visuellen Merkmale und jedes Cluster in der voreingestellten Anzahl von vorbestimmten Kandidatenclustern mittels des beim Vorbestimmen der voreingestellten Anzahl von Kandidatenclustern verwendeten Clustering-Algorithmen, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen.
Verfahren nach Anspruch 6, wobei das Verarbeiten des Bildrahmens zum Identifizieren mehrerer visueller Merkmale in dem Bildrahmen ferner umfasst: Erhalten einer Relativposition jedes der visuellen Merkmale im Bildrahmen; und wobei das Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells umfasst: Erstellen einer Eingabe des Straßenklassifizierungsmodells basierend auf einem Konfidenzniveau und der Relativposition des Attributmerkmals.
Verfahren zum Training eines Straßenklassifizierungsmodells, umfassend: Erhalten mehrerer Bildrahmen, wobei jeder Bildrahmen visuelle Merkmale einer Straße umfasst; Verarbeiten jedes Bildrahmens zum Identifizieren mehrerer im Bildrahmen enthaltenen visuellen Merkmale; Durchführen einer Clustering-Verarbeitung der mehreren Bildrahmen basierend auf den visuellen Merkmalen, um die Zielcluster, zu denen die Bildrahmen gehören, zu bestimmen, so dass mehrere Clusters gebildet werden; Auswählen mehrerer, für das Cluster am relevantesten visueller Merkmale aus den visuellen Merkmalen in den Bildrahmen in demselben Cluster als Attributmerkmal dieses Clusters; und Bilden einer Trainingsprobe mittels der mehreren Attributmerkmale in jedem Bildrahmen in demselben Cluster zum Trainieren eines an dieses Cluster angepassten Straßenklassifizierungsmodells.
Verfahren nach Anspruch 8, wobei das Durchführen einer Clustering-Verarbeitung der mehreren Bildrahmen, um die Zielcluster, zu denen die Bildrahmen gehören, zu bestimmen, umfasst: Verarbeiten der mehreren Bildrahmen unter Verwendung verschiedener Clustering-Algorithmen zum Generieren mehrerer Cluster, wobei jede Gruppe von Clustern mehrere mit demselben Clustering-Algorithmus generierten Cluster umfasst; wobei das Bilden einer Trainingsprobe mittels der mehreren Attributmerkmale in jedem Bildrahmen in demselben Cluster zum Trainieren eines an dieses Cluster angepassten Straßenklassifizierungsmodells umfasst: Lernen der Attributmerkmale der Bildrahmen in jeder Gruppe von Clustern mittels verschiedener maschineller Lernverfahren, so dass mehrere Straßenklassifizierungsmodelle für jedes Cluster in jeder Gruppe von Clustern erzeugt werden; wobei ein Abstimmungsergebnis aus mehreren Kandidatenklassifizierungsergebnissen, die durch das separate Verarbeiten der Attributmerkmale mittels mehrerer Straßenklassifizierungsmodelle erzeugt werden, als die Klasse der aktuellen Straße festgelegt wird.
Verfahren nach Anspruch 9, wobei das Abstimmungsergebnis das Klassifizierungsergebnis, das die größte Stimmzahl erhält, unter den mehreren Kandidatenklassifizierungsergebnissen ist.
Verfahren nach Anspruch 9, wobei das Abstimmen umfasst: Gewichten der Kandidatenklassifizierungsergebnisse, die von den verschiedenen Straßenklassifizierungsmodellen generiert sind, Summieren der gewichteten Kandidatenergebnisse, die dieselben Klassifizierungsergebnisse anzeigen, und Auswählen des Kandidatenergebnisses mit der größten gewichteten Summe als die Klasse der aktuellen Straße.
Verfahren nach einem der Ansprüche 8-11, wobei das Verarbeiten jedes Bildrahmens zum Identifizieren mehrerer visueller Merkmale im Bildrahmen umfasst: separates Erfassen jedes der mehreren visuellen Merkmale unter Verwendung von Merkmalerfassungsmodellen, die für jedes der mehreren visuellen Merkmale trainiert wurden, wobei jedes der visuellen Merkmale durch ein Konfidenzniveau charakterisiert ist.
Verfahren nach einem der Ansprüche 8-11, wobei das Verarbeiten jedes Bildrahmens zum Identifizieren mehrerer visueller Merkmale im Bildrahmen ferner umfasst: Erhalten einer Relativposition jedes der visuellen Merkmale im Bildrahmen; und Erstellen einer Eingabe des Straßenklassifizierungsmodells basierend auf einem Konfidenzniveau und der Relativposition des Attributmerkmals.
Verfahren nach Anspruch 13, umfassend: Speichern der generierten Cluster-bezogenen Informationen, welche umfassen: Informationen über den Clustering-Algorithmus, die Anzahl und den Typ der Attributmerkmale; und Speichern des durch Training erhaltenen, an das Cluster angepassten Straßenklassifizierungsmodells.
Verfahren nach einem der Ansprüche 8-11, wobei das Bestimmen mehrerer, für das Cluster am relevantesten Attributmerkmale in den mehreren visuellen Merkmalen unter Verwendung eines Algorithmus mittels des Spearman'schen Rangkorrelationskoeffizienten erfolgt.
Rechnersystem, umfassend ein Straßenklassifizierungsmodul zur Klassifizierung einer Fahrstraße, wobei das Straßenklassifizierungsmodul zu Folgendem konfiguriert ist: zum Verarbeiten mindestens eines Bildrahmens der aktuellen Fahrstraße zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; zum Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; zum Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und zum Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.
Rechnersystem nach Anspruch 16, wobei die voreingestellte Anzahl von Kandidatenclustern mehrere Gruppen von Clustern umfasst, die durch Training unter Verwendung verschiedener Clustering-Algorithmen erhalten wurden, wobei jede Gruppe von Clustern mehrere Kandidatencluster, die mit demselben Algorithmus generiert wurden, umfasst; wobei das Straßenklassifizierungsmodul weiter zu Folgendem konfiguriert ist: zum Bestimmen eines Zielclusters, zu dem der Bildrahmen gehört, in jeder Gruppe von Clustern; wobei das mit dem bestimmten Zielcluster korrespondierende Straßenklassifizierungsmodell mehrere Straßenklassifizierungsmodelle umfasst, die durch auf den Zielcluster abgezieltes Training mit verschiedenen maschinellen Lernverfahren erhalten wurden; wobei das Straßenklassifizierungsmodul weiter zu Folgendem konfiguriert ist: zum separaten Verarbeiten der Attributmerkmale in den mehreren Straßenklassifizierungsmodellen, um mehrere Kandidatenklassifizierungsergebnisse zu generieren; und zum Abstimmen für die mehreren Kandidatenklassifizierungsergebnisse zum Bestimmen der Klasse der aktuellen Straße.
Rechnersystem nach Anspruch 16 oder Anspruch 17, wobei das Straßenklassifizierungsmodul zu Folgendem konfiguriert ist: zum separaten Erfassen jedes der mehreren visuellen Merkmale unter Verwendung von Merkmalerfassungsmodellen, die für jedes der mehreren visuellen Merkmale trainiert wurden, wobei jedes der visuellen Merkmale durch ein Konfidenzniveau charakterisiert ist.
Rechnersystem nach Anspruch 16 oder Anspruch 17, wobei das Straßenklassifizierungsmodul zu Folgendem konfiguriert ist: zum erneuten Berechnen der Clustering-Bedingungen für die mehreren visuellen Merkmale und jedes Cluster in der voreingestellten Anzahl von vorbestimmten Kandidatenclustern mittels der beim Vorbestimmen der voreingestellten Anzahl von Kandidatenclustern verwendeten Clustering-Algorithmen, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen.
Rechnersystem nach Anspruch 19, wobei das Straßenklassifizierungsmodul zu Folgendem konfiguriert ist: zum Erhalten einer Relativposition jedes der visuellen Merkmale im Bildrahmen; und zum Erstellen einer Eingabe des Straßenklassifizierungsmodells basierend auf einem Konfidenzniveau und der Relativposition des Attributmerkmals.
Vorrichtung zur Klassifizierung einer Straße, umfassend: ein Merkmalerfassungsmodul zum Verarbeiten mindestens eines Bildrahmens der aktuellen Straße zum Identifizieren mehrerer visueller Merkmale im Bildrahmen; ein Clustering-Modul zum Anpassen der visuellen Merkmale an eine voreingestellte Anzahl von vorbestimmten Kandidatenclustern, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen; ein Merkmalauswahlmodul zum Auswählen eines vom bestimmten Zielcluster festgelegten Attributmerkmals aus den mehreren visuellen Merkmalen; und ein Klassifizierungsmodul zum Verarbeiten des Attributmerkmals mittels eines mit dem bestimmten Zielcluster korrespondierenden Straßenklassifizierungsmodells, um die aktuelle Straße zu klassifizieren.
Vorrichtung nach Anspruch 21, wobei die voreingestellte Anzahl von Kandidatenclustern mehrere Gruppen von Clustern umfasst, die durch Training unter Verwendung verschiedener Clustering-Algorithmen erhalten wurden, wobei jede Gruppe von Clustern mehrere Kandidatencluster, die mit demselben Algorithmus generiert wurden, umfasst; wobei das Clustering-Modul ein Zielcluster, zu dem der Bildrahmen gehört, in jeder Gruppe von Clustern bestimmt; wobei das mit dem bestimmten Zielcluster korrespondierende Straßenklassifizierungsmodell mehrere Straßenklassifizierungsmodelle umfasst, die durch auf den Zielcluster abgezieltes Training mit verschiedenen maschinellen Lernverfahren erhalten wurden; wobei das Straßenklassifizierungsmodul weiter zu Folgendem konfiguriert ist: zum separaten Verarbeiten der Attributmerkmale in den mehreren Straßenklassifizierungsmodellen, um mehrere Kandidatenklassifizierungsergebnisse zu generieren; und zum Abstimmen für die mehreren Kandidatenklassifizierungsergebnisse, um die Klasse der aktuellen Straße zu bestimmen.
Vorrichtung nach Anspruch 22, wobei das Abstimmen über die mehreren Kandidatenklassifizierungsergebnisse zum Bestimmen der Klasse der aktuellen Straße umfasst: Auswählen des Klassifizierungsergebnisses, das die größte Stimmzahl erhält, unter den mehreren Kandidatenklassifizierungsergebnissen, als die Klasse der aktuellen Straße.
Vorrichtung nach Anspruch 22, wobei das Abstimmen über die mehreren Kandidatenklassifizierungsergebnisse zum Bestimmen der Klasse der aktuellen Straße umfasst: Gewichten der Kandidatenklassifizierungsergebnisse, die von den verschiedenen Straßenklassifizierungsmodellen generiert sind, Summieren der gewichteten Kandidatenergebnisse, die dieselben Klassifizierungsergebnisse anzeigen, und Auswählen des Kandidatenergebnisses mit der größten gewichteten Summe als die Klasse der aktuellen Straße.
Vorrichtung nach einem der Ansprüche 21 bis 24, wobei das Merkmalerfassungsmodul unter Verwendung von Merkmalerfassungsmodellen, die für jedes der mehreren visuellen Merkmale trainiert wurden, jedes der mehreren visuellen Merkmale separat erfasst, wobei jedes der visuellen Merkmale durch ein Konfidenzniveau charakterisiert ist.
Vorrichtung nach einem der Ansprüche 21 bis 24, wobei das Clustering-Modul mittels des beim Vorbestimmen der voreingestellten Anzahl von Kandidatenclustern verwendeten Clustering-Algorithmus die Clustering-Bedingungen für die mehreren visuellen Merkmale und jedes Cluster in der voreingestellten Anzahl von vorbestimmten Kandidatenclustern erneut berechnet, um ein Zielcluster, zu dem der Bildrahmen gehört, zu bestimmen.
Vorrichtung nach Anspruch 26, wobei das Merkmalerfassungsmodul weiter zu Folgendem konfiguriert ist: Erhalten einer Relativposition jedes der visuellen Merkmale im Bildrahmen; und wobei das Klassifizierungsmodul eine Eingabe des Straßenklassifizierungsmodells basierend auf einem Konfidenzniveau und der Relativposition des Attributmerkmals erstellt.