DE102017212418A1 - Fahrerassistenzsystem und -verfahren zur leitplankenerkennung - Google Patents

Fahrerassistenzsystem und -verfahren zur leitplankenerkennung Download PDF

Info

Publication number
DE102017212418A1
DE102017212418A1 DE102017212418.0A DE102017212418A DE102017212418A1 DE 102017212418 A1 DE102017212418 A1 DE 102017212418A1 DE 102017212418 A DE102017212418 A DE 102017212418A DE 102017212418 A1 DE102017212418 A1 DE 102017212418A1
Authority
DE
Germany
Prior art keywords
guardrail
structures
frame
gradient
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017212418.0A
Other languages
English (en)
Inventor
Vishnu Vardhana Asvatha Narayanan
Vivek Singh Bhadouria
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE102017212418.0A priority Critical patent/DE102017212418A1/de
Priority to CN201810787842.4A priority patent/CN109284664B/zh
Priority to JP2018135652A priority patent/JP7164342B2/ja
Publication of DE102017212418A1 publication Critical patent/DE102017212418A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

Es werden ein Verfahren zum Erkennen von Leitplanken, ein Fahrerassistenzsystem zum Realisieren des Verfahrens und ein Trainings-Maschinenlernalgorithmus zur Erkennung von Leitplankenstrukturen bereitgestellt.

Description

  • HINTERGRUND
  • Die Erkennung einer Leitplanke an einem Straßenrand ist von entscheidender Bedeutung für das hoch automatisierte Fahren. Diese Strukturen (d. h. Leitplanken) findet man entlang von Straßen in verschiedenen Ländern der Welt. Ihr Vorhandensein am Straßenrand setzt dem freien Raum, der dem Fahrzeug zur Verfügung steht, um sich seitwärts zu bewegen, eine dingliche Grenze. Daher ist es sehr wichtig, Leitplanken zu erkennen. Dieses Problem (d. h. der Leitplankenerkennung) kann mithilfe einer Kamera (z. B. einer Monokamera) gelöst werden.
  • KURZDARSTELLUNG
  • Die Erfindung betrifft ein computerimplementiertes Verfahren zum Erzeugen eines Leitplankenmusters, umfassend:
    1. a. Aufnehmen eines Einzelbildes mit einer Kamera;
    2. b. Bestimmen, dass das Einzelbild wenigstens zwei Leitplankenstrukturen einer Leitplanke umfasst, und Nachverfolgen der Leitplankenstruktur in dem Einzelbild mit einem Ausschnittsrechteck, wobei die Leitplankenstruktur einen nicht vertikalen Abschnitt, non-vertical portion - NVP, und einen vertikalen Abschnitt, vertical portion - VP, umfasst;
    3. c. Verarbeiten der Informationen des Ausschnittsrechtecks, um Winkelgradientinformationen bezüglich einer der nachverfolgten Leitplankenstrukturen zu extrahieren;
    4. d. Gruppieren der Winkelgradientinformationen in Clustern mit einem Clustering-Verfahren, das Informationscluster bezüglich der Winkel der Komponenten des Ausschnittsrechtecks ergibt;
    5. e. Extrahieren von Informationen bezüglich des nicht vertikalen Abschnitts, NVP, des Ausschnittsvierecks;
    6. f. Wiederholen der Schritte c.-e., bis alle nachverfolgten Leitplankenstrukturen diesen Schritten unterzogen wurden; und g. Anpassen einer die NVPs der nachverfolgten Leitplankenstrukturen durchlaufenden Kurve.
  • Die Winkelgradientinformationen können extrahiert werden, indem ein Winkelgradientdeskriptor der wenigstens zwei Leitplankenstrukturen, vorzugsweise ein Deskriptor in Form eines Histogramms orientierter Gradienten, HoG, bereitgestellt wird, der Gradientenlinien des vertikalen Teils und des nicht vertikalen Teils der Einzelstruktur der Leitplanke und Informationen bezüglich der winkelmäßigen Ausrichtung des nicht vertikalen Teils gegenüber einer Bezugsbasis bereitstellt. Die Winkelgradientinformationen können extrahiert werden, indem ein View-Oriented, Distributed, Cluster-Based Approach to Parallel Computing, VODCA, durchgeführt wird.
  • Das Verfahren hat den Vorteil, dass die VODCA-Komponente zum Extrahieren der HoG-Merkmale wiederverwendet werden kann, um die Rechenhardware zu entlasten, und dass die Klassifikatorkomponente des VODCA-Frameworks wiederverwendet werden kann. Schritt g) kann ein Interpolieren einer die erkannten Leitplankenstrukturen durchlaufenden Kurve umfassen, um eine durchgehende Kurve zu erhalten, die eine Leitplanke darstellt.
  • Die Kurve kann eine die Schnittpunkte der Gradientenlinien des NVP der wenigstens zwei Leitplankenstrukturen durchlaufende Polynomkurve sein.
  • Schritt d. des vorgenannten Verfahrens kann einen Mittelwert, µ, und eine entsprechende Spanne, σ, für jeden nicht vertikalen Teil bereitstellen; und die Spanne wird verwendet, um die Anpassung der Kurve zu optimieren.
  • Schritt d. des vorgenannten Verfahrens kann ferner ein Entfernen falsch positiver Richtlinienstrukturen umfassen.
  • Es kann bestimmt werden, dass das Einzelbild zwei Leitplankenstrukturen auf getrennten Seiten einer Straße umfasst. Also werden möglicherweise zwei Kurven erzeugt.
  • Das Verfahren hat also den besonderen Vorteil, dass es in der Lage ist, mehrere Leitplanken in einem Einzelbild zu erkennen. Das Nachverfolgen der erkannten Leitplankenstrukturen wird mit einem geeigneten Tracking-Algorithmus oder -Verfahren, insbesondere einem Kalman-Filter, durchgeführt.
  • Um zu bestimmen, dass das Einzelbild zwei Leitplankenstrukturen auf getrennten Seiten einer Straße umfasst, können die Winkelinformationen der Leitplankenstrukturen berücksichtigt werden.
    Das vorgenannte Verfahren kann ferner ein Warnen eines Fahrers umfassen, wenn er sich der Leitplanke nähert.
  • Dementsprechend hat das Verfahren den weiteren Vorteil, dass das offenbarte Verfahren ein Spurhaltesystem oder/und Radar unterstützen kann, um den Straßenrand (genau) zu bestimmen, da die Leitplanke stets dem Straßenrand folgt oder umgekehrt. Die Erfindung betrifft auch ein Fahrerassistenzsystem zum Erkennen einer Leitplankenstruktur, umfassend:
    1. a. eine Kamera, die dazu betriebsfähig ist, eine Mehrzahl von Bildern aufzunehmen;
    2. b. einen Prozessor, der mit der Kamera wirkverbunden ist, wobei der Prozessor dazu betriebsfähig ist, die vorstehend in dem Verfahren definierten Vorgänge durchzuführen.
  • Das Fahrerassistenzsystem kann ferner ein Radar umfassen, und der Prozessor ist dazu betriebsfähig, die durch das Radar bereitgestellten Informationen zum Erzeugen einer Leitplankenkurve zu verwenden.
  • Die Erfindung betrifft auch ein Fahrzeug, welches das vorgenannte Fahrerassistenzsystem umfasst.
  • Das Fahrzeug kann ein Pkw, ein Motorrad oder ein Lkw sein. Die Erfindung betrifft auch ein computerimplementiertes Maschinenlernverfahren zum Bereitstellen eines Verfahrens, das bestimmt, dass ein Einzelbild eine Leitplankenstruktur umfasst:
    1. a. Bereitstellen markierter Datensätze wenigstens eines Einzelbildes von Leitplankenstrukturen in einer Datenbank und wenigstens einer Maschine, bei der es sich um ein Lernmodell handelt;
    2. b. Verarbeiten des wenigstens einen Einzelbildes, um Winkelgradientinformationen bezüglich Leitplankenstrukturen der Leitplanke zu extrahieren;
    3. c. Verwenden der Winkelgradientinformationen, um das Lernmodell zu trainieren, ein Einzelbild als eine Leitplankenstruktur innerhalb des Einzelbildes enthaltend zu klassifizieren.
  • Das Lernmodell kann jeder/s Ansatz, Verfahren oder Modell des maschinellen Lernens sein, beispielsweise eine Support Vector Machine, SVM, oder eine Adaptive Boosting Machine, AdaBoost.
  • Schritt b. des computerimplementierten Maschinenlernverfahrens kann ein Durchführen eines View-Oriented, Distributed, Cluster-Based Approach to Parallel Computing, VODCA, umfassen.
  • Die Erfindung betrifft auch ein Computersystem, das einen Speicher und einen Prozessor umfasst, wobei der Prozessor dazu betriebsfähig ist, die Vorgänge des vorgenannten computerimplementierten Maschinenlernverfahrens durchzuführen.
  • Figurenliste
    • 1 stellt sich wiederholende Muster innerhalb einer Leitplanke dar.
    • 2 zeigt eine Einzelstruktur der Leitplanke.
    • 3 zeigt Gradienten der Einzelstruktur der Leitplanke.
    • 4 zeigt eine Darstellung des Merkmals eines Deskriptors in Form eines Histogramms orientierter Gradienten (HoG) einer Leitplankenstruktur.
    • 5 zeigt ein Ablaufdiagramm des Trainings eines Maschinenlernalgorithmus zur Erkennung und Klassifizierung einer Leitplankenstruktur.
    • 6 zeigt die in einem Ausschnittsrechteck enthaltenen Winkelinformationen.
    • 7 zeigt eine auf dem Gaußschen Mischmodell beruhende Dichteverteilung für die in 6 dargestellten Winkelinformationen.
    • 8 zeigt die Anpassung eines Polynoms an erkannte Leitplankenstrukturen.
    • 9 betrifft ein Ablaufdiagramm für einen zweischrittigen Ansatz, umfassend: (1) die Erkennung von Leitplankenstrukturen mit einem Ansatz des maschinellen Lernens (S1-S5) und (2) Erzeugen eines Leitplankenmusters aus den erkannten Leitplankenstrukturen.
    • 10 beschreibt ein erfindungsgemäßes Computersystem.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Nachfolgend wird im Einzelnen auf die vorliegende Offenbarung eingegangen, die in den beigefügten Zeichnungen beispielhaft dargestellt ist, wobei gleiche Bezugszeichen durchgängig gleiche Elemente bezeichnen. Die Aspekte der Offenbarung werden nachstehend beschrieben, um die hier inbegriffenen Lehren unter Bezugnahme auf die Figuren zu erläutern.
  • Bevor die Offenbarung im Einzelnen erläutert wird, sollte klar sein, dass die Erfindung in ihrer Anwendung nicht auf die Details der Ausführung und die Anordnung der Komponenten beschränkt ist, die in der folgenden Beschreibung dargelegt oder in den Zeichnungen dargestellt sind. Die Erfindung kann andere Ausführungsformen annehmen oder auf verschiedene Weisen praktiziert oder ausgeführt werden. Es versteht sich auch, dass die Formulierung und Terminologie, die hier verwendet werden, der Beschreibung dienen und nicht als einschränkend angesehen werden sollten. Die unbestimmten Artikel „eine/r/s“ und die bestimmten Artikel „der/die/das“ beinhalten auch den entsprechenden Plural. Die Überschriften sind lediglich eingefügt, um das Verständnis der Erfindung zu unterstützen, und sollten nicht als den Inhalt der Abschnitte gegeneinander abgrenzend ausgelegt werden.
  • Erkennung von Leitplankenstrukturen
  • Leitplanken 101 sind lineare Strukturen, die am Straßenrand der Fernstraßen sowie an anderen Arten von Straßen 102 vorhanden sind.
  • Eine Leitplankenstruktur besteht aus sich wiederholenden Mustern, die in 1 als T1, T2....T6 gezeigt sind. Dabei ist es wichtig zu verstehen, dass N derartige sich wiederholende Muster mithilfe einer Kamera (z. B. einer Monokamera) gefunden werden können.
  • Das sich wiederholende Muster einer Leitplanke, das hier als Leitplankenstruktur (z. B. T1-T6 in 1) bezeichnet wird, kann aus zwei Teilen bestehen, nämlich einem vertikalen Teil, VP, und einem nicht vertikalen Teil, NVP, die in 2 gezeigt sind.
  • Ein digitales Bild der Leitplankenstruktur kann verarbeitet werden, um den Winkelgradienten oder einen ähnlichen Merkmalsdeskriptor des Bildes bereitzustellen (wie in 3 gezeigt). Diese Deskriptoren können zur Erkennung derartiger Strukturen verwendet werden. Beispielsweise zeigt 4 die gleiche Leitplankenstruktur wie in den 2 und 3, aber visualisiert mit einem Deskriptor der Leitplankenstruktur in Form eines Histogramms orientierter Gradienten, HoG. Winkelgradientdeskriptoren (z. B. HoG, Kantenorientierungshistogramme, auf skaleninvarianter Merkmalstransformation beruhende Deskriptoren und Formkontexte) können verwendet werden, weil die durch die Winkelgradientdeskriptoren bereitgestellten Winkelinformationen das Objekt umfassend beschreiben.
  • Trainings-Maschinenlernalgorithmus zur Erkennung von Leitplankenstrukturen
  • Die vorstehend beschriebenen, bezüglich der Leitplankenstruktur bereitgestellten Winkelgradientdeskriptoren können verwendet werden, um einen Trainings-Maschinenlernalgorithmus zur Erkennung von Leitplankenstrukturen bereitzustellen. Das erhaltene trainierte Maschinenlernmodell ist in der Lage, Leitplanken und/oder Leitplankenstrukturen in einem Bild zu erkennen und zu klassifizieren.
  • Das Verfahren zum Trainieren eines Maschinenlernalgorithmus zur Erkennung von Leitplankenstrukturen ist in 5 dargestellt. Das Verfahren kann computerimplementiert sein und durch jedes geeignete Computersystem, wie etwa einen Personal Computer, einen Laptop, einen Großrechner oder jedes andere System, das wenigstens einen Prozessor und einen Speicher umfasst, durchgeführt werden. Das Trainingsverfahren und -system muss nicht Teil eines in einem Fahrzeug enthaltenen Fahrerassistenzsystems sein, das Training kann also „offline“, d. h. wenn das Verfahren oder System gerade nicht als Fahrerassistenzverfahren oder -system arbeitet, durchgeführt werden. „Online“ bezeichnet den Echtzeitbetrieb eines Fahrerassistenzverfahrens oder -systems, d. h. das Verfahren oder System versucht, Leitplankenstrukturen und/oder Leitplanken während des Fahrens eines Fahrzeugs zu erkennen.
  • Das Verfahren kann die folgenden Schritte beinhalten: Datensätze werden bereitgestellt, S501, und zwar in einer Datenbank, die Beispiele für Leitplanken und/oder Leitplankenstrukturen, d. h. wenigstens ein bekannte Leitplankenstrukturen umfassendes digitales Bild, enthält. Die Datenbank kann einzelne digitale Bilder von Leitplankenstrukturen oder Folgen von Leitplankenstrukturen abbildenden Einzelbildern (z. B. Videos) enthalten. Die Datensätze können markiert sein, um die in dem digitalen Bild abgebildete Leitplankenstruktur anzugeben und um unterschiedliche Leitplankenstrukturen anzugeben.
  • Die Datensätze können verwendet werden, um unter Verwendung der vorstehend beschriebenen Winkelgradientdeskriptoren die Winkelgradientmerkmale zu extrahieren, S502. Die Winkelgradientdeskriptoren können in ein auf überwachtem Lernen basierendes Erkennungssystem eingegeben werden. Das Erkennungssystem kann beispielsweise ein Lernmodell oder Klassifikator sein, wie etwa eine Support Vector Machine, SVM, oder eine Adaptive Boosting Machine, AdaBoost. Das Ergebnis des Verfahrens ist ein trainierter Klassifikator, S503, der in der Lage ist, eine Liste von in einem Einzelbild vorhandenen Leitplankenstrukturen bereitzustellen. Das Verfahren kann auch einen Nachverfolgungsschritt umfassen, in dem die erkannte Struktur nachverfolgt wird und der in der Lage ist, ein Begrenzungs- oder Ausschnittsrechteck um die Leitplankenstruktur herum bereitzustellen.
  • Fahrerassistenzverfahren und -system
  • Verfahren und System zum Erkennen von Leitplanken
  • Dieses/r trainierte Modell oder Klassifikator kann verwendet werden, um Leitplankenstrukturen in einem digitalen Bild online zu erkennen. Wenn das/der trainierte Modell oder Klassifikator online angewendet wird, können wenigstens zwei nachverfolgte Schutzstrukturen erkannt werden. Diese Strukturen können unter Verwendung eines Clustering-Algorithmus als richtig positive Leitplankenstrukturen validiert werden, und falsch positive erkannte Leitplankenstrukturen werden also ggf. entfernt. Ferner kann ein Clustering-Algorithmus verwendet werden, um die Verteilung der Winkel der klassifizierten Leitplankenstrukturen zu bestimmen.
  • Insbesondere kann das Verfahren oder System auch einen Schritt zum Entfernen falsch positiver Leitplankenstrukturen umfassen.
    Wie nachfolgend angegeben:
    Falsch positive Ergebnisse können entfernt werden, indem ein Clustering-Algorithmus angewendet wird. Der Clustering-Algorithmus kann ein Gaußsches Mischmodell (z. B. ein eindimensionales Gaußsches Mischmodell, GMM-1D) oder ein K-Means sein.
  • Dieser Schritt kann auf folgende Weise durchgeführt werden: Um falsch positive Ergebnisse zu entfernen, kann eine Plausibilitätsprüfung angewendet werden. Dies kann durch Verwenden der folgenden Verfahrensschritte erreicht werden. Es kann ein Tracker verwendet werden, um die erkannten Strukturen nachzuverfolgen. Es kann eine Leitplankenstruktur (zur Weiterverarbeitung) berücksichtigt werden. Die Track-Längen können mehr als eins betragen. Track-Länge bezeichnet die Anzahl der Vorkommen eines Objekts, das für einen gegebenen Track erkannt wurde. Im vorliegenden Fall sind diese Objekte die potenziellen Leitplankenstrukturen einer Leitplanke, d. h. die Objekte wurden noch keiner Plausibilitätsprüfung unterzogen.
    Von dem Klassifikator des trainierten Maschinenlernverfahrens kann/können (ein) Begrenzungsrechteck(e) erhalten werden, das/die richtig positive Leitplankenstrukturen enthält/enthalten. Dann können aus dem Kantenbild jenes Bereichs in dem Begrenzungsrechteck (ähnlich den Rechtecken T1-T6 von 1; 6 zeigt den Inhalt eines Begrenzungsrechtecks) Richtungsgradientinformationen extrahiert werden.
    Da eine Leitplankenstruktur aus einer NVP- und einer VP-Komponente besteht (vgl. 2 und 6), kann man in der Richtungsgradientbeschreibung beispielsweise eine Null-Grad- oder Nahe-Null-Grad-Kante für die VP-Komponente erhalten, wie in 6 gezeigt. Hier kann die NVP-Kantenkomponente zu Nicht-Null-Winkelgradientinformationen beitragen.
  • Richtungsgradientinformationswerte können dann einem Clustering-Algorithmus, wie vorstehend definiert, zugeführt werden. Es können also 2D-Winkelinformationen in eine zeilendominierte Matrix oder jedes geeignete Verfahren umgewandelt werden, um 1D-Daten zu erhalten. Aus der auf dem Clustering-Algorithmus, z. B. GMM, beruhenden Verteilung werden m Gauß-Kerne mit höchster Wahrscheinlichkeit zur weiteren Analyse ausgewählt. Eine der Gauß-Verteilungen kann der VP-Komponente entsprechen, und die andere bezieht sich auf die NVP-Komponente.
  • Beispielsweise wird m bestimmt, indem ein Schwellenwert, T, festgelegt wird, und es können alle über dem vorgegebenen Schwellenwert, T, liegenden Gauß-Verteilungen berücksichtigt werden.
  • Für einen beispielhaften Ausschnitt, der in 6 gezeigt ist, wird in 7 das Ergebnis des GMM-Clusterings für n = 4 (n ist die Anzahl der Gauß-Kerne) gezeigt. Tabelle 1
    Kurve Nr. Mittel, µ Spanne, σ
    1 -110,76 35, 60
    2 -19,16 20,01
    3 2,46 5,08
    4 94,54 39,51
  • Tabelle 1 zeigt das Mittel und die Spanne für die Leitplankenstruktur, die in 7 dargestellt sind. Man beachte, dass Tabelle 1 lediglich dazu dient, die Erfindung zu veranschaulichen und zu erläutern. Aus 7 und der entsprechenden Tabelle 1 ist zu erkennen, dass der Gradient Komponenten (auch Kerne genannt) aufweist, die sich bei den Mittelwerten zentrieren, zusammen mit einer durch Sigma angegebenen Spanne. Es ist zu erkennen, dass das Fenster zwei Spitzen mit hoher Dichte enthält, nämlich c3 und c2 bei 2,46 Grad bzw. -19,16 Grad.
  • Ferner besteht eine Überlappung zwischen diesen Komponenten, sie können also als eine Komponente angesehen werden. Die beiden anderen Komponenten, d. h. c1 und c4, stellen ein Paar einer Line in der [-180, 180]-Kreisdarstellung dar. Diese beiden Komponenten gehören zu der Leitplankenstruktur und ihr Winkel kann bestimmt werden.
  • Hier kann eine Plausibilitätsprüfung angewendet werden, um (ein) falsch positive(s) Leitplankenstrukturen/Begrenzungsrechteck abzulehnen, indem beispielsweise die GMM-Verteilung geprüft wird. Einer des Mittelwerts des Kerns (von allen) muss möglicherweise 0° ±Δ betragen (wobei Δ ein vorgegebener Schwellenwert ist). Andernfalls kann das erkannte Rechteck abgelehnt werden.
  • Der gleiche Vorgang kann bezüglich jeder (durch ein Ausschnittsrechteck nachverfolgten) erkannten Leitplankenstruktur durchgeführt werden. Es kann jedoch jedes geeignete Tracking-Verfahren verwendet werden, wenn das erfindungsgemäße Verfahren durchgeführt wird (z. B. ein Kalman-Filter). Aus diesen Leitplankenstrukturen kann man NVP-Winkelinformationen, d. h. das Mittel, µ, extrahieren, wie vorstehend beschrieben. Diese Mittelwerte können relevant sein, weil die NVP-Komponente zur Kontinuität zwischen den Leitplankenstrukturen beiträgt, wie nachstehend erläutert.
  • Erzeugen eines Leitplankenmusters aus den erkannten Leitplankenstrukturen
  • Um ein Leitplankenmuster zu bestimmen, muss man eine einen Satz von Punkten durchlaufende Kurve zeichnen (d. h. jede Leitplankenstruktur trägt für diesen Zweck einen Punkt bei). Dieser Punkt kann als Schnittpunkt der NVP-Gradientenlinien in einem erkannten Rechteck erhalten werden.
  • Dann wird unter Berücksichtigung der winkelmäßigen Ausrichtung des NVP-Teils der erkannten Strukturen, insbesondere des NVP, eine (z. B. polynomische) Kurve die Leitplankenstrukturen durchlaufend angepasst.
  • Optional kann eine Kontinuitätsprüfung durchgeführt werden. Es können Winkelinformationen (d. h. µ) mit einer Spanne (d. h. σ) erhalten werden, wie vorstehend erläutert. Damit lässt sich die geplottete/gezeichnete Linie unter Berücksichtigung der Informationen bezüglich des Winkels des NVP (innerhalb von σ) der jeweiligen Leitplankenstrukturen anpassen. Es kann also eine glatte Linie 801 bereitgestellt werden, die, z. B. in einem Bild, das eine Straße 802 enthält (siehe 8), visualisiert werden kann oder für eine andere Anwendung bereitgestellt werden kann.
  • Das Zeichnen einer Kurve unter Berücksichtigung des Winkel der NVP-Komponente gewährleist die Robustheit des vorgeschlagenen Algorithmus in Szenarien, die eine Leitplanke auf beiden Seiten einer Straße umfassen. In einem derartigen Szenario kann das Fahrerassistenzsystem oder -verfahren Leitplankenstrukturen auf beiden Seiten erkennen. In diesen Szenarien ergeben das offenbarte Verfahren und System unterschiedliche NVP-Werte für die auf der linken und rechten Seite der Straße gefundenen Leitplankenstrukturen. Im Ergebnis lassen sich mit dem offenbarten Verfahren und System zwei Leitplanken gleichzeitig in einem gegebenen Einzelbild erkennen oder/und zeichnen.
  • 9 gibt einen Überblick über die Schritte des offenbarten Fahrerassistenzsystems und -verfahrens.
  • Im Schritt S901 wird ein Einzelbild (d. h. ein Bild oder ein Einzelbild eines Videos) eingegeben. Der/das trainierte Maschinenlernalgorithmus oder -verfahren wird für das Einzelbild angewendet, S902, und erkennt die Leitplankenstruktur. Dann werden die Leitplankenstrukturen der Leitplanke mit einem geeigneten Tracking-Verfahren (z. B. einem Kalman-Filter) verfolgt, und es wird ein Ausschnittsrechteck zur Weiterverarbeitung bereitgestellt (extrahiert). Aus den in dem Ausschnittsrechteck enthaltenen Informationen werden Winkelinformationen bezüglich der Strukturen in dem Ausschnittsrechteck erhalten, darunter Winkelinformationen bezüglich des NVP, S903. Optional kann ein Gruppieren in Clustern erfolgen, um falsch positive Ergebnisse zu entfernen, S904. Es werden Informationen bezüglich des NVP-Winkels erhalten und bereitgestellt, S905. Eine (z. B. polynomische) Kurve kann unter Berücksichtigung der erhaltenen NVP-Winkelinformationen die jeweilige Leitplankenstruktur durchlaufend angepasst werden.
  • 10 beschreibt ein Computersystem 1000 zum Durchführen des erfindungsgemäßen Verfahrens zum Erzeugen eines Leitplankenmusters. Das Computersystem umfasst eine Kamera 1002 zum Aufnehmen des Einzelbildes, das in dem Prozessor 1001 verarbeitet wird. Das System 1000 umfasst optional einen Speicher zum Speichern der erfassten und verarbeiteten Daten.
  • Das erfindungsgemäße computerimplementierte Maschinenlernverfahren kann in demselben System durchgeführt werden, aber in diesem Fall ist die Kamera 1002 optional.
  • Das erfindungsgemäße Computersystem kann ein Personal Computer, eine anwendungsspezifische integrierte Schaltung, application-specific integrated circuit - ASIC, oder ein Field Programmable Gate Array, FPGA, sein.
  • Bezugszeichenliste
  • 101
    Leitplanke
    T1-T6
    Leitplankenstrukturen
    102
    Straße
    S501
    markierte Datenbank für Leitplankenstrukturen bereitstellen
    S502
    Winkelgradientmerkmale extrahieren
    S503
    Klassifizierungsschritt
    801
    gezeichnete Kurve
    802
    Straße
    S901
    Einzelbild eingeben
    S902
    Maschinenlernalgorithmus zur Erkennung von Leitplankenstrukturen anwenden
    S903
    Winkelinformationen aus Ausschnitt extrahieren
    S904
    Clustering anwenden
    S905
    Winkelinformationen bezüglich des nicht vertikalen Abschnitts extrahieren
    S905
    unter Berücksichtigung nicht vertikaler Winkelinformationen (Polynom-)Anpassen durchführen
    1000
    Computersystem
    1001
    Prozessor
    1002
    Kamera

Claims (19)

  1. Computerimplementiertes Verfahren zum Erzeugen eines Leitplankenmusters, umfassend: a. Aufnehmen eines Einzelbildes mit einer Kamera; b. Bestimmen, dass das Einzelbild wenigstens zwei Leitplankenstrukturen einer Leitplanke umfasst, und Nachverfolgen der Leitplankenstruktur in dem Einzelbild mit einem Ausschnittsrechteck, wobei die Leitplankenstruktur einen nicht vertikalen Abschnitt, non-vertical portion - NVP, und einen vertikalen Abschnitt, vertical portion - VP, umfasst; c. Verarbeiten der Informationen des Ausschnittsrechtecks, um Winkelgradientinformationen bezüglich einer der nachverfolgten Leitplankenstrukturen zu extrahieren; d. Gruppieren der Winkelgradientinformationen in Clustern mit einem Clustering-Verfahren, das Informationscluster bezüglich der Winkel der Komponenten des Ausschnittsrechtecks ergibt; e. Extrahieren von Informationen bezüglich des nicht vertikalen Abschnitts, NVP, des Ausschnittsrechtecks; f. Wiederholen der Schritte c.-e., bis alle nachverfolgten Leitplankenstrukturen diesen Schritten unterzogen wurden; und g. Anpassen einer die NVPs der nachverfolgten Leitplankenstrukturen durchlaufenden Kurve.
  2. Verfahren nach Anspruch 1, wobei die Winkelgradientinformationen extrahiert werden, indem ein Winkelgradientdeskriptor der wenigstens zwei Leitplankenstrukturen, vorzugsweise ein Deskriptor in Form eines Histogramms orientierter Gradienten, bereitgestellt wird, der Gradientenlinien des vertikalen Teils und des nicht vertikalen Teils der Einzelstruktur der Leitplanke und Informationen bezüglich der winkelmäßigen Ausrichtung des nicht vertikalen Teils gegenüber einer Bezugsbasis bereitstellt.
  3. Verfahren nach einem vorangehenden Anspruch, wobei die Winkelgradientinformationen extrahiert werden, indem ein View-Oriented, Distributed, Cluster-Based Approach to Parallel Computing, VODCA, durchgeführt wird.
  4. Verfahren nach einem der vorangehenden Ansprüche, wobei Schritt g) ein Interpolieren einer die erkannten Leitplankenstrukturen durchlaufenden Kurve umfasst, um eine durchgehende Kurve zu erhalten, die eine Leitplanke darstellt.
  5. Verfahren nach einem vorangehenden Anspruch, wobei die Kurve eine die Schnittpunkte der Gradientenlinien des NVP der wenigstens zwei Leitplankenstrukturen durchlaufende Polynomkurve ist.
  6. Verfahren nach einem vorangehenden Anspruch, wobei Schritt d. einen Mittelwert, µ, und eine entsprechende Spanne, σ, für jeden nicht vertikalen Teil bereitstellt; und die Spanne verwendet wird, um die Anpassung der Kurve zu optimieren.
  7. Verfahren nach einem der vorangehenden Ansprüche, wobei Schritt d. ferner ein Entfernen falsch positiver Leitplankenstrukturen umfasst.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei das Nachverfolgen der erkannten Leitplankenstrukturen mit einem geeigneten Tracking-Algorithmus oder -Verfahren, insbesondere einem Kalman-Filter, durchgeführt wird.
  9. Verfahren nach einem vorangehenden Anspruch, wobei bestimmt wird, dass das Einzelbild zwei Leitplankenstrukturen auf getrennten Seiten einer Straße umfasst, und/oder zwei Kurven erzeugt werden.
  10. Verfahren nach Anspruch 9, wobei bestimmt wird, dass das Einzelbild zwei Leitplankenstrukturen auf getrennten Seiten einer Straße umfasst, indem die Winkelinformationen bezüglich der Leitplankenstrukturen berücksichtigt werden.
  11. Verfahren nach einem vorangehenden Anspruch, das ferner ein Warnen eines Fahrers umfasst, wenn er sich der Leitplanke nähert.
  12. Fahrerassistenzsystem (1000) zum Erkennen einer Leitplankenstruktur, umfassend: a. eine Kamera (1002), die dazu betriebsfähig ist, eine Mehrzahl von Bildern aufzunehmen; b. einen Prozessor (1001), der mit der Kamera wirkverbunden ist, wobei der Prozessor dazu betriebsfähig ist, die in den vorangehenden Ansprüchen definierten Vorgänge durchzuführen.
  13. Fahrerassistenzsystem nach Anspruch 12, das ferner ein Radar umfasst, wobei der Prozessor dazu betriebsfähig ist, die durch das Radar bereitgestellten Informationen zum Erzeugen einer Leitplankenkurve zu verwenden.
  14. Fahrzeug, welches das Fahrerassistenzsystem nach einem der Ansprüche 12 oder 13 umfasst.
  15. Fahrzeug nach Anspruch 14, wobei das Fahrzeug ein Pkw, ein Motorrad oder ein Lkw ist.
  16. Computerimplementiertes Maschinenlernverfahren zum Bereitstellen eines Verfahrens, das bestimmt, dass ein Einzelbild eine Leitplankenstruktur umfasst: a. Bereitstellen markierter Datensätze wenigstens eines Einzelbildes von Leitplankenstrukturen in einer Datenbank und wenigstens einer Maschine, bei der es sich um ein Lernmodell handelt; b. Verarbeiten des wenigstens einen Einzelbildes, um Winkelgradientinformationen bezüglich Leitplankenstrukturen der Leitplanke zu extrahieren; c. Verwenden der Winkelgradientinformationen, um das Lernmodell zu trainieren, ein Einzelbild als eine Leitplankenstruktur innerhalb des Einzelbildes enthaltend zu klassifizieren.
  17. Verfahren nach Anspruch 16, wobei das Lernmodell eine Support Vector Machine, SVM, oder eine Adaptive Boosting Machine, AdaBoost, oder jeder geeignete Ansatz des maschinellen Lernens ist.
  18. Verfahren nach den Ansprüchen 16 oder 17, wobei Schritt b. ein Durchführen eines View-Oriented, Distributed, Cluster-Based Approach to Parallel Computing, VODCA, umfasst.
  19. Computersystem (1000), das einen Speicher (1003) und einen Prozessor (1001) umfasst, wobei der Prozessor dazu betriebsfähig ist, die in einem der Ansprüche 1-11 oder 16-18 definierten Vorgänge durchzuführen.
DE102017212418.0A 2017-07-20 2017-07-20 Fahrerassistenzsystem und -verfahren zur leitplankenerkennung Pending DE102017212418A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102017212418.0A DE102017212418A1 (de) 2017-07-20 2017-07-20 Fahrerassistenzsystem und -verfahren zur leitplankenerkennung
CN201810787842.4A CN109284664B (zh) 2017-07-20 2018-07-18 驾驶员辅助系统和护栏检测方法
JP2018135652A JP7164342B2 (ja) 2017-07-20 2018-07-19 運転者支援システム及びガードレール検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017212418.0A DE102017212418A1 (de) 2017-07-20 2017-07-20 Fahrerassistenzsystem und -verfahren zur leitplankenerkennung

Publications (1)

Publication Number Publication Date
DE102017212418A1 true DE102017212418A1 (de) 2019-01-24

Family

ID=64951408

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017212418.0A Pending DE102017212418A1 (de) 2017-07-20 2017-07-20 Fahrerassistenzsystem und -verfahren zur leitplankenerkennung

Country Status (3)

Country Link
JP (1) JP7164342B2 (de)
CN (1) CN109284664B (de)
DE (1) DE102017212418A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110068321A (zh) * 2019-03-27 2019-07-30 清华大学 定点降落标志的uav相对位姿估计方法
CN113344874A (zh) * 2021-06-04 2021-09-03 温州大学 一种基于高斯混合建模的行人越界检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241900B (zh) * 2019-04-12 2021-02-05 宁夏爱特云翔信息技术有限公司 交通环境现场维护方法
KR102628027B1 (ko) 2019-09-10 2024-01-24 주식회사 에이치엘클레무브 객체 인식 장치 및 그 방법
CN111081033B (zh) * 2019-11-21 2021-06-01 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN112446314B (zh) * 2020-11-19 2022-07-29 武汉中海庭数据技术有限公司 一种基于投影图提取护栏高程的方法及系统
CN117090133A (zh) * 2023-08-23 2023-11-21 青岛迪乐普精密机械有限公司 一种护栏及其检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6533249B2 (en) * 1999-09-23 2003-03-18 Icom Engineering, Inc. Guardrail beam with improved edge region and method of manufacture
JP4624000B2 (ja) * 2004-05-07 2011-02-02 有限会社パワーサプライ 複合人工知能装置
US20060041448A1 (en) * 2004-08-20 2006-02-23 Patterson Robbie L Number of new and unique manufacturing and assembley methods and processes to cost effectively refit and market legacy implements like "The Gilhoolie" presently names "The Wili Grip" TM
JP4811201B2 (ja) * 2005-12-06 2011-11-09 日産自動車株式会社 走路境界線検出装置、および走路境界線検出方法
JP2011010010A (ja) * 2009-06-25 2011-01-13 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
JP2011243154A (ja) 2010-05-21 2011-12-01 Mitsubishi Electric Corp 車両検出装置及び車両検出方法
EP2963633A4 (de) 2013-02-27 2016-12-07 Hitachi Automotive Systems Ltd Objektsensor
JP5888275B2 (ja) 2013-03-29 2016-03-16 アイシン・エィ・ダブリュ株式会社 道路端検出システム、方法およびプログラム
CN103226835B (zh) * 2013-04-15 2016-01-27 北京大学深圳研究生院 基于在线初始化梯度增强回归树的目标跟踪方法及系统
JP6295859B2 (ja) 2014-07-08 2018-03-20 株式会社デンソー 車載システム、情報処理装置、及びプログラム
FR3035725B1 (fr) * 2015-04-28 2018-06-01 Bluecime Procede de detection de position de gardecorps de nacelles de telesiege par analyse d'image
CN105488811B (zh) * 2015-11-23 2018-06-12 华中科技大学 一种基于深度梯度的目标跟踪方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHARWACHTER, Timo; SCHULER, Manuela; FRANKE, Uwe. Visual guard rail detection for advanced highway assistance systems. In: Intelligent Vehicles Symposium Proceedings, 2014 IEEE. IEEE, 2014. S. 900-905. DOI: 10.1109/IVS.2014.6856573 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110068321A (zh) * 2019-03-27 2019-07-30 清华大学 定点降落标志的uav相对位姿估计方法
CN110068321B (zh) * 2019-03-27 2020-04-24 清华大学 定点降落标志的uav相对位姿估计方法
CN113344874A (zh) * 2021-06-04 2021-09-03 温州大学 一种基于高斯混合建模的行人越界检测方法
CN113344874B (zh) * 2021-06-04 2024-02-09 温州大学 一种基于高斯混合建模的行人越界检测方法

Also Published As

Publication number Publication date
CN109284664B (zh) 2023-10-27
JP7164342B2 (ja) 2022-11-01
CN109284664A (zh) 2019-01-29
JP2019021317A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
DE102017212418A1 (de) Fahrerassistenzsystem und -verfahren zur leitplankenerkennung
DE102014214448B4 (de) Vorrichtung und Verfahren zur Erkennung eines Verkehrszeichens
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE60030377T2 (de) Kennzeichenschilderkennung mit einer intelligenten Kamera
EP2467828B1 (de) Verfahren und system zur automatischen objekterkennung und anschliessenden objektverfolgung nach massgabe der objektform
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102017220896A1 (de) Verfahren und Vorrichtung zur Sicherheitskontrolle
CN104299009B (zh) 基于多特征融合的车牌字符识别方法
DE112010003914T5 (de) Verfahren und Vorrichtung zur Erkennung von Müdigkeit am Steuer sowie ein Fahrzeug
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE112016006386T5 (de) Fahrzeugseitige vorrichtung, warnungsausgabeverfahren und warnungsausgabeprogramm
Prates et al. Brazilian license plate detection using histogram of oriented gradients and sliding windows
DE102014226076A1 (de) Verfahren und Vorrichtung für die Erkennung von Passanten
DE102015208139A1 (de) Fahrzeuginsassenerfassung mittels des Abstands zwischen Beifahrer- und Fahrermerkmalen
DE102014117102A1 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102018129993A1 (de) Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür
Zhou et al. Vehicle classification using transferable deep neural network features
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE102012218870A1 (de) Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern
DE112017001951T5 (de) Vorrichtung und verfahren zur objekterkennung bezüglich eines eingangsbildes für ein fahrzeug
DE102017220752A1 (de) Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm
EP2756458A1 (de) Maschinelles lernverfahren zum maschinellen erlernen von erscheinungsformen von objekten in bildern
EP2549408A1 (de) Verfahren zur Detektion und Klassifikation von Objekten
DE102017215138A1 (de) Verfahren und Vorrichtung zum Erkennen ergänzender Verkehrszeichen

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE