DE102017214300A1 - System und Verfahren zum Erkennen einer Fahrspur - Google Patents

System und Verfahren zum Erkennen einer Fahrspur Download PDF

Info

Publication number
DE102017214300A1
DE102017214300A1 DE102017214300.2A DE102017214300A DE102017214300A1 DE 102017214300 A1 DE102017214300 A1 DE 102017214300A1 DE 102017214300 A DE102017214300 A DE 102017214300A DE 102017214300 A1 DE102017214300 A1 DE 102017214300A1
Authority
DE
Germany
Prior art keywords
lane
vector
neurons
input
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017214300.2A
Other languages
English (en)
Inventor
Shinwook KIM
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HL Klemove Corp
Original Assignee
Mando Hella Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mando Hella Electronics Corp filed Critical Mando Hella Electronics Corp
Publication of DE102017214300A1 publication Critical patent/DE102017214300A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163Partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein System und ein Verfahren zur Fahrspurerkennung werden offenbart. Das Fahrspurerkennungssystem nach einem Ausführungsbeispiel der vorliegenden Erfindung enthält: einen Bildsensor zum Aufnehmen eines eine Fahrspur aufweisenden Bilds; ein neuromorphes System, in welchem mehrere Neuronen, in denen ein auf Fahrspurinformationen bezogener Mustervektor gespeichert ist, durch einen parallelen Bus verbunden sind; und eine Fahrspurerkennungseinheit zum Erzeugen von Eingangsvektoren der Größe [1 x N] einer vorbestimmten Größe für einen interessierenden Bereich des Eingangsbildrahmens, der von dem Bildsensor eingegeben wurde, zum Eingeben des erzeugten Vektors zu dem neuromorphen System, und zum Erkennen einer Fahrspur in dem Eingangsbild auf der Grundlage von Fahrspurinformationen eines Neurons mit einem Mustervektor, der unter mehreren in dem System gespeicherten Neuronen einem Eingangsvektor am ähnlichsten ist.

Description

  • [Technisches Gebiet]
  • Die vorliegende Offenbarung bezieht sich auf ein System und ein Verfahren zur Fahrspurerkennung und insbesondere auf ein System und ein Verfahren zur Fahrspurerkennung zum Erkennen einer Fahrspur durch Analysieren eines durch eine Kamera aufgenommenen Straßenbilds.
  • [Stand der Technik]
  • Im Allgemeinen ist die genaue Erkennung von Fahrspuren ein wesentliches Element für die Implementierung von fortgeschrittenen Fahrerunterstützungssystemen (ADAS) und die Realisierung von autonomen Fahrzeugen. In den meisten Fällen wird das Straßenbild erhalten durch Befestigen der auf einem Sichtsensor basierenden Kamera auf der Vorderseite des Fahrzeugs, und die Fahrspur wird durch den Bildverarbeitungsprozess erfasst. Die Ergebnisse der Fahrspurerkennung können für ein Spurabweichungs-Warnsystem (LDWS), ein Spurhalte-Unterstützungssystem, usw. verwendet werden.
  • Es wurden mehr Untersuchungen durchgeführt für eine genaue und robuste Erkennung der Fahrspur, die diese wichtigen Informationen liefert. Das weitestgehend repräsentative Verfahren für eine Fahrspurerfassung ist ein Verfahren zum Herausziehen gerader Linienkomponenten einer bestimmten oder größeren Länge in dem Bild durch Verwenden der Hough-Transformation nach dem Herausziehen der Kanten aus einem Eingangsbild.
  • Jedoch wurden in dem Fall der Hough-Transformation verschiedene Versuche vorgeschlagen, um aufgrund der großen Rechenlast einen zu berechnenden Bereich soweit wie möglich zu verkleinern. Mit anderen Worten, durch Verwendung der Helligkeitscharakteristiken des Fahrspurbereichs oder durch Analysieren der Farbinformationen der Fahrspur wird vorgeschlagen, die Verarbeitungszeit zu verbessern, indem dieser als der interessierende Bereich (ROI) gesetzt und der beschränkte Bereich untersucht wird.
  • Die Ergebnisse der Fahrspurerkennung werden von der Anwendung des Spline-Verfahrens, der Fehlerquadratmethode oder des RANSAC (RANdom SAmple Consensus)-Verfahrens abgeleitet.
  • Das Ergebnis der Fahrspurerkennung wird verwendet, um die Fahrspurgleichungen aus den Gleichungen dritter oder höherer Ordnung durch das Verfahren unter Verwendung der Anwendung des Spline- oder Fehlerquadrat-Verfahrens oder RANSAC, usw. abzuleiten.
  • Jedoch sind trotz der Versuche zur Reduzierung der Rechenlast für Echtzeitverarbeitung durch eine große Anzahl herkömmlicher Studien aufgrund der Empfindlichkeit bei Umfeld- und Beleuchtungsänderungen, die ein Bildsensor aufweist, zusätzliche Nachverarbeitungsalgorithmen erforderlich, die eine Echtzeitverarbeitung der Fahrspurerkennung in einem eingebetteten Umfeld schwieriger machen.
  • [Dokument des Standes der Technik]
  • Koreanische Patentregistrierungsveröffentlichung Nr. 10-1584907
  • 2015 IEEE Symposium Series on Computational Intelligence, Neuromorphic Hardware Accelerated Adaptive Authentication System, Manan Suri, Vivek Parmar, Akshay Singla, Rishabh Malviya, Surag Nair.
  • [Offenbarung]
  • [Technisches Problem]
  • Ein Ausführungsbeispiel der vorliegenden Offenbarung dient dazu, ein System und ein Verfahren zur Fahrspurerkennung zum wirksameren Erkennen von Fahrspuren in einem durch eine Kamera aufgenommenen Straßenbild unter Verwendung eines neuromorphen Systems anzugeben.
  • [Technische Lösung]
  • Gemäß einem Aspekt der vorliegenden Offenbarung kann vorgesehen sein: ein Bildsensor zum Aufnehmen eines Bilds mit einer Fahrspur; ein neuromorphes System, bei dem mehrere Neuronen, in denen ein Mustervektor, der auf eine Fahrspurinformation bezogen ist, gespeichert ist, durch einen parallelen Bus verbunden sind; und ein Fahrspurerkennungssystem aufweisend eine Fahrspurerkennungseinheit zum Erzeugen eines Vektors mit einer Größe von [1 × N] eines Fensters einer vorbestimmten Größe mit Bezug auf einen interessierenden Bereich (ROI) des von dem Bildsensor eingegebenen Bildrahmens, zum Eingeben des erzeugten Vektors in das neuromorphe System, und zum Erkennen einer Fahrspur in dem Eingangsbild auf der Grundlage von Fahrspurinformationen eines Neurons, das unter mehreren in dem System gespeicherten Neuronen einen Mustervektor hat, der einem Eingangsvektor am ähnlichsten ist.
  • Zusätzlich kann der Mustervektor, der auf zumindest eine von einer Fahrspurfarbe und einer Fahrspurform bezogene Fahrzeuginformationen aufweist, vorher in den mehreren Neuronen gespeichert werden.
  • Auch verbreitet das neuromorphe System gleichzeitig den Eingangsvektor zu mehreren Neuronen innerhalb des Systems durch den parallelen Bus, vergleicht den Eingangsvektor mit dem Mustervektor, der in den mehreren Neuronen gespeichert ist, um das Neuron mit dem kleinsten relativen Abstandswert zu erhalten, und gibt den Kategoriewert des ausgewählten Neurons zu der Fahrspurerkennungseinheit aus; und die Fahrspurerkennungseinheit kann die Fahrspur in dem Eingangsbild auf der Grundlage der von dem neuromorphen System ausgegebenen Kategoriewerte erkennen.
  • Gemäß einem anderen Aspekt der vorliegenden Offenbarung weist ein Fahrspurerkennungsverfahren auf:
  • Empfangen eines Bildrahmens, der eine Fahrspur aufweist; Erzeugen von Eingangsvektoren einer Größe von [1 × N] einer vorbestimmten Größe für einen interessierenden Bereich des Eingangsbildrahmens; Eingeben des erzeugten Vektors in ein neuromorphes System, in welchem die mehreren Neuronen, die auf Fahrspurinformationen bezogene Mustervektoren speichern, durch einen parallelen Bus verbunden sind; und Erkennen einer Fahrspur in dem Eingangsbild unter Verwendung von Fahrspurinformationen des Neurons, das unter den mehreren in dem neuromorphen System gespeicherten Neuronen einen Mustervektor hat, der dem Eingangsvektor am ähnlichsten ist.
  • Auch wird bei der Fahrspurerkennung der Eingangsvektor gleichzeitig zu den mehreren Neuronen über den parallelen Bus verbreitet und der Eingangsvektor und der Mustervektor, der in den mehreren Neuronen gespeichert ist, werden verglichen, um das Neuron auszuwählen, das den kleinsten relativen Abstandswert hat, und der Kategoriewert des ausgewählten Neurons wird ausgegeben, und die Fahrspur kann in dem Eingangsbild unter Verwendung der ausgegebenen Kategoriewerte erkannt werden.
  • [Vorteilhafte Wirkungen]
  • Das Ausführungsbeispiel der vorliegenden Offenbarung kann wirksamer die Fahrspur erkennen, da die Farbe und die Form der Fahrspur durch Verwendung des neuromorphen Systems erkannt werden, in welchem verschiedene Farben und Formen der Fahrspur in der Musterform gespeichert sind.
  • Ausführungsbeispiele der vorliegenden Offenbarung können die Rechenlast im Vergleich zu dem herkömmlichen Verfahren verringern, Fahrspurformen wie eine ausgezogene Linie/strichlierte Linie, Fahrspurfarben wie Gelb/Weiß erkennen und können den Erkennungsbereich der Form oder Farbe der Fahrspur ohne Änderung der Struktur oder des Algorithmus erweitern.
  • Figurenliste
    • 1 ist ein Blockschaltbild eines Fahrspurerkennungssystem nach einem Ausführungsbeispiel der vorliegenden Offenbarung;
    • 2 und 3 sind Ansichten, die Fahrspurmuster zeigen, in denen Neuronen in einem Fahrspurerkennungssystem nach einem Ausführungsbeispiel der vorliegenden Offenbarung lernen;
    • 4 ist eine Ansicht, die Fahrspurerkennungsergebnisse in einem Fahrspurerkennungssystem nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert; und
    • 5 ist eine Ansicht, die ein Fahrspurmarkierungsergebnis unter Verwendung einer Fahrspurgleichung in einem Fahrspurerkennungssystem nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert.
  • [Detaillierte Beschreibung der Erfindung]
  • Nachfolgend werden Ausführungsbeispiele der vorliegenden Offenbarung im Einzelnen mit Bezug auf die begleitenden Zeichnungen beschrieben. Die nachfolgend beschriebenen Ausführungsbeispiele werden beispielhaft gegeben für den Zweck des vollständigen Verstehens des Geistes der vorliegenden Offenbarung durch einen Fachmann auf dem Gebiet der vorliegenden Offenbarung. Die vorliegende Offenbarung ist nicht auf die nachfolgend beschriebenen Ausführungsbeispiele beschränkt, sondern kann in anderen Formen verkörpert sein. Um die vorliegende Offenbarung deutlich zu erläutern, sind Teile, die nicht auf die Beschreibung bezogen sind, weggelassen, und in den Zeichnungen können die Breite, Länge, Dicke usw. der Komponenten zur Vereinfachung übertrieben dargestellt sein. Gleiche Bezugszahlen bezeichnen durchgehend in der Beschreibung gleiche Elemente.
  • Ein Ausführungsbeispiel der vorliegenden Offenbarung schlägt ein Fahrspurerkennungssystem auf der Grundlage von neuromorpher Hardware vor. In dem vorgeschlagenen System gestaltet die neuromorphe Hardware das menschliche Gehirn, und Neuronen, die für die Erkennung verantwortlich sind, sind in der Form von Hardware implementiert und integriert, um eine Form der Fahrspur zu lernen und zu erkennen, und durch Kombinieren von dieser mit dem Bildsensor werden die Echtzeit-Eingangsbilder unter Verwendung der vorher gelernten Fahrspurmuster erkannt und klassifiziert.
  • In der Offline-Umgebung werden die Fahrspurmuster aus den Trainingsbildern, die unter verschiedenen Fahrsituationen wie Tageszeit, Nachtzeit, Tunnel und Rücklicht, Schnee oder Regen, erhalten wurden, um die Kenntnis über die Fahrspur zu erlangen, herausgezogen. Durch Lernen dieser Kenntnis in dem verteilten lokalen Speicher innerhalb der Neuronen, können eingegebene Fahrspurmuster als die Fahrspur klassifiziert werden.
  • Zusätzlich können, wenn die Fahrspurfarbe und der Fahrspurtyp gemäß dem Lernverfahren gelernt werden, diese als eine separate Fahrspur gemäß der Fahrspurfarbdifferenz zwischen Weiß und Gelb und der Fahrspurformdifferenz zwischen ausgezogener Linie und strichlierter Linie erkannt werden.
  • Bei dem Ausführungsbeispiel der vorliegenden Offenbarung wird, um das Eingangsbild zu erwerben, ein Fahrspurmuster so gelernt, dass es erkannt werden kann durch Unterscheiden einer gelben Fahrspur und einer weißen Fahrspur durch Befestigen eines RGB-Farbsensors mit einer Auflösung von 1024 x 768 Pixel auf der Vorderseite des Fahrzeugs. Wenn der Eingangsbildstrom in das Fahrspurerkennungssystem ohne irgendeine Bildverarbeitung durch Bezeichnen des unteren 60 %-Bereichs des Bildrahmens als einen interessierenden Bereich (ROI) eingegeben wird, können gelbe Fahrspurpunkte und weiße Fahrspurpunkte erhalten werden, und die als ein Ergebnis der Erkennung erhaltenen Koordinaten können als gelbe Fahrspuren und weiße Fahrspuren dargestellt werden, nachdem die Ausreißer durch den RANSAC-Algorithmus entfernt wurden.
  • 1 ist ein Blockschaltbild eines Fahrspurerkennungssystems nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
  • Gemäß 1 kann das Fahrspurerkennungssystem die Fahrspurerkennungseinheit 10 und das neuromorphe System 20 enthalten.
  • Die Fahrspurerkennungseinheit 10 kann eine Mikrosteuervorrichtungseinheit (MCU) enthalten.
  • Die Fahrspurerkennungseinheit 10 dient zum Erzeugen eines Eingangsvektors für die Eingabe in das neuromorphe System 20.
  • Das neuromorphe System 20 empfängt den Eingangsvektor von der Fahrspurerkennungseinheit.
  • Das neuromorphe System 20 vergleicht den Eingangsvektor mit dem in der Kenntnis gespeicherten Bezugsmuster und sendet den Kategoriewert des Neurons mit dem ähnlichsten Muster als einen Rückkehrwert zu der Fahrspurerkennungseinheit 10. Die Kenntnis kann eine Datenbank aus durch jedes Neuron gespeicherten Mustern sein.
  • Die Fahrspurerkennungseinheit 10 erkennt schließlich die Fahrspur durch Kombinieren jedes als die Fahrspur erkannten Musters.
  • Genauer gesagt, die Fahrspurerkennungseinheit 10 empfängt zuerst die kontinuierlichen Bildrahmen, die von dem Bildsensor 30 ausgegeben wurden.
  • Die Fahrspurerkennungseinheit 10 setzt den interessierenden Bereich (ROI) in jedem empfangenen Bildrahmen. Da die Fahrspur im Allgemeinen nicht an einer beliebigen Position vorhanden ist, sondern an der Unterseite des in dem Bild gesehenen Fluchtpunkts, wird der interessierende Bereich als die untere Hälfte der Bildhöhe bestimmt.
  • Die Fahrspurerkennungseinheit 10 liest die Pixelwerte des Bilds durch Gleiten der überlappenden Werte von Fenstern einer vorbestimmten Größe. Beispielsweise wird der Pixelwert gelesen durch wiederholtes Gleiten der X- und Y-Achse in einem Fenster der Größe 16 × 16 mit 50 % Überlappungswerten durch jeweils 8 Pixel.
  • Die Fahrspurerkennungseinheit 10 führt einen Normierungsprozess so durch, dass jedes Fenster eine Robustheit gegen eine Änderung der Helligkeit oder eine Änderung der Farbe hat. In diesem Prozess können das Histogrammabgleich- oder Min-Max-Abgleich-Verfahren durchgeführt werden. Das normierte Fenster wird in eine Vektorform der Größe [1 × N] transformiert.
  • Die Fahrspurerkennungseinheit 10 gibt den in dem vorbeschriebenen Prozess erzeugten Vektor in das neuromorphe System 20 ein.
  • Das neuromorphe System 20 verbreitet den von der Fahrspurerkennungseinheit 10 eingegebenen Vektor gleichzeitig durch den parallelen Bus zu den Tausenden von Neuronen, die das Innere des neuromorphen Systems bilden.
  • In dem neuromorphen System 20 startet jedes Neuron innerhalb des neuromorphen Systems die Berechnung des relativen Abstands zwischen dem eingegebenen Vektor und dem in dem Neuron gespeicherten Mustervektor, wenn der eingegebene Vektor beginnt, eingegeben zu werden, und aktualisiert den Abstandswert, bis die Eingabe des eingegebenen Vektors beendet ist.
  • Wenn die Berechnung des Abstands zwischen dem eingegebenen Vektor und dem gespeicherten Vektor beendet ist, wählt das neuromorphe System 20 die Neuronen mit dem kleinsten relativen Abstand aus den Tausenden von Neuronen aus und gibt den Kategoriewert des Neurons mit dem kleinsten Abstandswert auf der Grundlage der Kenntnis aus.
  • Das neuromorphe System 20 sendet die ausgegebenen Kategoriewerte zurück zu der Fahrspurerkennungseinheit 10.
  • Die Fahrspurerkennungseinheit 10 sammelt die klassifizierten Ergebnisse und erkennt schließlich die Fahrspur. Die Fahrspurerkennungseinheit 10 zeigt die erkannte Fahrspur auf dem Anzeigebereich 40 an. In diesem Prozess zeichnet die Fahrspurerkennungseinheit 10 die Fahrspur auf dem Anzeigebereich 40 durch Verwendung von RANSAC oder Spline.
  • Nachfolgend wird das Fahrspurerkennungsverfahren unter Verwendung des neuromorphen Systems 20 im Einzelnen beschrieben.
  • Das neuromorphe System 20 ist eine Technologie, die durch Imitieren des Mechanismus des Lernens und Erkennens in dem menschlichen Gehirn entwickelt wurde, und ist eine Technologie, bei der Informationsverarbeitungsprinzipien von menschlichen biologischen Neuronen in Hardware modelliert und implementiert werden (siehe das vorstehend erwähnte Patentdokument 2).
  • Tausende von Hardware-implementierten Neuronen sind in das neuromorphe System 20 integriert.
  • Jedes das neuromorphe System 20 bildende Neuron ist mit dem parallelen Bus verbunden und empfängt den eingegebenen Vektor zur gleichen Zeit.
  • Jedes Neuron hat einen lokalen Speicher, der ein Bezugsmuster speichert.
  • Das in dem lokalen Speicher der Neuronen zu speichernde Bezugsmuster wird offline durch ein separates Programm erhalten.
  • Wenn ein eingegebener Vektor zu dem neuromorphen System 20 übertragen wird, empfangen alle Neuronen des neuromorphen Systems 20 gleichzeitig den entsprechenden eingegebenen Vektor. Gleichzeitig wird der relative Abstand zwischen dem von jedem Neuron gehaltenen Muster und dem eingegebenen Vektor berechnet.
  • Zu dieser Zeit wird schließlich das Neuron mit dem kleinsten relativen Abstand ausgewählt. Der Kategoriewert des ausgewählten Neurons wird zu der Fahrspurerkennungseinheit 10 gesendet. Die Fahrspurerkennungseinheit 10 erkennt die Fahrspur auf der Grundlage der empfangenen Kategoriewerte.
  • Beispielsweise wird in einem Fall einer Kenntnis, in der eine weiße Fahrspur als Kategorie 1, eine gelbe Fahrspur als Kategorie 2 und ein anderer Hintergrund als Kategorie 3 gelernt wurden, wenn ein Teil der weißen Fahrspur als der Eingangsvektor eingegeben wird, Kategorie 1 ausgegeben, und wenn die gelbe Fahrspur eingegeben wird, wird Kategorie 2 ausgegeben.
  • Die 2 bis 3 sind Ansichten, die von einem Fahrspurerkennungssystem nach dem Ausführungsbeispiel der vorliegenden Erfindung zu lernende Fahrspurmuster von Neuronen zeigen.
  • Das Fahrspurmuster von weißen Fahrspuren und gelben Fahrspuren wird vorher in einer Offline-Umgebung unter Verwendung von Bildrahmen, die in verschiedenen praktischen Fahrumgebungen wie Tageszeit, Nachtzeit, Tunnel und Rücklicht, Schnee oder Regen erhalten wurden, herausgezogen.
  • Rechtecke in dem Bildrahmen stellen die Fahrspurmuster dar, die die Neuronen als die weißen Fahrspuren und die gelben Fahrspuren lernen.
  • Die durch das Neuron gelernten Fahrspurmuster werden in dem verteilten Speicherbereich innerhalb des Neurons gespeichert. 4 ist eine Ansicht, die ein Fahrspurerkennungsergebnis in einem Fahrspurerkennungssystem nach einem Ausführungsbeispiel der vorliegenden Erfindung illustriert, und 5 ist eine Ansicht, die ein Fahrspurmarkierungsergebnis unter Verwendung einer Fahrspurgleichung in einem Fahrspurerkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert.
  • Wie in 4 gezeigt ist, erkennt, wenn ein Bildrahmen, der eine weiße Fahrspur und eine gelbe Fahrspur aufweist, eingegeben ist, das neuromorphe System 20 weiße Fahrspuren und gelbe Fahrspuren als separate Muster unter Verwendung der inneren Neuronen.
  • Wie in 5 gezeigt ist, entfernt unter den Mustern, die als weiße Fahrspuren und als gelbe Fahrspuren durch die Neuronen in dem Bildrahmen erkannt wurden, der RANSAC-Algorithmus die Ausreißerkoordinaten und berechnet die Fahrspurgleichung. Die weiße und die gelbe Fahrspurmarkierung sind auf dem ursprünglichen Bild unter Verwendung der abgeleiteten Fahrspurgleichung gezeichnet.
  • Wie vorstehend beschrieben ist, ist ein großer Rechenaufwand erforderlich bei der Verwendung von Bildverarbeitungsalgorithmen, oder es ist nur möglich, die Fahrspur selbst zu erfassen, so dass es schwierig ist, bedeutsame Informationen für autonome Fahrzeuge zu erhalten und eine zusätzliche Fahrspurform oder -farbe hinzuzufügen, jedoch schlägt das Ausführungsbeispiel der vorliegenden Erfindung ein Fahrspurerkennungssystem vor, das die Nachteile des bestehenden Verfahrens kompensiert und ermöglicht, dass Fahrspuren in Echtzeit selbst in einem eingebetteten Umfeld erkannt werden. Das heißt, das Ausführungsbeispiel der vorliegenden Erfindung implementiert ein Fahrspurerkennungssystem, das in der Lage ist, eine Fahrspurerkennung ohne Verwendung eines existierenden Bildverarbeitungsalgorithmus schneller und genauer durchzuführen.
  • Da der herkömmliche Bildverarbeitungsalgorithmus, der einen hohen Rechenaufwand erfordert, nicht verwendet wird, kann die Berechnungsmenge verringert werden, eine Echtzeitverarbeitung kann erzielt werden und die Herstellungskosten können herabgesetzt werden, ohne die Notwendigkeit der Verwendung einer kostenaufwändigen CPU oder eines DSP (Digitaler Signalprozessor).
  • Zusätzlich kann das Ausführungsbeispiel der vorliegenden Erfindung die Farbe oder die Form der Fahrspur sowie die Fahrspur selbst erkennen. Dies ermöglicht, die Bedeutung jeder Fahrspur zu verstehen und kann verwendet werden, die Route in dem autonomen Fahrvorgang durch Senden der Informationen zu dem autonom fahrenden Fahrzeug zu planen. Nicht nur die Erfassung der Fahrspur selbst, sondern auch die Fahrspurform wie eine ausgezogene Linie oder strichlierte Linie, die Fahrspurfarbe wie Gelb/Weiß können erkannt werden, und bedeutsame Informationen können zu dem autonomen Fahrzeug gesendet werden.
  • Zusätzlich ermöglichen Ausführungsbeispiele der vorliegenden Erfindung dem System, unbekannte Fahrspuren unmittelbar zu erkennen, indem neue Muster von Fahrspurform und Fahrspurfarbe offline gelernt werden, ohne Hinzufügen neuer Algorithmen oder Module. Fahrspurformen und -farben können durch Land/Stadt/Funktion ohne zusätzliche strukturelle Änderungen oder Algorithmusänderungen hinzugefügt werden.

Claims (5)

  1. Fahrspurerkennungssystem, welches aufweist: einen Bildsensor (30) zum Aufnehmen eines eine Fahrspur aufweisenden Bilds; ein neuromorphes System (20), in welchem mehrere Neuronen, in denen ein auf Fahrspurinformationen bezogener Mustervektor gespeichert ist, durch einen parallelen Bus verbunden sind; und eine Fahrspurerkennungseinheit (10) zum Erzeugen von Eingangsvektoren der Größe [1 × N] einer vorbestimmten Größe für einen interessierenden Bereich des von dem Bildsensor (30) eingegebenen Eingangsbildrahmens, zum Eingeben des erzeugten Vektors in das neuromorphe System (20), und zum Erkennen einer Fahrspur in dem Eingangsbild auf der Grundlage von Fahrspurinformationen eines Neurons, das unter mehreren in dem System gespeicherten Neuronen einen Mustervektor hat, der einem Eingangsvektor am ähnlichsten ist.
  2. System nach Anspruch 1, bei dem ein Mustervektor enthaltend auf zumindest eine von einer Fahrspurfarbe und einer Fahrspurform bezogene Fahrzeuginformationen vorher in den mehreren Neuronen gespeichert ist.
  3. System nach einem der Ansprüche 1 oder 2, bei dem das neuromorphe System (20) gleichzeitig den Eingangsvektor über den parallelen Bus zu mehreren Neuronen innerhalb des Neurons verbreitet, den Eingangsvektor mit dem in den mehreren Neuronen gespeicherten Mustervektor vergleicht, um das Neuron zu erhalten, das den kleinsten relativen Abstandswert hat, und den Kategoriewert des ausgewählten Neurons zu der Fahrspurerkennungseinheit (10) ausgibt; und die Fahrspurerkennungseinheit (10) die Fahrspur in dem Eingangsbild auf der Grundlage der von dem neuromorphen System (20) ausgegebenen Kategoriewerte erkennen kann.
  4. Fahrspurerkennungsverfahren, welches aufweist: Empfangen eines eine Fahrspur aufweisenden Bildrahmens; Erzeugen eines Fensters der Größe [1 × N] eines Fensters einer vorbestimmten Größe für einen interessierenden Bereich des eingegebenen Bildrahmens; Eingeben des erzeugten Vektors in das neuromorphe System (20), in welchem die mehreren Neuronen, die auf Fahrspurinformationen bezogene Mustervektoren speichern, durch einen parallelen Bus verbunden sind; und Erkennen einer Fahrspur in dem Eingangsbild unter Verwendung von Fahrspurinformationen des Neurons mit einem Mustervektor, das unter den mehreren in dem neuromorphen System (20) gespeicherten Neuronen dem Eingangsvektor am ähnlichsten ist.
  5. System nach Anspruch 4, welches aufweist: gleichzeitiges Verbreiten des Eingangsvektors zu den mehreren Neuronen über den parallelen Bus bei der Fahrspurerkennung; Auswählen eines Neurons mit einem kleinsten relativen Abstandswert durch Vergleichen des Eingangsvektors mit einem in den mehreren Neuronen gespeicherten Mustervektor; Ausgeben eines Kategoriewerts des ausgewählten Neurons; und Erkennen einer Fahrspur in dem Eingangsbild unter Verwendung der ausgegebenen Kategoriewerte.
DE102017214300.2A 2017-03-10 2017-08-16 System und Verfahren zum Erkennen einer Fahrspur Pending DE102017214300A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0030480 2017-03-10
KR1020170030480A KR101878490B1 (ko) 2017-03-10 2017-03-10 차선 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
DE102017214300A1 true DE102017214300A1 (de) 2018-09-13

Family

ID=62913634

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017214300.2A Pending DE102017214300A1 (de) 2017-03-10 2017-08-16 System und Verfahren zum Erkennen einer Fahrspur

Country Status (3)

Country Link
US (1) US10460179B2 (de)
KR (1) KR101878490B1 (de)
DE (1) DE102017214300A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6697522B2 (ja) * 2018-09-28 2020-05-20 株式会社Subaru 区画線認識装置
KR102165300B1 (ko) * 2018-12-18 2020-10-14 한국전자기술연구원 졸음인식 시스템
US11403592B2 (en) * 2019-06-27 2022-08-02 Hitachi, Ltd. Inventory count method and asset management system
CN112869829B (zh) * 2021-02-25 2022-10-21 北京积水潭医院 一种智能镜下腕管切割器
JP2023009609A (ja) * 2021-07-07 2023-01-20 株式会社Subaru 車両の運転支援装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675489A (en) * 1995-07-06 1997-10-07 Carnegie Mellon University System and method for estimating lateral position
KR100389004B1 (ko) * 2001-05-17 2003-06-25 삼성전자주식회사 신경망을 이용한 영상 인식 장치 및 그 방법
JP4637618B2 (ja) * 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
FR2902909A1 (fr) * 2006-06-23 2007-12-28 Nodbox Sarl Procede de determination de limites de roulage d'un vehicule
US8311965B2 (en) 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
KR101225626B1 (ko) * 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
KR101178507B1 (ko) * 2010-08-16 2012-09-07 포항공과대학교 산학협력단 도로 표식 인식 시스템 및 방법
US8825350B1 (en) * 2011-11-22 2014-09-02 Kurt B. Robinson Systems and methods involving features of adaptive and/or autonomous traffic control
JP6141788B2 (ja) 2014-04-14 2017-06-07 本田技研工業株式会社 レーンマーク認識装置
KR101584907B1 (ko) 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
US9786036B2 (en) * 2015-04-28 2017-10-10 Qualcomm Incorporated Reducing image resolution in deep convolutional networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
US10083378B2 (en) * 2015-12-28 2018-09-25 Qualcomm Incorporated Automatic detection of objects in video images
JP7052174B2 (ja) * 2016-01-05 2022-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 将来経路を推定するシステム及び方法
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking

Also Published As

Publication number Publication date
US20180260634A1 (en) 2018-09-13
US10460179B2 (en) 2019-10-29
KR101878490B1 (ko) 2018-07-13

Similar Documents

Publication Publication Date Title
DE102017214300A1 (de) System und Verfahren zum Erkennen einer Fahrspur
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
EP2368216B1 (de) Verfahren und einrichtung zur analyse von umgebungsobjekten und/oder umgebungsszenen, wie zur objekt- und szenenklassensegmentierung
DE102015207676B4 (de) Verfahren und Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera
DE102015209822A1 (de) Erfassungseinrichtung, Erfassungsprogramm, Erfassungsverfahren, mit Erfassungseinrichtung ausgerüstetes Fahrzeug, Parameterberechnungseinrichtung, Parameter berechnende Parameter, Parameterberechnungsprogramm, und Verfahren zum Berechnen von Parametern
DE112017002799T5 (de) Verfahren und system zum generieren multimodaler digitaler bilder
DE112011105439B4 (de) Rote-Augen-Erfassungsvorrichtung
DE102012216593A1 (de) Draufsichtbasiertes avm-einparkhilfesystem
DE102011055458A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mittels verlässlicher lokaler Modellkalibrierung
DE102018113992A1 (de) Verfahren und Gerät zum Erfassen einer Fahrspur
DE112011105445B4 (de) Rote-Augen-Bestimmungsvorrichtung
DE102011106052A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
Dong et al. Infrared image colorization using a s-shape network
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE112020005223T5 (de) Objektverfolgungseinrichtung und Objektverfolgungsverfahren
DE102015211874A1 (de) Objekterkennungsvorrichtung
DE102017108255A1 (de) Parallele detektion von primitiven in einer szene unter verwendung eines rundum-kamerasystems
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102015211871A1 (de) Objekterkennungsvorrichtung
DE112018005749T5 (de) Fahrbahnmarkierungsbestimmungsvorrichtung zum automatisierten Fahren
DE102018100315A1 (de) Erzeugen von Eingabedaten für ein konvolutionelles neuronales Netzwerk
DE102020105070A1 (de) Verfahren zum Erkennen eines befahrbaren Bereichs in einer Umgebung eines Fahrzeugs mithilfe eines binären künstlichen neuronalen Netzes, Recheneinrichtung sowie Fahrerassistenzsystem
DE102019209473A1 (de) Verfahren und Vorrichtung zur schnellen Erfassung von sich wiederholenden Strukturen in dem Bild einer Straßenszene

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: HL KLEMOVE CORP., KR

Free format text: FORMER OWNER: MANDO HELLA ELECTRONICS CORPORATION, INCHEON, KR

R082 Change of representative

Representative=s name: PFENNING, MEINIG & PARTNER MBB PATENTANWAELTE, DE

R081 Change of applicant/patentee

Owner name: HL KLEMOVE CORP., KR

Free format text: FORMER OWNER: MANDO-HELLA ELECTRONICS CORPORATION, INCHEON, KR

R082 Change of representative

Representative=s name: PFENNING, MEINIG & PARTNER MBB PATENTANWAELTE, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: HL KLEMOVE CORP., KR

Free format text: FORMER OWNER: MANDO-HELLA ELECTRONICS CORPORATION, INCHEON, KR

R016 Response to examination communication