DE102013205952A1 - Rekonfigurierbares System zur Detektion eines freien Pfads - Google Patents

Rekonfigurierbares System zur Detektion eines freien Pfads Download PDF

Info

Publication number
DE102013205952A1
DE102013205952A1 DE102013205952A DE102013205952A DE102013205952A1 DE 102013205952 A1 DE102013205952 A1 DE 102013205952A1 DE 102013205952 A DE102013205952 A DE 102013205952A DE 102013205952 A DE102013205952 A DE 102013205952A DE 102013205952 A1 DE102013205952 A1 DE 102013205952A1
Authority
DE
Germany
Prior art keywords
clear path
path detection
module
clear
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102013205952A
Other languages
English (en)
Other versions
DE102013205952B4 (de
Inventor
Wende Zhang
Jinsong Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102013205952A1 publication Critical patent/DE102013205952A1/de
Application granted granted Critical
Publication of DE102013205952B4 publication Critical patent/DE102013205952B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Ein rekonfigurierbares System zur Detektion eines freien Pfads umfasst eine Bilderfassungseinrichtung und ein primäres Modul zur Detektion eines freien Pfads, um entsprechende Wahrscheinlichkeitswerte identifizierter Bereiche in einem erfassten Bild, die eine Wahrscheinlichkeit bezüglich dessen, ob ein jeweiliger Bereich ein freier Pfad der Straße ist, darstellen, zu ermitteln. Mehrere sekundäre Module zur Detektion eines freien Pfads werden jeweils verwendet, um das Identifizieren eines jeweiligen freien Pfads der befahrenen Straße in dem Eingangsbild zu unterstützen. Ein oder mehrere der sekundären Module zur Detektion eines freien Pfads werden selektiv freigegeben, um den freien Pfad zu identifizieren. Die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads werden verwendet, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren. Ein Vereinigungsmodul analysiert kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.

Description

  • HINTERGRUND DER ERFINDUNG
  • Eine Ausführungsform bezieht sich allgemein auf eine Straßenerkennung.
  • Es werden Sichtbildgebungssysteme in Fahrzeugen verwendet, um Erfassungsanwendungen in dem Fahrzeug, wie beispielsweise Systeme zur Detektion eines freien Pfads, Objektdetektionssysteme und andere Sicht-/Positionsbestimmungssysteme zu verbessern. Solche Systeme können verwendet werden, um das Fahrzeug autonom oder semiautonom über Lenksysteme, eine Drosselklappensteuerung, eine Bremssteuerung zu steuern, oder können sogar für Spurverlassenswarnsysteme verwendet werden.
  • Es können verschiedene Techniken verwendet werden, um einen freien Pfad für eine Objektdetektion zu identifizieren. Typischerweise weist jede jeweilige Technik Attribute auf, die in bestimmten Beziehungen Vorteile bereitstellen. Ein Verwenden von mehr als einer Technik würde eine verbesserte Detektion des freien Pfads bieten, würde jedoch auch die Verarbeitungszeit zum Ermitteln des freien Pfads erhöhen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Eine Ausführungsform zieht ein Verfahren zum Detektieren eines freien Pfads einer Fahrstraße für ein Fahrzeug in Betracht. Es werden Bilder einer Szene eines Fahrpfads durch eine Bilderfassungseinrichtung erfasst. Es wird ein freier Pfad in einem Eingangsbild durch ein primäres Modul zur Detektion eines freien Pfads ermittelt. Das primäre Modul zur Detektion eines freien Pfads analysiert das Eingangsbild von der Bilderfassungseinrichtung. Das primäre Modul zur Detektion eines freien Pfads teilt das Eingangsbild in mehrere Bereiche auf. Es werden Wahrscheinlichkeitswerte für jeden der Bereiche ermittelt, die eine Wahrscheinlichkeit bezüglich dessen, ob ein jeweiliger Bereich ein freier Fahrpfad ist, darstellen. Zu den aufgeteilten Bereichen gehören Merkmalsdaten des Eingangsbilds. Es wird eine trainierte Klassifizierungseinrichtung angewandt, um einen freien Fahrpfad in dem Eingangsbild auf der Grundlage der Merkmalsdaten und der entsprechenden Wahrscheinlichkeitswerte zu identifizieren. Es werden mehrere sekundäre Module zur Detektion eines freien Pfads bereitgestellt, um unabhängig einen jeweiligen freien Fahrpfad in dem Eingangsbild zu identifizieren. Es werden selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben, um den freien Fahrpfad zu identifizieren. Es werden nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren. Ein Vereinigungsmodul analysiert kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und analysiert die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.
  • Eine Ausführungsform zieht ein rekonfigurierbares System zur Detektion eines freien Pfads für ein Fahrzeug in Betracht. Eine Bilderfassungseinrichtung erfasst Bilder einer Szene eines Fahrpfads. Ein primäres Modul zur Detektion eines freien Pfads ermittelt einen freien Pfad in einem Eingangsbild, das von der Bilderfassungseinrichtung erfasst wird. Mehrere sekundäre Module zur Detektion eines freien Pfads, wobei jedes sekundäre Modul zur Detektion eines freien Pfads konfiguriert ist, um unabhängig das Identifizieren eines jeweiligen freien Pfads der Fahrstraße in dem Eingangsbild zu unterstützen. Eines oder mehrere der sekundären Module zur Detektion eines freien Pfads werden selektiv freigegeben, um das Identifizieren des freien Pfads der Fahrstraße zu unterstützen, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren. Ein Vereinigungsmodul analysiert kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine Darstellung eines Fahrzeugs, in dem ein Fahrzeugsystem zur Detektion eines freien Pfads integriert ist.
  • 2 ist ein Blockdiagramm des rekonfigurierbaren Systems zur Detektion eines freien Pfads.
  • DETAILLIERTE BESCHREIBUNG
  • In 1 ist ein Fahrzeug gezeigt, in dem ein rekonfigurierbares System zur Detektion eines freien Pfads für ein Fahrzeug 12 integriert ist. Das rekonfigurierbare System zur Detektion eines freien Pfads ist mit einer Bilderfassungseinrichtung 14 ausgestattet, die an dem Fahrzeug 12 angebracht ist. Die Bilderfassungseinrichtung 14 steht mit einer Verarbeitungseinheit 16 in Verbindung.
  • 2 zeigt ein Blockdiagramm des rekonfigurierbaren Systems 10 zur Detektion eines freien Pfads. Das rekonfigurierbare System 10 zur Detektion eines freien Pfads kann ferner eine Speichereinrichtung 18, um erfasste Bilder zu speichern oder zu puffern, ein primäres Modul 20 zur Detektion eines freien Pfads, mehrere sekundäre Module zur Detektion eines freien Pfads, ein erstes Vereinigungsmodul 22 und ein zweites Vereinigungsmodul 24 umfassen.
  • Die Bilderfassungseinrichtung 14 kann eine Kamera oder eine andere Bildgebungseinrichtung umfassen. Die Bilderfassungseinrichtung 14 erfasst Bilder vor dem Fahrzeug, die verwendet werden, um einen freien Fahrpfad zu identifizieren. Vorzugsweise ist die Bilderfassungseinrichtung 14 ausgestaltet, um eine kontinuierliche Bilderfassung durchzuführen. Die durch die Bilderfassungseinrichtung 14 erfassten Bilder können in einem Speicher der Bilderfassungseinrichtung 14 gespeichert werden, zu einer Speichereinrichtung außerhalb des Fahrzeugs übermittelt werden oder können für eine Analyse zu einer Verarbeitungseinheit übermittelt werden. Die Verarbeitungseinheit kann die verschiedenen Module zur Detektion eines freien Pfads und das Vereinigungsmodul umfassen oder kann unabhängig sein und die Information von einem jeweiligen Modul außerhalb des Fahrzeugs abrufen. Ferner können mehr als eine Bilderfassungseinrichtung verwendet werden, um Bilder hinter dem Fahrzeug zu erfassen. Die hinter dem Fahrzeug erfassten Bilder können bei der Analyse verwendet werden, um den freien Fahrpfad vor dem Fahrzeug zu identifizieren.
  • Die erfassten Bilder sind vorzugsweise ein zweidimensionales Bild mit bekannten Pixel-Dimensionen. Das Bild enthält mehrere identifizierbare Pixel. Jedes der Pixel umfasst einen Satz von Bits, die einer Farbe an einer vorbestimmten Farbabbildung entsprechen, die einen Farbintensitätswert darstellt.
  • Die Verarbeitungseinheit ist eine einzelne Einheit; es ist jedoch zu verstehen, dass Funktionen der Verarbeitungseinheit durch eine oder mehrere in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung realisierte Einrichtungen durchgeführt werden können. Die Verarbeitungseinheit kann ein Universalprozessor, ein digitaler Computer mit einem zentralen Mikroprozessor oder einer zentralen Verarbeitungseinheit, ein ASIC oder ein anderes Verarbeitungsmodul mit einem nichtflüchtigen Speicher, einem Nur-Lese-Speicher, einem programmierbaren Nur-Lese-Speicher, einem RAM, einer A-D-Schaltung, einer D-A-Schaltung, einer Eingabe/Ausgabe-Schaltung, einer Pufferfähigkeit und einer geeigneten Signalkonditionierung, wie beispielsweise einer digitalen Signalverarbeitung, sein. Die Verarbeitungseinheit 16 ist entworfen, um Algorithmen auszuführen, die Eingänge von den hierin beschriebenen Einrichtungen sowie anderen Einrichtungen oder Systemen in dem Fahrzeug verwenden. Die Verarbeitungseinheit ermittelt einen freien Pfad in dem erfassten Bild. Der freie Pfad wird beim Führen des Fahrzeugs entlang der Fahrstraße verwendet. Die Verarbeitungseinheit kann die Führungsfunktionen wie oben beschrieben durchführen oder kann die Ergebnisse an eine sekundäre Anwendung übermitteln, die die Führungsfunktionen durchführt.
  • Das primäre Modul 20 zur Detektion eines freien Pfads verwendet eine aufteilungsbasierte Technik zum Detektieren eines freien Pfads der befahrenen Straße. Das primäre Modul 20 zur Detektion eines freien Pfads analysiert ein von der Bilderfassungseinrichtung 14 erfasstes Eingangsbild. Das primäre Modul 20 zur Detektion eines freien Pfads teilt das Eingangsbild in mehrere Bereiche auf und ermittelt Wahrscheinlichkeitswerte für jeden der Bereiche. Die ermittelten Wahrscheinlichkeitswerte jedes Bereichs stellen eine Wahrscheinlichkeit bezüglich dessen dar, ob ein jeweiliger Bereich einen freien Pfad der befahrenen Straße umfasst. Merkmalsdaten des Eingangsbilds gehören zu den aufgeteilten Bereichen und werden einer Klassifizierungseinrichtung geliefert, um einen freien Pfad der befahrenen Straße auf der Grundlage der Merkmalsdaten und der entsprechenden Wahrscheinlichkeitswerte zu identifizieren. Eine Detektion eines freien Pfads unter Verwendung der aufteilungsbasierten Technik ist in der ebenfalls anhängigen Anmeldung mit der Seriennummer 12/581,742 beschrieben, die am 19. Oktober 2009 eingereicht wurde, den Titel ”Clear Path Detektion Using Segmentation-Based Method” trägt und deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
  • Die mehreren sekundären Module zur Detektion eines freien Pfads werden selektiv in Kooperation mit den Ergebnissen von dem primären Modul 20 zur Detektion eines freien Pfads verwendet, um einen freien Pfad für die Fahrstraße in dem erfassten Bild zu ermitteln. Die sekundären Module zur Detektion eines freien Pfads umfassen ein Online-Modul 26 zur Detektion einer ähnlichen Szene unter Verwendung von vorherigen zuverlässigen Bereichen eines freien Pfads, ein Anpassungsmodul 28, ein Draufsichtklassifizierungsmodul 30, ein Straßenstrukturidentifikationsmodul 32 und ein Modul 34 einer temporären Kohärenz, sind jedoch nicht darauf beschränkt.
  • Das Online-Modul 26 zur Detektion einer ähnlichen Szene umfasst eine Technik, die eine geringe Datenverarbeitung erfordert. Während das Fahrzeug läuft, wird ein Bild in Echtzeit erfasst und sofort mit verschiedenen Datensatzbildabtastwerten verglichen, die einen freien Pfad umfassen und zuvor gekennzeichnet und identifiziert wurden. Das heißt, vorherige in dem Speicher gespeicherte Abtastwertbilder sind bereits als freie Pfade klassifiziert. Es wird ein flüchtiger Vergleich zwischen dem aktuellen Bild und den in dem Speicher, wie beispielsweise einer Datenbank, gespeicherten Abtastwerten durchgeführt, um zu ermitteln, ob eine Übereinstimmung vorliegt. Da der Vergleich eine geringe Datenverarbeitung erfordert, kann eine schnelle Auswertung eingesetzt werden. Dieser Prozess wird als Durchlauf bezeichnet, da das Bild nicht für eine intensive Analysierung gepuffert wird. Wenn die Fahrstraße neu und keine zuvor befahrene Straße ist, kann das Online-Modul 26 zur Detektion einer ähnlichen Szene nicht verwendet werden, da keine Kenntnis der Fahrstraße vorliegt.
  • Das Anpassungsmodul 28 verwendet adaptive Maschinenlerntechniken, die zumindest zwei Klassifizierungseinrichtungen umfassen. Bilder, die durch die Bilderfassungseinrichtung 14 erhalten werden, werden in Bereiche aufgeteilt. Es werden charakteristische Merkmale aus den Bildern extrahiert. Attribute, die aus den erfassten Bildern identifiziert werden können, umfassen Farbe und Aufbau. Die Attribute werden durch eine erste Klassifizierungseinrichtung, wie beispielsweise eine Stützvektormaschine bzw. Support Vector Machine, analysiert, die zuvor trainiert wurde, um Gebiete eines freien Pfads in einem Bild zu identifizieren. Die verschiedenen Gebiete werden durch einen Vertrauenswert identifiziert, der eine Wahrscheinlichkeit bezüglich dessen betrifft, ob ein jeweiliger Bereich Teil des freien Pfads ist. Die Bereiche, die einen Vertrauenswert unter einem vorbestimmten Schwellenwert aufweisen, werden durch eine zusätzliche Klassifizierungseinrichtung analysiert, die adaptiv unter Verwendung von realen Testabtastwerten trainiert wird, die zuvor als ein hohes Vertrauensniveau, was einen freien Fahrpfad angibt, aufweisend klassifiziert wurden. Die Datenergebnisse von der ersten Klassifizierungseinrichtung und der zusätzlichen adaptiv aktualisierten Klassifizierungseinrichtung werden dann verwendet, um eine kooperative Entscheidung bezüglich der Existenz eines freien Pfads in Bereichen nachfolgend erfasster Bilder zu treffen. Details für eine Detektion eines freien Pfads unter Verwendung der adaptiven Technik sind in der ebenfalls anhängigen Anmeldung mit der Seriennummer 12/963,426, die am 08. Dezember 2010 eingereicht wurde und den Titel ”Adaptation For Clear Path Detection With Additional Classifiers” trägt, und der ebenfalls anhängigen Anmeldung mit der Seriennummer 12/963,404, die am 08. Dezember 2010 eingereicht wurde und den Titel ”Adaptation for Clear Path Detection Using Reliable Local Model Updating” trägt, beschrieben, wobei die Offenbarungsgehalte beider hierin durch Bezugnahme vollständig mit eingeschlossen sind.
  • Das Draufsichtklassifizierungsmodul 30 verwendet einen Draufsichtgenerator, der ein oder mehrere Bilder, die von der Bilderfassungseinrichtung 14 erhalten werden, in eine Draufsicht der Fahrstraße umwandelt. Es werden ein oder mehrere Bilder durch die Bilderfassungseinrichtung 14 erfasst. Es wird eine Bild-Warping-Umwandlungstechnik auf das Bild angewandt, um das Bild von einer Frontansicht der Fahrstraße in eine Draufsicht der Fahrstraße umzuwandeln. Das umgewandelte Draufsichtbild wird in Bereiche aufgeteilt. Es werden charakteristische Merkmale aus den Bereichen in der Draufsicht extrahiert. Attribute, die aus den umgewandelten Draufsichtbildern identifiziert werden können, umfassen Farbe und Aufbau. Die extrahierten Merkmale werden durch eine Klassifizierungseinrichtung, wie beispielsweise eine Stützvektormaschine, analysiert, um zu identifizieren, welche Bereiche Gebiete eines freien Pfads für die Fahrstraße sind.
  • Jedes der oben beschriebenen mehreren sekundären Module zur Detektion eines freien Pfads kann einen freien Pfad der Fahrstraße für das Eingangsbild identifizieren oder die Identifizierung dieses unterstützen. In 2 werden Ergebnisse der Detektion eines freien Pfads von einigen der sekundären Module zur Detektion eines freien Pfads an das erste Vereinigungsmodul 22 geliefert, an dem die Ergebnisse in Kooperation mit Ergebnissen von dem primären Modul 20 zur Detektion eines freien Pfads verarbeitet werden. Jedes der dem ersten Vereinigungsmodul 22 gelieferten Ergebnisse wird selektiv kombiniert, um die Genauigkeit des Identifizierens des freien Pfads aus dem Eingangsbild zu verbessern.
  • Jedes der sekundären Module zur Detektion eines freien Pfads kann auch beim Ermitteln des freien Pfads der befahrenen Straße freigegeben oder gesperrt werden oder kann selektiv verwendet werden, was umfasst, dass die Wahrscheinlichkeiten der sekundären Detektion eines freien Pfads selektiv gewichtet werden. Beim Verwenden von nur einer ausgewählten Gruppe der sekundären Module zur Detektion eines freien Pfads kann das System zur Detektion eines freien Pfads einen Kompromiss zwischen der Genauigkeit und der Verarbeitungszeit beim Identifizieren des freien Pfads wählen. Das heißt, ein System zur Detektion eines freien Pfads kann als Kompromiss auf der Grundlage der Anzahl von ausgewählten Modulen, der sich direkt auf die Genauigkeit und die Zeit der Durchführung des Systems als Ganzes bezieht, rekonfiguriert werden.
  • Das Erhöhen der Anzahl an Techniken zur Detektion eines freien Pfads, die in Kooperation mit dem primären Modul 12 zur Detektion eines freien Pfads ausgeführt werden, erhöht das Vertrauensniveau, dass der freie Fahrpfad korrekt identifiziert wurde. Während jedoch jede zusätzliche zweite Technik zur Detektion eines freien Pfads das Vertrauensniveau eines genauen Identifizierens des freien Pfads erhöht, erhöht sich die Verarbeitungszeit, die zum Ausführen jedes der ausgewählten Module erforderlich ist. Daher kann möglicherweise nur eine ausgewählte Anzahl an sekundären Techniken zur Detektion eines freien Pfads ausgeführt werden, um einen Kompromiss zwischen Genauigkeit und Durchführungszeit zu optimieren.
  • Das Identifizieren eines Gebiets, in dem das Fahrzeug typischerweise fährt, kann das Ermitteln unterstützen, welche Techniken zur Detektion eines freien Pfads am besten geeignet sein können, um den freien Pfad zu identifizieren, da bestimmte Techniken in Bezug auf Genauigkeit beim Identifizieren des freien Pfads der Fahrstraße möglicherweise keinen zusätzlichen Nutzen bereitstellen. Wenn das Fahrzeug beispielsweise primär in einem Stadtgebiet fährt, kann ein sekundäres Modul zur Detektion eines freien Pfads, wie beispielsweise die Straßenstrukturverfolgungstechnik, die eine Fluchtpunktliniendetektion verwendet, die Genauigkeit der Ergebnisse möglicherweise nicht erhöhen, da ein Fluchtpunkt in einem Stadtgebiet möglicherweise schwer zu detektieren ist. Daher kann das System zur Detektion eines freien Pfads rekonfiguriert werden, um entweder ein jeweiliges sekundäres Modul zur Detektion eines freien Pfads nicht auszuführen oder ein Gewicht von Null auf die Ergebnisse von dieser jeweiligen Technik anzuwenden. Folglich können möglicherweise nur jene sekundären Techniken zur Detektion eines freien Pfads ausgewählt werden, die entweder aus einer Genauigkeitsperspektive oder aus einer Verarbeitungsgeschwindigkeitsperspektive beim Identifizieren des freien Pfads nützlich sind.
  • In dem ersten Vereinigungsmodul 22 werden die Ergebnisse von jedem der Module zur Detektion eines freien Pfads gewichtet, um einen Grad zu ermitteln, zu dem auf jedes der Ergebnisse vertraut wird bzw. zu dem jedes verwendet wird. Die folgende Gleichung stellt eine gewichtete Formel dar, um jedes der jeweiligen Ergebnisse von den Ergebnissen der Detektion eines freien Pfads wie oben beschrieben anzuwenden. Die Formel ist wie folgt dargestellt:
    Figure 00110001
  • Die vereinigte Wahrscheinlichkeit eines freien Pfads Pfuse(c) wird als Funktion einer gewichteten Linearkombination einer Offline-SVM-Klassifizierungswahrscheinlichkeit Poffline(c), einer Online-Klassifizierungswahrscheinlichkeit einer ähnlichen Szene Ponline(c), einer Draufsichtklassifizierungswahrscheinlichkeit Ptopview(c) und der Anpassungswahrscheinlichkeit Padapt(c) ermittelt. Die Gewichte der vier Modulausgänge woffline, wonline, wtopview und wadapt können gleich sein (z. B. 1/4), oder es kann ein Regressionsverfahren verwendet werden, um ein optimales Gewicht für jedes Modul zu erzeugen. Folglich kann das rekonfigurierbare System zur Detektion eines freien Pfads nur das primäre Modul 20 zur Detektion eines freien Pfads verwenden oder kann es selektiv eine beliebige Kombination der anderen drei Module umfassen.
  • Die Ergebnisse von dem ersten Vereinigungsmodul 22 werden dann auf das zweite Vereinigungsmodul 24 angewandt. Das zweite Vereinigungsmodul 24 verwendet die Ergebnisse des ersten Vereinigungsmoduls 22 und berücksichtigt Straßenstrukturbeschränkungen. Es wird eine Gewichtung verwendet, um einen Grad zu ermitteln, zu dem die Straßenstrukturbeschränkungen in dem zweiten Vereinigungsmodul 24 verwendet werden. Die Gewichtung basiert auf einem Wahrscheinlichkeitssystem. Auf der Grundlage des Straßenstrukturdetektionsergebnisses wird eine Vertrauensabbildung erzeugt. Die Vertrauensabbildung wird auf die Wahrscheinlichkeitsabbildung der Klassifizierung eines freien Pfads angewandt, um das Ergebnis der Detektion eines freien Pfads zu verfeinern.
  • In Kasten 24 werden die Ergebnisse von dem ersten Vereinigungsmodul 22 dem zweiten Vereinigungsmodul 24 geliefert. Die Ergebnisse von dem Straßenstrukturidentifikationsmodul 32 wirken mit den Ergebnissen von dem ersten Vereinigungsmodul 22 zusammen, um ein verbessertes Vertrauen hinsichtlich des Identifizierens des freien Pfads zu gewinnen.
  • In dem Straßenstrukturidentifikationsmodul 32 werden ein Fluchtpunkt und potentielle Straßenränder detektiert, um Grenzen der Straße zu identifizieren, was verwendet wird, um den freien Pfad zu identifizieren. Das Straßenstrukturidentifikationsmodul 32 erhält Bilder von der Bilderfassungseinrichtung 14 oder dem Speicher 18. Die Bilder werden einem Linien-Clusterbildungs- und Fluchtpunktdetektionssubmodul geliefert. Das Submodul verwendet ein Beleuchtungsintensitätsbild und ein Gelbbild, die aus dem erfassten Eingangsbild transformiert werden, und führt eine Randanalyse an dem Beleuchtungsintensitätsbild und dem Gelbbild durch, um Linienkandidaten zu detektieren. Es werden Randfilter auf das Beleuchtungsintensitätsbild angewandt, um vertikale und horizontale Gradienten zu erhalten, die dann verwendet werden, um einen Gradientenbetrag und einen Gradientenwinkel zu ermitteln. Der Gradientenbetrag jedes Pixels wird mit einem Schwellenwert verglichen, um Randpunkte zu extrahieren, die einen Gradientenbetrag aufweisen, der größer als ein vorbestimmter Schwellenwert ist. Die Randanalyse identifiziert den Rändern zugehörige Pixel in den Bilddaten und verwendet dann die Randpunkte in dem Bild, um einen potentiellen Linienkandidaten zu ermitteln.
  • Die Linienkandidaten werden durch Einordnen in ein Cluster (Gruppieren) von potentiellen Pixeln detektiert, die einer potentiellen Spurmarkierung oder einem potentiellen Bordstein zugehörig sind. Eine Linien-Clustereinordnung umfasst das Abtasten der Rand-Pixel eines nach dem anderen. Es wird eine Konnektivität von Pixeln identifiziert, um einen jeweiligen Satz von Pixeln auf der Grundlage eines ähnlichen Gradienten zwischen den Nachbar-Pixeln in ein Cluster einzuordnen. Für jedes Rand Pixel wird die Umgebungsregion eines jeweiligen Pixels nach anderen Rand-Pixeln, die einen ähnlichen Gradientenwinkel wie das jeweilige Pixel aufweisen, durchsucht. Die Pixel, die ähnliche Gradientenwinkel aufweisen, werden miteinander gruppiert, und es wird ihnen ein gleicher Linienindex zugeordnet. Nach dem Abtasten und Gruppieren aller Pixel werden Liniengruppen, die länger als eine jeweilige Länge und eine Ausbreitung in vertikaler Richtung sind, extrahiert und als potentielle Linien-Cluster für eine weitere Verarbeitung identifiziert. Folglich werden potentielle Linien-Cluster auf der Grundlage jener Cluster identifiziert, die eine Gradientenwinkelähnlichkeit und eine lokale Konnektivität aufweisen.
  • Die Linien-Cluster, die in dem Beleuchtungsintensitätsbild und dem Gelbbild identifiziert werden, werden zusammengeführt, und es wird eine Detektion potentieller Linienkandidaten an den zusammengeführten Linien-Clustern durchgeführt. Potentielle Linienkandidaten können aus den Streifen einer hellen Linie, den Streifen einer dunklen Linie und den Streifen einer langgestreckten Linie (d. h. Linien, die sich eine wesentliche Distanz in dem Bild erstrecken) identifiziert werden.
  • Es wird eine Fluchtpunktdetektion auf der Grundlage der Ergebnisse der potentiellen Linienkandidaten angewandt. Ein Fluchtpunkt wird auf der Grundlage der identifizierten hellen Streifen und der langen dunklen Streifen geschätzt. Ferner werden andere dunkle Streifen und einzelne lange Linien identifiziert, um den Fluchtpunkt zu verfeinern. Endende Linien, die sich in naher Nähe zu dem geschätzten anfänglichen Fluchtpunkt befinden, werden ausgewählt, um den Fluchtpunkt zu verfeinern. Als Ergebnis wird die Straßenstruktur auf der Grundlage der detektierten Linien wie hierin beschrieben identifiziert.
  • Nach dem Ermitteln des Fluchtpunkts werden Linien in naher Nähe zu den geschätzten Fluchtpunkten identifiziert. Für alle identifizierten Linien in naher Nähe zu den geschätzten Fluchtpunkten werden Merkmale aus dem Bild extrahiert. Es wird eine Klassifizierungsanalyse an den Kandidatenmerkmalen von kategorisierten linken und rechten Linien-Clustern, die zuverlässige Straßenränder darstellen, durchgeführt.
  • In dem zweiten Vereinigungsmodul 24 wird eine Vertrauensabbildung erzeugt, bei der dem Gebiet oder den Gebieten zwischen den detektierten Straßenrändern, die durch das Straßenstrukturidentifikationsmodul 32 detektiert werden, ein hohes Vertrauen zugeordnet wird, und dem Gebiet oder den Gebieten außerhalb der detektierten Straßenränder ein niedriger Vertrauenswert zugeordnet wird. Für jene Aufteilungsbereiche, die in das Gebiet außerhalb der identifizierten Straßenränder fallen, ist die Wahrscheinlichkeit, dass dieser Aufteilungsbereich Teil des freien Pfads ist, verringert. Dies erfolgt, indem deren zugehörige Wahrscheinlichkeit wie in dem ersten Vereinigungsmodul 22 ermittelt mit der von dem Straßenstrukturidentifikationsmodul 32 erzeugten Vertrauensabbildung vereinigt wird. Die Formel zum Ermitteln der Wahrscheinlichkeit des freien Pfads als Funktion der identifizierten Straßenstruktur wird durch die folgende Formel dargestellt: Prdstr_fuse(c) = Confrd_edge(c)·Pfuse(c) wobei Pfuse(c) die Wahrscheinlichkeit des freien Pfads für einen jeweiligen aufgeteilten Bereich ist, die durch das erste Vereinigungsmodul 22 erzeugt wird, und Confrd_edge der dem Gebiet innerhalb oder außerhalb des Straßenrands zugeordnete Vertrauenswert ist.
  • Das Vereinigungsmodul wie beschrieben kann rekonfiguriert werden, was bedeutet, dass die vereinigte Wahrscheinlichkeit eines freien Pfads verwendet werden kann, indem Straßenrandbeschränkungen in Betracht gezogen werden, oder ohne dass diese in Betracht gezogen werden.
  • Die Ergebnisse von dem zweiten Vereinigungsmodul 24 werden dem Modul 34 einer temporären Kohärenz bereitgestellt. Das Modul 34 einer temporären Kohärenz wendet eine temporäre Glättung auf die vereinigten Ausgangsdaten an. Die Technik einer temporären Kohärenz erzeugt eine vereinigte Wahrscheinlichkeit eines freien Pfads aus vorherigen Bild-Frame-Daten und aktuellen Bild-Frame-Daten. Das Modul 34 einer temporären Kohärenz identifiziert Bereiche in jedem der zeitlich versetzten erfassten Bilder. Aus jedem Bild werden den Bereichen hinzugehörige Merkmale extrahiert. Für jedes extrahierte Merkmal wird ein Wahrscheinlichkeitswert ermittelt, der eine Wahrscheinlichkeit, dass ein Bereich Teil des freien Pfads der befahrenen Straße ist, angibt. Es werden alle zeitlich versetzten Bilder verglichen, und es werden Merkmale mit im Wesentlichen ähnlichen Erscheinungsbildeigenschaften zwischen den zeitlich versetzten Bildern identifiziert. In Ansprechen auf den Vergleich der Merkmale mit im Wesentlichen ähnlichen Erscheinungsbildeigenschaften und deren zugehöriger Wahrscheinlichkeitswerte werden die Merkmale ermittelt, die den freien Pfad angeben. Diese Technik kann unter Verwendung der folgenden Formel dargestellt werden:
    Figure 00150001
  • Ein Pixel-Ort (utvt) in einem vorherigen Frame, der (u0v0) in dem aktuellen Frame entspricht, wird unter Verwendung von Faktoren, wie beispielsweise Fahrzeugbewegung und Bodenannahmen (freier Pfad), berechnet. Eine Delta-Funktion δ(mt(u0v0|utvt)) gibt an, ob das Pixel (utvt) in dem t-ten vorherigen Frame zu einer temporären Glättung beiträgt, was auf der Ähnlichkeit zu dem Pixel (u0v0) in dem aktuellen Frame basiert. Die Gewichte ct, t = 0, 1, 2, ... geben das Beitragsgewicht jedes Frames an. Die Gewichte können feste gleiche Gewichte sein, was eine gleichmäßige Verteilung zwischen jedem Frame bedeutet, oder können mit der Zeit t abfallen, was bedeutet, dass der vorherige Video-Frame weniger beiträgt, wenn er von einem früheren Zeitpunkt stammt.
  • Die Ergebnisse eines freien Pfads, die durch das erste Vereinigungsmodul 22 und das zweite Vereinigungsmodul 24 erzeugt werden, werden einer Ausgabeeinrichtung 36 geliefert. Die Ausgabeeinrichtung 36 kann eine Anzeige zum Anzeigen der Fahrstraße und des freien Pfads für den Fahrer des Fahrzeugs umfassen, wie beispielsweise die Anzeige, die von einer Rückfahrkamera verwendet wird. Die Ausgabeeinrichtung 36 kann eine Fahrzeuganwendung, wie beispielsweise ein Objektdetektionssystem, umfassen, das den identifizierten freien Pfad abtastet, um Objekte in der Szene der befahrenen Straße zu detektieren.
  • Die nachstehende Tabelle zeigt beispielhafte Konfigurationen auf der Grundlage von Genauigkeit und Geschwindigkeit eines Verwendens sekundärer Module eines freien Pfads in Kooperation mit dem primären Modul eines freien Pfads. Die Basislinie wie in der nachstehenden Tabelle gezeigt stellt das primäre Modul zur Detektion eines freien Pfads dar.
    Konfiguration Genauigkeit Geschwindigkeit (s)
    Basislinie 93,93% 0,736
    Basislinie + Anpassungsdetektion 93,38% 0,774
    Basislinie + Straßenstrukturdetektion 93,94% 1,411
    Basislinie + Detektion einer temporären Kohärenz 91,51% 2,21
    Basislinie + temporäre Kohärenz + Anpassungsdetektion 94,63% 2,25
    Basislinie + temporäre Kohärenz + Anpassung + Straßenstrukturdetektion 94,64% 2,759
  • Es ist zu verstehen, dass die hierin gezeigten Konfigurationen und Werte beispielhaft sind und dass die Tabelle mehr oder weniger Informationen als die gezeigten umfassen kann. Beispielsweise können verschiedene Konfigurationen diese Draufsichttechniken und/oder Online-Techniken zusätzlich zu anderen bekannten Techniken verwenden, ohne von dem Schutzumfang der Erfindung abzuweichen. Ferner können sich Geschwindigkeitsdaten und Genauigkeitsdaten in Abhängigkeit von Umgebung, Hardware und Software, die verwendet werden, unterscheiden. Wie gezeigt erhöht sich, wenn sich die Genauigkeit erhöht, die Verarbeitungszeit zum Identifizieren des freien Pfads unter Verwendung der ausgewählten Module eines freien Pfads. Alternativ verringern sich die Verarbeitungszeit sowie die Genauigkeit, wenn weniger Module zur Detektion eines freien Pfads verwendet werden.
  • Um das System zur Detektion eines freien Pfads zu rekonfigurieren, so dass nur die ausgewählten sekundären Module zur Detektion eines freien Pfads verwendet werden, kann das Fahrzeug durch einen Techniker in einer Werkstatt oder eine andere Fachperson, die auf die Software zugreifen können und diese rekonfigurieren können, gewartet werden, um das System zur Detektion eines freien Pfads auszuführen. Wenn die Ergebnisse der sekundären Module zur Detektion eines freien Pfads gewichtet werden sollen, ermittelt das System automatisch die Gewichte auf der Grundlage einer gleichmäßigen Verteilung der Gewichtung zwischen den sekundären Modulen zur Detektion eines freien Pfads, oder die Gewichtung kann auf einer Regressionstechnik basieren.
  • Während in der vorliegenden Erfindung bestimmte Ausführungsformen ausführlich beschrieben wurden, werden Fachleute, die diese Erfindung betrifft, verschiedene alternative Entwürfe und Ausführungsformen zum Ausführen der Erfindung wie durch die folgenden Ansprüche definiert erkennen.

Claims (10)

  1. Rekonfigurierbares System zur Detektion eines freien Pfads für ein Fahrzeug, umfassend: eine Bilderfassungseinrichtung zum Erfassen von Bildern einer Szene eines Fahrpfads; ein primäres Modul zur Detektion eines freien Pfads, das einen freien Pfad in einem von der Bilderfassungseinrichtung erfassten Eingangsbild ermittelt; mehrere sekundäre Module zur Detektion eines freien Pfads, wobei jedes sekundäre Modul zur Detektion eines freien Pfads ausgestaltet ist, um unabhängig das Identifizieren eines jeweiligen freien Pfads der Fahrstraße in dem Eingangsbild zu unterstützen, wobei selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben werden, um das Identifizieren des freien Pfads der Fahrstraße zu unterstützen, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren; und ein Vereinigungsmodul zum kollektiven Analysieren der Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.
  2. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Modul einer temporären Kohärenz umfassen, wobei eine Detektionswahrscheinlichkeit eines freien Pfads von einem Frame eines vorherigen Zeitschritts verwendet wird, um eine Detektionswahrscheinlichkeit eines freien Pfads in einem Frame eines aktuellen Zeitschritts zu aktualisieren, wobei eine Wahrscheinlichkeitsaktualisierung auf einer Technik einer gewichteten Übereinstimmung zwischen Frames basiert, die von einer Fahrzeugbewegung und einer Bodenebenenannahme abgeleitet wird.
  3. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Draufsichtklassifizierungsmodul umfassen, wobei ein Draufsichtbild aus dem Eingangsbild erzeugt wird, und wobei Merkmale aus dem Draufsichtbild extrahiert werden, um den freien Pfad zu identifizieren.
  4. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Straßenstrukturdetektionsmodul umfassen, wobei eine Fluchtpunktverfolgung und eine Verfolgung von am Fluchtpunkt vorbeiführenden Linien durchgeführt werden und eine lernbasierte Straßenranddetektion angewandt wird, um Straßenränder und eine Straßenstruktur in dem Eingangsbild zu identifizieren.
  5. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Online-Modul einer ähnlichen Szene umfassen, wobei das Online-Modul einer ähnlichen Szene ein in Echtzeit erfasstes Bild verwendet und das erfasste Bild mit verschiedenen von einer Datenbank abgerufenen Bildern vergleicht, die zuvor gekennzeichnet oder identifiziert werden.
  6. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 1, wobei eine Kombination des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen Module zur Detektion eines freien Pfads kollektiv analysiert wird, indem jedes der Ergebnisse des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads gewichtet wird.
  7. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 6, wobei eine Gewichtung jedes der Ergebnisse des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads durch die folgende Formel dargestellt wird:
    Figure 00210001
    wobei Pfuse(c) eine vereinigte Wahrscheinlichkeit eines freien Pfads ist, Poffline(c) eine durch ein offline trainiertes SVM-Modell klassifizierte Wahrscheinlichkeit einer primären Detektion eines freien Pfads ist, Ponline(c) eine Wahrscheinlichkeit einer Online-Klassifizierung einer ähnlichen Szene ist, Ptopview(c) eine Draufsichtklassifizierungswahrscheinlichkeit ist und Padapt(c) die Anpassungswahrscheinlichkeit ist und Woffline, Wonline, Wtopview und Wadapt Gewichtswerte sind.
  8. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 7, wobei der freie Pfad ferner als Funktion der identifizierten Straßenstruktur ermittelt wird und durch die folgende Formel dargestellt wird: Prdstr_ fuse(c) = Confrd_edge(c)·Pfuse(c) wobei Prdstr_fuse(c) eine Wahrscheinlichkeit des freien Pfads als Funktion der identifizierten Straßenstruktur ist, Pfuse(c) die Wahrscheinlichkeit des freien Pfads für einen jeweiligen aufgeteilten Bereich, erzeugt durch ein erstes Vereinigungsmodul, ist und Confrd_edge eine Vertrauensabbildung mit Gebieten innerhalb und außerhalb der identifizierten Straßenränder, denen verschiedene Vertrauenswerte zugeordnet werden, ist.
  9. Rekonfigurierbares System zur Detektion eines freien Pfads nach Anspruch 1, wobei die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads zeitlich versetzte erfasste Bilder der befahrenen Straße zum Identifizieren des freien Pfads in dem Eingangsbild verwenden.
  10. Verfahren zum Detektieren eines freien Pfads einer Fahrstraße für ein Fahrzeug, wobei das Verfahren die Schritte umfasst, dass: Bilder einer Szene eines Fahrpfads durch eine Bilderfassungseinrichtung erfasst werden; ein freier Pfad in einem Eingangsbild durch ein primäres Modul zur Detektion eines freien Pfads ermittelt wird, wobei das primäre Modul zur Detektion eines freien Pfads das Eingangsbild von der Bilderfassungseinrichtung analysiert, wobei das primäre Modul zur Detektion eines freien Pfads das Eingangsbild in mehrere Bereiche aufteilt, wobei Wahrscheinlichkeitswerte für jeden der Bereiche, die eine Wahrscheinlichkeit bezüglich dessen, ob ein jeweiliger Bereich ein freier Fahrpfad ist, darstellen, ermittelt werden, wobei Merkmalsdaten des Eingangsbilds mit den aufgeteilten Bereichen in Verbindung gebracht werden und eine trainierte Klassifizierungseinrichtung angewandt wird, um einen freien Fahrpfad in dem Eingangsbild auf der Grundlage der Merkmalsdaten und der entsprechenden Wahrscheinlichkeitswerte zu identifizieren; mehrere sekundäre Module zur Detektion eines freien Pfads bereitgestellt werden, um unabhängig einen jeweiligen freien Fahrpfad in dem Eingangsbild zu identifizieren; selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben werden, um den freien Fahrpfad zu identifizieren, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren; ein Vereinigungsmodul kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads analysiert, um den freien Pfad in dem Eingangsbild zu identifizieren.
DE102013205952.3A 2012-04-09 2013-04-04 Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads Active DE102013205952B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/441,962 US9626599B2 (en) 2012-04-09 2012-04-09 Reconfigurable clear path detection system
US13/441,962 2012-04-09

Publications (2)

Publication Number Publication Date
DE102013205952A1 true DE102013205952A1 (de) 2013-10-24
DE102013205952B4 DE102013205952B4 (de) 2020-03-19

Family

ID=49290316

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013205952.3A Active DE102013205952B4 (de) 2012-04-09 2013-04-04 Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads

Country Status (3)

Country Link
US (1) US9626599B2 (de)
CN (1) CN103366154B (de)
DE (1) DE102013205952B4 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
US11334605B2 (en) 2015-06-04 2022-05-17 Here Global B.V. Incremental update of compressed navigational databases
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US10267908B2 (en) 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
CN105825173B (zh) * 2016-03-11 2019-07-19 福州华鹰重工机械有限公司 通用道路和车道检测系统与方法
US9881230B2 (en) 2016-05-11 2018-01-30 International Business Machines Corporation System and method for automated road identification in distant traffic camera images
US11132611B2 (en) * 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US11222438B2 (en) * 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
EP3252658B1 (de) * 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
US11204610B2 (en) * 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
US10421452B2 (en) * 2017-03-06 2019-09-24 GM Global Technology Operations LLC Soft track maintenance
US10670725B2 (en) * 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
JP6918425B2 (ja) * 2017-11-09 2021-08-11 株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
KR20210103865A (ko) * 2020-02-14 2021-08-24 삼성전자주식회사 소실점 추출 장치 및 소실점 추출 방법
US11380093B2 (en) * 2020-07-30 2022-07-05 GM Global Technology Operations LLC Detecting road edges by fusing aerial image and telemetry evidences

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040247157A1 (en) * 2001-06-15 2004-12-09 Ulrich Lages Method for preparing image information
US7983835B2 (en) * 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US8478480B2 (en) * 2006-10-27 2013-07-02 International Electronic Machines Corp. Vehicle evaluation using infrared data
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5116608B2 (ja) * 2008-08-20 2013-01-09 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
CN102236899B (zh) * 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
DE102011016770B4 (de) * 2011-04-12 2021-02-04 Daimler Ag Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Fahrspurwechsel und Vorrichtung zur Durchführung des Verfahrens

Also Published As

Publication number Publication date
DE102013205952B4 (de) 2020-03-19
CN103366154B (zh) 2019-04-02
CN103366154A (zh) 2013-10-23
US9626599B2 (en) 2017-04-18
US20130265424A1 (en) 2013-10-10

Similar Documents

Publication Publication Date Title
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE102014210820B4 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
DE102014206704B4 (de) Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse
DE102006012914B4 (de) System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
DE102012207620B4 (de) System und Verfahren für die Lichtsignaldetektierung
DE102013205810B4 (de) System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen
DE102019202252A1 (de) Robuste simultane lokalisierung und kartierung durch entfernung dynamischer verkehrsteilnehmer
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102009050502A1 (de) Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
DE102016122190A1 (de) Verfahren und Systeme zur Stixel-Schätzung
DE102018121008B4 (de) System zum fahren eines autonomen fahrzeugs sowie damit ausgestattetes fahrzeugs
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE112011103690T5 (de) Erkennung und Verfolgung sich bewegender Objekte
DE102019115676A1 (de) Verfahren und system zur rekonstruktion einer fahrzeug-szene in einer cloud-ebene
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102015216352A1 (de) Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
DE102018220892A1 (de) Vorrichtung und Verfahren zur Generierung von Labelobjekten für die Umgebung eines Fahrzeugs
DE102019127283A1 (de) System und Verfahren zum Erfassen eines Objekts in einer dreidimensionalen Umgebung eines Trägerfahrzeugs
DE102013201682A1 (de) Auswählen von sichtbaren Gebieten in Nachtbildern zum Durchführen einer Detektion eines freien Pfads
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final