DE102014007994A1 - Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern - Google Patents

Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern Download PDF

Info

Publication number
DE102014007994A1
DE102014007994A1 DE102014007994.5A DE102014007994A DE102014007994A1 DE 102014007994 A1 DE102014007994 A1 DE 102014007994A1 DE 102014007994 A DE102014007994 A DE 102014007994A DE 102014007994 A1 DE102014007994 A1 DE 102014007994A1
Authority
DE
Germany
Prior art keywords
image
vehicle
light signals
images
road users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014007994.5A
Other languages
English (en)
Inventor
Markus Enzweiler
Uwe Franke
Björn Fröhlich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102014007994.5A priority Critical patent/DE102014007994A1/de
Publication of DE102014007994A1 publication Critical patent/DE102014007994A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Lichtsignalen (L) von Verkehrsteilnehmern (V1 bis Vn). Erfindungsgemäß werden mittels zumindest einer Bilderfassungseinheit (2) Bilddaten einer Fahrzeugumgebung erfasst und derart verarbeitet, dass Bilder (B) mit Tiefeninformationen (TI1 bis TI3) entstehen, wobei in Bildausschnitten (BA) zumindest zwei zeitlich aufeinander folgender Bilder (B) Korrespondenzen (KO) bestimmt werden, die Bildausschnitte (BA) in Abhängigkeit der bestimmten Korrespondenzen registriert werden, aus den registrierten Bildausschnitten (BA') Differenzbilder (DB) erzeugt werden, in zeitlich aufeinanderfolgenden Differenzbildern (DB) Bildhelligkeiten ausgewertet werden und anhand von Änderungen der Bildhelligkeiten Lichtsignale (L) zumindest eines Verkehrsteilnehmers (V1 bis Vn) erkannt werden. Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens zum autonomen oder teilautonomen Fahrbetrieb eines Fahrzeugs (1).

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern und eine Verwendung eines solchen Verfahrens zum autonomen oder teilautonomen Fahrbetrieb eines Fahrzeugs.
  • Aus dem Stand der Technik sind allgemein Verfahren und Vorrichtungen zum autonomen oder teilautonomen Betrieb von Fahrzeugen bekannt.
  • Die DE 10 2012 017 934 A1 beschreibt ein Verfahren zum Durchführen eines automatischen Fahrvorgangs eines Kraftfahrzeugs unter Verwendung einer externen Steuervorrichtung, die über einen Kommunikationskanal mit einer kraftfahrzeugseitigen Steuervorrichtung kommuniziert und die den automatischen Fahrvorgang des Kraftfahrzeugs unter Berücksichtigung von Gesten eines sich außerhalb des Kraftfahrzeugs befindenden Fahrers steuert. Hierbei wird der sich außerhalb des Kraftfahrzeugs befindende Fahrer durch einen Signalaustausch zwischen der externen Steuervorrichtung und der kraftfahrzeugseitigen Steuervorrichtung authentisiert, eine Fahrberechtigung des sich außerhalb des Kraftfahrzeugs befindenden Fahrers durch Erfassen des sich außerhalb des Kraftfahrzeugs befindenden Fahrers durch die kraftfahrzeugseitige Steuervorrichtung über einen von dem Kommunikationskanal unabhängigen sensorischen Informationskanal verifiziert, Gesten des sich außerhalb des Kraftfahrzeugs befindenden Fahrers durch eine mit der kraftfahrzeugseitigen Steuervorrichtung gekoppelte Kamera erfasst und das Kraftfahrzeug zum Durchführen des automatischen Fahrvorgangs durch die kraftfahrzeugseitige Steuervorrichtung in Abhängigkeit von der kraftfahrzeugseitigen Steuervorrichtung ausgewerteter Gesten des sich außerhalb des Kraftfahrzeugs befindenden Fahrers gesteuert.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern und eine Verwendung eines solchen Verfahrens zum autonomen oder teilautonomen Fahrbetrieb eines Fahrzeugs anzugeben.
  • Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 8 angegebenen Merkmale gelöst.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • In dem Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern werden erfindungsgemäß mittels zumindest einer Bilderfassungseinheit Bilddaten einer Fahrzeugumgebung erfasst und derart verarbeitet, dass Bilder mit Tiefeninformationen entstehen, wobei in Bildausschnitten zumindest zwei zeitlich aufeinander folgender Bilder Korrespondenzen bestimmt werden, die Bildausschnitte in Abhängigkeit der bestimmten Korrespondenzen registriert werden, aus den registrierten Bildausschnitten Differenzbilder erzeugt werden, in zeitlich aufeinanderfolgenden Differenzbildern Bildhelligkeiten ausgewertet werden und anhand von Änderungen der Bildhelligkeiten Lichtsignale zumindest eines Verkehrsteilnehmers erkannt werden.
  • Mittels des erfindungsgemäßen Verfahrens ist in besonders vorteilhafter Weise eine zuverlässige Erkennung von Lichtsignalen von Verkehrsteilnehmern, beispielsweise eine Lichthupe eines entgegenkommenden Fahrzeugs, durchführbar. Diese hohe Zuverlässigkeit ermöglicht es, das Verfahren zu einem zuverlässigen autonomen oder teilautonomen Fahrbetrieb eines Fahrzeugs zu verwenden und eine automatische Längs- und/oder Querregelung des Fahrzeugs an aus den Lichtsignalen ermittelte Gesten anzupassen. Somit kann ein, einem gewöhnlichen menschlichen Verhalten angepasstes Fahrverhalten des Fahrzeugs im autonomen oder teilautonomen Fahrbetrieb realisiert werden, welches für einen Nutzer des Fahrzeugs und andere Verkehrsteilnehmer in einfacher Weise nachvollziehbar ist.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 schematisch eine perspektivische Ansicht eines Ausschnitts eines Fahrzeugs mit einer Bilderfassungseinheit,
  • 2 schematisch ein mittels der Bilderfassungserfassungseinheit gemäß 1 erfasstes erstes Bild einer Umgebung des Fahrzeugs und einer Draufsicht auf eine Verkehrssituation,
  • 3 schematisch ein mittels der Bilderfassungserfassungseinheit gemäß 1 erfasstes zweites Bild einer Umgebung des Fahrzeugs,
  • 4 schematisch eine Draufsicht auf eine Verkehrssituation zu einem ersten Zeitpunkt,
  • 5 schematisch eine Draufsicht auf die Verkehrssituation gemäß 4 zu einem zweiten Zeitpunkt,
  • 6 schematisch eine Draufsicht auf die Verkehrssituation gemäß 4 zu einem dritten Zeitpunkt,
  • 7 schematisch einen Ablauf eines erfindungsgemäßen Verfahrens,
  • 8 schematisch ein Segment,
  • 9 schematisch das Segment gemäß 9 und eine zu diesem gehörige Klassifikationsfläche,
  • 10. schematisch eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs mit dem Segment gemäß 9 und der zu diesem gehörigen Klassifikationsfläche gemäß 10, welche in die zweidimensionale Darstellung transformiert sind,
  • 11 schematisch eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs mit für eine Anzahl von Segmenten erzeugten Klassifikationsflächen,
  • 12 schematisch eine weitere zweidimensionale Darstellung einer Umgebung des Fahrzeugs mit für eine Anzahl von Segmenten erzeugten Klassifikationsflächen,
  • 13 schematisch eine zweidimensionale Darstellung der Umgebung gemäß 12 mit detektierten und klassifizierten Objekten,
  • 14 schematisch einen Bildausschnitt einer zweidimensionalen Darstellung einer Umgebung des Fahrzeugs mit einem erkannten Verkehrsteilnehmer,
  • 15 schematisch ein zu der zweidimensionalen Darstellung gemäß 14 gehöriger Bildausschnitt mit Tiefeninformationen,
  • 16 schematisch ein Bildausschnitt der Umgebung des Fahrzeugs gemäß 14 nach einer Ausmaskierung eines Hintergrunds des erkannten Verkehrsteilnehmers gemäß 14,
  • 17 schematisch einen Ablauf einer Stabilisierung von erfassten Bilddaten,
  • 18 schematisch eine Erzeugung eines Differenzbildes mit einer zeitlichen Registrierung,
  • 19 schematisch ein Differenzbild ohne zeitliche Registrierung,
  • 20 schematisch eine Erzeugung eines Differenzbildes mit einer zeitlichen Registrierung bei einer Lichthupe eines entgegenkommenden Verkehrsteilnehmers, und
  • 21 schematisch eine Lichtsignalerkennung von Rücklichtern eines Fahrzeugs.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 ist eine perspektivische Ansicht eines Ausschnitts eines Fahrzeugs 1 mit einer im Innenraum des Fahrzeugs 1 hinter einer Windschutzscheibe angeordneten Bilderfassungseinheit 2 dargestellt. Die Bilderfassungseinheit 2 ist im dargestellten Ausführungsbeispiel als Stereokamera ausgebildet und zur Erfassung einer im Wesentlichen vor dem Fahrzeug 1 befindlichen Umgebung vorgesehen. Die Bilderfassungseinheit 2 ist in nicht näher dargestellter Weise mit einer Bildverarbeitungseinheit zur stereoskopischen Verarbeitung erfasster Bilddaten gekoppelt.
  • Anhand der erfassten Bilddaten der Bilderfassungseinheit 2 werden mittels der Bildverarbeitungseinheit Fußgänger, Radfahrer, Fahrzeuge, Gesten von Personen und Lichtsignale bzw. Lichtgesten von Verkehrsteilnehmern erfasst. Diese Erfassung erfolgt insbesondere gemäß der Beschreibung in ”Enzweiler, M. und Gavrila, D. M.: Monocular Pedestrian Detection: Survey and Experiments; In: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, no. 12, Seiten 2179 bis 2195, 2009”, ”Enzweiler, M. u. a.: Efficient Stixel-Based Object Recognition; In: IEEE Intelligent Vehicles Symposium, 2012”, ”Fröhlich, B. u. a: Will this Car Change the Lane? – Turn Signal Recognition in the Frequency Domain; In: IEEE Intelligent Vehicles Symposium, 2014” und DE 10 2012 017 934 A1 .
  • Ein solches mittels der Bilderfassungseinheit 2 erfasstes zweidimensionales Bild B der Umgebung des Fahrzeugs 1 und einer Draufsicht auf eine Verkehrssituation in dieser Umgebung zeigt 2. Innerhalb eines Erfassungsbereichs E der Bilderfassungseinheit 2 überquert ein als Fußgänger ausgebildeter Verkehrsteilnehmer V1 eine vor dem Fahrzeug 1 befindliche Fahrbahn, wobei mittels der Bildverarbeitungseinheit in bekannter Weise eine Erkennung des Verkehrsteilnehmers V1 als Fußgänger erfolgt.
  • In 3 ist ein weiteres mittels der Bilderfassungseinheit 2 erfasstes zweidimensionales Bild B der Umgebung des Fahrzeugs 1 dargestellt. Innerhalb des Erfassungsbereichs E werden mittels der Bildverarbeitungseinheit mehrere als Fahrzeuge ausgebildete Verkehrsteilnehmer V2 bis V5 vor dem Fahrzeug 1, insbesondere mittels der oben genannten Verfahren, erkannt.
  • Die 4 bis 6 zeigen in einer Draufsicht eine Verkehrssituation zu aufeinanderfolgenden Zeitpunkten.
  • Hierbei nähern sich gemäß 4 zunächst das Fahrzeug 1 und ein als dem Fahrzeug 1 entgegenkommendes Fahrzeug ausgebildeter Verkehrsteilnehmer V4 jeweils auf ihrer Fahrspur als stehende Fahrzeuge ausgebildeten Verkehrsteilnehmern V2, V3.
  • Anschließend erzeugt gemäß 5 der Verkehrsteilnehmer V4 ein als Lichthupe bekanntes Lichtsignal L, um dem Fahrer des Fahrzeugs 1 zu signalisieren, dass er diesem die Vorfahrt gewährt.
  • Dieses Lichtsignal L wird mittels eines möglichen Ausführungsbeispiels eines Verfahrens zur Erkennung von Lichtsignalen L von Verkehrsteilnehmern V1 bis V5 erkannt, wobei in Abhängigkeit des erkannten Lichtsignals L und einer daraus abgeleiteten Geste ein autonomer oder teilautonomer Fahrbetrieb des Fahrzeugs 1, insbesondere eine Quer- und/oder Längsregelung, gesteuert wird.
  • Somit wird das Fahrzeug 1 nach Erkennen des Lichtsignals L als Geste zur Gewährung der Vorfahrt autonom oder teilautonom am Verkehrsteilnehmer V2 vorbeigeführt.
  • In 7 ist in stark vereinfachter Weise ein Ablauf eines möglichen Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur Erkennung von Lichtsignalen L dargestellt, wobei in einem ersten Verfahrensschritt S1 die Verkehrsteilnehmer V1, V2 als Fahrzeuge erkannt werden, in einem zweiten Verfahrensschritt S2 die Lichtsignale L erkannt und in einem dritten Verfahrensschritt S3 der autonome oder teilautonome Fahrbetrieb des Fahrzeugs 1 in Abhängigkeit der erkannten Lichtsignale L gesteuert wird.
  • Die Erkennung der Verkehrsteilnehmer V1, V2 erfolgt dabei aus den mittels der Bilderfassungseinheit 2 erfassten Bilddaten beispielsweise gemäß ”Enzweiler, M. u. a.: Efficient Stixel-Based Object Recognition; In: IEEE Intelligent Vehicles Symposium, 2012” und der DE 10 2012 000 459 A1 mittels so genannter Stixel.
  • In nicht näher dargestellter Weise werden in den mittels der Bilderfassungseinheit 2 erfassten Bildern B zur Erkennung der Verkehrsteilnehmer V1 bis V5 die Verkehrsteilnehmer V1 bis V5 darstellende Bildobjekte mittels Segmenten SE, auch als Stixel bezeichnet, modelliert.
  • Insbesondere weisen die Segmente SE zur Kennzeichnung einer Entfernung vom eigenen Fahrzeug 1 unterschiedliche farbliche Kennzeichnungen auf. Dabei kennzeichnen Segmente SE mit roter Farbgebung beispielsweise nahe liegende Verkehrsteilnehmer V1 bis V5 und Segmente SE mit grüner Farbgebung weiter entfernte Verkehrsteilnehmer V1 bis V5.
  • Hierbei werden in nicht dargestellter Weise zunächst jeweils zwei Bilder der Umgebung aufgenommen und mittels Stereobildverarbeitung wird ein Disparitätsbild ermittelt. Aus den ermittelten Disparitäten wird eine Tiefenkarte der Umgebung bestimmt.
  • Die Tiefenkarte wird anschließend segmentiert, indem die Segmente SE mit einer vorgegebenen Breite aus Bildpunkten gleicher oder ähnlicher Entfernung zu einer Bildebene der Bilderfassungserfassungseinheit 2 gebildet werden.
  • Eine Approximation einer gefundenen Freiraumbegrenzungslinie in die Segmente SE mit beliebig vorgegebener Breite, welche stabartig ausgebildet sind, liefert eine Entfernung der Segmente SE zur Bilderfassungseinheit 2. Bei bekannter Orientierung der Bilderfassungseinheit 2 zur Umgebung und bekanntem dreidimensionalen Verlauf ergibt sich ein jeweiliger Fußpunkt FP der Segmente SE im Bild B.
  • Anschließend wird eine Höhe jedes Segments SE geschätzt, so dass jedes Segment SE durch eine zweidimensionale Position eines Fußpunkts FP und seine Höhe charakterisiert wird.
  • Die Schätzung der Höhe erfolgt in einer dynamischen Programmierung mittels histogrammbasierter Auswertung aller dreidimensionalen Punkte im Bereich des jeweiligen Segments SE.
  • Alternativ oder zusätzlich werden die Segmente SE direkt aus dem Disparitätsbild ermittelt. Dies erfolgt insbesondere gemäß der Beschreibung der DE 10 2012 000 459 A1 nach dem aus der DE 10 2011 111 440 A1 bekannten Verfahren.
  • Weiterhin wird zur Detektion und Klassifikation der Verkehrsteilnehmer V1 bis V5 für jedes Segment SE eine Klassifikationsfläche K1 bis Kk mit definierten Abmessungen erzeugt.
  • Die 8 bis 10 zeigen den zeitlichen Ablauf der Erzeugung der Klassifikationsflächen K1 bis Kk am Beispiel des als Fahrzeug ausgebildeten Verkehrsteilnehmers V2. Zunächst werden, wie zuvor beschrieben, alle Segmente SE erzeugt, wobei die Annahme zugrunde liegt, dass jedes Segment SE eine mögliche vertikale Mitte des zu detektierenden und zu klassifizierenden Verkehrsteilnehmers V2 darstellt.
  • Anschließend wird gemäß 8 aus dem Disparitätsbild ein Segment SE mit seiner dreidimensionalen Position extrahiert. Die dreidimensionale Position gibt dabei die dreidimensionale Position des Fußpunktes FP des Segments SE im Disparitätsbild an.
  • Darauffolgend wird gemäß 9 dem Segment SE die Klassifikationsfläche K1 zugeordnet, wobei die Klassifikationsfläche K1 derart positioniert wird, dass ein Mittelpunkt MP einer unteren Kante der Klassifikationsfläche K1 im Fußpunkt FP des zugehörigen Segments SE angeordnet wird.
  • Anschließend werden das Segment SE und die zugehörige Klassifikationsfläche K1 gemäß 10 in die zweidimensionale Darstellung transformiert.
  • Die in den 8 bis 10 dargestellten und zuvor beschriebenen Schritte werden für alle weiteren Segmente SE und die dazugehörigen Klassifikationsflächen K2 bis Kk durchgeführt.
  • Ergebnis dieses Verfahrens sind die in den 11 und 12 dargestellten zweidimensionalen Darstellungen, in welchen jeweils an den Fußpunkten FP der Segmente SE der Verkehrsteilnehmer V1 bis Vn die Klassifikationsflächen K1 bis Kk mit dem Mittelpunkt MP ihrer unteren Kante positioniert werden.
  • Innerhalb der Klassifikationsflächen K1 bis Kk werden anschließend insbesondere mittels der aus ”Enzweiler, M. und Gavrila, D. M.: Monocular Pedestrian Detection: Survey and Experiments; In: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, no. 12, Seiten 2179 bis 2195, 2009”, ”Dalal, N., Triggs, B.: Histograms of Oriented Gradients for Human Detection; In: Proc. IEEE Int'l Conf. Computer Vision and Pattern Recognition, Seiten 886 bis 893, 2005”, ”Viola, P. u. a: Detecting Pedestrians Using Patterns of Motion and Appearance; In: Int'l J. Computer Vision, vol. 63, no. 2, Seiten 153 bis 161, 2005” und ”Wöhler, C., Anlauf, J.: An Adaptable Time-Delay Neural Network Algorithm for Image Sequence Analysis; In: IEEE Trans. Neural Networks, vol. 10, no. 6, Seiten 1531 bis 1536, November 1999” bekannten Verfahren die Detektion und Klassifikation der Verkehrsteilnehmer V1 bis Vn durchgeführt, so dass die Verkehrsteilnehmer V1 bis Vn in den dargestellten Ausführungsbeispielen der 11 und 12 als Fahrzeuge klassifiziert werden. Weiterhin sind Fußgänger, Radfahrer oder andere Objekte, insbesondere Bauwerke, Tiere und Verkehrszeichen, klassifizierbar.
  • Bei der Auswahl und Anordnung der Klassifikationsflächen K1 bis Kk werden eine Entfernung des Segments SE, der Fußpunkt FP des Segments SE und die Höhe der Segmente SE berücksichtigt. Insbesondere wird eine Größe der Klassifikationsflächen K1 bis Kk an die gesuchten Verkehrsteilnehmer V1 bis Vn angepasst. Dabei wird beispielsweise bei der Suche nach Fahrzeugen in der Umgebung die Größe der Klassifikationsflächen K1 bis Kk größer gewählt als bei der Suche nach Fußgängern.
  • Weiterhin wird bei der Auswahl und Anordnung der Klassifikationsflächen K1 bis Kk eine Geschwindigkeit des jeweiligen Verkehrsteilnehmers V1 bis Vn und eine Eigengeschwindigkeit der Bilderfassungseinheit 2 zur Aufnahme der Bilder B, d. h. eine Eigengeschwindigkeit des Fahrzeugs 1, an welchem die Bilderfassungseinheit 2 angeordnet ist, berücksichtigt. Somit ist es in besonders vorteilhafter Weise möglich, aus einer spezifischen Bewegung der Verkehrsteilnehmer V1 bis Vn bereits Anhaltspunkte zur Klassifizierung derselben abzuleiten.
  • Aufgrund dessen, dass die Klassifikationsflächen K1 bis Kk nicht für jeden Bildpunkt, sondern für jedes Segment SE erzeugt werden, wird eine Menge an Eingangsdaten zur Detektion und Klassifikation der Verkehrsteilnehmer V1 bis Vn und somit ein Aufwand bei der Verarbeitung der Daten signifikant reduziert. Weiterhin ist aufgrund der Kenntnis der dreidimensionalen Positionen der Segmente SE nach der Detektion und Klassifikation auch die dreidimensionale Position des jeweiligen Verkehrsteilnehmers V1 bis Vn im Disparitätsbild bekannt.
  • In 13 ist die zweidimensionale Darstellung der Umgebung gemäß 12 dargestellt, wobei alle Verkehrsteilnehmer V1 bis V3 als Fahrzeuge klassifiziert sind.
  • Um in den Bildern B Lichtsignale eines Verkehrsteilnehmers V1 bis Vn zu erkennen, werden mittels der Klassifikationsflächen K1 bis Kk Bildausschnitte BA gebildet. Einen solchen Bildausschnitt BA mit einem erkannten Verkehrsteilnehmer V1 zeigt 14.
  • 15 zeigt den Bildausschnitt BA gemäß 14 mit Tiefeninformationen TI1 bis TI3.
  • In 16 ist der Bildausschnitt BA gemäß 14 nach einer Ausmaskierung eines Hintergrunds H des Verkehrsteilnehmers V1 dargestellt, wobei der Hintergrund H in den Bereich der Tiefeninformationen TI2, TI3 anhand einer so genannten Median-Tiefe mittels eines geeigneten Distanzfilters ermittelt wird. Dabei werden insbesondere die Bildpunkte als Hintergrund H angesehen, deren Tiefe beispielsweise weiter als 1 m von der Median-Tiefe entfernt ist.
  • 17 zeigt einen Ablauf einer Stabilisierung von erfassten Bilddaten, wobei hierzu in gemäß den 14 bis 16 erzeugten und zu aufeinander folgenden Zeitpunkten erfassten Bildausschnitten BA mit Ausmaskierung des Hintergrunds H in einem Verfahrensschritt S4 anhand des optischen Flusses Korrespondenzen KO bestimmt werden und die Bildausschnitte BA in Abhängigkeit der bestimmten Korrespondenzen KO in einem affinen Abbildungsverfahren zeitlich registriert werden, so dass registrierte Bildausschnitte BA' entstehen.
  • Anschließend wird aus den registrierten Bildausschnitten BA' ein Differenzbild DB, welches in 18 dargestellt ist, erzeugt.
  • 19 zeigt zum Vergleich ein Differenzbild DB', welches ohne zeitliche Registrierung erzeugt wurde. Dabei wird ersichtlich, dass das Differenzbild DB mit zeitlicher Registrierung eine genauere Darstellung liefert.
  • Anschließend werden gemäß 20 in zeitlich aufeinanderfolgenden Differenzbildern DB Bildhelligkeiten ausgewertet und anhand von Änderungen der Bildhelligkeiten werden Lichtsignale L des Verkehrsteilnehmers V1 erkannt. Hierbei ergibt sich beispielsweise bei einer Lichthupe eines Fahrzeugs ein großer zeitlicher Unterschied in der Bildhelligkeit und damit auch im Differenzbild DB.
  • Die Ermittlung und Erkennung der Lichtsignale L erfolgt insbesondere anhand einer Gauß-Mischverteilung in einem so genannten Clustering-Verfahren im Differenzbild DB.
  • Eine Unterscheidung von Lichtsignalen, beispielsweise Blinksignalen, und Reflexionen erfolgt insbesondere anhand einer geometrischen Erwartung, wobei berücksichtigt wird, ob die gefunden Cluster eine ähnliche Größe aufweisen, ungefähr die gleiche Höhe innerhalb des Differenzbildes DB aufweisen und in einem in Abhängigkeit einer Breite des Verkehrsteilnehmers V1 bis Vn erwarteten Abstand A zueinander angeordnet sind.
  • Diesen Abstand A zeigt 21 am Beispiel eines Differenzbildes DB eines Heckbereichs eines als Fahrzeug ausgebildeten Verkehrsteilnehmers V1.
  • Aus den erkannten Lichtsignalen L werden anschließend Gesten ermittelt, anhand welcher die Steuerung des Fahrverhaltens des Fahrzeugs 1 im autonomen oder teilautonomen Fahrbetrieb erfolgt.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    2
    Bilderfassungseinheit
    A
    Abstand
    B
    Bild
    BA
    Bildausschnitt
    BA'
    Bildausschnitt
    DB
    Differenzbild
    DB'
    Differenzbild
    E
    Erfassungsbereich
    FP
    Fußpunkt
    H
    Hintergrund
    KO
    Korrespondenz
    K1 bis Kk
    Klassifikationsfläche
    L
    Lichtsignal
    MP
    Mittelpunkt
    SE
    Segment
    S1 bis S5
    Verfahrensschritt
    TI1 bis TI3
    Tiefeninformation
    V1 bis Vn
    Verkehrsteilnehmer
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102012017934 A1 [0003, 0034]
    • DE 102012000459 A1 [0043, 0051]
    • DE 102011111440 A1 [0051]
  • Zitierte Nicht-Patentliteratur
    • Enzweiler, M. und Gavrila, D. M.: Monocular Pedestrian Detection: Survey and Experiments; In: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, no. 12, Seiten 2179 bis 2195, 2009 [0034]
    • Enzweiler, M. u. a.: Efficient Stixel-Based Object Recognition; In: IEEE Intelligent Vehicles Symposium, 2012 [0034]
    • Fröhlich, B. u. a: Will this Car Change the Lane? – Turn Signal Recognition in the Frequency Domain; In: IEEE Intelligent Vehicles Symposium, 2014 [0034]
    • Enzweiler, M. u. a.: Efficient Stixel-Based Object Recognition; In: IEEE Intelligent Vehicles Symposium, 2012 [0043]
    • Enzweiler, M. und Gavrila, D. M.: Monocular Pedestrian Detection: Survey and Experiments; In: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, no. 12, Seiten 2179 bis 2195, 2009 [0059]
    • Dalal, N., Triggs, B.: Histograms of Oriented Gradients for Human Detection; In: Proc. IEEE Int'l Conf. Computer Vision and Pattern Recognition, Seiten 886 bis 893, 2005 [0059]
    • Viola, P. u. a: Detecting Pedestrians Using Patterns of Motion and Appearance; In: Int'l J. Computer Vision, vol. 63, no. 2, Seiten 153 bis 161, 2005 [0059]
    • Wöhler, C., Anlauf, J.: An Adaptable Time-Delay Neural Network Algorithm for Image Sequence Analysis; In: IEEE Trans. Neural Networks, vol. 10, no. 6, Seiten 1531 bis 1536, November 1999 [0059]

Claims (9)

  1. Verfahren zur Erkennung von Lichtsignalen (L) von Verkehrsteilnehmern (V1 bis Vn), dadurch gekennzeichnet, dass – mittels zumindest einer Bilderfassungseinheit (2) Bilddaten einer Fahrzeugumgebung erfasst werden und derart verarbeitet werden, dass Bilder (B) mit Tiefeninformationen (TI1 bis TI3) entstehen, – wobei in Bildausschnitten (BA) zumindest zwei zeitlich aufeinander folgender Bilder (B) Korrespondenzen (KO) bestimmt werden, – die Bildausschnitte (BA) in Abhängigkeit der bestimmten Korrespondenzen registriert werden, – aus den registrierten Bildausschnitten (BA') Differenzbilder (DB) erzeugt werden, – in zeitlich aufeinanderfolgenden Differenzbildern (DB) Bildhelligkeiten ausgewertet werden und – anhand von Änderungen der Bildhelligkeiten Lichtsignale (L) zumindest eines Verkehrsteilnehmers (V1 bis Vn) erkannt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus den Lichtsignalen (L) Gesten ermittelt werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Erkennung der Lichtsignale (L) anhand einer Gauß-Mischverteilung ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in den die Bildausschnitten (BA) mittels zumindest eines Distanzfilters ein Hintergrund (H) zumindest eines erkannten Verkehrsteilnehmers (V1 bis Vn) ausmaskiert wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten stereoskopisch erfasst und verarbeitet werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in den Bildern (B) mit Tiefeninformationen (TI1 bis TI3) ein hindernisfreier Freiraum der Umgebung identifiziert wird und das Disparitätsbild außerhalb des Freiraums segmentiert wird, indem Segmente (SE) gleicher Breite aus Bildpunkten gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass – für jedes Segment (SE) eine Klassifikationsfläche (K1 bis Kk) mit definierten Abmessungen erzeugt wird, wobei ein Mittelpunkt (MP) einer unteren Kante einer Klassifikationsfläche (K1 bis Kk) im Fußpunkt (FP) des jeweils zugehörigen Segments (SE) angeordnet wird und – dass das jeweilige Segment (SE) mit der zugehörigen Klassifikationsfläche (K1 bis Kk) in eine zweidimensionale Darstellung der Umgebung transformiert wird, – wobei innerhalb der Klassifikationsflächen (K1 bis Kk) in der zweidimensionalen Darstellung nach Verkehrsteilnehmern (V1 bis Vn) gesucht wird und diese klassifiziert werden.
  8. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zum autonomen oder teilautonomen Fahrbetrieb eines Fahrzeugs (1).
  9. Verwendung nach Anspruch 8, dadurch gekennzeichnet, dass ein Fahrverhalten des Fahrzeugs (1) im autonomen oder teilautonomen Fahrbetrieb in Abhängigkeit der ermittelten Gesten gesteuert wird.
DE102014007994.5A 2014-06-05 2014-06-05 Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern Withdrawn DE102014007994A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014007994.5A DE102014007994A1 (de) 2014-06-05 2014-06-05 Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014007994.5A DE102014007994A1 (de) 2014-06-05 2014-06-05 Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern

Publications (1)

Publication Number Publication Date
DE102014007994A1 true DE102014007994A1 (de) 2014-11-27

Family

ID=51863277

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014007994.5A Withdrawn DE102014007994A1 (de) 2014-06-05 2014-06-05 Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern

Country Status (1)

Country Link
DE (1) DE102014007994A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017002239A1 (de) 2017-03-09 2017-11-23 Daimler Ag Verfahren zum Betrieb eines Fahrerassistenzsystems
DE102018001848A1 (de) 2018-03-08 2018-09-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011111440A1 (de) 2011-08-30 2012-06-28 Daimler Ag Verfahren zur Umgebungsrepräsentation
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion
DE102012017934A1 (de) 2012-09-12 2014-03-13 Daimler Ag Verfahren zum Durchführen eines automatischen Fahrvorgangs eines Kraftfahrzeugs unter Verwendung einer externen Steuervorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011111440A1 (de) 2011-08-30 2012-06-28 Daimler Ag Verfahren zur Umgebungsrepräsentation
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion
DE102012017934A1 (de) 2012-09-12 2014-03-13 Daimler Ag Verfahren zum Durchführen eines automatischen Fahrvorgangs eines Kraftfahrzeugs unter Verwendung einer externen Steuervorrichtung

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Dalal, N., Triggs, B.: Histograms of Oriented Gradients for Human Detection; In: Proc. IEEE Int'l Conf. Computer Vision and Pattern Recognition, Seiten 886 bis 893, 2005
Enzweiler, M. u. a.: Efficient Stixel-Based Object Recognition; In: IEEE Intelligent Vehicles Symposium, 2012
Enzweiler, M. und Gavrila, D. M.: Monocular Pedestrian Detection: Survey and Experiments; In: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, no. 12, Seiten 2179 bis 2195, 2009
Fröhlich, B. u. a: Will this Car Change the Lane? - Turn Signal Recognition in the Frequency Domain; In: IEEE Intelligent Vehicles Symposium, 2014
Viola, P. u. a: Detecting Pedestrians Using Patterns of Motion and Appearance; In: Int'l J. Computer Vision, vol. 63, no. 2, Seiten 153 bis 161, 2005
Wöhler, C., Anlauf, J.: An Adaptable Time-Delay Neural Network Algorithm for Image Sequence Analysis; In: IEEE Trans. Neural Networks, vol. 10, no. 6, Seiten 1531 bis 1536, November 1999

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017002239A1 (de) 2017-03-09 2017-11-23 Daimler Ag Verfahren zum Betrieb eines Fahrerassistenzsystems
DE102018001848A1 (de) 2018-03-08 2018-09-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges

Similar Documents

Publication Publication Date Title
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102015121339B4 (de) Systeme und verfahren zum ermitteln eines zustands einer fahrbahn
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE102014005688A1 (de) Spurenschätzvorrichtung und verfahren
WO2013072231A1 (de) Verfahren zur nebeldetektion
DE102013207575A1 (de) Objekterkennungsvorrichtung
DE102006005512A1 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
EP0973121A2 (de) Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102014112797A1 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE102012000459A1 (de) Verfahren zur Objektdetektion
EP3642758B1 (de) Verfahren zum auswerten eines optischen erscheinungsbildes in einer fahrzeugumgebung und fahrzeug
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102013205854A1 (de) Temporäre Koherenz bei Detektion eines freien Pfads
DE102019214558A1 (de) Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE102016101149A1 (de) Verfahren zum Erkennen von Rauch in einem Umgebungsbereich eines Kraftfahrzeugs mit Hilfe einer Kamera des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014007994A1 (de) Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern
DE102009007412A1 (de) Verfahren zur Verfolgung wenigstens eines Objekts
EP2192550A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102008002567A1 (de) Bilddatenverarbeitungsverfahren

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee