DE102012023867A1 - Verkehrsampelerkennung - Google Patents

Verkehrsampelerkennung Download PDF

Info

Publication number
DE102012023867A1
DE102012023867A1 DE102012023867.3A DE102012023867A DE102012023867A1 DE 102012023867 A1 DE102012023867 A1 DE 102012023867A1 DE 102012023867 A DE102012023867 A DE 102012023867A DE 102012023867 A1 DE102012023867 A1 DE 102012023867A1
Authority
DE
Germany
Prior art keywords
traffic light
image data
roadway
motor vehicle
ahead
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102012023867.3A
Other languages
English (en)
Inventor
Johannes Huth
Norbert Simm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Priority to DE102012023867.3A priority Critical patent/DE102012023867A1/de
Priority to CN201310645857.4A priority patent/CN103854503A/zh
Priority to US14/097,740 priority patent/US20140204209A1/en
Publication of DE102012023867A1 publication Critical patent/DE102012023867A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)
  • Road Signs Or Road Markings (AREA)

Abstract

Die Erfindung betrifft ein Verkehrsampel-Erkennungssystem für ein Kraftfahrzeug, umfassend einen optischen Sensor zur Erfassung von Bilddaten einer dem Kraftfahrzeug voraus liegenden Umgebung, und ein Auswertemittel zur Erkennung einer in den Bilddaten abgebildeten Verkehrsampel, sowie ein Verfahren zur Verkehrsampelerkennung. Das erfindungsgemäße Verkehrsampel-Erkennungssystem zeichnet sich dadurch aus, dass das Auswertemittel dazu ausgeführt und eingerichtet ist, in den Bilddaten einen Haltestreifen zu erkennen, der auf einer dem Kraftfahrzeug voraus liegenden Fahrbahn, in einem vorgegebenen Bereich vor einer der Fahrbahn zugeordneten Verkehrsampel, quer zur Fahrbahnlängsrichtung, angeordnet ist, das Auswertemittel ein Verifikationsmittel umfasst, das eine in den Bilddaten erkannte, der Fahrbahn zugeordnete Verkehrsampel erst dann als solche verifiziert, wenn in den Bilddaten ein solcher Haltestreifen erkannt wurde, und eine Ausgabeschnittstelle vorhanden ist, mit der in Abhängigkeit einer solchen Verifikation der Verkehrsampel eine Information bereitgestellt wird.

Description

  • Die Erfindung betrifft ein Verkehrsampel-Erkennungssystem für ein Kraftfahrzeug, umfassend einen optischen Sensor zur Erfassung von Bilddaten einer dem Kraftfahrzeug voraus liegenden Umgebung, sowie ein Auswertemittel zur Erkennung einer in den Bilddaten abgebildeten Verkehrsampel. Weiterhin betrifft die Erfindung ein Kraftfahrzeug mit einem ebensolchen Verkehrsampel-Erkennungssystem und ein Verfahren zur Verkehrsampel-Erkennungssystem.
  • Gattungsgemäße Verkehrsampel-Erkennungssysteme sind im Stand der Technik bekannt und werden insbesondere für Fahrerassistenzsysteme in Kraftfahrzeugen genutzt. So geht beispielsweise aus der DE 102 27 221 A1 ein Überwachungssystem mit wenigstens einer Kamera hervor, die Bilddaten des Außenraums erfasst. Diese Bilddaten werden für ein Ampel- oder Verkehrszeichenassistenzsystem analysiert, wobei eine Kontur- und/oder Farbanalyse zur Anwendung kommt. Weiterhin ist aus der DE 10 2006 023 544 A1 ein Verfahren zum Betrieb eines Kraftfahrzeugs mit wenigstens einer wenigstens teilweise automatisierten Unterstützungsfunktion für den Fahrer bekannt, bei dem Umgebungsdaten mittels einer Kamera erfasst und analysiert werden. Durch die Analyse werden Fahrbahnmarkierungen, Ampeln, Fußgängerüberwege oder am Fahrbahnrand parkende Fahrzeug erfasst.
  • Die im Stand der Technik bekannte (Verkehrs-)Ampelerkennung beruht auf der Erkennung bestimmter Eigenschaften von Verkehrsampeln in den Bilddaten. So wird in den Bilddaten zur Erkennung von Verkehrsampeln insbesondere nach Kanten und Kreisen gesucht. Das Problem dabei ist, dass nicht nur an Verkehrsampeln Kanten und Kreise zu finden sind, sondern auch an vielen anderen Objekten einer urbanen Umgebung. Bekannte Verkehrsampelerkennungssysteme haben daher das Problem, das sie zu häufig Verkehrsampeln erkennen, wo keine sind. Diese Fälle werden als Falsch Positiv (FP) bezeichnet.
  • Die Aufgabe der Erfindung ist es, eine Verkehrsampelerkennung anzugeben, die falsch positive Erkennungen von Verkehrsampeln verringert und damit die Zuverlässigkeit heutiger Systeme steigert.
  • Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
  • Ein vorrichtungsgemäßer Aspekt der Aufgabe ist gelöst mit einem Verkehrsampel-Erkennungssystem für ein Kraftfahrzeug, umfassend einen optischen Sensor zur Erfassung von Bilddaten einer dem Kraftfahrzeug voraus liegenden Umgebung, und ein Auswertemittel zur Erkennung einer in den Bilddaten abgebildeten Verkehrsampel.
  • Das erfindungsgemäße Verkehrsampel-Erkennungssystem zeichnet sich dadurch aus, dass das Auswertemittel dazu ausgeführt und eingerichtet ist, in den Bilddaten einen Haltestreifen zu erkennen, der auf einer dem Kraftfahrzeug voraus liegenden Fahrbahn, in einem vorgegebenen Bereich vor einer der Fahrbahn zugeordneten Verkehrsampel, quer zur Fahrbahnlängsrichtung, angeordnet ist, ein Verifikationsmittel umfasst, das eine in den Bilddaten erkannte, der Fahrbahn zugeordnete Verkehrsampel erst dann als solche verifiziert, wenn in den Bilddaten ein solcher Haltestreifen erkannt wurde, und eine Ausgabeschnittstelle umfasst, über die nach einer erfolgreichen Verifikation einer Verkehrsampel die Information bereitgestellt wird, dass die Verkehrsampel als solche verifiziert wurde.
  • Der grundlegende Erfindungsgedanke basiert somit darauf, die Anzahl der falsch positiv – Erkennungen von Verkehrsampeln in Bilddaten dadurch deutlich zu reduzieren, dass zusätzlich Hinweise, die in der Nähe von Verkehrsampeln typischerweise zu finden sind (vorliegend ein Haltestreifen, der vor der Verkehrsampel quer über die Fahrbahn verläuft), in den Bilddaten gesucht werden, und erst bei deren Vorliegen/Erkennung eine in den Bilddaten erkannte Verkehrsampel als solche verifiziert wird. Ein solcher Haltestreifen auf der Fahrbahn ist ein in den Bilddaten leicht zu identifizierendes Merkmal, das typischerweise vor Verkehrsampeln auf der Fahrbahn angeordnet ist.
  • Erst wenn ein solcher Haltestreifen auf einer der erkannten Verkehrsampel zugeordneten Fahrbahn erkannt wird, dann wird die Verkehrsampel erfindungsgemäß als Verkehrsampel verifiziert. Ob eine Fahrbahn mit einem solchen Haltestreifen einer in den Bilddaten erkannten Verkehrsampel zugeordnet ist, ergibt sich beispielsweise durch eine Auswertung der Anordnungsgeometrie einer erkannten Verkehrsampel und der Fahrbahn mit dem Haltestreifen in Bezug auf das eigene Kraftfahrzeug. Eine bevorzugte Weiterbildung des erfindungsgemäßen Verkehrsampel-Erkennungssystems zeichnet sich dadurch aus, dass die Information, die über die Ausgabeschnittstelle bereitgestellt wird, folgende Signale umfasst: ein erstes Signal, das im Falle einer in den Bilddaten erkannten Verkehrsampel ausgegeben wird, ein zweites Signal, das im Falle einer (als solchen anhand der Bilddaten) verifizierten Verkehrsampel ausgegeben wird, und ein drittes Signal, das im Falle, dass eine Verifikation einer Verkehrsampel nicht möglich ist, ausgegeben wird.
  • Durch Ausgabe dieser Signale ist es bspw. einem Fahrerassistenzsystem, das mit dem Verkehrsampel-Erkennungssystems verbunden ist, möglich, in Abhängigkeit der drei Fälle eine Zuverlässigkeits-Bewertung des vom Verkehrsampel-Erkennungssystem erzeugten Ergebnisses, d. h. einer in den Bilddaten erkannten Verkehrsampel, vorzunehmen. Somit liefert die Ausgabe des zweiten Signals, d. h. es ist in den Bilddaten eine Verkehrsampel erkannt und verifiziert worden, die Information „Verkehrsampel wurde erkannt” mit der höchsten Zuverlässigkeit. Sofern „nur” die Ausgabe des ersten Signals erfolgt, ist die Zuverlässigkeit der Verkehrsampelerkennung gleich den heute zur Verkehrsampelerkennung bekannten und benutzten Verfahren. Wird das dritte Signal ausgegeben, kann dies je nach zugrundeliegender Definition beispielsweise bedeuten, dass aus technischen Gründen keine Verkehrsampel erkannt werden kann (bspw. aufgrund eines fehlerhaften optischen Sensors etc.), oder beispielsweise, dass in den Bilddaten zwar eine Verkehrsampel erkannt wurde, aber in den Bilddaten zusätzlich ein vorausfahrendes Fahrzeug erkannt wurde, das einen ggf. auf der Fahrbahn vorhanden Haltestreifen verdeckt. Diese und weitere dem Fachmann leicht zugängliche zusätzliche Ausgabemöglichkeiten dienen insbesondere zur entsprechenden Ansteuerung nachgeordneter Assistenzsysteme des Kraftfahrzeugs.
  • Der in Fahrbahnlängsrichtung vor der Verkehrsampel angeordnete Bereich weist bevorzugt eine Ausdehnung von 2 bis 50 m, insbesondere von 3 m, 4 m, 5 m, 6 m, 7 m, 8 m, 9 m, 10 m, 20 m, 30 m, oder 40 m in Fahrbahnlängsrichtung und eine Ausdehnung quer zur Fahrbahnlängsrichtung auf, die zumindest die Breite der Fahrspur umfasst. Diese Angaben beziehen sich natürlich auf Dimensionen in der Realität. Vom Auswertemittel werden demzufolge in den Bilddaten bevorzugt Haltestreifen nur in dem Bilddatenbereich gesucht, die den angegebenen Bereich in der Realität abbilden.
  • Eine bevorzugte Weiterbildung des erfindungsgemäßen Verkehrsampel-Erkennungssystems zeichnet sich dadurch aus, dass das Auswertemittel dazu ausgeführt und eingerichtet ist, in den Bilddaten ein auf der Fahrbahn voraus fahrendes oder stehendes Fahrzeug zu ermitteln. In diese Variante wird somit ein voraus auf gleicher Fahrspur fahrendes Fahrzeug durch Analyse der ohnehin vorhandenen Bilddaten ermittel.
  • Alternativ oder zusätzlich kann eine mit dem Verifikationsmittel verbundene Sensoreinheit zum Ermitteln eines dem Kraftfahrzeug voraus fahrenden oder stehenden Fahrzeugs vorhanden sein, die hierzu eine dem Kraftfahrzeug voraus liegende Umgebung abtastet. In dieser Variante wird ein vorausfahrendes Fahrzeug mittels einer zusätzlichen, die vorausliegende Umgebung des Fahrzeugs abtastenden Sensoreinheit ermittelt. Eine solche Sensoreinheit ist umfasst bevorzugt einen Ultraschall-, Radar-, und/oder LIDAR-Sensor und/oder eine Kamera.
  • Eine besonders bevorzugte Weiterbildung des erfindungsgemäßen Verkehrsampel-Erkennungssystems zeichnet sich dadurch aus, dass das Verifikationsmittel derart ausgeführt und eingerichtet ist, dass sofern eine der Fahrbahn zugeordnete Verkehrsampel und dem Kraftfahrzeug voraus, ein vor der Verkehrsampel fahrendes oder stehendes Fahrzeug erkannt wurde, das dritte Signal ausgegeben wird. In diesem Fall wird mit der Ausgabe des dritten Signals, wie bereits vorstehend ausgeführt, letztlich eine Information bereitgestellt, die eine Bewertung des Analyseergebnisses ermöglicht, die ggf. ein nachgeordnetes Fahrerassistenzsystem beeinflusst.
  • Ein verfahrensgemäßer Aspekt der Aufgabe wird durch ein Verfahren zur Verkehrsampel-Erkennung erfüllt, bei dem in einem ersten Schritt mit einem optischen Sensor Bilddaten von einer dem Kraftfahrzeug voraus liegenden Umgebung erfasst, und in einem zweiten Schritt mit einem Auswertemittel in den Bilddaten eine abgebildete Verkehrsampel ermittelt werden.
  • Der zweite Schritt umfasst erfindungsgemäß folgende Schritte. In einem Schritt erfolgt in den Bilddaten ein Ermitteln eines Haltestreifens, der auf einer dem Kraftfahrzeug voraus liegenden Fahrbahn, in einem vorgegebenen Bereich vor einer der Fahrbahn zugeordneten Verkehrsampel, quer zur Fahrbahnlängsrichtung, angeordnet ist. In einem weiteren Schritt erfolgt ein Verifizieren einer in den Bilddaten erkannten, der Fahrbahn zugeordneten Verkehrsampel erst dann, wenn in den Bilddaten ein solcher Haltestreifen erkannt wurde. In einem weiteren Schritt erfolgt nach einer erfolgreichen Verifikation einer Verkehrsampel ein Bereitstellen der Information, dass die Verkehrsampel als solche verifiziert wurde.
  • Ein bevorzugte Weiterentwicklung des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass über eine mit dem Auswertemittel verbundene Ausgabeschnittstelle folgende Signale ausgegeben werden: ein erstes Signal, im Falle einer in den Bilddaten erkannten Verkehrsampel, ein zweites Signal, im Falle einer als solchen anhand der Bilddaten verifizierten Verkehrsampel, und/oder ein drittes Signal, im Falle, dass eine Verifikation einer Verkehrsampel nicht möglich ist.
  • Ein bevorzugte Weiterentwicklung des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass das Auswertemittel dazu ausgeführt und eingerichtet ist, in den Bilddaten ein auf der Fahrbahn voraus fahrendes oder stehendes Fahrzeug zu ermitteln. Alternativ oder zusätzlich kann eine mit dem Verifikationsmittel verbundene Sensoreinheit zum Ermitteln eines dem Kraftfahrzeug voraus fahrenden oder stehenden Fahrzeugs vorhanden sein, die hierzu eine dem Kraftfahrzeug voraus liegende Umgebung tastet. Ein weitere bevorzugte Weiterentwicklung des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass sofern eine der Fahrbahn zugeordnete Verkehrsampel, und dem Kraftfahrzeug voraus, ein vor der Verkehrsampel fahrendes oder stehendes Fahrzeug in den Bilddaten erkannt wurden, das dritte Signal ausgegeben wird.
  • Vorteile des erfindungsgemäßen Verfahrens ergeben sich durch eine sinngemäße und analoge Übertragung der vorstehenden Ausführungen zum erfindungsgemäßen Verkehrsampel-Erkennungssystem und seinen Weiterbildungen.
  • Schließlich betrifft die Erfindung ein Kraftfahrzeug mit einem wie vorstehend beschrieben erfindungsgemäßen Verkehrsampel-Erkennungssystem.
  • Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezug auf die Zeichnungen Ausführungsbeispiele beschrieben sind.
  • Es zeigen:
  • 1 eine typische Szene an einer Verkehrskreuzung zur Erläuterung der Erfindung,
  • 2 einen schematisierten Verfahrensablauf eines erfindungsgemäßen Verfahrens.
  • 3 einen schematisierten Aufbau eines erfindungsgemäßen Verkehrsampel-Erkennungssystems, und
  • 1 zeigt eine typische Szene an einer Verkehrskreuzung zur Erläuterung der vorliegenden Erfindung. Dargestellt ist eine Szene in der ein Kraftfahrzeug 101, das mit einem erfindungsgemäßen Verkehrsampel-Erkennungssystem ausgestattet ist, auf einer Fahrbahn 102 auf eine Kreuzung zufährt. Die Fahrbahn 102 wird seitlich durch die strichlierte Straßenmittenmarkierung 106 und einen Fahrbahnrand 105 begrenzt. Der Fahrbahn zugeordnet ist an der Kreuzung eine Verkehrsampel 104 positioniert. Auf der dem Kraftfahrzeug 101 voraus liegenden Fahrbahn 102, ist weiterhin in einem Bereich vor der der Fahrbahn 102 zugeordneten Verkehrsampel 104, quer zur Fahrbahnlängsrichtung, ein Haltestreifen 103 angeordnet.
  • 2 zeigt einen schematisierten Verfahrensablauf eines erfindungsgemäßen Verfahrens zur Verkehrsampel-Erkennung, bei dem in einem ersten Schritt 201 mit einem optischen Sensor Bilddaten von einer dem Kraftfahrzeug voraus liegenden Umgebung erfasst werden, und in einem zweiten Schritt mit einem Auswertemittel in den Bilddaten eine darin abgebildete Verkehrsampel ermittelt werden. Parallel dazu oder nachfolgend wird in einem dritten Schritt 203 in den Bilddaten ein Haltestreifen 103, der auf einer dem Kraftfahrzeug 101 voraus liegenden Fahrbahn 102, in einem vorgegebenen Bereich vor einer der Fahrbahn 102 zugeordneten Verkehrsampel 104, quer zur Fahrbahnlängsrichtung, angeordnet ist ermittelt.
  • Wird vorliegend in den Bilddaten sowohl die Verkehrsampel 104 als auch der zugeordnete Haltestreifen 103 ermittelt, dann wird in einem vierten Schritt 204 die in den Bilddaten erkannte, der Fahrbahn 102 zugeordneten Verkehrsampel 104 verifiziert. In einem fünften Schritt 205 wird nach der erfolgreichen Verifikation der Verkehrsampel 104 die Information bereitgestellt, dass die Verkehrsampel 104 als solche verifiziert wurde.
  • 3 zeigt einen schematisierten Aufbau des erfindungsgemäßen Verkehrsampel-Erkennungssystems des Kraftfahrzeugs 101, umfassend einen optischen Sensor 301 zur Erfassung von Bilddaten einer dem Kraftfahrzeug 101 voraus liegenden Umgebung, und ein Auswertemittel 302 zur Erkennung einer in den Bilddaten abgebildeten Verkehrsampel 104. Das Auswertemittel 302 ist dazu ausgeführt und eingerichtet, in den Bilddaten einen Haltestreifen 103 zu erkennen, der auf einer dem Kraftfahrzeug 101 voraus liegenden Fahrbahn 102, in einem vorgegebenen Bereich vor einer der Fahrbahn 102 zugeordneten Verkehrsampel 104, quer zur Fahrbahnlängsrichtung, angeordnet ist. Das Auswertemittel 104 umfasst ein Verifikationsmittel 303, das eine in den Bilddaten erkannte, der Fahrbahn 102 zugeordnete Verkehrsampel 104 erst dann als solche verifiziert, wenn in den Bilddaten ein solcher Haltestreifen 103 erkannt wurde. Das Auswertemittel 302 umfasst weiterhin eine Ausgabeschnittstelle 304, über die nach einer erfolgreichen Verifikation einer Verkehrsampel 104 die Information bereitgestellt wird, dass die Verkehrsampel 104 als solche in den Bilddaten verifiziert wurde. Diese Information wird an ein Fahrerassistenzsystem 305 bereitgestellt.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
  • Bezugszeichenliste
  • 101
    Kraftfahrzeug mit dem erfindungsgemäßen Verkehrsampel-Erkennungssystem
    102
    Fahrbahn
    103
    Haltestreifen
    104
    Verkehrsampel
    105
    seitliche Begrenzung der Fahrbahn
    106
    Mittelstreifenmarkierung
    201–205
    Verfahrensschritte
    301
    optischer Sensor
    302
    Auswertemittel
    303
    Verifikationsmittel
    304
    Ausgabeschnittstelle
    305
    Fahrerassistenzsystem
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10227221 A1 [0002]
    • DE 102006023544 A1 [0002]

Claims (14)

  1. Verkehrsampel-Erkennungssystem für ein Kraftfahrzeug, umfassend einen optischen Sensor (201) zur Erfassung von Bilddaten einer dem Kraftfahrzeug voraus liegenden Umgebung, und ein Auswertemittel, das zur Erkennung einer in den Bilddaten abgebildeten Verkehrsampel ausgebildet ist, dadurch gekennzeichnet, dass das Auswertemittel – dazu ausgeführt und eingerichtet ist, in den Bilddaten einen Haltestreifen zu erkennen, der auf einer dem Kraftfahrzeug voraus liegenden Fahrbahn, in einem vorgegebenen Bereich vor einer der Fahrbahn zugeordneten Verkehrsampel, quer zur Fahrbahnlängsrichtung, angeordnet ist, – ein Verifikationsmittel umfasst, das eine in den Bilddaten erkannte, der Fahrbahn zugeordnete Verkehrsampel erst dann als solche verifiziert, wenn in den Bilddaten ein solcher Haltestreifen erkannt wurde, und – eine Ausgabeschnittstelle umfasst, über die nach einer erfolgreichen Verifikation einer Verkehrsampel die Information bereitgestellt wird, dass die Verkehrsampel als solche verifiziert wurde.
  2. Verkehrsampel-Erkennungssystem nach Anspruch 1, dadurch gekennzeichnet, dass über die Ausgabeschnittstelle folgende Signale bereitgestellt werden: – ein erstes Signal, das im Falle einer in den Bilddaten erkannten Verkehrsampel ausgegeben wird, – ein zweites Signal, das im Falle einer verifizierten Verkehrsampel ausgegeben wird, und – ein drittes Signal, das im Falle, dass eine Verifikation einer Verkehrsampel nicht möglich ist, ausgegeben wird.
  3. Verkehrsampel-Erkennungssystem nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass der in Fahrbahnlängsrichtung vor der Verkehrsampel angeordnete Bereich eine Ausdehnung von 2 bis 15 m, insbesondere 5 oder 10 m, in Fahrbahnlängsrichtung und eine Ausdehnung quer zur Fahrbahnlängsrichtung aufweist, die zumindest die Breite der Fahrspur umfasst.
  4. Verkehrsampel-Erkennungssystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Auswertemittel dazu ausgeführt und eingerichtet ist, in den Bilddaten ein auf der Fahrbahn voraus fahrendes oder stehendes Fahrzeug zu ermitteln.
  5. Verkehrsampel-Erkennungssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine mit dem Verifikationsmittel verbundene Sensoreinheit zum Ermitteln eines dem Kraftfahrzeug voraus fahrenden oder stehenden Fahrzeugs vorhanden ist, die hierzu eine dem Kraftfahrzeug voraus liegende Umgebung abtastet.
  6. Verkehrsampel-Erkennungssystem nach Anspruch 5 dadurch gekennzeichnet, dass die Sensoreinheit einen Ultraschall-, Radar-, LIDAR-Sensor und/oder eine Kamera umfasst.
  7. Verkehrsampel-Erkennungssystem nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass das Auswertemittel derart ausgeführt und eingerichtet ist, dass sofern eine der Fahrbahn zugeordnete Verkehrsampel, und dem Kraftfahrzeug voraus, ein vor der Verkehrsampel fahrendes oder stehendes Fahrzeug erkannt wurde, über die Ausgabeschnittstelle das dritte Signal ausgegeben wird.
  8. Verfahren zur Verkehrsampel-Erkennung nach einem der Ansprüche 1 bis 7, bei dem mit einem optischen Sensor Bilddaten von einer dem Kraftfahrzeug voraus liegenden Umgebung erfasst, und mit einem Auswertemittel in den Bilddaten eine darin abgebildete Verkehrsampel ermittelt werden, gekennzeichnet durch folgende Schritte: – in den Bilddaten Ermitteln eines Haltestreifens, der auf einer dem Kraftfahrzeug voraus liegenden Fahrbahn, in einem vorgegebenen Bereich vor einer der Fahrbahn zugeordneten Verkehrsampel, quer zur Fahrbahnlängsrichtung, angeordnet ist, – Verifizieren einer in den Bilddaten erkannten, der Fahrbahn zugeordneten Verkehrsampel erst dann, wenn in den Bilddaten ein solcher Haltestreifen erkannt wurde, und – nach einer erfolgreichen Verifikation einer Verkehrsampel Bereitstellen der Information, dass die Verkehrsampel als solche verifiziert wurde.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass folgende Signale bereitgestellt werden: – ein erstes Signal, im Falle einer in den Bilddaten erkannten Verkehrsampel, – ein zweites Signal, im Falle einer verifizierten Verkehrsampel, und – ein drittes Signal, im Falle, dass eine Verifikation einer Verkehrsampel nicht möglich ist.
  10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass der in Fahrbahnlängsrichtung vor der Verkehrsampel angeordnete Bereich eine Ausdehnung von 2 bis 50 m, insbesondere 5 oder 10 m, in Fahrbahnlängsrichtung und eine Ausdehnung quer zur Fahrbahnlängsrichtung aufweist, die zumindest die Breite der Fahrspur umfasst.
  11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass das Auswertemittel dazu ausgeführt und eingerichtet ist, in den Bilddaten ein auf der Fahrbahn voraus fahrendes oder stehendes Fahrzeug zu ermitteln.
  12. Verfahren nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass eine mit dem Verifikationsmittel verbundene Sensoreinheit zum Ermitteln eines dem Kraftfahrzeug voraus fahrenden oder stehenden Fahrzeugs vorhanden ist, die hierzu eine dem Kraftfahrzeug voraus liegende Umgebung abtastet.
  13. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass sofern eine der Fahrbahn zugeordnete Verkehrsampel, und dem Kraftfahrzeug voraus, ein vor der Verkehrsampel fahrendes oder stehendes Fahrzeug in den Bilddaten erkannt wurden, das dritte Signal ausgegeben wird.
  14. Kraftfahrzeug mit einem Verkehrsampel-Erkennungssystem gemäß einem der Ansprüche 1 bis 7.
DE102012023867.3A 2012-12-06 2012-12-06 Verkehrsampelerkennung Withdrawn DE102012023867A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102012023867.3A DE102012023867A1 (de) 2012-12-06 2012-12-06 Verkehrsampelerkennung
CN201310645857.4A CN103854503A (zh) 2012-12-06 2013-12-04 交通信号灯识别系统
US14/097,740 US20140204209A1 (en) 2012-12-06 2013-12-05 Traffic light detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012023867.3A DE102012023867A1 (de) 2012-12-06 2012-12-06 Verkehrsampelerkennung

Publications (1)

Publication Number Publication Date
DE102012023867A1 true DE102012023867A1 (de) 2014-06-12

Family

ID=50777680

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012023867.3A Withdrawn DE102012023867A1 (de) 2012-12-06 2012-12-06 Verkehrsampelerkennung

Country Status (3)

Country Link
US (1) US20140204209A1 (de)
CN (1) CN103854503A (de)
DE (1) DE102012023867A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017102593A1 (de) 2017-02-09 2018-08-09 SMR Patents S.à.r.l. Verfahren und Vorrichtung zum Erkennen des Signalisierungszustands von mindestens einer Signalvorrichtung
US10650257B2 (en) 2017-02-09 2020-05-12 SMR Patents S.à.r.l. Method and device for identifying the signaling state of at least one signaling device
WO2020187917A1 (de) * 2019-03-18 2020-09-24 Daimler Ag Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen
DE102020129582A1 (de) 2020-11-10 2022-05-12 Bayerische Motoren Werke Aktiengesellschaft Sensorsystem für ein Fahrzeug zum redundanten Erkennen eines Lichtsignals einer Lichtsignalanlage und/oder einer Warnleuchte in einer Umgebung des Fahrzeugs, Fahrzeug sowie Verfahren
CN117198058A (zh) * 2023-11-01 2023-12-08 合肥师范学院 一种基于遥感影像的道路交通智能监管系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
EP3736732A1 (de) 2014-01-30 2020-11-11 Mobileye Vision Technologies Ltd. Systeme und verfahren zur detektion des endes einer fahrspur
US9558659B1 (en) 2014-08-29 2017-01-31 Google Inc. Determining the stationary state of detected vehicles
CN104574960B (zh) * 2014-12-25 2016-08-24 宁波中国科学院信息技术应用研究院 一种交通灯识别方法
CN108701409A (zh) * 2016-03-01 2018-10-23 株式会社理光 移动体管理装置、移动体管理方法以及存储介质
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10829116B2 (en) 2016-07-01 2020-11-10 nuTonomy Inc. Affecting functions of a vehicle based on function-related information about its environment
CN106023623A (zh) * 2016-07-28 2016-10-12 南京理工大学 基于机器视觉的车载交通信号与标志的识别及预警方法
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US10650256B2 (en) 2017-04-18 2020-05-12 nuTonomy Inc. Automatically perceiving travel signals
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
DE102018201374B3 (de) * 2018-01-30 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Absorbervorrichtung für eine Lichtzeichenanlage und Absorbervorrichtungs-Assistenzsystem für ein Fahrzeug
KR102505717B1 (ko) 2019-01-29 2023-03-02 모셔널 에이디 엘엘씨 교통 신호등 추정

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10227221A1 (de) 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
DE102004013440A1 (de) * 2004-03-18 2005-10-06 Siemens Ag Verfahren und Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems
DE102006023544A1 (de) * 2006-05-19 2007-11-22 GM Global Technology Operations, Inc., Detroit Verfahren und Vorrichtung zum Betrieb eines Kraftfahrzeugs mit einer Unterstützungsfunktion
US20080013789A1 (en) * 2006-07-14 2008-01-17 Hitachi, Ltd. Apparatus and System for Recognizing Environment Surrounding Vehicle
US20090303077A1 (en) * 2006-03-06 2009-12-10 Hirohisa Onome Image Processing System and Method
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
DE102011105520A1 (de) * 2011-06-24 2011-12-29 Daimler Ag Verfahren zur Erfassung von Lichtsignalen von Lichtzeichenanlagen für ein Fahrzeug
DE102010063006A1 (de) * 2010-12-14 2012-06-21 Robert Bosch Gmbh Komfortmerkmal in einem Fahrerassistenzsystem mit Frontkamera

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128063A1 (en) * 2003-11-28 2005-06-16 Denso Corporation Vehicle driving assisting apparatus
JP4134894B2 (ja) * 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
CN1713696A (zh) * 2004-06-24 2005-12-28 亚东技术学院 以图像处理方式判别周围环境及输出该判别结果的装置
JP4375488B2 (ja) * 2007-10-11 2009-12-02 トヨタ自動車株式会社 運転支援装置
US8073605B2 (en) * 2008-08-13 2011-12-06 GM Global Technology Operations LLC Method of managing power flow in a vehicle
JP5057166B2 (ja) * 2008-10-30 2012-10-24 アイシン・エィ・ダブリュ株式会社 安全運転評価システム及び安全運転評価プログラム
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10227221A1 (de) 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
DE102004013440A1 (de) * 2004-03-18 2005-10-06 Siemens Ag Verfahren und Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems
US20090303077A1 (en) * 2006-03-06 2009-12-10 Hirohisa Onome Image Processing System and Method
DE102006023544A1 (de) * 2006-05-19 2007-11-22 GM Global Technology Operations, Inc., Detroit Verfahren und Vorrichtung zum Betrieb eines Kraftfahrzeugs mit einer Unterstützungsfunktion
US20080013789A1 (en) * 2006-07-14 2008-01-17 Hitachi, Ltd. Apparatus and System for Recognizing Environment Surrounding Vehicle
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
DE102010063006A1 (de) * 2010-12-14 2012-06-21 Robert Bosch Gmbh Komfortmerkmal in einem Fahrerassistenzsystem mit Frontkamera
DE102011105520A1 (de) * 2011-06-24 2011-12-29 Daimler Ag Verfahren zur Erfassung von Lichtsignalen von Lichtzeichenanlagen für ein Fahrzeug

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017102593A1 (de) 2017-02-09 2018-08-09 SMR Patents S.à.r.l. Verfahren und Vorrichtung zum Erkennen des Signalisierungszustands von mindestens einer Signalvorrichtung
US10650257B2 (en) 2017-02-09 2020-05-12 SMR Patents S.à.r.l. Method and device for identifying the signaling state of at least one signaling device
WO2020187917A1 (de) * 2019-03-18 2020-09-24 Daimler Ag Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen
DE102020129582A1 (de) 2020-11-10 2022-05-12 Bayerische Motoren Werke Aktiengesellschaft Sensorsystem für ein Fahrzeug zum redundanten Erkennen eines Lichtsignals einer Lichtsignalanlage und/oder einer Warnleuchte in einer Umgebung des Fahrzeugs, Fahrzeug sowie Verfahren
CN117198058A (zh) * 2023-11-01 2023-12-08 合肥师范学院 一种基于遥感影像的道路交通智能监管系统
CN117198058B (zh) * 2023-11-01 2024-01-30 合肥师范学院 一种基于遥感影像的道路交通智能监管系统

Also Published As

Publication number Publication date
CN103854503A (zh) 2014-06-11
US20140204209A1 (en) 2014-07-24

Similar Documents

Publication Publication Date Title
DE102012023867A1 (de) Verkehrsampelerkennung
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
WO2015048954A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
WO2015032709A1 (de) Verfahren und verkehrsüberwachungseinrichtung zum feststellen einer falschfahrt eines kraftfahrzeugs
EP2562735A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
EP3488607B1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102018221054A1 (de) Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung
DE112020002267T5 (de) Anomalie-Diagnosevorrichtung
DE102013005102A1 (de) Parkassistent und Betriebsverfahren dafür
DE102013021587A1 (de) Vorrichtung und Verfahren für ein Fahrzeug zur Erzeugung einer Fahrspurbegrenzung
DE102015010535A1 (de) Kamerabasierte Umgebungserfassung für Nutzfahrzeuge
DE102011113325A1 (de) Verfahren zur Objekterkennung mittels Bilddaten
DE102007021580B4 (de) Verfahren und Vorrichtung zum Ermitteln der fahrzeugrelevanten Verkehrszeichen
DE102014220571A1 (de) Verfahren und Vorrichtung zur Erkennung von relevanten Verkehrszeichen für ein Fahrzeug
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102016223556A1 (de) Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung durch ein Kraftfahrzeug
DE102018210852A1 (de) Verfahren zum Ermitteln von rechtswidrigem Fahrverhalten durch ein Fahrzeug
DE102015216352A1 (de) Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102010049214A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102017211887A1 (de) Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs
DE102009036196A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung für ein Fahrzeug
EP3688412B1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination