DE112018000768T5 - Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel - Google Patents

Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel Download PDF

Info

Publication number
DE112018000768T5
DE112018000768T5 DE112018000768.5T DE112018000768T DE112018000768T5 DE 112018000768 T5 DE112018000768 T5 DE 112018000768T5 DE 112018000768 T DE112018000768 T DE 112018000768T DE 112018000768 T5 DE112018000768 T5 DE 112018000768T5
Authority
DE
Germany
Prior art keywords
images
color
video stream
traffic light
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018000768.5T
Other languages
English (en)
Inventor
Thibault Caron
Sophie RONY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Publication of DE112018000768T5 publication Critical patent/DE112018000768T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von falsch-positive Ereignissen in Bezug auf eine Ampel, basierend auf einem Videostrom von Bildern, die von einer Kamera an Bord eines Kraftfahrzeugs aufgenommen wurden, wobei die Ampel so eingerichtet ist, dass sie zwischen einer Mehrzahl von Zuständen wechselt, wobei jeder Zustand durch wenigstens eine farbige Zone gekennzeichnet ist, die ein Signal repräsentiert. Das Verfahren umfasst einen Schritt (E4) zum Filtern der Bilder unter Verwendung einer vorbestimmten Liste von Filterkriterien in Bezug auf die Zustände der Ampel, basierend auf einer vorbestimmten Historie der Farbe der Pixel der farbigen Zone, die ein Leuchtobjekt repräsentiert, das im Videostrom von Bildern erfasst wird, um falsch-positive Ereignisse zu erkennen.

Description

  • Technisches Gebiet
  • Die Erfindung betrifft den Bereich der Fahrassistenz von Kraftfahrzeugen, und insbesondere ein Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel, basierend auf einem Videostrom von Bildern, die von einer Kamera an Bord eines Kraftfahrzeugs aufgenommen wurden.
  • Die Erfindung ermöglicht es, die Anzahl von falschen Erkennungen hinsichtlich einer Ampel zu reduzieren, um eine bessere Assistenz für den Fahrer zu ermöglichen.
  • Hintergrund
  • Heutzutage werden in Kraftfahrzeugen bekanntlich Fahrassistenzsysteme verwendet, um den Fahrer bei seinen Manövern zu unterstützen und so das Fahren einfacher und sicherer zu machen.
  • Ein solches Fahrassistenzsystem verwendet eine Kamera, die beispielsweise im oberen Teil der Windschutzscheibe installiert ist, die einen Bereich vor dem Fahrzeug filmt und die Bilder an einen Computer liefert, der sie dann verwendet.
  • Eine bekannte Funktion eines solchen Fahrassistenzsystems besteht darin, Ampeln zu erkennen, insbesondere um den Fahrer zu informieren, wann eine Ampel rot ist, und ihm so zu ermöglichen, das Fahrzeug anzuhalten.
  • Diese Funktion wird bekanntlich unter Verwendung eines Bildverarbeitungsalgorithmus durchgeführt. Ein solcher Algorithmus kann mehrere Arten von Erkennungsfehlern erzeugen: zum Beispiel wird entweder eine Ampel nicht erkannt, oder es wird eine inkorrekte Farbe der Ampel erkannt, oder es erfolgt eine Erkennung, obwohl keine Ampel im Feld der Kamera des Fahrzeugs vorhanden ist, wobei diese letzte Art von Fehler dann als „falsch-positiv“ (Ereignis) bezeichnet wird.
  • Um den Fahrer nicht unangemessen vor einem nicht vorhandenen Licht zu warnen, ist es daher notwendig, die Anzahl der falsch-positiven Erkennungen so weit wie möglich zu reduzieren.
  • In einer bestehenden Lösung besteht die Bildverarbeitung zur Erkennung von Ampeln darin, die Bilder zu segmentieren, um Leuchtzonen zu erkennen, diese Zonen durch die Bilder zu verfolgen und die Bilder zu klassifizieren, um so Ampeln zu erkennen und falsch-positiven Erkennungen zu vermeiden. Die Segmentierung besteht darin, das Bild in Bereiche zu unterteilen, die unterschiedliche Größen aufweisen können, wobei jeder Bereich abhängig von der Farbe der Pixel homogen ist. Die Segmentierung ermöglicht es somit, die in den Bildern vorhandenen Leuchtzonen zu identifizieren, insbesondere diejenigen, die einer Ampel entsprechen können. Das Verfolgen („Tracking“) besteht darin, von einem Bild zum nächsten die erfassten Bereiche zuzuordnen, die ein und demselben Leuchtobjekt entsprechen. Die Klassifizierung besteht darin, für jede in einem Bild identifizierte Leuchtzone einen automatischen Lernalgorithmus zu starten, der zuvor darauf trainiert wurde, zu erkennen, ob ein Bereich eine Ampel enthält oder nicht.
  • Diese Lösung ermöglicht es jedoch nicht, genügend falsch-positive Ereignisse zu beseitigen, was möglicherweise zu einer fehlerhaften Bedienung des Fahrassistenzsystems führt und ein Risiko für die Sicherheit der Insassen des Fahrzeugs repräsentiert.
  • Daher ist eine Lösung erforderlich, die es ermöglicht, mehr falsch-positive Ereignisse bei der Erkennung von Ampeln und ganz allgemein von jedem Objekt, das im Bereich der Kamera erfasst werden soll, zu eliminieren, um die Fahrassistenz des Fahrzeugs zu verbessern.
  • Zu diesem Zweck betrifft die vorliegende Erfindung zunächst ein Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel, basierend auf einem Videostrom von Bildern, die von einer Kamera an Bord eines Kraftfahrzeugs aufgenommen wurden, wobei die Ampel so eingerichtet ist, dass sie zwischen einer Mehrzahl von Zuständen umschaltet, wobei jeder Zustand durch wenigstens eine farbige Zone gekennzeichnet ist, die ein Signal repräsentiert.
  • Das Verfahren ist insofern beachtenswert, als es einen Schritt zum Filtern der Bilder unter Verwendung einer vorbestimmten Liste von Filterkriterien in Bezug auf die Zustände der Ampel umfasst, basierend auf einer vorbestimmten Historie der Farbe der Pixel der farbigen Zone, die ein Leuchtobjekt repräsentiert, das im Videostrom von Bildern erfasst wird, um falsch-positive Ereignisse zu erkennen.
  • Das Verfahren gemäß der vorliegenden Erfindung kann vorteilhaft auf Bilder angewendet werden, die einer Klassifizierung nach dem Stand der Technik unterzogen wurden. Da die Klassifizierung Bild für Bild durchgeführt wird, berücksichtigt sie nicht die Historie der Bilder, und insbesondere nicht die Entwicklung der Farben der erfassten Leuchtobjekte. Die Verwendung von Filterkriterien, die sich an der Historie der Bilder, insbesondere der erkannten Farbzonen, orientieren, ermöglicht es somit, inkorrekte Erkennungen schnell und effektiv zu beseitigen. Genauer gesagt, ermöglicht das erfindungsgemäße Verfahren, basierend auf der Entwicklung der in den Bildern erfassten Farbsequenzen, die Anzahl der Falscherkennungen in Bezug auf das Vorhandensein und/oder den Zustand einer Ampel zu reduzieren, um eine effektive Assistenz für den Fahrer zu ermöglichen.
  • Vorzugsweise umfasst das Verfahren einen vorausgehenden Schritt zum Erfassen eines Leuchtobjekts im Videostrom von Bildern.
  • Weiterhin umfasst das Verfahren vorzugsweise einen vorausgehenden Schritt zum Bestimmen der Historie der Farbe der Pixel der farbigen Zone, die ein Leuchtobjekt repräsentiert, das im Videostrom von Bildern erfasst wird.
  • Vorteilhafterweise umfasst das Bestimmen der Historie für jedes nachfolgende Bild des Videostroms von Bildern das Bestimmen und Speichern der Farbe (Farbton) der Pixel der farbigen Zone, die ein in dem Bild erfasstes Leuchtobjekt repräsentiert.
  • Vorzugsweise umfasst das Bestimmen der Farbe der Pixel der farbigen Zone, die ein erfasstes Leuchtobjekt repräsentiert, das Glätten der Farbe im Laufe der Zeit. Diese Glättung ermöglicht es, das Rauschen bei der Erkennung der Farbe zu begrenzen.
  • Vorteilhafterweise wird die Farbe basierend auf einer vorgegebenen Anzahl von Bildern geglättet, die dem Bild im Videostrom von Bildern vorausgehen. Dadurch ist es möglich, die wahrscheinlichste Farbe einer Ampel anhand der Historie der für diese Ampel erfassten Farben zu bestimmen.
  • Das Bild wird vorzugsweise auf der Grundlage von wenigstens den vorherigen 10 Bildern geglättet, um eine zufriedenstellende Wahrscheinlichkeit zu haben.
  • Wiederum vorzugsweise betrifft wenigstens eines der Kriterien das Bestimmen einer Sequenz, die sich auf einen grünen oder roten Zustand des Leuchtobjekts bezieht.
  • Vorteilhafterweise betrifft eines der Kriterien die Dauer eines gelben oder gelb-roten Zustands des Leuchtobjekts, wobei die Filterung bezüglich des Kriteriums darin besteht, zu überprüfen, ob ein gelber oder gelb-roter Zustand des Leuchtobjekts für eine Dauer von mehr als einem ersten vorbestimmten Schwellenwert aktiv ist.
  • Vorteilhafterweise betrifft eines der Kriterien das Andauern der roten Farbe über eine Fahrstrecke des Fahrzeugs, die größer als eine vorgegebene Strecke ist.
  • Vorteilhafterweise betrifft eines der Kriterien den Übergang zwischen der grünen Farbe und der roten Farbe des Leuchtobjekts, wobei die Filterung bezüglich des Kriteriums darin besteht, zu überprüfen, ob die grüne Farbe für eine Sequenz einer Anzahl von Bildern erscheint, die größer als ein erster vorgegebener Schwellenwert ist, und dann, ob die rote Farbe für eine Sequenz einer Anzahl von Bildern erscheint, die größer als ein zweiter vorgegebener Schwellenwert ist.
  • Vorteilhafterweise betrifft eines der Kriterien die Beobachtung eines Leuchtobjekts, das von rot nach rot-gelb blinkt.
  • Vorteilhafterweise betrifft eines der Kriterien die Dauer eines grünen Zustands des Leuchtobjekts, wobei die Filterung darin besteht, zu überprüfen, ob ein grüner Zustand des Leuchtobjekts für eine Dauer von weniger als einem zweiten vorgegebenen Schwellenwert aktiv ist.
  • Vorteilhafterweise betrifft eines der Kriterien die Wiederholung von Farbsequenzen, die der grünen Farbe im Wechsel mit anderen Zuständen entsprechen.
  • Die Erfindung betrifft auch ein Kraftfahrzeug, das eine Kamera umfasst, die eingerichtet ist, um einen Videostrom von Bildern aufzunehmen, die die Umgebung des Fahrzeugs repräsentieren, und einen Computer, der eingerichtet ist, um den Videostrom von Bildern zu verwenden, um eine Ampel zu erfassen, wobei die Ampel eingerichtet ist, um zwischen einer Mehrzahl von Zuständen zu wechseln, wobei jeder Zustand durch wenigstens eine farbige Zone gekennzeichnet ist, die ein Signal repräsentiert.
  • Das Fahrzeug ist insofern beachtenswert, als der Computer eingerichtet ist, um die Bilder unter Verwendung einer vorbestimmten Liste von Filterkriterien in Bezug auf die Zustände der Ampel zu filtern, basierend auf einer vorbestimmten Historie der Farbe der Pixel der farbigen Zone, die ein Leuchtobjekt repräsentiert, das im Videostrom der Bilder erfasst wird, um falsch-positive Ereignisse zu erkennen.
  • Der Computer ist vorzugsweise so eingerichtet, um für jedes nachfolgende Bild des Videostroms von Bildern die Farbe der Pixel der farbigen Zone zu bestimmen und zu speichern, die ein in dem Bild erfasstes Leuchtobjekt repräsentiert.
  • Wiederum vorzugsweise ist der Computer so eingerichtet, um die Farbe vor dem Filtern zu glätten.
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung in Kombination mit den beigefügten Figuren, die als nicht einschränkendes Beispiel dienen und in denen identische Bezugszeichen ähnliche Elemente kennzeichnen.
  • Figurenliste
    • 1 veranschaulicht schematisch eine Ausführungsform eines Kraftfahrzeugs gemäß der vorliegenden Erfindung.
    • 2 veranschaulicht schematisch eine Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung.
  • Detaillierte Beschreibung
  • 1 zeigt schematisch ein Kraftfahrzeug gemäß der vorliegenden Erfindung. Das Fahrzeug 1 umfasst eine On-Board-Videokamera 10 und einen On-Board-Computer 20, der mit der Kamera 10 über eine Kommunikationsverbindung L1 verbunden ist.
  • Die Kamera 10 ist vorzugsweise am oberen Teil der Frontscheibe 1A des Fahrzeugs 1 installiert. Die Kamera ist so eingerichtet, um einen Videostrom von Bildern aufnehmen, die die Umgebung des Fahrzeugs 1 repräsentieren, und um den Videostrom an den Computer 20 zu übertragen.
  • Der Computer 20 ist so eingerichtet, um den Videostrom der von der Kamera 10 gelieferten Bilder zu verwenden, um so die Ampel 3 im Feld 2 der Kamera 10 zu erkennen.
  • Jede Ampel 3 ist so eingerichtet, um zwischen einer Mehrzahl von Zuständen umzuschalten, wobei jeder Zustand durch wenigstens eine farbige Zone gekennzeichnet ist, die ein Signal repräsentiert. So ist beispielsweise eine Drei-Farben-Ampel 3 so eingerichtet, um nacheinander zwischen einem grünen Zustand, einem gelben Zustand und einem roten Zustand oder sogar einem gelb-roten Zustand umzuschalten, um den Fahrzeugverkehr zu steuern. So wechselt, wiederum als Beispiel, eine blinkende Ampel 3 zwischen einem gelben und einem Aus-Zustand.
  • Die Erfindung ist im Folgenden mit Bezug auf diese Arten von Ampel 3 beschrieben, wobei jedoch zu beachten ist, dass sie sinngemäß für jede andere Art von Ampel gilt.
  • Der Computer 20 ist so eingerichtet, um für jedes Bild, in dem ein Leuchtobjekt erfasst wurde, die Farbe der Pixel zu bestimmen, die die farbige Zone repräsentieren, die dem erfassten Leuchtobjekt entspricht (oder die farbigen Zonen im Falle eines mehrfarbigen Objekts, beispielsweise Gelb und Rot).
  • In diesem bevorzugten Beispiel ist der Computer 20 so eingerichtet, um die Farbe basierend auf ihrer Farb-Historie zu glätten, die in den Bildern vor dem aktuellen Bild, zum Beispiel den letzten 10 Bildern, bestimmt wird.
  • Diese Glättung besteht darin, die wahrscheinlichste Farbe der Pixel zu definieren, die das erfasste Leuchtobjekt repräsentieren, basierend auf der Erfassungshistorie der Farbe für dieses Objekt. Es berücksichtigt die Leistung des Algorithmus zur Erkennung der Farbe. So kann beispielsweise die gelbe Farbe schwieriger zu erkennen sein als Grün und Rot. Somit können die Bedingungen für die Annahme, dass die gelbe Farbe die wahrscheinlichste ist, flexibler sein als für die roten und grünen Farben. Diese Glättung wird durchgeführt, indem das Leuchtobjekt durch die Bilder verfolgt wird.
  • Der Computer 20 ist auch so eingerichtet, um den oder die für jedes Bild bestimmten Farbwerte (d.h. den Farbton) in einem Speicherbereich (nicht dargestellt) zu speichern, um eine Historie zu erstellen, die die Entwicklung der Farbe der farbigen Zone über die Zeit repräsentiert. Die Farb-Historie wird somit in den aufeinanderfolgenden Bildern, in denen ein Leuchtobjekt erkannt wurde, aufgebaut.
  • Der Computer 20 ist auch so eingerichtet, um die Bilder basierend auf der Historie zu filtern und eine vorgegebene Liste von Filterkriterien in Bezug auf die Zustände der Ampel 3 zu verwenden, um falsch-positive Ereignisse zu erkennen, wie im Folgenden beschrieben ist.
  • Die Erfindung wird nun im Hinblick auf die Ausführungsform unter Bezugnahme auf 2 beschrieben.
  • Zunächst nimmt die Kamera 10 in einem Schritt E1 einen Videostrom von Bildern auf, z.B. wenn das Fahrzeug 1 auf einer Straße 2A fährt.
  • Dieser Bildstrom wird in Echtzeit an den Computer 20 gesendet, der ihn verwendet, um in einem Schritt E2 jede Ampel 3 im Feld 2 der Kamera zu erkennen, die somit in den aufgenommenen Bildern erscheinen würde.
  • In einer Ausführungsform kann diese Erkennung durch Segmentierung der aufgenommenen Bilder, durch Verfolgung („Tracking“) des in den segmentierten Bildern erfassten Leuchtobjekts und durch Anwendung eines Klassifizierungsalgorithmus durchgeführt werden.
  • Im Allgemeinen besteht die Segmentierung darin, das Bild in Bereiche zu unterteilen, wobei jeder Bereich im Sinne eines bestimmten Kriteriums homogen ist, z.B. Form, Farbe, Textur, etc. In diesem Fall wird eine Ampel 3 erkannt, indem die Pixel farblich gruppiert werden, wobei ein leuchtender Pixelbereich einem Leuchtobjekt entspricht, das insbesondere eine Ampel 3 sein kann.
  • Das Tracking besteht im Zuordnen, von einem Bild zum nächsten, der erfassten Bereiche, die ein und demselben Objekt entsprechen.
  • Die Klassifizierung besteht darin, für jeden segmentierten Bereich, einen automatischen Lernalgorithmus zu starten, der darauf ausgelegt ist, zu erkennen, ob ein Bereich eine Ampel enthält oder nicht. Dieser automatische Lernalgorithmus wird vorzugsweise im Voraus angelernt bzw. trainiert, z.B. vor dem Verkauf des Fahrzeugs oder bei einer Wartung. Um Ampeln 3 zu erkennen, kann die Klassifizierung durch Echtzeit-Lernen in den Bildern verbessert werden, um die Genauigkeit der Klassen zu verbessern (oder sogar neue Klassen zu erstellen) und mehr falsch-positive Ereignisse zu erkennen.
  • Wenn eine Ampel 3 erkannt wurde, konstruiert der Computer 20 basierend auf einer Mehrzahl von aufeinanderfolgenden Bildern eine Historie, die die Entwicklung der Farbe der farbigen Zone über die Zeit repräsentiert (Schritt E3).
  • Zu diesem Zweck bestimmt der Computer 20 für jedes Bild, in dem eine Ampel 3 erkannt wurde, die Farbe der Pixel, die die farbige Zone der erfassten Ampel 3 (oder die farbigen Zonen im Falle beispielsweise eines gelb-roten Lichts) repräsentieren, und speichert diesen Farbwert dann in einem Speicherbereich des Computers 20, um die Historie zu erstellen. Die Farb-Historie wird somit in den aufeinanderfolgenden Bildern, in denen ein Leuchtobjekt erkannt wurde, aufgebaut.
  • In einer bevorzugten Ausführungsform werden die Farben in der Historie in Form von Farbsequenzen gespeichert. Wenn das erfasste Objekt beispielsweise für zwanzig Bilder rot und für fünfunddreißig Bilder grün war, enthält die Historie zwei Farbsequenzen: die aktuelle rote Sequenz, die für zwanzig Bilder und beispielsweise fünfundzwanzig Meter andauerte, die vom Fahrzeug 1 zurückgelegt wurden, und die vorhergehende grüne Sequenz, die fünfunddreißig Bilder andauerte, die über 100 Meter akquiriert wurden, die vom Fahrzeug 1 zurückgelegt wurden.
  • Das Bestimmen der Farbe umfasst vorzugsweise eine vorhergehende Glättung basierend auf der Farbe der Pixel, die das Leuchtobjekt in den Bildern vor dem aktuellen Bild, beispielsweise den letzten zehn Bildern, repräsentieren.
  • Sobald die Historie erstellt oder aktualisiert wurde, filtert der Computer 20 in einem Schritt E4 die Bilder basierend auf den Daten aus der Historie und verwendet eine vorgegebene Liste von Filterkriterien in Bezug auf die Zustände der Ampel 3, um falsch-positive Ereignisse zu erkennen.
  • Diese Filterung erfolgt kontinuierlich und ermöglicht es, die Veränderung der Farbe des Leuchtobjekts, das in den Bildern erkannt wird, durch Farbsequenzen (grün, gelb/gelb/gelb/rot, rot) zu beobachten.
  • Die Filterung erfolgt auf der Grundlage einer vorgegebenen Liste von Filterkriterien, die auf die Historie der Farbsequenzen des erfassten Objekts angewendet werden.
  • Ein bevorzugtes Beispiel für eine Liste von Filterkriterien wird nun mit Bezug auf eine Drei-Farben-Ampel 3 (grün, gelb, rot) gegeben. In diesem Beispiel werden sechs Filterkriterien verwendet. Diese Kriterien betreffen insbesondere die Dauer und das Andauern der grünen und roten Farbe. Diese Kriterien werden vorzugsweise nacheinander in der folgenden Reihenfolge angewendet.
  • Zunächst einmal betrifft das erste Kriterium die Dauer eines gelben oder gelb-roten Zustands des Lichts. Die Filterung besteht in diesem Fall darin, zu überprüfen, ob ein gelber oder gelb-roter Zustand des Lichts für eine Dauer von mehr als einem ersten vorgegebenen Schwellenwert, z.B. 10 Sekunden, aktiv ist. Wird der Schwellenwert überschritten, so wird davon ausgegangen, dass die erfassten Lichter nicht einem Zustand einer Ampel entsprechen, wobei der gelbe oder gelb-rote Zustand vorübergehend ist (Wechsel zum grünen Licht oder zum roten Licht oder ansonsten ein blinkendes Licht). In diesem Fall werden die Erkennungen, die z.B. einer Straßenbeleuchtung entsprechen können, als falsch-positive Ereignisse betrachtet und nicht zur Fahrassistenz verwendet.
  • Das zweite Kriterium betrifft das Andauern der roten Farbe. Wenn die Ampel 3 rot geblieben ist, während das Fahrzeug 1 eine vorgegebene Strecke, z.B. 200 Meter, zurückgelegt hat, wird davon ausgegangen, dass das erfasste Objekt falsch-positiv ist (möglicherweise das Rücklicht eines anderen Fahrzeugs, dem über eine lange Strecke gefolgt wurde), da davon ausgegangen wird, dass der Computer 20 nicht in der Lage ist, eine Ampel 3 in einer größeren Entfernung als der vorgegebenen Entfernung zu erfassen. Hierbei wird darauf hingewiesen, dass die vom Fahrzeug 1 zurückgelegte Entfernung bzw. Strecke ein Datenelement ist, das leicht vom Computer 20 erfasst und in dem Speicherbereich des Computers 20 für jede Farbsequenz der Historie gespeichert werden kann (z.B. eine grüne Farbsequenz, die in fünfzig Bildern erfasst wird, während das Fahrzeug 1 zwanzig Meter zurückgelegt hat).
  • Das dritte Kriterium betrifft den Übergang zwischen der grünen Farbe und der roten Farbe. In diesem Fall, wenn die grüne Farbe für eine Sequenz einer Anzahl von Bildern erscheint, die größer als ein erster vorgegebener Schwellenwert ist, z.B. zehn Bilder, und dann die rote Farbe für eine Sequenz einer Anzahl von Bildern erscheint, die größer als ein zweiter vorgegebener Schwellenwert ist, z.B. fünf Bilder, wird davon ausgegangen, dass ein Übergang zwischen Grün und Rot nachgewiesen wurde, wodurch das Vorhandensein eines falsch-positiven Ereignisses angezeigt wird, da ein solcher Übergang nicht tatsächlich existiert (Gelb ist immer dazwischen).
  • Das vierte Kriterium betrifft die Beobachtung eines Lichts, das von rot nach rot-gelb blinkt. Wenn also ein Wechsel von Rot- und Rot- und Gelb-Sequenzen beobachtet wird, wird daraus abgeleitet, dass das Licht rot oder rot-und gelb blinkt, und einem blinkenden roten (Bremse) oder gelben (Fahrtrichtungsanzeiger) Licht eines anderen Fahrzeugs entspricht (unter der Annahme, dass beispielsweise das rote Licht des Autos eingeschaltet bleibt und dass das gelbe Licht blinkt). In diesem Fall wird dann berücksichtigt, dass ein falsch-positives Ereignis vorliegt.
  • Das fünfte Kriterium betrifft die Dauer eines grünen Zustandes der Leuchte. Die Filterung besteht in diesem Fall darin, zu überprüfen, ob ein grüner Zustand des Lichts für eine Dauer von weniger als einem zweiten vorgegebenen Schwellenwert, beispielsweise zehn Sekunden, aktiv ist. Wird also eine Bildsequenz erkannt, bei der die Ampel für kurze Zeit grün ist, wird davon ausgegangen, dass das erfasste Licht nicht einem Zustand der Ampel entspricht und dass ein somit falsch-positives Ereignis vorliegt.
  • Schließlich betrifft das sechste Kriterium die Wiederholung von Sequenzen, die der grünen Farbe entsprechen und mit anderen Farben (z.B. grün - rot - grün) wechseln. In diesem Fall wird erneut berücksichtigt, dass es sich bei dem erkannten Objekt um ein falsch-positives Ereignis handelt.
  • Das Verfahren kann vorzugsweise das Verfolgen des Leuchtobjekts umfassen, nachdem es als falsch-positives Ereignis erkannt wurde, um diese Erkennung aufzuheben, wenn die Farbe des Objekts nicht mehr den Filterkriterien in der Liste entspricht, und kann so Fälle von inkorrekter falsch-positiver Erkennung vermeiden.
  • Das Verfahren gemäß der vorliegenden Erfindung ermöglicht es, falsch-positive Ereignisse schnell und zuverlässig zu erkennen, indem auf die Farbsequenzen eines in den Bildern erfassten Leuchtobjekts eine Reihe von Kriterien angewendet werden, wobei diese Farbsequenzen basierend auf einer Mehrzahl von aufeinanderfolgenden Bildern bestimmt werden. Die verwendeten Kriterien ermöglichen es somit, eine Ähnlichkeit zwischen einem erkannten Leuchtobjekt und einer Ampel, insbesondere nach ihrer Funktion, anzugeben.

Claims (10)

  1. Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel (3) basierend auf einem Videostrom von Bildern, die von einer Kamera (10) an Bord eines Kraftfahrzeugs (1) aufgenommen wurden, wobei die Ampel (3) so eingerichtet ist, dass sie zwischen einer Mehrzahl von Zuständen umschaltet, wobei jeder Zustand durch wenigstens eine farbige Zone gekennzeichnet ist, die für ein Signal repräsentativ ist, wobei das Verfahren dadurch gekennzeichnet ist, dass es einen Schritt (E4) zum Filtern der Bilder unter Verwendung einer vorbestimmten Liste von Filterkriterien in Bezug auf die Zustände der Ampel (3) umfasst, basierend auf einer vorbestimmten Historie der Farbe der Pixel der farbigen Zone, die ein Leuchtobjekt repräsentiert, das im Videostrom von Bildern erfasst wird, um falsch-positive Ereignisse zu erkennen.
  2. Verfahren nach Anspruch 1, umfassend einen vorausgehenden Schritt (E2) zum Erfassen eines Leuchtobjekts im Videostrom von Bildern.
  3. Verfahren nach einem der vorangehenden Ansprüche, umfassend einen vorausgehenden Schritt (E3) zum Bestimmen der Historie der Farbe der Pixel der farbigen Zone, die ein im Videostrom von Bildern erfasstes Leuchtobjekt repräsentiert.
  4. Verfahre nach dem vorangehenden Anspruch, wobei das Bestimmen (E3) der Historie für jedes aufeinanderfolgende Bild des Videostroms von Bildern ein Bestimmen und Speichern der Farbe der Pixel der farbigen Zone, die ein in dem Bild erfasstes Leuchtobjekt repräsentiert, umfasst.
  5. Verfahren nach dem vorangehenden Anspruch, wobei das Bestimmen der Farbe der Pixel der farbigen Zone, die ein erfasstes Leuchtobjekt repräsentiert, ein Glätten der Farbe im Laufe der Zeit umfasst.
  6. Verfahren nach dem vorangehenden Anspruch, wobei die Farbe basierend auf einer vorbestimmten Anzahl von Bildern, die dem Bild im Videostrom von Bildern vorausgehen, geglättet wird.
  7. Verfahren nach dem vorangehenden Anspruch, wobei das Bild basierend auf wenigstens den vorhergehenden zehn Bildern geglättet wird.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei die vorgegebene Liste von Filterkriterien wenigstens eines der folgenden Kriterien umfasst: - ein Kriterium bezüglich des Bestimmens einer Farbsequenz in Bezug auf einen grünen oder roten Zustand des Leuchtobjekts, - ein Kriterium bezüglich der Dauer eines gelben oder gelb-roten Zustands des Leuchtobjekts, wobei die Filterung in Bezug auf das Kriterium darin besteht, zu überprüfen, ob ein gelber oder gelb-roter Zustand des Leuchtobjekts für eine Dauer von mehr als einem ersten vorbestimmten Schwellenwert aktiv ist, - ein Kriterium bezüglich der Erkennbarkeit der roten Farbe über eine Fahrstrecke des Fahrzeugs (1), die größer als eine vorbestimmte Strecke ist, - ein Kriterium bezüglich des Übergangs zwischen der grünen Farbe und der roten Farbe des Leuchtobjekts, wobei das Filtern bezüglich des Kriteriums darin besteht, zu überprüfen, ob die grüne Farbe für eine Sequenz einer Anzahl von Bildern erscheint, die größer als ein erster vorgegebener Schwellenwert ist, und dann, ob die rote Farbe für eine Sequenz einer Anzahl von Bildern erscheint, die größer als ein zweiter vorgegebener Schwellenwert ist, - ein Kriterium bezüglich der Beobachtung eines Leuchtobjekts, das von rot nach rot-gelb blinkt, - ein Kriterium bezüglich der Dauer eines grünen Zustands des Leuchtobjekts, wobei die Filterung darin besteht, zu überprüfen, ob ein grüner Zustand des Leuchtobjekts für eine Dauer von weniger als einem zweiten vorbestimmten Schwellenwert aktiv ist, - ein Kriterium bezüglich der Wiederholung von Farbsequenzen, die der grünen Farbe im Wechsel mit anderen Zuständen entsprechen.
  9. Kraftfahrzeug, umfassend eine Kamera (10), die eingerichtet ist, um einen Videostrom von Bildern aufzunehmen, die die Umgebung des Fahrzeugs (1) repräsentieren, und einen Computer (20), der eingerichtet ist, um den Videostrom von Bildern zu nutzen, um eine Ampel (3) zu erfassen, wobei die Ampel (3) eingerichtet ist, um zwischen einer Mehrzahl von Zuständen zu wechseln, wobei jeder Zustand durch wenigstens eine farbige Zone gekennzeichnet ist, die ein Signal repräsentiert, wobei das Fahrzeug (1) dadurch gekennzeichnet ist, dass der Computer (20) eingerichtet ist, um die Bilder unter Verwendung einer vorbestimmten Liste von Filterkriterien in Bezug auf die Zustände der Ampel (3) zu filtern, basierend auf einer vorbestimmten Historie der Farbe der Pixel der farbigen Zone, die ein im Videostrom von Bildern erfasstes Leuchtobjekt repräsentiert, um falsch-positive Ereignisse zu erkennen.
  10. Fahrzeug nach dem vorangehenden Anspruch, wobei der Computer so eingerichtet ist, dass er, für jedes aufeinanderfolgende Bild des Videostroms von Bildern, die Farbe der Pixel der farbigen Zone bestimmt und speichert, die ein in dem Bild erfasstes Leuchtobjekt repräsentiert.
DE112018000768.5T 2017-02-10 2018-02-01 Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel Pending DE112018000768T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1751127 2017-02-10
FR1751127A FR3062944B1 (fr) 2017-02-10 2017-02-10 Procede de detection de faux-positifs relatifs a un feu de signalisation
PCT/FR2018/050241 WO2018146400A1 (fr) 2017-02-10 2018-02-01 Procédé de détection de faux-positifs relatifs à un feu de signalisation

Publications (1)

Publication Number Publication Date
DE112018000768T5 true DE112018000768T5 (de) 2020-01-16

Family

ID=58547710

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018000768.5T Pending DE112018000768T5 (de) 2017-02-10 2018-02-01 Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel

Country Status (6)

Country Link
US (1) US11126874B2 (de)
JP (1) JP7004731B2 (de)
CN (1) CN110249338B (de)
DE (1) DE112018000768T5 (de)
FR (1) FR3062944B1 (de)
WO (1) WO2018146400A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200746A1 (de) 2022-01-24 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Ermittlung eines Signalzustandes einer Lichtsignalanlage

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11866046B2 (en) * 2017-12-10 2024-01-09 Anatoly S. Weiser Smart traffic control devices and beacons, methods of their operation, and use by vehicles of information provided by the devices and beacons
US10836393B2 (en) * 2017-12-10 2020-11-17 Anatoly S. Weiser Smart traffic control devices and beacons, methods of their operation, and use by vehicles of information provided by the devices and beacons
US11436842B2 (en) * 2020-03-13 2022-09-06 Argo AI, LLC Bulb mask representation for traffic light classification
CN112699834B (zh) * 2021-01-12 2022-06-17 腾讯科技(深圳)有限公司 交通标识检测方法、装置、计算机设备和存储介质
CN114822058B (zh) * 2022-05-11 2023-03-03 深圳智慧车联科技有限公司 一种基于信号灯路口的行车规范驾驶提示监测方法、系统、车载终端及存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353292A (ja) * 1999-06-11 2000-12-19 Toshiba Corp 信号識別装置及びその方法
JP2005301519A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
TWI236901B (en) * 2004-06-11 2005-08-01 Oriental Inst Technology An apparatus and method for identifying surrounding environment by means of image processing and for outputting the resutls
US7495579B2 (en) * 2005-06-13 2009-02-24 Sirota J Marcos Traffic light status remote sensor system
JP4577153B2 (ja) 2005-08-24 2010-11-10 株式会社デンソー 環境認識装置
US7804980B2 (en) 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
EP3412511B1 (de) * 2008-10-06 2021-12-29 Mobileye Vision Technologies Ltd. Bündelung von fahrerassistenzsystemen
JP5162485B2 (ja) * 2009-02-02 2013-03-13 公益財団法人鉄道総合技術研究所 鉄道信号機の視認可否を確認する方法及び装置
US9070305B1 (en) * 2010-01-22 2015-06-30 Google Inc. Traffic light detecting system and method
JP5273099B2 (ja) * 2010-06-17 2013-08-28 株式会社デンソー 運転支援車載装置及び路車間通信システム
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
DE102012108861A1 (de) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera
JP6062214B2 (ja) 2012-11-06 2017-01-18 株式会社小糸製作所 路車間通信システムおよび送受信装置
US9975482B2 (en) * 2013-02-01 2018-05-22 Eric Sinclair Systems and methods for traffic event detection for vehicles using rolling averages
JP6085522B2 (ja) * 2013-05-29 2017-02-22 富士重工業株式会社 画像処理装置
EP3036730B1 (de) * 2013-08-20 2019-12-18 Harman International Industries, Incorporated Verkehrsampelerkennung
CN106462727B (zh) * 2014-01-30 2020-02-11 移动眼视力科技有限公司 车辆、车道终止检测系统和方法
WO2015125022A2 (en) * 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
JP6228492B2 (ja) * 2014-03-10 2017-11-08 株式会社Subaru 車外環境認識装置
US9275286B2 (en) * 2014-05-15 2016-03-01 Xerox Corporation Short-time stopping detection from red light camera videos
JP6270624B2 (ja) 2014-05-22 2018-01-31 株式会社Subaru 車外環境認識装置
CN104050447A (zh) * 2014-06-05 2014-09-17 奇瑞汽车股份有限公司 一种交通信号灯识别方法和装置
US9373046B2 (en) * 2014-09-10 2016-06-21 Continental Automotive Systems, Inc. Detection system for color blind drivers
US9245333B1 (en) * 2014-12-10 2016-01-26 Semiconductor Components Industries, Llc Systems and methods for detecting obstructions within the field-of-view of an image sensor
US20170043717A1 (en) * 2015-08-10 2017-02-16 Arie Heiman System and Apparatus that Alert Car Drivers Approaching Obstacles in the Road
HUE038758T2 (hu) * 2015-09-21 2018-11-28 Urban Software Inst Gmbh Számítógépi rendszer és eljárás forgalmi rendszer monitorozására
CN105608417B (zh) * 2015-12-15 2018-11-06 福州华鹰重工机械有限公司 交通信号灯检测方法及装置
US20170228606A1 (en) * 2016-02-09 2017-08-10 Haike Guan Information processing apparatus, information processing method, and recording medium
US9977975B2 (en) * 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US10699142B2 (en) * 2017-04-20 2020-06-30 GM Global Technology Operations LLC Systems and methods for traffic signal light detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200746A1 (de) 2022-01-24 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Ermittlung eines Signalzustandes einer Lichtsignalanlage

Also Published As

Publication number Publication date
CN110249338B (zh) 2023-10-31
FR3062944B1 (fr) 2021-05-14
WO2018146400A1 (fr) 2018-08-16
JP7004731B2 (ja) 2022-01-21
FR3062944A1 (fr) 2018-08-17
US11126874B2 (en) 2021-09-21
CN110249338A (zh) 2019-09-17
US20200012870A1 (en) 2020-01-09
JP2020509479A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
DE112018000768T5 (de) Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel
EP2443586B1 (de) Verfahren und vorrichtung zum erkennen einer rückwärtigen fahrzeugbeleuchtung
DE102017107264A1 (de) Sichtbasierte regenerkennung unter verwendung des tiefen lernens
DE102016200828B4 (de) Objekterfassungsvorrichtung und Objekterfassungsverfahren
DE102015121952A1 (de) Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016219542A1 (de) Informationsverarbeitungsvorrichtung
DE102011109569A1 (de) Verfahren zur Fahrspurerkennung mittels einer Kamera
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102012108863A1 (de) Verfahren zur Erkennung eines Ampelzustands mittels einer Kamera
DE102017203236A1 (de) Vorrichtung und Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug
DE102017217072B4 (de) Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102016114160A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs in eine Garage auf Grundlage von Ultraschallsignalen und Kamerabildern, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102019214558A1 (de) Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102015210934A1 (de) Vorrichtung und Verfahren zum verbesserten visuellen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
DE102019102672A1 (de) Intersensorisches lernen
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
DE102007021579A1 (de) Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens
DE102016119592A1 (de) Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020130513A1 (de) Erfassung und klassifizierung von strassenattributen zur kartenerweiterung
DE102011081391A1 (de) Verfahren und Vorrichtung zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs
DE102019132012A1 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE102019001336A1 (de) Vorrichtung zur Erfassung eines Fahrtzielbereichs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNERS: CONTINENTAL AUTOMOTIVE FRANCE, TOULOUSE, FR; CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE