DE102007021578A1

DE102007021578A1 - Verfahren und Vorrichtung zum Klassifizieren mindestens eines Verkehrszeichens

Info

Publication number: DE102007021578A1
Application number: DE102007021578A
Authority: DE
Inventors: Lars-Peter Dipl.-Inform. Becker
Original assignee: Hella KGaA Huek and Co
Current assignee: CarSoftware Estonia AS
Priority date: 2007-05-08
Filing date: 2007-05-08
Publication date: 2008-11-13

Abstract

Verfahren und Vorrichtung zum Klassifizieren mindestens eines Verkehrszeichens. Es werden Bilddaten mehrerer nacheinander mit Hilfe eines Bilderfassungssystems (12) eines Fahrzeugs aufgenommener Bilder einer Bildfolge mit jeweils einer Abbildung zumindest eines Bereichs vor dem Fahrzeug verarbeitet, wobei mindestens ein Objekt (50) ermittelt wird. Für jedes Bild werden die diesem Objekt (50) zuordenbaren Bildelemente ermittelt. Mit Hilfe der ermittelten Bilddaten wird eine Klassifizierung durchgeführt, bei der jeweils für mindestens ein konkretes Verkehrszeichen für jedes Bild jeweils eine Einzelwahrscheinlichkeit (W_n-1, W_n) ermittelt wird, dass das Objekt (50) tatsächlich dieses konkrete Verkehrszeichen ist. Ausgehend von den ermittelten Einzelwahrscheinlichkeiten (W_n-1, W_n) wird eine Gesamtwahrscheinlichkeit (W_g) ermittelt, dass es sich bei dem Objekt (50) um das konkrete Verkehrszeichen handelt.

Description

Es sind verschiedene Systeme zur maschinellen Verkehrszeichenerkennung bekannt, mit deren Hilfe zumindest die für die Fahrtrichtung eines Fahrzeugs relevanten Verkehrszeichen erfasst werden. Ferner können dem Fahrzeugführer im Fahrzeug über eine Anzeigeeinheit Informationen über erkannte Verkehrszeichen ausgegeben und/oder von Fahrassistenzsystemen weiterverarbeitet werden.
Die aus dem Stand der Technik bekannten Verkehrszeichenerkennungssysteme, wie sie beispielsweise aus dem Dokument EP 1 131 803 B1 bekannt sind, erfassen und analysieren alle in einem Fahrschlauch eines Fahrzeugs vorhandenen Verkehrszeichen ausgehend von den von einem Bildsensor bereitgestellten Bilddaten. Diese Bilddaten werden dabei mit Hilfe einer Informationsverarbeitungseinheit analysiert und klassifiziert. Jedoch werden die Verkehrszeichen beim Stand der Technik nicht immer zuverlässig klassifiziert, so dass die Verkehrszeichenerkennung abgebrochen werden muss und Verkehrszeichen übersehen werden oder ein falsches Verkehrszeichen klassifiziert bzw. erkannt wird. Insbesondere bei der Klassifikation eines falschen Verkehrszeichens kann dies zu Verkehrsrechtsverstößen und einer erhöhten Unfallgefahr führen.
Aufgabe der Erfindung ist es, die Klassifikation von Verkehrszeichen zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentan spruchs 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 wird eine Gesamtwahrscheinlichkeit ermittelt, durch die ein Klassifikationsergebnis erzeugt, mit dessen Hilfe das zu klassifizierende Verkehrszeichen korrekt klassifiziert werden kann. Durch die aus den ermittelten Einzelwahrscheinlichkeiten ermittelte Gesamtwahrscheinlichkeit wird insbesondere eine größere Plausibilität und Sicherheit beim Bestimmen des Verkehrszeichens erreicht. Ferner können Fehlklassifizierungen infolge relativ schlechter Bildaufnahmen einzelner Bilder durch das Ermitteln der Gesamtwahrscheinlichkeit aus den ermittelten Einzelwahrscheinlichkeiten vermieden werden.
Bei einer Weiterbildung werden die Bilddaten von mindestens zwei nacheinander aufgenommenen Bildern verarbeitet, wobei ausgehend von den Bilddaten des ersten Bildes für das Objekt mindestens eine erste Einzelwahrscheinlichkeit ermittelt wird und wobei ausgehend von den Bilddaten des zweiten Bildes für dasselbe Objekt mindestens eine zweite Einzelwahrscheinlichkeit ermittelt wird. Ferner kann eine Vorklassifizierung des ermittelten Objekts durchgeführt werden, bei der ermittelt wird, ob das Objekt ein Verkehrszeichen ist und/oder ob das Objekt ein Verkehrszeichen sein könnte. Die weitere Klassifizierung zum Ermitteln eines konkreten Verkehrszeichens wird nur für Objekte durchgeführt, die als Verkehrszeichen bzw. als potentielles Verkehrszeichen vorklassifiziert sind.
Ferner kann beim Klassifizieren für jedes Bild die Einzelwahrscheinlichkeit für mindestens zwei konkrete voneinander verschiedene Verkehrszei chen ermittelt werden, wobei die Einzelwahrscheinlichkeiten sowie die für jedes Verkehrszeichen ermittelte Gesamtwahrscheinlichkeit die Wahrscheinlichkeit angeben, dass es sich bei dem ermittelten Objekt um genau dieses konkrete Verkehrszeichen handelt.
Dabei ist es vorteilhaft, für das erste Verkehrszeichen ausgehend von den Bilddaten des ersten Bildes eine erste Einzelwahrscheinlichkeit und ausgehend von den Bilddaten des zweiten Bildes eine zweite Einzelwahrscheinlichkeit zu ermitteln. Für das zweite Verkehrszeichen wird ausgehend von den Bilddaten des ersten Bildes eine erste Einzelwahrscheinlichkeit und ausgehend von den Bilddaten des zweiten Bildes eine zweite Einzelwahrscheinlichkeit ermittelt, wobei für jedes Verkehrszeichen ausgehend von den für diese Verkehrszeichen ermittelten Einzelwahrscheinlichkeiten jeweils eine Gesamtwahrscheinlichkeit ermittelt wird. Vorzugsweise wird für mindestens ein drittes Verkehrszeichen ausgehend von den Bilddaten des ersten Bildes eine erste Einzelwahrscheinlichkeit und ausgehend von den Bilddaten des zweiten Bildes eine zweite Einzelwahrscheinlichkeit ermittelt, wobei für das dritte Verkehrszeichen ausgehend von der für das dritte Verkehrszeichen ermittelten ersten und zweiten Einzelwahrscheinlichkeit eine Gesamtwahrscheinlichkeit ermittelt wird, die angibt, mit welcher Wahrscheinlichkeit es sich bei dem ermittelten Objekt um das spezifizierte dritte Verkehrszeichen handelt.
Ferner kann für das jeweilige Verkehrszeichen aufgrund der Bilddaten mindestens eines dritten Bildes zumindest eine dritte Einzelwahrscheinlichkeit und für jedes ggf. weitere Bild eine weitere Einzelwahrscheinlichkeit ermittelt werden, die beim Ermitteln der Gesamtwahrscheinlichkeit berücksichtigt wird bzw. die beim Ermitteln der Gesamtwahrscheinlichkeit berücksichtigt werden.
Bei dem konkreten Verkehrszeichen, für das die Gesamtwahrscheinlichkeit angibt, dass es sich bei dem Objekt um ein bestimmtes Verkehrszeichen handelt, wird Bezug auf ein bekanntes eindeutiges Verkehrszeichen genommen, insbesondere ein konkretes Verbots-, Gebots-, Warnungs- oder Aufhebungszeichen.
Die Vorrichtung mit den Merkmalen des Patentanspruchs 9 kann auf die gleiche Weise weitergebildet werden wie für das Verfahren nach Patentanspruch 1 angegeben. Insbesondere kann auch die Vorrichtung mit den Merkmalen des Patentanspruchs 9 mit den zur Weiterbildung des Verfahrens nach Patentanspruch 1 in den abhängigen Patentansprüchen angegeben Merkmalen bzw. entsprechenden Vorrichtungsmerkmalen weitergebildet werden.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand eines Ausführungsbeispiels näher erläutert.
Es zeigen:
1 ein Blockdiagramm eines Systems zur Bildaufnahme und Bildauswertung der Umgebung eines Kraftfahrzeugs; und
2 eine schematische Darstellung zum Ermitteln der Gesamtwahrscheinlichkeiten für drei konkrete Verkehrszeichen.
In 1 ist ein Blockdiagramm eines Bildaufnahme- und Auswertesystems 10 dargestellt, das in ein Kraftfahrzeug, insbesondere in einen PKW oder einen LKW, integriert ist. Das Bildaufnahme- und Auswertesystem 10 hat ein Kamerasystem 12, das eine Bildfolge mit Abbildungen zumindest eines Bereichs vor dem Fahrzeug erfasst und jeweils entsprechende Bilddaten erzeugt. Diese Bilddaten werden zu einer Bildverarbeitungseinheit 14 des Systems 10 übertragen und mit Hilfe von Steuerungs- und Verarbeitungsmodulen 16a bis 16d der Bildverarbeitungseinheit 14 analysiert und verarbeitet.
Die Bildverarbeitungseinheit 14 ist über einen Fahrzeugbus 18 des Fahrzeugs mit weiteren Steuer- und Verarbeitungseinheiten 20 bis 26, wie dem Navigationssystem, dem Geschwindigkeitserfassungs- und/oder Regelungssystem, des Fahrzeugs verbunden, wobei die Bildverarbeitungseinheit 14 über den Fahrzeugbus 18 Daten mit diesen weiteren Steuereinheiten 20 bis 26 austauschen kann. Die Bildverarbeitungseinheit 14 ist weiterhin über eine geeignete Datenleitung mit einer Anzeige- und Warneinheit 28 sowie mit einer Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 verbunden. Ferner ist die Bildverarbeitungseinheit 14 über eine Datenleitung mit einem Permanentspeicher 32 verbunden. Ein solcher Permanentspeicher 32 kann beispielsweise ein Festplattenspeicher, ein Flashspeicher oder eine weitere Steuereinheit sein. Ferner kann der Permanentspeicher 32 auch durch ein Datenbanksystem des Kraftfahrzeugs bereitgestellt werden. Das Kamerasystem 12 kann eine Monokamera, mehrere Monokameras, ein Stereokamerasystem und/oder mehrere Stereokamerasysteme umfassen, wobei die einzelnen Kameras Graustufenbilder oder Farbbilder erzeugen. Als Fahrzeugbus 18 können übliche bekannte Bussysteme, wie ein LIN-Bus, ein CAN-Bus und/oder ein Flexray-Bus eingesetzt werden. Die Optiken der Kamera bzw. der Kameras des Kamerasystems 12 können insbesondere verschiedene Festbrennweiten oder eine insbesondere über ein Revolver-Objektivsystem oder ein Varioobjektivsystem einstellbare Brennweite aufweisen.
Über den Fahrzeugbus 18 kommuniziert die Bildverarbeitungseinheit 14 auch mit weiteren Sensoren und Empfangseinheiten, die insbesondere eine ad hoc Kommunikation mit weiteren Fahrzeugen und/oder mit Verkehrseinrichtungen, wie Lichtsignalanlagen, Schilderbrücken und/oder einzelnen Verkehrsschildern, aufnehmen können. Ferner werden über den Fahrzeugbus 18 Informationen über Signalzustände einzelner Aktoren und Sensoren, insbesondere über die Aktivierung der Fahrtrichtungsanzeiger des Fahrzeugs, übertragen.
Mit Hilfe der durch das Kamerasystem 12 aufgenommenen Bildfolge werden durch eine Analyse der Bilddaten mit Hilfe der Bildverarbeitungseinheit 14 die Verkehrszeichen im Erfassungsbereich des Kamerasystems 12 ermittelt und klassifiziert. Durch das Klassifizieren der Verkehrszeichen mit Hilfe eines geeigneten Erkennungsverfahrens wird das abgebildete Verkehrszeichen als konkretes Verkehrszeichen identifiziert. Über die Anzeige- und Warneinheit 28 wird die Abbildung des Verkehrszeichens und/oder ein diesem Verkehrszeichen entsprechendes Symbol angezeigt.
Zusätzlich oder alternativ kann auch eine Textinformation und/oder eine akustische Information ausgegeben werden. Ferner wird eine Verkehrsinformation insbesondere über eine Geschwindigkeitsbegrenzung oder eine Mindestgeschwindigkeit an die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 übergeben, wobei die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 ein Warnsignal bei Überschreitung der zulässigen Höchstgeschwindigkeit und/oder Unterschreitung einer Mindestgeschwindigkeit ausgeben kann. Alternativ können die Geschwindigkeitsbe grenzungen als maximale Begrenzungswerte einer Geschwindigkeitsregelung und/oder Begrenzung ggf. mit einem Offset zugrundegelegt werden.
Ein weiteres Verarbeitungs- und Steuerungsmodul 16a bis 16d der Bildverarbeitungseinheit 14 ermittelt aufgrund der Abbildungen der Bildfolge die aktuelle Fahrspur des Fahrzeugs. Ein weiteres Verarbeitungsmodul 16a bis 16d ordnet die einer der ermittelten Fahrspuren eindeutig zuordenbaren Verkehrszeichen nur dieser Fahrspur zu, wobei diese nur einer Fahrspur zugeordneten Verkehrszeichen zusammen mit der Fahrspurinformation im Permanentspeicher 32 gespeichert werden. Ferner können in dem Permanentspeicher 32 Vergleichsdaten für einen Mustervergleich zur Erkennung von Verkehrsschildern, insbesondere länderspezifische Muster von Verkehrszeichen, Symbole, die anstatt der Abbildungen der erkannten Verkehrszeichen auf der Anzeigeeinheit 28 ausgegeben werden können, sowie auszugebende Texte und/oder akustische Informationen gespeichert werden.
2 zeigt eine schematische Darstellung eines Wahrscheinlichkeitsgraphen zum Ermitteln der Gesamtwahrscheinlichkeit ausgehend von drei nacheinander aufgenommenen Bildern einer Bildfolge, auf deren Grundlage jeweils eine Einzelwahrscheinlichkeit für drei konkrete voneinander verschiedene Verkehrszeichen ermittelt wird. Dazu werden die Bilddaten eines als Verkehrszeichens vorklassifizierten Objekts 50 über drei nacheinander aufgenommene Bilder n-2 bis n mit Hilfe eines Trackingverfahrens von der Bildverarbeitungseinheit 14 jeweils ermittelt und einem Klassifizierungsmodul 16a zum Klassifizieren des Verkehrszeichens zugeführt. Das Klassifizierungsmodul 16a ermittelt dabei für jedes Bild ausgehend von den Bilddaten der Abbildung des Objekts mit welcher Einzelwahrscheinlichkeit es sich um ein konkretes Verkehrszeichen handeln könnte. Im vorliegenden Ausführungsbeispiel handelt es sich bei dem Objekt 50 um ein Verkehrszeichen zur Begrenzung der zulässigen Höchstgeschwindigkeit auf 80 km/h. Mit Hilfe des Klassifizierungsverfahrens wird ermittelt, dass es sich aufgrund des äußeren dunkler als der Innenbereich des Verkehrszeichens eingefärbten Randes und der im helleren Mittelbereich vorhandenen Ziffernfolge um ein Verbotsschild zur Begrenzung der zulässigen Höchstgeschwindigkeit handelt. Jedoch muss der genaue Wert noch exakt ermittelt werden, auf den die zulässige Höchstgeschwindigkeit durch dieses Verbotsschild begrenzt ist. Dazu werden für alle üblichen Begrenzungswerte mit jeweils einer Ziffernfolge mit zwei Ziffern, d. h. von 10 km/h bis 90 km/h jeweils eine Einzelwahrscheinlichkeit für das erste Bild n-2 ermittelt. Nur für die Ziffern 30, 80 und 90 wird eine Einzelwahrscheinlichkeit von > 0 ermittelt, nämlich für die Ziffern 30 eine Einzelwahrscheinlichkeit von 0,5, für die Ziffern 80 eine Einzelwahrscheinlichkeit von 0,4 und für die Ziffern 90 eine Einzelwahrscheinlichkeit von 0,1. Diese Vorgehensweise wird für das Bild n-1 wiederholt, wobei nur für die Ziffernfolgen 30 und 90 eine Einzelwahrscheinlichkeit von jeweils > 0 ermittelt wird. Für die Ziffern 30 wird eine Einzelwahrscheinlichkeit von 0,3 und für die Ziffern 90 eine Einzelwahrscheinlichkeit von 0,2 ermittelt. Ferner wird die Vorgehensweise nachfolgend für das Bild n wiederholt, wobei nur für die Ziffernfolgen 30 und 80 jeweils eine Einzelwahrscheinlichkeit von > 0 ermittelt wird. Für die Ziffern 30 wird eine Einzelwahrscheinlichkeit von 0,1 und für die Ziffern 80 eine Einzelwahrscheinlichkeit von 0,8 ermittelt. Für die Ziffernfolgen, für die in einem der Bilder eine Einzelwahrscheinlichkeit ermittelt worden ist, wird jeweils eine Gesamtwahrscheinlichkeit ermittelt.
Im vorliegenden Ausführungsbeispiel wird die Gesamtwahrscheinlichkeit w_g nach folgender Formel berechnet: wg = 1 – ((1 – wn-2)·(1 – wn-1)·(1 – wn))
Dadurch ergibt sich für die Ziffernfolge 30 eine Gesamtwahrscheinlichkeit von 0,69, für die Ziffernfolge 80 eine Gesamtwahrscheinlichkeit von 0,88 und für die Ziffernfolge 90 eine Gesamtwahrscheinlichkeit von 0,28.
Nachfolgend erfolgt eine Bewertung der ermittelten Gesamtwahrscheinlichkeiten, wobei im vorliegenden Ausführungsbeispiel die Ziffernfolge mit der höchsten Einzelwahrscheinlichkeit zum endgültigen Klassifizieren des Verkehrszeichens zur Geschwindigkeitsbegrenzung genutzt und als Gesamtklassifizierungsergebnis ausgegeben wird. Als Gesamtklassifizierungsergebnis wird das konkrete Verkehrszeichen zur Begrenzung der Höchstgeschwindigkeit auf 80 km/h ermittelt, wobei als Gesamtklassifizierungsergebnis eine Information über das ermittelte Verkehrszeichen ausgegeben wird. Diese Information kann beispielsweise durch das Anzeigen eines dem Verkehrszeichen entsprechenden Symbols auf der Anzeigeeinheit 28 und/oder durch Übertragen einer solchen Information an eine weitere Steuereinheit des Kraftfahrzeugs, beispielsweise an die Steuereinheit 30, erfolgen.
Durch die Erfindung können für ein als Objekt lokalisiertes insbesondere vorklassifiziertes Verkehrszeichen basierend auf den mit Hilfe der Klassifikation ermittelten Wahrscheinlichkeiten mehrere Hypothesen für ein mögliches Verkehrszeichen aufgestellt und jeweils überprüft werden. Die ausgehend von den Objektabbildungen in den einzelnen Bildern der Bildfolge ermittelten Einzelwahrscheinlichkeiten für ein konkretes Verkehrszeichen sind üblicherweise von Bild zu Bild verschieden. Die Entschei dung für ein konkretes Verkehrszeichen aufgrund der ermittelten Gesamtwahrscheinlichkeit sollte so spät wie möglich getroffen werden, um die Robustheit und Erkennungsgüte der Verkehrszeichenerkennung weiter zu erhöhen. Es sollten alle möglichen Hypothesen, insbesondere alle aufgrund einzelner Klassifizierungsmerkmale bestimmten Verkehrszeichengruppe, wie beispielsweise Verkehrszeichen zur Geschwindigkeitsbegrenzung, ermittelten Verkehrszeichen als Hypothese verfolgt werden. Die Hypothese wird dann durch den ermittelten Gesamtwahrscheinlichkeitswert für ein konkretes Verkehrszeichen, d. h. für eine Hypothese, bestätigt oder widerlegt. Bei der Entscheidung für ein konkretes Verkehrszeichen bei mehreren möglichen Verkehrszeichen, für die jeweils eine relativ große Gesamtwahrscheinlichkeit ermittelt wurde, wird bei der Entscheidung für ein konkretes Verkehrszeichen vorzugsweise der sich aus der Bildfolge ergebende Kontext berücksichtigt.
Eine Hypothese wird vorzugsweise auch dann weiterverfolgt, wenn für diese Hypothese in einem Bild eine Einzelwahrscheinlichkeit ermittelt wird, die unter einem bestimmten Grenzwert liegt, beispielsweise eine Einzelwahrscheinlichkeit von 0. Dadurch wird beim Ausführungsbeispiel nach 2 die Hypothese, dass es sich bei dem Verkehrszeichen um ein Geschwindigkeitsbegrenzungszeichen auf eine Geschwindigkeit von 80 km/h handelt, nicht im Bild n-1 verworfen, nur weil dort eine Einzelwahrscheinlichkeit von 0 ermittelt worden ist.
Vorzugsweise werden alle Hypothesen zumindest die, für die ein voreingestellter Mindestwahrscheinlichkeitsgrenzwert ermittelt worden ist, parallel verfolgt, bis eine Entscheidung für ein konkretes Verkehrszeichen getroffen werden muss. Zur Verfolgung der mehreren Hypothesen bietet sich besonders an, wie in 2 dargestellt, einen gerichteten Wahr scheinlichkeitsgraf zu verwenden, der vorzugsweise eine Baumform hat und als Knoten die unterschiedlichen Hypothesen enthält. Die Knoten werden für jedes verarbeitete Bild angefügt. Die Kanten zwischen den Knoten repräsentieren jeweils die ermittelte Einzelwahrscheinlichkeit basierend auf dem Klassifikations- bzw. Zuordnungsergebnis. Dadurch wird eine Gütefunktion für jede der Hypothesen erzeugt. Zur Entscheidung werden alle Knoten und Kanten ausgewertet und der Verlauf durch die Baumstruktur mit der maximalen Güte als Klassifikationsergebnis ermittelt. Dadurch werden alle möglichen Hypothesen in Betracht gezogen und aus diesen die wahrscheinlichste Hypothese ermittelt. Somit kann die wahrscheinlichste Hypothese auch dann ermittelt werden, wenn für diese am Anfang der Bildfolge nur eine geringe Einzelwahrscheinlichkeit ermittelt und andere Hypothesen eine größere Einzelwahrscheinlichkeit ermittelt worden ist. Insbesondere kann der für eine Hypothese ermittelter Einzelwahrscheinlichkeitswert auch für ein oder mehrere Bilder unter einem voreingestellten Mindestwahrscheinlichkeitswert liegen, wodurch die Hypothese so zumindest vorerst nicht in die Baumstruktur als Verzweigung eingefügt wurde.
Das Ermitteln bzw. das Berechnen einer Gesamtwahrscheinlichkeit aus mehreren Einzelwahrscheinlichkeitswerten bewirkt eine Erhöhung der Erkennungsleistung durch die mehrfache unabhängige Bewertung eines Objekts bzw. eines Verkehrszeichens. Die Erhöhung der Erkennungsleistung wird insbesondere durch die statistische Berücksichtigung der Einzelwahrscheinlichkeiten erreicht.
Durch die Erfindung wird die Robustheit und Erkennungsgüte der Verkehrszeichenerkennung insbesondere dann entscheidend erhöht, wenn die ermittelten Einzelwahrscheinlichkeiten in einer Bildfolge aufgrund von ungünstigen Sichtbedingungen oder sehr unterschiedlichen Abbildungseigenschaften stark voneinander abweichen, so dass bei einer Einzelbetrachtung und Einzelanalyse sowie Klassifizierung der in den einzelnen Bildern vorhandenen Verkehrszeichen eine andere Hypothese am wahrscheinlichsten erscheint. Durch die Betrachtung mehrerer Einzelergebnisse für jede Hypothese über mehrere Bilder kann eine statistisch abgesicherte Entscheidung mit einer hohen Erkennungsgüte gefällt werden.
Die Abbildung nach 2 weist die beschriebene Baumstruktur auf, wobei die Kanten die für die einzelnen Bilder ermittelten Einzelwahrscheinlichkeiten angibt. Die Wahrscheinlichkeiten sind auf den Wert 1 normiert, wobei 1 sehr wahrscheinlich und 0 als unwahrscheinlich definiert ist. Die Berechnung der Gesamtwahrscheinlichkeit w_g nach der oben angeführten Gleichung entspricht einem unscharfen Wahrscheinlichkeits- ODER, wie es beispielsweise aus der Fuzzy-Logik bekannt ist. Bei dieser Vorgehensweise wird ermittelt, dass die Gesamtwahrscheinlichkeit für unwahrscheinliche Hypothesen gegen 0 konvergiert, so dass als Endergebnis die Hypothese ermittelt werden kann, durch die das korrekte Verkehrszeichen spezifiziert wird, das dem tatsächlich vorhandenen Verkehrszeichen entspricht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- EP 1131803 B1 [0002]

Claims

Verfahren zum Klassifizieren mindestens eines Verkehrszeichens, bei dem Bilddaten von mehreren nacheinander mit Hilfe eines Bilderfassungssystems (12) eines Fahrzeugs aufgenommenen Bildern (n-2 bis n) einer Bildfolge mit jeweils einer Abbildung zumindest eines Bereichs vor dem Fahrzeug verarbeitet werden, wobei mindestens ein Objekt (50) ermittelt wird, für jedes Bild die diesem Objekt zuordenbaren Bildelemente ermittelt werden, mit Hilfe der ermittelten Bilddaten eine Klassifizierung durchgeführt wird, bei der jeweils für mindestens ein konkretes Verkehrszeichen für jedes Bild jeweils eine Einzelwahrscheinlichkeit (W_n-2, W_n-1, W_n) ermittelt wird, dass das Objekt tatsächlich dieses konkrete Verkehrszeichen ist, und bei dem ausgehend von den ermittelten Einzelwahrscheinlichkeiten (W_n-2, W_n-1, W_n) eine Gesamtwahrscheinlichkeit (W_g) ermittelt wird, dass es sich bei dem Objekt (50) um das konkrete Verkehrszeichen (50) handelt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddaten von mindestens zwei nacheinander aufgenommenen Bildern (n-1, n) verarbeitet werden, wobei ausgehend von den Bilddaten des ersten Bildes (n-1) für das Objekt (50) mindestens eine erste Einzelwahrscheinlichkeit (W_n-1) ermittelt wird und wobei ausge hend von Bilddaten des zweiten Bildes (n) für dasselbe Objekt (50) mindestens eine zweite Einzelwahrscheinlichkeit (W_n) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vorklassifizierung des ermittelten Objekts (50) durchgeführt wird, bei der ermittelt wird, ob das Objekt (50) ein Verkehrszeichen ist und/oder ein Verkehrszeichen sein könnte, wobei die weitere Klassifizierung zum Ermitteln eines konkreten Verkehrszeichens nur für Objekte (50) durchgeführt wird, die als Verkehrszeichen bzw. als potentielles Verkehrszeichen vorklassifiziert sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Klassifizieren für jedes Bild (n-2 bis n) die Einzelwahrscheinlichkeit (W_n-2, W_n-1, W_n) für mindestens zwei konkrete voneinander verschiedene Verkehrszeichen ermittelt wird, wobei die Einzelwahrscheinlichkeiten (W_n-2 bis W_n) sowie die für jedes Verkehrszeichen ermittelte Gesamtwahrscheinlichkeit (W_g) die Wahrscheinlichkeit angeben, dass es sich bei dem ermittelten Objekt (50) um genau dieses konkrete Verkehrszeichen handelt.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für das erste Verkehrszeichen ausgehend von den Bilddaten des ersten Bildes (n-1) eine erste Einzelwahrscheinlichkeit (W_n-1) und ausgehend von den Bilddaten des zweiten Bildes (n) eine zweite Einzelwahrscheinlichkeit (W_n) ermittelt wird, und dass für das zweite Verkehrszeichen ausgehend von den Bilddaten des ersten Bildes (n-1) eine erste Einzelwahrscheinlichkeit (W_n-1) und ausgehend von den Bilddaten des zweiten Bildes (n) eine zweite Einzelwahrscheinlichkeit (W_n) ermittelt wird, wobei für jedes Verkehrszeichen ausgebend von den für dieses Verkehrszeichen ermittelten Einzelwahrscheinlichkeiten (W_n-1, W_n) jeweils eine Gesamtwahrscheinlichkeit (W_g) ermittelt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für mindestens ein drittes Verkehrszeichen ausgehend von den Bilddaten des ersten Bildes (n-1) eine erste Einzelwahrscheinlichkeit (W_n-1) und ausgehend von den Bilddaten des zweiten Bildes (n) eine zweite Einzelwahrscheinlichkeit (W_n) ermittelt wird, wobei für das dritte Verkehrszeichen ausgehend von der für das dritte Verkehrszeichen ermittelten ersten und zweiten Einzelwahrscheinlichkeit (W_n-1, W_n) eine Gesamtwahrscheinlichkeit (W_g) ermittelt wird, dass es sich bei dem ermittelten Objekt (50) um das dritte Verkehrszeichen handelt.
Verfahren nach Anspruch 4 bis 6, dadurch gekennzeichnet, dass für das jeweilige Verkehrszeichen aufgrund der Bilddaten mindestens eines dritten Bildes (n-2) zumindest eine dritte Einzelwahrscheinlichkeit (W_n-2) ermittelt wird, die beim Ermitteln der Gesamtwahrscheinlichkeit (W_g) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei dem konkreten Verkehrzeichen um ein in Verkehrsrechtsvorschriften definiertes Verkehrszeichen, vorzugsweise um ein konkretes Verbots-, Gebots-, Warn- oder Aufhebungszeichen handelt.
Vorrichtung zum Klassifizieren mindestens eines Verkehrszeichens mit einem Bildaufnahmesystem (12), das eine Bildfolge mit mindestens zwei Bildern (n-1, n) mit jeweils einer Abbildung mindestens eines Bereichs der Umgebung des Fahrzeugs erfasst und der jeweiligen Abbildung entsprechende Bilddaten erzeugt, mit einem Verarbeitungssystem (14), das die Bilddaten jedes Bildes verarbeitet und mindestens ein Objekt (50) in jedem der beiden Bilder (n-1, n) ermittelt, das für jedes Bild, die diesem Objekt (50) zuordenbaren Bildelemente ermittelt und das mit Hilfe dieser ermittelten Bildelemente eine Klassifizierung des Objekts (50) durchführt, wobei das Verarbeitungssystem (14) bei der Klassifizierung jeweils für mindestens ein konkretes Verkehrszeichen für jedes Bild jeweils eine Einzelwahrscheinlichkeit (W_n-1, W_n) ermittelt, die die Wahrscheinlichkeit angibt, dass das ermittelte Objekt (50) tatsächlich dieses konkrete Verkehrszeichen ist, und das ausgehend von den Einzelwahrscheinlichkeiten (W_n-1, W_n) einer Gesamtwahrscheinlichkeit (W_g) ermittelt, dass es sich bei dem Objekt (50) um das konkrete Verkehrszeichen handelt.