-
Die Erfindung betrifft ein Verfahren zur Kennzeichnung von Bildbereichen in mittels zumindest einer, einem Fahrzeug zugehörigen Bilderfassungseinheit erfassten Bildern einer Umgebung des Fahrzeugs, wobei in den Bildern die Bildbereiche gekennzeichnet werden, in welchen zumindest ein Signalgeber einer Lichtsignalanlage dargestellt ist und die gekennzeichneten Bilder innerhalb einer Datenbank hinterlegt werden.
-
Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens zur Detektion und Lokalisierung von Signalgebern einer Lichtsignalanlage in einer Umgebung eines Fahrzeugs.
-
Aus der
US 2011/0182475 A1 ist ein Verfahren zur Ermittlung einer dreidimensionalen Position eines Signalgebers einer Lichtsignalanlage, auch als Ampel bezeichnet, bekannt. Hierbei wird mittels einer Erfassungsvorrichtung eines Fahrzeugs eine Mehrzahl von Bilder erfasst, wobei jedes der Bilder mit einer zugehörigen geografischen Positions- und Orientierungsinformation verknüpft wird. Innerhalb ausgewählter Bilder werden rot-, gelb- und grüngefärbte Objekte identifiziert, wobei innerhalb mehrerer Bilder dargestellte korrespondierende rot-, gelb- und grüngefärbte Objekte basierend auf den geografischen Positions- und Orientierungsinformationen identifiziert werden. Eine dreidimensionale Position des Signalgebers der Lichtsignalanlage wird basierend auf ermittelten Korrespondenzen zwischen mehreren ausgewählten Bildern und den zugehörigen geografischen Positions- und Orientierungsinformationen ermittelt, wobei die dreidimensionale Position des Signalgebers in einem Speicher hinterlegt wird.
-
Die
DE 10 2013 003 117 A1 beschreibt ein Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs, wobei die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst wird und mittels der Bilderfassungseinheit erfasste Bilder analysiert werden. Bildmerkmale der Bilder werden mit in einer Datenbank hinterlegten Vergleichsmerkmalen und/oder ermittelte Anordnungen von Bildmerkmalen zueinander werden mit Anordnungen hinterlegter Vergleichsmerkmale verglichen, wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen und/oder von Anordnungen von Bildmerkmalen mit Anordnungen von Vergleichsmerkmalen eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen und/oder Anordnungen von Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt werden bzw. wird. Als Bildmerkmale und Vergleichsmerkmale werden durch Merkmalssignaturen beschriebene pixelbasierte Bereiche in den Bildern verwendet. Als Vergleichsmerkmale und/oder Anordnungen von Vergleichsmerkmalen werden in Referenzfahrten Objekte und deren Positionen erfasst, wobei in erfassten Bildern eine Kennzeichnung der pixelbasierten Bereiche, auch als Labeln bezeichnet, erfolgt, in welchen sich die Objekte befinden. Die Objekte sind beispielsweise Signalgeber einer Lichtsignalanlage. Weiterhin wird eine Verwendung der mittels dieses Verfahrens ermittelten Position des Fahrzeugs zur Ermittlung von Positionen der Objekte in der Umgebung des Fahrzeugs beschrieben.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kennzeichnung von Bildbereichen in mittels zumindest einer Bilderfassungseinheit erfassten Bildern und eine Verwendung des Verfahrens zur Detektion und Lokalisierung von Signalgebern einer Lichtsignalanlage anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 7 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Kennzeichnung von Bildbereichen in mittels zumindest einer, einem Fahrzeug zugehörigen Bilderfassungseinheit erfassten Bildern einer Umgebung des Fahrzeugs werden in den Bildern die Bildbereiche gekennzeichnet, in welchen zumindest ein Signalgeber einer Lichtsignalanlage dargestellt ist und die gekennzeichneten Bilder werden innerhalb einer Datenbank hinterlegt.
-
Erfindungsgemäß wird während eines Stillstands des Fahrzeugs vor einem, ein Rotsignal anzeigenden Signalgeber bei einem Wechsel des Rotsignals zu einem anderen Lichtsignal eine Position zumindest eines initialen Signalgebers ermittelt. Weiterhin werden während des Stillstands in einem gleichen Entfernungsbereich wie der zumindest eine initiale Signalgeber befindliche strukturelle Kontextinformationen aus einer Umgebung des zumindest einen initialen Signalgebers erfasst und ein Bild mit zumindest einem, den zumindest einen initialen Signalgeber und die Kontextinformation darstellenden Bildbereich und zumindest die Position des zumindest einen initialen Signalgebers werden in der Datenbank hinterlegt.
-
Das erfindungsgemäße Verfahren ermöglicht in besonders vorteilhafter Weise eine automatische Kennzeichnung der die Signalgeber von Lichtzeichenanlagen darstellenden Bildbereiche, im Folgenden als Labeln bezeichnet. Mittels dieser Automatisierung wird gegenüber einem manuellen Labeln der Signalgeber eine signifikante Verringerung eines Aufwands und eine Zeitersparnis erzielt.
-
Das erfindungsgemäße Verfahren und Ausführungsbeispiele desselben werden insbesondere zur Detektion und Lokalisierung von Signalgebern einer Lichtsignalanlage in einer Umgebung eines Fahrzeugs bei einer Anwendung des in der
DE 10 2013 003 117 A1 beschriebenen Verfahrens verwendet.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch in einer Seitenansicht einen Aufbau eines Systems zur Durchführung eines erfindungsgemäßen Verfahrens,
-
2 schematisch eine Bilderfassung und -speicherung in Abhängigkeit einer Fahrzeuggeschwindigkeit,
-
3 schematisch eine Ermittlung einer Differenz zwischen drei zeitlich nacheinander erfassten Bildern,
-
4 schematisch eine Ermittlung einer Differenz zwischen zwei zeitlich nacheinander erfassten Bildern,
-
5 schematisch eine Kennzeichnung von jeweils einen Signalgeber darstellenden Bildbereichen in einem ersten Differenzbild,
-
6 schematisch eine Kennzeichnung von jeweils einen Signalgeber darstellenden Bildbereichen in einem zweiten Differenzbild,
-
7 schematisch eine Kennzeichnung von jeweils einen Signalgeber darstellenden Bildbereichen in einem Ringspeicher hinterlegten Bildern,
-
8 schematisch eine Kennzeichnung von Bildbereichen, welche in einem gleichen Entfernungsbereich wie ein initialer Signalgeber befindliche strukturelle Kontextinformationen darstellen, und
-
9 schematisch eine Kennzeichnung von Bildbereichen, welche in einem gleichen Entfernungsbereich wie ein initialer Signalgeber befindliche nicht initiale Signalgeber darstellen.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt in einer Seitenansicht einen Aufbau eines Systems zur Durchführung eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Kennzeichnung von in den 5 bis 9 dargestellten Bildbereichen BB1 bis BBm in mittels zumindest einer, einem Fahrzeug 1 zugehörigen Bilderfassungseinheit 2 erfassten Bildern B1 bis Bn einer Umgebung des Fahrzeugs 1. Die Bilderfassungseinheit 2 ist insbesondere als Kamera ausgebildet und zur Erfassung farbiger Bilder B1 bis Bn der Umgebung geeignet.
-
Insbesondere zur Realisierung eines autonomen oder teilautonomen Fahrbetriebs des Fahrzeugs 1 ist eine Erkennung von Signalgebern 3.1 von Lichtzeichenanlagen 3, auch als Ampeln bezeichnet, und eine Auswertung von mittels der Signalgeber 3.1 ausgegebenen Lichtsignalen L1 bis L3 erforderlich.
-
Zu diesem Zweck werden Bildmerkmale der erfassten Bilder B1 bis Bn mit in einer Datenbank 4 hinterlegten Vergleichsmerkmalen und/oder ermittelte Anordnungen von Bildmerkmalen zueinander mit Anordnungen in der Datenbank 4 hinterlegten Vergleichsmerkmalen verglichen. Bei einer Übereinstimmung der Bildmerkmale mit den Vergleichsmerkmalen und/oder von Anordnungen der Bildmerkmale mit Anordnungen der Vergleichsmerkmale wird eine Position des Signalgebers 3.1 der Lichtzeichenanlage 3 aus zu den Vergleichsmerkmalen und/oder Anordnungen von Vergleichsmerkmalen in der Datenbank 4 hinterlegten Positionsdaten ermittelt. Als Bildmerkmale und Vergleichsmerkmale werden insbesondere durch Merkmalssignaturen beschriebene pixelbasierte Bildbereiche BB1 bis BBm in den Bildern B1 bis Bn verwendet.
-
Zur Erzeugung der in der Datenbank 4 für die Signalgeber 3.1 von Lichtzeichenanlagen 3 hinterlegten Vergleichsmerkmale werden insbesondere während einer Vermessungs- oder Referenzfahrt des Fahrzeugs 1 als Objekte Signalgeber 3.1 von Lichtzeichenanlagen 3 erfasst und in der Datenbank 4 gespeichert. Die Datenbank 4 ist in nicht näher dargestellter Weise im Fahrzeug 1 angeordnet oder das Fahrzeug 1 ist mittels geeigneter Datenverbindungen mit der Datenbank 4 verbunden.
-
Insbesondere erfolgen der Vergleich und die Erzeugung der Vergleichsmerkmale im Übrigen wie in der
DE 10 2013 003 117 A1 beschrieben.
-
Eine Detektion D und Nachverfolgung T, auch als Tracking bezeichnet, der Signalgeber 3.1 in den Bildern B1 bis Bn erfolgen dabei gemäß allgemein bekannter Algorithmen zur Objekterkennung und -verfolgung in Abhängigkeit einer Geschwindigkeit v des Fahrzeugs 1.
-
Die mittels der Erfassungseinheit 2 erfassten Bilder B1 bis Bn werden in einem Ringspeicher 5 kontinuierlich für einen definierten Zeitraum gespeichert und nach einem Ablauf dieses Zeitraums überschrieben. Der Zeitraum ist beispielsweise derart ausgebildet, dass jeweils Bilder B1 bis Bn der Umgebung des Fahrzeugs 1 einer vorgegebenen zurückliegenden Wegstrecke, beispielsweise mit einer Länge von 100 m, gespeichert werden. Der Ringspeicher 5 ist dabei in nicht näher dargestellter Weise im Fahrzeug 1 angeordnet oder das Fahrzeug 1 ist mittels geeigneter Datenverbindungen mit dem Ringspeicher 5 verbunden. In einer möglichen Ausführung ist der Ringspeicher 5 Bestandteil der Datenbank 4.
-
Zur Kennzeichnung der die Signalgeber 3.1 darstellenden Bildbereiche BB1 bis BBm, auch als Labeln bezeichnet, wird dann, wenn sich das Fahrzeug 1 im Stillstand vor einem, ein Rotsignal anzeigenden Signalgeber 3.1 befindet, die Speicherung der Bilder B1 bis Bn gestoppt.
-
Dies ist in 2 näher dargestellt, wobei sich das Fahrzeug 1 mit einer Geschwindigkeit v der Lichtzeichenanlage 3 mit mehreren Signalgebern 3.1 bis 3.3 nähert. Bis zu einem Stillstand des Fahrzeugs 1 vor der Lichtzeichenanlage 3 werden die Bilder B1 bis B7 in dem Ringspeicher 5 hinterlegt.
-
Während des Stillstands des Fahrzeugs 1 vor dem, das Rotsignal anzeigenden Signalgeber 3.1 wird bei einem Wechsel des Rotsignals zu einem anderen Lichtsignal L2, L3 eine Position der Signalgeber 3.2, 3.3 ermittelt und diese als initiale Signalgeber 3.2, 3.3 behandelt.
-
Eine Ermittlung des Wechsels des Rotsignals zu dem anderen Lichtsignal L2, L3 wird anhand einer Differenz zwischen zeitlich nacheinander erfassten Bildern B1, B1', B1'' der gleichen Szene ermittelt. Dies zeigt 3.
-
Hierbei wird ein erstes Differenzbild DB1 aus den Bildern B1 und B1' gebildet, wobei das Bild B1 die Lichtzeichenanlage 3 bei der Ausgabe eines als Rotlicht ausgebildeten Lichtsignals L1 und das Bild B1' die Lichtzeichenanlage 3 bei der Ausgabe eines als Rotlicht ausgebildeten Lichtsignals L1 und eines als Gelblicht ausgebildeten Lichtsignals L2 zeigt. Das Differenzbild DB1 zeigt die Lichtzeichenanlage 3 bei der Ausgabe des als Gelblicht ausgebildeten Lichtsignals L2.
-
Ein zweites Differenzbild DB1' wird aus den Bildern B1' und B1'' gebildet, wobei das Bild B1'' die Lichtzeichenanlage 3 bei der Ausgabe eines als Grünlicht ausgebildeten Lichtsignals L3 zeigt. Das Differenzbild DB1 zeigt die Lichtzeichenanlage 3 bei der Ausgabe des Lichtsignals L1 und des Lichtsignals L3.
-
Alternativ wird ein drittes Differenzbild DB1'' gemäß 4 aus den Bildern B1 und B1'' gebildet, wobei das dritte Differenzbild DB1'' die Lichtzeichenanlage 3 bei der Ausgabe aller Lichtsignale L1 bis L3 darstellt.
-
Mittels der Differenzbildung und einer Auswertung der Differenzen bezüglich der Farben Rot, Gelb und Grün sind in besonders einfacher Weise die Positionen der Signalgeber 3.2 und 3.3 in den erfassten Bildern B1 bis Bn ermittelbar.
-
Diese erkannten Signalgeber 3.2 und 3.3 werden als initiale Signalgeber 3.2 und 3.3 behandelt und anhand der Positionen der Signalgeber 3.2 und 3.3 werden, wie in 5 dargestellt, die durch Merkmalssignaturen beschriebenen pixelbasierten Bildbereiche BB1 und BB2 im Differenzbild DB'' erzeugt.
-
Da die Positionen der Signalgeber 3.2, 3.3 im Differenzbild DB'' mit den Positionen der in den nacheinander, während des Stillstands des Fahrzeugs 1 erfassten Bilder B1, B1', B1'' dargestellten Signalgebern 3.2, 3.3 übereinstimmen, erfolgt in einfacher Weise eine Übertragung der Bildbereiche BB1 und BB2 in das Bild B1, wie 6 zeigt.
-
In 7 ist eine Kennzeichnung von jeweils die initialen Signalgeber 3.2, 3.3 darstellenden Bildbereichen BB1 und BBm in den im Ringspeicher 5 hinterlegten Bildern B1 bis Bn dargestellt. Zu dieser Kennzeichnung werden die initialen Signalgeber 3.2, 3.3 in den im Ringspeicher 5 hinterlegten und vor dem Halt des Fahrzeugs 1 erfassten Bildern B1 bis Bn ”rückwärts nachverfolgt” bzw. ”rückwärts getrackt” und die zugehörigen Bildbereiche BB1 bis BBm in den Bildern B1 bis Bn werden gekennzeichnet.
-
Um bei einer Verwendung der gekennzeichneten Bilder B1 bis Bn eine sichere Unterscheidung zwischen verschiedenen Lichtzeichenanlagen 3 zu realisieren, werden, wie 8 näher zeigt, zusätzlich zu den initialen Signalgebern 3.2, 3.3 in einem gleichen Entfernungsbereich wie die initialen Signalgeber 3.2, 3.3 befindliche strukturelle Kontextinformationen K1 bis K4 aus einer Umgebung der initialen Signalgeber 3.2, 3.3 und deren zugehörige Bildbereiche BK1 bis BKi in den erfassten Bildern B1 bis Bn gekennzeichnet.
-
Entfernungen der Kontextinformationen K1 bis K4 werden dabei anhand eines optischen Flusses ermittelt, wobei nur im nahen Umfeld der initialen Signalgeber 3.2, 3.3 befindliche Bereiche mit einer ähnlichen Verschiebung bei einer Anfahrt des Fahrzeugs 1 an die Lichtzeichenanlage 3 wie die initialen Signalgeber 3.2, 3.3 in Betracht gezogen werden. Somit wird vermieden, dass so genannte Parallaxen-Verschiebungen auftreten, welche zu Falschdetektionen führen können.
-
Bei den Kontextinformationen K1 bis K4 handelt es sich im dargestellten Ausführungsbeispiel um an der Lichtzeichenanlage 3 im Bereich der Signalgeber 3.2, 3.3 angeordnete Verkehrszeichen. In nicht näher dargestellten Ausführungsbeispielen können auch andere im Bereich der Lichtzeichenanlage 3 immobil angeordnete Gegenstände als Kontextinformationen K1 bis K4 verwendet werden.
-
Auch die Kontextinformationen K1 bis K4 werden vorzugsweise in den erfassten Bildern B1 bis Bn ”rückwärts nachverfolgt” bzw. ”rückwärts getrackt” und die zugehörigen Bildbereiche BK1 bis BKi werden in den Bildern B1 bis Bn gekennzeichnet.
-
Die erfassten Bilder B1 bis Bn werden gemeinsam mit den gekennzeichneten Bildbereichen BB1 bis BBm und den gekennzeichneten Bildbereichen BK1 bis BKi sowie einer Position der initialen Signalgeber 3.2, 3.3 in der Datenbank 4 hinterlegt. Die hinterlegten Daten sind beispielsweise bei einem Betrieb einer Fahrerassistenzvorrichtung aus der Datenbank 4 abrufbar und zur Realisierung einer Ampel- und Positionserkennung mit aktuell erfassten Bilddaten vergleichbar.
-
Um zusätzlich auch Signalgeber 3.1 in den Bildern B2 bis Bn zu kennzeichnen, welche sich in dem Bild B1 während des Stillstands des Fahrzeugs außerhalb des Erfassungsbereichs der Bilderfassungseinheit 2 befinden, werden diese in einer nachträglichen Klassifikation ermittelt und in den Bildern B2 bis Bn gekennzeichnet. Dies ist in 9 dargestellt.
-
Hierbei wird ein im gleichen Entfernungsbereich wie die initialen Signalgeber 3.2, 3.3 befindlicher nicht initialer Signalgeber 3.1 mittels der nachträglichen Klassifikation in dem im Ringspeicher 5 gespeicherten Bild B2 erkannt und ein zugehöriger Bildbereich BI1 gekennzeichnet. Nach einem erstmaligen Erkennen wird auch der nicht initiale Signalgeber 3.1 in den erfassten Bildern B3 bis Bn ”rückwärts nachverfolgt” bzw. ”rückwärts getrackt” und die zugehörigen Bildbereiche BI2 bis BIx werden in den Bildern B3 bis Bn gekennzeichnet.
-
Bei dieser Ausgestaltung werden die erfassten Bilder B1 bis Bn gemeinsam mit den gekennzeichneten Bildbereichen BB1 bis BBm den gekennzeichneten Bildbereichen BK1 bis BKi und den gekennzeichneten Bildbereichen BI1 bis BIx sowie Positionen der initialen Signalgeber 3.2, 3.3 und des nicht initialen Signalgebers 3.1 in der Datenbank 4 hinterlegt.
-
In einer nicht näher dargestellten Ausgestaltung des erfindungsgemäßen Verfahrens werden zusätzlich Zugehörigkeiten der Lichtzeichenanlagen 3 und deren Signalgeber 3.1 bis 3.3 zu Fahrtrichtungen anhand von Pfeilinformationen auf einer Fahrbahnoberfläche und/oder auf Beschilderungen und/oder anhand eines Aufhängungsortes des jeweiligen Signalgebers 3.1 bis 3.n und/oder anhand eines Umschaltverhaltens der Signalgeber 3.1 bis 3.3 ermittelt.
-
Die mittels des Verfahrens erfassten und ermittelten Informationen werden in einer weiteren möglichen Ausgestaltung des Verfahrens bei Bedarf bei jeder Befahrung der Umgebung im der entsprechenden Lichtzeichenanlage 3 aktualisiert und/oder ergänzt.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Bilderfassungseinheit
- 3
- Lichtzeichenanlage
- 3.1 bis 3.3
- Signalgeber
- 4
- Datenbank
- 5
- Ringspeicher
- B1 bis Bn
- Bild
- B1', B1''
- Bild
- BB1 bis BBm
- Bildbereich
- BI1 bis BIx
- Bildbereich
- BK1 bis BKi
- Bildbereich
- D
- Detektion
- DB1, DB1', DB1''
- Differenzbild
- K1 bis K4
- Kontextinformation
- L1 bis L3
- Lichtsignal
- T
- Nachverfolgung
- v
- Geschwindigkeit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2011/0182475 A1 [0003]
- DE 102013003117 A1 [0004, 0011, 0028]
