DE102020003100A1

DE102020003100A1 - Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen

Info

Publication number: DE102020003100A1
Application number: DE102020003100.5A
Authority: DE
Inventors: Christian Kobetz; Martin Fischer
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-05-22
Filing date: 2020-05-22
Publication date: 2020-08-06

Abstract

Die Erfindung betrifft ein Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen (4, 5) in einer Fahrzeugumgebung, wobei mittels zumindest einer Kamera (3) eines Fahrzeugs (1) ein vor dem Fahrzeug (1) befindlicher Abschnitt der Fahrzeugumgebung erfasst wird und in einer Auswertung in mittels der Kamera (3) erfassten Bildern (B) zumindest eine Lichtsignalanlage (4, 5) erkannt wird. Erfindungsgemäß wird ein zur Auswertung jeweils vorgesehener Bildbereich (A) der erfassten Bilder (B) in Abhängigkeit von einem Abstand (d) der Kamera (3) zu einer in der Fahrzeugumgebung befindlichen Lichtsignalanlage (4, 5) in horizontaler Richtung automatisch begrenzt, wobei die automatische Begrenzung derart erfolgt, dass mit wachsendem Abstand (d) eine Breite des Bildbereichs (A) in horizontaler Richtung verringert wird.

Description

Die Erfindung betrifft ein Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen gemäß dem Oberbegriff des Anspruchs 1.
Aus der DE 10 2018 109 366 A1 ist ein Verfahren zum Analysieren von Lichtsignalanlagen zur Steuerung eines autonomen Fahrzeugs bekannt. Das Verfahren umfasst:

- Empfangen eines Bildes von einer Kamera in Bezug auf eine Lichtsignalanlage, die sich in der Fahrumgebung des autonomen Fahrzeugs befindet, durch einen oder mehrere Prozessoren;
- Empfangen von Daten durch den einen oder die mehreren Prozessoren, die sich auf die wahrscheinliche Geometrie und Position der Lichtsignalanlage beziehen, die in dem Bild angeordnet ist;
- Anwenden eines Maschinenlernmodells, das ein oder mehrere neuronale Netzwerke umfasst, unter Verwendung des einen oder der mehreren Prozessoren, auf die empfangenen Daten und auf das Kamerabild zum Ermitteln eines Ortes und von Merkmalen der Lichtsignalanlage, worin die bestimmten Merkmale eine Charakterisierung der Lichtsignalanlage in Bezug auf Form und Farbe beinhalten;
- Steuerung des autonomen Fahrzeugs durch das eine oder die mehreren neuronalen Netze basierend auf dem bestimmten Ort und den Merkmalen der Lichtsignalanlage.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen in einer Fahrzeugumgebung, insbesondere von Verkehrsampeln, wird mittels zumindest einer Kamera eines Fahrzeugs ein vor dem Fahrzeug befindlicher Abschnitt der Fahrzeugumgebung erfasst und in einer Auswertung wird in mittels der Kamera erfassten Bildern zumindest eine Lichtsignalanlage erkannt.
Erfindungsgemäß wird ein zur Auswertung jeweils vorgesehener Bildbereich der erfassten Bilder in Abhängigkeit von einem Abstand der Kamera zu einer in der Fahrzeugumgebung befindlichen Lichtsignalanlage in horizontaler Richtung automatisch begrenzt, wobei die automatische Begrenzung derart erfolgt, dass mit wachsendem Abstand eine Breite des Bildbereichs in horizontaler Richtung verringert wird.
Durch Einschränkung des Bildbereichs mit wachsendem Abstand der Kamera zur Lichtsignalanlage ist es mittels des Verfahrens in besonders vorteilhafter Weise möglich, bei einer Klassifikation von Lichtsignalanlagen-Hypothesen falsch-positive Ergebnisse zu vermeiden oder zumindest der deren Anzahl signifikant zu verringern. Dies wird beispielsweise dadurch erreicht, dass beispielsweise an in der Fahrzeugumgebung vorhandenen Gebäuden befindliche Kanten und Gebäudefarben aufgrund ihrer Position im Bild außerhalb des ausgewerteten Bildbereichs nicht als Lichtsignalanlagen erkannt werden. Somit ist keine Unterdrückung von falsch-positiven Ergebnissen erforderlich, so dass eine Rate von wahr-positiven Ergebnissen nicht negativ beeinflusst wird.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch ein Bild einer vor einem Fahrzeug befindlichen Fahrzeugumgebung,
2 schematisch eine perspektivische Ansicht einer Straßenkreuzung,
3 schematisch ein erstes Bild einer vor einem Fahrzeug befindlichen Fahrzeugumgebung im Bereich der Straßenkreuzung gemäß 2 und 4 schematisch ein zweites Bild einer vor einem Fahrzeug befindlichen Fahrzeugumgebung im Bereich der Straßenkreuzung gemäß 2.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Bild B einer vor einem in 2 gezeigten Fahrzeug 1 befindlichen Fahrzeugumgebung dargestellt.
Das Fahrzeug 1 bewegt sich auf einer Fahrbahn FB hinter einem weiteren Fahrzeug 2. Das Bild B der Fahrzeugumgebung wird mittels einer ebenfalls in 2 gezeigten fahrzeugeigenen Kamera 3 erfasst.
Anhand mittels der Kamera 3 erfasster Bilder B erfolgt eine Erkennung von in 2 näher dargestellten Lichtsignalanlagen 4, 5 in der Fahrzeugumgebung, wobei mittels der Kamera 3 ein vor dem Fahrzeug 1 befindlicher Abschnitt der Fahrzeugumgebung erfasst wird und in einer Auswertung in mittels der Kamera erfassten Bildern B insbesondere mittels einer Klassifikation von Lichtsignalanlagen-Hypothesen H1 bis Hn zumindest eine Lichtsignalanlage 4, 5 erkannt wird.
Bei einer solchen Klassifikation der Lichtsignalanlagen-Hypothesen H1 bis Hn kann es, wie im dargestellten Bild B, zu falsch-positiven Ergebnissen kommen, wenn beispielsweise an in der Fahrzeugumgebung vorhandenen Gebäuden befindliche Kanten und Gebäudefarben fälschlicherweise als Lichtsignalanlagen erkannt werden.
2 zeigt eine perspektivische Ansicht einer Straßenkreuzung mit zwei Lichtsignalanlagen 4, 5, insbesondere zwei Verkehrsampeln, wobei sich ein Fahrzeug 1 den Lichtsignalanlagen 4, 5 nähert. Dabei ist das Fahrzeug 1 zu einem ersten Zeitpunkt t1 und einem auf diesen folgenden späteren Zeitpunkt t2 dargestellt. In den 3 und 4 ist jeweils ein mittels einer fahrzeugeigenen Kamera 3 zu den Zeitpunkten t1, t2 erfasstes Bild B einer vor dem Fahrzeug 1 befindlichen Fahrzeugumgebung im Bereich der Straßenkreuzung dargestellt.
Anhand der Bilder B erfolgt die Erkennung der Lichtsignalanlagen 4, 5 in der Fahrzeugumgebung, wobei in einer Auswertung der Bilder zur Erkennung der Lichtsignalanlagen 4, 5 insbesondere ein Algorithmus verwendet wird, welcher in den Bildern eine Kantendetektion und Farberkennung, beispielsweise so genannter Spots, durchführt.
Um im Rahmen der kamerabasierten Erkennung der Lichtsignalanlagen 4, 5 bei der Klassifikation der Lichtsignalanlagen-Hypothesen H1 bis Hn die in 1 dargestellten falsch-positiven Ergebnisse zu vermeiden, ist vorgesehen, dass ein zur Auswertung jeweils vorgesehener Bildbereich A der erfassten Bilder B in Abhängigkeit von einem Abstand d der Kamera 3 zu den in der Fahrzeugumgebung befindlichen Lichtsignalanlagen 4, 5 in horizontaler Richtung automatisch begrenzt wird, wobei die automatische Begrenzung derart erfolgt, dass mit wachsendem Abstand d eine Breite des Bildbereichs A in horizontaler Richtung verringert wird.
Das heißt, die Bilder B werden stets mit dem gleichen Erfassungsbereich E der Kamera 3, welcher beispielsweise einen Öffnungswinkel von 120° aufweist, erfasst und die Breite des Bildbereichs A, in welchem die Auswertung stattfindet, wird in Abhängigkeit des Abstands d begrenzt.
Im dargestellten Ausführungsbeispiel befindet sich das Fahrzeug 1 zum Zeitpunkt t1 in einer Position, in welcher die Kamera 3 einen Abstand d(t1) zu den Lichtsignalanlagen 4, 5 aufweist. Aufgrund des Erfassungsbereichs E und dessen Öffnungswinkel sind, wie in 3 dargestellt, seitlich neben den Lichtsignalanlagen 4, 5 große Bereiche im Bild B vorhanden, in welchen die Gefahr eines Vorhandenseins von Objekten besteht, welche während der Klassifikation der Lichtsignalanlagen-Hypothesen H1 bis Hn zu den falsch-positiven Ergebnissen führen können. Durch automatische Verringerung der Breite des zur Auswertung genutzten Bildbereichs A in horizontaler Richtung, werden diese Bereiche bei der Auswertung nicht berücksichtigt und somit die Gefahr von falsch-positiven Ergebnissen bei der Klassifikation signifikant verringert.
Zum Zeitpunkt t2 befindet sich das Fahrzeug 1 dagegen in einer Position nahe vor den Lichtsignalanlagen 4, 5, in welcher die Kamera 3 einen Abstand d(t2) zu den Lichtsignalanlagen 4, 5 aufweist, wobei der Abstand d(t2) kleiner ist als der Abstand d(t1). Aufgrund des geringen Abstands d(t2) sind, wie in 4 dargestellt, seitlich neben den Lichtsignalanlagen 4, 5 nur vernachlässigbar geringe Bereiche im Bild B vorhanden, in welchen die Gefahr eines Vorhandenseins von Objekten besteht, welche während der Klassifikation der Lichtsignalanlagen-Hypothesen H1 bis Hn zu den falsch-positiven Ergebnissen führen können. Somit wird bei einem solchen geringen Abstand d(t2) keine automatische Verringerung der Breite des zur Auswertung genutzten Bildbereichs A in horizontaler Richtung durchgeführt, um die Lichtsignalanlagen 4, 5 zuverlässig erkennen zu können.
Bezugszeichenliste

1: Fahrzeug
2: Fahrzeug
3: Kamera
4: Lichtsignalanlage
5: Lichtsignalanlage
A: Bildbereich
B: Bild
E: Erfassungsbereich
FB: Fahrbahn
H1 bis Hn: Lichtsignalanlagen-Hypothese
t1: Zeitpunkt
t2: Zeitpunkt
d(t1), d(t2): Abstand

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018109366 A1 [0002]

Claims

Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen (4, 5) in einer Fahrzeugumgebung, wobei - mittels zumindest einer Kamera (3) eines Fahrzeugs (1) ein vor dem Fahrzeug (1) befindlicher Abschnitt der Fahrzeugumgebung erfasst wird und - in einer Auswertung in mittels der Kamera (3) erfassten Bildern (B) zumindest eine Lichtsignalanlage (4, 5) erkannt wird, dadurch gekennzeichnet, dass - ein zur Auswertung jeweils vorgesehener Bildbereich (A) der erfassten Bilder (B) in Abhängigkeit von einem Abstand (d) der Kamera (3) zu einer in der Fahrzeugumgebung befindlichen Lichtsignalanlage (4, 5) in horizontaler Richtung automatisch begrenzt wird und - die automatische Begrenzung derart erfolgt, dass mit wachsendem Abstand (d) eine Breite des Bildbereichs (A) in horizontaler Richtung verringert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Auswertung des Bildbereichs (A) zur Erkennung der zumindest einen Lichtsignalanlage (4, 5) ein Algorithmus verwendet wird, welcher in dem Bildbereich (A) eine Kantendetektion und Farberkennung durchführt.