-
Die Erfindung betrifft ein Verfahren zur Erkennung von Lichtsignalanlagen nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Insbesondere bei eingeschränkten Umgebungslichtverhältnissen, also beispielsweise in der Dämmerung oder Nachts, ist es schwierig, aktiv abgestrahltes Licht von reflektiertem Licht zu unterscheiden. Dies kann insbesondere bei sogenannten Ampelassistenten, welche eine Lichtsignalanlage auswerten, zu fehlerhaften Ergebnissen führen.
-
Der Stand der Technik in Form der
DE 10 2011 081 428 A1 nimmt sich dieses Themas für einen Fernlichtassistenten an. Auch hier geht es darum, reflektiertes Licht von aktiv ausgesendetem Licht eines entgegenkommenden Fahrzeugs zu unterscheiden. Das in der genannten Schrift beschriebene Verfahren nutzt dafür eine Klassifikation des Objekts und die Auswertung von Bildern von zwei verschiedenen Kameras, welche in dem Fahrzeug voneinander beabstandet angeordnet sind. Durch den Abstand ergeben sich bei einer Reflektion Helligkeitsunterschiede, welche bei einer aktiven Lichtquelle so nicht oder nicht im selben Maße auftreten. Das Verfahren ist dabei aufwändig, weil es eine Stereokamera oder zwei getrennte Kameras in dem Fahrzeug erforderlich macht. Außerdem ist es so, dass von Reflektoren, wie beispielsweise den Reflektoren an Leitpfosten neben der Straße, reflektiertes Licht über einen relativ breiten Winkel reflektiert wird, da die Reflektoren genau hierfür ausgelegt sind. Dies verursacht je nach Abstand der Kameras somit nur sehr geringe Helligkeitsunterschiede, sodass durch das beschriebene Verfahren nur eine eingeschränkte Zuverlässigkeit der Auswertung erzielt werden kann.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, ein Verfahren zur Erkennung von Lichtsignalanlagen weiter zu verbessern.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1, gelöst.
-
Das erfindungsgemäße Verfahren erkennt Lichtsignalanlagen anhand der Umgebungsbilder wenigstens einer, insbesondere genau einer Kamera eines Fahrzeugs. In an sich bekannter Art und Weise werden in den erfassten Bildern Objekte erkannt und entsprechend klassifiziert.
-
Erfindungsgemäß ist es nun so, dass die als Lichtsignalanlagen klassifizierten Objekte, welche aktuell nur Objekthypothesen darstellen, auf eine Reflektion hin überprüft werden. Im Falle einer erfassten Reflektion wird die Objekthypothese verworfen, es wird also davon ausgegangen, dass das zuvor als Lichtsignalanlage bzw. Ampel klassifizierte Objekt eben kein solches ist, sondern dass die von der Bildverarbeitungs- und Erkennungssoftware aufgestellte Hypothese über das jeweilige Objekt falsch war. Dies ermöglicht es, die Reflektionen als potentielle Falschinformationen für sogenannte Ampelassistenten auszuschließen und somit die Qualität der erfassten Informationen zu verbessern und Ampeln sowie den von ihnen gezeigten Lichtsignalzustand besser zu erkennen.
-
Da es insbesondere Nachts und bei eingeschränkten Lichtverhältnissen, wie in der Dämmerung, besonders schwierig ist, als Lichtsignalanlagen klassifizierte Objekthypothesen von anderen leuchtenden Objekten wie Reklamen, Rücklichtern oder ähnlichem zu unterscheiden, bietet die Auswertung über die Reflektion einen besonderen Vorteil. Dies gilt insbesondere bei den bereits angesprochenen schlechten Umgebungslichtverhältnissen, da in der Dämmerung und insbesondere in der Nacht eine Detektion des Ampelkastens um die Lichter der Lichtsignalanlage herum schwierig bzw. nicht möglich ist, sodass in solchen Situationen sehr leicht farblich ähnliche Rücklichter, Leuchtreklamen oder dergleichen fehlerhaft als Ampel erkannt werden könnten.
-
Gemäß einer vorteilhaften Weiterbildung des Verfahrens ist dabei so, dass zur Überprüfung auf eine Reflektion das erfasste Objekt der zu prüfenden Objekthypothese in zwei zeitlich beabstandeten Bildaufnahmen erfasst wird, wobei es während einer der Bildaufnahmen beleuchtet und während der anderen nicht beleuchtet wird, wonach anhand der Helligkeitsunterschiede zwischen den Bildaufnahmen die Reflektion ermittelt wird. Die Reflektion wird gemäß dieser besonders günstigen und vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens also direkt durch eine einzige Kamera überprüfbar. Dafür wird in zwei zeitlich aufeinander folgenden Bildern das Objekt der zu überprüfenden Objekthypothese einmal beleuchtet und einmal nicht. Dies kann gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens mittels eines sogenannten Pixelscheinwerfers, wie er so aus dem allgemeinen Stand der Technik bekannt ist, erfolgen. Dieser ist in der Lage, den Bereich des Objekts der zu prüfenden Objekthypothese aktiv zu beleuchten bzw. aus der aktiven Beleuchtung auszusparen. Dies kann in sehr kurzen Zeitintervallen entsprechend erfolgen, sodass beispielsweise unmittelbar hintereinander zwei Bilder, einmal mit einer Beleuchtung durch den Pixelscheinwerfer des Fahrzeugs und ein anderes Mal mit von der Beleuchtung ausgesparter zu überprüfender Objekthypothese, aufgenommen werden können. Durch das Licht des eigenen Fahrzeugs lässt sich so sehr leicht durch einen Vergleich der beiden hintereinander aufgenommen Bilder feststellen, ob es sich um ein aktiv leuchtendes oder ein reflektierendes Objekt handelt. Somit lässt sich vergleichsweise sicher eine Lichtsignalanlage von anderen „Lichtquellen“ unterscheiden, was insbesondere bei den schon mehrfach angesprochenen schlechten bzw. eingeschränkten Umgebungslichtverhältnissen ein entscheidender Vorteil für die zuverlässige Funktion eines Ampelassistenten ist.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben ist.
-
Die einzige beigefügte Figur zeigt ein Szenario mit einem Fahrzeug und einer Lichtsignalanlage zur Erläuterung des erfindungsgemäßen Verfahrens.
-
In der Darstellung der einzigen beigefügten Figur ist ein Fahrzeug 1 mit einer Kamera 2 zur Erfassung von Lichtsignalanlagen gezeigt. In Fahrtrichtung F vor dem Fahrzeug 1 ist eine mit 3 bezeichnete Lichtsignalanlage dargestellt. Diese Lichtsignalanlage 3, welche auch als Ampel bezeichnet wird, soll über die Kamera 2 des Fahrzeugs 1 im Rahmen eines sogenannten Ampelassistenten erfasst werden. Sind nun die Lichtverhältnisse eingeschränkt, beispielsweise in der Dämmerung oder Nachts, ist es schwierig, mittels des Kamerabildes erkannte Objekte eindeutig als Ampel zu klassifizieren, insbesondere dann, wenn aufgrund der Dunkelheit die Peripherie wie beispielsweise ein Ampelkasten oder dergleichen nicht oder nur sehr eingeschränkt zu erkennen ist.
-
Eine in die Kamera 2 integrierte oder mit dieser verbundene Bildverarbeitungseinrichtung 4 kann also für ein Objekt, welches potentiell eine Ampel 3 darstellt, lediglich eine Objekthypothese aufstellen, da nicht auszuschließen ist, dass andere insbesondere Licht reflektierende Objekte, wie beispielsweise Rücklichter mit Rückstrahlern, reflektierende Flächen einer Leuchtreklame oder dergleichen, fälschlicherweise als Ampel 3 detektiert worden sind. Um die als Lichtsignalanlagen 3 klassifizierten Objekthypothesen nun zu überprüfen, werden diese hinsichtlich einer Reflektion überprüft und entsprechend ausgewertet. Das Fahrzeug 1 verfügt dazu über bekannte und übliche sogenannte Pixelscheinwerfer 5, welche über eine Lichtquelle und eine viele einzelne Pixel aufweisende Blende, z.B. eine LCD-Shutter, ein Feld von Mikro-Spiegeln oder Vielzahl von einzelnen diskreten Lichtquellen, beispielsweise in Form von (Mikro-)LED-Feldern, verfügen, und welche in der Lage sind, die Umgebung in Fahrtrichtung F vor dem Fahrzeug 1 mit annähernd beliebiger Geometrie des Lichtscheins entsprechend auszuleuchten. Diesen Pixelscheinwerfer 5 macht man sich nun zu Nutze, indem sehr kurzzeitig in wenigen aufeinander folgenden Frames der Ausleuchtung bzw. für wenige Sekunden oder Sekundenbruchteile die entsprechende Objekthypothese aktiv beleuchtet, oder, wenn sie im aktiv beleuchteten Bereich liegt, nicht beleuchtet wird. Dabei werden mit der Kamera 2 wenigstens zwei Bilder aufgenommen, sodass ein Bild im beleuchteten Zustand der Objekthypothese und ein Bild im unbeleuchteten Zustand der Objekthypothese vorliegt, sodass die vermeintlich selbstleuchtende Lichtsignalanlage 3 also auf einem Bild vom Fahrzeug aktiv angestrahlt wird, und auf einem anderen Bild nicht.
-
Ausgewertet werden nun die Helligkeitsunterschiede zwischen den Bildaufnahmen. Im Extremfall ist es so, dass das als Lichtsignalanlage 3 qualifizierte Objekt gänzlich verschwindet wenn die Beleuchtung ausgeschaltet ist, oder dass dieses seine Helligkeit deutlich reduziert. Dies ist ein Zeichen dafür, dass es sich um ein reflektierendes Objekt handelt und nicht um ein Objekt, welches selbst aktiv beleuchtet ist. Die Objekthypothese, dass es sich um eine aktiv leuchtende Lichtsignalanlage 3 handelt, wäre in diesem Fall also falsch und würde entsprechend verworfen werden, da ein solches reflektierendes Objekt mit sehr großer Wahrscheinlichkeit eben keine Lichtsignalanlage 3 ist, sondern eine Reklame, ein Rücklicht oder dergleichen. Eine tatsächliche Lichtsignalanlage 3, wie sie in der Figur dargestellt ist, würde vielmehr weiter leuchten, sodass sich auf den beiden Vergleichsbildern mit einmal eingeschalteter und einmal abgeschalteter Beleuchtung des Objekts quasi identische Aufnahmen hinsichtlich der Helligkeit ergeben, sodass in diesem Fall sicher auf ein aktiv beleuchtetes Objekt und damit mit hoher Wahrscheinlichkeit auf eine Lichtsignalanlage 3 geschlossen werden kann.
-
Dies führt dazu, dass falsch-positiv erkannte Ampeln 3 des Ampelassistenten entsprechend reduziert werden und sich dadurch eine bessere Funktionsausprägung, insbesondere bei eingeschränkten Umgebungslichtverhältnissen, ergibt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011081428 A1 [0003]
