DE102017203236A1

DE102017203236A1 - Vorrichtung und Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug

Info

Publication number: DE102017203236A1
Application number: DE102017203236.7A
Authority: DE
Inventors: Elias Strigel; Stefan Heinrich
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2018-08-30
Also published as: DE112018000154A5; EP3590069A1; JP2020509452A; WO2018157893A1; KR102637216B1; US20200042808A1; CN110199294A; JP7295020B2; KR20190123720A; US11068729B2

Abstract

Die Erfindung betrifft eine Vorrichtung zum Detektieren einer Ampelphase für ein Kraftfahrzeug, die Vorrichtung (1) umfassend: eine Bildsensoreinrichtung (10), welche dazu ausgebildet ist, ein Abbild einer Ampel aufzunehmen und in Form von Bilddaten bereitzustellen; eine Segmentierungseinrichtung (20), welche dazu ausgebildet ist, mindestens einen Teilbereich des aufgenommenen Abbilds zu definieren und mindestens einem Ampellicht der Ampel zuzuordnen; eine Skalierungseinrichtung (30), welche dazu ausgebildet ist, eine maximale Farbsättigung und/oder eine maximale Helligkeit in dem mindestens einem Teilbereich zu ermitteln; und eine Rechnereinrichtung (40), welche dazu ausgebildet ist, basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit einen Ampelstatus der Ampel zu bestimmten.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft Bilderfassungs- und Bildverarbeitungssysteme in Kraftfahrzeugen.
Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug.
Technischer Hintergrund
Die Bestimmung der aktuell geschalteten Ampelphase, etwa rot, gelb, grün, durch Verfahren der computergestützten optischen Bilderkennung einer zuvor detektierten Ampel im Bereich der Gefahren-und Situationserkennung in Verkehrsszenen wird durch folgende Faktoren erschwert:

i) Auftretendes Blendlicht oder Überbelichtung des aufgenommenen Abbildes;
ii) Reflektionen auf dem Ampelglas im aufgenommenen Abbild, die nicht von der Ampel stammen, etwa verursacht durch Fremdlicht; iii) schlechter Kontrast bei der Aufnahme des Abbildes, etwa beim Abbilden der Ampel mit hellen Hinterrgund (Himmel) direkt an der Haltelinie vor einer Überkopfampel;
iv) steiler Blickwinkel, etwa beim Abbilden der Ampel ebenfalls direkt an der Haltelinie vor einer Überkopfampel; oder v) teilweise Verdeckung des Bereichs des roten, grünen oder gelben Lichts durch den Lampenschirm der Ampel, etwa bei seitlicher Aufnahme, etwa einer am rechten Fahrbahnrad platzierten Ampel bei Halt direkt an der Haltelinie.

Zusammenfassung der Erfindung
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte optische Bilderkennung für Ampelphasen von Verkehrsampeln breitzustellen.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen und Ausführungsformen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren der Zeichnungen zu entnehmen.
Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zum Detektieren einer Ampelphase für ein Kraftfahrzeug.
Die Vorrichtung umfasst eine Bildsensoreinrichtung, welche dazu ausgebildet ist, ein Abbild einer Ampel aufzunehmen und in Form von Bilddaten bereitzustellen.
Die Vorrichgung umfasst ferner eine Segmentierungseinrichtung, welche dazu ausgebildet ist, mindestens einen Teilbereich des aufgenommenen Abbilds zu definieren und mindestens einem Ampellicht der Vielzahl von Ampellichtern der Ampel zuzuordnen.
Die Vorrichgung umfasst ferner eine Skalierungseinrichtung, welche dazu ausgebildet ist, eine maximale Farbsättigung und/oder eine maximale Helligkeit in dem mindestens einem Teilbereich zu ermitteln.
Die Vorrichgung umfasst ferner eine Rechnereinrichtung, welche dazu ausgebildet ist, basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit einen Ampelstatus der Ampel zu bestimmten.
Mit anderen Worten ausgedrückt, die vorliegende Erfindung ermöglicht vorteilhaft, eine Erkennung von Ampeln und ihrer jeweiligen Ampelphase bereitzustellen.
Die vorliegende Erfindung ermöglicht vorteilhaft, auch die Erkennung von Überkopfampel aus einem Fahrzeug direkt an der Haltelinie - d.h. mit unvorteilhaftem, steilen Sichtwinkel auf die Ampel - mit einer Weitwinkeloptik zu gewährleisten.
Vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind den Unteransprüchen zu entnehmen.
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Rechnereinrichtung dazu ausgebildet ist, basierend auf

i) Kontrastwerten des aufgenommenen Abbildes;
ii) vorherrschenden Lichtverhältnissen bei Aufnahme des Abbildes; oder
iii) Leistungsparametern der verwendeten Kamera

i) der ermittelten maximalen Farbsättigung allein;
ii) der ermittelten maximalen Helligkeit allein; oder
iii) sowohl der ermittelten maximalen Farbsättigung als auch der ermittelten maximalen Helligkeit

In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Skalierungseinrichtung dazu ausgebildet ist, die maximale Farbsättigung und die maximale Helligkeit in dem mindestens einem Teilbereich basierend auf einer Auswertung des HSV-Farbraums des Abbildes zu ermitteln. Dabei kann die Auswertung des HSV-Farbraums auch auf den Teilbereich beschränkt sein.
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Segmentierungseinrichtung dazu ausgebildet ist, den Teilbereich des Ampellichtes der Ampel basierend auf einer optischen Bilderkennung von Signallampengläsern der Ampel zuzuordnen.
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Bildsensoreinrichtung ein Weitwinkelobjektiv umfasst.
Der Begriff „Weitwinkelobjectiv“ wie von der vorliegenden Erfindung verwendet, umfasst dabei ein Objektiv mit einem Bildwinkel, der größer ist als der von Normalobjektiven, beispielsweise ein Bildwinkel, der größer ist als 40° oder größer ist als 50° oder größer ist als 60°.
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Bildsensoreinrichtung eine nach oben weisende Blickrichtung aufweist und dazu ausgebildet ist, ein Abbild von einer Überkopfampel aufzunehmen. Dies ermöglicht vorteilhaft, steile Sichtwinkel und die daraus resultierende verringerte Kontrastqualität des aufgenommenen Abbildes zu kompensieren.
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der vorliegenden Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsformen beschriebenen Merkmale der vorliegenden Erfindung.
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der vorliegenden Erfindung vermitteln.
Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der vorliegenden Erfindung.
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Figuren der Zeichnungen. Die dargestellten Elemente der Figuren der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
Figurenliste
Es zeigen:

1: eine schematische Darstellung einer Vorrichtung zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
2: eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
3: eine schematische Darstellung einer segmentierten Überkopfampel gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und
4: eine schematische Darstellung eines Abbildes einer Überkopfampel gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Detaillierte Beschreibung der Ausführungsbeispiele
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist.
Bei dem Kraftfahrzeug bzw. Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug oder um ein Hybridfahrzeug, beispielsweise ein Hybridfahrzeug mit Segelfunktion, beispielsweise ein Motorrad, ein Bus oder ein Lastkraftwagen oder ein Fahrrad.
Als Ampel oder Verkehrsampel wird von der vorliegenden Erfindung ein Signalgeber einer Lichtsignalanlage, LSA, im Straßenverkehr bezeichnet.
Diese optischen Signalgeber in Form von Leuchtsignalen sind nach Form und Farbe verschiedenartigen Verkehrszeichen haben jeweils eine andere Bedeutung und wirken nur entgegen der Fahrtrichtung des zu regelnden Verkehrs.
Fahrerassistenzsysteme benötigen eine Auswertung der jeweiligen Zustände der Ampeln bzw. Verkehrsampel, d.h. eine Evaluieren der Ampelphase, meist per optischer Bilderkennung und -verarbeitung.
Der Begriff „HSV-Farbraum“ wie von der vorliegenden Erfindung verwendet bezeichnet einen Farbraum basierend auf einem Farbmodell, bei welchem man die Farbe basierend auf einem Farbwert, auf Englisch „hue“, der Farbsättigung, auf Englisch „saturation“ und dem Hellwert, auf Englisch „value“ definiert.
In einer Ausführungsform der vorliegenden Erfindung kann auch ein HSL-Farbraum mit der relativen Helligkeit auf Englisch „lightness“, oder ein HSB-Farbraum mit der absoluten Helligkeit auf Englisch „brightness“ oder ein HSI-Farbraum mit der Lichtintensität auf Englisch „intensity“ verwendet werden.
Die 1 zeigt eine schematische Darstellung einer Vorrichtung zum Detektieren einer Ampelphase für ein Kraftfahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Die Vorrichtung 1 umfasst eine Bildsensoreinrichtung 10, eine Segmentierungseinrichtung 20, eine Skalierungseinrichtung 30, und eine Rechnereinrichtung 40.
Die Bildsensoreinrichtung 10 ist dazu ausgebildet, ein Abbild einer Ampel aufzunehmen und in Form von Bilddaten bereitzustellen.
Die Segmentierungseinrichtung 20 ist dazu ausgebildet, einen Teilbereich des aufgenommenen Abbilds zu definieren und mindestens einem Ampellicht der Vielzahl von Ampellichtern der Ampel zuzuordnen.
Die Skalierungseinrichtung 30 ist dazu ausgebildet, eine maximale Farbsättigung und/oder eine maximale Helligkeit in dem Teilbereich zu ermitteln.
Die Rechnereinrichtung 40 ist dazu ausgebildet, basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit einen Ampelstatus der Ampel zu bestimmten.
Die 2 zeigt eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
Das Verfahren zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug umfasst die folgenden Verfahrensschritte:

Als ein erster Verfahrensschritt erfolgt ein Aufnehmen S1 eines Abbilds einer Ampel mittels einer Bildsensoreinrichtung 10 und Bereitstellen des Abbildes in Form von Bilddaten. Die Bilddaten sind beispielsweise binär codierte Daten in elektronischer Form zur Wiedergabe von Bildinformationen.

Als ein zweiter Verfahrensschritt erfolgt ein Definieren S2, auch Segmentieren, mindestens eines Teilbereiches des aufgenommenen Abbilds mittels einer Segmentierungseinrichtung 20 und ein Zuordnen des mindestens einen Teilbereiches zu mindestens einem Ampellicht der Ampel mittels der Segmentierungseinrichtung 20.
Als ein dritter Verfahrensschritt erfolgt ein Ermitteln S3 einer maximalen Farbsättigung und/oder einer maximalen Helligkeit in dem mindestens einen Teilbereich mittels einer Skalierungseinrichtung 30.
Als ein vierter Verfahrensschritt erfolgt ein Bestimmen S4 eines Ampelstatus der Ampel basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit mittels einer Rechnereinrichtung 40.
Die 3 zeigt eine schematische Darstellung einer Auswahl von segmentierten Überkopfampeln zur Erläuterung der Erfindung.
Für die sieben dargestellten Ampeln wurde eine Segmentierung vorgenommen, d.h. Teilbereichen SM1-1, ..., SM7-3 des aufgenommenen Abbilds wurden beispielsweise von der Segmentierungseinrichtung 20 definiert und den Ampellichtern, d.h. rot, gelb, grün, der Ampel zugeordnet.
Die in der 3 dargestellten Ampeln sind dabei beispielsweise segmentierte Überkopfampeln bei abnehmender Distanz und zunehmenden Sichtwinkel, wobei der Sichtwinkel von 1 nach 7 zunimmt.
Die Kreise zeigen die Teilbereiche SM1-1, ..., SM7-3 innerhalb welcher die Skalierungseinrichtung 30 jeweils eine maximale Farbsättigung und eine maximale Helligkeit zu ermittelt, die maximale Helligkeit ist dabei auch mit zunehmenden Sichtwinkel im Gegensatz zur gesamt Helligkeit des Teilbereiches SM1-1, ..., SM7-3 mehr oder weniger konstant, von links nach rechts, von 1 nach 7.
Die 4 zeigt eine schematische Darstellung eines Abbildes einer Überkopfampel gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
Die 4 zeigt ein Ausführungsbeispiel mit erschwerten Bedingungen für die Detektion der Ampelphase.
Wie bereits aus der 4 ersichtlich würde eine Mittelwertbildung für das gelbe Ampellicht für die rechte Ampel zu deutlich geringeren Werten führen im Vergleich zu einer Maximalwertbildung für das rote Ampellicht.
Insbesondere weisen moderne Ampellichter Strahlverteiler bzw. Freiformreflektor, auch Stufenreflektoren, für LED Lichtquellen auf, die bei bestimmten, ungünstigen hohen Sichtwinkeln nur einen geringen Teil der Leuchtfläche beleuchtet erscheinen lassen und somit der segmentierte Teilbereich des Ampellichtes nur teilweise aus dem hohen (beispielsweise > 30°) Sichtwinkeln als beleuchtet erscheint, d.h. mit voller Farbsättigung und voller Helligkeit über die gesamte Fläche des Ampellichtes abgebildet wird.
Wie ebenfalls in der 4 erkennbar, ist jedoch die maximale Helligkeit bzw. der maximale Helligkeitswert im Bereich des jeweiligen Ampellichts kaum vom hohen Sichtwinkel beeinflusst und für das gelbe und das rote Ampellicht der rechten Ampel in etwa gleich.
Dies zeigt vorteilhaft, dass eine Bilddatenauswertung basierend auf der maximalen Farbsättigung und/oder der maximalen Helligkeit weniger störanfällig in Bezug auf Aufnahmen unter unterschiedlichen Sichtwinkeln ist und daher insgesamt zuverlässiger ist.
Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt.
Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.

Claims

Vorrichtung zum Detektieren einer Ampelphase für ein Kraftfahrzeug, die Vorrichtung (1) umfassend: - eine Bildsensoreinrichtung (10), welche dazu ausgebildet ist, ein Abbild einer Ampel aufzunehmen und in Form von Bilddaten bereitzustellen; - eine Segmentierungseinrichtung (20), welche dazu ausgebildet ist, mindestens einen Teilbereich des aufgenommenen Abbilds zu definieren und mindestens einem Ampellicht der Ampel zuzuordnen; - eine Skalierungseinrichtung (30), welche dazu ausgebildet ist, eine maximale Farbsättigung und/oder eine maximale Helligkeit in dem mindestens einem Teilbereich zu ermitteln; und - eine Rechnereinrichtung (40), welche dazu ausgebildet ist, basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit einen Ampelstatus der Ampel zu bestimmten.
Vorrichtung nach Anspruch 1, wobei die Rechnereinrichtung (40) dazu ausgebildet ist, basierend auf i) Kontrastwerten des aufgenommenen Abbildes; ii) vorherrschenden Lichtverhältnissen; iii) Leistungsparametern der verwendeten Kamera den Ampelstatus der Ampel mit Hilfe von i) der ermittelten maximalen Farbsättigung allein; ii) der ermittelten maximalen Helligkeit allein; oder iii) sowohl der ermittelten maximalen Farbsättigung als auch der ermittelten maximalen Helligkeit zu bestimmten.
Vorrichtung nach Anspruch 1 oder 2, wobei die Skalierungseinrichtung (30) dazu ausgebildet ist, die maximale Farbsättigung und die maximale Helligkeit in dem mindestens einen Teilbereich basierend auf einer Auswertung des HSV-Farbraums des Abbildes zu ermitteln.
Vorrichtung nach einem der vorhergehenden Patentansprüche, wobei die Segmentierungseinrichtung (20) dazu ausgebildet ist, den mindestens einen Teilbereich dem mindestens einem Ampellicht der Ampel zuzuordnen basierend auf einer optischen Bilderkennung von Signallampengläsern der Ampel.
Vorrichtung nach einem der vorhergehenden Patentansprüche, wobei die Bildsensoreinrichtung (10) ein Weitwinkelobjektiv umfasst.
Vorrichtung nach einem der vorhergehenden Patentansprüche, wobei die Bildsensoreinrichtung (10) eine nach oben weisende Blickrichtung aufweist und dazu ausgebildet ist, ein Abbild von einer Überkopfampel aufzunehmen.
Kraftfahrzeug umfassend eine Vorrichtung nach einem der vorhergehenden Patentansprüche 1 bis 6.
Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug, das Verfahren umfassend die folgenden Verfahrensschritte: - Aufnehmen (S1) eines Abbilds einer Ampel mittels einer Bildsensoreinrichtung (10) und Bereitstellen des Abbildes in Form von Bilddaten; - Definieren (S2) von mindestens einem Teilbereich des aufgenommenen Abbilds mittels einer Segmentierungseinrichtung (20) und Zuordnen des mindestens einen Teilbereiches zu mindestens einem Ampellicht der Ampel mittels der Segmentierungseinrichtung (20); - Ermitteln (S3) einer maximalen Farbsättigung und einer maximalen Helligkeit innerhalb des mindestens einen Teilbereiches mittels einer Skalierungseinrichtung (30); und - Bestimmen (S4) eines Ampelstatus der Ampel basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit mittels einer Rechnereinrichtung (40).