-
Die Erfindung betrifft ein Verfahren und ein System zum Bewerten von detektierten Merkmalen eines Scheinwerfers eines Kraftfahrzeugs.
-
Ein Scheinwerfer für ein Kraftfahrzeug, der bspw. als Matrixscheinwerfer ausgebildet ist, weist als Pixel eine Vielzahl matrixförmig angeordneter Leuchtdioden auf, die individuell ansteuerbar sind. Dabei ist eine Lichtverteilung des Scheinwerfers durch entsprechende Ansteuerung einer jeweiligen Leuchtdiode einzustellen. Außerdem ist die Lichtverteilung des Scheinwerfers mit einem Sensor zu erfassen.
-
Ein Verfahren und eine Vorrichtung zur Einstellung einer Leuchtcharakteristik eines Scheinwerfers sind in der Druckschrift
DE 10 2012 214 637 A1 beschrieben. Hierbei wird eine Lichtverteilung eines Bereichs eines Bilds eines Umfelds des Scheinwerfers ermittelt und die Leuchtcharakteristik des Scheinwerfers auf Basis der Lichtverteilung und einem hierfür vorgesehenen Vorgabewert bestimmt.
-
Weiterhin ist aus der Druckschrift
EP 2 657 077 A2 ein Verfahren zum Ausgleich eines Ausrichtfehlers eines Scheinwerfers beschrieben. Ein Verfahren zum Justieren und/oder Kalibrieren eines Scheinwerfers eines Fahrzeugs ist aus der Druckschrift
DE 10 2011 109 440 A1 bekannt. In der Druckschrift
DE 10 2014 219 120 A1 ist ein Verfahren zum Bestimmen einer Leuchtweiteneinrichtung eines Scheinwerfers beschrieben.
-
Vor diesem Hintergrund war es eine Aufgabe der vorliegenden Erfindung, eine Leuchteigenschaft eines Scheinwerfers genauer zu analysieren.
-
Diese Aufgabe wird mit dem Verfahren gemäß Patentanspruch 1 sowie mit dem System gemäß Patentanspruch 10 gelöst. Ausgestaltungen des Verfahrens und des Systems ergeben sich aus den abhängigen Patentansprüchen und der Beschreibung.
-
Das erfindungsgemäße Verfahren ist zum Bewerten von detektierten Merkmalen eines Scheinwerfers eines Kraftfahrzeugs vorgesehen, wobei während einer Fahrt des Kraftfahrzeugs mit dem Scheinwerfer eine Szene in einem Verkehrsraum des Kraftfahrzeugs mit mindestens einer spezifischen Lichtverteilung des Scheinwerfers angestrahlt wird. Die angestrahlte Szene wird von einer Kamera des Kraftfahrzeugs in mindestens einem Bild erfasst, wobei bei einem Erfassen des mindestens einen Bilds die mindestens eine spezifische Lichtverteilung des Scheinwerfers herrscht. Danach wird in dem mindestens einen Bild mit der spezifischen Lichtverteilung mindestens ein initiales optisches Merkmal dynamisch gesucht und identifiziert sowie bspw. adaptiv bzw. an eine Helligkeit angepasst erzeugt und analysiert, wobei mindestens ein weiteres optisches Merkmal in einer Umgebung des mindestens einen initialen optischen Merkmals dynamisch extrahiert wird. Die ermittelten optischen Merkmale werden mit einem selbstlernenden Algorithmus bewertet, wobei bspw. eine Entscheidung über eine Qualität bzw. Korrektheit oder Güte der optischen Merkmale getroffen wird.
-
Bei einer Suche des mindestens einen initialen optischen Merkmals werden geometrische Veränderungen der Lichtverteilung des Scheinwerfers über eine Betriebsdauer des Scheinwerfers registriert. Der Scheinwerfer weist als Komponenten in der Regel eine Vielzahl an Leuchtdioden auf, die wie Pixel in einer Matrix angeordnet sind. Optische Eigenschaften, bspw. eine Helligkeit und/oder Farbe, jeder dieser Komponenten verursacht für die Lichtverteilung eine Geometrie. Diese Geometrie der Lichtverteilung kann sich bereits dann ändern, wenn sich eine optische Eigenschaft mindestens einer Komponente verändert. Die Veränderung der Geometrie der Lichtverteilung ist zeitabhängig registrierbar, da sich optische Eigenschaften von Komponenten dynamisch verändern können. Weiterhin ist im Rahmen des Verfahrens möglich, die optischen Merkmale eines Bilds bei einer jeweiligen Lichtverteilung adaptiv bzw. an optische Eigenschaften der Leuchtdioden angepasst zu erzeugen.
-
In Ausgestaltung werden mehrere Bilder mit unterschiedlichen spezifischen Lichtverteilungen des Scheinwerfers bereitgestellt und mit dem selbstlernenden Algorithmus bewertet.
-
Aus dem mindestens einen Bild wird jeweils ein Teilbild bereitgestellt, bspw. ausgeschnitten, wobei das mindestens eine Teilbild normiert wird, wobei die optischen Merkmale aus dem mindestens einen normierten Teilbild extrahiert werden.
-
Das mindestens eine in der Regel initiale optische Merkmal wird als Eckpunkt in dem mindestens einen Bild mit der spezifischen Lichtverteilung detektiert.
-
Außerdem ist es möglich, dass die spezifische Lichtverteilung des mindestens einen Bilds geometrisch eingeordnet wird, wobei die Geometrie der Lichtverteilung von einem jeweiligen Zustand der optischen Eigenschaften der bspw. als Leuchtdioden ausgebildeten Komponenten abhängig ist.
-
Das Verfahren ist bspw. zum Plausibilisieren von detektierten Merkmalen einer Lichtverteilung eines Scheinwerfers eines Kraftfahrzeugs zu verwenden. Außerdem wird in dem mindestens einen Teilbild eine lokale Umgebung dieses mindestens einen initialen optischen Merkmals adaptiv erzeugt und analysiert, wobei das mindestens eine weitere optische Merkmal aus der lokalen Umgebung dynamisch extrahiert wird. Auf Grundlage der ermittelten optischen Merkmale wird in der lokalen Umgebung mit einem angelernten Algorithmus adaptiv überprüft, ob die optischen Merkmale in der lokalen Umgebung plausibel angeordnet sind.
-
Somit wird die Szene mit dem Scheinwerfer in dem Verkehrsraum während der Fahrt des Kraftfahrzeugs angestrahlt und/oder beleuchtet, wobei die angestrahlte und/oder beleuchtete Szene von der Kamera des Kraftfahrzeugs in dem mindestens einen Bild erfasst wird.
-
Das mindestens eine weitere optische Merkmal wird aus der lokalen Umgebung dynamisch extrahiert und in möglicher Ausgestaltung dessen Lage relativ zu dem mindestens einen initialen optischen Merkmal ermittelt, wobei auf Grundlage der ermittelten Lage der optischen Merkmale von dem selbstlernenden Algorithmus in der lokalen Umgebung adaptiv überprüft wird, ob die optischen Merkmale in der lokalen Umgebung relativ zueinander eine richtige Lage aufweisen und/oder zueinander plausibel angeordnet sind.
-
Durch die beschriebenen optischen Merkmale, wobei es sich üblicherweise um Bildpunkte bzw. Pixel handelt, die aus der Lichtverteilung des Scheinwerfers resultieren, wird eine Leuchteigenschaft des Scheinwerfers beschrieben. Durch eine im Rahmen des Verfahrens ermittelte relative Lage der optischen Merkmale zueinander, d. h. des mindestens einen initialen optischen Merkmals relativ zu dem mindestens einen weiteren optischen Merkmal und/oder der Lage weiterer optischer Merkmale in der Umgebung des mindestens einen initialen optischen Merkmals relativ zueinander, ist die Leuchteigenschaft des Scheinwerfers zu beschreiben.
-
Das mindestens eine optische Merkmal, in Ausgestaltung das mindestens eine initiale optische Merkmal, wird an einer Hell-Dunkel-Grenze des mindestens einen erfassten Bilds bestimmt, bspw. extrahiert und identifiziert. Die weiteren optischen Merkmale sind bspw. ebenfalls an einer Hell-Dunkel-Grenze zu bestimmen. Weiterhin ist es möglich, dass das mindestens eine optische Merkmal mit einem Histogramm ermittelt wird. Alternativ oder ergänzend wird das mindestens eine optische Merkmal anhand von Grauwerten des mindestens einen erfassten Bilds ermittelt.
-
In der Regel wird mindestens ein als Punkt bzw. Bildpunkt oder Pixel ausgebildetes optisches Merkmal bestimmt.
-
Das Verfahren wird bei bzw. während einer Fahrt des Kraftfahrzeugs durchgeführt, wobei mit dem Scheinwerfer als Szene eine Anordnung in einer Umgebung des Kraftfahrzeugs im Verkehrsraum, bspw. mindestens ein Verkehrsteilnehmer, angestrahlt und/oder beleuchtet wird. Die Szene und/oder Anordnung wird hierbei mit mindestens einer vorgesehenen spezifischen Lichtverteilung des Scheinwerfers angestrahlt, wobei die angestrahlte Szene von der Kamera in dem mindestens einen Bild erfasst wird.
-
Das erfindungsgemäße System ist zum Bewerten von detektierten Merkmalen eines Scheinwerfers eines Kraftfahrzeugs ausgebildet und umfasst eine Kamera und eine Recheneinheit, wobei mit dem Scheinwerfer eine Szene in einem Verkehrsraum des Kraftfahrzeugs mit mindestens einer spezifischen Lichtverteilung anzustrahlen und/oder zu beleuchten ist. Die Kamera ist dazu ausgebildet, die angestrahlte und/oder beleuchtete Szene in mindestens einem Bild mit der dabei herrschenden, mindestens einen spezifischen Lichtverteilung des Scheinwerfers zu erfassen. Die Recheneinheit ist dazu ausgebildet, in dem mindestens einen Bild mindestens ein initiales optisches Merkmal dynamisch zu suchen und zu identifizieren, dieses mindestens eine initiale optische Merkmal bspw. adaptiv bzw. an optische Eigenschaften von Leuchtdioden als Komponenten des Scheinwerfers angepasst zu erzeugen und zu analysieren und mindestens ein weiteres optisches Merkmal in einer bspw. lokalen Umgebung des mindestens einen initialen optischen Merkmals dynamisch zu extrahieren. Die ermittelten optischen Merkmale sind mit der Recheneinheit unter Durchführung eines selbstlernenden Algorithmus zu bewerten.
-
Die Recheneinheit ist weiterhin dazu ausgebildet, mindestens ein optisches Merkmal mit einem Kantendetektor, Eckendetektor oder Ähnlichem dynamisch zu suchen und zu identifizieren.
-
Durch Verwenden des von der Kamera, üblicherweise einer Fahrerassistenzkamera, aufgenommenen mindestens einen Bilds im Rahmen des voranstehend beschriebenen Verfahrens wird der Scheinwerfer im Verkehrsraum und somit während einer Fahrt des Kraftfahrzeugs betriebsbegleitend beobachtet und analysiert, wodurch Rückschlüsse auf eine korrekte Funktionsweise des Scheinwerfers zu ziehen sind. Eine Prüfung des Scheinwerfers im Verkehrsraum wird hierbei durch den Einsatz des selbstlernenden Algorithmus ermöglicht. Hierbei dient eine Suche des mindestens einen initialen optischen Merkmals, üblicherweise mindestens eines initialen Punkts einer Erfassung geometrischer Veränderungen mindestens eines als Pixel ausgebildeten optischen Merkmals des Scheinwerfers. Die lokale Umgebung um das mindestens eine initiale optische Merkmal wird dem selbstlernenden bzw. angelernten Algorithmus bereitgestellt, mit dem eine Entscheidung über die Funktionsweise des Scheinwerfers ermittelt und/oder getroffen wird.
-
Das vorgestellte Verfahren unterscheidet sich von einer alternativen Vorgehensweise, bei der vorgesehen sein kann, einen Sollzustand des Bilds mit einer korrekten Lichtverteilung in einer definierten Umgebung abzuspeichern und mit einem aktuell aufgenommenen Bild zu vergleichen. Im Gegensatz hierzu ist es bei dem vorgestellten Verfahren jedoch möglich, den Scheinwerfer unabhängig von einem etwaigen Sollzustand im Verkehrsraum zu überprüfen und bspw. geometrische Veränderungen, die etwa durch eine Verdrehung des Scheinwerfers entstehen können, und lichttechnische Veränderungen zu modellieren.
-
Das Verfahren ist bspw. auch für Scheinwerfer mit einer großen Anzahl von mehreren 1000, bspw. 10000, Pixeln als optische Merkmale geeignet, da bei Durchführung des Verfahrens nicht erforderlich ist, jedes Pixel einzeln elektronisch zu überwachen und darauf basierend eine korrekte Funktionsweise der Leuchtdioden des Scheinwerfers zu kontrollieren. Mit dem Verfahren können etwaige Defekte des Scheinwerfers auch dann diagnostiziert werden, wenn dieser die besagte große Anzahl an Pixeln aufweist.
-
Bei einer Umsetzung des Verfahrens wird mit einer speziellen Filterkette als das mindestens eine initiale optische Merkmal ein sogenannter Eckpunkt und/oder H0V0-Punkt aus dem mindestens einen Bild mit der spezifischen Lichtverteilung dynamisch extrahiert. Ein Eckpunkt als initiales optisches Merkmal ist bspw. an einem kontrastreichen Übergang des mindestens einen Bilds angeordnet. Bei einem H0V0-Punkt handelt es sich um einen Ursprung (0/0) eines Koordinatensystems mit einer horizontal orientierten Abszisse (H) sowie einer vertikal orientierten Ordinate (V). Der Eckpunkt und/oder H0V0-Punkt und somit das mindestens eine initiale optische Merkmal ist bzw. sind bspw. an der Hell-Dunkel-Grenze des Scheinwerfers angeordnet. Mit dem Verfahren ist die Lage des mindestens einen initialen Merkmals dynamisch und adaptiv zu überprüfen.
-
Sobald das mindestens eine initiale Merkmal im Rahmen des Verfahrens durch Nutzung des selbstlerndenden Algorithmus detektiert ist, wird es für eine lokale Betrachtung des mindestens einen von der Kamera erfassten Bilds verwendet. Dabei ist es möglich, dass das mindestens eine initiale optische Merkmal als zentraler Punkt der zu untersuchenden lokalen Umgebung ausgebildet ist. Für diese lokale Umgebung als Ausschnitt des Bilds wird eine lokale Betrachtung des mindestens einen Bilds durchgeführt. Aus der lokalen Umgebung als Ausschnitt des mindestens einen Bilds werden weiterhin optische Merkmale dynamisch extrahiert, wobei diese weiteren optischen Merkmale bspw. die Lage des ursprünglichen bzw. initialen extrahierten optischen Merkmals innerhalb der von der Kamera betrachteten und von dem Scheinwerfer beleuchteten Szene widerspiegeln. Hierdurch ergibt sich unter anderem die Möglichkeit, die Lage jedes im Rahmen des Verfahrens in der lokalen Umgebung extrahierten und/oder detektierten optischen Merkmals innerhalb der Szene unter Umsetzung des selbstlernenden Algorithmus einzuordnen, adaptiv zu überprüfen sowie hinsichtlich der Qualität bzw. Güte zu bewerten.
-
Mit dem selbstlernenden Algorithmus sind die optischen Merkmale des Scheinwerfers bei unterschiedlichen Lichtverteilungen zu bewerten. Der Scheinwerfer ist bspw. als Matrixscheinwerfer ausgebildet, der eine Vielzahl von Leuchtdioden (LEDs) als Komponenten umfasst, die wie Pixel einer Matrix angeordnet sind. Zum Bewerten des Scheinwerfers wird das von ihm ausgestrahlte Licht erfasst und eine Reflexion des Lichts in der Szene von der Kamera erfasst und ausgewertet.
-
Bei dem Verfahren, das mit Hilfe einer Kamera eines Assistenzsystems des Kraftfahrzeugs durchführbar ist, wird das mindestens eine von der Kamera erfasste Bild mit der spezifischen Lichtverteilung bereitgestellt und mit dem selbstlernenden Algorithmus bewertet, wobei überprüft wird, ob eine typische und signifikante Lage der optischen Merkmale relativ zueinander bei einer jeweiligen spezifischen Lichtverteilung in Ordnung ist oder nicht.
-
Mit dem Verfahren ist insgesamt eine Bewertung von detektierten Merkmalen bei mindestens einer spezifischen Lichtverteilung eines Scheinwerfers durchzuführen. Dabei wird in Ausgestaltung mindestens ein dynamisches Merkmal innerhalb der lokalen Umgebung initialisiert, auf dem die weiteren Merkmale basieren. Dabei ist möglich, aufgrund einer relativen Lage der Merkmale zueinander das mindestens eine initiale Merkmal zu plausibilisieren. Hierbei ist es weiterhin möglich, innerhalb der Umgebung so viele Merkmale wie erforderlich zu ermitteln.
-
Beim Bewerten der mindestens einen spezifischen Lichtverteilung des Scheinwerfers ist anhand von Pixeln als optische Merkmale die Qualität des Scheinwerfers mit dem angelernten Algorithmus zu bestimmen. Außerdem ist anhand des Eckpunkts und/oder Ursprungs bzw. H0V0-Punkts des Koordinatensystems als das mindestens eine optische Merkmal eine Lage des Scheinwerfers zu ermitteln. Außerdem wird die lokale Umgebung um das mindestens eine initiale optische Merkmal herum als zu betrachtende Region definiert, wobei innerhalb dieser Region Histogramme und/oder Grauwerte untersucht werden. Dabei gibt ein derartiges Histogramm unterschiedliche Werte für eine Helligkeit und/oder von Gradienten in der lokalen Umgebung der optischen Merkmale an. Üblicherweise befindet sich die lokale Umgebung in dem mindestens einen Teilbild.
-
Hierzu wird in Ausgestaltung in einer Trainingsphase der selbstlernende Algorithmus angewandt, durch den vorgegeben wird, wie das Bild um das mindestens eine initiale optische Merkmal, üblicherweise um den mindestens einen initialen Punkt, herum bei der mindestens einen spezifischen Lichtverteilung auszusehen hat und wie die lokale Umgebung für mindestens ein weiteres optisches Merkmal festzulegen ist.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird unter Bezugnahme auf die Zeichnungen schematisch und ausführlich beschrieben.
-
1 zeigt ein Diagramm zu einer ersten Ausführungsform des erfindungsgemäßen Verfahrens.
-
2 zeigt in schematischer Darstellung Beispiele für Bilder, die bei mindestens einer Ausführungsform des erfindungsgemäßen Verfahrens verwendet werden.
-
3 zeigt ein Diagramm zu einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens.
-
4 zeigt ein Diagramm zu einer dritten Ausführungsform des erfindungsgemäßen Verfahrens.
-
5 zeigt ein Diagramm zu einer vierten Ausführungsform des erfindungsgemäßen Verfahrens.
-
6 zeigt in schematischer Darstellung Beispiele für Bilder, die bei mindestens einer Ausführungsform des erfindungsgemäßen Verfahrens verwendet werden.
-
7 zeigt in schematischer Darstellung eine Ausführungsform des erfindungsgemäßen Systems, das bei mindestens einer Ausführungsform des erfindungsgemäßen Verfahrens verwendet wird.
-
Die Figuren werden zusammenhängend und übergreifend beschrieben. Gleichen Komponenten bzw. Aspekten sind dieselben Bezugsziffern zugeordnet.
-
Die erste Ausführungsform des Verfahrens wird anhand des Diagramms aus 1 dargestellt, wobei dieses Diagramm einen Arbeitsablauf und/oder ein Funktionsprinzip eines selbstlernenden Algorithmus zeigt. Dieses Diagramm umfasst einen ersten Abschnitt 60, bei dem eine Problemformulierung durchgeführt wird. In einem zweiten Abschnitt 62 wird für den selbstlernenden Algorithmus eine Trainingsphase durchgeführt. Ein abschließender dritter Abschnitt 64 des Diagramms betrifft eine Arbeitsphase.
-
Bei der im ersten Abschnitt 60 durchzuführenden Problemformulierung wird in einem ersten Schritt 66 mit dem selbstlernenden Algorithmus eine Abstraktion eines realen Problems in ein Klassifikationsproblem durchgeführt. Bezüglich einer automatischen Einstellung eines Scheinwerfers, der eine Vielzahl an Pixeln bzw. Leuchtelementen zur Erzeugung von Licht aufweist, und/oder der spezifischen Lichtverteilung dieses Scheinwerfers wird hinsichtlich einer ersten Klassifikation bzw. Klassifizierung zum Bereitstellen einer ersten Klasse mit dem selbstlernenden Algorithmus ermittelt, ob optische Merkmale, bspw. Pixel, auf mindestens einem Bild, das von einer Kamera von dem Scheinwerfer bei einer spezifischen Lichtverteilung aufgenommen wird, in Ordnung sind. Weiterhin wird bei einer zweiten Klassifikation zum Bereitstellen einer zweiten Klasse ermittelt, dass nicht alle Pixel in Ordnung sind. Bei einer optionalen weiteren Klassifizierung wird für jedes Pixel eine eigene Klasse ermittelt und/oder definiert.
-
In einem zweiten Schritt 68 werden mit dem selbstlernenden Algorithmus optische Merkmale definiert, auf denen mindestens eine genannte Klassifikation basieren soll. Hierbei werden mit dem Scheinwerfer mindestens zwei Lichtverteilungen, bspw. eine erste Lichtverteilung und eine zweite Lichtverteilung, erzeugt und eine Szene angestrahlt. Dabei wird für jede Lichtverteilung mit einer Kamera ein Bild von der Szene aufgenommen. In den mindestens zwei Bildern mit unterschiedlichen spezifischen Lichtverteilungen wird mindestens ein charakteristischer Eckpunkt als initiales optisches Merkmal detektiert, wobei üblicherweise für jede Lichtverteilung in jedem Bild mehrere derartige charakteristische Eckpunkte zu detektieren sind. Daraus werden die jeweiligen Lichtverteilungen des Scheinwerfers geometrisch eingeschätzt. Hierbei ist es vorgesehen, dass für jede Lichtverteilung des Scheinwerfers ein Bild der beleuchteten Szene erzeugt wird. Weiterhin wird aus sämtlichen Lichtverteilungen bzw. Bildern der Kamera mindestens ein Teilbild bzw. Subbild ausgeschnitten. Jedes dieser aus dem jeweiligen Bild ausgeschnittenen Teilbilder wird nachfolgend normiert. Außerdem wird aus jedem normierten Teilbild ein endgültiges optisches Merkmal extrahiert, wobei eine dabei durchzuführende Extraktion durch einen Anwender zu definieren ist. Dabei ist möglich, dass ein gesamtes normiertes Teilbild verwendet wird. Alternativ oder ergänzend ist möglich, aus jeweils einem Teilbild Histogramme oder weitere Grenzwert basierte Merkmale zu extrahieren.
-
In einem dritten Schritt 70 des ersten Abschnittes 60 wird überprüft, ob ein Messverfahren existiert, mit dem die optischen Merkmale und die Klassenzugehörigkeit bestimmt werden kann. Falls sich bei dem dritten Schritt 70 ergibt, dass kein derartiges Messverfahren existiert, wird das Verfahren mi dem ersten oder zweiten Schritt 66, 68 durchgeführt.
-
Falls ein derartiges Messverfahren doch existiert, wird das Verfahren mit einem vierten Schritt 72 im zweiten Abschnitt 62 fortgesetzt. Bei diesem vierten Schritt 72 werden für den selbstlernenden Algorithmus auf Grundlage von Messungen Trainingsdaten und/oder Testdaten generiert und somit erzeugt. Dabei umfassen derartige Trainingsdaten und Testdaten Trainingspunkte bzw. Testpunkte, die wiederum ein Paar (X, c) bilden. Dabei steht X für die Menge der extrahierten optischen Merkmale und c für die Klasse, die dieser Menge X zugeordnet ist.
-
Danach wird in einem fünften Schritt 74 der selbstlernende Algorithmus auf Basis der Trainingsdaten, unter Beurteilung einer Klassifikationsfähigkeit und auf Grundlage der Testdaten angelernt. Dabei werden dem selbstlernenden Algorithmus während des Anlernens Trainingsdaten präsentiert. Auf Grundlage der Trainingsdaten wird von dem selbstlernenden Algorithmus eine Entscheidungsregel gelernt, die bspw. definiert, wie ein Merkmal X aussehen muss, um zu einer bestimmten Klasse c zu gehören. Weiterhin wird anhand der Testdaten während des Anlernens die Verallgemeinerungsfähigkeit des angelernten Modells geprüft, wobei diese Verallgemeinerungsfähigkeit angibt, ob mit dem selbstlernenden Algorithmus bereits beurteilt werden kann, ob die Lichtverteilung als in Ordnung oder als nicht in Ordnung klassifiziert werden kann. Hier liefert der Algorithmus auf Basis der Menge der extrahierten optischen Merkmale X eines Trainingspunktes (Testpunkt) eine propagierte Klasse cist. Diese propagierte Klasse cist wird mit einer definierten Klasse csoll verglichen. Falls cist = csoll, so wurde der Trainingspunkt (Testpunkt) korrekt klassifiziert. Falls diese beiden Werte verschieden sind, wurde der Trainingspunkte (Testpunkt) falsch klassifiziert. Um die Güte des angelernten Modells zu beurteilen, wird der Fehler über alle Trainingspunkte und TEstpunkge beobachtet und asl statistisches Gütemaß verwendet.
-
In einem sechsten Schritt 76 wird mit dem selbstlernenden Algorithmus überprüft, ob eine Klassifikationsgenauigkeit erreicht ist. Eine Beurteilung hierzu wird anhand von statistischen Gütemaßen, z. B. anhand von Klassifikationsfehlern auf Grundlage von Test- und Trainingsdaten, durchgeführt.
-
Falls die Klassifikationsgenauigkeit im sechsten Schritt 76 nicht erreicht ist, wird das Verfahren beim vierten oder fünften Schritt 72, 74 durchgeführt.
-
Falls die Klassifikationsgenauigkeit jedoch erreicht ist, wird das Verfahren im dritten Abschnitt 64, der die Arbeitsphase beschreibt, mit einem siebten Schritt 78 fortgesetzt. Bei diesem siebten Schritt 78 wird der selbstlernende und/oder angelernte Algorithmus als Entscheidungsregel für ein formuliertes Problem verwendet. Außerdem wird in einem achten Schritt 80 mindestens ein optisches Merkmal zur Problemformulierung extrahiert.
-
Danach wird von dem selbstlernenden Algorithmus in einem neunten Schritt 82 ein Arbeitszyklus durchgeführt. Dieser umfasst einen Eingang bzw. Empfang mindestens eines optischen Merkmals in einem ersten Teilschritt 82a. In einem zweiten Teilschritt 82b wird der selbstlernende Algorithmus als Entscheidungsregel für dieses mindestens eine optische Merkmal angewendet, wobei eine Klassenzugehörigkeit des mindestens einen optischen Merkmals ausgegeben wird. Bei dem Arbeitszyklus ist unter anderem zu berücksichtigen, dass für den Fall, dass hierbei erzielte Ergebnisse in einem übergeordneten Prozess unzureichend sind, das Verfahren bei der Problemformulierung (erster Abschnitt 60) oder in der Trainingsphase (zweiter Abschnitt 62) fortgesetzt wird. Üblicherweise werden für die automatische Einstellung des Scheinwerfers unter Plausibilsierung der Lichtverteilung des Scheinwerfers bei einer Erprobung alle erfassten Daten über optische Merkmale ermittelt und gespeichert.
-
Hierbei werden für den Scheinwerfer mindestens zwei spezifische Lichtverteilungen erzeugt und eine Szene angestrahlt und/oder beleuchtet, wobei von der Kamera für jede jeweils herrschende Lichtverteilung des Scheinwerfers ein Bild aufgenommen wird. Bei Durchführung einer Verarbeitung der Bilder werden in jedem Bild und somit für jede spezifische Lichtverteilung zwei charakteristische optische Merkmale und somit Punkte detektiert. Außerdem wird eine jeweilige spezifische Lichtverteilung geometrisch eingeordnet. Nachfolgend werden die optischen Merkmale extrahiert. Der angelernte bzw. selbstlernende Algorithmus liefert eine Entscheidung darüber, inwiefern ein optisches Merkmal, das von einem jeweiligen Pixel des Scheinwerfers erzeugt wird, korrekt ist und/oder eine bestimmte definierbare Güte aufweist.
-
Im abschließenden zehnten Schritt 84 wird die Klassenzugehörigkeit in dem übergeordneten Prozess verarbeitet. Dabei wird von dem selbstlernenden Algorithmus ermittelt, welche Pixel als Lichtelemente des Scheinwerfers einen Defekt aufweisen oder nicht. Eine Information über bekannte defekte Pixel wird bspw. dem Fahrer über eine Fehlermeldung bereitgestellt. Außerdem ist es möglich, diese Information bei einer Umsetzung einer Lichtfunktion bei einer Steuerung des Scheinwerfers zu berücksichtigen.
-
Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens, bspw. bei der voranstehend beschriebenen ersten Ausführungsform und/oder einer anhand der 3 bis 5 dargestellten Ausführungsform, wird mit dem selbstlernenden Algorithmus eine Qualitätskontrolle einer Lichtverteilung eines als Matrix-Scheinwerfer ausgebildeten Scheinwerfers durchgeführt.
-
Dabei wird in 2a von einem ersten ursprünglichen Bild 40 ausgegangen, das von einer Kamera von einer Szene gemacht wird, wenn diese Szene mit einer spezifischen Lichtverteilung des Scheinwerfers angestrahlt wird. Diese spezifische Lichtverteilung wird zur Erzeugung charakteristischer PUNKTE IN ZWEI Lichtverteilungen zerlegt und mit der Kamera in den Bildern 40, 40b erfasst.
-
Dieses ursprüngliche Bild 40 wird in ein erstes, als Teilbild ausgebildetes Bild 40a und in ein zweites, als Teilbild ausgebildetes Bild 40b zerlegt. Dabei werden ausgehend von dem Bild 40 in einem ersten der beiden Bilder 40a, 40b Pixel der Kamera und in einem zweiten der beiden Bilder 40a, 40b Schwarz-Weiß-Pixel der Lichtverteilung zugeordnet.
-
Danach werden aus beiden Bildern 40a, 40b jeweils zwei initiale optische Merkmale 42a, 42b, 42c, 42d, hier bspw. optische Punkte bzw. Pixel, extrahiert. In Ausgestaltung werden hier Grauwerte eines Merkmals 42a, 42b, 42c, 42d, bspw. eines Punkts bzw. Pixels in einer Umgebung eines lokalen Histogramms 46 ausgewählt. Ein Abgriff der Daten um die dynamischen initialen Merkmale 42a, 42b, 42c, 42d, wird problemstellungsspezifisch durchgeführt und ist Ergebnis einer Lernphase des selbstlernenden Algorithmus. In einer Arbeitsphase 64 ist dieser Abgriff der Daten je nach Problemstellung eindeutig definiert. (Details hierzu gehen aus 1 hervor.) Weiterhin werden in einer Umgebung der initialen Merkmale 42a, 42b, 42c, 42d, mehrere, hier als Punkte ausgebildete optische Merkmale 44 aus dem ursprünglichen Bild 40 extrahiert. Eine Bewertung dieser extrahierten optischen Merkmale 44 wird mit dem Histogramm 46 und/oder dem angelernten Algorithmus durchgeführt, wobei hier ermittelt wird, dass die Lichtverteilung in Ordnung ist.
-
Bei dem ursprünglichen Bild 48, das von einer Kamera von einer Szene gemacht wird, wenn eine spezifische Lichtverteilung des Scheinwerfers herrscht, ist in dem Diagramm aus 2b vorgesehen, dass die spezifische Lichtverteilung einen Defekt aufweist. Diesbezüglich wird, wie am Beispiel des ursprünglichen Bilds aus 2a gezeigt, eine Zerlegung in Bilder 40a, 40b bzw. Teilbilder durchgeführt, in denen initiale Merkmale abgegriffen werden, woraus dann in einer Umgebung der initialen Merkmale optische Merkmale extrahiert werden. Hierbei wird in diesem Fall festgestellt, dass die Merkmale in dem ursprünglichen Bild 48 nicht in Ordnung sind.
-
Die zweite Ausführungsform des Verfahrens ist anhand des Diagramms aus 3 dargestellt. Hierbei wird in einem ersten Schritt 20 in dem Bild 40, 48 mindestens von dem Scheinwerfer eine spezielle Lichtverteilung, in der Regel mehrere spezielle Lichtverteilungen hintereinander erzeugt, eine Szene angestrahlt und davon ein Bild 40, 48 gemacht wird, wobei in dem Bild 40, 48 mehrere initiale optische Merkmale 42a, 42b, 42c, 42d bspw. dynamisch gefunden werden. Ausgehend von diesen initialen optischen Merkmalen 42a, 42b, 42c, 42d, wird in einem zweiten Schritt 22 um die initialen optischen Merkmale 42a, 42b, 42c, 42d herum eine lokale Umgebung aufgespannt. Aus dieser lokalen Umgebung werden die weiteren optischen Merkmale 44 extrahiert. In einem dritten Schritt 24 werden die dynamisch bereitgestellten optischen Merkmale 42a, 42b, 42c, 42d, 44 hinsichtlich einer relativen Lage zueinander innerhalb der lokalen Umgebung des Bilds 40, 48 bewertet. Daraus wird eine Qualität einer Lichtverteilung des Scheinwerfers ermittelt und beurteilt, ob der Scheinwerfer als Komponenten Segmente, bspw. Lichtsegmente, umfasst, die unter Berücksichtigung des angelernten Algorithmus in Ordnung oder nicht in Ordnung sind.
-
Bei der dritten Ausführungsform des Verfahrens, die anhand des Diagramms aus 4 dargestellt ist, wird in einem ersten Schritt 26 in dem Bild 40, 48 aus 2 das mindestens eine initiale optische Merkmal 42a, 42b, 42c, 42d, hier ein charakteristisches optisches Merkmal 42a, 42b, 42c, 42d, dynamisch gefunden. Ausgehend von dem mindestens einen initialen optischen Merkmal 42a, 42b, 42c, 42d wird in einem zweiten Schritt 28 dessen lokale Umgebung betrachtet. Aus dieser lokalen Umgebung werden die weiteren optischen Merkmale 44 extrahiert. In einem dritten Schritt 30 werden die dynamisch bereitgestellten optischen Merkmale 42a, 42b, 42c, 42d, 44 hinsichtlich einer relativen Lage zueinander innerhalb der lokalen Umgebung des Bilds 40, 48 bewertet. Auf Grundlage einer eventuellen Abweichung der aktuell erfassten Lage der optischen Merkmale 42a, 42b, 42c, 42d, 44 von einer hierfür laut einem Soll-Muster vorgegebenen Lage wird ein Maß für eine Qualität bzw. Güte der Lichtverteilung des Scheinwerfers ermittelt.
-
Bei der mit dem Diagramm aus 5 gezeigten vierten Ausführungsform des Verfahrens wird in einem ersten Schritt 32 das Bild 40, 48 aus 2 einer Filterkette bereitgestellt, die dazu ausgebildet ist, mindestens ein als Bildpunkt ausgebildetes initiales optisches Merkmal 42a, 42b, 42c, 42d an einer Hell-Dunkel-Grenze des Bilds 40, 48 dynamisch zu detektieren. Dabei ist dieses mindestens eine initiale optische Merkmal 42a, 42b, 42c, 42d auch als H0V0-Punkt zu bezeichnen und/oder ausgebildet. In einem nachfolgenden zweiten Schritt 34 wird die ausgehend von dem mindestens einen initialen Merkmal 42a, 42b, 42c, 42d aufgespannte lokale Umgebung betrachtet. Dabei werden aus der lokalen Umgebung weitere optische Merkmale 44 extrahiert. In einem dritten Schritt 36 werden die dynamisch bereitgestellten optischen Merkmale 42a, 42b, 42c, 42d bewertet. Auf Grundlage dessen wird ermittelt, ob das mindestens eine als H0V0-Punkt ausgebildete initiale optische Merkmal 42a, 42b, 42c, 42d an einem korrekten hierfür vorgesehenen Ort detektiert worden ist.
-
Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird eine Qualitätskontrolle einer Lichtverteilung eines als Matrix-Scheinwerfer ausgebildeten Scheinwerfers durchgeführt. Dabei wird in 6a von einem ersten Bild 60a, hier einem Rohbild, ausgegangen, das von einer Kamera von einer Szene im Verkehrsraum bzw. Straßenverkehr gemacht wird, die von dem Scheinwerfer mit einer spezifischen Lichtverteilung angestrahlt wird. Dieses ursprüngliche Bild 60a weist eine erste spezifische Lichtverteilung des Scheinwerfers auf.
-
Danach wird das Bild 60a mit einem Kantendetektor, Eckendetektor oder ähnlichem analysiert, wobei aus dem ersten Bild 60a ein bearbeitetes zweites Bild 60b mit der ersten spezifischen Lichtverteilung bereitgestellt wird, in dem von dem Kantendetektor, Eckendetektor oder Ähnlichem mindestens ein initiales optisches Merkmal 62, hier ein H0V0-Punkt bzw. Ursprung eines Koordinatensystems detektiert wird. Für das zweite Bild 60b mit dem mindestens einen optischen Merkmal 62 wird eine Merkmalsextraktion durchgeführt, wobei ausgehend von dem zweiten Bild 60b ein drittes Bild 60c bereitgestellt wird, das ebenfalls das mindestens eine, nunmehr extrahierte optische Merkmal 62 aufweist. Für dieses mindestens eine optische Merkmal 62 werden mit und/oder von dem selbstlernenden Algorithmus dessen Qualität und Lage überprüft, wobei hierbei ermittelt wird, dass dessen Qualität und Lage in Ordnung sind.
-
Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird in 6b von einem ersten ursprünglichen Bild 64a, hier einem Rohbild, einer Szene ausgegangen, das von einer Kamera gemacht wird, wenn die Szene von dem Scheinwerfer mit einer spezifischen Lichtverteilung beleuchtet wird. Dieses ursprüngliche Bild 64a weist eine erste Lichtverteilung des Scheinwerfers auf.
-
Danach wird das Bild 64a z. B. mit einem Kantendetektor analysiert, wobei aus dem ersten Bild 64a ein bearbeitetes zweites Bild 64b mit einer ersten Lichtverteilung bereitgestellt wird, in dem von dem Kantendetektor mindestens ein initiales optisches Merkmal 66, hier ein H0V0-Punkt bzw. Ursprung eines Koordinatensystems detektiert wird. Für das zweite Bild 64b mit dem mindestens einen optischen Merkmal 66 wird eine Merkmalsextraktion durchgeführt, wobei ausgehend von dem zweiten Bild 64b ein drittes Bild 64c bereitgestellt wird, das ebenfalls das mindestens eine, nunmehr extrahierte optische Merkmal 66 aufweist. Für dieses mindestens eine optische Merkmal 66 werden mit dem selbstlernenden Algorithmus dessen Qualität und Lage überprüft, wobei hierbei ermittelt wird, dass die Merkmale in dem ursprünglichen Bild 64a nicht in Ordnung sind.
-
Bei den vorgestellten Ausführungsformen des Verfahrens wird an einer Hell-Dunkel-Grenze eines Bilds 40, 48, 60a, 64a eine Kantendetektion des Scheinwerfers durchgeführt. Das dabei dynamische extrahierte mindestens eine initiale optische Merkmal 42a, 42b, 42c, 42d, 44, 62, 66 unterliegt hinsichtlich seiner Position umweltbedingten Schwankungen, bspw. aufgrund einer Änderung einer Projektionsfläche, die im Rahmen einer Kantendetektion oft nicht eindeutig erkennbar ist. Um eine höhere Genauigkeit zu erreichen, ist es vorgesehen, die Lage des mindestens einen extrahierten initialen optischen Merkmals 42a, 42b, 42c, 42d, 44, 62, 66 in einer durch das Bild 40, 48, 60a, 60b, 60c, 64a, 64b, 64c dargestellten Szene einzuordnen und adaptiv zu überprüfen. Ausgehend von einer hierbei bereitgestellten Information wird entschieden, ob extrahierte optische Merkmale 42a, 42b, 42c, 42d, 44, 62, 66 hinsichtlich ihrer Lage relativ zueinander einer gewünschten Güte bzw. Qualität einer Lichtverteilung des betrachteten Scheinwerfers entsprechen. Durch eine im Rahmen des Verfahrens vorgesehene adaptive Initialisierung der lokalen Umgebung zum Betrachten der optischen Merkmale 42a, 42b, 42c, 42d, 44, 62, 66 sind keine Informationen über eine geometrische Lage des Scheinwerfers und dessen Orientierung bzw. Ausrichtung erforderlich.
-
Die in 7 schematisch dargestellte Ausführungsform des erfindungsgemäßen Systems 2 zum Plausibilisieren einer Lichtverteilung eines Scheinwerfers 4 eines Kraftfahrzeugs umfasst eine Kamera 6 eines Assistenzsystems des Kraftfahrzeugs sowie eine Recheneinheit 8, die hier als Komponente eines Steuergeräts des Kraftfahrzeugs ausgebildet ist. Dabei wird eine Szene einer Umgebung des Kraftfahrzeugs, bspw. eine Szene im Straßenverkehr und/oder Verkehrsraum, von dem Scheinwerfer 4 mindestens einmal mit einer spezifischen Lichtverteilung angestrahlt. Von der Kamera 6 wird von der Szene mindestens ein Bild aufgenommen, auf dem jene spezifische Lichtverteilung herrscht, mit der die Szene momentan angestrahlt wird.
-
Mit dem hier vorgestellten System sind die anhand der voranstehenden 1 bis 6 vorgestellten Ausführungsformen des erfindungsgemäßen Verfahrens durchführbar, wobei für einen Scheinwerfer, der bspw. als Matrix-Beam Scheinwerfer ausgebildet ist und eine Vielzahl an Lichtsegmenten bzw. Pixel aufweist, durchführbar ist.
-
Mit den vorgestellten Ausführungsformen des Verfahrens ist es möglich, mindestens eine Fahrerassistenzfunktion auf Basis von korrekten und gewünschten Funktionen mindestens eines Lichtsegments eines Scheinwerfers 4 in ein pixelbasiertes System aus dem einen Scheinwerfer 4 zu integrieren. Dabei sind die Ausführungsformen des Verfahrens bei dem Plausibilisieren bzw. qualitativem Prüfen der Lichtverteilung des Scheinwerfers 4 unter Einsatz des selbstlernenden Algorithmus anzuwenden. Ein Ergebnis des Verfahrens gibt eine Aussage darüber, ob und welches Lichtsegment des Scheinwerfers 4 einen Mangel bzw. Defekt aufweist. Diese Aussage basiert wiederum auf dem Bild, das die Kamera 6 von der Lichtverteilung des Scheinwerfers 4 auf der angestrahlten Szene gemacht hat. Dabei wird hier mindestens ein initiales optisches Merkmal bzw. mindestens ein Punkt gesucht, das bspw. einen Leuchtpunkt der Lichtsegmente bzw. Pixel darstellt. Auf Basis von Koordinaten dieses initialen Punkts als initialem optischen Merkmal werden in einer beliebig großen und beliebig geformten lokalen Umgebung weitere dynamische optische Merkmale extrahiert. Eine Gestaltung der dynamischen extrahierten weiteren Merkmale ist auf Basis einer geometrischen Anordnung der Merkmale, auf Basis von optischen Eigenschaften der Merkmale und/oder unter Berücksichtigung von lokalen Histogrammen durchzuführen. Die dabei extrahierten Merkmale werden dem selbstlernenden Algorithmus präsentiert, der die Lichtverteilung bewertet, wobei eine Fähigkeit zur Bewertung von dem Algorithmus angelernt wird.
-
Mindestens eine der genannten Ausführungsformen des erfindungsgemäßen Verfahrens ist auch für ein System zum automatischen Einstellen des Scheinwerfers anwendbar. Dabei beruht die Detektion von charakteristischen Merkmalen auf der Kantendetektion der Hell-Dunkel-Grenze des Scheinwerfers 4. Das mindestens eine dynamisch extrahierte Merkmal unterliegt, bspw. aufgrund einer Änderung einer Projektionsoberfläche, umweltbedingten Schwankungen, die ggf. von einem Kantendetektor nicht zuverlässig erkannt werden können. Eine hohe Genauigkeit des Verfahrens ist dadurch zu erreichen, dass die Lage des mindestens einen extrahierten Merkmals in einem von der Kamera 6 aufgenommenen Bild der Szene, wenn die jeweilige Lichtverteilung des Scheinwerfers herrscht, eingeordnet und adaptiv überprüft wird. Ausgehend von einer derartigen Information wird nachfolgend entschieden, ob das mindestens eine extrahierte Merkmal einer gewünschten Güte entspricht. Durch eine adaptive Initialisierung einer lokalen Betrachtungsumgebung des Bilds werden keine Informationen über die geometrische Lage und Orientierung des Scheinwerfers 4 benötigt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012214637 A1 [0003]
- EP 2657077 A2 [0004]
- DE 102011109440 A1 [0004]
- DE 102014219120 A1 [0004]
