DE102021100056A1

DE102021100056A1 - Verfahren zum Bestimmen einer Abbildungsqualität einer Linse einer Kamera, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem

Info

Publication number: DE102021100056A1
Application number: DE102021100056.4A
Authority: DE
Inventors: Arindam Das; Senthil Kumar Yogamani
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2021-01-05
Filing date: 2021-01-05
Publication date: 2022-07-07

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Abbildungsqualität (9) einer Linse (6) einer Kamera (4) für ein Assistenzsystem (2) eines Kraftfahrzeugs (1) mittels des Assistenzsystems (2), mit den Schritten:
- Erfassen eines Bilds (7) einer Umgebung (5) des Kraftfahrzeugs (1) mittels der Kamera (4);
- Bestimmen einer Bildunschärfe (10) im Frequenzbereich als Regressionsproblem mittels eines angelernten neuronalen Netzwerks (11) einer elektronischen Recheneinrichtung (3) des Assistenzsystems (2); und
- Bestimmen der Abbildungsqualität (9) in Abhängigkeit von der Bildunschärfe (10) im Frequenzbereich mittels der elektronischen Recheneinrichtung (3).
Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem (2).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Abbildungsqualität einer Linse einer Kamera für ein Assistenzsystem eines Kraftfahrzeugs mittels des Assistenzsystems. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem.
Aus dem Stand der Technik sind bereits Kameras in Kraftfahrzeugen bekannt. Insbesondere sind diese Kameras zum Aufnehmen einer Umgebung des Kraftfahrzeugs ausgebildet. Das aufgenommene Bild kann dann wiederum einer Assistenzfunktion des Assistenzsystems zugeführt werden, wodurch beispielsweise eine Auswertung der Umgebung durchgeführt werden kann. Insbesondere bei einem zumindest teilweise autonomen Betrieb, insbesondere bei einem vollautonomen Betrieb, ist die Erfassung der Umgebung mittels der Kamera eine wichtige Aufgabe.
Insbesondere bei einer entsprechenden langen Nutzung der Kamera kann es vorkommen, dass die Qualität der Abbildung der Kamera sinkt, was zu einer mangelnden Pixelauswertung oder zu einem höheren Signalrauschen führen kann. Ferner können auch zerkratzte oder zerstörte Linsen zu einer falschen Farbauswertung führen, da beispielsweise UV- und Infrarotlicht nicht entsprechend ausgefiltert werden kann. Ferner kann es auch zu einer Zerstörung der Linse bei beispielsweise einem Unfall kommen. Insbesondere handelt es sich somit bei den genannten Effekten um unausweichliche Vorkommnisse, welche insbesondere beim autonomen Betrieb erheblichen Einfluss haben können.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem zu schaffen, mittels welchen eine verbesserte Auswertung einer Umgebung des Kraftfahrzeugs realisiert werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Abbildungsqualität einer Linse einer Kamera für ein Assistenzsystem eines Kraftfahrzeugs mittels des Assistenzsystems. Es wird ein Bild einer Umgebung des Kraftfahrzeugs mittels der Kamera erfasst. Es wird eine Bildunschärfe im Frequenzbereich als Regressionsproblem mittels eines angelernten neuronalen Netzwerks einer elektronischen Recheneinrichtung des Assistenzsystems bestimmt. Es erfolgt ein Bestimmen der Abbildungsqualität in Abhängigkeit von der Bildunschärfe im Frequenzbereich mittels der elektronischen Recheneinrichtung.
Somit kann die Abbildungsqualität mittels des erfindungsgemäßen Assistenzsystems und dem entsprechenden Verfahren überprüft werden. Insbesondere kann die Abbildungsqualität somit über einen längeren Zeitraum hinweg überprüft werden, wodurch eine entsprechende Abnutzung beziehungsweise Kratzer oder Sprünge innerhalb der Linse erfasst werden können und eine entsprechende Reaktion darauf erzeugt werden kann.
Somit ist eine Lösung vorgestellt, welche mangelhafte Aufnahmen und Linsen über die Lebenszeit der Kamera hinweg überprüfen können.
Unter Bildunschärfe ist insbesondere die Abwesenheit von einer Bildschärfe zu verstehen. Somit kann analog auch über eine Bildschärfebestimmung das erfindungsgemäße Verfahren durchgeführt werden.
Insbesondere löst somit das erfindungsgemäße Verfahren das Problem, dass beschädigte beziehungsweise zerbrochene Linsen ein mangelhaftes Bild ergeben können. Es wird ein Verfahren zum Bestimmen der Abbildungsschärfe durchgeführt, um eine visuelle Degradation aufgrund von der Alterung der Linse erfassen zu können.
Bei dem erfindungsgemäßen Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren.
Gemäß einer vorteilhaften Ausgestaltungsform wird zum Erzeugen der Bildunschärfe im Frequenzbereich eine Repräsentation einer Fouriertransformation des Bilds erzeugt. Insbesondere weist das aufgenommene Bild eine Größe von M × N auf. Aus diesem Bild wiederum wird dann die Fouriertransformation bestimmt. Diese Fouriertransformation kann mit dem Buchstaben F bezeichnet werden. Es kann dann ein Fc bestimmt werden, welches durch Verschieben des Ursprungs der Fouriertransformation zu einem Zentrum durchgeführt wird. Es erfolgt dann das Bestimmen eines absoluten Werts AF der zentrierten Fouriertransformation des Bilds.
Weiterhin vorteilhaft ist, wenn zum Erzeugen der Bildunschärfe im Frequenzbereich eine Anzahl von Pixeln in der Repräsentation der Fouriertransformation mittels der elektronischen Recheneinrichtung bestimmt wird, wobei die Pixel einen vorgegebenen Pixelwert überschreiten. Insbesondere entspricht die Anzahl von Pixeln einem Parameter T_H. Dies entspricht wiederum der Anzahl von Pixeln, welche einen Pixelschwellwert überschreiten. Insbesondere sind diese Pixel in der Fouriertransformation F aufzufinden.
Weiterhin vorteilhaft ist, wenn der Pixelwert in Abhängigkeit von einem Maximalwert eines Frequenzbereichs in der Repräsentation der Fouriertransformation mittels der elektronischen Recheneinrichtung bestimmt wird. Mit anderen Worten ist der Parameter T_H abhängig von einem Maximalwert des Frequenzbereichs in der Fouriertransformation. Dieser Maximalwert kann mit dem Buchstaben M bezeichnet werden. Der Parameter T_H kann dann durch den Pixelschwellwert bezeichnet werden, wobei der Pixelschwellwert M/1000 sein kann. M entspricht dabei dem Maximalwert der zentrierten Fouriertransformation Fc des Bildes, wobei wiederum der Pixelwertschwellwert M/1000 fixiert ist.
Insbesondere kann dann auf Basis der Formel $Bildunsch \ddot{a} rfe (FM) = \frac{T_{H}}{M \cdot N}$
die Bildunschärfe bestimmt werden.
Insbesondere um die Komplexität der schnellen Fouriertransformation zu kompensieren, kann nun mittels der oben genannten Formel das neuronale Netzwerk angelernt werden. Insbesondere kann somit eine schnellere Inferenz des Regressionsproblems durchgeführt werden.
In einer weiteren vorteilhaften Ausgestaltungsform wird das Regressionsproblem durch die Nutzung eines quadratischen Mittels von der elektronischen Recheneinrichtung gelöst. Insbesondere das quadratische Mittel ist sehr recheneffizient einsetzbar. Somit kann recheneffizient das Regressionsproblem gelöst werden, wodurch ein schnelles Bestimmen der Abbildungsqualität realisiert werden kann.
Weiter hat es sich als vorteilhaft erwiesen, wenn von dem angelernten neuronalen Netzwerk eine Bildunschärfe als Ausgangssignal ausgegeben wird und eine Rissdetektion in der Linse als Ausgangssignal ausgegeben wird. Somit kann sowohl eine Unschärfe im Bild analysiert werden sowie eine Rissdetektion durchgeführt werden kann. Somit kann mittels des einen angelernten neuronalen Netzwerks sowohl die Bildunschärfe als auch die Rissdetektion durchgeführt werden, wodurch eine zuverlässige Bestimmung der Abbildungsqualität der Linse realisiert werden kann.
Weiterhin vorteilhaft ist, wenn bei einer positiven Rissdetektion eine Bildrestauration mittels der elektronischen Recheneinrichtung durchgeführt wird. Insbesondere ist somit eine Restauration des Bilds vorgeschlagen, so dass bei einem erkannten Riss das Bild restauriert wird, so dass mittels des restaurierten Bilds eine weitere Bildauswertung für eine Assistenzfunktion durchgeführt werden kann. Insbesondere kann somit das restaurierte Bild dann wiederum zur weiteren Verwendung erneut genutzt werden, um beispielsweise die Umgebungsauswertung durchführen zu können.
In einer weiteren vorteilhaften Ausgestaltungsform wird die Bildrestauration mittels eines erzeugenden, gegnerischen Netzwerks der elektronischen Recheneinrichtung durchgeführt. Das erzeugende, gegnerische Netzwerk kann auch als GAN (Generative Adversarial Network) bezeichnet werden. Das erzeugende, gegnerische Netzwerk weist hierzu insbesondere einen Generator und einen Diskriminator auf. Der Generator ist ein neuronales Netzwerk, das neue Daten erzeugt, während der Diskriminator diese auf Authentizität überprüft. Der Generator ist dazu ausgebildet, auf Basis von Eingangsdaten neue Daten zu erzeugen, welche dann wiederum dem Diskriminator zur Verfügung gestellt werden. Der Diskriminator wiederum versucht vorherzusagen, ob die Eingangsdaten echten Eingangsdaten oder generierten Eingangsdaten entsprechen.
Weiterhin vorteilhaft ist, wenn bei einem restaurierten Bild nach der Bildrestauration eine weitere Bestimmung einer weiteren Bildunschärfe im Frequenzbereich mittels der elektronischen Recheneinrichtung durchgeführt wird. Insbesondere ist somit vorgesehen, dass, nachdem das Bild restauriert wurde, dieses erneut auf eine Bildunschärfe überprüft wird. Somit kann überprüft werden, ob das restaurierte Bild eventuell für die weitere Umgebungsauswertung durch eine weitere Assistenzfunktion genutzt zu werden. Insbesondere ist dabei vorgesehen, dass nur bei einem Unterschreiten eines vorgegebenen Bildunschärfegrenzwerts beziehungsweise bei einem Überschreiten eines Bildschärfegrenzwerts das restaurierte Bild weiterverwendet wird.
In einer weiteren vorteilhaften Ausgestaltungsform wird nach der Bestimmung der weiteren Bildunschärfe im Frequenzbereich des restaurierten Bilds auf eine Möglichkeit zur Weiterverwendung mittels der elektronischen Recheneinrichtung überprüft. Insbesondere ist hierzu vorgesehen, dass die weitere Bildunschärfe im Frequenzbereich einen vorgegebenen Schwellwert überschreiten muss, um weiterverwendet zu werden. Sollte dieser Schwellwert nicht überschritten werden, so kann beispielsweise eine Nachricht an das Assistenzsystem übertragen werden, dass das restaurierte Bild eine geringe Qualität aufweist. Sollte jedoch das weitere Bild den Schwellwert überschreiten, so kann dies wiederum genutzt werden, um eine Umgebungsauswertung zuverlässig durchführen zu können.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform werden das Bild und/oder das restaurierte Bild zur Auswertung an die Assistenzfunktion des Kraftfahrzeugs übertragen. Als Assistenzfunktion kann beispielsweise eine Objektdetektion, eine Segmentierung oder eine Umgebungsanalyse durchgeführt werden. Insbesondere kann dies ebenfalls auf Basis von einem neuronalen Netzwerk, insbesondere einem Decoder, durchgeführt werden. Insbesondere ist vorgesehen, dass das Assistenzsystem lediglich einen Codierer beziehungsweise Encoder aufweist und eine Vielzahl von Decodierern, wobei diese dann wiederum aufgabenweise getrennt sind. Beispielsweise kann das Assistenzsystem für die Objektdetektion einen einzelnen Decoder aufweisen, für die Segmentierung einen einzelnen Decoder aufweisen und für die Szenenanalyse einen einzelnen Decoder aufweisen. Ferner kann für die Bestimmung der Abbildungsqualität das Assistenzsystem einen einzelnen Decoder aufweisen. Insbesondere ist somit das Assistenzsystem beziehungsweise die elektronische Recheneinrichtung als Multi-Task-Netzwerk ausgebildet.
Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit der bestimmten Abbildungsqualität eine Warnnachricht für einen Nutzer des Kraftfahrzeugs mittels der elektronischen Recheneinrichtung erzeugt wird. Insbesondere, sollte beispielsweise das restaurierte Bild beziehungsweise das Bild, nicht mehr eine entsprechende Abbildungsqualitätsgüte aufweisen, so kann die Warnnachricht erzeugt werden, dass eine Umgebungsauswertung mit der aktuellen Linse nicht mehr möglich ist. Somit kann der Nutzer des Kraftfahrzeugs zuverlässig vor einer Verschlechterung der Kamera gewarnt werden. Ferner kann die Warnnachricht auch dem Assistenzsystem mitgeteilt werden, sodass auf eine Auswertung der Umgebung verzichtet wird beziehungsweise, dass einer Auswertung der Umgebung eine geringere Glaubwürdigkeit erhält.
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Hierzu betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Bestimmen einer Abbildungsqualität nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit einem Computerprogrammprodukt, insbesondere eine elektronische Recheneinrichtung mit einem Computerprogrammprodukt, nach dem vorhergehenden Aspekt. Die elektronische Recheneinrichtung weist insbesondere Schaltkreise, beispielsweise integrierte Schaltkreise, Prozessoren und weitere elektronische Bauteile auf, um die Befehle des Computerprogrammprodukts entsprechend abarbeiten zu können.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug zum Bestimmen einer Abbildungsqualität einer Linse einer Kamera des Assistenzsystems, mit zumindest der Kamera und mit zumindest einer elektronischen Recheneinrichtung, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Assistenzsystem nach dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als zumindest teilweise autonomes Kraftfahrzeug, insbesondere als vollautonomes Kraftfahrzeug, ausgebildet.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Assistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Assistenzsystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einer Ausführungsform eines Assistenzsystems; und
2 ein schematisches Blockschaltbild einer Ausführungsform eines Assistenzsystems.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs 1 mit einer Ausführungsform eines Assistenzsystems 2. Das Kraftfahrzeug 1 ist insbesondere als zumindest teilweise autonomes Kraftfahrzeug, insbesondere als vollautonomes Kraftfahrzeug 1, ausgebildet. Das Assistenzsystem 2 weist zumindest eine elektronische Recheneinrichtung 3 sowie eine Kamera 4 auf. Die elektronische Recheneinrichtung 3 weist insbesondere Schaltkreise, beispielsweise integrierte Schaltkreise, Prozessoren und weitere elektronische Bauteile auf, um die Befehle eines Computerprogrammprodukts entsprechend abarbeiten zu können. Mittels der Kamera 4 kann eine Umgebung 5 des Kraftfahrzeugs 1 erfasst werden. Insbesondere weist die Kamera 4 eine Linse 6 auf. Ferner kann mittels der Kamera 4 ein Bild 7 der Umgebung 5 erzeugt werden.
Im folgenden gezeigten Ausführungsbeispiel weist die Linse 6 Risse 8 auf.
2 zeigt ein schematisches Blockschaltbild einer Ausführungsform der elektronischen Recheneinrichtung 3. Die elektronische Recheneinrichtung 3 ist zum Bestimmen einer Abbildungsqualität 9 der Linse 6 ausgebildet. Insbesondere ist beim erfindungsgemäßen Verfahren vorgesehen, dass das Bild 7 der Umgebung 5 des Kraftfahrzeugs 1 mittels der Kamera 4 aufgenommen wird. Es erfolgt ein Bestimmen einer Bildunschärfe 10 im Frequenzbereich als Regressionsproblem mittels eines angelernten neuronalen Netzwerks 11 der elektronischen Recheneinrichtung 3. Es erfolgt das Bestimmen der Abbildungsqualität 9 in Abhängigkeit von der Bildunschärfe 10 im Frequenzbereich mittels der elektronischen Recheneinrichtung 3.
Unter der Bildunschärfe 10 ist insbesondere die Abwesenheit von einer Bildschärfe zu verstehen. Somit kann analog auch über eine Bildschärfebestimmung das erfindungsgemäße Verfahren durchgeführt werden. Die Bildunschärfe 10 ist somit das Gegenteil zur Bildschärfe.
Insbesondere verschlechtert sich über die Zeit die Abbildungsqualität 9 der Linse 6. Die Linse 6 kann auch als Kameraobjektiv bezeichnet werden. Daher wird die Bewertung der Abbildungsqualität 9 zu einem wichtigen Bestandteil des Bildverarbeitungssystems, um beispielsweise nachgeschaltete Algorithmen und Assistenzfunktionen des Assistenzsystems 2 effizient anwenden zu können. Die Beurteilung der Abbildungsqualität 9 ist im Wesentlichen die Messung der Bildunschärfe 10 oder der Bildschärfe des Bilds 7.
Die Bildunschärfe 10 wird nachfolgend in den entsprechenden aufgezeigten mathematischen Formeln auch als FM bezeichnet, um einen entsprechende Algorithmus vorstellen zu können. Das Bild 7 hat eine Größe von M × N. In einem ersten Schritt erfolgt das Bestimmen einer Repräsentation einer Fouriertransformation F des Bilds 7. In einem zweiten Schritt wird ein Parameter Fc bestimmt, welcher durch das Verschieben des Ursprungs der Fouriertransformation F zu einem Zentrum durchgeführt wird. Es werden Absolutwerte der zentrierte Fouriertransformation Fc des Bilds 7 bestimmt, wobei dieser Parameter als AF bezeichnet werden kann. Es wird ein Parameter M bestimmt, welcher dem Maximumwert von AF entspricht und ist somit insbesondere als Maximumwert der Frequenzbestandteile in F anzusehen. Es erfolgt ein Bestimmen von einer Pixelanzahl in F, deren Pixel oberhalb eines bestimmten Schwellwerts liegen, wobei dieser Schwellwert insbesondere mit M/1000 angegeben ist. Es erfolgt das Bestimmen der Bildunschärfe 10 beziehungsweise FM aus der Gleichung: $Bildunsch \ddot{a} rfe (FM) = \frac{T_{H}}{M \cdot N} .$
Insbesondere ist somit vorgeschlagen, dass von dem zentrierten Fourier-Spektrum des Bilds 7 der Maximalwert des zentrierten Fourier-Spektrums des Bilds 7 bestimmt wird und ein Schwellwert von M/1000 festgelegt wird. Insbesondere wurde dies experimentell beobachtet, dass dieser bestimmte Schwellwert von M/1000 einen vorteilhaften Eindruck von der Bildqualität vermittelt. Die Anzahl der Pixel, die einen größeren Wert haben als der Schwellwert, werden bestimmt. Die Bildunschärfe FM wird dann mit der oben beschriebenen Gleichung bestimmt.
Obwohl die Bildunschärfe FM pro Bild 7 berechnet werden kann, kann dies sehr zeitaufwendig sein. Die Zeitkomplexität der schnellen Fouriertransformation entspricht dabei O(nlogn), wobei n = M × N die Anzahl der Pixel im Bild 7 ist. Die Zeitkomplexität für alle anderen Schritte beträgt O(n). Die Zeitkomplexität des Algorithmus ist also O(nlogn). Daher ist es vorgesehen, dass die berechneten Bildunschärfen FM unter Verwendung des neuronalen Netzwerks 11 als tiefes Multi-Task-Netzwerk durch ein Regressionsproblem gelernt werden können, um eine schnelle Inferenz zu erreichen.
In der 2 ist insbesondere der vorgeschlagene Trainingsaufbau des neuronalen Netzwerks 11 vorgeschlagen, welches insbesondere als Multi-Task-Netzwerk ausgebildet ist. Wie in der 2 dargestellt, ist das neuronale Netzwerk 11 zweiteilig aufgebaut. Ein Codierer 12, welcher auch als Encoder bezeichnet werden kann, umfasst eine Reihe von Faltungscodierern, insbesondere zur Merkmalsextraktion, und Pooling-Schichten zur Reduzierung des Merkmalsraums. Der Codierer 12 ist generisch und lernt insbesondere aufgabenabhängig die Merkmale, wobei die Merkmale wiederum in deren oberen Schichten tendenziell aufgabenspezifisch sind. Das neuronale Netzwerk 11 weist vorliegend insbesondere eine Mehrzahl von Decodierern 13, 14, 15 auf, wobei jeder der Decodierer 13, 14, 15 eine vorbestimmte Aufgabe durchführt. Beispielsweise kann mittels eines ersten Decodierers 13, 14, 15 eine Objekterkennung durchgeführt werden, mittels eines zweiten Decodierers 13, 14, 15 eine Segmentierung und mittels eines nochmals weiteren Decodierers 13, 14, 15 eine Szenenanalyse durchgeführt werden. Im vorliegenden Ausführungsbeipsiel wird mittels des Decodierers 15 insbesondere die Abbildungsqualität 9 bestimmt.
Die Bildunschärfe 10 ist im Grunde ein Bildqualitätsmaß, das in der oben beschriebenen Gleichung bestimmt wird. Hier wird die Bildunschärfe 10 in diesem Multi-Task-Netzwerk während des Trainings gelernt, und diese Information wird als Teil der Annotation an den Decodierer 15 weitergegeben. Der Bereich des Schärfewerts ist beispielsweise zwischen 0 und 1, wobei die extreme oder die ideale Schärfe mit 0 beschrieben sein kann und 1 die außergewöhnliche Unschärfe beschreibt. Dadurch wird es zu einem Regressionsproblem. Mittels eines quadratischen Mittels kann das Regressionsproblem von der elektronischen Recheneinrichtung 3 gelöst werden.
Insbesondere zeigt die 2, dass mittels des angelernten neuronalen Netzwerks 11 die Bildunschärfe 10 als Ausgangssignal ausgegeben wird und eine Rissdetektion 16 in der Linse 6 als Ausgangssignal ausgegeben wird. Die Rissdetektion 16 ist insbesondere ein binärer Ausgang, der angibt, ob ein Riss 8 auf der Linse 6 erkannt wird oder nicht. In der insbesondere überwachten Lerneinrichtung wird diese Information als Teil der Annotation an diesem Ausgang weitergegeben. Jede binäre Standardklassifikationsmetrik, wie Genauigkeit und kategoreale Kreuzentropie, kann die ideale Verlustfunktion und Metrik für die Rissdetektion 16 sein.
Sollte in der Linse 6 eine Rissdetektion 16 positiv ausfallen, was insbesondere durch den Block 17 dargestellt ist, so kann eine Bildrestauration 18 mittels der elektronischen Recheneinrichtung 3 durchgeführt werden. Mit anderen Worten, wird bei einer positiven Rissdetektion 16 die Bildrestauration 18 durchgeführt.
Die Bildrestauration 18 wird dabei insbesondere mittels eines erzeugenden, gegnerischen Netzwerks 19 der elektronischen Recheneinrichtung 3 durchgeführt. Als Eingangssignal kann beispielsweise das Bild 7 dienen. Das erzeugende, gegnerische Netzwerk 19 weist einen Generator 20 sowie einen Diskriminator 21 auf. Das erzeugende, gegnerische Netzwerk 19 kann auch als GAN (Generative Adversarial Network) bezeichnet werden. Der Generator 20 ist dabei im Grunde ein neuronales Netz, das neue Dateninstanzen erzeugt, während der Diskriminator 21 die Authentizität derselben Dateninstanz auswertet. Der Generator 20 nimmt eine zufällige Eingabe und versucht, eine Stichprobe von Daten zu erzeugen. Der Generator 20 erzeugt dann Daten, die dem Diskriminator 21 übergeben werden. Die Aufgabe des Diskriminators 21 besteht darin, die Eingabe entweder von den realen Daten oder vom Generator 20 zu nehmen und versuchen vorherzusagen, ob die Eingabe real oder erzeugt ist. Der Diskriminator 21 löst dann ein binäres Klassifikationsproblem unter der Verwendung einer Sigmoidfunktion, die eine Ausgabe im Bereich von 0 bis 1 liefert.
Zum Anlernen des Generators 20 kann beispielsweise ein Bild 7 mit einem Riss 8 gezeigt werden und der Generator 20 erzeugt ein restauriertes Bild 22, welches durch den Diskriminator 21 überprüft wurde, ob die erzeugte Probe akzeptabel (real) oder nicht akzeptable (fake) ist.
Um das erzeugende, gegnerische Netzwerk 19 zu trainieren, wird zuerst der Generator 20 „eingefroren“, was bedeutet, dass keine Rückpropagation durchgeführt wird, während der Diskriminator 21 für n Epochen, wobei n eine beliebige natürliche Zahl zwischen 1 und unendlich sein kann, trainiert wird. Es können dann die Daten für die nicht akzeptable Probe (fake) erzeugt werden und dem Diskriminator 21 zugeführt werden, sodass dieser die Probe korrekt als real erkennt. Dies bedeutet, dass der Diskriminator 21 anhand real wiederhergestellter Bilder trainiert wird. Darüber hinaus werden gefälschte Eingabebilder für den Generator 20 erzeugt, um den Diskriminator 21 darüber zu unterrichten und dem Diskriminator 21 zu helfen, die gefälschten Proben zu klassifizieren, dass diese auch gefälscht sind.
Im nächsten Schritt kann mithilfe des trainierten Diskriminators 21 dessen Vorhersage genutzt werden und als Ziel für das Training des Generators 20 verwendet werden. Somit erfolgt das Training des Generators 20, um den Diskriminator 21 zu täuschen.
Während der Inferenz wird das Bild 7, sobald das Bild 7 mit dem erkannten Riss 8 verfügbar ist, an den Generator 20 weitergeleitet, um ein wiederhergestelltes Ausgangssignal zu erzeugen, das vom Diskriminator 21 auf seine Akzeptabilität geprüft wird. Wenn der Diskriminator 21 das restaurierte Bild 22 verwirft, muss der Generator 20 das restaurierte Bild 22 mit besserer Qualität erneut erzeugen.
Sobald das restaurierte Bild 22 verfügbar ist, wird die Bildunschärfe 10 des restaurierten Bilds 22 bestimmt und verglichen, ob eine akzeptierte Unschärfe vorhanden ist oder nicht. Dies wird insbesondere vorliegend durch den Block 23 dargestellt. Sollte sich die Bildunschärfe 10 innerhalb eines akzeptablen Bereichs befinden, betrachtet die elektronische Recheneinrichtung 3 dieses restaurierte Bild 22 erneut als Input für den Codierer 12, um beispielsweise die weiteren Assistenzfunktionen zu nutzen. Andernfalls kann insbesondere eine Warnnachricht 24 sowohl für einen Nutzer des Kraftfahrzeugs 1 als auch für das Assistenzsystem 2 erzeugt werden. Nach der positiven Risserkennung werden insbesondere die anderen Decodierer 13, 14 inaktiv geschaltet, bis der Codierer 12 ein mit dem Riss 8 restauriertes Bild 22 erhält. Daher werden alle Decodierer 13, 14, 15, einschließlich des Decodierers für die Rissrestaurierung, nicht funktionieren. Zuerst wird der Riss 8 restauriert und dann werden die weiteren Assistenzfunktionen durch die Decodierer 13, 14 auf Grundlage des restaurierten Bilds 22 aktiviert. Die anderen Decodierer 13, 14 sind somit insbesondere solange inaktiv, bis die Rissrestaurierung durchgeführt beziehungsweise abgeschlossen ist.
Insbesondere ist somit vorgeschlagen, dass eine Rissdetektion 16, aber auch die Bildunschärfe 10 bestimmt werden, um die Abbildungsqualität 9 der Linse 6 bestimmen zu können. Insbesondere kann somit auch eine Alterung der Linse 6 und eine Verschlechterung des „Sehvermögens“ der Linse 6 bestimmt werden. Der Schwellwert für die Bildunschärfe 10 ist dabei insbesondere derart gewählt, dass die Linse 6 für ein sicheres, insbesondere autonomes Fahren noch brauchbar ist. Dieser Schwellwert kann beispielsweise experimentell eingestellt werden und für Linsen 6 unterschiedlicher Hersteller spezifisch vorgegeben werden.

Claims

Verfahren zum Bestimmen einer Abbildungsqualität (9) einer Linse (6) einer Kamera (4) für ein Assistenzsystem (2) eines Kraftfahrzeugs (1) mittels des Assistenzsystems (2), mit den Schritten: - Erfassen eines Bilds (7) einer Umgebung (5) des Kraftfahrzeugs (1) mittels der Kamera (4); - Bestimmen einer Bildunschärfe (10) im Frequenzbereich als Regressionsproblem mittels eines angelernten neuronalen Netzwerks (11) einer elektronischen Recheneinrichtung (3) des Assistenzsystems (2); und - Bestimmen der Abbildungsqualität (9) in Abhängigkeit von der Bildunschärfe (10) im Frequenzbereich mittels der elektronischen Recheneinrichtung (3).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Erzeugen der Bildunschärfe (10) im Frequenzbereich eine Repräsentation einer Fouriertransformation des Bilds (7) erzeugt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zum Erzeugen der Bildunschärfe (10) im Frequenzbereich eine Anzahl von Pixeln in der Repräsentation der Fouriertransformation mittels der elektronischen Recheneinrichtung (3) bestimmt wird, wobei die Pixel einen vorgegebene Pixelwert überschreiten.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Pixelwert in Abhängigkeit von einem Maximalwert eines Frequenzbereichs in der Repräsentation der Fouriertransformation mittels der elektronischen Recheneinrichtung (3) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Regressionsproblem durch die Nutzung eines quadratischen Mittels mittels der elektronischen Recheneinrichtung (3) gelöst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass von dem angelernten neuronalen Netzwerk (11) die Bildunschärfe (10) als Ausgangssignal ausgegeben wird und eine Rissdetektion (16) in der Linse (6) als Ausgangssignal ausgegeben wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei einer positiven Rissdetektion (16) eine Bildrestauration (18) mittels der elektronischen Recheneinrichtung (3) durchgeführt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bildrestauration (18) mittels eines erzeugenden, gegnerischen Netzwerks (19) der elektronischen Recheneinrichtung (3) durchgeführt wird.
Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass bei einem restaurierten Bild (22) nach der Bildrestauration (18) eine weitere Bestimmung einer weiteren Bildunschärfe (10) im Frequenzbereich mittels der elektronischen Recheneinrichtung (3) durchgeführt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass nach der Bestimmung der weiteren Bildunschärfe (10) im Frequenzbereich das restaurierte Bild (22) auf eine Möglichkeit zu Weiterverwendung mittels der elektronischen Recheneinrichtung (3) überprüft wird.
Verfahren nach einem der Ansprüche 9 oder 10 dadurch gekennzeichnet, dass das Bild (7) und/oder das restaurierte Bild (22) zur Auswertung an eine Assistenzfunktion des Kraftfahrzeugs (1) übertragen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der bestimmten Abbildungsqualität (9) eine Warnnachricht (24) für einen Nutzer des Kraftfahrzeugs (1) mittels der elektronischen Recheneinrichtung (3) erzeugt wird.
Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Speichermedium gespeichert sind, um das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (3) abgearbeitet wird.
Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13.
Assistenzsystem (2) für ein Kraftfahrzeug (1) zum Bestimmen einer Abbildungsqualität (9) einer Linse (6) einer Kamera (4) des Assistenzsystems (2), mit zumindest der Kamera (4) und mit zumindest einer elektronischen Recheneinrichtung (3), wobei das Assistenzsystem (2) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.