DE102020103330A1 - Verfahren zum Anpassen einer optischen Abbildung - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Anpassen einer optischen Abbildung (12a) eines optischen Ausgangs-Systems (14) an ein optisches Ziel-System (16), umfassend die Schritte
a) Bestimmen einer Ausgangs-Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und einer Ziel-Punktspreizfunktion (22) des optischen Ziel-Systems (16),
b) Bestimmen einer Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels einer Berechnungsvorrichtung (26),
c) Bereitstellen der optischen Abbildung (12a) des optischen Ausgangs-Systems (14) auf der Berechnungsvorrichtung (26) und
d) Anwenden der Delta-Punktspreizfunktion (28) auf die optische Abbildung (12a). Weiterhin betrifft die Erfindung eine Vorrichtung (10) zur Durchführung des obigen Verfahrens. Damit wir ein Verfahren zum Aufbringen physikalisch korrekter Aberrationen bereitgestellt, bei dem nicht von einer simulierten aberrationsfreien optischen Abbildung ausgegangen werden muss und bei dem der Vorgang der Bildrestauration umgangen werden kann.

Description

• Die Erfindung betrifft ein Verfahren zum Anpassen einer optischen Abbildung eines optischen Ausgangs-Systems an ein optisches Ziel-System.
• Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des obigen Verfahrens.
• Optische Systeme, wie Kamerasysteme, erzeugen durch Vereinigung von Licht aus einem Gegenstandspunkt ein Bildpunkt. Eine optische Abbildung ist die Gesamtheit aller einzelner Bildpunkte, die alle Gegenstandspunkte repräsentieren. Echte Bild- und Filmaufzeichnungen haben im Gegensatz zu Simulationen die Eigenheit, dass die Aufzeichnungen bereits mit einem konkreten Objektiv mit definierten und einzigartigen Eigenschaften durchgeführt wurden. Mit anderen Worten ist in den optischen Abbildungen bereits der „Fingerabdruck“ des aufzeichnenden optischen Systems eingeprägt. Der „Fingerabdruck“ entspricht der Gesamtheit aller vom optischen System verursachten Abbildungsfehler, wobei unter Abbildungsfehler oder Aberration die Abweichungen von der idealen geometrischen optischen Abbildung durch das optische System verstanden wird.
• In der Foto- und Filmindustrie werden die von dem optischen System erzeugten Abbildungsfehler künstlerisch eingesetzt und erzeugen einen für das optische System typischen „Look-and-Feel“ des Bildes oder Filmes. Dafür greifen Regisseure und Kameraleute zu aufwendigen und kostspieligen Kamerasystemen, um einen bestimmten „Look-and-Feel“ zu erzeugen.
• Weiterhin wird versucht, mittels Bildbearbeitung Bilder und Filme nachträglich zu bearbeiten, um einen anderen „Look-and-Feel“ zu erhalten. So werden beispielsweise Gauß-Weichzeichner verwendet, um ein Bild unscharf zu rechnen.
• Ebenso wird in der Automobilindustrie im Kontext des (teil-)autonomen Fahrens versucht, bereits aufgezeichnete Fahrszenen wiederzuverwenden und dabei zu modifizieren, um die Detektionsalgorithmen robuster gegenüber Abbildungsfehlern zu machen. So wird beispielsweise Rauschen hinzugefügt oder einzelne Störstellen (Dreck, Staub etc.) werden exemplarisch in die bereits aufgezeichneten Abbildungen eingebracht.
• Dennoch sind alle nachträglichen Modifikationen nur kosmetischer Natur, so dass sie das tatsächliche optische System nicht physikalisch korrekt widerspiegeln. Es sind also nur aufgepfropfte Effekte, die so ähnlich wie eine echte Aberration aussehen. Für die genannten Anwendungsfälle sind die echten Aberrationen jedoch entscheidend für das Ergebnis. Wenn ein Detektionsalgorithmen für Verkehrszeichen entwickelt werden soll, der robust gegenüber der im echten Leben auftretenden Unschärfe des optischen Systems ist, dann geht ein Training der Algorithmen mit Gauß-Weichzeichnern an der Realität vorbei.
• Hinsichtlich des Aufbringens von physikalisch korrekten Aberrationen in optische Abbildungen ist es im Stand der Technik bekannt, eine simulierte optische Abbildung derart zu verändern, dass sie Aberrationen eines optischen Systems physikalisch korrekt wiedergibt. Voraussetzung für dieses Verfahren ist allerdings eine simulierte und somit aberrationsfreie optische Abbildung.
• Da optische Abbildungen, die mit realen optischen Systemen erzeugt worden sind, diese Vorrausetzung nicht erfüllen, wurde bisher versucht, mittels Bildrestauration aus einer gegebenen optischen Abbildung mit Aberrationen eine aberrationsfreie optische Abbildung zu rekonstruieren. Allerdings ist im Stand der Technik ebenfalls etabliert, dass es sich bei der Bildrestauration um ein mathematisch inkorrekt gestelltes Problem handelt („ill-posed problem“), das heißt die Lösung hängt nicht stetig von den Eingangsdaten ab. Dies hat zur Konsequenz, dass in beliebiger „Nähe“ eines lösbaren Problems unendlich viele Probleme ohne Lösung liegen. Allgemein dargestellt, entspricht die Bildrekonstruktion dem Versuch, aus dem Ergebnis go der Faltung zweier Funktionen h₀ und f, wobei f die aberrationsfreie Szene darstellt, ho die Übertragungsfunktion des optischen Systems und go die aberrationsbehaftete optische Abbildung, $$g_0=h_0\ast f$$

  

  die unbekannte Funktion f bei bekanntem go und ho zu bestimmen. Dieses Problem wird auch als inverses Faltungsproblem bezeichnet.
• Demnach ist es die Aufgabe der Erfindung, ein Verfahren zum Aufbringen physikalisch korrekter Aberrationen bereitzustellen, bei dem nicht von einer simulierten aberrationsfreien optischen Abbildung ausgegangen werden muss und bei dem der Vorgang der Bildrestauration umgangen werden kann.
• Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Bevorzugte Weiterbildungen finden sich in den Unteransprüchen.
• Erfindungsgemäß wird also ein Verfahren zum Anpassen einer optischen Abbildung eines optischen Ausgangs-Systems an ein optisches Ziel-System bereitgestellt, umfassend die Schritte
1. a) Bestimmen einer Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und einer Ziel-Punktspreizfunktion des optischen Ziel-Systems,
2. b) Bestimmen einer Delta-Punktspreizfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels einer Berechnungsvorrichtung,
3. c) Bereitstellen der optischen Abbildung des optischen Ausgangs-Systems auf der Berechnungsvorrichtung und
4. d) Anwenden der Delta-Punktspreizfunktion auf die optische Abbildung.
• Der Kern der Erfindung liegt somit darin, dass nicht wie im Stand der Technik versucht wird, die aberrationsbehaftete optische Abbildung des optischen Ausgangs-Systems mittels Bildrestauration aberrationsfrei zu rechnen, sondern dass nur der Unterschied zwischen den Aberrationen des optischen Ausgangs-Systems und des optischen Ziel-Systems betrachtet wird.
• Ein optisches System im Sinne der Erfindung ist jedes optische System, mit dem eine optische Abbildung erzeugt werden kann. Vorzugsweise handelt es sich beim optischen System um ein lineares optisches System, dessen Abbildungseigenschaften, insbesondere die Art wie die Intensität des Lichtes im Bildraum abgebildet wird, durch lineare Funktionen (lineare Abbildungen) beschrieben werden können. In anderen Worten handelt es sich bevorzugt um ein optisches System, dessen Eigenschaften mittels linearer Systemtheorie beschrieben werden können. Es kann sich beim optischen System also beispielsweise um ein refraktives oder reflektives System (Linsen oder Spiegel), ein plenoptisches System, ein computerunterstütztes bildgebendes System oder ein diffraktives optisches Element handeln. Das optische Ausgangs-System bezeichnet dabei dasjenige optische System, das die optische Abbildung erzeugt. Somit sind in die optische Abbildung die Aberrationen des optischen Ausgangs-Systems als „Fingerabdruck“ eingeprägt. Das optische Ziel-System ist jenes optische System, dessen Aberrationen in der angepassten optischen Abbildung physikalisch korrekt wiedergegeben werden sollen. Unter Anpassen der optischen Abbildung des optischen Ausgangs-Systems an das optisches Ziel-System ist im Sinne der Erfindung also das Verändern der optischen Abbildung des optischen Ausgangssystems derart, dass die optische Abbildung aussieht, als wäre sie mit dem optischen Ziel-System aufgezeichnet worden, zu verstehen. Insbesondere werden die Aberrationen des optischen Ziel-Systems in die optische Abbildung physikalisch korrekt eingebracht.
• Das erfindungsgemäße Verfahren schlägt in einem ersten Schritt vor, die Ausgangs-Punktspreizfunktion und die Ziel-Punktspreizfunktion, also die Punktspreizfunktionen des optischen Ausgangs-Systems und des optischen Ziel-Systems zu bestimmen. Die Punktspreizfunktion, abgekürzt PSF, beschreibt gemäß linearer Systemtheorie wie ein idealisiertes, punktförmiges Objekt durch das optische System abgebildet wird oder in anderen Worten die Impulsantwort des optischen Systems auf einen Dirac-Impuls. Die PSF kann man sich bildlich als die Unschärfe um einen Bildpunkt herum vorstellen, wenn ein einzelnes punktförmiges Objekt in der optischen Abbildung dargestellt wird. Funktional handelt es sich bei der PSF um die räumliche Version der optischen Übertragungsfunktion des optischen Systems. Die PSF kann für jeden Ort des idealen, punktförmigen Objekts unterschiedlich sein, wobei der Grad der Unschärfe ein Maß für die Qualität des optischen Systems ist.
• In einem weiteren Schritt des Verfahrens werden die beiden PSFen verwendet, um daraus die Delta-Punktspreizfunktion zu bestimmen. Die Delta-PSF wird derart bestimmt, dass sie genau den Unterschied an Aberrationen zwischen der Ausgangs-PSF und der Ziel-PSF darstellt. Diese Delta-PSF wird dann in einem weiteren Schritt auf die optische Abbildung angewendet. Bevorzugt ist in dieser Hinsicht vorgesehen, dass der Schritt d) Anwenden der Delta-PSF auf die optische Abbildung ein Falten der optischen Abbildung mit der Delta-PSF umfasst. Die Probleme aus dem Stand der Technik bei der Bildrestauration werden also umgangen, indem statt einer Bildrestauration und anschließender Neu-Faltung zwei Faltungen nacheinander angewendet werden.
• Mathematisch lässt sich das Verfahren wie folgt ausdrücken. Sei f die ursprüngliche aberrationsfreie Szene und ho die Ausgangs-PSF des optischen Ausgangs-Systems. Die optische Abbildung go lässt sich mathematisch durch Faltung von f mit der Ausgang-PSF ho beschreiben. $$g_0=h_0\ast f$$

  

  Das Verfahren schlägt vor, die optische Abbildung go inklusive ihrer Aberrationen zu verwenden, um darauf die speziell berechnete Delta-PSF h_Δ anzuwenden. $$h_{\mathrm{\Delta }}\ast g_0=h_{\mathrm{\Delta }}\ast \left(h_0\ast f\right)=\left(h_{\mathrm{\Delta }}\ast h_0\right)\ast f$$

  

  Daraus resultiert die angepasste optische Abbildung g_z mit Aberrationen als wäre sie vom optischen Ziel-System mit der Ziel-PSF h_z aufgezeichnet worden. $$\left(h_{\mathrm{\Delta }}\ast h_0\right)\ast f=h_z\ast f=g_z$$

  

  Mit anderen Worten bedeutet dies, dass der Faltungskern der Ziel-PSF h_z in zwei Teile h₀ und h_Δ zerlegt wird. Der entscheidende Teil ist also die Vermeidung der Rekonstruktion von f, indem h_Δ aus den ermittelten PSFen ho und h_z bestimmt wird. $$h_{\mathrm{\Delta }}\ast h_0=h_z$$

  

  Das Verfahren ermöglicht also eine optische Abbildung im Nachhinein derart zu bearbeiten, dass die resultierende optische Abbildung physikalisch korrekt die Aberrationen des optischen Ziel-Systems wiedergibt, wobei der Vorgang der Bildrestauration umgangen wird.
• Damit eignet sich das Verfahren besonders, um mit dem optischen Ausgangs-System aufgezeichnete Fahrszenen an das optisches Ziel-System anzupassen, um derart Abbildungsfehler des Ziel-Systems in die optische Abbildung einzubringen. Mit den angepassten optischen Abbildungen lassen sich Detektionsalgorithmen robuster gegenüber Abbildungsfehlern machen.
• Weiterhin eignet sich das Verfahren besonders, um in der Filmindustrie mit dem optischen Ausgangs-System aufgezeichnete Film- und Bildsequenzen einen bestimmten „Look-and-Feel“ eines optischen Ziel-Systems einzuprägen. Derart lassen sich kostspielige Produktionen verringern.
• Ebenfalls ermöglicht das Verfahren neuartige Bildbearbeitungsfilter für den Endverbraucher. So können beispielsweise mit einem Smartphone aufgezeichnete Bilder mit einem Bokeh eines optischen Ziel-Systems versehen werden. Bokeh ist ein in der Fotografie verwendeter Begriff, um einen Unschärfebereich der optischen Abbildung und seine subjektive Qualität zu bezeichnen. Unscharfe Gebiete in der optischen Abbildung werden von dem optischen System durch Projektion auf eine Abbildungsebene erzeugt, wobei das Auge bei Betrachten der Realität diese Unschärfe nicht oder anders sieht. Bokeh versucht, die meist subjektive ästhetische Qualität der Unschärfe, die vom verwendeten optischen System abhängt, zu kennzeichnen; dabei geht es nicht um die Stärke der Unschärfe, sondern darum, wie die Unschärfebereiche aussehen, etwa wie Ringe oder Kreise.
• Wie bereits erwähnt, werden im ersten Schritt des Verfahrens die PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems bestimmt. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der Schritt a) Bestimmen der Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und der Ziel-Punktspreizfunktion des optischen Ziel-Systems ein
• - Erstellen einer optischen Abbildung einer punktförmigen Lichtquelle durch das optischen Ausgangs-System und/oder durch das optische Ziel-System mittels eines Punktspreizfunktions-Messgerätes und/oder ein
• - Nachschlagen der Ausgangs-Punktspreizfunktion und/oder der Ziel-Punktspreizfunktion in einer Datenbank umfasst.
• Die PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems lassen sich mittels eines Punktspreizfunktions-Messgerätes ermitteln. Dafür wird mit dem optischen System jeweils eine optische Abbildung einer punktförmigen Lichtquelle erstellt und diese optische Abbildung ausgewertet. Bevorzugt werden die ermittelten PSFen in einer Datenbank abgelegt, so dass das Ermitteln der PSFen für ein bestimmtes optisches System nicht mehrfach durchgeführt werden muss.
• Grundsätzlich ist es möglich, dass es sich bei den PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems um drei-dimensionale PSFen handelt. Obwohl man sich eine optische Abbildung typischerweise als eben und zweidimensional vorstellt, erzeugt ein optisches System grundsätzlich eine dreidimensionale Intensitätsverteilung im Bildraum. Die optische Abbildung einer punktförmigen Lichtquelle entspricht somit einer dreidimensionale Intensitätsverteilung, die durch eine 3-dimensionalen Punktspreizpunktion dargestellt werden kann. Allerdings wird bei den meisten optischen Systemen die optische Abbildung durch einen zwei-dimensionalen, bevorzugt ebenen Bildsensor erzeugt. In diesen Fällen ist es für das Verfahren ausreichend, wenn eine zwei-dimensionale PSF bestimmt wird. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung vorgesehen, dass der Schritt a) Bestimmen der Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und der Ziel-Punktspreizfunktion des optischen Ziel-Systems ein Bestimmen einer zwei-dimensionalen Punktspreizfunktion umfasst. Derart kann Rechenleistung eingespart werden, da die PSF weniger Dimensionen und somit weniger freie Parameter aufweist. In dieser Hinsicht ist weiter bevorzugt vorgesehen, dass die Punktspreizpunktion keine Rotationssymmetrie hinsichtlich des optischen Systems aufweisen muss.
• Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Schritte
1. a) Bestimmen der Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und der Ziel-Punktspreizfunktion des optischen Ziel-Systems und/oder
2. b) Bestimmen der Delta-Punktspreizfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels der Berechnungsvorrichtung ein Bestimmen der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels eines künstlichen neuronalen Netzwerkes und/oder ein Bestimmen der Delta-Punktspreizfunktion mittels eines künstlichen neuronalen Netzwerkes umfasst.
Das Bestimmen der PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems kann sehr aufwändig sein, da die PSF eine höchst nichtlineare Funktion ohne erkennbare Parametrisierung für Fertigungstoleranzen in der Serienfertigung des optischen Ausgangs- bzw. optischen Ziel-Systems ist. Somit existiert auch kein Fehlermodell - weder ein analytisches noch ein numerisches - für die Serienfertigung des optischen Ausgans- bzw. Ziel-Systems. Um den Schritt des Bestimmens der Ausgangs-PSF und der Ziel-PSF zu vereinfachen, ist gemäß der bevorzugten Weiterbildung vorgesehen, dass eine Approximation an die PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems verwendet wird. Bevorzugt wird dabei eine Approximation verwendet, die auf einem künstlichen neuronalen Netzwerk basiert. Beispielsweise kann das künstliche neuronale Netzwerk mittels der optischen Abbildungen der punktförmigen Lichtquelle, die mittels des Punktspreizfunktions-Messgerätes aufgezeichnet wurden, trainiert werden. Das künstliche neuronale Netzwerk kann anschließend aufgrund von einer begrenzten Anzahl von Eingabeparametern die PSF als Funktion dieser Eingabeparametern ausgeben. Die Eingabeparameter können vom tatsächlichen Simulationsziel abhängen. Beispielsweise können als Eingabeparameter für das künstliche neuronale Netzwerk, eine Defokussierung Δz, eine Bildhöhe R und ein Azimutwinkel φ verwendet werden. Das künstliche neuronale Netzwerk kann auch verwendet werden, um die Delta-Punktspreizfunktion zu ermitteln.
• Wie bereits erwähnt wird die Rekonstruktion von f vermieden, indem der Faltungskern der Ziel-PSF h_z in zwei Teile h₀ und h_Δ zerlegt wird. In anderen Worten wird die Delta-Punktspreizfunktion h_Δ aus den ermittelten PSFen ho und h_z bestimmt. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der Schritt b) Bestimmen der Delta-Punktspreizfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels der Berechnungsvorrichtung eine Fouriertransformation der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion umfasst. Auch wenn das Verfahren eine Rekonstruktion von f und somit das Bilden einer Inversen von ho vermeidet, muss beim Zerlegen von h_z in h₀ und h_Δ immer noch ein Teil invertiert werden. Um dies durchzuführen, werden die Ausgangs-PSF und die Ziel-PSF mittels der Berechnungsvorrichtung in den Frequenzraum transformiert. Aufgrund des Faltungssatzes, welcher besagt, dass die Fourier-Transformierte einer Faltung zweier Funktionen gleich dem Produkt der Fourier-Transformierten der beiden Funktionen ist, vereinfacht sich die Bestimmung der Delta-Punktspreizfunktion im Frequenzraum erheblich. $$h_{\mathrm{\Delta }}\ast h_0=h_z$$

  

  $$H_{\mathrm{\Delta }}\cdot H_0=H_z$$

  
• In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der Schritt b) Bestimmen der Delta-Punktspreizfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels der Berechnungsvorrichtung die Schritte
• b1) Bestimmen einer Ausgangs-Übertragungsfunktion und einer Ziel-Übertragungsfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion,
• b2) Bestimmen einer Delta-Übertragungsfunktion aus der Ausgangs-Übertragungsfunktion und der Ziel-Übertragungsfunktion, und
• b3) Bestimmen der Delta-Punktspreizfunktion aus der Delta-Übertragungsfunktion umfasst.
• Wie bereits erwähnt wird eine Fouriertransformation der Ausgangs-PSF und der Ziel-PSF durchgeführt. Die Fourier-Transformierte der PSF heißt optische Übertragungsfunktion und gibt an wie unterschiedliche Frequenzen vom optischen System verarbeitet werden. Die optische Übertragungsfunktion sagt somit aus, wie ein periodisches Sinuswellenmuster, das durch das optische System läuft, als Funktion seiner Frequenz oder Periode und seiner Ausrichtung vom optischen System verändert wird. Nachdem die Ausgangs-PSF ho und die Ziel-PSF h_z mittels Fouriertransformation in die Ausgangs-Übertragungsfunktion Ho und in die Ziel-Übertragungsfunktion H_z überführt wurden, kann die Delta-Übertragungsfunktion H_Δ bestimmt werden: $$H_{\mathrm{\Delta }}=\frac{H_z}{H_0}$$

  
• Bevorzugterweise wird aus der Delta-Übertragungsfunktion H_Δ anschließend durch inverse Fouriertransformation die Delta-Punktspreizfunktion h_Δ ermittelt.
• Gemäß einer bevorzugten Weiterbildung ist in diesem Zusammenhang vorgesehen, dass der Schritt b2) Bestimmen der Delta-Übertragungsfunktion aus der Ausgangs-Übertragungsfunktion und der Ziel-Übertragungsfunktion, ein Bilden einer Inversen der Ausgangs-Übertragungsfunktion umfasst. Beim Lösen von $$H_{\mathrm{\Delta }}=\frac{H_z}{H_0}$$

  

  Wird bevorzugt die Inverse von Ho gebildet. Jedoch ist das Bestimmen der Delta-Übertragungsfunktion H_Δ eindeutig, so dass die Probleme bei der im Stand der Technik praktizierten Bildrestaurieren umgangen werden.
• In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass das optischen Ausgangs-System eine höhere optische Qualität aufweist als das optisches Ziel-System. Da wie gerade erwähnt bevorzugt die Inverse von Ho gebildet wird, ist das Verfahren an gewisse numerische Randbedingungen geknüpft. Bevorzugt ist vorgehsehen, dass die Werte in Ho ausreichend größer Null sind, damit die Matrix eine gute Konditionierung aufweist. Weiterhin ist bevorzugt vorgesehen, dass H₀ ≥ H_z ist und damit H_Δ ≤ 1. Anschaulich gesprochen ist dies gleichbedeutend mit der Tatsache, dass das optische Ausgangsystem eine höhere optische Qualität aufweist als das optische Zielsystem.
• Grundsätzlich ist es möglich, dass das optische Ausgangs-System und das optische Ziel-System zwei unterschiedliche optische Systeme sind, die beispielweise nicht die gleiche Anzahl Linse oder Spiegel aufweisen. Alternativ kann das Verfahren aber auch eingesetzt werden, um Veränderungen innerhalb eines optischen Systems in der optischen Abbildung wiederzugeben. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung vorgesehen, dass das optische Ziel-System dem optischen Ausgangs-System in einem anderen Zustand entspricht. Weiter bevorzugt ist vorgesehen, dass das optische Ziel-System dem optischen Ausgangs-System in bei einer anderen Fokusposition entspricht. Derart kann die Unschärfe, die durch Defokussieren innerhalb eines optischen Systems hervorgerufen wird, in die optische Abbildung eingebracht werden. Beispielsweise kommt es oft aufgrund von thermischen Einflüssen auf das optische System zu Defokussierungseffekten. Diese können durch das Verfahren physikalisch korrekt in der optischen Abbildung wiedergegeben werden.
• Gemäße einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der Schritt c) Bereitstellen der optischen Abbildung des optischen Ausgangs-Systems auf der Berechnungsvorrichtung ein Bereitstellen von Bilddaten oder Videodaten eines Ausgangs-Kamerasystems auf der Berechnungsvorrichtung umfasst. Insbesondere ist das Verfahren geeignet um Bild- oder Videodaten des Ausgangs-Kamerasystems an ein Ziel-Kamerasystem anzupassen. Das Kamerasystem liefert bevorzugt zwei oder drei dimensionale Bilddaten, wobei bei dreidimensionalen Bilddaten, die einzelnen Bildpunkte neben den üblichen zwei Bilddimensionen eine weitere Dimension in der Bildtiefe aufweisen.
• Weiterer Vorteile und technische Merkmale des Verfahrens zum Anpassen der optischen Abbildung des optischen Ausgangs-Systems an das optisches Ziel-System ergeben sich für den Fachmann aus der Beschreibung der Vorrichtung zur Durchführung des Verfahrens sowie aus der Beschreibung des Ausführungsbeispiels.
• Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des obigen Verfahrens umfassend ein optisches Ausgangs-System zum Bereitstellen einer optischen Abbildung und eine Berechnungsvorrichtung eingerichtet zum Anpassen der optischen Abbildung an ein optisches Ziel-System. Bevorzugt ist vorgesehen, dass die Berechnungsvorrichtung eine Datenbank umfasst, auf der die Punktspreizfunktionen des optischen Ausgangs-Systems und des optischen Ziel-Systems gespeichert sind. Weiter bevorzugt kann die Berechnungsvorrichtung kommunikationstechnisch mit einem Punktspreizfunktions-Messgerät verbindbar oder verbunden sein, mittels dessen die Punktspreizfunktionen des optischen Ausgangs-Systems und des optischen Ziel-Systems bestimmt werden können. Das optische Ausgangs-System ist bevorzugt mit der Berechnungsvorrichtung verbindbar oder verbunden, so dass die optische Abbildung, die mittels des optischen Ausgangs-Systems erzeugbar ist, auf der Berechnungsvorrichtung bereitgestellt werden kann.
• Nachfolgend wird die Erfindung unter Bezugnahme auf die Zeichnung anhand bevorzugter Ausführungsbeispiele exemplarisch erläutert.
• In der Zeichnung zeigt
• 1 eine schematische Darstellung einer Vorrichtung zum Durchführen eines Verfahrens zum Anpassen einer optischen Abbildung eines optischen Ausgangs-Systems an ein optisches Ziel-System gemäß einer bevorzugten Ausführungsform der Erfindung und
• 2 eine schematische Darstellung einer PSF eines optischen Ausgangs-Systems bei unterschiedlichen Fokus-Positionen, gemäß einer bevorzugten Ausführungsform der Erfindung.
• 1 zeigt eine schematische Darstellung einer Vorrichtung 10 zum Durchführen eines Verfahrens zum Anpassen einer optischen eines optischen Ausgangs-Systems 14 an ein optisches Ziel-System 16 gemäß einer bevorzugten Ausführungsform der Erfindung. In einem ersten Schritt des Verfahrens wird mittels eines Punktspreizfunktions-Messgerätes 18 eine Ausgangs-Punktspreizfunktion 20 des optischen Ausgangs-Systems 14 und eine Ziel-Punktspreizfunktion 22 des optischen Ziel-Systems 16 bestimmt. In der hier bevorzugten Ausführungsform werden die Punktspreizfunktionen 20, 22 des optischen Ausgangs-Systems 14 und des optischen Ziel-Systems 16 mittels des Punktspreizfunktions-Messgerätes 18 ImageMaster HR von trioptics bestimmt und in einer Datenbank 24 gespeichert.
• In einem weiteren Schritt des Verfahrens wird auf Basis der Ausgangs-Punktspreizfunktion 20 und der Ziel-Punktspreizfunktion 22 mittels einer Berechnungsvorrichtung 26 eine Delta-Punktspreizfunktion 28 bestimmt. Dafür umfasst die Berechnungsvorrichtung 26 ein künstliches neuronales Netzwerk.
• In einem weiteren Schritt des Verfahrens wird die optische des optischen Ausgangs-Systems 14 auf der Berechnungsvorrichtung 26 bereitgestellt. Zum Anpassen der optischen wird die optischen mit der Delta-Punktspreizfunktion 28 gefaltet. Die angepasste optische sieht nun so aus als wären sie mit dem optischen Ziel-Systems 16 aufgezeichnet worden.
• Im Folgenden wird unter Bezugnahme auf 1 ein weiteres bevorzugtes Ausführungsbeispiel der Erfindung beschrieben, nämlich das Anpassen der optischen , die mittels eines Smartphones als optisches Ausgangs-System 14 erstellt wurde. Als Computational Bokeh wird ein Bildbearbeitungsfilter bezeichnet, der den Hintergrund von Portrait-Aufnahmen, die mit dem Smartphone 14 erstellt wurden, künstlich unscharf rechnet. Dies soll dem Bildeindruck höherwertiger Spiegelreflex-Kameras 16 entsprechen, wenn bei großer Blende der Spiegelreflex-Kamera 16 der Hintergrund von Portrait-Aufnahmen unscharf abgebildet wird, und derart das Motiv stärker betont wird. Das Smartphone 14 kann Bauraum-bedingt allerdings kein ausgeprägtes Bokeh physikalisch erzeugen. Stattdessen wird über eine Personen- und Gesichtserkennung der Vordergrund der optischen vom Hintergrund getrennt, und der Hintergrund mittels des Verfahrens zum Anpassen der optischen an das Bokeh der Spiegelreflex-Kamera 16 angepasst. Der Hintergrund wird also nicht mit einem beliebigen Weichzeichner verwaschen, sondern die Ziel-Punktspreizfunktion 22 der Spiegelreflex-Kamera 16 kommt zum Einsatz um derart dem Hintergrund die echte Unschärfe der hochwertigen Spiegelreflex-Kamera 16 aufprägen.
• Im Folgenden wird unter Bezugnahme auf 1 und 2 ein weiteres bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Ein in der Automobilindustrie bekanntes Problem bei der Entwicklung von Kamera-Systemen für (teil-)autonom fahrende Fahrzeuge ist die Wärmeausdehnung des Kamera-Systems im Betrieb, und der damit einhergehenden Unschärfe, weil das Objektiv des Kameras-Systems zum Sensor defokussiert wird. Dieses thermische Defokussieren tritt bei allen Objektiven auf, kann aber in Testfahrten nicht sauber abgebildet werden. Im Prinzip müsste die exakt gleiche Teststrecke mehrfach durchfahren werden, jeweils mit unterschiedlich eingestellten Temperaturen des Kamera-Systems. Allerdings ist es nicht möglich exakt dieselben Testfahrbedingungen zweimal nacheinander zu fahren. Demnach kann durch mehrfaches Abfahren der Teststrecke auch nicht dem Ziel entsprochen werden, einen Detektionsalgorithmus mit verschiedenen Fahraufzeichnungen mit jeweils realistischen Defokussierungen zu trainieren. Durch Anwenden des Verfahrens zum Anpassen der optischen des optischen Ausgangs-Systems 14 an das optisches Ziel-System 16 kann dieses Ziel erreicht werden. Dazu wird eine sogenannte Through-Focus-Messung des Objektivs des Kamera-Systems vorgenommen, bei der ein Defokus-Wert Δz variiert wird. Es kommt also nur ein einzelnes Objektiv ins Spiel, sprich das optischen Ausgangs-System 14 und das optisches Ziel-System 16 sind dasselbe, jedoch zu unterschiedlichen Fokus-Positionen. 2 zeigt schematisch die PSFen 20,22 des Kamera-Systems an unterschiedlichen Fokus-Positionen Δz. Entsprechend repräsentiert die Ausgangs-Punktspreizfunktion 20, in 2 in der Mitte dargestellt, das Kamera-System 14 im optimalen Schärfezustand zo, welcher für die Testfahrt eingestellt ist. Die aufgenommene Fahrsequenz 12a wird also im optimalen Schärfezustand zo des Kamera-Systems 14 aufgenommen. Jede andere Defokus-Position Δz repräsentiert dann eine eigene Ziel-Punktspreizfunktion 22 des Kamera-Systems im unscharfen Zustand 16, in 2 auf der Defokus-Achse z, rechts und links vom optimalen Schärfezustand zo dargestellt. Derart kann eine ganze parametrisierte Reihe von angepassten Fahrsequenzen 12b erzeugt werden, welche mit zunehmendem Abstand Δz von der optimalen Schärfeposition zo in positiver wie negativer Richtung immer unschärfer werden. Beim Training des Detektionsalgorithmus kann mit dieser parametrisierten Reihe von angepassten Fahrsequenzen 12b die Defokus-Grenze Δz_Grenz ermittelt werden, bei der der Detektionsalgorithmus durch die Unschärfe der Defokussierung eine bestimmte Grenze der benötigten Detektionsgenauigkeit D_Grenz unterschreitet.
• Bezugszeichenliste

10

Vorrichtung

12a

optische Abbildung

12b

angepasste optische Abbildung

14

optisches Ausgangs-System

16

optisches Ziel-System

18

Punktspreizfunktions-Messgerät

20

Ausgangs-Punktspreizfunktion

22

Ziel-Punktspreizfunktion

24

Datenbank

26

Berechnungsvorrichtung

28

Delta-Punktspreizfunktion

zo

Fokusposition mit optimalem Schärfezustand

z

Defokus-Achse

Δz

Abweichung vom optimalen Schärfezustand

Claims (11)

1. Verfahren zum Anpassen einer optischen Abbildung (12a) eines optischen Ausgangs-Systems (14) an ein optisches Ziel-System (16), umfassend die Schritte a) Bestimmen einer Ausgangs-Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und einer Ziel-Punktspreizfunktion (22) des optischen Ziel-Systems (16), b) Bestimmen einer Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels einer Berechnungsvorrichtung (26), c) Bereitstellen der optischen Abbildung (12a) des optischen Ausgangs-Systems (14) auf der Berechnungsvorrichtung (26) und d) Anwenden der Delta-Punktspreizfunktion (28) auf die optische Abbildung (12a).
2. Verfahren nach Anspruch 1, wobei der Schritt a) Bestimmen der Ausgangs-Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und der Ziel-Punktspreizfunktion (22) des optischen Ziel-Systems (22) ein - Erstellen einer optischen Abbildung einer punktförmigen Lichtquelle durch das optischen Ausgangs-System (14) und/oder durch das optische Ziel-System (16) mittels eines Punktspreizfunktions-Messgerätes (18) und/oder ein - Nachschlagen der Ausgangs-Punktspreizfunktion (20) und/oder der Ziel-Punktspreizfunktion (22) in einer Datenbank (24) umfasst.
3. Verfahren nach Anspruch 1 oder 2, wobei der Schritt a) Bestimmen der Ausgangs-Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und der Ziel-Punktspreizfunktion (22) des optischen Ziel-Systems (16) ein Bestimmen einer zwei-dimensionalen Punktspreizpunktion umfasst.
4. Verfahren nach einem der vorherigen Ansprüche, wobei die Schritte a) Bestimmen der Ausgangs-Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und der Ziel-Punktspreizfunktion (22) des optischen Ziel-Systems (16) und/oder b) Bestimmen der Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels der Berechnungsvorrichtung (26) ein Bestimmen der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels eines künstlichen neuronalen Netzwerkes und/oder ein Bestimmen der Delta-Punktspreizfunktion (28) mittels eines künstlichen neuronalen Netzwerkes umfasst.
5. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt b) Bestimmen der Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels der Berechnungsvorrichtung (26) eine Fouriertransformation der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) umfasst.
6. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt b) Bestimmen der Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels der Berechnungsvorrichtung (26) die Schritte b1) Bestimmen einer Ausgangs-Übertragungsfunktion und einer Ziel-Übertragungsfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion, b2) Bestimmen einer Delta-Übertragungsfunktion aus der Ausgangs-Übertragungsfunktion und der Ziel-Übertragungsfunktion, und b3) Bestimmen der Delta-Punktspreizfunktion (28) aus der Delta-Übertragungsfunktion umfasst.
7. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt b2) Bestimmen der Delta-Übertragungsfunktion aus der Ausgangs-Übertragungsfunktion und der Ziel-Übertragungsfunktion, ein Bilden einer Inversen der Ausgangs-Übertragungsfunktion umfasst.
8. Verfahren nach einem der vorherigen Ansprüche, wobei das optische Ausgangs-System (14) eine höhere optische Qualität aufweist als das optische Ziel-System (16).
9. Verfahren nach einem der vorherigen Ansprüche, wobei das optische Ziel-System (16) dem optischen Ausgangs-System (14) bei einer anderen Fokusposition entspricht.
10. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt c) Bereitstellen der optischen Abbildung (12a) des optischen Ausgangs-Systems (14) auf der Berechnungsvorrichtung (26) ein Bereitstellen von Bilddaten oder Videodaten eines Ausgangs-Kamerasystems (14) auf der Berechnungsvorrichtung (26) umfasst.
11. Vorrichtung (10) zur Durchführung eines Verfahrens nach einem der vorherigen Ansprüche, umfassend ein optisches Ausgangs-System (14) zum Bereitstellen einer optischen Abbildung (12a) und eine Berechnungsvorrichtung (26) eingerichtet zum Anpassen der optischen Abbildung (12a) an ein optisches Ziel-System (16).

Images