-
Die Erfindung betrifft ein Verfahren zum Betrieb eines Bildaufnahmesystems mit einem mobilen Endgerät, das eine Bildaufnahmeeinrichtung aufweist. Des Weiteren betrifft die Erfindung ein Bildaufnahmesystem aufweisend ein mobiles Endgerät, das insbesondere dazu eingerichtet ist, das vorstehend genannte Verfahren durchzuführen. Außerdem betrifft die Erfindung ein Computerprogrammprodukt.
-
Bildaufnahmeeinrichtungen bilden meist photographische und/oder kinematographische Systeme, meist als Kamera bezeichnet, zur Erfassung von Einzelbildern bzw. Bewegtbildfolgen. Üblicherweise umfasst ein solches System einen Bildsensor und eine zugeordnete Optik, meist als Objektiv bezeichnet. Letzteres weist regelmäßig ein Linsensystem auf, gebildet aus einer Anzahl von optischen Linsen - d. h. Linsen zur Abbildung von Licht im visuell sichtbaren Spektralbereich (d. h. insbesondere zwischen 380 und 780 Nanometer Wellenlänge). Grundsätzlich sind aber auch Spiegeloptiken oder Kombinationen aus Spiegeln und Linsen möglich sowie bekannt. Der Bildsensor dient zur opto-elektronischen Wandlung des mittels der Optik auf dem Bildsensor abgebildeten Bilds in ein elektronisches Signal.
-
Das Ziel bei der Auslegung und Herstellung von (Kamera-) Optiken, also Objektiven, sowie deren Linsensystemen ist stets, eine Abbildung mit möglichst geringen Abbildungsfehlern zu erzeugen. Zu den Abbildungsfehlern zählen dabei unter anderem Farblängs- und Farbquerfehler, die unter anderem zu unerwünschten Farbsäumen in der Aufnahme führen, sphärische Aberrationen, sogenannte Verzeichnungen, die zu einer tonnen- oder kissenförmigen Verzerrung von Geraden führen, und dergleichen. Aber auch Reflexionen an den quer zur Lichtstrahlrichtung stehenden Linsenflächen führen zu Abbildungsfehlern, die unter anderem als Linsenreflexionen, Blendenflecke, „lens flares“ oder „ghosts“ bezeichnet werden. Derartige Linsenreflexionen werden meist durch vergleichsweise starke Lichtquellen hervorgerufen und häufig als störend empfunden, da diese regelmäßig mit einem Informationsverlust (insbesondere durch Überdeckung von darzustellenden Szenenelementen) einhergehen. Ein weiteres Ziel ist es, die Transmission durch die gesamte Optik (hindurch), d. h. insbesondere durch das Linsensystem hindurch, möglichst hoch zu gestalten, um möglichst wenig Lichtverluste in der Abbildung hinnehmen zu müssen. Dadurch wird die sogenannte „Lichtstärke“ des entsprechenden Objektivs ebenfalls hochgehalten, so dass auch bei vergleichsweise schlechter Belichtung oder Lichtverhältnissen mit geringen Beleuchtungswerten, bspw. bei Nacht, in Räumen ohne zusätzliche Beleuchtung und dergleichen Aufnahmen durchgeführt werden können.
-
Um möglichst hohe Transmissionswerte zu erhalten, aber auch um o. g. Linsenreflexionen (lens flares) zu verringern, muss entsprechend der Anteil des an den optischen Flächen (insbesondere den Grenzflächen der Linsen) reflektierten Lichts gering gehalten werden. Dazu werden bei modernen Objektiven die Linsen „vergütet“, insbesondere mit Beschichtungen versehen, die Reflexion verringern. Bei Linsenflächen, die insbesondere eine Glas-Luft-Grenzfläche bilden, werden dabei üblicherweise Beschichtungen mit mehreren Lagen unterschiedlicher Materialien mit entsprechend unterschiedlichem Brechungsindex eingesetzt. Dadurch werden Reflexionen an diesen Flächen unterbunden oder zumindest weitestgehend reduziert, so dass ein möglichst großer Anteil des einfallenden Lichts auch tatsächlich (insbesondere bis zum Bildsensor der entsprechenden Kamera) transmittiert wird.
-
Andererseits liegt es teilweise auch im Interesse von Nutzern, sichtbare Reflexionen in der Aufnahme zu erhalten, insbesondere wenn es um künstlerische Darstellungen geht, bspw. um Stimmungen besser transportieren, grelles Licht andeuten zu können und dergleichen. Dies steht im Spannungsfeld mit der Lichtstärke, da auch in einem solchen Fall die Transmission möglichst hoch sein soll.
-
Bei herkömmlichen Kamerasystemen kann dies dadurch gelöst werden, dass für Aufnahmen andere Objektive verwendet werden, bspw. indem für eine Aufnahme, in der Linsenreflexionen explizit gewünscht sind, ein weniger stark vergütetes Objektiv zum Einsatz kommt. Mobile Endgeräte, insbesondere Smartphones, drängen allerdings immer mehr auf den Markt und verbessern sich im Bereich der Photographie stetig weiter, sei es durch verbesserte Optiken und/oder durch Bildsensoren mit einer zunehmenden Pixeldichte. Aufgrund der geforderten Kompaktheit in diesem Bereich sind allerdings Wechseloptiken unerwünscht und/oder technisch nicht vorgesehen. Üblicherweise sind die hier zum Einsatz kommenden Optiken somit zur Unterdrückung regelmäßig unerwünschter Effekte eingerichtet.
-
Der Erfindung liegt die Aufgabe zugrunde, auch mit einem mobilen Endgerät künstlerisch ansprechende Aufnahmen erzeugen zu können.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Ferner wird diese Aufgabe erfindungsgemäß gelöst durch ein Bildaufnahmesystem mit den Merkmalen des Anspruchs 14. Außerdem wird diese Aufgabe erfindungsgemäß gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 15. Vorteilhafte und teils für sich erfinderische Ausführungsformen und Weiterentwicklungen der Erfindung sind in den Unteransprüchen und der nachfolgenden Beschreibung dargelegt.
-
Das erfindungsgemäße Verfahren dient zum Betrieb eines Bildaufnahmesystems, das ein mobiles Endgerät (beispielsweise ein Smartphone) aufweist, das wiederum eine Bildaufnahmeeinrichtung aufweist. Die Bildaufnahmeeinrichtung weist dabei vorzugsweise wenigstens einen Bildsensor sowie eine diesem zugeordnete Optik auf. Im Rahmen des erfindungsgemäßen Verfahrens wird zunächst (insbesondere mittels der Bildaufnahmeeinrichtung) wenigstens eine Aufnahme einer Szene erfasst. Diese Aufnahme oder zumindest eine der gegebenenfalls mehreren Aufnahmen wird anschließend auf das Vorhandensein einer Lichtquelle überprüft. Des Weiteren wird - sofern eine Lichtquelle vorhanden ist - eine Position der Lichtquelle relativ zu einem optischen Zentrum ermittelt. Ferner wird für die Lichtquelle eine Form (der Lichtquelle), eine Intensität und/oder eine Farbe ermittelt. Außerdem wird mittels eines auf Abbildungseigenschaften einer vorgegebenen Optik trainierten Algorithmus (insbesondere also einem eine „künstliche Intelligenz“ bildenden Algorithmus, „KI“ oder auch „machine learning algorithm“) unter Nutzung der Position der Lichtquelle ein (insbesondere künstliches) Flare-Bild eines lens flare (auch: Linsenreflexion, „ghost“ oder Blendenfleck) für diese Lichtquelle erzeugt. Dieses Flare-Bild wird (insbesondere anschließend) mit der Aufnahme zu einem Kombinationsbild kombiniert und das Kombinationsbild in einem Speicherbaustein abgelegt (optional zusätzlich auch auf einer Anzeigevorrichtung, insbesondere des mobilen Endgeräts, zur Anzeige gebracht).
-
Unter dem Begriff „optisches Zentrum“ wird hier und im Folgenden insbesondere das Zentrum der Aufnahme oder die optische (Zentrums-) Achse der Optik verstanden. Vorzugsweise fallen beide Merkmale aber faktisch zusammen, d. h. die optische Achse trifft im Zentrum der Aufnahme auf den Bildsensor. Die Position der Lichtquelle gibt dabei vorzugsweise zumindest den Abstand der Lichtquelle (parallel zur Oberfläche des Bildsensors) mittelbar oder unmittelbar zum optischen Zentrum wieder. Bevorzugt wird die Position - im Fall einer rotationssymmetrischen Optik - durch einen Radius und einen zugeordneten Winkel zum optischen Zentrum angegeben. Im Fall einer nicht-rotationssymmetrischen Optik, bspw. da zumindest ein optisches Element (z. B. eine Linse, ein Spiegel oder dergleichen) eine Freiformfläche aufweist und/oder anamorphotisch ausgebildet ist, wird die Position dagegen insbesondere in kartesischen Koordinaten wiedergegeben.
-
Einfach ausgedrückt folgt die Erfindung also dem Ansatz, das Flare-Bild mittels künstlicher Intelligenz (also dem vorstehend genannten trainierten Algorithmus) zu erstellen. Dies hat den Vorteil, dass hierdurch eine vergleichsweise zeitsparende Erstellung des Flare-Bilds ermöglicht wird. Eine üblicherweise aufwendige und zeitintensive Simulation des Flare-Bilds mittels an sich bekannter „ray tracing“ Verfahren kann so vermieden werden. Dies beruht darauf, dass derartige, trainierte Algorithmen nicht auf die Berechnung der konkreten Lösung an sich gerichtet sind, sondern auf die Findung einer Lösung, die entweder aus dem antrainierten Erfahrungsschatz bereits bekannt ist oder sich aus diesem vergleichsweise einfach herleiten lässt. Dies ermöglicht wiederum, ein einen oder mehrere lens flares enthaltendes Bild für grundsätzlich für die Vermeidung solcher Effekte eingerichteten Optiken nahezu in Echtzeit oder mit zumindest geringer Verzögerung erstellen zu können (z. B. innerhalb weniger als 30 Sekunden, was wiederum abhängig von einer Rechenleistung des mobilen Endgeräts, aber dennoch um ein Vielfaches kürzer als bei einer herkömmlichen Berechnung mittels ray tracing ist).
-
Das Betriebsverfahren dient also insbesondere zur Bildbe- oder verarbeitung.
-
Zur Kombination des Flare-Bilds mit der Aufnahme wird das Flare-Bild vorzugsweise über die Aufnahme gelegt, bspw. auf diese addiert, oder mit dieser fusioniert, bspw. mittels sogenannter multi-skalen Fusion.
-
In einer optionalen Verfahrensvariante wird für jede einzelne Lichtquelle gemäß dem hier und im Folgenden beschriebenen Vorgehen ein separates Flare-Bild mit einem zugeordneten lens flare erstellt und mit der Aufnahme kombiniert. Alternativ werden für mehrere Lichtquellen die entsprechenden lens flares in nur einem Flare-Bild erzeugt oder zusammengefasst.
-
In einer besonders zweckmäßigen Verfahrensvariante wird das Flare-Bild vor dessen Kombination mit der Aufnahme gegenüber der Aufnahme ausgerichtet. Insbesondere wird das Flare-Bild hierzu derart rotiert, dass das Flare-Bild, konkret der spezifische lens flare, mit einer theoretischen Position eben dieser lens flare in der Aufnahme zur Deckung gebracht wird. Dies ist insbesondere im Fall einer rotationssymmetrischen Optik vorteilhaft, da hierbei zur Bestimmung (insbesondere der Form oder Ausprägung) des lens flare lediglich deren Abstand zum optischen Zentrum (entspricht regelmäßig dem Rotations-Zentrum der Optik) ausreichend ist. Die hier beschriebene zur Bestimmung des lens flare nachträgliche Rotation des zugeordneten Flare-Bild ermöglicht somit, Rechenzeit bei der Bestimmung des lens flare einzuparen. Grundsätzlich ist es aber auch möglich das „endgültige“ (zur Position der Lichtquelle ausgerichtete) Flare-Bild anhand des Abstands (Radius) und des Winkels zum Zentrum oder anhand von kartesischen Koordinaten zu bestimmen.
-
In einer weiteren zweckmäßigen Verfahrensvariante wird das Flare-Bild vor dessen Kombination mit der Aufnahme mit der (insbesondere ermittelten) Form der Lichtquelle (optional auch einem Intensitätsbild, das deren Form beinhaltet) gefaltet. Dies ist dahingehend vorteilhaft, dass der lens flare im Flare-Bild insbesondere ausgehend von einer punktförmigen Lichtquelle erstellt wird. Durch die Faltung kann der lens flare dann an die Ausdehnung und Form der Lichtquelle (insbesondere angegeben in Pixeln) „angepasst“, vorzugsweise mit einer korrespondierenden Unschärfe versehen („verschmiert“) werden. Dadurch wird ein vergleichsweise realitätsnahes Kombinationsbild ermöglicht. Im Fall der Sonne würde also das Flare-Bild mit einer runden Scheibe gefaltet werden, im Fall eines (insbesondere überstrahlten) Fernsehers mit einem Rechteck. Optional kann hierbei auch die Intensitätsverteilung der Lichtquelle (über deren Form), insbesondere farbaufgelöst, zum Falten mit dem Flare-Bild herangezogen werden. Da aber bereits das (insbesondere vorstehend genannten Intensitäts-) Bild der Lichtquelle hier bereits eine hinreichend hohe Ähnlichkeit aufweist, kann diese Maßnahme auch entfallen, so dass bei Einsparung von Rechenzeit (und/oder Rechenleistung) dennoch subjektiv qualitativ ausreichend hochwertige Ergebnisse erzielt werden können.
-
Um den lens flare an die Farbe der Lichtquelle anzupassen, wird insbesondere im Rahmen der vorstehend beschriebenen Faltung gemäß einer vorteilhaften Verfahrensvariante zumindest ein Farbfilter, der die Farbe und insbesondere auch die Intensität der Lichtquelle enthält, angewendet. Anders ausgedrückt wird ein solches Farbfilter in die Faltung integriert. Die Farbe eines lens flare hängt vom Spektrum der Lichtquelle (sowie insbesondere auch von Antireflexionsbeschichtungen und/oder Materialien der Optik) ab und kann deshalb mit der für die Lichtquelle ermittelten Farbe gewichtet werden. Dies führt vorteilhafterweise zu einer möglichst realitätsnahen Darstellung des lens flare. Hierzu werden insbesondere die Intensitätswerte der jeweiligen Farbkanäle der Aufnahme der Lichtquelle gewichtet bei der Faltung des lens flare mit dem Intensitätsbild der Lichtquelle berücksichtigt. Bspw. wird hierzu ein sogenannter Filterkernel, der abhängig von der Intensitätswert der Farbkanäle gewichtet ist, bei der Faltung eingesetzt.
-
Für eine möglichst hohe Flexibilität - insbesondere auch in künstlerischer Hinsicht - wird als vorgegebene Optik in einer optionalen Verfahrensvariante eine Optik herangezogen, die unterschiedlich zu der Optik für die mit dem Flare-Bild zu kombinierenden Aufnahme (insbesondere also unterschiedlich gegenüber der entsprechenden Optik der Bildaufnahmeeinrichtung) ist. So kann bspw. über eine mit dem mobilen Endgerät (bspw. einem Smartphone oder Tablet) erfasste Aufnahme ein lens flare „gelegt“ werden, der von seiner Ausprägung her bspw. von einem cinematischen oder anderweitigen (bspw. aus dem professionellen Bereich stammenden) Objektiv stammen würde. Dadurch können also Aufnahmen vergleichsweise einfacher Endgeräte mit professionell anmutenden Effekten, hier die lens flares, versehen werden.
-
Bspw. kann die Optik für die Erstellung des lens flare fest vorgegeben sein, bspw. als die vorgenannte cinematische Optik. Zweckmäßigerweise wird einem Nutzer des Bildaufnahmesystems, insbesondere des mobilen Endgeräts, aber (entsprechend vor der Erstellung des lens flares) eine Auswahl an (mehreren) verschiedenen Optiken angeboten, für die der jeweilige lens flare erstellt werden soll. Aus dieser wählt der Nutzer dann die gewünschte Optik als vorgegebene Optik aus. Bspw. umfasst diese Auswahl (insbesondere neben der vorstehend genannten cinematischen, optional auch anderen professionellen Optiken) auch die real eingesetzte Optik, also die für die mit dem Flare-Bild zu kombinierende Aufnahme herangezogene Optik. Der Nutzer kann also in dieser Variante die Optik, für die der lens flare erstellt werden soll, spezifisch vorgeben.
-
Unter „cinematischer“ oder „professioneller“ Optik oder Objektiv werden hier und im Folgenden insbesondere solche Optiken verstanden, die aufgrund ihrer optischen Eigenschaften, Vergütungen und/oder geringen Fertigungstoleranzen üblicherweise nur in der Cinematographie oder professionellen Photographie zum Einsatz kommen (insbesondere da diese für übliche Verbraucher häufig nicht verfügbar oder in einem unrentablen Preisbereich liegen).
-
In einer zweckmäßigen Verfahrensvariante werden vor oder nach der Kombination des Flare-Bilds mit der Aufnahme die Farbkanäle der Aufnahme und/oder bzw. des Kombinationsbilds entsprechend einer Transmissionskurve der vorgegebenen Optik bzw. der Optik der Bildaufnahmeeinrichtung korrigiert. Für den Fall, dass als vorgegebene Optik eine andere Optik als die für die mit dem Flare-Bild zu kombinierende Aufnahme zur Erstellung des lens flare herangezogen wird, wird vorteilhafterweise die Aufnahme an die Transmissionskurve der vorgegebenen Optik angepasst, um die gegebenenfalls unterschiedlichen Farbspektren der aus den unterschiedlichen Optiken hervorgehenden aneinander anzupassen. Für den Fall, dass bspw. als vorgegebene Optik das vorstehend genannte cinematische Objektiv verwendet werden soll, kann so die bspw. mit dem Smartphone erstellte Aufnahme an die Transmissionskurve des cinematischen Objektivs angepasst werden, so dass der Gesamteindruck aus Aufnahme und zugefügtem lens flare hinsichtlich ihrer Spektren „zusammenpassen“. Ebenso kann aber auch die „ursprüngliche“ Aufnahme zunächst anhand der Transmissionskurve der „eigenen“ Optik korrigiert werden, um eventuell aufgetretene Bildfehler zu verringern.
-
In einer bevorzugten Verfahrensvariante wird die Bestimmung der Position, der Form, der Intensität bzw. der Farbe der Lichtquelle mittels Segmentierung der entsprechenden Aufnahme durchgeführt. Vorzugsweise wird auch das Vorhandensein der Lichtquelle an sich mittels Segmentierung überprüft (oder: analysiert).
-
In einer besonders zweckmäßigen Verfahrensvariante wird die Bestimmung zumindest der Intensität (insbesondere der absoluten Intensität) der Lichtquelle, optional aber auch der Position, der Form und/oder der Farbe der Lichtquelle, anhand einer von der mit dem Flare-Bild zu kombinierenden Aufnahme unterschiedlichen, insbesondere mittels eines zusätzlichen Bildsensors mit einer entsprechend zugeordneten zusätzlichen Optik erfassten, Aufnahme („Überblick-Aufnahme“) durchgeführt, die einen höheren dynamischen Umfang als die zu kombinierende Aufnahme aufweist. Anders ausgedrückt werden zumindest zwei Aufnahmen (insbesondere parallel) erstellt, wobei eine der beiden Aufnahmen die eigentliche Bildinformation enthält und die andere Aufnahme als Informationsquelle über die Lichtquelle dient. Für letztere Aufnahme (also die Überblick-Aufnahme) wird insbesondere eine möglichst kleine ISO-Zahl und/oder eine kurze Belichtungszeit verwendet, um einen für die möglichst vollständige Erfassung der Intensität der Lichtquelle erforderlichen Dynamikumfang zu erreichen. Bei herkömmlichen Aufnahmeeinstellungen kommt es nämlich häufig zu sogenanntem clipping (Übersteuern oder Überbelichten einzelner Bildpunkte oder Pixel, d. h. die tatsächliche Intensität übersteigt die mit einem Pixel erfassbare Intensität). Optional kann hierzu auch ein Neutraldichtefilter (oder ein vergleichbares, die Transmission dämpfendes Filter für die zusätzliche Optik zum Einsatz kommen. Dieses Vorgehen ist bei einem das mobile Endgerät bildenden Smartphone von Vorteil, da moderne Smartphones häufig mehrere parallel arbeitende „Kameras“ mit unterschiedlichen Optiken, z. B. Weitwinkel, Tele und dergleichen, aufweisen. Vorzugsweise werden für die Überblick-Aufnahme eine Weitwinkel-Optik sowie ein Bildsensor, der zweckmäßigerweise für entsprechende ISO-Zahlen eingerichtet ist, herangezogen. Solche Kameras sind insbesondere bei Smartphones vorteilhafterwiese auch derart nahe zueinander angeordnet, dass der Versatz der jeweiligen optischen Achsen zueinander vernachlässigbar ist.
-
Vorzugsweise wird für die Überblick-Aufnahme eine Optik (und insbesondere auch ein zugeordneter Bildsensor) herangezogen, die gegenüber der Optik (sowie insbesondere dem zugeordneten Bildsensor) für die mit dem Flare-Bild zu kombinierenden Aufnahme ein größeres Sichtfeld, d. h. ein größeres „field of view“ (FOV) aufweist. Dies wird im Fall des Smartphones bspw. wie vorstehend beschrieben insbesondere durch Einsatz der Kamera mit der Weitwinkel-Optik erreicht. Dadurch wird vorteilhafterweise zusätzlich ermöglicht, auch Lichtquellen, die außerhalb der „eigentlichen“ (d. h. der mit dem Flare-Bild zu kombinierenden) Aufnahme (also außerdem deren Sichtfelds) liegen (aber innerhalb des FOV der zusätzlichen Optik), zu erfassen und zur Erzeugung eines entsprechenden lens flare heranzuziehen.
-
In einer optionalen Verfahrensvariante wird diese Überblick-Aufnahme mittels eines separaten Geräts, bspw. einer von dem mobilen Endgerät separaten Kamera, erstellt. Diese Kamera umfasst in diesem Fall also insbesondere die zusätzliche Optik sowie den zusätzlichen Bildsensor. Entsprechend umfasst das Bildaufnahmesystem hierbei neben dem mobilen Endgerät zweckmäßigerweise auch diese separate Kamera. Zweckmäßigerweise steht die separate Kamera in datenübertragungstechnischer Verbindung mit dem mobilen Endgerät, insbesondere um die Überblick-Aufnahme an das mobile Endgerät übertragen zu können, sowie optional auch, um eine Auslösung der Überblick-Aufnahme von dem mobilen Endgerät aus steuern zu können.
-
In einer alternativen Verfahrensvariante kann alternativ kann aber auch nur ein Bildsensor mit einer zugeordneten Optik zum Einsatz kommen, wenn dieser Bildsensor zur Erfassung von HDR-Aufnahmen (d. h. Aufnahmen mit hohem Dynamikumfang, „high dynamic range“) eingerichtet ist.
-
Weiter alternativ, allerdings mit höherem Aufwand verbunden, kann die Intensität der Lichtquelle aber auch aus der (gegebenenfalls clipping unterworfenen) Aufnahme zumindest grob geschätzt werden, indem ein Halo um eine überbelichtete Lichtquelle in Bezug auf eine Form einer Punktspreizfunktion und auch die aus der Segmentierung ermittelte Form der Lichtquelle ausgewertet werden. Beispielsweise werden dazu als „inverse tonemapping“ bekannte Methoden herangezogen.
-
Um eine möglichst realistische Einstellung des lens flare zu erreichen, wird dessen Intensität zweckmäßigerweise in Abhängigkeit von der für die (entsprechend zugeordneten) Lichtquelle ermittelten Intensität, optional der absoluten Intensität, skaliert, vorzugsweise an diese Intensität angepasst. Unter der „absoluten Intensität“ ist insbesondere die Zahl der vom Bildsensor erfassten Zahl an Photonen (insbesondere im Fall sogenannten photonenzählenden Bildsensoren) zu verstehen.
-
In einer bevorzugten Verfahrensvariante kommt als trainierter Algorithmus insbesondere einer zum Einsatz, der auf ein ray tracing oder ähnliches Modell für die vorgegebene Optik oder auf reale Messungen und/oder Bildaufnahmen mittels der vorgegebenen Optik trainiert wurde. Optional ist der Algorithmus auf mehrere Optiken trainiert, so dass die vorstehend beschriebene nutzerspezifische Auswahl einer bestimmten Optik bspw. einem im Rahmen des Algorithmus berücksichtigten Parametersatz verändert. Alternativ kommt für jede zur Auswahl stehende Optik ein spezifischer, gemäß vorstehenden Ausführungen trainierter Algorithmus zum Einsatz, der bei entsprechender Auswahl eines Objektivs durch den Nutzer „aktiviert“ wird.
-
Vorzugsweise wird für den Algorithmus (oder im Fall mehrerer optional auch für jeden Algorithmus) ein Convolutional Neural Network (kurz: CNN) herangezogen. Alternativ wird ein nicht-linearer Regressionsalgorithmus, ein dictionary learning Algorithmus oder dergleichen herangezogen.
-
Das erfindungsgemäße Bildaufnahmesystem weist das vorstehend beschriebene mobile Endgerät auf, das wiederum wie vorstehend beschrieben die Bildaufnahmeeinrichtung aufweist. Letztere umfasst wiederum den wenigstens einen Bildsensor sowie die entsprechend zugeordnete Optik zur Erfassung der vorstehend genannten Aufnahme der Szene. Das Endgerät weist ferner einen Prozessor auf, der dazu eingerichtet ist, das vorstehend beschriebene Verfahren, insbesondere selbsttätig, durchzuführen.
-
Das Bildaufnahmesystem, insbesondere das mobile Endgerät - vorzugsweise ein Smartphone -, weist mithin ebenfalls die vorstehend beschriebenen körperlichen Merkmale, aber auch die Verfahrens-Merkmale auf. Somit teilen sich das Verfahren und das Endgerät auch die sich aus den Verfahrensschritten bzw. den körperlichen Merkmalen ergebenden Vorteile.
-
Vorzugsweise handelt es sich bei dem Prozessor zumindest im Kern um einen Mikroprozessor mit zugeordnetem Speicher, auf dem eine (insbesondere durch Programmcode gebildete) Softwareapplikation zur Durchführung des vorstehend beschriebenen Verfahrens lauffähig implementiert ist. Das Verfahren wird also bei Ausführung der Softwareapplikation durch den Mikroprozessor durchgeführt. Hier ist ferner von Vorteil, dass moderne Smartphone-Prozessoren häufig bereits zur Ausführung von Algorithmen aus dem Bereich der künstlichen Intelligenz eingerichtet sind.
-
Optional ist das Bildaufnahmesystem insbesondere durch das mobile Endgerät selbst gebildet. Für den vorstehend beschriebenen Fall der separaten Kamera für die Übersichtsaufnahme kann das Bildaufnahmesystem aber zusätzlich auch diese separate Kamera umfassen.
-
Die Erfindung betrifft außerdem ein Computerprogrammprodukt (auch als „Softwareprogramm“ oder „Applikation“, kurz: „App“ bezeichnet), das Befehle aufweist (enthält), die bei der Ausführung des Computerprogrammprodukts auf einem Prozessor des Bildaufnahmesystems, insbesondere auf dem (vorstehend genannten) Prozessor des Endgeräts, dieses veranlassen, das vorstehend beschriebene Verfahren auszuführen.
-
Die Konjunktion „und/oder“ ist hier und im Folgenden insbesondere derart zu verstehen, dass die mittels dieser Konjunktion verknüpften Merkmale sowohl gemeinsam als auch als Alternativen zueinander ausgebildet sein können.
-
Nachfolgend wird ein Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
- 1 in einer schematischen Aufsicht auf eine Rückseite ein mobiles Endgerät,
- 2 in einer schematischen Darstellung einen Ablauf eines Betriebsverfahrens für das mobile Endgerät, und
- 3 in einem schematischen Ablaufdiagramm Schritte des Betriebsverfahrens.
-
Einander entsprechende Teile und Größen sind in allen Figuren stets mit gleichen Bezugszeichen versehen.
-
In 1 ist schematisch ein Bildaufnahmesystem aufweisend ein mobiles Endgerät, konkret ein Smartphone 1, mit Blick auf dessen Rückseite dargestellt. Das Smartphone 1 umfasst neben den üblichen Komponenten wie einem Gehäuse 2 und einem Bildschirm an der nicht dargestellten Vorderseite, etc., zumindest eine Bildaufnahmeeinrichtung 4. Diese ist im vorliegend behandelten Ausführungsbeispiel durch drei einzelne Kameras, nämlich eine Hauptkamera 6, eine Weitwinkelkamera 8 und eine Telekamera 10 gebildet. Jede dieser Kameras weist einen nicht näher dargestellten Bildsensor sowie eine Optik 12, 14 bzw. 16 (Objektiv) auf, die im Zusammenspiel mit dem jeweiligen Bildsensor die entsprechende Funktion (z. B. Weitwinkel-Aufnahmen) ermöglicht. Des Weiteren umfasst das Smartphone 1 einen Prozessor 18. Auf einem dem Prozessor 18 zugeordneten Speicher 20 ist ein Softwareprogramm lauffähig installiert, unter dessen Ausführung im Betrieb der Prozessor 18 ein nachfolgend näher beschriebenes Betriebsverfahren durchführt.
-
Die Optiken 12, 14 und 16 des Smartphones 1 sind vergütet, d. h. mit Anti-Reflex-Beschichtungen versehen, damit Reflexionen an den jeweiligen Linsenoberflächen unterbunden oder zumindest verringert werden, um die Transmission einer jeden Optik 12, 14 und 16 möglichst hoch zu halten. Dadurch werden zwar Linsenreflexionen, die auch als lens flares, ghosts, Blendenflecke oder dergleichen bezeichnet werden, unterbunden oder auf ein vernachlässigbares Maß verringert, da diese in vielen Bildaufnahmen als störend empfunden werden. Allerdings sind vor allem für künstlerische Bildaufnahmen solche lens flares wünschenswert, um bestimmte Bildelemente hervorheben oder unterstreichen zu können. Beispielsweise kann eine herkömmliche Kamera den natürlichen Dynamikumfang nicht abbilden, helle Lichtquellen führen zu einer Übersteuerung einzelner Sensorpixel und werden aufgrund von Clipping in ihrem Dynamikumfang verringert. Um künstlerisch die Helligkeit einer Lichtquelle hervorzuheben, wird sich häufig der Wirkung der erwähnten lens flares bedient, da diese eine Art Blendwirkung veranschaulichen können. Bei herkömmlichen Spiegelreflexkameras kann hierzu bspw. ein anderes Objektiv verwendet werden, das nicht oder nur gering vergütet ist. Bei einem Smartphone wie dem dargestellten, ist dies allerdings nicht möglich. Aus diesem Grund ist das Smartphone 1 mittels des Softwareprogramms dazu eingerichtet, lens flares für eine Bildaufnahme künstlich zu erzeugen.
-
Hierzu wird gemäß einem ersten Verfahrensschritt S1 (s. 3) mit der Hauptkamera 6 eine (Haupt-) Aufnahme 30 erfasst. Im vorliegenden Ausführungsbeispiel wird zumindest auch mit einer der anderen Kameras, hier mit der Weitwinkelkamera 8 zeitgleich eine Übersichtsaufnahme (nicht dargestellt) der gleichen Szene und mit gleichen Bildabmessungen wie die Aufnahme 30, jedoch mit möglichst niedriger ISO-Zahl, erfasst, um einen möglichst hohen Dynamikumfang abbilden zu können.
-
Aus der Übersichtsaufnahme wird gemäß einem zweiten Verfahrensschritt S2 mittels Segmentierung eine Position P einer Lichtquelle - in der Aufnahme 30 konkret eines Leuchtkörper 32 einer Laterne 34 - detektiert. Diese Position P wird durch einen Abstand A vom optischen Zentrum Z (hier dem Zentrum der Aufnahme 30 bzw. der Übersichtsaufnahme) sowie einen Winkel W gegenüber einer Horizontalen H beschrieben. Dies gilt für die hier verwendeten rotationssymmetrischen Optiken 12 bzw. 14. Des Weiteren wird im zweiten Verfahrensschritt S2 mittels der Segmentierung auch eine Intensität I, eine Form S und eine Farbe F des Lichts des Leuchtkörpers 32 bestimmt.
-
Auf Basis der Position P des Leuchtkörpers 32 wird in einem dritten Verfahrensschritt S3 ein Flare-Bild 40 mit einem lens flare 42 für diese Lichtquelle erstellt. Hierzu wird ein auf die Abbildungseigenschaften einer vorgegebenen Optik trainierter Algorithmus, im vorliegenden Ausführungsbeispiel konkret ein CNN-Algorithmus verwendet. Die Abbildungseigenschaften der vorgegebenen Optik wurden dem Algorithmus dabei mittels realer Bildaufnahmen mittels dieser vorgegebenen Optik (oder zumindest einer baugleichen Optik) und/oder mittels einer mittels eines ray tracing Verfahrens ermittelten Eigenschaften antrainiert. Im vorliegenden Ausführungsbeispiel wird als vorgegebene Optik bspw. eine cinematische Optik herangezogen. Alternativ - bspw. nutzerspezifisch über ein Menü des Softwareprogramms auswählbar - kann aber auch die Optik 12 der Hauptkamera 6 als vorgegebene Optik zum Einsatz kommen. Im Fall der Auswahlmöglichkeit verschiedener Optiken ist ein jeweils entsprechend trainierter Algorithmus hinterlegt und wird bei entsprechender Auswahl aktiviert. Nach Erstellung des Flare-Bilds 40 wird dieses in Abhängigkeit von dem Winkel W rotiert, so dass eine Längsachse des lens flare 42 der Ausrichtung der Lichtquelle gegenüber dem Zentrum Z entspricht.
-
In einem vierten Verfahrensschritt S4 wird das Flare-Bild 40 mit der Form S der Lichtquelle gefaltet. Dadurch wird der lens flare 42 auf die Ausdehnung und Form S der Lichtquelle angepasst, was sich unter anderem in einer gewissen Schärfereduktion des lens flare 42 äußert. Im Rahmen dieser Faltung wird aber auch ein Farbfilter auf den lens flare 42 angewendet, um die Farben des lens flare 42 an das Spektrum der Lichtquelle anzupassen.
-
In einem nachfolgenden, fünften Verfahrensschritt S5 wird das derart bearbeitete Flare-Bild 40 mit der Aufnahme 30 zu einem Kombinationsbild 44 kombiniert. Dazu wird das Flare-Bild 40 bspw. in einer zugeordneten Bildebene vor die Aufnahme gelegt oder auf die Aufnahme 30 aufaddiert. Das Kombinationsbild 44 wird anschließend in dem Speicher 20 abgelegt sowie auf dem Bildschirm des Smartphones 1 angezeigt.
-
Optional werden die Farbkanäle der Aufnahme 30 vor der Kombination zu dem Kombinationsbild 44 noch an die Transmissionskurve der vorgegebenen Optik angeglichen, damit der lens flare 42 aufgrund seiner Farbgebung nicht als subjektiv unerwartet aus dem Kombinationsbild 44 heraussticht.
-
Der Gegenstand der Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können weitere Ausführungsformen der Erfindung von dem Fachmann aus der vorstehenden Beschreibung abgeleitet werden.
-
Der Vorteil des vorstehend beschriebenen Vorgehens liegt unter anderem darin, dass bei bekannter Position der Lichtquelle die übrigen Parameter (insbesondere Farbe der Lichtquelle, Form etc.) zur Beschreibung des lens flare vergleichsweise einfach beschreibbar bzw. ermittelbar sind. Für die Nutzung der KI zur Erstellung des Flare-Bilds reicht somit die Position der Lichtquelle. Alle weiteren Operationen (Rotation, Faltung etc.) sind vergleichsweise einfacher Natur.
-
Bezugszeichenliste
-
- 1
- Smartphone
- 2
- Gehäuse
- 4
- Bildaufnahmeeinrichtung
- 6
- Hauptkamera
- 8
- Weitwinkelkamera
- 10
- Telekamera
- 12
- Optik
- 14
- Optik
- 16
- Optik
- 18
- Prozessor
- 20
- Speicher
- 30
- Hauptaufnahme
- 32
- Leuchtkörper
- 34
- Laterne
- 40
- Flare-Bild
- 42
- lens flare
- 44
- Kombinationsbild
- S1, S2
- Verfahrensschritt
- P
- Position
- A
- Abstand
- Z
- Zentrum
- W
- Winkel
- H
- Horizontale
- I
- Intensität
- S
- Form
- F
- Farbe
- S3, S4, S5
- Verfahrensschritt
