DE102004049601A1

DE102004049601A1 - Eine Methode zur Korrektur von Bildfehlern, die auf lange Aufnahmezeiten zurückgehen

Info

Publication number: DE102004049601A1
Application number: DE102004049601A
Authority: DE
Inventors: Ingolf Sack
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-10-12
Filing date: 2004-10-12
Publication date: 2006-04-13

Abstract

Problem: Lange Foto- und/oder Filmaufnahmezeiten führen zu zeitlichen Bildunschärfen und/oder Sättigungseffekten der Fotorezeptoren. Mechanische Korrekturmethoden im Aufnahmeapparat sind technisch aufwendig und ungenau. DOLLAR A Lösung: Es werden mindestens zwei Bilder mit kurzen Aufnahmezeiten akquiriert, die jeweils keine der o. g. Bildartefakte aufweisen. Diese sog. Einzelbilder werden auf ein zuvor festgelegtes Referenzbild, d. h. eines dieser Einzelbilder, registriert, um eine mögliche Relativbewegung von Aufnahmeapparat und dem aufzunehmenden Objekt auszugleichen. Alle registrierten Einzelbilder sowie das Referenzbild werden summiert oder gemittelt, um einen ausreichenden Bildkontrast mit ausreichender Helligkeit zu erzielen. DOLLAR A Anwendungsgebiet: Die Methode eignet sich insbesondere zur Bildkorrektur von digitalen Foto- und/oder Filmaufnahmen.

Description

Es ist bekannt, dass die Aufnahmezeit von Bildern und Filmen von der Helligkeit der aufzunehmenden Objekte abhängt. Daraus können unter ungünstigen Lichtverhältnissen lange Aufnahmezeiten resultieren. Mit dem Terminus „lange Aufnahmezeiten" werden folgende ungünstige Effekte verbunden, die bei Foto- und/oder Filmaufnahmen auftreten können:

– Zeitliche Bildunschärfen aufgrund von Bewegungen des Aufnahmeapparates während der Bildaufnahme (Verwackeln).
– Zeitliche Bildunschärfen aufgrund von Objektbewegungen während der Bildaufnahme.
– Eine Überbelichtung bestimmter heller Bildbereiche, um eine korrekte Belichtung dunkler Bildbereiche zu gewährleisten (Sättigungseffekt).
– Eine beliebige Kombination der vorhergehenden drei Punkte.

Diese ungünstigen Effekte bei Foto- und/oder Filmaufnahmen führen zu Bildfehlern, deren Wahrscheinlichkeit mit der Länge der Aufnahmezeit steigt. Demzufolge treten Bildfehler weniger wahrscheinlich innerhalb kurzer Aufnahmezeiten auf. Die Bezeichnung „kurze Aufnahmezeiten" bezieht sich dabei auf alle Aufnahmezeiten, in denen keine zeitlichen Bildunschärfen und/oder Sättigungseffekte auftreten. Die Bilder, die mit diesen kurzen Aufnahmezeiten gewonnen werden, werden als „Einzelbilder" bezeichnet. Im Gegensatz dazu soll für Bilder, die mit langen Belichtungszeiten aufgenommen wurden, der Terminus konventionelles Bild verwendet werden. Unter ungünstigen Lichtverhältnissen ist demzufolge ein Einzelbild dunkler als ein konventionelles Bild, d.h. es besitzt einen zu geringen Bildkontrast. In vielen Fällen ist das aufzunehmende Objekt auf einem Einzelbild nicht erkennbar, während es im konventionellen Bild unscharf abgebildet wird. Beschränkt sich das aufzunehmende Objekt auf einen bestimmten Bildausschnitt, wird es auch als Region von Interesse (ROI) bezeichnet.

Zum Ausgleich von Verwacklungsartefakten werden momentan kommerzielle Lösungen angeboten, die auf einer Adaption des Linsenapparates und/oder einer Aktivbewegung der Fotorezeptoren basieren. Für eine Korrektur von Sättigungseffekten aufgrund langer Belichtungszeiten gibt es, nach Kenntnis des Autors, keine Methode.

Der im Patentanspruch 1 angegebenen Erfindung liegt das Problem zugrunde, dass konventionelle Korrekturverfahren von zeitlichen Bildunschärfen bei Foto und/oder Filmaufnahmen nur langsam und/oder ungenau arbeiten und außerdem einen relativ hohen technischen Aufwand erfordern. Außerdem besitzt jeder Fotorezeptor einen Sättigungsbereich, in dem die Stärke des ankommenden Lichtes und das erzeugte Signal im Rezeptor nicht mehr linear miteinander korreliert sind.

Dieses Problem wird für insbesondere digitale Foto- und/oder Filmaufnahmen durch die im Patentanspruch 1 aufgeführten Merkmale gelöst:

1) Es erfolgt die Aufnahme von mindestens zwei Einzelbildern mit jeweils kürzerer Aufnahmezeit als es die Lichtverhältnisse für die Aufnahme eines konventionellen Bildes erfordern würden.
2) Die aufgenommenen Bilder werden mit einem mathematischen Standardalgorithmus aufeinander registriert.
3) Die registrierten Bilder werden zu einem Endbild addiert oder gemittelt, um einen, dem konventionellen Bild entsprechenden Bildkontrast zu gewährleisten.

Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass es möglich wird, beliebig lange insbesondere digitale Foto- und/oder Filmaufnahmezeiten zu realisieren ohne zeitliche Bildunschärfen in Kauf nehmen zu müssen. Außerdem ist es möglich Sättigungseffekte der Fotorezeptoren zu vermeiden, weil jedes Bild im ungesättigten Bereich der Rezeptoren aufgenommen wird. Die Implementierung eines Registrierungsalgorithmus auf handelsüblichen digitalen Foto- und/oder Filmaufnahmegeräten ist technisch leicht durchführbar, weil keine Bewegungssensoren notwendig sind und/oder die Aufnahmeoptik nicht adaptiert werden muss.

Eine vorteilhafte Ausgestaltung der Erfindung, ist im Patentanspruch 2 gegeben. Diese ermöglicht es, noch während der Bildaufnahme die Bildkorrektur durchzuführen. Dadurch wird erreicht, dass ein Einzelbild nach erfolgter Registrierung wieder gelöscht werden kann und Arbeitsspeicher für die Aufnahme weiterer Einzelbilder frei wird. Das ermöglicht eine stundenlange Bildaufnahme, was insbesondere bei Nachthimmelaufnahmen von Vorteil ist. Der Aufnahmeapparat braucht in diesem Falle nicht der Himmelsbewegung zu folgen, es wird lediglich der Drift der Objekte pro Einzelbild korrigiert.

Eine weitere vorteilhafte Ausgestaltung der Erfindung, ist im Patentanspruch 3 gegeben. Hierbei wird die Registrierung zweier Einzelbilder auf einen bestimmten Bildausschnitt (ROI) bezogen, der zuvor automatisch oder manuell festgelegt wurde. Dadurch soll es ermöglicht werden, einen bestimmten Interessensbereich im Bild scharf abzubilden, während nebensächliche Objekte und/oder Bildrauschen keinen oder nur beschränkten Einfluss auf die Qualität der Bildkorrektur des ROI's haben.

Eine weitere vorteilhafte Ausgestaltung der Erfindung, ist im Patentanspruch 4 gegeben. Dieser beinhaltet die Abschätzung der Güte der Bildkorrektur, bevor die Einzelbilder verworfen werden. Bei geringer Güte wird die Bildkorrektur mit einer veränderten mathematischen Methode wiederholt oder das betreffende Einzelbild wird nicht für die Bildkorrektur verwendet und gelöscht.

Eine weitere vorteilhafte Ausgestaltung der Erfindung, ist im Patentanspruch 5 gegeben. Dabei wird mit einer beliebigen fototechnischen Methode, die insbesondere die Anwendung eines Lichtstrahls mit bestimmter Wellenlänge und/oder Polarisierungsrichtung und/oder Kohärenz erforderlich macht, mindestens ein Punkt im Raum markiert. Ein fototechnisch markierter Punkt wird dann bei der Bildkorrektur als Referenzpunkt erkannt und zur Bildregistrierung benutzt, was eine genauerer Bildregistrierung (s.u.) ermöglicht.

Eine weitere vorteilhafte Ausgestaltung dieser Erfindung, ist im Patentanspruch 6 gegeben. Dabei wird mit einem Bewegungssensor die Bewegung des Aufnahmeapparates aufgezeichnet, um diese Information in die Bildregistrierung einfließen zu lassen. Ein Wissen um den Bewegungsverlauf des Aufnahmeapparates erleichtert die unten beschriebene Bewegungskorrektur der Einzelbilder.

Nach Patentanspruch 6 kann die beschriebene Korrekturmethode gemäß den Ansprüchen 1-6 in einem eigens dafür konzipierten Aufnahmeapparat angewendet werden. Die Anwendung der Korrekturmethode ist optional zu- und abschaltbar. Ebenso ist es möglich, nach Aufnahme der Einzelbilder, die beschriebene Korrekturmethode außerhalb des Aufnahmeapparates durchzuführen.

Ein Ausführungsbeispiel der Erfindung ist in den 1 und 2 gegeben. In 1 wird beispielhaft demonstriert, dass die Fotografien eines Raumes, welche mit kurzer Aufnahmezeit aufgenommen wurden keine zeitlichen Unschärfen zeigen. Allerdings sind diese Einzelbilder zu dunkel (s. 1 Bilder 1..N). Die Addition aller Einzelbilder führt zu einem Bild (s. 1 Bild Σ), welches eine ausreichende Helligkeit besitzt, allerdings die o.g. zeitlichen Bildunschärfen zeigt. Die Piktogramme am rechten oberen Rand jedes Einzelbildes (z.B.:
demonstrieren die Relativbewegung zwischen Kamera und Aufnahmeobjekt, die in dem gezeigten Fall in einer leichten Linksdrehung der Kamera um ihre zentrale Achse, sowie ihre Verschiebung in Richtung der rechten, unteren Ecke besteht. 2 zeigt exemplarisch, wie die Korrektur der zeitlichen Bildunschärfe erfolgen kann. Das erste Bild (2 1) wird als Referenzbild verwendet, wobei jedes weitere der Einzelbilder (2 2..N) ebenso als Referenzbild verwendet werden kann. Jedes Einzelbild, welches nicht als Referenzbild deklariert wurde, wird mit einer mathematischen Operation, die weiter unten beschrieben ist, auf das Referenzbild registriert. Die registrierten Einzelbilder, sowie das Referenzbild werden dann aufsummiert, um ein Bild ausreichender Helligkeit (s.2 Σ) zu ergeben. Dieses Summenbild zeigt nach der Anwendung der Korrekturmethode keine zeitlichen Bildunschärfen.
Mathematische Bildregistrierung
Als Algorithmus zur Bildregistrierung kann eine analytische oder eine pixelwertbasierte oder jede andere Methode zur Anwendung kommen.
Analytische Methode: Dabei ist die Kenntnis der Position mindestens zweier Bildpunkte (Exempelpunkte) vor und nach der Verschiebung notwendig. Aus der Positionsveränderung lässt sich eine Bewegungsmatrix berechnen, mit deren Hilfe die Rückbewegung des Bildes durchgeführt werden kann. Die Bewegungsmatrix wird somit auf alle Pixel des Bildes gleichermaßen angewendet. Die Genauigkeit der Methode kann durch Kenntnis von mehr als nur zwei Positionsverschiebungen erhöht werden.
Vorteil: Genaues und schnelles analytisches Verfahren.
Nachteil: Die analytischen Positionen von Exempelpunkten müssen meist mit Hilfe einer schwellwertbasierten Methode extrahiert werden. Die Genauigkeit der Registrierung in jedem Bildpunkt hängt dann von der Genauigkeit der Positionsfindung der Exempelpunkte ab.
Pixelwertbasierte Methode: Dabei werden zwei Bilder durch ein iteratives Verschieben und Drehen eines der beiden Bilder in Übereinstimmung gebracht. Es wird nach jedem Iterationsschritt die Korrelationsmatrix berechnet. Bei signifikant abnehmender Korrelation wird die Registrierung abgebrochen, da eine optimale Übereinstimmung angenommen wird. Vorteil: Bei nur kleinen Verschiebungen (wie im Falle der beschriebenen Korrekturmethode) relativ schnelles Verfahren. Keine Bewegungsmatrix notwendig, da die Operation bereits unter Einbeziehung aller Bildpunkte erfolgen kann.
Nachteil: Bei größeren Verschiebungen kann es zu Falschregistrierungen kommen, wenn ein lokales Maximum der Bildkorrelation gefunden wurde. Ebenso steigt der Rechenaufwand mit der Größe der Verschiebung sowie mit der Größe der Bildmatrix.
Referenzen zum derzeitigen Stand kommerzieller Bewegungskorrekturen in Kameras (exemplarisch)

http://konicaminolta.com/products/consumer/digital_camera/dimage/dimage-a2/02.html
http://www.canon.com/technology/detail/digi_video/shakecorrect_shift/

Claims

Bildbasierte Korrekturmethode von zeitlichen Bildunschärfen und/oder von Sättigungseffekten von Fotorezeptoren, hervorgerufen durch lange Aufnahmezeiten bei Foto- und/oder Filmaufnahmen, insbesondere bei digitalen Foto- und/oder Filmaufnahmen, dadurch gekennzeichnet, dass mindestens zwei Einzelbilder ohne zeitliche Bildunschärfen und/oder ohne Sättigungseffekte der Fotorezeptoren, d.h. aufgenommen mit kurzen Aufnahmezeiten, erst aufeinander registriert und danach zum Endbild addiert werden.
Korrekturmethode nach Patentanspruch 1 dadurch gekennzeichnet, dass die Güte jeder Einzelbildkorrektur abgeschätzt und zur weiteren Bildkorrektur herangezogen wird.
Korrekturmethode nach Patentanspruch 1-2 dadurch gekennzeichnet, dass ausschließlich Regionen von Interesse im Bild korrigiert werden, die zuvor selektiert wurden.
Korrekturmethode nach Patentanspruch 1-3 dadurch gekennzeichnet, dass während Einzelbilder ohne zeitliche Unschärfe akquiriert werden, die Registrierung und Addition vorhergehender Einzelbilder bereits erfolgt.
Korrekturmethode nach Patentanspruch 1-4 mit fototechnischer Korrekturassistenz während der Bildaufnahme dadurch gekennzeichnet, dass mindestens ein Punkt im aufzunehmenden Objekt mit fototechnischen Mitteln unverwechselbar markiert wird, um später für die Bildkorrektur als Referenzpunkt bzw. Referenzpunkte verwendet zu werden.
Korrekturmethode nach Patentanspruch 1-4 mit bewegungssensorischer Korrekturassistenz während der Bildaufnahme dadurch gekennzeichnet, dass zur Verbesserung der Registrierung der Einzelbilder die Information eines Bewegungssensors herangezogen wird.
Bildaufnahmeapparat geeignet zur Korrekturmethode nach Patentanspruch 1-6.