-
Die
Erfindung betrifft ein Verfahren zur Erzeugung von fehlerreduzierten
hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen
mit Bildern niedriger Auflösung, die von einem Bildsensor
mit einstellbaren Aufnahmeparametern gewonnen werden.
-
Bildgebende
Sensorik wie Kamerasysteme, sei es im sichtbaren Bereich oder im
IR-Bereich, unterliegen Begrenzungen sowohl hinsichtlich einer endlichen
Bildauflösung (Zahl der Pixel) als auch eines endlichen
Dynamikbereichs (Kontrastumfang). Primär werden diese Qualitätsfaktoren
durch technische und wirtschaftliche Randbedingungen definiert. Weitere
Randbedingungen ergeben sich aus der Art des Systems, in welchem
die bildgebende Sensorik implementiert ist. So lassen sich beispielsweise
in fliegenden Plattformen die Bildauflösung und der Dynamikbereich
der Sensorik nicht beliebig erhöhen, da damit sowohl das
erzeugte Datenaufkommen als auch die Anforderungen an eventuell
nachgeschaltete Datenübertragungseinrichtungen signifikant
erhöht werden.
-
Endgegen
landläufiger Meinung bedeutet eine Erhöhung der
Anzahl der Pixel eines Bildes allein nicht automatisch auch eine
Erhöhung des Informationsgehaltes des Bildes, vielmehr
ist dieser von der Erkennbarkeit der im Bild vorhandenen Details abhängig.
-
Es
sind eine Anzahl von Techniken bekannt, welche darauf abzielen,
die Auflösung und/oder den Dynamikbereich von durch bildgebende
Sensorik einer gegebenen Pixelzahl erzeugten Bildern, sowohl von
einzelnen Bildern, als auch von Bildsequenzen, wie etwa bei Bewegtbildern,
zu erhöhen.
-
Neben
den klassischen Techniken der Bildverarbeitung von Einzelbildern
wie Helligkeitsnormalisierung, Kontrastverbesserung, Schärfung,
Rauschunterdrückung sind Methoden bekannt, bei welchen mehrere
Bilder einer Bildsequenz (Bildstapel) einer gemeinsamen Verarbeitung,
einer sogenannten ”Fusionierung” unterzogen werden,
um aus niedrig aufgelösten Bildern einer Bildsequenz ein
oder mehrere qualitätsverbesserte Bilder oder eine qualitätsverbesserte
Bildsequenz zu erhalten.
-
Bei
einer ersten bekannten Art von Qualitätsverbesserung ist
es das Ziel, den Dynamikbereich zu verbessern, indem in mehreren,
unter Variation eines Sensorparameters, beispielsweise der Belichtung, aufgenommenen
Bildern einer Bildsequenz enthaltene komplementäre Information
genutzt wird, um ein Bild mit verbessertem Dynamikbereich zu erhalten. Diese
Art der Dynamikverarbeitung ist bekannt als High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR)
und ist beschrieben beispielsweise in E. Reinhard, G. Ward,
S. Pattanaik, P. Debevec, High Dynamic Range Imaging: Acquisition,
Display and Image-based Lighting, Morgan Kaufmann, 2006, ISBN: 0125852630.
-
Eine
weitere bekannte Art der Bildverarbeitung zielt darauf, aus mehreren
in einer Bildsequenz oder einem Bildstapel enthaltenen Bildern niedriger Auflösung
enthaltene redundante Information so zu verarbeiten, dass eine höhere
Auflösung und/oder eine Reduzierung von Fehlern erhalten
wird. Dabei werden typischerweise für alle Bilder der genutzten Bildsequenz
die Aufnahmeparameter, beispielsweise die Belichtung, etc. beibehalten.
Diese Art der Bildqualitätsverbesserung ist als Superresolution-Verarbeitung
bekannt und ausführlich beschrieben in beispielsweise M.
Gevrekci, B. K. Gunturk, Super-Resolution Approaches For Photometrically
Diverse Image Sequences, ICASSP, 2007, sowie bei T. Pham,
Spatiotonal Adaptivity in Super-Resolution of Under-Sampled Image
Sequences, PhD Thesis, Delft University of Technology, 2006 oder
bei S. Farsiu, D. Robinson, M. Elad, P. Milanfar, Advances
and Challenges in Super-Resolution, IJIST, 2004.
-
Bei
bekannten Fusionsmethoden zur Erhöhung der Bildqualität,
welche auf Verarbeitung einer Bildsequenz bzw. eines Bildstapels
beruhen, wird meistens auch Gebrauch gemacht von einer Registrierung,
d. h. einer gegenseitigen Ausrichtung der einzelnen Bilder zueinander,
typischerweise in Bezug auf ein Referenzbild. Solche Registrierungsmethoden
sind beschrieben beispielsweise in B. Zitova, J. Flusser,
Image Registration Methods: A Survey, 2003.
-
Der
Nachteil der Anwendung dieser Methoden besteht bisher darin, dass
sie jeweils nur auf einen begrenzten Teil der von der bildgebenden
Sensorik zu gewinnenden Bildinformation angewendet werden. So arbeiten
die eingangs beschriebenen klassischen Bildverarbeitungsmethoden
nur auf der Basis von Einzelbildern. Die Fusionsmethoden zur High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR)
bzw. zur Super-Resolution-Verarbeitung (SR) werden bisher nur im
Sinne entweder einer Verarbeitung der redundanten Information, insbesondere
der Superresolution-Verarbeitung, bzw. ausschließlich der
komplementären Information unter Variation von Sensorparametern,
also insbesondere der High-Dynamic-Range-Rekonstruktionsverarbeitung
(HDR) durchgeführt.
-
Die
Aufgabe der Erfindung ist es, Verfahren und Einrichtung für
eine verbesserte Erzeugung von fehlerreduzierten hochauflösenden
und kontrastverbesserten Bildern oder Bildsequenzen aus einer niedrig
aufgelösten Bildsequenz zu erzeugen.
-
Die
Erfindung wird gelöst durch ein Verfahren zur Erzeugung
von fehlerreduzierten hochauflösenden und kontrastverbesserten
Bildern gemäß dem Anspruch 1.
-
Weiter
wird die Aufgabe gelöst durch eine Einrichtung gemäß dem
Anspruch 17.
-
Jeweilige
vorteilhafte Ausführungsformen und Weiterbildungen sind
in den Unteransprüchen gekennzeichnet.
-
Durch
die Erfindung wird ein Verfahren zur Erzeugung von fehlerreduzierten
hochauflösenden und kontrastverbesserten Bildern aus Bildern
von Bildsequenzen niedriger Auflösung, die von einem Bildsensor
mit einstellbaren Aufnahmeparametern gewonnen werden, geschaffen.
Erfindungsgemäß ist es vorgesehen, dass die Bildsequenzen
der Bilder niedriger Auflösung einer kombinierten Superresolution-Verarbeitung
und High-Dynamic-Range-Rekonstruktionsverarbeitung unterzogen werden,
um fehlerreduzierte hochauflösende und kontrastverbesserte
Bilder auf der Grundlage von in den Bildern niedriger Auflösung
enthaltener redundanter und komplementärer Bildinformation
zu erhalten.
-
Gemäß einer
Ausführungsform der Erfindung werden die Bilder einer ersten
Sequenz von Bildern niedriger Auflösung einer High-Dynamic-Range-Rekonstruktionsverarbeitung
unterzogen, bei welcher komplementäre Informationsanteile
der Bilder niedriger Auflösung zur Erhöhung des
Kontrasts verarbeitet werden.
-
Gemäß einer
anderen Ausführungsform der Erfindung werden die Bilder
einer Sequenz von Bildern niedriger Auflösung einer Superresolution-Verarbeitung
unterzogen, bei welcher redundante Informationsanteile der Bilder
niedriger Auflösung zur Erhöhung der Auflösung
verarbeitet werden.
-
Gemäß einer
Ausführungsform der Erfindung werden bei der High-Dynamic-Range-Rekonstruktionsverarbeitung
der Bilder der ersten Sequenz die Sensorparameter von Bild zu Bild
gezielt variiert.
-
Als
Sensorparameter kann insbesondere die Belichtungszeit von Bild zu
Bild variiert werden.
-
Bei
der Super-Resolution-Verarbeitung der Bilder der zweiten Sequenz
können die Sensorparameter unverändert beibehalten
werden.
-
Gemäß einer
Ausführungsform der Erfindung sind die erste Sequenz und
die zweite Sequenz verschiedene Sequenzen von Bildern niedriger
Auflösung.
-
Die
erste Sequenz und die zweite Sequenz können blockweise
abwechselnd aufeinander folgen.
-
Alternativ
können die erste Sequenz und die zweite Sequenz ineinander
verschachtelt sein.
-
Gemäß einer
Ausführungsform der Erfindung werden in einem ersten Fusionsschritt
die Bilder der ersten Sequenz durch High-Dynamic-Range-Rekonstruktionsverarbeitung
zu einem oder mehreren Bildern mit erhöhtem Kontrast fusioniert,
und in einem zweiten Fusionsschritt werden das oder die Bilder mit
erhöhtem Kontrast zur Superresolution-Verarbeitung verwendet,
um ein oder mehrere fehlerreduzierte Bilder erhöhter Auflösung
zu erhalten.
-
Gemäß einer
Ausführungsform der Erfindung werden der erste Fusionsschritt
zur HDR-Rekonstruktionsverarbeitung und der zweite Fusionsschritt
zur SR-Verarbeitung nacheinander durchgeführt. Alternativ
können die beiden Fusionsschritte auch in einem gemeinsamen
Algorithmus integriert verarbeitet werden.
-
Gemäß einer
Ausführungsform werden aus den Bildsequenzen der Bilder
niedriger Auflösung wiederum Bildsequenzen von fehlerreduzierten hochauflösenden
und kontrastverbesserten Bildern erzeugt.
-
Die
Verarbeitung der Bilder niedriger Auflösung kann eine Bildregistrierung
enthalten, um die verwendeten Bilder einer Sequenz untereinander
zur Deckung zu bringen.
-
Die
Bildregistrierung kann bezüglich eines Referenzbildes aus
der Sequenz niedrig aufgelöster Bilder erfolgen.
-
Gemäß einer
Weiterbildung der Erfindung kann die Erzeugung der Sequenz von Bildern
niedriger Auflösung für die Superresolution-Verarbeitung dauerhaft
erfolgen, die Erzeugung der Bilder der Sequenz von Bildern niedriger
Auflösung für die High-Dynamic-Range-Rekonstruktionsverarbeitung kann
durch automatische oder manuelle Steuerung veranlaßt erfolgen.
-
Durch
die Erfindung wird weiterhin auch eine Einrichtung zur Durchführung
des vorstehenden Verfahrens geschaffen.
-
Eine
solche Einrichtung kann insbesondere softwaregesteuert sein.
-
Im
folgenden werden Ausführungsbeispiele der Erfindung anhand
der Zeichnung erläutert. Es zeigt:
-
1 in
beispielhafter Weise eine Fusion redundanter Bildinformation mit
dem Verfahren der Super-Resolution durch Verarbeitung eines Bildstapels mit
redundanten Bildinformationen;
-
2 in
beispielhafter Weise eine Fusion komplementärer Bildinformation
mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels
mit komplementären Bildinformationen;
-
3 eine
schematisierte Darstellung der Erzeugung alternierend aufeinander
folgender Teilsequenzen von Bildern mit redundanten und komplementären
Informationsanteilen zur Erzeugung von fehlerreduzierten hochauflösenden
und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger
Auflösung gemäß einem Ausführungsbeispiel
der Erfindung;
-
4 eine
schematisierte Darstellung einer Fusion aufeinander folgender Sequenzen
zur High-Dynamic-Range-Rekonstruktionsverarbeitung und Superresolution-Verarbeitung,
um ein fehlerreduziertes hochauflösendes und kontrastverbessertes Bild
zu erhalten, wobei ein durch die High-Dynamic-Range-Rekonstruktionsverarbeitung
erhaltenes Bild als Referenzbild für eine Registrierung
verwendet wird, gemäß einem Ausführungsbeispiel
der Erfindung; und
-
5 eine
schematisierte Darstellung der Erzeugung einer fehlerreduzierte
hochauflösende und kontrastverbesserte Bilder enthaltenden
Ergebnisbildsequenz aus Fusion von alternierend aufeinanderfolgenden
Sequenzen zur Superresolution-Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung.
-
Bei
den beschriebenen Ausführungsbeispielen zur Erzeugung von
fehlerreduzierten hochauflösenden und kontrastverbesserten
Bildern werden sowohl redundante als auch komplementäre
Bildinformationen eines Bildsensors mit einstellbaren Aufnahmeparametern
gewonnen, um diese anschließend zu fusionieren. Als Sensorparameter
sollen dabei diejenigen einstellbaren Parameter des Sensors verstanden
werden, deren Variation geeignet ist, komplementäre Bildinformation
zu erzeugen, also solche Bildinformation, die nicht aus einem einzelnen
Bild abgeleitet werden kann, sondern nur aus einer Sequenz oder
einem Stapel von Bildern mit jeweils variiertem Sensorparameter.
Relevant im Sinne der Erfindung ist dabei insbesondere der Parameter
der Belichtungszeit des Sensors bzw. der dazu entsprechende physikalische
Parameter wie die Integrationszeit der Pho tonen auf den Pixeln (Bildelementen) des
Sensors oder die Wahl von Aufnahmesensitivitäten innerhalb
des Sensors.
-
Der
oder die Sensorparameter werden so gewählt, dass die durch
die bildgebende Sensorik erzeugte niedrig aufgelöste Bildsequenz
sowohl komplementäre als auch redundante Informationsanteile enthält.
-
1 zeigt
anhand eines Beispiels eine Fusion redundanter Bildinformationen
durch Superresolution-Verarbeitung aus einem Bildstapel, hier zwei Bilder
dargestellt, mit redundanten Bildinformationen zu einem Ergebnisbild
mit erhöhter Auflösung.
-
2 zeigt
anhand eines entsprechenden Beispiels eine Fusion komplementärer
Bildinformation (Überbelichtung, Unterbelichtung) mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines
Bildstapels, hier zwei Bilder, mit komplementären Bildinformationen
zu einem Ergebnisbild mit erhöhtem Kontrast.
-
Gemäß dem
in 3 dargestellten Ausführungsbeispiel werden
die redundanten und komplementären Informationsanteile
innerhalb einer Gesamtsequenz von Bildern durch alternierend aufeinanderfolgende
Teilsequenzen von aufgenommenen Bildern, nämlich einer
Sequenz R für den redundanten Anteil und einer Sequenz
K für den komplementären Anteil repräsentiert.
Die Zahl der Einzelbilder innerhalb der R- bzw. der K-Sequenz ist
vorgebbar.
-
Die
Teilsequenzen unterscheiden sich darin, dass bei dem in 3 dargestellten
Ausführungsbeispiel in der R-Sequenz für die Super-Resolution-Verarbeitung
die Sensorparameter unverändert bleiben, d. h. abgesehen
von szenischen Veränderungen wie Beleuchtungsänderungen
oder Bewegung von Objekt und/oder Sensor, handelt es sich hierbei
also um redundante Mehrfachmessungen.
-
Im
Gegensatz zur R-Sequenz werden bei der für die High-Dynamic-Range-Rekonstruktionsverarbeitung
genutzten K-Sequenz ein oder mehrere Sensorparameter von Bild zu
Bild gezielt variiert. Wird als zu verändernder Sensorparameter
die Belichtungszeit bzw. die korrespondierende physikalische Größe von
Bild zu Bild variiert, so entspricht die K-Sequenz einer Belichtungsserie.
In diesem Falle enthalten die unterschiedlich belichteten Bilder
auch unterschiedliche und damit komplementäre Bildinformationen.
-
Die
Fusion der redundanten und komplementären Informationsanteile
bei der Auswertung bzw. Verarbeitung der Bildsequenz führt
zu einer Rekonstruktion von kontrastverbesserten hochaufgelösten
und fehlerreduzierten Bildern oder Bildsequenzen, als Ergebnisbild
oder Ergebnisbildsequenz bezeichnet.
-
4 zeigt
in einem Ausführungsbeispiel die Fusion aufeinanderfolgender
R- und K-Sequenzen zu einem oder mehreren Ergebnisbildern. In dem
hier dargestellten Ausführungsbeispiel erfolgt die Fusion zur
Erzeugung eines Ergebnisbildes HDR-SR in zwei Schritten.
-
In
einem Fusionsschritt 1 werden die Bilder einer K-Sequenz unter Variation
eines oder mehrerer Sensorparameter durch High-Dynamic-Range-Rekonstruktionsverarbeitung
zu einem kontrasterhöhten Bild HDR fusioniert.
-
Eine
Fehlerreduzierung, beispielsweise Rauschunterdrückung und
Erhöhung der Auflösung erfolgt dann in einem Fusionsschritt
2 durch Super-Resolution-Verarbeitung. In dem zweiten Fusionsschritt
wird dabei explizit das vorher aus dem ersten Fusionsschritt erhaltene
Ergebnisbild HDR verwendet, um eine verbesserte Kontrastinformation
innerhalb der Superresolution-Verarbeitung zu erhalten. Das aus
der R-Sequenz zuzüglich des HDR-Bilds erhaltene Ergebnisbild
ist das Bild HDR-SR, welches ein fehlerreduziertes Bild mit hoher
Auflösung und hohem Kontrast ist.
-
Alle
Fusionsschritte können implizit eine Bildregistrierung
enthalten, welche dazu dient, die einzelnen Bilder einer Sequenz
miteinander zur Deckung zu bringen. Dies ist notwendig, um beispielsweise
bei Bewegung des Sensors in der Szene, womit eine Änderung
der Perspektive innerhalb des Bildes verbunden ist, die erzeugten
Bilder vor der Fusion so zueinander zur Deckung zu bringen, dass
der redundante und/oder der komplementäre Informationsgehalt
nutzbar ist. Bei dem beschriebenen Ausführungsbeispiel
findet diese Bildregistrierung relativ zu einem vorgewählten
Referenzbild statt. Somit werden alle anderen Bilder so transformiert,
beispielsweise perspektivisch verändert bzw. verzerrt, dass
sie mit dem Referenzbild optimal zur Deckung gebracht sind. Als
Referenzbild kann jedes der Bilder einer R- oder einer K-Sequenz
dienen.
-
5 zeigt,
wie durch Ausführung der beiden oben beschriebenen Fusionsschritte
gemäß einem Ausführungsbeispiel nacheinander
die Fusionsschritte 1 und 2 für alle Einzelbilder der R-Sequenz und
der K-Sequenz als Referenzbild durchgeführt werden, so
dass sich die volle Bildsequenz kontrastverbessert, hochaufgelöst
und fehlerreduziert rekonstruieren läßt, was als
Ergebnisbildsequenz von HDR-SR-Bildern in 5 dargestellt
ist.
-
Die
beschriebenen Fusionsschritte 1 und 2 können anstelle nacheinander
gemäß einem alternativen Ausführungsbeispiel
auch zu einem gemeinsamen Fusionsschritt integriert durchgeführt
werden.
-
Neben
einer alternierenden Erzeugung von R- und K-Sequenzen kann gemäß einem
anderen Ausführungsbeispiel die Erzeugung der R-Sequenz dauerhaft
und die der K-Sequenz durch automatische oder manuelle Steuerung
veranlaßt werden, beispielsweise nur dann, wenn die Rekonstruktion
eines kontrastverbesserten hochaufgelösten und fehlerreduzierten
Einzelbildes oder einer Bildsequenz notwendig erscheint.
-
Neben
dem Parameter der Belichtungszeit bzw. der entsprechenden physikalischen
Größe können auch andere oder zusätzliche
Sensorparameter zur Erzeugung der K-Sequenz variiert werden, beispielsweise
Fokussierung oder Zoom.
-
Ein
Vorteil der Erfindung ist es, dass mit bestehender Sensorik vergleichsweise
niedriger Auflösung kontrastverbesserte, hochaufgelöste
und fehlerreduzierte Bilder erzeugt werden können. Es ist
lediglich die Steuerbarkeit eines Sensorparameters, wie der Belichtungszeit,
vorzusehen.
-
Die
von der bildgebenden Sensorik erzeugten Datenströme werden
nicht vergrößert, so dass existierende Datenübertragungseinrichtungen,
etwa von der bildgebenden Sensorik zu einer Bildverarbeitungseinrichtung,
unverändert verwendet werden können. Die Rekonstruktion
der qualitätsverbesserten Bildsequenz kann beispielsweise
im Falle einer fliegenden Sensorplattform (Aufklärungsflugzeug, Drohne)
beispielsweise nach der Datenübertragung in einer Bodenstation
erfolgen.
-
Durch
die Fusion der redundanten und der komplementären Bildsequenzen
werden in dem Ergebnisbild oder der Ergebnisbildsequenz Details sichtbar,
die in keinem einzelnen Eingabebild einheitlich erfaßt
sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - E. Reinhard,
G. Ward, S. Pattanaik, P. Debevec, High Dynamic Range Imaging: Acquisition,
Display and Image-based Lighting, Morgan Kaufmann, 2006, ISBN: 0125852630 [0006]
- - M. Gevrekci, B. K. Gunturk, Super-Resolution Approaches For
Photometrically Diverse Image Sequences, ICASSP, 2007 [0007]
- - T. Pham, Spatiotonal Adaptivity in Super-Resolution of Under-Sampled
Image Sequences, PhD Thesis, Delft University of Technology, 2006 [0007]
- - S. Farsiu, D. Robinson, M. Elad, P. Milanfar, Advances and
Challenges in Super-Resolution, IJIST, 2004 [0007]
- - B. Zitova, J. Flusser, Image Registration Methods: A Survey,
2003 [0008]