DE102008034979B4 - Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern - Google Patents

Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern Download PDF

Info

Publication number
DE102008034979B4
DE102008034979B4 DE102008034979A DE102008034979A DE102008034979B4 DE 102008034979 B4 DE102008034979 B4 DE 102008034979B4 DE 102008034979 A DE102008034979 A DE 102008034979A DE 102008034979 A DE102008034979 A DE 102008034979A DE 102008034979 B4 DE102008034979 B4 DE 102008034979B4
Authority
DE
Germany
Prior art keywords
images
resolution
image
sequence
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008034979A
Other languages
English (en)
Other versions
DE102008034979A1 (de
Inventor
Klaus Dr. 85748 Schertler
Falk 81737 Schubert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Priority to DE102008034979A priority Critical patent/DE102008034979B4/de
Priority to PCT/DE2009/000971 priority patent/WO2010009703A1/de
Priority to EP09775956A priority patent/EP2308227A1/de
Priority to US13/055,621 priority patent/US8849059B2/en
Publication of DE102008034979A1 publication Critical patent/DE102008034979A1/de
Application granted granted Critical
Publication of DE102008034979B4 publication Critical patent/DE102008034979B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, wobei die Bildsequenzen der Bilder (K, R) niedriger Auflösung einer kombiniynamic-Range-Rekonstruktionsverarbeitung (HDR) unterzogen werden, um fehlerreduzierte hochauflösende und konstrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten, dadurch gekennzeichnet, dass in einem ersten Fusionsschritt die Bilder einer ersten Sequenz (K) von Bildern (K1, K2, ... KNK) niedriger Auflösung durch High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR), bei welcher komplementäre Informationsanteile der Bilder (K1, K2, ... KNK) niedriger Auflösung zur Erhöhung des Kontrasts erarbeitet werden, zu einem oder mehreren Bildern (HDR) mit erhöhtem Kontrast fusioniert werden, dass in einem zweiten Fusionsschritt das oder die Bilder (HDR) mit erhöhtem Kontrast zur Superresolution-Verarbeitung (SR) verwendet werden, um ein oder mehrere fehlerreduzierte Bilder (HDR-SR) erhöhter Auflösung zu erhalten, und dass die Verarbeitung...

Description

  • Die Erfindung betrifft ein Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden.
  • Bildgebende Sensorik wie Kamerasysteme, sei es im sichtbaren Bereich oder im IR-Bereich, unterliegen Begrenzungen sowohl hinsichtlich einer endlichen Bildauflösung (Zahl der Pixel) als auch eines endlichen Dynamikbereichs (Kontrastumfang). Primär werden diese Qualitätsfaktoren durch technische und wirtschaftliche Randbedingungen definiert. Weitere Randbedingungen ergeben sich aus der Art des Systems, in welchem die bildgebende Sensorik implementiert ist. So lassen sich beispielsweise in fliegenden Plattformen die Bildauflösung und der Dynamikbereich der Sensorik nicht beliebig erhöhen, da damit sowohl das erzeugte Datenaufkommen als auch die Anforderungen an eventuell nachgeschaltete Datenübertragungseinrichtungen signifikant erhöht werden.
  • Endgegen landläufiger Meinung bedeutet eine Erhöhung der Anzahl der Pixel eines Bildes allein nicht automatisch auch eine Erhöhung des Informationsgehaltes des Bildes, vielmehr ist dieser von der Erkennbarkeit der im Bild vorhandenen Details abhängig.
  • Es sind eine Anzahl von Techniken bekannt, welche darauf abzielen, die Auflösung und/oder den Dynamikbereich von durch bildgebende Sensorik einer gegebenen Pixelzahl erzeugten Bildern, sowohl von einzelnen Bildern, als auch von Bildsequenzen, wie etwa bei Bewegtbildern, zu erhöhen.
  • Neben den klassischen Techniken der Bildverarbeitung von Einzelbildern wie Helligkeitsnormalisierung, Kontrastverbesserung, Schärfung, Rauschunterdrückung sind Methoden bekannt, bei welchen mehrere Bilder einer Bildsequenz (Bildstapel) einer gemeinsamen Verarbeitung, einer sogenannten ”Fusionierung” unterzogen werden, um aus niedrig aufgelösten Bildern einer Bildsequenz ein oder mehrere qualitätsverbesserte Bilder oder eine qualitätsverbesserte Bildsequenz zu erhalten.
  • Bei einer ersten bekannten Art von Qualitätsverbesserung ist es das Ziel, den Dynamikbereich zu verbessern, indem in mehreren, unter Variation eines Sensorparameters, beispielsweise der Belichtung, aufgenommenen Bildern einer Bildsequenz enthaltene komplementäre Information genutzt wird, um ein Bild mit verbessertem Dynamikbereich zu erhalten. Diese Art der Dynamikverarbeitung ist bekannt als High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) und ist beschrieben beispielsweise in E. Reinhard, G. Ward, S. Pattanaik, P. Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting, Morgan Kaufmann, 2006, ISBN: 0125852630.
  • Eine weitere bekannte Art der Bildverarbeitung zielt darauf, aus mehreren in einer Bildsequenz oder einem Bildstapel enthaltenen Bildern niedriger Auflösung enthaltene redundante Information so zu verarbeiten, dass eine höhere Auflösung und/oder eine Reduzierung von Fehlern erhalten wird. Dabei werden typischerweise für alle Bilder der genutzten Bildsequenz die Aufnahmeparameter, beispielsweise die Belichtung, etc. beibehalten. Diese Art der Bildqualitätsverbesserung ist als Superresolution-Verarbeitung bekannt und ausführlich beschrieben in beispielsweise M. Gevrekci, B. K. Gunturk, Super-Resolution Approaches For Photometrically Diverse Image Sequences, ICASSP, 2007, sowie bei T. Pham, Spatiotonal Adaptivity in Super-Resolution of Under-Sampled Image Sequences, PhD Thesis, Delft University of Technology, 2006 oder bei S. Farsiu, D. Robinson, M. Elad, P. Milanfar, Advances and Challenges in Super-Resolution, IJIST, 2004.
  • Bei bekannten Fusionsmethoden zur Erhöhung der Bildqualität, welche auf Verarbeitung einer Bildsequenz bzw. eines Bildstapels beruhen, wird meistens auch Gebrauch gemacht von einer Registrierung, d. h. einer gegenseitigen Ausrichtung der einzelnen Bilder zueinander, typischerweise in Bezug auf ein Referenzbild. Solche Registrierungsmethoden sind beschrieben beispielsweise in B. Zitova, J. Flusser, Image Registration Methods: A Survey, 2003.
  • Der Nachteil der Anwendung dieser Methoden besteht bisher darin, dass sie jeweils nur auf einen begrenzten Teil der von der bildgebenden Sensorik zu gewinnenden Bildinformation angewendet werden. So arbeiten die eingangs beschriebenen klassischen Bildverarbeitungsmethoden nur auf der Basis von Einzelbildern. Die Fusionsmethoden zur High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) bzw. zur Super-Resolution-Verarbeitung (SR) werden bisher nur im Sinne entweder einer Verarbeitung der redundanten Information, insbesondere der Superresolution-Verarbeitung, bzw. ausschließlich der komplementären Information unter Variation von Sensorparametern, also insbesondere der High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durchgeführt.
  • Aus der Veröffentlichung Gevrekci, M.; Gunturk, B. K.: Superresolution under Photometric Diversity of Images, Hindawi Publishing Corporation, EURASIP Journal on Advances in Signal Processing, Vol. 2007, Article ID 36076, doi: 10.1155/2007/36076, Seiten 1–12, ist es bekannt zur Verbesserung der Qualität von Bildern in Kombination sowohl eine die Auflösung erhöhende Superresolution-Verarbeitung als auch eine den Dynamikumfang verbessernde High-Dynamic-Range-Verarbeitung durchzuführen. Dazu können die Bilder verschiedener Kameras oder einer einzigen Kamera verwendet werden.
  • Weiter ist von Wang, Z.; Jia, Y.: A Novel Image Reconstruction Method Expanding Dyanmic Range and Spacial Resolution, Proceedings of the IEEE 2006 International Conference on Robotics and Biomimetics, December 17–20, 2006, Kunming, China, Seiten 396–400, bekannt, den Dynamikbereich und die Auflösung von Bildern zu verbessern durch kombinierte Superresolution- und High-Dynamic-Range-Verarbeitung mittels einer Anordnung von vier Bildsensoren, die bezüglich Höhe und Breite des Bildes um jeweils ein halbes Pixel versetzt sind und unterschiedlich belichtete Bilder erzeugen.
  • Schließlich geben Choi, J.; Park, M. K.; Kang, M. G.: High Dynamic Range Image Reconstruction with Spacial Resolution Enhancement, Zusammenfassung des Artikels, The Computer Journal 2009, Vol., 52, No. 1, doi: 10.1093/comjnl/bxm080, originally published online on October 04, 2007, Seiten 114–125, einen Überblick über gängige Methoden zur Verbesserung von Dynamikumfang und/oder Auflösung von Bildern und stellen einen Lösungsansatz vor, durch welchen die Qualität von mittels eines Bildsensors gewonnener Bildern in einem simultanen Algorithmus hinsichtlich Auflösung und Dynamikbereich verbessert werden sollen. Dabei wird aus einer den gesamten Abbildungsvorgang am Bildsensor einschließlich aller Störungen beschreibenden Abbildungsfunktion eine inverse Abbildungsfunktion konstruiert und in eine Taylor-Reihe entwickelt, von der nur die Terme niedrigster Ordnung verwendet werden. Diese inverse Abbildungsfunktion wird bei einem in der Veröffentlichung beschriebenen Beispiel angewendet auf eine Gruppe von Bildern niedriger Auflösung und niedrigem Kontrast, die durch unterschiedliche Belichtung und durch gegenseitige Verschiebung um bestimmte vorgegebene Sub-Pixel-Bewegungen gewonnen werden.
  • Die Aufgabe der Erfindung ist es, Verfahren und Einrichtung für eine verbesserte Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern oder Bildsequenzen aus niedrig aufgelösten Bildsequenzen zu schaffen.
  • Die Erfindung wird gelöst durch ein Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern gemäß dem Anspruch 1.
  • Weiter wird die Aufgabe gelöst durch eine Einrichtung gemäß dem Anspruch 13.
  • Jeweilige vorteilhafte Ausführungsformen und Weiterbildungen sind in den Unteransprüchen gekennzeichnet.
  • Im folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeichnung erläutert.
  • Es zeigt:
  • 1 in beispielhafter Weise eine Fusion redundanter Bildinformation mit dem Verfahren der Super-Resolution durch Verarbeitung eines Bildstapels mit redundanten Bildinformationen;
  • 2 in beispielhafter Weise eine Fusion komplementärer Bildinformation mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels mit komplementären Bildinformationen;
  • 3 eine schematisierte Darstellung der Erzeugung alternierend aufeinander folgender Teilsequenzen von Bildern mit redundanten und komplementären Informationsanteilen zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung gemäß einem Ausführungsbeispiel der Erfindung;
  • 4 eine schematisierte Darstellung einer Fusion aufeinander folgender Sequenzen zur High-Dynamic-Range-Rekonstruktionsverarbeitung und Superresolution-Verarbeitung, um ein fehlerreduziertes hochauflösendes und kontrastverbessertes Bild zu erhalten, wobei ein durch die High-Dynamic-Range-Rekonstruktionsverarbeitung erhaltenes Bild als Referenzbild für eine Registrierung verwendet wird, gemäß einem Ausführungsbeispiel der Erfindung; und
  • 5 eine schematisierte Darstellung der Erzeugung einer fehlerreduzierte hochauflösende und kontrastverbesserte Bilder enthaltenden Ergebnisbildsequenz aus Fusion von alternierend aufeinanderfolgenden Sequenzen zur Superresolution-Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung.
  • Bei den beschriebenen Ausführungsbeispielen zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern werden sowohl redundante als auch komplementäre Bildinformationen eines Bildsensors mit einstellbaren Aufnahmeparametern gewonnen, um diese anschließend zu fusionieren. Als Sensorparameter sollen dabei diejenigen einstellbaren Parameter des Sensors verstanden werden, deren Variation geeignet ist, komplementäre Bildinformation zu erzeugen, also solche Bildinformation, die nicht aus einem einzelnen Bild abgeleitet werden kann, sondern nur aus einer Sequenz oder einem Stapel von Bildern mit jeweils variiertem Sensorparameter. Relevant im Sinne der Erfindung ist dabei insbesondere der Parameter der Belichtungszeit des Sensors bzw. der dazu entsprechende physikalische Parameter wie die Integrationszeit der Photonen auf den Pixeln (Bildelementen) des Sensors oder die Wahl von Aufnahmesensitivitäten innerhalb des Sensors.
  • Der oder die Sensorparameter werden so gewählt, dass die durch die bildgebende Sensorik erzeugte niedrig aufgelöste Bildsequenz sowohl komplementäre als auch redundante Informationsanteile enthält.
  • 1 zeigt anhand eines Beispiels eine Fusion redundanter Bildinformationen durch Superresolution-Verarbeitung aus einem Bildstapel, hier zwei Bilder dargestellt, mit redundanten Bildinformationen zu einem Ergebnisbild mit erhöhter Auflösung.
  • 2 zeigt anhand eines entsprechenden Beispiels eine Fusion komplementärer Bildinformation (Überbelichtung, Unterbelichtung) mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels, hier zwei Bilder, mit komplementären Bildinformationen zu einem Ergebnisbild mit erhöhtem Kontrast.
  • Gemäß dem in 3 dargestellten Ausführungsbeispiel werden die redundanten und komplementären Informationsanteile innerhalb einer Gesamtsequenz von Bildern durch alternierend aufeinanderfolgende Teilsequenzen von aufgenommenen Bildern, nämlich einer Sequenz R für den redundanten Anteil und einer Sequenz K für den komplementären Anteil repräsentiert. Die Zahl der Einzelbilder innerhalb der R- bzw. der K-Sequenz ist vorgebbar.
  • Die Teilsequenzen unterscheiden sich darin, dass bei dem in 3 dargestellten Ausführungsbeispiel in der R-Sequenz für die Super-Resolution-Verarbeitung die Sensorparameter unverändert bleiben, d. h. abgesehen von szenischen Veränderungen wie Beleuchtungsänderungen oder Bewegung von Objekt und/oder Sensor, handelt es sich hierbei also um redundante Mehrfachmessungen.
  • Im Gegensatz zur R-Sequenz werden bei der für die High-Dynamic-Range-Rekonstruktionsverarbeitung genutzten K-Sequenz ein oder mehrere Sensorparameter von Bild zu Bild gezielt variiert. Wird als zu verändernder Sensorparameter die Belichtungszeit bzw. die korrespondierende physikalische Größe von Bild zu Bild variiert, so entspricht die K-Sequenz einer Belichtungsserie. In diesem Falle enthalten die unterschiedlich belichteten Bilder auch unterschiedliche und damit komplementäre Bildinformationen.
  • Die Fusion der redundanten und komplementären Informationsanteile bei der Auswertung bzw. Verarbeitung der Bildsequenz führt zu einer Rekonstruktion von kontrastverbesserten hochaufgelösten und fehlerreduzierten Bildern oder Bildsequenzen, als Ergebnisbild oder Ergebnisbildsequenz bezeichnet.
  • 4 zeigt in einem Ausführungsbeispiel die Fusion aufeinanderfolgender R- und K-Sequenzen zu einem oder mehreren Ergebnisbildern. In dem hier dargestellten Ausführungsbeispiel erfolgt die Fusion zur Erzeugung eines Ergebnisbildes HDR-SR in zwei Schritten.
  • In einem Fusionsschritt 1 werden die Bilder einer K-Sequenz unter Variation eines oder mehrerer Sensorparameter durch High-Dynamic-Range-Rekonstruktionsverarbeitung zu einem kontrasterhöhten Bild HDR fusioniert.
  • Eine Fehlerreduzierung, beispielsweise Rauschunterdrückung und Erhöhung der Auflösung erfolgt dann in einem Fusionsschritt 2 durch Super-Resolution-Verarbeitung. In dem zweiten Fusionsschritt wird dabei explizit das vorher aus dem ersten Fusionsschritt erhaltene Ergebnisbild HDR verwendet, um eine verbesserte Kontrastinformation innerhalb der Superresolution-Verarbeitung zu erhalten. Das aus der R-Sequenz zuzüglich des HDR-Bilds erhaltene Ergebnisbild ist das Bild HDR-SR, welches ein fehlerreduziertes Bild mit hoher Auflösung und hohem Kontrast ist.
  • Alle Fusionsschritte können implizit eine Bildregistrierung enthalten, welche dazu dient, die einzelnen Bilder einer Sequenz miteinander zur Deckung zu bringen. Dies ist notwendig, um beispielsweise bei Bewegung des Sensors in der Szene, womit eine Änderung der Perspektive innerhalb des Bildes verbunden ist, die erzeugten Bilder vor der Fusion so zueinander zur Deckung zu bringen, dass der redundante und/oder der komplementäre Informationsgehalt nutzbar ist. Bei dem beschriebenen Ausführungsbeispiel findet diese Bildregistrierung relativ zu einem vorgewählten Referenzbild statt. Somit werden alle anderen Bilder so transformiert, beispielsweise perspektivisch verändert bzw. verzerrt, dass sie mit dem Referenzbild optimal zur Deckung gebracht sind. Als Referenzbild kann jedes der Bilder einer R- oder einer K-Sequenz dienen.
  • 5 zeigt, wie durch Ausführung der beiden oben beschriebenen Fusionsschritte gemäß einem Ausführungsbeispiel nacheinander die Fusionsschritte 1 und 2 für alle Einzelbilder der R-Sequenz und der K-Sequenz als Referenzbild durchgeführt werden, so dass sich die volle Bildsequenz kontrastverbessert, hochaufgelöst und fehlerreduziert rekonstruieren läßt, was als Ergebnisbildsequenz von HDR-SR-Bildern in 5 dargestellt ist.
  • Die beschriebenen Fusionsschritte 1 und 2 können anstelle nacheinander gemäß einem alternativen Ausführungsbeispiel auch zu einem gemeinsamen Fusionsschritt integriert durchgeführt werden.
  • Neben einer alternierenden Erzeugung von R- und K-Sequenzen kann gemäß einem anderen Ausführungsbeispiel die Erzeugung der R-Sequenz dauerhaft und die der K-Sequenz durch automatische oder manuelle Steuerung veranlaßt werden, beispielsweise nur dann, wenn die Rekonstruktion eines kontrastverbesserten hochaufgelösten und fehlerreduzierten Einzelbildes oder einer Bildsequenz notwendig erscheint.
  • Neben dem Parameter der Belichtungszeit bzw. der entsprechenden physikalischen Größe können auch andere oder zusätzliche Sensorparameter zur Erzeugung der K-Sequenz variiert werden, beispielsweise Fokussierung oder Zoom.
  • Ein Vorteil der Erfindung ist es, dass mit bestehender Sensorik vergleichsweise niedriger Auflösung kontrastverbesserte, hochaufgelöste und fehlerreduzierte Bilder erzeugt werden können. Es ist lediglich die Steuerbarkeit eines Sensorparameters, wie der Belichtungszeit, vorzusehen.
  • Die von der bildgebenden Sensorik erzeugten Datenströme werden nicht vergrößert, so dass existierende Datenübertragungseinrichtungen, etwa von der bildgebenden Sensorik zu einer Bildverarbeitungseinrichtung, unverändert verwendet werden können. Die Rekonstruktion der qualitätsverbesserten Bildsequenz kann beispielsweise im Falle einer fliegenden Sensorplattform (Aufklärungsflugzeug, Drohne) beispielsweise nach der Datenübertragung in einer Bodenstation erfolgen.
  • Durch die Fusion der redundanten und der komplementären Bildsequenzen werden in dem Ergebnisbild oder der Ergebnisbildsequenz Details sichtbar, die in keinem einzelnen Eingabebild einheitlich erfaßt sind.

Claims (14)

  1. Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, wobei die Bildsequenzen der Bilder (K, R) niedriger Auflösung einer kombinierten Superresolution-Verarbeitung (SR) und High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) unterzogen werden, um fehlerreduzierte hochauflösende und konstrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten, dadurch gekennzeichnet, dass in einem ersten Fusionsschritt die Bilder einer ersten Sequenz (K) von Bildern (K1, K2, ... KNK) niedriger Auflösung durch High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR), bei welcher komplementäre Informationsanteile der Bilder (K1, K2, ... KNK) niedriger Auflösung zur Erhöhung des Kontrasts erarbeitet werden, zu einem oder mehreren Bildern (HDR) mit erhöhtem Kontrast fusioniert werden, dass in einem zweiten Fusionsschritt das oder die Bilder (HDR) mit erhöhtem Kontrast zur Superresolution-Verarbeitung (SR) verwendet werden, um ein oder mehrere fehlerreduzierte Bilder (HDR-SR) erhöhter Auflösung zu erhalten, und dass die Verarbeitung der Bilder (K, R) niedriger Auflösung eine Bildregistrierung enthält, um die Bilder einer Sequenz zur Deckung zu bringen, wobei der Sensor, welcher die Bildsequenzen (K, R,) aufnimmt, sich relativ zur aufgenommenen Szene in Bewegung befindet.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fusionsschritte zur HDR-Rekonstruktionsverarbeitung und zur Superresolution-Verarbeitung (SR) nacheinander durchgeführt werden.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fusionsschritte zur HDR-Rekonstruktionsverarbeitung und zur Superresolution-Verarbeitung (SR) in einem gemeinsamen Algorithmus integriert verarbeitet werden.
  4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Bilder einer zweiten Sequenz (R) von Bildern (R1, R2, ... RNR) niedriger Auflösung einer Superresolution-Verarbeitung (SR) unterzogen, bei welcher redundante Informationsanteile der Bilder (R1, R2, .... RNR) niedriger Auflösung zur Erhöhung der Auflösung verarbeitet werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Erzeugung der zweiten Sequenz (R) von Bildern (R1, R2, ... RNR) niedriger Auflösung für die Superresolution-Verarbeitung (SR) dauerhaft erfolgt und dass die Erzeugung der ersten Sequenz (K) von Bildern (K1, K2, ... KNK) niedriger Auflösung für die High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durch automatische oder manuelle Steuerung ausgelöst erfolgt.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei der High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) der Bilder der ersten Sequenz (K) die Sensorparameter von Bild zu Bild gezielt variiert werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als Sensorparameter die Belichtung von Bild zu Bild variiert wird.
  8. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei der Superresolution-Verarbeitung der Bilder der zweiten Sequenz (R) die Sensorparameter unverändert beibehalten werden.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) verschiedene Sequenzen von Bildern niedriger Auflösung sind.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) blockweise abwechselnd aufeinander folgen.
  11. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) ineinander verschachtelt sind.
  12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Bildregistrierung bezüglich eines Referenzbildes aus der Sequenz niedrig aufgelöster Bilder (K, R) erfolgt.
  13. Einrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 12.
  14. Einrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Einrichtung softwaregesteuert arbeitet.
DE102008034979A 2008-07-25 2008-07-25 Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern Expired - Fee Related DE102008034979B4 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102008034979A DE102008034979B4 (de) 2008-07-25 2008-07-25 Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
PCT/DE2009/000971 WO2010009703A1 (de) 2008-07-25 2009-07-11 Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern
EP09775956A EP2308227A1 (de) 2008-07-25 2009-07-11 Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern
US13/055,621 US8849059B2 (en) 2008-07-25 2009-07-11 Method and device for generating images having a reduced error rate, high resolution and improved contrast

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008034979A DE102008034979B4 (de) 2008-07-25 2008-07-25 Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern

Publications (2)

Publication Number Publication Date
DE102008034979A1 DE102008034979A1 (de) 2010-01-28
DE102008034979B4 true DE102008034979B4 (de) 2011-07-07

Family

ID=41211745

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008034979A Expired - Fee Related DE102008034979B4 (de) 2008-07-25 2008-07-25 Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern

Country Status (4)

Country Link
US (1) US8849059B2 (de)
EP (1) EP2308227A1 (de)
DE (1) DE102008034979B4 (de)
WO (1) WO2010009703A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011121334A1 (de) * 2011-12-16 2013-06-20 Testo Ag Messanordnung und korrespondierendes Bildaufbereitungsverfahren
DE102013211286A1 (de) 2013-06-17 2014-12-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004908A (ja) * 2010-06-17 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8466976B2 (en) 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
US8675957B2 (en) * 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
EP4036369A3 (de) * 2019-12-12 2022-12-07 Services Pétroliers Schlumberger Modulare bildgebungsverfahren
EP3835543B1 (de) 2019-12-12 2023-02-22 Services Pétroliers Schlumberger Mehrfinger-kalibermessgerät
CN113992861B (zh) * 2020-07-27 2023-07-21 虹软科技股份有限公司 一种图像处理方法及图像处理装置
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
DE102021124153A1 (de) * 2021-09-17 2023-03-23 Homag Plattenaufteiltechnik Gmbh Verfahren und Vorrichtung zur Qualitätsprüfung einer Kante eines plattenförmigen Werkstücks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0954376A (ja) * 1995-06-09 1997-02-25 Pioneer Electron Corp 立体表示装置
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7777790B2 (en) * 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
KR20080034508A (ko) * 2005-08-08 2008-04-21 요셉 러브너 적응형 노출 제어
WO2009034688A1 (ja) * 2007-09-10 2009-03-19 Nikon Corporation 画像処理方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHOI, J., PARK, M.K., KANG, M.G.: High Dynamic Range Image Reconstruction with Spatial Resolution Enhancement. The Computer Journal 2009, Volume 52, No. 1, doi:10.1093/comjn/bxm080, originally published online on October 4, 2007, S. 114-125 *
CHOI,J., PARK,M.K., KANG,M.G.: High Dynamic Range Image Reconstruction with Spatial Resolution Enhancement. Zusammenfassung vom Artikel, The Computer Journal 2009. Volume 52 , No.1, doi:10.1093/comjnl/bxm080, originally published online on October 4, 2007, S.114-125, S.1-2 *
GEVREKCI,M., GUNTURK,B.K.: Superresolution under Photometric Diversity of Images. Hindawi Publishing Corporation, EURASIP Journal on Advances in Signal Processing, Volume 2007, Article ID 36076, doi:10.1155/2007/36076, S.1-12 *
WANG,Z., JIA,Y.: A Novel Image Reconstruction Method Expanding Dynamic Range and Spatial Resolution. Proceedings of the IEEE 2006 International Conference on Robotics and Biominetics, December 17-20, 2006 Kunming China, S.396-400 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011121334A1 (de) * 2011-12-16 2013-06-20 Testo Ag Messanordnung und korrespondierendes Bildaufbereitungsverfahren
DE102011121334B4 (de) * 2011-12-16 2016-08-18 Testo Ag Messanordnung und korrespondierendes Bildaufbereitungsverfahren
DE102013211286A1 (de) 2013-06-17 2014-12-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor

Also Published As

Publication number Publication date
US8849059B2 (en) 2014-09-30
US20110182528A1 (en) 2011-07-28
WO2010009703A1 (de) 2010-01-28
DE102008034979A1 (de) 2010-01-28
EP2308227A1 (de) 2011-04-13

Similar Documents

Publication Publication Date Title
DE102008034979B4 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE69127809T2 (de) Verfahren um zwei bewegungen in hintereinanderfolgenden teilbildern mit drei teilbildern dynamisch zu analysieren
DE69434657T2 (de) System und Verfahren zur elektronischen Bildstabilisierung
DE102017220104A1 (de) Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
DE112016005905T5 (de) Verfahren und System zum Verschmelzen erfasster Messungen
DE102010053458B4 (de) Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
EP2406769B1 (de) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder
WO2012076274A1 (de) Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems
DE202016007867U1 (de) Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
EP3186776A1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
EP3899860A1 (de) Grössenveränderung von bildern mittels eines neuronalen netzes
DE4037739C1 (de)
DE102013214497A1 (de) Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben
DE102018125397A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte
DE112021003347T5 (de) Bildverarbeitungsvorrichtung, bildanzeigesystem, -verfahren und -programm
DE102018104913A1 (de) Schwingungsüberwachung eines Objekts mittels Videokamera
WO2018224444A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102006004006B3 (de) Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
EP3518180A1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
DE112019002126T5 (de) Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür
DE102022211182A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Beleuchtungsparameters

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20111008

R081 Change of applicant/patentee

Owner name: AIRBUS DEFENCE AND SPACE GMBH, DE

Free format text: FORMER OWNER: EADS DEUTSCHLAND GMBH, 85521 OTTOBRUNN, DE

Effective date: 20140814

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee