DE102008034979B4 - Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern - Google Patents
Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern Download PDFInfo
- Publication number
- DE102008034979B4 DE102008034979B4 DE102008034979A DE102008034979A DE102008034979B4 DE 102008034979 B4 DE102008034979 B4 DE 102008034979B4 DE 102008034979 A DE102008034979 A DE 102008034979A DE 102008034979 A DE102008034979 A DE 102008034979A DE 102008034979 B4 DE102008034979 B4 DE 102008034979B4
- Authority
- DE
- Germany
- Prior art keywords
- images
- resolution
- image
- sequence
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000000295 complement effect Effects 0.000 claims abstract description 20
- 230000001965 increasing effect Effects 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, wobei die Bildsequenzen der Bilder (K, R) niedriger Auflösung einer kombiniynamic-Range-Rekonstruktionsverarbeitung (HDR) unterzogen werden, um fehlerreduzierte hochauflösende und konstrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten, dadurch gekennzeichnet, dass in einem ersten Fusionsschritt die Bilder einer ersten Sequenz (K) von Bildern (K1, K2, ... KNK) niedriger Auflösung durch High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR), bei welcher komplementäre Informationsanteile der Bilder (K1, K2, ... KNK) niedriger Auflösung zur Erhöhung des Kontrasts erarbeitet werden, zu einem oder mehreren Bildern (HDR) mit erhöhtem Kontrast fusioniert werden, dass in einem zweiten Fusionsschritt das oder die Bilder (HDR) mit erhöhtem Kontrast zur Superresolution-Verarbeitung (SR) verwendet werden, um ein oder mehrere fehlerreduzierte Bilder (HDR-SR) erhöhter Auflösung zu erhalten, und dass die Verarbeitung...
Description
- Die Erfindung betrifft ein Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden.
- Bildgebende Sensorik wie Kamerasysteme, sei es im sichtbaren Bereich oder im IR-Bereich, unterliegen Begrenzungen sowohl hinsichtlich einer endlichen Bildauflösung (Zahl der Pixel) als auch eines endlichen Dynamikbereichs (Kontrastumfang). Primär werden diese Qualitätsfaktoren durch technische und wirtschaftliche Randbedingungen definiert. Weitere Randbedingungen ergeben sich aus der Art des Systems, in welchem die bildgebende Sensorik implementiert ist. So lassen sich beispielsweise in fliegenden Plattformen die Bildauflösung und der Dynamikbereich der Sensorik nicht beliebig erhöhen, da damit sowohl das erzeugte Datenaufkommen als auch die Anforderungen an eventuell nachgeschaltete Datenübertragungseinrichtungen signifikant erhöht werden.
- Endgegen landläufiger Meinung bedeutet eine Erhöhung der Anzahl der Pixel eines Bildes allein nicht automatisch auch eine Erhöhung des Informationsgehaltes des Bildes, vielmehr ist dieser von der Erkennbarkeit der im Bild vorhandenen Details abhängig.
- Es sind eine Anzahl von Techniken bekannt, welche darauf abzielen, die Auflösung und/oder den Dynamikbereich von durch bildgebende Sensorik einer gegebenen Pixelzahl erzeugten Bildern, sowohl von einzelnen Bildern, als auch von Bildsequenzen, wie etwa bei Bewegtbildern, zu erhöhen.
- Neben den klassischen Techniken der Bildverarbeitung von Einzelbildern wie Helligkeitsnormalisierung, Kontrastverbesserung, Schärfung, Rauschunterdrückung sind Methoden bekannt, bei welchen mehrere Bilder einer Bildsequenz (Bildstapel) einer gemeinsamen Verarbeitung, einer sogenannten ”Fusionierung” unterzogen werden, um aus niedrig aufgelösten Bildern einer Bildsequenz ein oder mehrere qualitätsverbesserte Bilder oder eine qualitätsverbesserte Bildsequenz zu erhalten.
- Bei einer ersten bekannten Art von Qualitätsverbesserung ist es das Ziel, den Dynamikbereich zu verbessern, indem in mehreren, unter Variation eines Sensorparameters, beispielsweise der Belichtung, aufgenommenen Bildern einer Bildsequenz enthaltene komplementäre Information genutzt wird, um ein Bild mit verbessertem Dynamikbereich zu erhalten. Diese Art der Dynamikverarbeitung ist bekannt als High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) und ist beschrieben beispielsweise in E. Reinhard, G. Ward, S. Pattanaik, P. Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting, Morgan Kaufmann, 2006, ISBN: 0125852630.
- Eine weitere bekannte Art der Bildverarbeitung zielt darauf, aus mehreren in einer Bildsequenz oder einem Bildstapel enthaltenen Bildern niedriger Auflösung enthaltene redundante Information so zu verarbeiten, dass eine höhere Auflösung und/oder eine Reduzierung von Fehlern erhalten wird. Dabei werden typischerweise für alle Bilder der genutzten Bildsequenz die Aufnahmeparameter, beispielsweise die Belichtung, etc. beibehalten. Diese Art der Bildqualitätsverbesserung ist als Superresolution-Verarbeitung bekannt und ausführlich beschrieben in beispielsweise M. Gevrekci, B. K. Gunturk, Super-Resolution Approaches For Photometrically Diverse Image Sequences, ICASSP, 2007, sowie bei T. Pham, Spatiotonal Adaptivity in Super-Resolution of Under-Sampled Image Sequences, PhD Thesis, Delft University of Technology, 2006 oder bei S. Farsiu, D. Robinson, M. Elad, P. Milanfar, Advances and Challenges in Super-Resolution, IJIST, 2004.
- Bei bekannten Fusionsmethoden zur Erhöhung der Bildqualität, welche auf Verarbeitung einer Bildsequenz bzw. eines Bildstapels beruhen, wird meistens auch Gebrauch gemacht von einer Registrierung, d. h. einer gegenseitigen Ausrichtung der einzelnen Bilder zueinander, typischerweise in Bezug auf ein Referenzbild. Solche Registrierungsmethoden sind beschrieben beispielsweise in B. Zitova, J. Flusser, Image Registration Methods: A Survey, 2003.
- Der Nachteil der Anwendung dieser Methoden besteht bisher darin, dass sie jeweils nur auf einen begrenzten Teil der von der bildgebenden Sensorik zu gewinnenden Bildinformation angewendet werden. So arbeiten die eingangs beschriebenen klassischen Bildverarbeitungsmethoden nur auf der Basis von Einzelbildern. Die Fusionsmethoden zur High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) bzw. zur Super-Resolution-Verarbeitung (SR) werden bisher nur im Sinne entweder einer Verarbeitung der redundanten Information, insbesondere der Superresolution-Verarbeitung, bzw. ausschließlich der komplementären Information unter Variation von Sensorparametern, also insbesondere der High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durchgeführt.
- Aus der Veröffentlichung Gevrekci, M.; Gunturk, B. K.: Superresolution under Photometric Diversity of Images, Hindawi Publishing Corporation, EURASIP Journal on Advances in Signal Processing, Vol. 2007, Article ID 36076, doi: 10.1155/2007/36076, Seiten 1–12, ist es bekannt zur Verbesserung der Qualität von Bildern in Kombination sowohl eine die Auflösung erhöhende Superresolution-Verarbeitung als auch eine den Dynamikumfang verbessernde High-Dynamic-Range-Verarbeitung durchzuführen. Dazu können die Bilder verschiedener Kameras oder einer einzigen Kamera verwendet werden.
- Weiter ist von Wang, Z.; Jia, Y.: A Novel Image Reconstruction Method Expanding Dyanmic Range and Spacial Resolution, Proceedings of the IEEE 2006 International Conference on Robotics and Biomimetics, December 17–20, 2006, Kunming, China, Seiten 396–400, bekannt, den Dynamikbereich und die Auflösung von Bildern zu verbessern durch kombinierte Superresolution- und High-Dynamic-Range-Verarbeitung mittels einer Anordnung von vier Bildsensoren, die bezüglich Höhe und Breite des Bildes um jeweils ein halbes Pixel versetzt sind und unterschiedlich belichtete Bilder erzeugen.
- Schließlich geben Choi, J.; Park, M. K.; Kang, M. G.: High Dynamic Range Image Reconstruction with Spacial Resolution Enhancement, Zusammenfassung des Artikels, The Computer Journal 2009, Vol., 52, No. 1, doi: 10.1093/comjnl/bxm080, originally published online on October 04, 2007, Seiten 114–125, einen Überblick über gängige Methoden zur Verbesserung von Dynamikumfang und/oder Auflösung von Bildern und stellen einen Lösungsansatz vor, durch welchen die Qualität von mittels eines Bildsensors gewonnener Bildern in einem simultanen Algorithmus hinsichtlich Auflösung und Dynamikbereich verbessert werden sollen. Dabei wird aus einer den gesamten Abbildungsvorgang am Bildsensor einschließlich aller Störungen beschreibenden Abbildungsfunktion eine inverse Abbildungsfunktion konstruiert und in eine Taylor-Reihe entwickelt, von der nur die Terme niedrigster Ordnung verwendet werden. Diese inverse Abbildungsfunktion wird bei einem in der Veröffentlichung beschriebenen Beispiel angewendet auf eine Gruppe von Bildern niedriger Auflösung und niedrigem Kontrast, die durch unterschiedliche Belichtung und durch gegenseitige Verschiebung um bestimmte vorgegebene Sub-Pixel-Bewegungen gewonnen werden.
- Die Aufgabe der Erfindung ist es, Verfahren und Einrichtung für eine verbesserte Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern oder Bildsequenzen aus niedrig aufgelösten Bildsequenzen zu schaffen.
- Die Erfindung wird gelöst durch ein Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern gemäß dem Anspruch 1.
- Weiter wird die Aufgabe gelöst durch eine Einrichtung gemäß dem Anspruch 13.
- Jeweilige vorteilhafte Ausführungsformen und Weiterbildungen sind in den Unteransprüchen gekennzeichnet.
- Im folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeichnung erläutert.
- Es zeigt:
-
1 in beispielhafter Weise eine Fusion redundanter Bildinformation mit dem Verfahren der Super-Resolution durch Verarbeitung eines Bildstapels mit redundanten Bildinformationen; -
2 in beispielhafter Weise eine Fusion komplementärer Bildinformation mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels mit komplementären Bildinformationen; -
3 eine schematisierte Darstellung der Erzeugung alternierend aufeinander folgender Teilsequenzen von Bildern mit redundanten und komplementären Informationsanteilen zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung gemäß einem Ausführungsbeispiel der Erfindung; -
4 eine schematisierte Darstellung einer Fusion aufeinander folgender Sequenzen zur High-Dynamic-Range-Rekonstruktionsverarbeitung und Superresolution-Verarbeitung, um ein fehlerreduziertes hochauflösendes und kontrastverbessertes Bild zu erhalten, wobei ein durch die High-Dynamic-Range-Rekonstruktionsverarbeitung erhaltenes Bild als Referenzbild für eine Registrierung verwendet wird, gemäß einem Ausführungsbeispiel der Erfindung; und -
5 eine schematisierte Darstellung der Erzeugung einer fehlerreduzierte hochauflösende und kontrastverbesserte Bilder enthaltenden Ergebnisbildsequenz aus Fusion von alternierend aufeinanderfolgenden Sequenzen zur Superresolution-Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung. - Bei den beschriebenen Ausführungsbeispielen zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern werden sowohl redundante als auch komplementäre Bildinformationen eines Bildsensors mit einstellbaren Aufnahmeparametern gewonnen, um diese anschließend zu fusionieren. Als Sensorparameter sollen dabei diejenigen einstellbaren Parameter des Sensors verstanden werden, deren Variation geeignet ist, komplementäre Bildinformation zu erzeugen, also solche Bildinformation, die nicht aus einem einzelnen Bild abgeleitet werden kann, sondern nur aus einer Sequenz oder einem Stapel von Bildern mit jeweils variiertem Sensorparameter. Relevant im Sinne der Erfindung ist dabei insbesondere der Parameter der Belichtungszeit des Sensors bzw. der dazu entsprechende physikalische Parameter wie die Integrationszeit der Photonen auf den Pixeln (Bildelementen) des Sensors oder die Wahl von Aufnahmesensitivitäten innerhalb des Sensors.
- Der oder die Sensorparameter werden so gewählt, dass die durch die bildgebende Sensorik erzeugte niedrig aufgelöste Bildsequenz sowohl komplementäre als auch redundante Informationsanteile enthält.
-
1 zeigt anhand eines Beispiels eine Fusion redundanter Bildinformationen durch Superresolution-Verarbeitung aus einem Bildstapel, hier zwei Bilder dargestellt, mit redundanten Bildinformationen zu einem Ergebnisbild mit erhöhter Auflösung. -
2 zeigt anhand eines entsprechenden Beispiels eine Fusion komplementärer Bildinformation (Überbelichtung, Unterbelichtung) mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels, hier zwei Bilder, mit komplementären Bildinformationen zu einem Ergebnisbild mit erhöhtem Kontrast. - Gemäß dem in
3 dargestellten Ausführungsbeispiel werden die redundanten und komplementären Informationsanteile innerhalb einer Gesamtsequenz von Bildern durch alternierend aufeinanderfolgende Teilsequenzen von aufgenommenen Bildern, nämlich einer Sequenz R für den redundanten Anteil und einer Sequenz K für den komplementären Anteil repräsentiert. Die Zahl der Einzelbilder innerhalb der R- bzw. der K-Sequenz ist vorgebbar. - Die Teilsequenzen unterscheiden sich darin, dass bei dem in
3 dargestellten Ausführungsbeispiel in der R-Sequenz für die Super-Resolution-Verarbeitung die Sensorparameter unverändert bleiben, d. h. abgesehen von szenischen Veränderungen wie Beleuchtungsänderungen oder Bewegung von Objekt und/oder Sensor, handelt es sich hierbei also um redundante Mehrfachmessungen. - Im Gegensatz zur R-Sequenz werden bei der für die High-Dynamic-Range-Rekonstruktionsverarbeitung genutzten K-Sequenz ein oder mehrere Sensorparameter von Bild zu Bild gezielt variiert. Wird als zu verändernder Sensorparameter die Belichtungszeit bzw. die korrespondierende physikalische Größe von Bild zu Bild variiert, so entspricht die K-Sequenz einer Belichtungsserie. In diesem Falle enthalten die unterschiedlich belichteten Bilder auch unterschiedliche und damit komplementäre Bildinformationen.
- Die Fusion der redundanten und komplementären Informationsanteile bei der Auswertung bzw. Verarbeitung der Bildsequenz führt zu einer Rekonstruktion von kontrastverbesserten hochaufgelösten und fehlerreduzierten Bildern oder Bildsequenzen, als Ergebnisbild oder Ergebnisbildsequenz bezeichnet.
-
4 zeigt in einem Ausführungsbeispiel die Fusion aufeinanderfolgender R- und K-Sequenzen zu einem oder mehreren Ergebnisbildern. In dem hier dargestellten Ausführungsbeispiel erfolgt die Fusion zur Erzeugung eines Ergebnisbildes HDR-SR in zwei Schritten. - In einem Fusionsschritt 1 werden die Bilder einer K-Sequenz unter Variation eines oder mehrerer Sensorparameter durch High-Dynamic-Range-Rekonstruktionsverarbeitung zu einem kontrasterhöhten Bild HDR fusioniert.
- Eine Fehlerreduzierung, beispielsweise Rauschunterdrückung und Erhöhung der Auflösung erfolgt dann in einem Fusionsschritt 2 durch Super-Resolution-Verarbeitung. In dem zweiten Fusionsschritt wird dabei explizit das vorher aus dem ersten Fusionsschritt erhaltene Ergebnisbild HDR verwendet, um eine verbesserte Kontrastinformation innerhalb der Superresolution-Verarbeitung zu erhalten. Das aus der R-Sequenz zuzüglich des HDR-Bilds erhaltene Ergebnisbild ist das Bild HDR-SR, welches ein fehlerreduziertes Bild mit hoher Auflösung und hohem Kontrast ist.
- Alle Fusionsschritte können implizit eine Bildregistrierung enthalten, welche dazu dient, die einzelnen Bilder einer Sequenz miteinander zur Deckung zu bringen. Dies ist notwendig, um beispielsweise bei Bewegung des Sensors in der Szene, womit eine Änderung der Perspektive innerhalb des Bildes verbunden ist, die erzeugten Bilder vor der Fusion so zueinander zur Deckung zu bringen, dass der redundante und/oder der komplementäre Informationsgehalt nutzbar ist. Bei dem beschriebenen Ausführungsbeispiel findet diese Bildregistrierung relativ zu einem vorgewählten Referenzbild statt. Somit werden alle anderen Bilder so transformiert, beispielsweise perspektivisch verändert bzw. verzerrt, dass sie mit dem Referenzbild optimal zur Deckung gebracht sind. Als Referenzbild kann jedes der Bilder einer R- oder einer K-Sequenz dienen.
-
5 zeigt, wie durch Ausführung der beiden oben beschriebenen Fusionsschritte gemäß einem Ausführungsbeispiel nacheinander die Fusionsschritte 1 und 2 für alle Einzelbilder der R-Sequenz und der K-Sequenz als Referenzbild durchgeführt werden, so dass sich die volle Bildsequenz kontrastverbessert, hochaufgelöst und fehlerreduziert rekonstruieren läßt, was als Ergebnisbildsequenz von HDR-SR-Bildern in5 dargestellt ist. - Die beschriebenen Fusionsschritte 1 und 2 können anstelle nacheinander gemäß einem alternativen Ausführungsbeispiel auch zu einem gemeinsamen Fusionsschritt integriert durchgeführt werden.
- Neben einer alternierenden Erzeugung von R- und K-Sequenzen kann gemäß einem anderen Ausführungsbeispiel die Erzeugung der R-Sequenz dauerhaft und die der K-Sequenz durch automatische oder manuelle Steuerung veranlaßt werden, beispielsweise nur dann, wenn die Rekonstruktion eines kontrastverbesserten hochaufgelösten und fehlerreduzierten Einzelbildes oder einer Bildsequenz notwendig erscheint.
- Neben dem Parameter der Belichtungszeit bzw. der entsprechenden physikalischen Größe können auch andere oder zusätzliche Sensorparameter zur Erzeugung der K-Sequenz variiert werden, beispielsweise Fokussierung oder Zoom.
- Ein Vorteil der Erfindung ist es, dass mit bestehender Sensorik vergleichsweise niedriger Auflösung kontrastverbesserte, hochaufgelöste und fehlerreduzierte Bilder erzeugt werden können. Es ist lediglich die Steuerbarkeit eines Sensorparameters, wie der Belichtungszeit, vorzusehen.
- Die von der bildgebenden Sensorik erzeugten Datenströme werden nicht vergrößert, so dass existierende Datenübertragungseinrichtungen, etwa von der bildgebenden Sensorik zu einer Bildverarbeitungseinrichtung, unverändert verwendet werden können. Die Rekonstruktion der qualitätsverbesserten Bildsequenz kann beispielsweise im Falle einer fliegenden Sensorplattform (Aufklärungsflugzeug, Drohne) beispielsweise nach der Datenübertragung in einer Bodenstation erfolgen.
- Durch die Fusion der redundanten und der komplementären Bildsequenzen werden in dem Ergebnisbild oder der Ergebnisbildsequenz Details sichtbar, die in keinem einzelnen Eingabebild einheitlich erfaßt sind.
Claims (14)
- Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, wobei die Bildsequenzen der Bilder (K, R) niedriger Auflösung einer kombinierten Superresolution-Verarbeitung (SR) und High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) unterzogen werden, um fehlerreduzierte hochauflösende und konstrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten, dadurch gekennzeichnet, dass in einem ersten Fusionsschritt die Bilder einer ersten Sequenz (K) von Bildern (K1, K2, ... KNK) niedriger Auflösung durch High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR), bei welcher komplementäre Informationsanteile der Bilder (K1, K2, ... KNK) niedriger Auflösung zur Erhöhung des Kontrasts erarbeitet werden, zu einem oder mehreren Bildern (HDR) mit erhöhtem Kontrast fusioniert werden, dass in einem zweiten Fusionsschritt das oder die Bilder (HDR) mit erhöhtem Kontrast zur Superresolution-Verarbeitung (SR) verwendet werden, um ein oder mehrere fehlerreduzierte Bilder (HDR-SR) erhöhter Auflösung zu erhalten, und dass die Verarbeitung der Bilder (K, R) niedriger Auflösung eine Bildregistrierung enthält, um die Bilder einer Sequenz zur Deckung zu bringen, wobei der Sensor, welcher die Bildsequenzen (K, R,) aufnimmt, sich relativ zur aufgenommenen Szene in Bewegung befindet.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fusionsschritte zur HDR-Rekonstruktionsverarbeitung und zur Superresolution-Verarbeitung (SR) nacheinander durchgeführt werden.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fusionsschritte zur HDR-Rekonstruktionsverarbeitung und zur Superresolution-Verarbeitung (SR) in einem gemeinsamen Algorithmus integriert verarbeitet werden.
- Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Bilder einer zweiten Sequenz (R) von Bildern (R1, R2, ... RNR) niedriger Auflösung einer Superresolution-Verarbeitung (SR) unterzogen, bei welcher redundante Informationsanteile der Bilder (R1, R2, .... RNR) niedriger Auflösung zur Erhöhung der Auflösung verarbeitet werden.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Erzeugung der zweiten Sequenz (R) von Bildern (R1, R2, ... RNR) niedriger Auflösung für die Superresolution-Verarbeitung (SR) dauerhaft erfolgt und dass die Erzeugung der ersten Sequenz (K) von Bildern (K1, K2, ... KNK) niedriger Auflösung für die High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durch automatische oder manuelle Steuerung ausgelöst erfolgt.
- Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei der High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) der Bilder der ersten Sequenz (K) die Sensorparameter von Bild zu Bild gezielt variiert werden.
- Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als Sensorparameter die Belichtung von Bild zu Bild variiert wird.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei der Superresolution-Verarbeitung der Bilder der zweiten Sequenz (R) die Sensorparameter unverändert beibehalten werden.
- Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) verschiedene Sequenzen von Bildern niedriger Auflösung sind.
- Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) blockweise abwechselnd aufeinander folgen.
- Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) ineinander verschachtelt sind.
- Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Bildregistrierung bezüglich eines Referenzbildes aus der Sequenz niedrig aufgelöster Bilder (K, R) erfolgt.
- Einrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 12.
- Einrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Einrichtung softwaregesteuert arbeitet.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008034979A DE102008034979B4 (de) | 2008-07-25 | 2008-07-25 | Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern |
PCT/DE2009/000971 WO2010009703A1 (de) | 2008-07-25 | 2009-07-11 | Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern |
EP09775956A EP2308227A1 (de) | 2008-07-25 | 2009-07-11 | Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern |
US13/055,621 US8849059B2 (en) | 2008-07-25 | 2009-07-11 | Method and device for generating images having a reduced error rate, high resolution and improved contrast |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008034979A DE102008034979B4 (de) | 2008-07-25 | 2008-07-25 | Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102008034979A1 DE102008034979A1 (de) | 2010-01-28 |
DE102008034979B4 true DE102008034979B4 (de) | 2011-07-07 |
Family
ID=41211745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102008034979A Expired - Fee Related DE102008034979B4 (de) | 2008-07-25 | 2008-07-25 | Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern |
Country Status (4)
Country | Link |
---|---|
US (1) | US8849059B2 (de) |
EP (1) | EP2308227A1 (de) |
DE (1) | DE102008034979B4 (de) |
WO (1) | WO2010009703A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011121334A1 (de) * | 2011-12-16 | 2013-06-20 | Testo Ag | Messanordnung und korrespondierendes Bildaufbereitungsverfahren |
DE102013211286A1 (de) | 2013-06-17 | 2014-12-18 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012004908A (ja) * | 2010-06-17 | 2012-01-05 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US8462221B2 (en) | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
US8466976B2 (en) | 2010-11-03 | 2013-06-18 | Eastman Kodak Company | Digital camera providing high dynamic range images |
US8675957B2 (en) * | 2010-11-18 | 2014-03-18 | Ebay, Inc. | Image quality assessment to merchandise an item |
JP2012186593A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN105931179B (zh) * | 2016-04-08 | 2018-10-26 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
CN109919841B (zh) * | 2019-01-24 | 2022-12-27 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
EP4036369A3 (de) * | 2019-12-12 | 2022-12-07 | Services Pétroliers Schlumberger | Modulare bildgebungsverfahren |
EP3835543B1 (de) | 2019-12-12 | 2023-02-22 | Services Pétroliers Schlumberger | Mehrfinger-kalibermessgerät |
CN113992861B (zh) * | 2020-07-27 | 2023-07-21 | 虹软科技股份有限公司 | 一种图像处理方法及图像处理装置 |
CN112634160A (zh) * | 2020-12-25 | 2021-04-09 | 北京小米松果电子有限公司 | 拍照方法及装置、终端、存储介质 |
DE102021124153A1 (de) * | 2021-09-17 | 2023-03-23 | Homag Plattenaufteiltechnik Gmbh | Verfahren und Vorrichtung zur Qualitätsprüfung einer Kante eines plattenförmigen Werkstücks |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0954376A (ja) * | 1995-06-09 | 1997-02-25 | Pioneer Electron Corp | 立体表示装置 |
US20060291750A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution) |
US7412107B2 (en) * | 2004-12-17 | 2008-08-12 | The Regents Of The University Of California, Santa Cruz | System and method for robust multi-frame demosaicing and color super-resolution |
US8666196B2 (en) * | 2005-01-19 | 2014-03-04 | The United States Of America As Represented By The Secretary Of The Army | System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images |
US8577184B2 (en) * | 2005-01-19 | 2013-11-05 | The United States Of America As Represented By The Secretary Of The Army | System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images |
US7777790B2 (en) * | 2005-01-27 | 2010-08-17 | Technion Research & Development Foundation Ltd. | Acquisition of image sequences with enhanced resolution |
KR20080034508A (ko) * | 2005-08-08 | 2008-04-21 | 요셉 러브너 | 적응형 노출 제어 |
WO2009034688A1 (ja) * | 2007-09-10 | 2009-03-19 | Nikon Corporation | 画像処理方法およびプログラム |
-
2008
- 2008-07-25 DE DE102008034979A patent/DE102008034979B4/de not_active Expired - Fee Related
-
2009
- 2009-07-11 WO PCT/DE2009/000971 patent/WO2010009703A1/de active Application Filing
- 2009-07-11 EP EP09775956A patent/EP2308227A1/de not_active Withdrawn
- 2009-07-11 US US13/055,621 patent/US8849059B2/en active Active
Non-Patent Citations (4)
Title |
---|
CHOI, J., PARK, M.K., KANG, M.G.: High Dynamic Range Image Reconstruction with Spatial Resolution Enhancement. The Computer Journal 2009, Volume 52, No. 1, doi:10.1093/comjn/bxm080, originally published online on October 4, 2007, S. 114-125 * |
CHOI,J., PARK,M.K., KANG,M.G.: High Dynamic Range Image Reconstruction with Spatial Resolution Enhancement. Zusammenfassung vom Artikel, The Computer Journal 2009. Volume 52 , No.1, doi:10.1093/comjnl/bxm080, originally published online on October 4, 2007, S.114-125, S.1-2 * |
GEVREKCI,M., GUNTURK,B.K.: Superresolution under Photometric Diversity of Images. Hindawi Publishing Corporation, EURASIP Journal on Advances in Signal Processing, Volume 2007, Article ID 36076, doi:10.1155/2007/36076, S.1-12 * |
WANG,Z., JIA,Y.: A Novel Image Reconstruction Method Expanding Dynamic Range and Spatial Resolution. Proceedings of the IEEE 2006 International Conference on Robotics and Biominetics, December 17-20, 2006 Kunming China, S.396-400 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011121334A1 (de) * | 2011-12-16 | 2013-06-20 | Testo Ag | Messanordnung und korrespondierendes Bildaufbereitungsverfahren |
DE102011121334B4 (de) * | 2011-12-16 | 2016-08-18 | Testo Ag | Messanordnung und korrespondierendes Bildaufbereitungsverfahren |
DE102013211286A1 (de) | 2013-06-17 | 2014-12-18 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor |
Also Published As
Publication number | Publication date |
---|---|
US8849059B2 (en) | 2014-09-30 |
US20110182528A1 (en) | 2011-07-28 |
WO2010009703A1 (de) | 2010-01-28 |
DE102008034979A1 (de) | 2010-01-28 |
EP2308227A1 (de) | 2011-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008034979B4 (de) | Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern | |
DE69333846T2 (de) | Verfahren zur mischung von bildern und vorrichtung hierzu. | |
DE69127809T2 (de) | Verfahren um zwei bewegungen in hintereinanderfolgenden teilbildern mit drei teilbildern dynamisch zu analysieren | |
DE69434657T2 (de) | System und Verfahren zur elektronischen Bildstabilisierung | |
DE102017220104A1 (de) | Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe | |
DE112016005905T5 (de) | Verfahren und System zum Verschmelzen erfasster Messungen | |
DE102010053458B4 (de) | Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera | |
EP2406769B1 (de) | Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder | |
WO2012076274A1 (de) | Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems | |
DE202016007867U1 (de) | Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform | |
EP2791896B1 (de) | Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung | |
EP3186776A1 (de) | Bildaufnahmevorrichtung und verfahren zur bildaufnahme | |
DE112011103452T5 (de) | Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung | |
EP3899860A1 (de) | Grössenveränderung von bildern mittels eines neuronalen netzes | |
DE4037739C1 (de) | ||
DE102013214497A1 (de) | Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben | |
DE102018125397A1 (de) | Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte | |
DE112021003347T5 (de) | Bildverarbeitungsvorrichtung, bildanzeigesystem, -verfahren und -programm | |
DE102018104913A1 (de) | Schwingungsüberwachung eines Objekts mittels Videokamera | |
WO2018224444A1 (de) | Verfahren und vorrichtung zur bildkorrektur | |
DE102006004006B3 (de) | Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme | |
DE102009017135A1 (de) | Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse | |
EP3518180A1 (de) | Verfahren zur erstellung einer bildstapel-datenstruktur | |
DE112019002126T5 (de) | Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür | |
DE102022211182A1 (de) | Verfahren und Vorrichtung zum Ermitteln eines Beleuchtungsparameters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |
Effective date: 20111008 |
|
R081 | Change of applicant/patentee |
Owner name: AIRBUS DEFENCE AND SPACE GMBH, DE Free format text: FORMER OWNER: EADS DEUTSCHLAND GMBH, 85521 OTTOBRUNN, DE Effective date: 20140814 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |