EP2308227A1 - Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern - Google Patents

Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern

Info

Publication number
EP2308227A1
EP2308227A1 EP09775956A EP09775956A EP2308227A1 EP 2308227 A1 EP2308227 A1 EP 2308227A1 EP 09775956 A EP09775956 A EP 09775956A EP 09775956 A EP09775956 A EP 09775956A EP 2308227 A1 EP2308227 A1 EP 2308227A1
Authority
EP
European Patent Office
Prior art keywords
images
resolution
image
sequence
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09775956A
Other languages
English (en)
French (fr)
Inventor
Klaus Schertler
Falk Schubert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Publication of EP2308227A1 publication Critical patent/EP2308227A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the invention relates to a method for generating error-reduced high-resolution and contrast-enhanced images from image sequences with low-resolution images, which are obtained by an image sensor with adjustable acquisition parameters.
  • Imaging sensors such as camera systems, whether in the visible or IR range, are subject to limitations both in terms of finite image resolution (number of pixels) and finite dynamic range (contrast range). Primarily, these quality factors are defined by technical and economic constraints. Further boundary conditions result from the type of system in which the imaging sensor system is implemented. Thus, for example, in flying platforms, the image resolution and the dynamic range of the sensors can not be increased arbitrarily, since this significantly increases both the data volume generated and the requirements for any downstream data transmission devices.
  • a number of techniques are known which aim to increase the resolution and / or dynamic range of images produced by imaging sensors of a given number of pixels, both of individual images, and image sequences, such as motion pictures.
  • image processing of individual images such as brightness normalization, contrast enhancement, sharpening, noise reduction methods are known in which several images of a sequence of images (image stack) of a common processing, a so-called "fusion" are subjected to from low-resolution images of an image sequence or get several quality-enhanced images or a quality-enhanced image sequence.
  • HDR High Dynamic Range Reconstruction Processing
  • Another known type of image processing aims to process redundant information contained in a plurality of low-resolution images contained in an image sequence or a picture stack in such a way that a higher resolution and / or a reduction of errors is obtained.
  • the recording parameters for example the exposure, etc.
  • This type of image quality enhancement is known as superresolution processing and is described in detail in, for example, M. Gevrekci, BK Gunturk, Super-Resolution Approaches For Photometrically Various Image Sequences, ICASSP, 2007, and T. Pham, Spatial Adaptive in Super -Resolution of Under-Sampled Image Sequences, PhD Thesis, Delft University of Technology, 2006 or S.
  • HDR high-dynamic-range reconstruction processing
  • SR super-resolution processing
  • the object of the invention is to provide methods and apparatus for an improved generation of reduced-error high-resolution and contrast-enhanced images or image sequences from a low-resolution image sequence.
  • the invention is achieved by a method for producing error-reduced high-resolution and contrast-enhanced images according to claim 1.
  • the invention provides a method for generating error-reduced high-resolution and contrast-enhanced images from images of low-resolution image sequences obtained by an image sensor with adjustable acquisition parameters.
  • the image sequences of the low-resolution images are subjected to combined super-resolution processing and high-dynamic-range reconstruction processing to obtain error-reduced high-resolution and contrast-enhanced images on the basis of redundant and complementary image information contained in the low-resolution images to obtain.
  • the images of a sequence of low resolution images are subjected to superresolution processing in which redundant information portions of the low resolution images are processed to increase the resolution.
  • the sensor parameters are selectively varied from image to image.
  • the exposure time can be varied from image to image as a sensor parameter.
  • the sensor parameters can be kept unchanged.
  • the first sequence and the second sequence are different sequences of low resolution images.
  • the first sequence and the second sequence may alternately follow each other in blocks.
  • first sequence and the second sequence may be nested.
  • the images of the first sequence are fused by high-dynamic-range reconstruction processing to one or more images with increased contrast
  • the image or images with increased contrast used for superresolution processing to obtain one or more reduced-resolution images of increased resolution.
  • the first fusion step for HDR reconstruction processing and the second fusion step for SR processing are performed sequentially.
  • the two fusion steps can also be processed integrated in a common algorithm.
  • image sequences of low-resolution, high-resolution and contrast-enhanced images are again generated from the image sequences of the low-resolution images.
  • the processing of the low resolution images may include image registration to match the used images of a sequence.
  • the image registration can be made with respect to a reference image from the sequence of low-resolution images.
  • the generation of the sequence of low resolution images for the superresolution processing can take place permanently, the generation of the images of the sequence of low resolution images for the high dynamic range reconstruction processing can be initiated by automatic or manual control respectively.
  • the invention also provides a device for carrying out the above method.
  • Such a device can in particular be software-controlled.
  • FIG. 1 shows by way of example a fusion of redundant image information with the method of super-resolution by processing an image stack with redundant image information
  • FIG. 2 shows, by way of example, a fusion of complementary image information by means of high-dynamic-range reconstruction processing of a picture stack with complementary image information
  • FIG. 3 shows a schematic representation of the generation of alternating successive subsequences of images with redundant and complementary information components for generating error-reduced high-resolution and contrast-enhanced images from image sequences with low-resolution images according to an exemplary embodiment of the invention
  • FIG. 4 is a schematic representation of a fusion of successive sequences for high-dynamic-range reconstruction processing and super-resolution processing in order to obtain a reduced-error, high-resolution and contrast-enhanced image, wherein a high-dynamic range
  • Reconstruction processing image is used as a reference image for a registration, according to an embodiment of the invention.
  • FIG. 5 shows a schematic illustration of the generation of a result-reduced image sequence containing high-resolution and contrast-enhanced images of fusion of alternating successive sequences for superresolution processing and high-dynamic-range reconstruction processing.
  • both redundant and complementary bit information of an image sensor with adjustable acquisition parameters are obtained in order to then fuse them.
  • the sensor parameters are understood to mean those adjustable parameters of the sensor whose variation is suitable for generating complementary image information, ie image information that can not be derived from a single image, but only from a sequence or a stack of images with each varied sensor parameters.
  • Relevant in the sense of the invention is in particular the parameter of the exposure time of the sensor or the corresponding physical parameters such as the integration time of the sensor. on the pixels (picture elements) of the sensor or the choice of recording sensitivities within the sensor.
  • the sensor parameter or parameters are selected such that the low-resolution image sequence generated by the imaging sensor system contains both complementary and redundant information components.
  • FIG. 1 shows a fusion of redundant image information by superresolution processing from an image stack, here two images represented, with redundant image information to a resulting image with increased resolution.
  • FIG. 2 shows by way of a corresponding example a fusion of complementary image information (overexposure, underexposure) by means of high-dynamic-range reconstruction processing of an image stack, here two images, with complementary image information to a resulting image with increased contrast.
  • the redundant and complementary information components within a total sequence of images are represented by alternately successive partial sequences of recorded images, namely a sequence R for the redundant component and a sequence K for the complementary component.
  • the number of individual images within the R or K sequence can be specified.
  • the subsequences differ in that in the embodiment shown in FIG. 3 in the R-sequence for the super-resolution processing, the sensor parameters remain unchanged, ie apart from scenic changes such as changes in illumination or movement of object and / or sensor, it is So this is redundant multiple measurements.
  • one or more sensor parameters are selectively varied from image to image in the K sequence used for high-dynamic-range reconstruction processing. If the exposure time or the corresponding physical variable is varied from image to image as the sensor parameter to be changed, then the K sequence corresponds to an exposure series. In this case, the differently exposed images also contain different and thus complementary image information.
  • result image or result image sequence The fusion of the redundant and complementary information portions in the evaluation or processing of the image sequence leads to a reconstruction of contrast-enhanced high-resolution and reduced-error images or image sequences, referred to as result image or result image sequence.
  • Fig. 4 shows, in one embodiment, the fusion of successive R and K sequences to one or more result images.
  • the fusion takes place in order to produce a result image HDR-SR in two steps.
  • a fusion step 1 the images of a K sequence are fused by variation of one or more sensor parameters by high-dynamic-range reconstruction processing to form a contrast-enhanced image HDR.
  • An error reduction for example noise suppression and increase of the resolution then takes place in a fusion step 2 by super-resolution processing.
  • the result image HDR previously obtained from the first fusion step is explicitly used in order to obtain improved contrast information within the superresolution processing.
  • the result image obtained from the R sequence plus the HDR image is the image HDR-SR, which is a high-resolution, high-contrast, error-reduced image. All fusion steps may implicitly include an image registration that serves to match the individual images of a sequence.
  • this image registration takes place relative to a preselected reference image.
  • all other images are transformed, for example perspectively altered or distorted, so that they are optimally aligned with the reference image.
  • each of the images may serve an R or a K sequence.
  • FIG. 5 shows how, by executing the two fusion steps described above according to an exemplary embodiment, the fusion steps 1 and 2 are carried out successively for all individual images of the R sequence and the K sequence as a reference image, so that the full image sequence is enhanced in contrast, highly resolved and reduced in error which is shown as a result image sequence of HDR-SR images in FIG. 5.
  • the described fusion steps 1 and 2 can also be carried out integrated into a common fusion step instead of successively according to an alternative embodiment.
  • the generation of the R-sequence can be made permanent and that of the K-sequence by automatic or manual control, for example, only if the reconstruction of a contrast-enhanced high-resolution and reduced-error frame or a biopsy sequence appears necessary.
  • other or additional sensor parameters for generating the K sequence can also be varied, for example focusing or zooming.
  • One advantage of the invention is that contrast-enhanced, high-resolution and reduced-error images can be generated with existing sensors of comparatively low resolution. It is only the controllability of a sensor parameter, such as the exposure time to provide.
  • the data streams generated by the imaging sensor system are not enlarged, so that existing data transmission devices, for example from the imaging sensor system to an image processing device, can be used unchanged.
  • the reconstruction of the quality-enhanced image sequence can be done, for example, in the case of a flying sensor platform (reconnaissance aircraft, drone), for example after the data transmission in a ground station.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Ein Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden. Erfindungsgemäß werden die Bildsequenzen der Bilder (K, R) niedriger Auflösung einer kombinierten Superresolution-Verarbeitung (SR) und High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) unterzogen, um fehlerreduzierte hochauflösende und konstrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten.

Description

Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
Die Erfindung betrifft ein Verfahren zur Erzeugung von fehlerreduzierten hochauf- lösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden.
Bildgebende Sensorik wie Kamerasysteme, sei es im sichtbaren Bereich oder im IR-Bereich, unterliegen Begrenzungen sowohl hinsichtlich einer endlichen Bildauflösung (Zahl der Pixel) als auch eines endlichen Dynamikbereichs (Kontrastumfang). Primär werden diese Qualitätsfaktoren durch technische und wirtschaftliche Randbedingungen definiert. Weitere Randbedingungen ergeben sich aus der Art des Systems, in welchem die bildgebende Sensorik implementiert ist. So lassen sich beispielsweise in fliegenden Plattformen die Bildauflösung und der Dynamikbereich der Sensorik nicht beliebig erhöhen, da damit sowohl das erzeugte Datenaufkommen als auch die Anforderungen an eventuell nachgeschaltete Datenübertragungseinrichtungen signifikant erhöht werden.
Endgegen landläufiger Meinung bedeutet eine Erhöhung der Anzahl der Pixel eines Bildes allein nicht automatisch auch eine Erhöhung des Informationsgehaltes des Bildes, vielmehr ist dieser von der Erkennbarkeit der im Bild vorhandenen Details abhängig.
Es sind eine Anzahl von Techniken bekannt, welche darauf abzielen, die Auflösung und/oder den Dynamikbereich von durch bildgebende Sensorik einer gegebenen Pixelzahl erzeugten Bildern, sowohl von einzelnen Bildern, als auch von Bildsequenzen, wie etwa bei Bewegtbildern, zu erhöhen. Neben den klassischen Techniken der Bildverarbeitung von Einzelbildern wie Helligkeitsnormalisierung, Kontrastverbesserung, Schärfung, Rauschunterdrückung sind Methoden bekannt, bei welchen mehrere Bilder einer Bildsequenz (Bildstapel) einer gemeinsamen Verarbeitung, einer sogenannten "Fusionierung" unterzogen werden, um aus niedrig aufgelösten Bildern einer Bildsequenz ein oder mehrere qualitätsverbesserte Bilder oder eine qualitätsverbesserte Bildsequenz zu erhalten.
Bei einer ersten bekannten Art von Qualitätsverbesserung ist es das Ziel, den Dy- namikbereich zu verbessern, indem in mehreren, unter Variation eines Sensorparameters, beispielsweise der Belichtung, aufgenommenen Bildern einer Bildsequenz enthaltene komplementäre Information genutzt wird, um ein Bild mit verbessertem Dynamikbereich zu erhalten. Diese Art der Dynamikverarbeitung ist bekannt als High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) und ist be- schrieben beispielsweise in E. Reinhard, G. Ward, S. Pattanaik, P. Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting, Morgan Kaufmann, 2006, ISBN: 0125852630.
Eine weitere bekannte Art der Bildverarbeitung zielt darauf, aus mehreren in einer Bildsequenz oder einem Bildstapel enthaltenen Bildern niedriger Auflösung enthaltene redundante Information so zu verarbeiten, dass eine höhere Auflösung und/oder eine Reduzierung von Fehlern erhalten wird. Dabei werden typischerweise für alle Bilder der genutzten Bildsequenz die Aufnahmeparameter, beispielsweise die Belichtung, etc. beibehalten. Diese Art der Bildqualitätsverbesserung ist als Superresolution-Verarbeitung bekannt und ausführlich beschrieben in beispielsweise M. Gevrekci, B. K. Gunturk, Super-Resolution Approaches For Pho- tometrically Diverse Image Sequences, ICASSP, 2007, sowie bei T. Pham, Spatio- tonal Adaptivity in Super-Resolution of Under-Sampled Image Sequences, PhD Thesis, Delft University of Technology, 2006 oder bei S. Farsiu, D. Robinson, M. Elad, P. Milanfar, Advances and Challenges in Super-Resolution, IJIST, 2004. Bei bekannten Fusionsmethoden zur Erhöhung der Bildqualität, welche auf Verarbeitung einer Bildsequenz bzw. eines Bildstapels beruhen, wird meistens auch Gebrauch gemacht von einer Registrierung, d.h. einer gegenseitigen Ausrichtung der einzelnen Bilder zueinander, typischerweise in Bezug auf ein Referenzbild. Solche Registrierungsmethoden sind beschrieben beispielsweise in B. Zitova, J. Flusser, Image Registration Methods: A Survey, 2003.
Der Nachteil der Anwendung dieser Methoden besteht bisher darin, dass sie je- weils nur auf einen begrenzten Teil der von der bildgebenden Sensorik zu gewinnenden Bildinformation angewendet werden. So arbeiten die eingangs beschriebenen klassischen Bildverarbeitungsmethoden nur auf der Basis von Einzelbildern. Die Fusionsmethoden zur High-Dynamic-Range-Rekonstruktions- verarbeitung (HDR) bzw. zur Super-Resolution-Verarbeitung (SR) werden bisher nur im Sinne entweder einer Verarbeitung der redundanten Information, insbesondere der Superresolution-Verarbeitung, bzw. ausschließlich der komplementären Information unter Variation von Sensorparametern, also insbesondere der High- Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durchgeführt.
Die Aufgabe der Erfindung ist es, Verfahren und Einrichtung für eine verbesserte Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern oder Bildsequenzen aus einer niedrig aufgelösten Bildsequenz zu erzeugen.
Die Erfindung wird gelöst durch ein Verfahren zur Erzeugung von fehler- reduzierten hochauflösenden und kontrastverbesserten Bildern gemäß dem Anspruch 1.
Weiter wird die Aufgabe gelöst durch eine Einrichtung gemäß dem Anspruch 17. Jeweilige vorteilhafte Ausführungsformen und Weiterbildungen sind in den Unteransprüchen gekennzeichnet.
Durch die Erfindung wird ein Verfahren zur Erzeugung von fehlerreduzierten hoch- auflösenden und kontrastverbesserten Bildern aus Bildern von Bildsequenzen niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, geschaffen. Erfindungsgemäß ist es vorgesehen, dass die Bildsequenzen der Bilder niedriger Auflösung einer kombinierten Super- resolution-Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung unterzogen werden, um fehlerreduzierte hochauflösende und kontrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten.
Gemäß einer Ausführungsform der Erfindung werden die Bilder einer ersten Se- quenz von Bildern niedriger Auflösung einer High-Dynamic-Range-
Rekonstruktionsverarbeitung unterzogen, bei welcher komplementäre Informationsanteile der Bilder niedriger Auflösung zur Erhöhung des Kontrasts verarbeitet werden.
Gemäß einer anderen Ausführungsform der Erfindung werden die Bilder einer Sequenz von Bildern niedriger Auflösung einer Superresolution-Verarbeitung unterzogen, bei welcher redundante Informationsanteile der Bilder niedriger Auflösung zur Erhöhung der Auflösung verarbeitet werden.
Gemäß einer Ausführungsform der Erfindung werden bei der High-Dynamic- Range-Rekonstruktionsverarbeitung der Bilder der ersten Sequenz die Sensorparameter von Bild zu Bild gezielt variiert.
Als Sensorparameter kann insbesondere die Belichtungszeit von Bild zu Bild vari- iert werden. Bei der Super-Resolution-Verarbeitung der Bilder der zweiten Sequenz können die Sensorparameter unverändert beibehalten werden.
Gemäß einer Ausführungsform der Erfindung sind die erste Sequenz und die zweite Sequenz verschiedene Sequenzen von Bildern niedriger Auflösung.
Die erste Sequenz und die zweite Sequenz können blockweise abwechselnd aufeinander folgen.
Alternativ können die erste Sequenz und die zweite Sequenz ineinander verschachtelt sein.
Gemäß einer Ausführungsform der Erfindung werden in einem ersten Fusions- schritt die Bilder der ersten Sequenz durch High-Dynamic-Range-Rekonstruktions- verarbeitung zu einem oder mehreren Bildern mit erhöhtem Kontrast fusioniert, und in einem zweiten Fusionsschritt werden das oder die Bilder mit erhöhtem Kontrast zur Superresolution-Verarbeitung verwendet, um ein oder mehrere fehlerreduzierte Bilder erhöhter Auflösung zu erhalten.
Gemäß einer Ausführungsform der Erfindung werden der erste Fusionsschritt zur HDR-Rekonstruktionsverarbeitung und der zweite Fusionsschritt zur SR- Verarbeitung nacheinander durchgeführt. Alternativ können die beiden Fusionsschritte auch in einem gemeinsamen Algorithmus integriert verarbeitet werden.
Gemäß einer Ausführungsform werden aus den Bildsequenzen der Bilder niedriger Auflösung wiederum Bildsequenzen von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern erzeugt. Die Verarbeitung der Bilder niedriger Auflösung kann eine Bildregistrierung enthalten, um die verwendeten Bilder einer Sequenz untereinander zur Deckung zu bringen.
Die Bildregistrierung kann bezüglich eines Referenzbildes aus der Sequenz niedrig aufgelöster Bilder erfolgen.
Gemäß einer Weiterbildung der Erfindung kann die Erzeugung der Sequenz von Bildern niedriger Auflösung für die Superresolution-Verarbeitung dauerhaft erfol- gen, die Erzeugung der Bilder der Sequenz von Bildern niedriger Auflösung für die High-Dynamic-Range-Rekonstruktionsverarbeitung kann durch automatische oder manuelle Steuerung veranlaßt erfolgen.
Durch die Erfindung wird weiterhin auch eine Einrichtung zur Durchführung des vorstehenden Verfahrens geschaffen.
Eine solche Einrichtung kann insbesondere softwaregesteuert sein.
Im folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeichnung erläutert. Es zeigt:
Fig. 1 in beispielhafter Weise eine Fusion redundanter Bildinformation mit dem Verfahren der Super-Resolution durch Verarbeitung eines Bildstapels mit redundanten Bildinformationen;
Fig. 2 in beispielhafter weise eine Fusion komplementärer Bildinformation mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels mit komplementären Bildinformationen; Fig. 3 eine schematisierte Darstellung der Erzeugung alternierend aufeinander folgender Teilsequenzen von Bildern mit redundanten und komplementären Informationsanteilen zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 4 eine schematisierte Darstellung einer Fusion aufeinander folgender Sequenzen zur High-Dynamic-Range-Rekonstruktionsverarbeitung und Super- resolution-Verarbeitung, um ein fehlerreduziertes hochauflösendes und kontrast- verbessertes Bild zu erhalten, wobei ein durch die High-Dynamic-Range-
Rekonstruktionsverarbeitung erhaltenes Bild als Referenzbild für eine Registrierung verwendet wird, gemäß einem Ausführungsbeispiel der Erfindung; und
Fig. 5 eine schematisierte Darstellung der Erzeugung einer fehlerreduzierte hoch- auflösende und kontrastverbesserte Bilder enthaltenden Ergebnisbildsequenz aus Fusion von alternierend aufeinanderfolgenden Sequenzen zur Superresolution- Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung.
Bei den beschriebenen Ausführungsbeispielen zur Erzeugung von fehler- reduzierten hochauflösenden und kontrastverbesserten Bildern werden sowohl redundante als auch komplementäre Bifdinformationen eines Bildsensors mit einstellbaren Aufnahmeparametern gewonnen, um diese anschließend zu fusionieren. Als Sensorparameter sollen dabei diejenigen einstellbaren Parameter des Sensors verstanden werden, deren Variation geeignet ist, komplementäre Bildin- formation zu erzeugen, also solche Bildinformation, die nicht aus einem einzelnen Bild abgeleitet werden kann, sondern nur aus einer Sequenz oder einem Stapel von Bildern mit jeweils variiertem Sensorparameter. Relevant im Sinne der Erfindung ist dabei insbesondere der Parameter der Belichtungszeit des Sensors bzw. der dazu entsprechende physikalische Parameter wie die Integrationszeit der Pho- tonen auf den Pixeln (Bildelementen) des Sensors oder die Wahl von Aufnahme- sensitivitäten innerhalb des Sensors.
Der oder die Sensorparameter werden so gewählt, dass die durch die bildgebende Sensorik erzeugte niedrig aufgelöste Bildsequenz sowohl komplementäre als auch redundante Informationsanteile enthält.
Fig. 1 zeigt anhand eines Beispiels eine Fusion redundanter Bildinformationen durch Superresolution-Verarbeitung aus einem Bildstapel, hier zwei Bilder darge- stellt, mit redundanten Bildinformationen zu einem Ergebnisbild mit erhöhter Auflösung.
Fig. 2 zeigt anhand eines entsprechenden Beispiels eine Fusion komplementärer Bildinformation (Überbelichtung, Unterbelichtung) mittels High-Dynamic-Range- Rekonstruktionsverarbeitung eines Bildstapels, hier zwei Bilder, mit komplementären Bildinformationen zu einem Ergebnisbild mit erhöhtem Kontrast.
Gemäß dem in Fig. 3 dargestellten Ausführungsbeispiel werden die redundanten und komplementären Informationsanteile innerhalb einer Gesamtsequenz von BiI- dem durch alternierend aufeinanderfolgende Teilsequenzen von aufgenommenen Bildern, nämlich einer Sequenz R für den redundanten Anteil und einer Sequenz K für den komplementären Anteil repräsentiert. Die Zahl der Einzelbilder innerhalb der R- bzw. der K-Sequenz ist vorgebbar.
Die Teilsequenzen unterscheiden sich darin, dass bei dem in Fig. 3 dargestellten Ausführungsbeispiel in der R-Sequenz für die Super-Resolution-Verarbeitung die Sensorparameter unverändert bleiben, d.h. abgesehen von szenischen Veränderungen wie Beleuchtungsänderungen oder Bewegung von Objekt und/oder Sensor, handelt es sich hierbei also um redundante Mehrfachmessungen. Im Gegensatz zur R-Sequenz werden bei der für die High-Dynamic-Range- Rekonstruktionsverarbeitung genutzten K-Sequenz ein oder mehrere Sensorparameter von Bild zu Bild gezielt variiert. Wird als zu verändernder Sensorparameter die Belichtungszeit bzw. die korrespondierende physikalische Größe von Bild zu Bild variiert, so entspricht die K-Sequenz einer Belichtungsserie. In diesem Falle enthalten die unterschiedlich belichteten Bilder auch unterschiedliche und damit komplementäre Bildinformationen.
Die Fusion der redundanten und komplementären Informationsanteile bei der Auswertung bzw. Verarbeitung der Bildsequenz führt zu einer Rekonstruktion von kontrastverbesserten hochaufgelösten und fehlerreduzierten Bildern oder Bildsequenzen, als Ergebnisbild oder Ergebnisbildsequenz bezeichnet.
Fig. 4 zeigt in einem Ausführungsbeispiel die Fusion aufeinanderfolgender R- und K-Sequenzen zu einem oder mehreren Ergebnisbildern. In dem hier dargestellten Ausführungsbeispiel erfolgt die Fusion zur Erzeugung eines Ergebnisbildes HDR- SR in zwei Schritten.
In einem Fusionsschritt 1 werden die Bilder einer K-Sequenz unter Variation eines oder mehrerer Sensorparameter durch High-Dynamic-Range-Rekonstruktions- verarbeitung zu einem kontrasterhöhten Bild HDR fusioniert.
Eine Fehlerreduzierung, beispielsweise Rausch Unterdrückung und Erhöhung der Auflösung erfolgt dann in einem Fusionsschritt 2 durch Super-Resolution- Verarbeitung. In dem zweiten Fusionsschritt wird dabei explizit das vorher aus dem ersten Fusionsschritt erhaltene Ergebnisbild HDR verwendet, um eine verbesserte Kontrastinformation innerhalb der Superresolution-Verarbeitung zu erhalten. Das aus der R-Sequenz zuzüglich des HDR-Bilds erhaltene Ergebnisbild ist das Bild HDR-SR, welches ein fehlerreduziertes Bild mit hoher Auflösung und ho- hem Kontrast ist. Alle Fusionsschritte können implizit eine Bildregistrierung enthalten, welche dazu dient, die einzelnen Bilder einer Sequenz miteinander zur Deckung zu bringen. Dies ist notwendig, um beispielsweise bei Bewegung des Sensors in der Szene, womit eine Änderung der Perspektive innerhalb des Bildes verbunden ist, die erzeugten Bilder vor der Fusion so zueinander zur Deckung zu bringen, dass der redundante und/oder der komplementäre Informationsgehalt nutzbar ist. Bei dem beschriebenen Ausführungsbeispiel findet diese Bildregistrierung relativ zu einem vorgewählten Referenzbild statt. Somit werden alle anderen Bilder so transfor- miert, beispielsweise perspektivisch verändert bzw. verzerrt, dass sie mit dem Referenzbild optimal zur Deckung gebracht sind. Als Referenzbild kann jedes der Bilder einer R- oder einer K-Sequenz dienen.
Fig. 5 zeigt, wie durch Ausführung der beiden oben beschriebenen Fusionsschritte gemäß einem Ausführungsbeispiel nacheinander die Fusionsschritte 1 und 2 für alle Einzelbilder der R-Sequenz und der K-Sequenz als Referenzbild durchgeführt werden, so dass sich die volle Bildsequenz kontrastverbessert, hochaufgelöst und fehlerreduziert rekonstruieren läßt, was als Ergebnisbildsequenz von HDR-SR- Bildern in Fig. 5 dargestellt ist.
Die beschriebenen Fusionsschritte 1 und 2 können anstelle nacheinander gemäß einem alternativen Ausführungsbeispiel auch zu einem gemeinsamen Fusionsschritt integriert durchgeführt werden.
Neben einer alternierenden Erzeugung von R- und K-Sequenzen kann gemäß einem anderen Ausführungsbeispiel die Erzeugung der R-Sequenz dauerhaft und die der K-Sequenz durch automatische oder manuelle Steuerung veranlaßt werden, beispielsweise nur dann, wenn die Rekonstruktion eines kontrastverbesserten hochaufgelösten und fehlerreduzierten Einzelbildes oder einer BiId- sequenz notwendig erscheint. Neben dem Parameter der Belichtungszeit bzw. der entsprechenden physikalischen Größe können auch andere oder zusätzliche Sensorparameter zur Erzeugung der K-Sequenz variiert werden, beispielsweise Fokussierung oder Zoom.
Ein Vorteil der Erfindung ist es, dass mit bestehender Sensorik vergleichsweise niedriger Auflösung kontrastverbesserte, hochaufgelöste und fehlerreduzierte Bilder erzeugt werden können. Es ist lediglich die Steuerbarkeit eines Sensorparameters, wie der Belichtungszeit, vorzusehen.
Die von der bildgebenden Sensorik erzeugten Datenströme werden nicht vergrößert, so dass existierende Datenübertragungseinrichtungen, etwa von der bildgebenden Sensorik zu einer Bildverarbeitungseinrichtung, unverändert verwendet werden können. Die Rekonstruktion der qualitätsverbesserten Bildsequenz kann beispielsweise im Falle einer fliegenden Sensorplattform (Aufklärungsflugzeug, Drohne) beispielsweise nach der Datenübertragung in einer Bodenstation erfolgen.
Durch die Fusion der redundanten und der komplementären Bildsequenzen wer- den in dem Ergebnisbild oder der Ergebnisbildsequenz Details sichtbar, die in keinem einzelnen Eingabebild einheitlich erfaßt sind.

Claims

Patentansprüche
1. Verfahren zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, dadurch gekennzeichnet, dass die Bildsequenzen der Bilder (K, R) niedriger Auflösung einer kombinierten Superresolution-Verarbeitung (SR) und High-Dynamic- Range-Rekonstruktionsverarbeitung (HDR) unterzogen werden, um fehlerreduzierte hochauflösende und konstrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Bilder einer ersten Sequenz (K) von Bildern (Ki, K2, ... KNκ) niedriger Auflösung einer High- Dynamic-Range-Rekonstruktionsverarbeitung (HDR) unterzogen werden, bei welcher komplementäre Informationsanteile der Bilder (Ki, K2, ... KNκ) niedriger Auflösung zur Erhöhung des Kontrasts erarbeitet werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die BiI- der einer zweiten Sequenz (R) von Bildern (R1, R2, ... RNR) niedriger Auflösung einer Superresolution-Verarbeitung (SR) unterzogen, bei welcher redundante Informationsanteile der Bilder (R1, R2, ... RNR) niedriger Auflösung zur Erhöhung der Auflösung verarbeitet werden.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass bei der High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) der Bilder der ersten Sequenz (K) die Sensorparameter von Bild zu Bild gezielt variiert werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Sensor- parameter die Belichtung von Bild zu Bild variiert wird.
6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass bei der Super- resolution-Verarbeitung der Bilder der zweiten Sequenz (R) die Sensorparameter unverändert beibehalten werden.
5
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) verschiedene Sequenzen von Bildern niedriger Auflösung sind.
10 8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die erste Sequenz (K) und die zweite Sequenz (R) blockweise abwechselnd aufeinander folgen.
9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die erste Se- 15 quenz (K) und die zweite Sequenz (R) ineinander verschachtelt sind.
10. Verfahren nach einem der Ansprüche 2 bis 9, dadurch gekennzeichnet, dass in einem ersten Fusionsschritt die Bilder der ersten Sequenz (K) durch HDR- Rekonstruktionsverarbeitung zu einem oder mehreren Bildern (HDR) mit erhöhtem
20 Kontrast fusioniert werden, und dass in einem zweiten Fusionsschritt das oder die Bilder (HDR) mit erhöhtem Kontrast zur Superresolution-Verarbeitung (SR) verwendet werden, um ein oder mehrere fehlerreduzierte Bilder (HDR-SR) erhöhter Auflösung zu erhalten.
25 11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Fusionsschritte zur HDR-Rekonstruktionsverarbeitung und zur Superresolution- Verarbeitung (SR) nacheinander durchgeführt werden.
12. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Fusions- 30 schritte zur HDR-Rekonstruktionsverarbeitung und zur Superresolution- Verarbeitung (SR) in einem gemeinsamen Algorithmus integriert verarbeitet werden.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass aus den Bildsequenzen (K, R) der Bilder niedriger Auflösung Bildsequenzen von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern (HDR- SR) erzeugt werden.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Verarbeitung der Bilder (K, R) niedriger Auflösung eine Bildregistrierung enthält, um die Bilder einer Sequenz zur Deckung zu bringen.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Bildregistrierung bezüglich eines Referenzbildes aus der Sequenz niedrig aufgelöster Bilder (K, R) erfolgt.
16. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Erzeugung der zweiten Sequenz (R) von Bildern (R1, R2, ... RNR) niedriger Auflösung für die Superresolution-Verarbeitung (SR) dauerhaft erfolgt und dass die Erzeugung der ersten Sequenz (K) von Bildern (Ki, K2, ... KNK) niedriger Auflösung für die High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durch automatische oder manuelle Steuerung ausgelöst erfolgt.
17. Einrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 16.
18. Einrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Einrichtung softwaregesteuert arbeitet.
EP09775956A 2008-07-25 2009-07-11 Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern Withdrawn EP2308227A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008034979A DE102008034979B4 (de) 2008-07-25 2008-07-25 Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
PCT/DE2009/000971 WO2010009703A1 (de) 2008-07-25 2009-07-11 Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern

Publications (1)

Publication Number Publication Date
EP2308227A1 true EP2308227A1 (de) 2011-04-13

Family

ID=41211745

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09775956A Withdrawn EP2308227A1 (de) 2008-07-25 2009-07-11 Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern

Country Status (4)

Country Link
US (1) US8849059B2 (de)
EP (1) EP2308227A1 (de)
DE (1) DE102008034979B4 (de)
WO (1) WO2010009703A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004908A (ja) * 2010-06-17 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8466976B2 (en) 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8675957B2 (en) 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
DE102011121334B4 (de) * 2011-12-16 2016-08-18 Testo Ag Messanordnung und korrespondierendes Bildaufbereitungsverfahren
DE102013211286A1 (de) 2013-06-17 2014-12-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
EP3835543B1 (de) 2019-12-12 2023-02-22 Services Pétroliers Schlumberger Mehrfinger-kalibermessgerät
EP3835544A1 (de) * 2019-12-12 2021-06-16 Services Pétroliers Schlumberger Modulare bohrlochabbildungsvorrichtung und -verfahren
CN113992861B (zh) * 2020-07-27 2023-07-21 虹软科技股份有限公司 一种图像处理方法及图像处理装置
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
DE102021124153A1 (de) * 2021-09-17 2023-03-23 Homag Plattenaufteiltechnik Gmbh Verfahren und Vorrichtung zur Qualitätsprüfung einer Kante eines plattenförmigen Werkstücks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0954376A (ja) * 1995-06-09 1997-02-25 Pioneer Electron Corp 立体表示装置
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7777790B2 (en) * 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
US20090040364A1 (en) * 2005-08-08 2009-02-12 Joseph Rubner Adaptive Exposure Control
US8326071B2 (en) * 2007-09-10 2012-12-04 Nikon Corporation Image processing method to restore an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010009703A1 *

Also Published As

Publication number Publication date
US20110182528A1 (en) 2011-07-28
US8849059B2 (en) 2014-09-30
DE102008034979A1 (de) 2010-01-28
DE102008034979B4 (de) 2011-07-07
WO2010009703A1 (de) 2010-01-28

Similar Documents

Publication Publication Date Title
EP2308227A1 (de) Verfahren und einrichtung zur erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten bildern
DE69434657T2 (de) System und Verfahren zur elektronischen Bildstabilisierung
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE602004009702T2 (de) Verfahren und System zur automatischen Reduzierung von Aliasing-Artefakten
DE102020131265A1 (de) Segmentieren von video-rahmen unter verwendung eines neuronalen netzes mit verringerter auflösung und von masken aus vorhergehenden rahmen
DE112016004731T5 (de) Erweitern von Mehrfachansicht-Bilddaten mit synthetischen Objekten unter Verwendung von IMU und Bilddaten
DE102010053458B4 (de) Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
DE112016005905T5 (de) Verfahren und System zum Verschmelzen erfasster Messungen
DE102004049676A1 (de) Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
WO2012076274A1 (de) Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems
DE202016007867U1 (de) Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform
EP2229784A1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE112020005730T5 (de) Gemeinsame Rolling-Shutter-Korrektur und Bildscharfzeichnung
DE60031014T2 (de) Verfahren zur bewegungsschätzung zwischen zwei bildern mit verwaltung der wendung einer masche und entsprechendes kodierungsverfahren
DE4037739C1 (de)
DE102006006449A1 (de) Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Erzeugung hochaufgelöster Bilder
DE112021003347T5 (de) Bildverarbeitungsvorrichtung, bildanzeigesystem, -verfahren und -programm
DE102005010119A1 (de) Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung
AT520839B1 (de) Verfahren zur Erstellung einer Bildstapel-Datenstruktur
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
WO2019206539A1 (de) Verfahren zur bestimmung von augmentierungsinformationen für ein bild
DE102009001518A1 (de) Verfahren zur Erzeugung einer HDR-Videobildfolge
DE102010006522A1 (de) Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen
DE102022211182A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Beleuchtungsparameters
DE102009001870A1 (de) Bildverarbeitungsvorrichtung, Überwachungssystem mit der Bildverarbeitungsvorrichtung, Verfahren sowie Computerprogramm

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110128

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

17Q First examination report despatched

Effective date: 20110621

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20120327