Connect public, paid and private patent data with Google Patents Public Datasets

Method for high-resolution digital color imaging in microscopy, involves making additional images using different settings or shutter speed settings of color sensor for generating high-dynamic-range imaging at each scanning position

Info

Publication number
DE102012107191A1
DE102012107191A1 DE201210107191 DE102012107191A DE102012107191A1 DE 102012107191 A1 DE102012107191 A1 DE 102012107191A1 DE 201210107191 DE201210107191 DE 201210107191 DE 102012107191 A DE102012107191 A DE 102012107191A DE 102012107191 A1 DE102012107191 A1 DE 102012107191A1
Authority
DE
Grant status
Application
Patent type
Prior art keywords
color
sensor
scanning
settings
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210107191
Other languages
German (de)
Inventor
Stefan Seidlein
Reiner Köllner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jenoptik Optical Systems GmbH
Original Assignee
Jenoptik Optical Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/341Extracting pixel data from an image sensor by controlling scanning circuits, e.g. by modifying the number of pixels having been sampled or to be sampled
    • H04N5/349Extracting pixel data from an image sensor by controlling scanning circuits, e.g. by modifying the number of pixels having been sampled or to be sampled for increasing resolution by shifting the sensor relative to the scene, e.g. microscanning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/351Control of the SSIS depending on the scene, e.g. brightness or motion in the scene
    • H04N5/355Control of the dynamic range
    • H04N5/35536Control of the dynamic range involving multiple exposures
    • H04N5/35572Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields
    • H04N5/35581Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices

Abstract

The method involves integrating intermediate scans with scanning steps from a fraction of center distances of sensor elements of the color sensor, as an additional scan positions in the scanning movement of color co-site sampling produced by micro-scanning additional unit image capture. The additional images are made using different settings or shutter speed settings of the color sensor for generating high-dynamic-range imaging at each scanning position, both by Color co-site sampling positions of sensor elements and by the additionally extended intermediate scan sampling positions.

Description

  • [0001] [0001]
    Die Erfindung betrifft ein Verfahren zur hochauflösenden digitalen Bildaufnahme mit hohem Dynamikbereich, bei dem mittels Scanbewegung eines zweidimensionalen Farbsensors eine Auflösungserhöhung der Bildaufnahme durch sukzessive Überdeckung der unterschiedlich farbempfindlichen Sensorelemente mittels Color-Co-site-Sampling vorgenommen wird. The invention relates to a process for the high resolution digital image recording with high dynamic range in which an increase in resolution of the image pickup is performed by successive overlapping of the different color-sensitive sensor elements by means of color-co-site sampling by scanning movement of a two-dimensional color sensor.
  • [0002] [0002]
    Zur Aufnahme von Bildern jeglicher Objekte werden heutzutage insbesondere CCD- oder CMOS-Kameras verwendet. in particular CCD or CMOS cameras are currently used for recording images of any objects. Um Farbbilder zu erzeugen, ist es bekannt, mit Hilfe einer aufgebrachten Farbmaske einen CCD- oder CMOS Sensor durch eine aufgebrachte Farbmaske in drei Farbkanäle, bspw. rot, grün und blau, zu unterteilen. In order to form color images, it is known to divide by means of an applied color mask a CCD or CMOS sensor by an applied color mask in the three color channels, eg. Red, green and blue. Dabei ist es üblich in einer Zeile grün- und rotempfindliche Pixel und in der unmittelbar benachbarten Zeile blau- und grünempfindliche Pixel in Wechsel anzuordnen. It is customary green- and red-sensitive pixels in a row and blue in the immediately adjacent row and to arrange green-sensitive pixels in change. Jeweils eine Gruppe von benachbarten grün-/rot- und blau-/grünempfindlichen Pixeln bildet dann im weitesten Sinne einen Bildpunkt im Bild. Are each a group of adjacent green / red and blue / green-sensitive pixels then forms in the broadest sense an image point in the image. Um trotz der Ausfallpixel gegenüber der nominellen Anzahl der Sensor-Pixel das mögliche Auflösungsvermögen zu erreichen, wird üblicherweise eine sogenannte Interpolation durchgeführt. In order to achieve the possible resolution in spite of the failure of pixels with respect to the nominal number of the sensor pixels, a so-called interpolation is usually performed. Die Interpolation hat den Nachteil, dass nur genäherte Farbwerte bereitgestellt werden können (keine gemessenen Farben). The interpolation has the disadvantage that only approximate color values ​​can be provided (not measured colors).
  • [0003] [0003]
    Zur vollständigen Kompensation des Farbverlustes ist es bekannt, das sogenannte Color-Co-Site-Sampling-Verfahren anzuwenden, das zB in der To fully compensate for the color loss, it is known to use the so-called color-co-site sampling method which, for example in the DE 38 37 063 C1 DE 38 37 063 C1 beschrieben ist. is described. Dazu wird der CCD-Sensor durch eine hochpräzise Piezomechanik relativ zu dem aufzunehmenden Objekt derart verschoben, dass nacheinander jeweils an vier Positionen jeweils ein Bild erstellt wird, die eine gleiche Relativlage zueinander haben wie vier Pixel einer Gruppe. For this purpose, the CCD sensor is moved by a high-precision piezo actuator relative to the object to be such that an image is sequentially created respectively at four positions each, which each have the same relative position as the four pixels in a group. Dadurch wird ein und derselbe Bildpunkt des Objekts nacheinander zweimal durch den grünen sowie jeweils einmal durch den roten und blauen Farbkanal detektiert, wobei sich die Aufnahmezeit für ein Objekt vervierfacht, wenn man die Zeit zur Umpositionierung vernachlässigt. Thereby one and the same image point of the object is detected successively twice through the green, and once each by the red and blue color channels, wherein the recording time is quadrupled to an object, if one neglects the time for repositioning. Durch Verkämmung der zeitlich nacheinander erstellten Bilder wird dann ein Gesamtbild erstellt. an overall image is then created by interlacing the images one after another started in time.
  • [0004] [0004]
    Es ist des Weiteren bekannt, dass durch ein zusätzliches Microscanning die Auflösung erhöht werden kann. It is further known that the resolution can be increased by an additional microscanning. Dabei werden in Positionen zwischen den Sensorelementen zusätzliche Aufnahmen erstellt. Here in positions between the sensor elements additional images are created. Ein Gesamtbild wird dann folglich nicht nur aus vier, sondern aus 16 oder 36 (in Subpixelschrittabständen) örtlich verschoben ausgelesenen Teilbildern erstellt. An overall image is then created thus not only four, but from 16 or 36 displaced locally read out (in Subpixelschrittabständen) sub-images. Auf Grund der endlichen Apertur der Pixel ist dieses Verfahren jedoch auf maximal 50% Pixelüberlappung begrenzt. Due to the finite aperture of the pixel, this method is limited to a maximum of 50% of pixel overlap.
  • [0005] [0005]
    Bei der Aufnahme von fluoreszierenden Präparaten, treten Artefakte im Gesamtbild auf, die durch die abnehmende Fluoreszenzintensität der zeitlich nacheinander aufgenommenen Bilder entstehen. When recording of fluorescent specimens, contact artifacts in the composite image resulting from the decreasing fluorescence intensity of the recorded images sequentially in time. In der In the US 5,682,567 US 5,682,567 wird zur Vermeidung derartiger Artefakte beschrieben, dass die von Bild zu Bild abnehmende Fluoreszenzintensität durch eine zunehmende Verlängerung der Belichtungszeit für die einzelnen Bilder kompensiert wird. is described to avoid these artifacts that the image decreasing to image fluorescence intensity is compensated by an increasing extension of the exposure time for each image. Die dafür erforderliche Korrektur der Belichtungszeit wird jeweils vorher berechnet anhand der Kenntnis der Abnahme der Fluoreszenz. The necessary correction of the exposure time is in each case previously calculated from the knowledge of the decrease in fluorescence. Dies setzt allerdings voraus, dass der zeitliche Fluoreszenzverlauf bekannt ist und die Abnahme der Fluoreszenz, die sich für Präparate unterschiedlicher Inhaltsstoffe unterscheiden kann, dann auch tatsächlich diesem vorbekannten Verlauf entspricht. However, this assumes that the time course of fluorescence is known and the decrease in fluorescence, which can be different for different drugs ingredients, then actually corresponds to this known History.
  • [0006] [0006]
    Ein ähnliches Verfahren ist in der A similar method is disclosed in EP 1 235 424 A2 EP 1235424 A2 zur Aufnahme von Fluoreszenzbildern angegeben, bei dem die Fading-Artefakte infolge des durch die Vielzahl der Teilbildaufnahmen erhöhten Zeitbedarfs für eine komplette hochauflösende Bildaufnahme nicht durch einen schrittweise verlängerte Aufnahmezeit, sondern durch einen nachgeordneten (nach der Bildverschachtelung) durchgeführten Intensitätsausgleich in Abhängigkeit vom Zeitverlauf der einzelnen Teilbildaufnahmen beseitigt werden. specified for receiving fluorescence images, wherein the fading artifacts due to the increased through the plurality of sub-image shooting time required for a complete high-resolution image recording is not by a gradually prolonged recording time, but by a downstream carried out (after the Bildverschachtelung) intensity compensation in dependence on the time course of the individual frame images are eliminated.
  • [0007] [0007]
    Allen vorstehend beschriebenen Lösungsansätzen zur hochauflösenden Farbbildaufnahme haftet der Nachteil an, dass infolge der erforderlichen Sensorverschiebungen zur Aufnahme der Teilbilder, sei es zur Realisierung des Color-Co-Site-Sampling-(CCS-)Verfahrens oder zur Auflösungserhöhung stets die Aufnahmezeit erhöht wird. All solutions described above for high-resolution color imaging has the disadvantage that due to the necessary sensor shifts to accommodate the fields, be it for realizing the color-co-site sampling (CCS) process or to increase the resolution is always the recording time is increased. Zur Einhaltung konstanter bzw. vergleichbarer Bedingungen sind dann gegebenenfalls auch noch Belichtungszeitkorrekturen oder adaptierte Verstärkungsfaktoren erforderlich, die eine HDR-Bildaufnahme (High Dynamic Range Imaging) mit weiteren zusätzlichen Teilbildaufnahmen eigentlich verbietet, wenn man die Korrekturerfordernisse für n mit unterschiedlicher Empfindlichkeit/Belichtungszeit aufgenommene Teilaufnahmen nicht noch vervielfachen will. To comply constant or comparable conditions possibly also exposure time corrections or adapted gain factors are then required, with further additional field recordings actually prohibits a HDR image (High Dynamic Range Imaging) if you do not, the correction requirements for n recorded with different sensitivity / exposure time part shots still wants to multiply.
  • [0008] [0008]
    Der Erfindung liegt die Aufgabe zugrunde, eine verbesserte Möglichkeit zur hochauflösenden Farbbildaufnahme, insbesondere für die Mikroskopie, auch bei Bildaufnahmen mit hoher Farbtiefe und Signaldynamik von anderen kontrastreichen ruhender Szenen, zu finden, bei der der Dynamikbereich der Bildaufnahme deutlich verbessert ist, ohne dass Aufnahmezeit und/oder Korrekturen der unterschiedlichen Belichtungszustände für die Vielzahl der Teilbildaufnahmen unzumutbar erhöht werden. The invention has for its object to find an improved way for high-resolution color imaging, in particular for microscopy, even when image recording with high color depth and signal dynamics of other high-contrast static scenes where the dynamic range of the image capture is significantly improved without recording time and / or corrections to the different exposure conditions for the plurality of frame images are unreasonably increased.
  • [0009] [0009]
    Erfindungsgemäß wird die Aufgabe mit einem Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich, bei dem mittels Scanbewegung eines zweidimensionalen Farbsensors eine Auflösungserhöhung der Bildaufnahme durch sukzessive Überdeckung aller unterschiedlich farbempfindlichen Sensorelemente mittels Color-Co-site-Sampling vorgenommen wird, dadurch gelöst, dass Zwischenabtastungen mit Abtastschritten von einem Bruchteil der Mittenabstände der Sensorelemente des Farbsensors als zusätzliche Abtastpositionen in die Scanbewegung des Color-CoSite-Sampling integriert werden, sodass mittels eines so definierten Microscannings zusätzliche Teilbildaufnahmen mindestens eine Verdoppelung der Abtastdichte in jeder Dimension des Farbsensors erzeugen, und dass an jeder Abtastposition, sowohl der vom Color-CoSite-Sampling vorgesehenen Positionen der Sensorelemente als auch der durch Zwischenabtastung zusätzlich angefahrenen Abtastpositionen, zusätzliche Teilbildaufna According to the invention the object with a process for high-resolution digital color imaging with high dynamic range in which an increase in resolution of the image pickup is performed by successively covering all differentially color-sensitive sensor elements by means of color-co-site sampling by scanning movement of a two-dimensional color sensor is achieved in that the intermediate samples by sampling steps are integrated by a fraction of the center distances of the sensor elements of the color sensor as an additional scan positions in the scanning movement of the color cosite-sampling so produced by means of a so-defined microscanning additional part image capture at least a doubling of the sample density in each dimension of the color sensor, and that at each scanning position , both provided by the color-cosite-sampling positions of the sensor elements and the additionally extended by intermediate scan scanning positions, additional Teilbildaufna hmen mit unterschiedlichen Empfindlichkeitseinstellungen oder Belichtungszeiteinstellungen des Farbsensors zur Erzeugung eines High-Dynamic-Range-Imaging vorgenommen werden. hmen be made with different sensitivity settings or shutter speed settings of the color sensor to generate a high-dynamic-range imaging.
  • [0010] [0010]
    Vorteilhaft wird bei Verwendung eines Farbsensors mit GRBG-Bayerfarbmaske ein Gesamtbild aus Teilbildern von vier Color-Co-site-Sampling-Positionen und von einem mindestens eine Zwischenabtastung je Pixelmittenabstand und Dimension des Farbsensors aufweisendem 4 × 4-Microscanning zusammengesetzt. an overall image from partial images of four color-co-site sampling positions and by an at least one intermediate sample per pixel pitch and dimension of the color sensor is advantageously aufweisendem 4 × 4 Microscanning composed by using a color sensor with GRBG-Bayer color mask.
  • [0011] [0011]
    Zweckmäßig wird das Microscanning mit einem regelmäßigen zeilenförmigen oder spaltenförmigen Scanmuster durchgeführt. Suitably, the Micro scanning is carried out with a regular line-shaped or column-shaped scan pattern. Dabei erweist es sich als vorteilhaft, das Microscanning mit einem regelmäßigen mäanderförmigen Scanmuster durchzuführen. It proves to be advantageous to carry out the Microscanning with a regular meandering scanning pattern. Vorzugsweise kann das Microscanning mit einem regelmäßigen verkürztem maänderförmigen Scanmuster durchgeführt werden, bei dem die Color-Co-site-Sampling-Positionen mit angeglichenem zeitlichen Abstand angefahren werden. Preferably, the microscanning can be carried out with a regular truncated maänderförmigen scanning pattern, wherein the color-co-site sampling positions are approached with angeglichenem time interval.
  • [0012] [0012]
    Es erweist sich als besonders vorteilhaft, wenn das Microscanning mit einem unregelmäßigen Scanmuster durchgeführt wird, bei dem die Color-Co-site-Sampling-Positionen und die Zwischenabtastpositonen für die einzelnen Teilbildaufnahmen mit möglichst ähnlichem zeitlichem Abstand angefahren werden, wobei benachbarte Abtastpositionen, die in einem regulären mäanderförmigen Scanraster direkt nacheinander abgetastet würden, mit einem zeitlichen Abstand von mindestens zwei Microscanschritten angefahren werden. It proves particularly advantageous if the Micro scanning is carried out with an irregular scan patterns in which the color-co-site sampling positions and the Zwischenabtastpositonen for each sub-image recordings with similar as possible a time interval to be approached, wherein adjacent sampling positions in a regular meandering scan raster would scanned in succession, to be approached with a time interval of at least two micro scan steps.
  • [0013] [0013]
    Zur Erhöhung des Dynamikbereichs der Bildaufnahme erweist es sich bereits als zweckmäßig, wenn zur Realisierung eines HDR-Imaging zwei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden. To increase the dynamic range of the image recording, it is already proving to be expedient when two field images are taken with different sensitivity settings of the color sensor depending Microscan position to implement a HDR imaging. Als besonders vorteilhaft können für das HDR-Imaging drei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden. Particularly advantageous may be taken with different sensitivity settings of the color sensor depending Micro scanning position for the HDR Imaging three field recordings.
  • [0014] [0014]
    Um eine besonders flexibel einsetzbare Kamera zur Verfügung zu haben, werden in deren Steuerelektronik zur Realisierung von verschiedenen Auflösungsstufen der Farbaufnahmen unterschiedliche Einstellungen von Microscanmodi des Scanners und Ansteuer- und Auslesemodi des Farbsensors gespeichert. In order to have a particularly versatile camera available, different settings of Microscanmodi the scanner and control and readout of the color sensor are stored in the control electronics for the realization of various resolution levels of color photographs.
  • [0015] [0015]
    Die Erfindung basiert auf der Grundüberlegung, dass Profi-Anwender hochauflösender Farbbildkameras, wie zB in der Mikroskopie, der Fotografie oder auch generell im Vermessungs- bzw. Analysebereich, wenn digitale Bildaufnahmen zusätzlich mit hohen Dynamikbereichen erfasst werden sollen, gezwungen sind, dieselbe Aufnahme mehrfach mit unterschiedlichen Belichtungszeiten zu wiederholen, damit allen Anforderungen Genüge getan wird. The invention is based on the fundamental idea that professional users of high-resolution color cameras, such as in microscopy, photography or general in the survey and analysis section when digital image capture are also to be recorded with high dynamic ranges, forced the same recording several times with different exposure times to repeat, so that all requirements are complied with. Eine lediglich für makroskopische Szenen hilfreiche Alternative bestünde darin, eine extrem teure HDR-Kamera mit mehrfach höherer Pixelzahl des Bildsensors zu verwenden, um wenigstens die Sensorbewegung für die Auflösungserhöhung (Color Co-site Sampling und/oder Microscanning) bei respektabler Bildrate der verschachtelten Gesamtbilder zu erreichen. One only useful for macroscopic scenes alternative would be to use an extremely expensive HDR camera with a several times higher number of pixels of the image sensor, at least the sensor motion for resolution enhancement (Color co-site sampling and / or Microscanning) at respectable frame rate of nested total pictures to reach.
  • [0016] [0016]
    Die Erfindung sucht hier den praktikablen Kompromiss, die an sich bekannten Verfahren von Microscanning zur generellen Auflösungssteigerung, CCS zur Beseitigung von Farbartefakten und HDR-Imaging zur Erhöhung der Farbtiefe (Dynamikbereich) in geeigneter Weise zu kombinieren, indem eine geschickte Verschachtelung von Teilbildaufnahmen für einzelne Schritte verschiedener der drei Verfahren gewählt wird. The invention herein investigated the practical compromise, the known methods of Microscanning for the general increase in resolution, CCS for eliminating color artifacts and HDR imaging to increase the color depth to combine (dynamic range) in a suitable manner by a skilled incorporation of the partial image recording for the individual steps different ones of the three methods is selected. Im Ergebnis werden wertvolle Aufnahme- und Einstellzeiten (Overhead time) gegenüber den sonst üblichen Mehrfachaufnahmen eingespart. As a result, valuable recording and setting times are saved (overhead time) compared to the usual multiple recordings.
  • [0017] [0017]
    Die Vereinigung von RGB-Teilbildern im CCS-Modus (vier Sensorverschiebungen im Quadrat mit jeweils 1/1-Pixelabstand) mit zusätzlichen (mindestens einem) Subpixelschritten zwischen den CCS-Positionen sowie mehreren Sensorauslesungen bei unterschiedlichen Integrationszeiten auf jeder Microsan-Position des Matrixsensors ergibt bei erhöhter (wenigstens zweifacher) Auflösung einen Dynamikumfang von 14, 16 oder mehr Bit Farbtiefe des Gesamtbildes. The combination of RGB sub-images in the CCS mode (four sensor shifts in the square with 1/1-pixel pitch) with additional (at least one) Subpixelschritten between the CCS-positions and a plurality of sensor readings at different integration times on each Microsan-position of the matrix sensor results in increased (at least twice) resolution a dynamic range of 14, 16 or more bit color depth of the picture. Ferner ist dasselbe Prinzip für Schwarz-Weiß- bzw. Graustufenbilder anwendbar. Furthermore, the same principle for black and white or grayscale images is applicable.
  • [0018] [0018]
    Durch die Erfindung ist es möglich, hochauflösende Farbbildaufnahmen, insbesondere in der Mikroskopie, aber auch bei Bildaufnahmen mit hoher Farbtiefe und Signaldynamik von kontrastreichen ruhenden Szenen, zu realisieren, bei denen der Dynamikbereich der Bildaufnahme verbessert wird, ohne dass sich Aufwände für Aufnahmezeit, Sensorpixelzahl und/oder Korrekturen der unterschiedlichen Belichtungszustände für die Vielzahl der Teilbildaufnahmen unzumutbar erhöhen. The invention makes it possible, high-resolution color screen shots, especially in microscopy, but also in image recording with high color depth and signal dynamics of contrasting dormant scenes to realize, in which the dynamic range of the image capture is improved without effort for recording time, sensor pixel count and / or increase correction of the different exposure conditions unacceptable to the large number of field recordings.
  • [0019] [0019]
    Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert. The invention will now be described with reference to embodiments and figures. Dabei zeigen:. Here show :.
  • [0020] [0020]
    1 1 : eine schematische Darstellung des erfindungsgemäßen Verfahrens mit einem 16-Schritt-Microscanning (4 × 4-Microscanning) eines Matrixsensors für eine verschachtelte Microscanning-, CCS- und HDR-Bildaufnahme, die aus 16 × 4 × (2...n) Teilbildaufnahmen zusammengesetzt ist (Ablaufschema von Is a schematic representation of the method according to the invention with a 16-step Microscanning (4 × 4 Microscanning) of a matrix sensor for a nested Microscanning-, CCS and HDR image recording consisting of 16 × 4 × (2 ... n) partial image shooting is composed (the flowchart of 1a 1a in in 1b 1b und and 1c 1c fortgesetzt); continued);
  • [0021] [0021]
    2 2 : eine schematische Darstellung der 144 Teilbildauslesungen eines Matrixsensors, dargestellt für ein Farbpixel (GRBG-Bayermaske) bei einer 12-Positionen-Microscan-CCS-Abtastung mit integrierter dreifach HDR-Bildabtastung; Is a schematic representation of the 144 Teilbildauslesungen a matrix sensor, shown on a color pixel (GRBG Bayer mask) at a 12-position MicroScan CCS sensing with integrated triple HDR image scanning;
  • [0022] [0022]
    3 3 : unterschiedliche Ausführungsbeispiele von Microscanmustern, dargestellt für die örtliche Verschiebung eines Sensorelements des Matrixsensors für eine 16 Positionen-Microscan-CCS-Abtastung (zuzüglich HDR-Abtastung); : Different embodiments of Micro scanning patterns shown for the local displacement of a sensor element of the sensor matrix for a 16-positions MicroScan CCS-scan (plus HDR-scanning);
  • [0023] [0023]
    4 4 : eine schematische Darstellung einer erfindungsgemäßen Kamera mit Objektiv, Matrixsensor mit Bayerfarbmaske, Piezoscanner, Sensor- und Scanner-Steuerelektronik und Rechner zur Bildverschachtelung und -normierung. Is a schematic representation of an inventive camera with lens array sensor with Bayer color mask, piezo scanner, sensor and scanner control electronics and computer for Bildverschachtelung and -normierung.
  • [0024] [0024]
    Das Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich wird – ohne Beschränkung der Allgemeinheit – in einer Variante mit einem Microscanning The method for high-resolution digital color imaging with high dynamic range will be - without limiting the generality - in a variant with a microscanning 115 115 in einem 3 × 3-Microscanraster gemäß der schematischen Darstellung von in a 3 × 3 MicroScan Raster according to the schematic representation of 2 2 näher erläutert. explained.
  • [0025] [0025]
    Dabei ist für eine Pixelgruppe It is for a group of pixels 11 11 mit vier Sensorelementen, die gemäß dem Bayertyp einer direkt auf dem Chip eines monochromen CCD- oder CMOS-Matrixsensors angeordneten Farbmosaikfiltermaske als True-Color-Bildelement eines Farbsensors with four sensor elements according to the type of Bayer disposed directly on the chip of a monochrome CCD or CMOS array sensor color mosaic filter mask as a true color pixel of a color sensor 1 1 ausgeführt ist, das erfindungsgemäße Bildaufnahmeverfahren für eine komplette (aus 27 Teilaufnahmen bestehende) verschachtelte Bildaufnahme schematisch dargestellt. the image recording method of the invention for a complete (part of 27 shots existing) interlaced image recording is performed, shown schematically. Zur Kenntlichmachung der örtlich lückenlosen Bildabtastung in Bezug zu den benachbarten True-Color-Bildelementen sind Pixelgruppen To identify the locally seamless image scan with respect to the neighboring true-color pixels are pixel groups 12 12 bis to 14 14 mit gezeichnet, jedoch als leere Felder belassen, um die Darstellung nicht unübersichtlich werden zu lassen. However, left with drawn as empty fields in order not to let be confusing presentation. Für die Pixelgruppen For the pixel groups 12 12 bis to 14 14 laufen die für die Pixelgruppe the run for the pixel group 11 11 dargestellten Scanoperationen in gleicher Weise simultan ab. Scan operations shown from simultaneously in the same way.
  • [0026] [0026]
    Die Sensormatrix weist bei einer On-Chip-Farbmaske des Bayertyps somit regelmäßig wiederkehrend die Pixelgruppe The sensor matrix thus has the pixel group regularly recurring at an on-chip color mask of the Bayer type 11 11 mit vier Sensorelementen, nämlich zwei diagonal angeordneten grünempfindlichen Sensorelementen arranged with four sensor elements, namely two diagonal green-sensitive sensor elements, 111 111 und and 114 114 sowie einem rotempfindlichen Sensorelement and a red-sensitive sensor element 112 112 und einem blauempfindlichen Sensorelement and a blue-sensitive sensor element 113 113 auf. on.
  • [0027] [0027]
    Um die vollständige Farbinformation der Farben Rot, Grün und Blau für jede der vier Positionen der Sensorelemente To see the full color information of red, green and blue for each of the four positions of the sensor elements 111 111 bis to 114 114 zu erhalten, wird für die Pixelgruppe to obtain, for the pixel group 11 11 gemäß dem herkömmlichen Color-Co-Site-Sampling-Verfahren (im Folgenden kurz: CCS-Sampling (According to the conventional color-co-site sampling method briefly below: CCS Sampling 118 118 ) um je einen Pixelmittenabstand in einem Karree verschoben, sodass das Sensorelement ) Shifted by each a pixel pitch in a square so that the sensor element 111 111 nacheinander mit den Ausgangspositionen der Sensorelemente sequentially with the initial positions of the sensor elements 112 112 bis to 114 114 zur Überdeckung gebracht wird. is made to overlap. Die Überdeckung für die Sensorelemente The cover for the sensor elements 112 112 bis to 114 114 erfolgt mit den im gleichen Farbschema angeordneten Sensorelementen der benachbarten Pixelgruppen is done with the arranged in the same color scheme sensor elements of the adjacent groups of pixels 12 12 bis to 14 14 , die nach analoger Systematik die Nummern After analog classification numbers 121 121 , . 124 124 , . 131 131 , . 142 142 und and 141 141 tragen müssten (aus Übersichtlichkeitsgründen weggelassen). wear would (for clarity omitted). Alle angefahrenen CCS-Sampling-Positionen All approached CCS sampling positions 119 119 sind in are in 2 2 mit gestrichelten Linien dargestellt. shown with dashed lines. Das dabei abgefahrene Muster des CCS-Sampling That this crazy pattern of CCS Sampling 118 118 kann einem Rechteckumriss folgen (nicht gezeichnet) oder – wie in can a rectangle outline follow (not shown) or - as in 2 2 für das Sensorelement for the sensor element 114 114 angezeigt – ein sich kreuzendes Zick-Zack-Muster sein. displayed - be a criss-cross zigzag pattern. Die letztere Scanreihenfolge entspricht dem zeitlichen Ablauf, wenn zusätzlich ein mäanderförmiges Microscanning The latter scan order corresponds to the timing when additionally a meandering Microscanning 115 115 , wie nachfolgend beschrieben, erfolgt. As described below, is performed.
  • [0028] [0028]
    Zur Steigerung der Auflösung – zB wegen der lichtunempfindlichen Lücken zwischen den Sensorelementen To increase the resolution - for example, due to the light-insensitive gaps between the sensor elements 111 111 bis to 114 114 und ebenso zu denen der benachbarten Pixelgruppen and also to those of the neighboring pixel groups 12 12 , . 13 13 , . 14 14 usw., aber auch zur Vermeidung des Einsatzes von teuren höchstauflösenden Farbsensoren etc., but also to avoid the use of expensive high-resolution color sensors 1 1 mit vielfacher Anzahl oder Dichte der Sensorpixel – erfolgt entsprechend der Darstellung von with multiple number or density of sensor pixels - is carried out according to the illustration of 2 2 eine Zwischenabtastung an intermediate sampling 116 116 , bei der in den lichtunempfindlichen Lücken des Sensors durch Microscanning Wherein in the light-insensitive gaps of the sensor by microscanning 115 115 weitere Teilbildaufnahmen durchgeführt werden (in diesem Beispiel genau eine, dh ein Microscanning more field recordings are made (in this example, exactly one, ie a Microscanning 115 115 mit einem halben Pixelabstand). with half a pixel pitch). Die zugehörigen Positionen der Sensorelemente The corresponding positions of the sensor elements 111 111 bis to 114 114 sind mit feinen Punktlinien dargestellt. are presented with fine dot lines. Die Schrittgröße ist im Fall von The step size in the case of 2 2 auf eine Zwischenabtastung to an intermediate sampling 116 116 (3 × 3-Microscan) festgelegt, wodurch sich bei Vorgabe von drei HDR-Abtastungen ein Gesamtbild aus 27 Teilbildern ergibt. set (3 × 3 Microscan), which results in setting of three HDR samples a total of 27 image frames.
  • [0029] [0029]
    Die Schrittgröße des Microscanning The step size of Microscanning 115 115 kann beliebig gewählt werden, wird jedoch zur Begrenzung des Verarbeitungsaufwandes, aber auch wegen des begrenzten Auflösungsvermögens der Kameraoptik can be arbitrarily selected, but is to limit the processing complexity, but also because of the limited resolving power of the camera optics 2 2 vorzugsweise auf zwei Zwischenabtastungen preferably two intermediate samples 116 116 (4 × 4-Microscan) begrenzt, wodurch sich bei Vorgabe von drei HDR-Abtastungen ein Gesamtbild aus 48 Teilbildern ergibt. (4 × 4 Microscan) is limited, resulting in a total of 48 image frames results in Specification of three HDR samples.
  • [0030] [0030]
    In der Ausführung gemäß In the embodiment according to 2 2 beschreibt das Microscanmuster describes the micro scan pattern 117 117 für ein 4 × 4-Microscanning for a 4 × 4 Microscanning 115 115 eine Mäanderform mit sechzehn Abtastpositionen bezogen auf ein ausgewähltes Sensorelement a meandering shape with sixteen scanning positions based on a selected sensor element 111 111 einer Pixelgruppe a pixel group 11 11 , die für das oben beschriebene CCS-Sampling That for the above described CCS Sampling 118 118 ein sich kreuzendes Zick-Zack-Muster zwischen den CCS-Sampling-Positionen a criss-cross zig-zag pattern between the CCS sampling positions 119 119 „auf Umwegen“ (dh mit eingelagerten Zwischenabtastungen ( "Roundabout way" that is intercalated with intermediate samples 116 116 des Mikrosannings the Mikrosannings 115 115 ) abtastet. ) Scans. Die im hier ausgewählten 4 × 4-Microscanning Selected in here 4 × 4 Microscanning 115 115 möglichen vier CCS-Samplings possible four CCS Samplings 118 118 sind unten in are down in 2 2 mit der realen Scanreihenfolge und den tatsächlichen Abtastpositionen in dem verwendeten mäanderförmigen Microscanmuster with the real scan order and the actual scanning positions in the used meandering pattern Microscan 117 117 dargestellt. shown.
  • [0031] [0031]
    Im Ergebnis eines solchen 4 × 4-Microscannings As a result of such a 4 × 4 Micro Scanning 115 115 mit sechzehn örtlich versetzten Abtastpositionen des Sensorpixels sixteen locally offset sampling positions of the sensor pixel 111 111 entsteht eine 64 Pixel-CCS-Aufnahme für die betrachtete Pixelgruppe results in a 64 pixel CCS receptacle for the subject pixel group 11 11 , aus der vier vollständige CCS-Aufnahmen zusammengesetzt werden können. , From the four full CCS recordings can be assembled. Aufgrund der noch zusätzlich pro örtlicher Abtastposition des Microscannings Due to the additionally per local scanning position of the Micro Scanning 115 115 durchgeführten (hier: zwei weiteren) HDR-Teilbildaufnahmen ergeben sich in diesem Beispiel 192 Teilbildauslesungen aus sechzehn örtlichen Positionsänderungen (4 × 4-Microscan), an denen je vier Sensorelemente carried out (in this case two more) HDR-field recordings obtained in this example 192 Teilbildauslesungen of sixteen local position changes (4 × 4 Microscan) where four sensor elements 111 111 bis to 114 114 vier Farbauszüge mit drei verschiedenen Empfindlichkeitseinstellungen aufnehmen, dh es werden an jeder der sechzehn Scanpositionen im Bild zwölf Teilbildauslesungen vorgenommen. take four color separations with three different sensitivity settings, meaning it will be at each of the sixteen scanning positions in the image twelve Teilbildauslesungen made. Dabei können einige Farbauszüge der Sensorelemente Here, some color separations of the sensor elements 112 112 , . 113 113 und and 114 114 , die sich in der Ausgangsscanposition des Farbsensors That in the initial scanning position of the color sensor 1 1 mit den Pixeln der Nachbarpixelgruppen with the pixels of the neighboring pixel groups 12 12 , . 13 13 und and 14 14 überlappen, sofort verworfen werden, weil sie nicht zum CCS-Sampling overlap are rejected because they do not for CCS Sampling 118 118 der Pixelgruppe the pixel group 11 11 beitragen können. can contribute.
  • [0032] [0032]
    Es sind unterschiedlichste Abläufe des Microscannings There are a wide variety of operations of Micro Scanning 115 115 möglich und sinnvoll. possible and appropriate. Für die Beschreibung der möglichen Microscanmuster For a description of possible Microscan pattern 117 117 wird – zur Vereinfachung der Darstellung – jeweils nur das obere linke Pixel is - to simplify the representation - in each case only the upper left pixel 111 111 der Pixelgruppe the pixel group 11 11 , die für ein vollständiges Farbpixel des Farbsensors That for a full color pixel of the color sensor 1 1 steht, betrachtet und gezeichnet. is considered and drawn.
  • [0033] [0033]
    Zur Ausführung eines Microscans To execute a Micro scans 115 115 wird in der Regel der kürzeste Abtastweg gewählt. is usually chosen the shortest scan path. Es kann aber auch für spezielle Bildaufnahmen (zB solchen, die – bei den relativ langen Aufnahmezeiten für ein vollständiges Gesamtbild – statistischen Schwankungen, langsamen Veränderungen oder aber Vibrationen unterliegen) eine Art Chaos-Microscanmuster but it may also for specific image capture (for example, such that - at the relatively long recording time for a complete picture - subject to statistical variations, slow changes or vibrations) a kind of chaos-Micro scan pattern 117 117 gewählt werden, bei dem die Abtastreihenfolge so eingestellt wird, dass zwischen allen örtlich direkt benachbarten Microscanning-Positionen möglichst ähnlich große Zeitintervalle von Abtastschritten liegen (szB wherein the scanning order is set so that between all locally directly adjacent Microscanning positions as similar as possible large time intervals of scanning steps are (see for example be selected, DE 102 61 665 C1 DE 102 61 665 C1 oder or EP 1 432 231 A2 EP 1432231 A2 ) und/oder eine möglichst gleiche Anzahl von Zwischenabtastungen ) And / or as equal as possible number of intermediate samples 116 116 (oder pixelüberdeckende Hauptabtastungen) zwischen den CCS-Sampling-Positionen (Or pixel overlapping main scans) between the CCS sampling positions 119 119 liegen sollen, wie sie in shall be as set out in 3 3 schematisch angegeben sind. are schematically indicated.
  • [0034] [0034]
    3 3 zeigt in den Teilabbildungen a) bis c) jeweils ein 4 × 4-Microscanraster einer Sensorelementgruppe shows in the partial images a) to c) each comprise a 4 x 4 MicroScan Raster a sensor element group 11 11 (GRBG-Bayer-Farbpixel), von der nur das obere linke Sensorelement (GRBG-Bayer-color pixels), from the left, only the upper sensor element 111 111 betrachtet und in seiner Scanbewegung dargestellt ist. is considered and shown in its scanning motion. Bei den drei dargestellten Microscanmustern The three represented Microscan patterns 117 117 findet das CCS-Sampling finds the CCS Sampling 118 118 jeweils an den bekannten Pixelpositionen statt, wenn – in diesem Beispiel: nach einer Zwischenabtastung held at each of the known pixel positions when - in this example, after an intermediate scan 116 116 im quadratischen 4 × 4-Scanraster – die Position des nächsten Sensorpixels deckungsgleich eingestellt ist, wobei sich die gesamte Sensorelementgruppe the position of the next pixel sensor is congruent set, wherein the entire sensor element group - in the square 4 x 4 raster scan 11 11 im gleichen Microscanmuster in the same Microscan pattern 117 117 mitbewegt. moved.
  • [0035] [0035]
    Die Abtastungen gemäß The samples according to 3a 3a und and 3b 3b erfolgen jeweils in verkürzten Mäanderformen, bei denen die Scanwege pro Scanschritt jeweils genau einen halben Pixelabstand betragen. take place each in shortened meandering in which the scan paths per scanning step in each case be exactly half a pixel pitch. Dabei entstehen vier zeitlich unterschiedlich verschachtelte CCS-Samplings This produces four different time-interleaved sampling CCS 118 118 , bei denen die übliche Reihenfolge der CCS-Sampling-Positionen Where the usual sequence of CCS sampling positions 119 119 entlang der Sensorelemente along the sensor elements 111 111 , . 112 112 , . 113 113 und and 114 114 bzw. or. 111 111 , . 112 112 , . 114 114 und and 113 113 zwar eingehalten wird, aber für die Zwischenabtastungen Although is respected, but for the intermediate samples 116 116 (in (in 1a 1a - 1c 1c : Subpixel-Imaging mit SubN-CCS-Sampling 1–4) und zwischen den CCS-Sampling-Positionen : Subpixel Imaging with subn-CCS sampling 1-4) and between the CCS sampling positions 119 119 unterschiedlich viele Zwischenabtastungen different numbers between samples 116 116 des Microscanmusters Micro scan pattern 117 117 liegen. lie. Das kann bei nicht ruhenden Szenen (Objekten This can occur when not dormant scenes (objects 3 3 ) zu Artefakten der Farbdarstellung führen. ) Lead to artifacts the color representation. Deutlich wird dies auch bei vollständiger Mäanderabtastung gemäß This is evident as even with fully Mäanderabtastung 2 2 durch die (in by (in 2 2 unten separat gezeichneten) CCS-Sampling-Positionen below separately drawn) CCS sampling positions 119 119 mit den angegebenen Scanschritt-Nummern für die gezeigten vier CCS-Samplings with the specified scanning step numbers for the four shown CCS Samplings 118 118 . ,
  • [0036] [0036]
    Die Teilabbildung b) von The partial figure b) 3 3 zeigt für dasselbe 4 × 4-Microscanraster einer Sensorelementgruppe shows for the same 4 × 4 grid Microscan a sensor element group 11 11 ein Microscanmuster a micro scan pattern 117 117 , das bezüglich des CCS-Samlings , Which with respect to the CCS Samlings 118 118 zeitoptimiert ist, indem die Positionen der Sensorelemente is a time-optimized by adjusting the positions of the sensor elements 111 111 , . 112 112 , . 114 114 und and 113 113 in dieser Reihenfolge mit jeweils nur einer oder höchsten zwei Zwischenabtastungen in this order with only one or at most two intermediate samples 116 116 angefahren werden. be approached. Dasselbe trifft hier auch für alle SubN-CCS-Samplings (mit N = 1...3) zu. The same applies here to all SUBn CCS sampling (N = 1 ... 3).
  • [0037] [0037]
    Die Teilabbildung c) von The partial picture c) 3 3 offenbart – im Gegensatz zu den geordneten Microscanmustern reveals - as opposed to the parent Microscan patterns 117 117 – ein bereits oben erwähntes, scheinbar chaotisches Microscanmuster - one already mentioned above, seemingly chaotic pattern Microscan 117 117 , bei dem auf ein „relativ ähnliches“ Zeitintervall zwischen benachbarten Positionen des Microscanrasters einer Sensorelementgruppe Wherein "relatively similar" to a time interval between adjacent positions of the MicroScan grid of a sensor element group 11 11 geachtet wird, um Bildunschärfe aufgrund statistischer Schwankungen (Schwingungen) zwischen dem Objektabbild und dem Farbsensor Care is taken to image blur due to statistical fluctuations (vibrations) between the object image and the color sensor 1 1 (bzw. der Sensorelementgruppe (Or the sensor element group 11 11 ) zu unterdrücken. ) to suppress. Zusätzlich wird eine möglichst geringe Anzahl der Abtastschritte (< 3) zwischen den CCS-Sampling-Positionen In addition, a minimum number of sampling steps (<3) between the CCS sampling positions 119 119 angestrebt, wodurch – insbesondere bei zeitlicher Veränderung der Objektabbildung – die Farbauszüge in enger zeitlicher Reihenfolge erhalten werden. sought, thus - obtained the color separations in close chronological order - in particular in temporal change of the object image. Das hat eine gesteigerte Bedeutung für die nachfolgend beschriebene erfindungsgemäße Integration von Teilbildaufnahmen des HDR-Imaging This has increased importance for the invention described below integration from field recordings of the HDR Imaging 120 120 , bei dem die zeitlich nacheinander für jede Microscanposition mit unterschiedlichem Dynamikbereich aufgenommenen Farbauszüge dadurch zeitlich enger zusammenliegen und weniger Artefakte bei der Überlagerung (zeitlichen Verschachtelung) des Gesamtbildes aufweisen. In which the recorded sequentially in time for each scanning position Micro with different dynamic range color separations characterized together are temporally close and fewer artifacts in the superposition (time interleaving) of the overall image have.
  • [0038] [0038]
    Zur Erhöhung des Dynamikbereichs der Bildaufnahme wird bei dem erfindungsgemäßen Verfahren des Weiteren in jeder angefahrenen Microscanning-Position eine Mehrzahl von Teilaufnahmen mit jeweils abgestuft unterschiedlichen Empfindlichkeitseinstellungen oder Belichtungszeiten vorgenommen. To increase the dynamic range of the image pickup is performed a plurality of partial shots, each having graded different sensitivity settings or exposure times in the inventive method further comprises in each approached Microscanning position. Diese mit HDR-Imaging (High Dynamic Range Imaging) bezeichneten Teilbildaufnahmen sind durch räumlich perspektivisch versetzte Pixelumrisse mit Strich-Punkt-Linien (für CCS-Sampling-Positionen This HDR Imaging (High Dynamic Range Imaging) designated field recordings by spatially offset perspective pixel outlines with dash-dotted lines (for CCS sampling positions 119 119 ) und Punktlinien (für Positionen von Zwischenabtastungen ) And dotted lines (for positions of intermediate samples 116 116 ) in ) in 2 2 dargestellt. shown. Die zeitlich gestaffelten HDR-Teilbildaufnahmen The staggered HDR-field shots 121 121 mit unterschiedlichen Empfindlichkeitseinstellungen erfolgen nacheinander für jede räumlich separierte Teilbildaufnahme-Position des gewählten Microscanmusters with different sensitivity settings are made successively for each spatially separated portion of the image pickup position of the selected pattern Microscan 117 117 , jedoch für alle Sensorelementgruppen But for all groups of sensor elements 11 11 , . 12 12 , . 13 13 , . 14 14 usw. gleichzeitig. etc. simultaneously. Mit dieser Maßnahme entsteht ein hochaufgelöstes Farbbild mit zusätzlich erhöhtem Dynamikbereich, dh mit hoher Farbtiefe und hohem Kontrast. With this measure, a high-resolution color image having additionally increased dynamic range, ie with high color and high contrast.
  • [0039] [0039]
    Dadurch ist eine erhebliche Erhöhung des Dynamikbereichs eines hochauflösend abtastenden Farbsensors This is a significant increase in the dynamic range of a high-resolution scanning color sensor 1 1 für jede Gesamtbildaufnahme möglich, sodass keine echte HDR-Sensormatrix mit logarithmischem Empfindlichkeitsverhalten der Sensorelemente erforderlich ist (Kostenersparnis) oder nacheinander hochauflösende Gesamtbildaufnahmen mit unterschiedlichen Belichtungseinstellungen wiederholt werden müssen (Zeitersparnis). possible for each overall image is captured so no real HDR sensor matrix with logarithmic sensitivity behavior of the sensor elements is required (cost savings) or high-resolution picture images in sequence must be repeated with different exposure settings (time saving).
  • [0040] [0040]
    Durch Beschränkung der Anzahl der empfindlichkeitsgesteuerten bzw. belichtungszeitgesteuerte Teilbildaufnahmen auf zwei oder drei ist ein guter Kompromiss gefunden, um die benötigte Zeit für die Gesamtbildaufnahme (die im gezeigten Beispiel von By limiting the number of controlled sensitivity and exposure time controlled partial image recordings on two or three, a good compromise is found to reduce the time required for the overall image capture (in the example shown by 2 2 aus 27 Teilbildaufnahmen besteht) in vertretbarem Rahmen zu halten. from 27 part image capture is) to keep within reasonable limits.
  • [0041] [0041]
    Für ein 4 × 4-Microscanning mit zwei HDR-Aufnahmen je Scanposition ergeben sich 128 Teilbildaufnahmen bei lediglich 32 Sensorauslesungen, woraus mit beispielsweise T1 = 10 ms und T2 = 140 ms eine Gesamtszeit Tgesamt < 16s für eine komplette hochauflösende Bildaufnahme mit zweifach erhöhten Dynamikbereich ergibt. For a 4 × 4 Microscanning with two HDR images per scan position 128 part image capture result in only 32 sensor readings, from which with, for example T1 = 10 ms and T2 = 140 ms for a total time Tgesamt <16s results for a complete high-resolution image recording with two-fold increased dynamic range ,
  • [0042] [0042]
    Der Ablauf des erfindungsgemäßen Verfahrens zur hochauflösenden digitalen Bildaufnahme mit hohem Dynamikbereich ist in The flow of the method for high-resolution digital image recording with high dynamic range is in 1a 1a und and 1b 1b als Ablaufschema der für die Gesamtbildaufnahme erforderlichen Teilbildabtastungen dargestellt. presented as flow chart required for the overall image acquisition frame samples. Dabei wird (wie in In this case (as in 2 2 ) von einem 3 × 3-Microscanning mit einem gleichzeitig ablaufenden CCS-Sampling und einem HDR-Imaging (Mehrfachabtastungen mit unterschiedlichen Empfindlichkeitseinstellungen bzw. Belichtungszeiteinstellungen pro Abtastposition) Gebrauch gemacht. ) (From a 3 × 3 Microscanning with a concurrent sampling CCS and an HDR imaging multiple scans with different sensitivity settings or exposure time settings for each scan) exercised. Es werden mehrere Teilaufnahmen verschiedener Zweckbestimmung (in der angegebenen Reihenfolge) zeitlich versetzt mittels einer Kamera mit einem kommerziell verfügbaren Farbsensor There are a plurality of partial images of various purpose (in the order listed) offset in time by a camera with a commercially available color sensor 1 1 (zB SONY ICX 285AQ) von einem Objekt (Eg SONY ICX 285AQ) from an object 3 3 aufgenommen. added.
  • [0043] [0043]
    Wie in As in 4 4 schematisch gezeigt, wird das Objekt shown schematically, the object is 3 3 mittels eines Kameraoptik by means of a camera optics 2 2 auf den Farbsensor the color sensor 1 1 abgebildet. displayed. Der Farbsensor The color sensor 1 1 (mit Bayerfarbmaske) ist auf einem XY-Scanner (Bayer color mask) is on an XY scanner 4 4 (vorzugsweise einem Piezoscanner) aufgebracht, der die erforderlichen Scanbewegungen des Farbsensors (Preferably a piezo scanner) is applied, the necessary scan motion of the color sensor 1 1 für das Microscanning for Microscanning 115 115 und CCS-Sampling and CCS Sampling 118 118 entsprechend dem vorgewählten Microscanmuster according to the selected scan pattern Micro 117 117 vornimmt. performs. Es können aber auch Spiegelscanner (nicht gezeichnet) zum Einsatz kommen, um die relative Bewegung der Objektabbildung gegenüber dem Farbsensor zu realisieren. but it can also mirror scanner (not shown) used to come to realize the relative movement of the object image relative to the color sensor. Die Ansteuerung des Scanners The control of the scanner 4 4 erfolgt durch die Sensor- und Scannersteuerelektronik is performed by the scanner sensor and control electronics 5 5 , die zugleich auch die notwendigen Sensorumschaltungen für das HDR-Imaging , Which also constitute the necessary sensor switches for the HDR Imaging 120 120 vorgibt, die unterschiedlichen Auslesemodi des Farbsensors taktet und die geordnete Zwischenspeicherung der Teilbildaufnahmen im Rechner purports clocks the different readout of the color sensor and the orderly temporary storage of the partial image recordings in the computer 6 6 organisiert. organized. Vorteilhaft werden unterschiedliche Abtast- und Auslesemodi in der Steuerelektronik different sampling and readout are advantageous in the control electronics 5 5 auswählbar abgelegt. selectably stored.
  • [0044] [0044]
    Im nachgeordneten Rechner In the downstream machine 6 6 , der separat, aber auch Bestandteil der Kamera sein kann, werden die Teilbildaufnahmen anschließend zu einem zusammengesetzten Gesamtbild mit höherer räumlicher Auflösung, höherem Dynamikumfang und gemessen oder Farben vereinigt. , The separately, but can also be part of the camera, the field images are then combined into a composite overall image with higher spatial resolution, higher dynamic range and measured or colors. Das geschieht durch zeitliche und räumliche Verkämmung der Teilaufnahmen entsprechend den Aufnahmemodi von Microscanning This is achieved by temporal and spatial interlacing of the sub-images according to the shooting modes of Microscanning 115 115 , CCS-Sampling CCS sampling 118 118 und HDR-Imaging and HDR Imaging 120 120 . ,
  • [0045] [0045]
    Dadurch ergeben sich selbst bei Beschränkung auf nur zwei HDR-Abtastungen pro Microscanning-Position bereits brillante hochaufgelöste Farbbilder von hoher Farbtiefe, für deren Aufnahme als Gesamtbild nicht bei einem angenommen 4 × 4-Mikroscanning mit zwei HDR-Aufnahmen von nicht mehr als 16 s benötigt wird. This results in even when limited to only two HDR samples per Microscanning position already brilliant high-resolution color images of high color depth not be accepted for its inclusion as an overall image in a 4 x 4 microstrip scanning with two HDR images of not more than 16 s needed becomes.
  • [0046] [0046]
    Insbesondere ergeben sich bei der Vereinigung von RGB-Farbbildern Gesamtbilder mit hohem Dynamikumfang von 14–16 Bit Farbtiefe und zusätzlich mindestens verdoppelter Auflösung bei einer Zwischenabtastung In particular arise in the association of RGB color images overall images with high dynamic range of 14-16-bit color depth and in addition at least double the resolution at an intermediate sampling 116 116 (im Microscanning (In Microscanning 115 115 mit CCS-Sampling CCS Sampling 118 118 ). ).
  • [0047] [0047]
    Bei der Vereinigung von Schwarz-Weiß- oder Graustufenbildern ergibt sich bei gleichem Grundansatz die gleiche Tiefe des Dynamikumfangs. In the association of black and white or grayscale images, the same depth of the dynamic range obtained with the same basic approach.
  • Bezugszeichenliste LIST OF REFERENCE NUMBERS
  • 1 1
    Farbsensor color sensor
    11, ..., 14 11, ..., 14
    Pixelgruppen pixel groups
    111...114 111 ... 114
    Sensorelemente sensor elements
    115 115
    Microscanning Microscanning
    116 116
    Zwischenabtastung between sampling
    117 117
    Microscanmuster Microscan pattern
    118 118
    CCS-Sampling CCS Sampling
    119 119
    CCS-Sampling-Position CCS sampling position
    120 120
    HDR-Imaging HDR Imaging
    121 121
    HDR-Teilbildaufnahme HDR image capture part
    2 2
    Kameraoptik camera optics
    3 3
    Objekt object
    4 4
    Scanner scanner
    5 5
    Sensor- und Scanner-Steuerelektronik Sensor and scanner control electronics
    6 6
    Rechner calculator
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION
  • [0048] [0048]
    Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. This list of references cited by the applicant is generated automatically and is included solely to inform the reader. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. The list is not part of the German patent or utility model application. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen. The DPMA is not liable for any errors or omissions.
  • Zitierte Patentliteratur Cited patent literature
  • [0049] [0049]
    • DE 3837063 C1 [0003] DE 3837063 C1 [0003]
    • US 5682567 [0005] US 5682567 [0005]
    • EP 1235424 A2 [0006] EP 1235424 A2 [0006]
    • DE 10261665 C1 [0033] DE 10261665 C1 [0033]
    • EP 1432231 A2 [0033] EP 1432231 A2 [0033]

Claims (9)

  1. Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich, bei dem mittels Scanbewegung eines zweidimensionalen Farbsensors eine Auflösungserhöhung der Bildaufnahme durch sukzessive Überdeckung aller unterschiedlich farbempfindlichen Sensorelemente mittels Color-Co-site-Sampling vorgenommen wird, dadurch gekennzeichnet, dass – Zwischenabtastungen mit Abtastschritten von einem Bruchteil der Mittenabstände der Sensorelemente des Farbsensors als zusätzliche Abtastpositionen in die Scanbewegung des Color-CoSite-Sampling integriert werden, sodass mittels eines so definierten Microscannings zusätzliche Teilbildaufnahmen mindestens eine Verdoppelung der Abtastdichte in jeder Dimension des Farbsensors erzeugen, und – an jeder Abtastposition, sowohl der vom Color-CoSite-Sampling vorgesehenen Positionen der Sensorelemente als auch der durch Zwischenabtastung zusätzlich angefahrenen Abtastpositionen, zusätzliche Teilbildaufnahmen mit unterschiedlichen Empfindl A process for high-resolution digital color imaging with high dynamic range in which an increase in resolution of the image pickup is performed by successively covering all differentially color-sensitive sensor elements by means of color-co-site sampling by scanning movement of a two-dimensional color sensor, characterized in that - between scans with scanning steps from a fraction of the center distances of the sensor elements of the color sensor are integrated as an additional scan positions in the scanning movement of the color cosite sampling, so that at least be produced by means of a so-defined microscanning additional partial image recordings doubling the sample density in each dimension of the color sensor, and - at each scanning position, both of the color -CoSite sampling intended positions of the sensor elements and the additionally extended by intermediate scan scanning positions, additional partial images using different Sense ichkeitseinstellungen oder Belichtungszeiteinstellungen des Farbsensors zur Erzeugung eines High-Dynamic-Range-Imaging vorgenommen werden. ichkeitseinstellungen or shutter speed settings of the color sensor to generate a high-dynamic-range imaging to be made.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Verwendung eines Farbsensors mit Bayerfarbmaske ein Gesamtbild aus Teilbildern von vier Color-Co-site-Sampling-Positionen und von einem mindestens eine Zwischenabtastung je Pixelmittenabstand und Dimension des Farbsensors aufweisenden 4 × 4-Microscanning zusammengesetzt wird. A method according to claim 1, characterized in that when using a color sensor with Bayer color mask an overall image from partial images of four color-co-site sampling positions and by an at least one intermediate sample per pixel pitch and dimension of the color sensor having 4 × 4 Microscanning is assembled ,
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Microscanning mit einem regelmäßigen zeilenförmigen oder spaltenförmigen Scanmuster durchgeführt wird. A method according to claim 1, characterized in that the Micro scanning is carried out with a regular line-shaped or column-shaped scan pattern.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Microscanning mit einem regelmäßigen mäanderförmigen Scanmuster durchgeführt wird. A method according to claim 3, characterized in that the Micro scanning is carried out with a regular meandering scanning pattern.
  5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Microscanning mit einem regelmäßigen verkürztem maänderförmigen Scanmuster durchgeführt wird, bei dem die Color-Co-site-Sampling-Positionen mit angeglichenem zeitlichen Abstand angefahren werden. A method according to claim 1, characterized in that the Micro scanning is carried out with a regular truncated maänderförmigen scanning pattern, wherein the color-co-site sampling positions are approached with angeglichenem time interval.
  6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Microscanning mit einem unregelmäßigen Scanmuster durchgeführt wird, bei dem die Color-Co-site-Sampling-Positionen und die Zwischenabtastpositonen für die einzelnen Teilbildaufnahmen mit einem möglichst ähnlichen zeitlichen Abstand angefahren werden, wobei benachbarte Abtastpositionen, die in einem regulären mäander-förmigen Scanraster direkt nacheinander abgetastet würden, mit einem zeitlichen Abstand von mindestens zwei Microscanschritten angefahren werden. A method according to claim 1, characterized in that the micro-scanning is carried out with an irregular scan patterns in which the color-co-site sampling positions and the Zwischenabtastpositonen for the individual partial images using a similar as possible to time intervals to be approached, wherein adjacent sample positions, which would be sampled in a regular meander-shaped scanning raster in succession, to be approached with a time interval of at least two micro scan steps.
  7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das HDR-Imaging zwei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden. A method according to claim 1, characterized in that for the HDR imaging two field images are acquired with different sensitivity settings of the color sensor per microscan position.
  8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das HDR-Imaging drei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden. A method according to claim 1, characterized in that for the HDR imaging three field images are acquired with different sensitivity settings of the color sensor per microscan position.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Steuerelektronik zur Realisierung von verschiedenen Auflösungsstufen der Farbaufnahmen unterschiedliche Einstellungen von Microscanmodi des Scanners und Ansteuer- und Auslesemodi des Farbsensors gespeichert werden. Method according to one of the preceding claims, characterized in that different settings of Microscanmodi of the scanner and control and readout of the color sensor are stored in the control electronics for the realization of different levels of resolution of color images.
DE201210107191 2012-08-06 2012-08-06 Method for high-resolution digital color imaging in microscopy, involves making additional images using different settings or shutter speed settings of color sensor for generating high-dynamic-range imaging at each scanning position Pending DE102012107191A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210107191 DE102012107191A1 (en) 2012-08-06 2012-08-06 Method for high-resolution digital color imaging in microscopy, involves making additional images using different settings or shutter speed settings of color sensor for generating high-dynamic-range imaging at each scanning position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210107191 DE102012107191A1 (en) 2012-08-06 2012-08-06 Method for high-resolution digital color imaging in microscopy, involves making additional images using different settings or shutter speed settings of color sensor for generating high-dynamic-range imaging at each scanning position

Publications (1)

Publication Number Publication Date
DE102012107191A1 true true DE102012107191A1 (en) 2014-02-06

Family

ID=49943910

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210107191 Pending DE102012107191A1 (en) 2012-08-06 2012-08-06 Method for high-resolution digital color imaging in microscopy, involves making additional images using different settings or shutter speed settings of color sensor for generating high-dynamic-range imaging at each scanning position

Country Status (1)

Country Link
DE (1) DE102012107191A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3837063C1 (en) 1988-10-31 1990-03-29 Reimar Dr. 8000 Muenchen De Lenz
US5682567A (en) 1994-09-27 1997-10-28 Carl-Zeiss-Stiftung Process for exposure control in microscope cameras and corresponding photomicroscope
US6418245B1 (en) * 1996-07-26 2002-07-09 Canon Kabushiki Kaisha Dynamic range expansion method for image sensed by solid-state image sensing device
EP1235424A2 (en) 2001-02-24 2002-08-28 Carl Zeiss Method for recording and displaying fluorescence images with high resolution
DE10261665B3 (en) * 2002-12-20 2004-03-25 Smiths Heimann Biometrics Gmbh Device for disturbance-free recording of high resolution two-dimensional images with moving image sensor uses sensor movement scan pattern with fixed sequence of scan positions for each sensor element
US7095434B1 (en) * 1994-07-22 2006-08-22 Canon Kabushiki Kaisha Image sensing apparatus with sensor displacement capability
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3837063C1 (en) 1988-10-31 1990-03-29 Reimar Dr. 8000 Muenchen De Lenz
US7095434B1 (en) * 1994-07-22 2006-08-22 Canon Kabushiki Kaisha Image sensing apparatus with sensor displacement capability
US5682567A (en) 1994-09-27 1997-10-28 Carl-Zeiss-Stiftung Process for exposure control in microscope cameras and corresponding photomicroscope
US6418245B1 (en) * 1996-07-26 2002-07-09 Canon Kabushiki Kaisha Dynamic range expansion method for image sensed by solid-state image sensing device
EP1235424A2 (en) 2001-02-24 2002-08-28 Carl Zeiss Method for recording and displaying fluorescence images with high resolution
DE10261665B3 (en) * 2002-12-20 2004-03-25 Smiths Heimann Biometrics Gmbh Device for disturbance-free recording of high resolution two-dimensional images with moving image sensor uses sensor movement scan pattern with fixed sequence of scan positions for each sensor element
EP1432231A2 (en) 2002-12-20 2004-06-23 Smiths Heimann Biometrics GmbH Apparatus and method for noise free recording of high resolution, two dimensional images
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers

Similar Documents

Publication Publication Date Title
DE3837063C1 (en)
EP0222025A1 (en) Television receiver with multiple image reproduction
EP0483530A2 (en) Method and device for offset and response harmonization in an electrooptical linear or mosaic sensor
DE102006031799B3 (en) A process for the autostereoscopic representation of image information with an adaptation to changes in head position of the viewer
EP0996090A2 (en) Method for the processing of an input image
EP1434434A1 (en) Self calibration of a projection system using multiple projectors
DE4331965A1 (en) Method and device for increasing the grey-scale resolution
DE10301941A1 (en) Camera and method for the optical recording of a screen
WO2002078346A1 (en) Method and device for correcting an image, particularly for occupant protection systems
EP0002736A1 (en) Exposure arrangement for copying apparatuses
DE102006055905A1 (en) Surrounding field detection method for motor vehicle, involves processing luminance measured values using predetermined type of pixel sensors, based on surrounding light and/or detected traffic situation
EP1699036A1 (en) LED display with high resolution
DE4023981A1 (en) LCD reproduces at least nine colours - uses analogue input, X-Y axis drivers and serial-parallel converter with cyclic data extraction
DE19816003C2 (en) A method for correcting the gray scale values ​​of images of a digital infrared camera
DE19827590C2 (en) Method and apparatus for autostereoscopy
WO2007082781A1 (en) Image detection system and method for producing at least one image detection system
DE19505059A1 (en) Medical X=ray investigation appts.
DE4300828C1 (en) TV pick=up for X=ray diagnostic device - uses semiconductor image converter permitting combination of two X=ray images to give final high contrast image
DE102011114500A1 (en) microscope device
DE10213564A1 (en) Method for suppressing ghosting in X-ray pictures applies a subtraction process to correct an X-ray shot by processing residual image portions
WO2007054332A1 (en) Camera chip, camera and method for image recording
DE202009003286U1 (en) An apparatus for picking up an image of an object
DE102010013605A1 (en) A method of reducing distortion in the diffusion imaging and magnetic resonance system
DE102013222780B3 (en) Multiaperturvorrichtung and method for tracking an object range
DE102008024417B3 (en) Time delay-integration line detector for use in earth observance field, has selection register unit designed as shifting register, masking provided between pixels of lines, and registers of pixels widened corresponding to width of masking

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication