EP1510079A1 - Verfahren und system zum auswerten einer optischen aufnahme - Google Patents

Verfahren und system zum auswerten einer optischen aufnahme

Info

Publication number
EP1510079A1
EP1510079A1 EP03735532A EP03735532A EP1510079A1 EP 1510079 A1 EP1510079 A1 EP 1510079A1 EP 03735532 A EP03735532 A EP 03735532A EP 03735532 A EP03735532 A EP 03735532A EP 1510079 A1 EP1510079 A1 EP 1510079A1
Authority
EP
European Patent Office
Prior art keywords
elements
color
image sensor
information
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03735532A
Other languages
English (en)
French (fr)
Inventor
Urs Schmid
Ruedi Rottermann
Daniel GÖGGEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems Schweiz AG
Original Assignee
Leica Microsystems Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems Schweiz AG filed Critical Leica Microsystems Schweiz AG
Publication of EP1510079A1 publication Critical patent/EP1510079A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the invention relates to a method and a system for evaluating an optical image recorded by means of an image sensor.
  • the image sensor comprises a large number of light-sensitive elements, each of which is provided for determining a brightness value of exactly one color from a predetermined number of colors. With each element, information about the respectively assigned color is thus obtained.
  • the invention further relates to a use of the system mentioned as well as a computer program and a computer program product.
  • CCD Charge-Coupled Device
  • Elements are usually provided for the three primary colors red, green and blue, which are usually arranged in the so-called Bayer mosaic.
  • a striking feature of this is that there are two green filters for each red and one blue filter. Therefore capture typical Sensors 50% of the green, 25% of the blue and 25% of the red light.
  • a method for determining missing color values for pixels in a color filter array is known, for example, from US Pat. No. 6,181,376 B1. In the method, interpolation of known color values is carried out along diagonal lines.
  • Document EP 0 720 387 A2 describes a method and a device for generating interlaced images from a sensor with progressive scanning in an electronic camera. The clock rate required is reduced while the interlaced pixel values are provided for all colors in the same area.
  • the method according to the invention for evaluating an optical image recorded by means of an image sensor comprising a multiplicity of light-sensitive elements and each of the elements being provided for determining a brightness value of exactly one color from a predetermined number of colors, so that with information on the respectively assigned color is obtained for each element, characterized in that one of the colors is selected from the predetermined number of colors and only information of the elements which are provided for this color are taken into account in the evaluation.
  • the elements of the image sensor are preferably arranged in a matrix in rows and columns. In this case it is advisable that only even or odd lines of the image sensor are read out. In the field generated in this way, only the information of the elements that are provided for the selected color are then taken into account for the evaluation.
  • the elements are usually provided for the three primary colors red, green and blue, the elements preferably being arranged in a Bayer mosaic.
  • the elements are provided with color microfilters. These ensure that only light of a certain wavelength range can be transmitted and thus absorbed by the element in question, so that each element only provides information about the brightness or intensity of the light of a wavelength range and thus about a color, ie is intended for this.
  • the information of the elements provided for the selected color is usually displayed as an image on a display unit.
  • the method according to the invention allows rapid focusing, object positioning and magnification adjustment.
  • the system according to the invention for evaluating an optical image has an image sensor for capturing the optical image and a computing unit for processing information obtained by means of the image sensor.
  • the image sensor comprises a multiplicity of light-sensitive elements, each of which is provided for determining a brightness value of exactly one color from a predetermined number of colors.
  • the system is characterized in that the computing unit is designed to select one of the colors, preferably the one with the largest associated information content, and is also designed to take into account only information of the elements intended for the selected color in the evaluation.
  • the elements of the image sensor are preferably arranged in a matrix in rows and columns.
  • the computing unit is designed such that it reads out only even or odd lines of the image sensor. This selection is preferably also made by the computing unit.
  • the system is particularly suitable for evaluating monochromatic images, such as, for example, images in microscopy, in particular fluorescence microscopy.
  • monochromatic images such as, for example, images in microscopy, in particular fluorescence microscopy.
  • microscopy is often only a monochromatic image, such as when examining an object's fluorescence.
  • color information is recorded with four pixels. The color is then calculated for each pixel using an interpolation with the surrounding pixel colors. This is time consuming. In the case of a single-color image, the remaining pixels have no brightness information and therefore only provide noise, which can lead to image distortions. This was not taken into account in conventional readout and evaluation methods.
  • the frame rate when focusing monochromatic images can be practically doubled compared to a conventional method, since one of the two fields is not used at all.
  • the display of the color separation can also be accelerated compared to known methods.
  • the color pixels that do not belong to the selected color separation are omitted and therefore cannot interfere with the color separation due to noise information contained therein.
  • the result is a low-noise, fast grayscale image for optimal focusing and image detail determination.
  • the new method can be used to support a CCD image sensor or a digital camera by supporting special so-called readout modes.
  • the method is particularly recommended for high-resolution image sensors, since the reduction in resolution caused by the method is not important. There is even a reduction in live image displays the number of pixels required in order to be able to conveniently determine the desired image section (field of view).
  • the computer program according to the invention comprises program code means to carry out all steps of a method described above. It is executed on a computer or a corresponding computing unit.
  • the computer program product according to the invention is stored on a computer-readable data carrier.
  • Figure 1 illustrates the known field method.
  • FIG. 2 shows schematically an embodiment of the method according to the invention.
  • FIG. 3 schematically shows a further embodiment of the method according to the invention.
  • FIG. 4 schematically shows yet another embodiment of the method according to the invention.
  • FIG. 5 shows a possible application of the method according to the invention in a schematic representation.
  • FIG. 1 the conventional field method is shown schematically for explanation.
  • An image sensor 10 can be seen, which has a multiplicity of light-sensitive elements arranged in a matrix in rows and columns, elements 12 for the color green, elements 14 for the color red and elements 16 for the color blue being provided.
  • the elements 12 are thus provided with a green color microfilter, the elements 14 with a red color microfilter and the elements 16 with a blue color microfilter.
  • the elements 12, 14 and 16 for the three primary colors red, green and blue are arranged in the so-called Bayer mosaic. There are two green filters for each red and blue filter.
  • a first field 18 and for the second, fourth, sixth, eighth and tenth lines, i. H. for the even lines of the image sensor 10 a second field 20 is generated.
  • the two fields 18 and 20 are generated by first exposing the respective lines and then reading them out.
  • FIGS. An image sensor 30 can again be seen, which has a multiplicity of elements 32, 34 and 36 arranged in the form of a matrix, elements 32 being provided for the color green, elements 34 for the color red and elements 36 for the color blue.
  • a first field 38 is first generated, i. H. only the odd lines of the image sensor 30 are read out. This field 38 shows only green and red pixels. Subsequently, only the elements 34 for the color red are taken into account and the result is shown in an image 40 which shows a red color separation. The elements 32 or their information received are not taken into account in the further evaluation.
  • the number of pixels in the image 40 is a factor 4 less than the number of pixels in the sensor 30. However, since no interpolations have to be carried out, the image 40 can be determined quickly. With this low-noise image 40, a focusing or an image detail evaluation is then possible.
  • a second field 42 is correspondingly reproduced, which results from reading out the straight lines of the image sensor 30.
  • a further image 44 which reproduces a blue color separation, is determined from this field 42 by taking only the elements 36 into account for the color blue.
  • FIG. 4 shows the field 38 from FIG. 2 again.
  • an image 46 is generated from the field 38, which reproduces a green color separation.
  • the green color separation can be obtained from the first field 38 or the second field 42.
  • the display of the color separation can be accelerated by foregoing color interpolation compared to conventional methods.
  • the color pixels that do not belong to the selected color separation are omitted and therefore cannot interfere with the color separation due to noise information contained therein.
  • FIG. 5 shows a possible application for the method according to the invention in a schematic representation.
  • An object 50 to be recorded an objective 52, a dichroic beam splitter 54, a blocking filter 56, a tube lens 58, a microscope axis 60, an image plane or a sensor 62, an excitation filter 64, a collector lens 66, a light source 68 and one can be seen Illumination axis 70.
  • a fluorescent object 50 lies in the focal plane of the objective 52 and is imaged by the latter and the tube lens 58 onto the sensor 62.
  • a zone with a so-called parallel beam path is formed between the objective 52 and the tube lens 58. Additional elements can optionally be inserted in this zone. In fluorescence microscopy, this is usually the beam splitter 54 shown in FIG. 5 for coupling in an illumination and the blocking filter 56.
  • the blocking filter 56 only allows light with the wavelength of the fluorescent radiation emitted by the object 50 to pass through.
  • the short-wave light for fluorescence excitation is not let through by the blocking filter 56 and consequently cannot contribute to the image formation.
  • the light from the light source 68 is focused by the collector lens 66 and reflected by the beam splitter 54 in the direction of the object 50.
  • the excitation filter 64 only allows light of the wavelength that is used to excite the fluorescence to pass. Illumination light from the light source 68 of the longer-wave fluorescence radiation is blocked by the excitation filter 64 and thus cannot overlap the fluorescence radiation and impair its visibility.
  • the beam splitter 54 As a dichroic beam splitter 54, since this reflects the short-wave excitation light to a high degree and has a high transmission for the long-wave fluorescent radiation.

Abstract

Es wird ein Verfahren und ein System zum Auswerten einer mittels eines Bildsensors (30) erfassten optischen Aufnahme vorgestellt. Der Bildsensor (30) umfasst eine Vielzahl von lichtempfindlichen Elementen (32, 34, 36), von denen jedes zum Bestimmen eines Helligkeitswertes genau einer der Farben aus einer vorgegebenen Anzahl von Farben vorgesehen ist, so dass mit jedem Element (32, 34, 36) Informationen zu der jeweils zugeordneten Farbe erhalten werden. Bei dem erfindungsgemässen Verfahren wird eine der Farben ausgewählt und es werden bei der Auswertung nur Informationen der Elemente (32, 34, 36) berücksichtigt, die für diese Farbe vorgesehen sind. Des weiteren werden eine Verwendung für das erfindungsgemässe System sowie ein Computerprogramm und ein Computerprogrammprodukt zur Durchführung des vorgestellten Verfahrens beschrieben.

Description

Verfahren und System zum Auswerten einer optischen Aufnahme
Die Erfindung betrifft ein Verfahren und ein System zum Auswerten einer mittels eines Bildsensors erfaßten optischen Aufnahme. Der Bildsensor umfaßt dabei eine Vielzahl von lichtempfindlichen Elementen, von denen jedes zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist . Somit werden mit jedem Element Informationen zu der jeweils zugeordneten Farbe erhalten. Die Erfindung betrifft weiterhin eine Verwendung des erwähnten Systems sowie ein Computerprogramm und ein Computerprogrammprodukt .
Bekannte ladungsgekoppelte Bildsensoren, sogenannte CCD- Bildsensoren (CCD: Charge-coupled device), haben aufgrund ihrer Herkunft aus dem Bereich der Videotechnik viel von dieser Technik übernommen. Um farbige Bilder erzeugen zu können, werden die einzelnen Elemente eines Bildsensors üblicherweise mit farbigen Mikrofiltern versehen, so daß jedes Element nur Licht eines bestimmten, eine Farbe repräsentierenden Wellenlängenbereichs erfaßt und somit nur hinsichtlich des Helligkeitswertes dieser Farbe Informationen liefert, d. h. ein entsprechendes elektrisches Signal anlegt.
Üblicherweise sind Elemente für die drei Grundfarben Rot, Grün und Blau vorgesehen, die dabei in der Regel im sogenannten Bayer-Mosaik angeordnet sind. Ein auffälliges Merkmal dieses ist es, daß auf je einen roten und einen blauen Filter zwei grüne Filter kommen. Daher erfassen typische Sensoren 50% des grünen, 25% des blauen und 25% des roten Lichts.
Da die Elektronik der Kamera für jeden Bildpunkt bzw. jedes Pixel nur den exakten Helligkeitswert für genau eine Farbe erhält, müssen die beiden anderen Farben jeweils aus den Werten der angrenzend liegenden Pixel durch Interpolation berechnet werden.
Aus der Druckschrift US 6 181 376 Bl ist bspw. ein Verfahren zum Bestimmen fehlender Farbwerte für Bildpunkte in einem Farbfilterarray bekannt . Bei dem Verfahren wird eine Interpolation bekannter Farbwerte entlang diagonaler Linien durchgeführt .
In der Druckschrift EP 0 720 387 A2 sind ein Verfahren und eine Vorrichtung zum Erzeugen von Zeilensprungbildern von einem Sensor mit progressiver Abtastung in einer elektronischen Kamera beschrieben. Hierbei wird die erforderliche Taktrate herabgesetzt, während die Zeilensprungpixelwerte für alle Farben in demselben Bereich bereitgestellt sind.
Viele Bildsensoren arbeiten im sogenannten Vollbildmodus und können nur jeweils vollständig ausgelesen werden. Problematisch dabei ist, daß dies bei einem großen Bildsensor relativ lange dauern kann, so daß kein flüssiges Livebild zum Fokussieren oder zur Bildausschnittsbestimmung durch eine Objektpositionierung oder eine Vergrößerungsanpassung angezeigt werden kann.
Andere Bildsensoren arbeiten im klassischen Halbbildverfahren der Videotechnik. Bei diesem Verfahren werden abwechselnd die geraden oder die ungeraden Zeilen des Sensors belichtet und ausgelesen. Die Halbbilder werden anschließend elektronisch zu Vollbildern zusammengesetzt. Nachteilig da- bei ist, daß dieser Vorgang sequentiell ausgeführt wird und daher komplizierte Verkämungsalgorithmen erforderlich sind, um das farbige Vollbild korrekt darzustellen.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und ein System vorzuschlagen, die es erlauben, eine mittels eines Bildsensors erfaßte optische Aufnahme schnell und einfach auszuwerten, um im Rahmen dessen bspw. eine Fo- kussierung oder auch eine Objektpositionierung oder eine Vergrößerungsanpassung durchführen zu können.
Zur Lösung der Aufgabe ist das erfindungsgemäße Verfahren zum Auswerten einer mittels eines Bildsensors erfaßten optischen Aufnahme, wobei der Bildsensor eine Vielzahl von lichtempfindlichen Elementen umfaßt und jedes der Elemente zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist, so daß mit jedem Element Informationen zu der jeweils zugeordneten Farbe erhalten werden, dadurch gekennzeichnet, daß eine der Farben aus der vorgegebenen Anzahl von Farben ausgewählt wird und bei der Auswertung nur Informationen der Elemente berücksichtigt werden, die für diese Farbe vorgesehen sind.
Es wird somit nur ein Farbauszug, zweckmäßigerweise derjenige mit den meisten Informationen, ausgelesen und der Rest verworfen. Dadurch sinkt zwar die Auflösung entsprechend, doch ist dies ist bei einem hochauflösenden Sensor kaum bemerkbar. Die durch das Verfahren erzielte Zeitersparnis beim Auslesen des Sensors bzw. beim Auswerten der erhaltenen Informationen ist hingegen erheblich. Dazu kommt, daß die Reduktion der Anzahl der Pixel bei vielen Anwendungen erwünscht ist. Da die Interpolation entfällt, können außerdem rauschärmere Bilder erzeugt werden. Vorzugsweise sind die Elemente des Bildsensors matrixförmig in Zeilen und Spalten angeordnet. In diesem Fall bietet es sich an, daß wahlweise nur gerade oder ungerade Zeilen des Bildsensors ausgelesen werden. Bei dem auf diese Weise erzeugten Halbbild werden anschließend für die Auswertung nur die Informationen der Elemente berücksichtigt, die für die ausgewählte Farbe vorgesehen sind.
In dieser Ausgestaltung des erfindungsgemäßen Verfahrens wird nur das gewünschte Halbbild ausgelesen und nur die benötigten Farbinformationen daraus ausgelesen. Eine zeitaufwendige Farbinterpolation ist nicht erforderlich. Folglich muß auch eine durch die Interpolation bedingte Verringerung der Auflösung nicht hingenommen werden. Die resultierenden Bilder liegen in der ausgewählten Farbe vor, wobei eine schnellere und rauschärmere Darstellung der Bildinformation möglich ist.
Bei dem sogenannten Halbbildverfahren werden nicht rechte oder linke Halbbilder, sondern gerade und/oder ungerade Zeilen in ein Shiftregister geladen.
Üblicherweise sind die Elemente für die drei Grundfarben Rot, Grün und Blau vorgesehen, wobei die Elemente vorzugsweise in einem Bayer-Mosaik angeordnet sind.
In Ausgestaltung der Erfindung sind die Elemente mit Farb- mikrofiltern versehen. Diese stellen sicher, daß nur Licht eines bestimmten Wellenlängenbereichs transmittiert und somit von dem betreffenden Element absorbiert werden kann, so daß jedes Element nur Informationen zu der Helligkeit bzw. Intensität des Lichts eines Wellenlängenbereichs und somit zu einer Farbe liefert, d. h. für diese vorgesehen ist. Die Informationen der für die ausgewählte Farbe vorgesehenen Elemente werden üblicherweise als Bild auf einer Anzeigeeinheit dargestellt .
Das erfindungsgemäße Verfahren erlaubt eine schnelle Fokus- sierung, Objektpositionierung und Vergrößerungsanpassung.
Das erfindungsgemäße System zum Auswerten einer optischen Aufnahme weist einen Bildsensor zum Erfassen der optischen Aufnahme und eine Recheneinheit zum Bearbeiten von mittels des Bildsensors erhaltenen Informationen auf . Der Bildsensor umfaßt eine Vielzahl von lichtempfindlichen Elementen, von denen jedes zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist. Das System zeichnet sich dadurch aus, daß die Recheneinheit ausgelegt ist, eine der Farben, vorzugsweise diejenige mit dem größten zugeordneten Informationsgehalt, auszuwählen und außerdem ausgelegt ist, bei der Auswertung nur Informationen der Elemente zu berücksichtigen, die für die ausgewählte Farbe vorgesehen sind.
Die Elemente des Bildsensors sind vorzugsweise matrixförmig in Zeilen und Spalten angeordnet .
In Ausgestaltung ist die Recheneinheit derart ausgelegt, daß diese wahlweise nur gerade oder ungerade Zeilen des Bildsensors ausliest. Diese Auswahl erfolgt bevorzugt ebenfalls durch die Recheneinheit.
Weiter Ausgestaltungen des erfindungsgemäßen Systems ergeben sich aus den Unteransprüchen.
Besonders geeignet ist das System für die Auswertung von monochromatischen Bildern, wie bspw. von Bildern in der Mikroskopie, insbesondere der Fluoreszenz-Mikroskopie. In der Mikroskopie ist häufig nur ein monochromatisches Bild vorhanden, wie bspw. bei der Fluoreszenz-Untersuchung eines Objekts. Bei herkömmlichen Verfahren werden mit vier Pixeln Farbinformationen aufgenommen. Anschließend wird dann für jedes Pixel die Farbe anhand einer Interpolation mit den umliegenden Pixelfarben berechnet. Dies ist zeitintensiv. Bei einem einfarbigen Bild sind die übrigen Pixel ohne Helligkeitsinformation und liefern daher nur Rauschen, wodurch Bildverfälschungen auftreten können. Dies wurde bei herkömmlichen Auslese- und Auswerteverfahren nicht berücksichtigt.
Durch den Einsatz des erfindungsgemäßen Verfahrens kann die Bildrate bei der Fokussierung von monochromatischen Bilder, wie sie bspw. in der Fluoreszenz-Mikroskopie häufig angewandt wird, gegenüber einem herkömmlichen Verfahren praktisch verdoppelt werden, da eines der beiden Halbbilder überhaupt nicht verwendet wird. Durch den Verzicht auf eine Farbinterpolation kann die Darstellung des Farbauszuges gegenüber bekannten Verfahren darüber hinaus beschleunigt werden.
Die nicht zum gewählten Farbauszug gehörenden Farbpixel werden weggelassen und können somit nicht durch darin enthaltene Rauschinformationen den Farbauszug stören. Das Ergebnis ist ein rauscharmes, schnelles Graustufenbild zur optimalen Fokussierung und Bildausschnittsbestimmung.
Das neue Verfahren kann durch Unterstützung von speziellen sogenannten Readout-Modi bei der Ansteuerung eines CCD- Bildsensors bzw. einer digitalen Kamera eingesetzt werden. Das Verfahren ist insbesondere bei hochauflösenden Bildsensoren zu empfehlen, da bei diesen die durch das Verfahren bewirkte Reduzierung der Auflösung nicht ins Gewicht fällt. Bei Livebild-Darstellungen ist sogar häufig eine Reduktion der Anzahl der Pixel erwünscht, um komfortabel den gewünschten Bildausschnitt (field of view) bestimmen zu können.
Das erfindungsgemäße Computerprogramm umfaßt Programmcodemittel, um alle Schritte eines vorstehend beschriebenen Verfahrens auszuführen. Es wird auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt.
Das erfindungsgemäße Computerprogrammprodukt ist auf einem computerlesbaren Datenträger gespeichert. Als geeignete Datenträger kommen EEPROMs und Flashmemories, aber auch CD- ROMs, Disketten sowie Festplattenlaufwerke in Betracht.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figur 1 verdeutlicht das bekannte Halbbildverfahren.
Figur 2 zeigt schematisch eine Ausführungsform des erfindungsgemäßen Verfahrens.
Figur 3 zeigt schematisch eine weitere Ausführungsform des erfindungsgemäßen Verfahrens . Figur 4 zeigt schematisch noch eine weitere Ausführungsform des erfindungsgemäßen Verfahrens.
Figur 5 zeigt in schematischer Darstellung eine mögliche Anwendung des erfindungsgemäßen Verfahrens.
In Figur 1 ist zur Erläuterung schematisch das herkömmliche Halbbildverfahren wiedergegeben. Zu erkennen ist ein Bildsensor 10, der eine Vielzahl von matrixförmig in Zeilen und Spalten angeordneten lichtempfindlichen Elementen aufweist, wobei Elemente 12 für die Farbe Grün, Elemente 14 für die Farbe Rot und Elemente 16 für die Farbe Blau vorgesehen sind. Die Elemente 12 sind somit mit einem grünen Farbmikrofilter, die Elemente 14 mit einem roten Farbmikrofilter und die Elemente 16 mit einem blauen Farbmikrofilter versehen.
Zu erkennen ist, daß die Elemente 12, 14 und 16 für die drei Grundfarben Rot, Grün und Blau im sogenannten Bayer- Mosaik angeordnet sind. Auf je einen roten und blauen Filter kommen dabei zwei grüne Filter.
Für die erste, dritte, fünfte, siebte und neunte Zeile, d. h. für die ungeraden Zeilen des Bildsensors 10, wird ein erstes Halbbild 18 und für die zweite, vierte, sechste, achte und zehnte Zeile, d. h. für die geraden Zeilen des Bildsensors 10, wird ein zweites Halbbild 20 erzeugt. Dabei werden die beiden Halbbilder 18 und 20 dadurch erzeugt, daß jeweils die entsprechenden Zeilen zunächst belichtet und dann ausgelesen werden.
Beim Halbbildverfahren werden abwechselnd die geraden oder ungeraden Zeilen des Bildsensors 10 ausgelesen. Die Halbbilder 18 und 20 werden anschließend typischerweise elektronisch zusammengesetzt. In den Figuren 2 bis 4 ist das erfindungsgemäße Verfahren näher erläutert. Zu erkennen ist wiederum ein Bildsensor 30, der eine Vielzahl von matrixförmig angeordneten Elementen 32, 34 und 36 aufweist, wobei die Elemente 32 für die Farbe Grün, die Elemente 34 für die Farbe Rot und die Elemente 36 für die Farbe Blau vorgesehen sind.
Wie in Figur 2 zu erkennen ist, wird zunächst ein erstes Halbbild 38 erzeugt, d. h. es werden nur die ungeraden Zeilen des Bildsensors 30 ausgelesen. Dieses Halbbild 38 zeigt nur grüne und rote Bildpunkte. Anschließend werden lediglich die Elemente 34 für die Farbe Rot berücksichtigt und das Ergebnis in einem Bild 40, das einen roten Farbauszug wiedergibt, dargestellt. Die Elemente 32 bzw. deren erhaltene Informationen finden bei der weiteren Auswertung keine Berücksichtigung.
Die Pixelzahl des Bildes 40 ist um Faktor 4 geringer als die Pixelzahl des Sensors 30. Da aber keine Interpolationen durchgeführt werden müssen, kann das Bild 40 schnell ermittelt werden. Mit diesem rauscharmen Bild 40 ist anschließend eine Fokussierung oder auch eine Bildausschnittsbewertung möglich.
In Figur 3 ist entsprechend ein zweites Halbbild 42 wiedergegeben, das sich durch Auslesen der geraden Zeilen des Bildsensors 30 ergibt. Aus diesem Halbbild 42 wird ein weiteres Bild 44, das einen blauen Farbauszug wiedergibt, ermittelt, indem lediglich die Elemente 36 für die Farbe Blau berücksichtigt werden.
In Figur 4 ist das Halbbild 38 aus Figur 2 wiederum gezeigt. In diesem Fall wird aus dem Halbbild 38 ein Bild 46 erzeugt, daß einen grünen Farbauszug wiedergibt. Der grüne Farbauszug kann aus dem ersten Halbbild 38 oder dem zweiten Halbbild 42 gewonnen werden.
Bei dem erfindungsgemäßen Verfahren kann die Darstellung des Farbauszuges durch den Verzicht auf eine Farbinterpolation gegenüber herkömmlichen Verfahren beschleunigt werden. Die nicht zum gewählten Farbauszug gehörenden Farbpixel werden weggelassen und können somit nicht durch darin enthaltene Rauschinformationen den Farbauszug stören.
In Figur 5 ist eine mögliche Anwendung für das erfindungsgemäße Verfahren in schematischer Darstellung wiedergegeben. Zu erkennen ist ein aufzunehmendes Objekt 50, ein Objektiv 52, ein dichroitischer Strahlenteiler 54, ein Sperrfilter 56, eine Tubuslinse 58, eine Mikroskopachse 60, eine Bildebene bzw. ein Sensor 62, ein Anregungsfilter 64, eine Kollektorllinse 66, eine Lichtquelle 68 und eine Beleuchtungsachse 70.
In der gezeigten Darstellung liegt ein fluoreszierendes Objekt 50 in der Brennebene des Objektivs 52 und wird von diesem und der Tubuslinse 58 auf den Sensor 62 abgebildet. Zwischen dem Objektiv 52 und der Tubuslinse 58 bildet sich eine Zone mit einem sogenannten parallelen Strahlengang. In dieser Zone können optional Zusatzelemente eingeschoben werden. In der Fluoreszenz-Mikroskopie ist dies üblicherweise, der in Figur 5 dargestellte Strahlenteiler 54 zur Einkopplung einer Beleuchtung und der Sperrfilter 56.
Der Sperrfilter 56 läßt nur Licht mit der Wellenlänge der von dem Objekt 50 emittierten Fluoreszenzstrahlung passieren. Das kurzwellige Licht zur Fluoreszenzanregung wird von dem Sperrfilter 56 nicht durchgelassen und kann folglich auch nicht zur Bildentstehung beitragen. Zur Beleuchtung des Objekts 50 wird das Licht der Lichtquelle 68 von der Kollektorlinse 66 gebündelt und von dem Strahlenteiler 54 in Richtung des Objekts 50 reflektiert. Der Anregungsfilter 64 läßt lediglich Licht der Wellenlänge passieren, die zur Anregung der Fluoreszenz dient. Beleuchtungslicht der Lichtquelle 68 der langwelligeren Fluoreszenzstrahlung wird von dem Anregungsfilter 64 gesperrt und kann so die Fluoreszenzstrahlung nicht überlagern und deren Sichtbarkeit beeinträchtigen.
Zur Steigerung der Lichteffizienz ist es dienlich, den Strahlenteiler 54 als dichroitischen Strahlenteiler 54 auszubilden, da dieser das kurzwellige Anregungslicht in hohem Maße reflektiert und für die langwellige Fluoreszenzstrahlung eine hohe Transmission aufweist.
Mittels dem in Figur 5 gezeigten Aufbau wird ein monochromatisches Bild erzeugt, daß gemäß dem erfindungsgemäßen Verfahren ausgewertet werden kann.

Claims

Patentansprüche
1. Verfahren zum Auswerten einer mittels eines Bildsensors (10, 30, 62) erfaßten optischen Aufnahme, wobei der Bildsensor (10, 30, 62) eine Vielzahl von lichtempfindlichen Elementen (12, 14, 16, 32, 34, 36) umfaßt und jedes der Elemente (12, 14, 16, 32, 34, 36) zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist, so daß mit jedem Element Informationen zu der jeweils zugeordneten Farbe erhalten werden, dadurch gekennzeichnet, daß eine der Farben aus der vorgegebenen Anzahl von Farben ausgewählt wird und bei der Auswertung nur Informationen der Elemente (12, 14, 16, 32, 34, 36) berücksichtigt werden, die für diese Farbe vorgesehen sind.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) des Bildsensors (10, 30, 62) matrixförmig in Zeilen und Spalten angeordnet sind.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß wahlweise nur gerade oder ungerade Zeilen der Bildsensors (10, 30, 62) ausgelesen werden und daß bei dem auf diese
Weise erzeugten Halbbild (18, 20, 38, 42) nur die Informationen der Elemente (12, 14, 16, 32, 34, 36) berücksichtigt werden, die für die ausgewählte Farbe vorgesehen sind.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) für die Farben Rot, Grün und Blau vorgesehen sind.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) für die drei Farben Rot, Grün und Blau in einem Bayer-Mosaik angeordnet sind.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) mit Farbmikrofiltem versehen sind.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Informationen der für die ausgewählte Farbe vorgesehenen Elemente (12, 14, 16, 32, 34, 36) auf einer Anzeigeeinheit dargestellt werden.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß mit den Informationen der für die ausgewählte Farbe vorgesehenen Elemente (12, 14, 16, 32, 34, 36) eine Fokussierung durchgeführt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß mit den Informationen der für die ausgewählte Farbe vorgesehenen Elemente (12, 14, 16, 32, 34, 36) eine Objektpositionierung durchgeführt wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß mit den Informationen der für die ausgewählte Farbe vorgesehenen Elemente (12, 14, 16, 32, 34, 36) eine Vergrößerungsanpassung durchgeführt wird.
11. System zum Auswerten einer optischen Aufnahme, mit einem Bildsensor (10, 30, 62) zum Erfassen der optischen Aufnahme und einer Recheneinheit zum Bearbeiten von mittels des Bildsensors (10, 30, 62) erhaltenen Informationen, wobei der Bildsensor (10, 30, 62) eine Vielzahl von lichtempfindlichen Elementen (12, 14, 16, 32, 34, 36) umfaßt und jedes der Elemente (12, 14, 16, 32, 34, 36) zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist, dadurch gekennzeichnet, daß die Recheneinheit ausgelegt ist, eine der Farben aus der vorgegebenen Anzahl von Farben auszuwählen und ausgelegt ist, bei der Auswertung nur Informationen der Elemente (12, 14, 16, 32, 34, 36) zu berücksichtigen, die für diese Farbe vorgesehen sind.
12. System nach Anspruch 11, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) des Bildsensors (10, 30, 62) matrixförmig in Zeilen und Spalten angeordnet sind.
13. System nach Anspruch 12, dadurch gekennzeichnet, daß die Recheneinheit ausgelegt ist, wahlweise nur gerade oder ungerade Zeilen des Bildsensors (10, 30, 62) auszulesen.
14. System nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) für die Farben Rot, Grün und Blau vorgesehen sind.
15. System nach Anspruch 14, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) für die Farben Rot, Grün und Blau in einem Bayer-Mosaik angeordnet sind.
16. System nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, daß die Elemente (12, 14, 16, 32, 34, 36) mit Farbmikrofiltern versehen sind.
17. System nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, daß eine Anzeigeeinheit zum Darstellen der Informationen der für die ausgewählte Farbe vorgesehenen Elemente (12, 14, 16, 32, 34, 36) vorgesehen ist.
18. Verwendung eines Systems nach einem der Ansprüche 11 bis 17 zur Auswertung von Bildern in der Fluoreszenz- Mikroskopie .
19. Verwendung eines Systems nach einem der Ansprüche 11 bis 17 zur Objektpositionierung.
20. Verwendung eines Systems nach einem der Ansprüche 11 bis 17 zur Vergrößerungsanpassung.
21. Computerprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 10 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere einer Recheneinheit in einem System gemäß Anspruch 11, durchgeführt wird.
22. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere einer Recheneinheit in einem System gemäß Anspruch 11, ausgeführt wird.
EP03735532A 2002-06-06 2003-06-03 Verfahren und system zum auswerten einer optischen aufnahme Withdrawn EP1510079A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10226274A DE10226274B4 (de) 2002-06-06 2002-06-06 Verfahren und System zum Auswerten einer optischen Aufnahme
DE10226274 2002-06-06
PCT/EP2003/005807 WO2003105485A1 (de) 2002-06-06 2003-06-03 Verfahren und system zum auswerten einer optischen aufnahme

Publications (1)

Publication Number Publication Date
EP1510079A1 true EP1510079A1 (de) 2005-03-02

Family

ID=29719017

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03735532A Withdrawn EP1510079A1 (de) 2002-06-06 2003-06-03 Verfahren und system zum auswerten einer optischen aufnahme

Country Status (4)

Country Link
EP (1) EP1510079A1 (de)
JP (1) JP2005529557A (de)
DE (1) DE10226274B4 (de)
WO (1) WO2003105485A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005013042A1 (de) 2005-03-18 2006-09-28 Siemens Ag Einrichtung zur Erzeugung von 3D-Fluoreszenz-oder Lumineszenz-Scans
DE102005013044B4 (de) * 2005-03-18 2007-08-09 Siemens Ag Fluoreszenz-Scanner
DE102005013045B4 (de) 2005-03-18 2013-03-14 Siemens Aktiengesellschaft Fluoreszenz-Scanner für molekulare Signaturen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138942A (ja) * 1998-10-28 2000-05-16 Hyundai Electronics Ind Co Ltd イメ―ジセンサにおける緑色画素の平均値を利用する自動露出調節装置及びその方法
JP2000224599A (ja) * 1999-01-28 2000-08-11 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
US6850277B1 (en) * 1999-01-28 2005-02-01 Fuji Photo Film Co., Ltd. Solid-state image pickup apparatus with high-speed photometry and a signal reading method therefor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04284087A (ja) * 1991-03-13 1992-10-08 Canon Inc 電子スチルカメラ
JP2819365B2 (ja) * 1992-05-28 1998-10-30 キヤノン株式会社 画像形成装置
JPH08163380A (ja) * 1994-12-09 1996-06-21 Fujitsu Ltd 画像読取方法及び画像読取装置
US5668597A (en) * 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
JPH08242410A (ja) * 1994-12-30 1996-09-17 Eastman Kodak Co 電子カメラの順次走査センサからインタレースされた画像を作成する電子カメラ
EP0774865A3 (de) * 1995-11-17 2000-06-07 SANYO ELECTRIC Co., Ltd. Videokamera mit Hochgeschwindigkeitsmodus
US6181376B1 (en) * 1997-10-14 2001-01-30 Intel Corporation Method of determining missing color values for pixels in a color filter array
US6975354B2 (en) * 2000-06-29 2005-12-13 Texas Instruments Incorporated Digital still camera color filter array interpolation system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138942A (ja) * 1998-10-28 2000-05-16 Hyundai Electronics Ind Co Ltd イメ―ジセンサにおける緑色画素の平均値を利用する自動露出調節装置及びその方法
US6784939B1 (en) * 1998-10-28 2004-08-31 Hyundai Electronics Industries Co., Ltd. Apparatus and method for automatically controlling exposure time using a mean value of green pixels
JP2000224599A (ja) * 1999-01-28 2000-08-11 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
US6850277B1 (en) * 1999-01-28 2005-02-01 Fuji Photo Film Co., Ltd. Solid-state image pickup apparatus with high-speed photometry and a signal reading method therefor

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 2000, no. 08 6 October 2000 (2000-10-06) *
PATENT ABSTRACTS OF JAPAN vol. 2000, no. 11 3 January 2001 (2001-01-03) *
See also references of WO03105485A1 *

Also Published As

Publication number Publication date
JP2005529557A (ja) 2005-09-29
DE10226274A1 (de) 2004-01-08
DE10226274B4 (de) 2006-07-06
WO2003105485A1 (de) 2003-12-18

Similar Documents

Publication Publication Date Title
DE60203869T2 (de) Verfahren zur schnellen automatischen Belichtungs- oder Verstärkungsregelung in einem MOS Bildsensor
DE102008056921A1 (de) Endoskopprozessor und Endoskopsystem
DE102014214750B3 (de) Bildaufnahmesystem mit schnell vibrierendem Global-Shutter-CMOS-Sensor
EP1013076B1 (de) Bildsensorelemente
DE19546780A1 (de) Transmissionselektronenmikroskop und Verfahren zum Untersuchen einer Elementeverteilung unter Verwendung desselben
EP1542051A1 (de) Verfahren und Vorrichtung zum Trennen unterschiedlicher Emissionswellenlängen in einem Scanmikroskop
DE3620525A1 (de) Verfahren und vorrichtung zur spektrografischen messung der dichte eines farbnegativfilms
WO2017013033A1 (de) Hochauflösende, spektral selektive scanning-mikroskopie einer probe
DE102010063960A1 (de) Kamera mit einem Farbbildsensor sowie Aufnahmeverfahren mit einer solchen Kamera
EP1510079A1 (de) Verfahren und system zum auswerten einer optischen aufnahme
DE2659427C2 (de) Verfahren zum linearen optischen Filtern eines zweidimensionalen Bilds zu Korrekturzwecken und Vorrichtung zum Durchführen des Verfahrens
EP1185079A2 (de) Auf- oder Durchlichtscanner und Bildverarbeitungsverfahren für eingescannte Bildvorlagen
DE10253108B4 (de) Verfahren zur Detektion eines Objekts mit einem Rastermikroskop und Rastermikroskop zur Detektion eines Objekts
WO2022063746A1 (de) Abbildungssystem, insbesondere für eine kamera
DE3111300C2 (de)
EP1397002B1 (de) Gradientengestütztes Verfahren zur Bildpunktinterpolation
DE19702837C1 (de) Digitale Farbkamera für die elektronische Fotografie
WO2004055591A2 (de) Vorrichtung zur erfassung und vorrichtung zur wiedergabe von dreidimensionalen bildinformationen eines objektes
DE10258215A1 (de) Vorrichtung zur Erfassung und Vorrichtung zur Wiedergabe von Bildinformationen eines Objektes
LU93225B1 (de) Verfahren zur Erzeugung von Vorschaubildern mit einem Schiefeebenenmikroskop sowie Schiefeebenemikroskop und Bilderzeugungsvorrichtung für ein Schiefeebenemikroskop
DE3044217C2 (de)
DE102022125838A1 (de) Bildsensor
DE102010063959A1 (de) Mikroskop mit einem Farbbildsensor sowie Mikroskopieverfahren mit einem Farbbildsensor
DE10301961A1 (de) Optische Linseneinrichtung für einen Scanner
DE19740612B4 (de) Anordnung von Bildsensorelementen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20041111

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

RBV Designated contracting states (corrected)

Designated state(s): AT CH DE FR GB LI

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060404