EP1886176A1 - Verfahren zur optischen abtastung einer probe - Google Patents

Verfahren zur optischen abtastung einer probe

Info

Publication number
EP1886176A1
EP1886176A1 EP05806370A EP05806370A EP1886176A1 EP 1886176 A1 EP1886176 A1 EP 1886176A1 EP 05806370 A EP05806370 A EP 05806370A EP 05806370 A EP05806370 A EP 05806370A EP 1886176 A1 EP1886176 A1 EP 1886176A1
Authority
EP
European Patent Office
Prior art keywords
image
sample
stack
images
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP05806370A
Other languages
English (en)
French (fr)
Inventor
Vasant Desai
Guido Gehrke
Ralf Lethmate
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Technology Center Europe GmbH
Original Assignee
Olympus Soft Imaging Solutions GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Soft Imaging Solutions GmbH filed Critical Olympus Soft Imaging Solutions GmbH
Publication of EP1886176A1 publication Critical patent/EP1886176A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Definitions

  • the present invention relates to a method for optically scanning a sample by means of an adjustment unit and a scanning device, after which individual images are recorded and combined in the sense of a grid to form an overall image.
  • the sample or an object to be examined is not limited to transparent biological tissue sections or material sections. These are transilluminated with a light source, wherein the image generated in the course of these transmission measurements is taken by the scanning device and stored here or optionally in a connected control system.
  • a light source wherein the image generated in the course of these transmission measurements is taken by the scanning device and stored here or optionally in a connected control system.
  • transmission measurements and reflection measurements can be made.
  • the measurements are of course not limited to the visible wavelength range. As a rule, however, work is carried out in the visible wave range, with transmission measurements of the sample being evaluated.
  • the invention is based on the technical problem of further developing such a method so that a perfect image of the sample is generated taking into account a consistently perfect focus.
  • each frame is determined from a single image stack, wherein the frame stack composed of substantially perpendicular to the sample plane or sample individually recorded stack images.
  • the individual image stack or the stack images can also be detected perpendicular to a base plane which, for example, coincides with or clamps a sample table receiving the sample.
  • a single frame of the sample at the scanned location is explicitly captured and stored, but rather a frame stack which is composed of two, three, five or ten or even more individual stack images. From these stack images, the desired frame can now be extracted by identifying one of the stack images with the desired frame. Alternatively or additionally, it is also possible to assemble the individual image from a plurality of the stack images according to predetermined criteria.
  • the recording of the individual image stack takes place perpendicular to the sample or sample plane or the base plane.
  • the individual image stack can be arranged spatially with the aid of a reference plane independent of the base plane in a preferably three-dimensional image matrix.
  • the reference plane indicates the respective focus values or defines one (or more) focal planes. If one considers that the scanning device has an optical imaging unit in the form of mostly one or more (high-resolution) objectives, then with the aid of this reference plane the sharpness to be expected at the selected sample location can be determined. On the basis of the thus determined support point on the reference plane, the single image stack is now detected.
  • the reference plane is usually designed as a focus map and is predetermined by several focus points. If then the reference plane or focus map is defined, the necessary support point can be determined at the location of the recording of the desired frame, which specifies the range within which the individual stack images are recorded above and below the reference plane or focus map to produce the frame stack , The vertex thus reflects the expected focus at the location of the still image.
  • the reference plane or focus map is determined in time before the scanning of the individual images. This is necessary in order to be able to determine the interpolation points derived from the reference plane or focus map, by means of which the individual image stacks are recorded in the following step. It is understood that the respective individual image stack works with a predetermined number of stack images perpendicular to the sample plane above and below the aforementioned support point. Usually, one will resort here to an equal number above and below the sample plane at the location of the base, although of course also different numbers are covered by the invention.
  • the reference plane or focus map is for the most part created by determining, for example, the pixel intensity perpendicular to the sample plane in the form of image intensity values at selected pixels of the overall image or sample locations. From the intensity values or image intensity values via the vertical component thus detected (perpendicular to the sample plane or sample table plane or base plane, for example), the most intense point can now be determined and equated with the focus value at the location being examined. According to another approach, the aforementioned intensity values may also be weighted, for example, exponentially or linearly, thus leading to a calculated focus value.
  • a focus value is available as a function of an associated adjustment of the scanning unit perpendicular to the sample plane (usually in the z-direction).
  • the corresponding sample location ie its position in the x and y direction
  • the focus value (or the corresponding x, y and z value) is now written into the focus map to be created. If you repeat this process at least twice, there are already three focus values that span a unique plane, namely the reference plane or focus map.
  • the respectively closest three focus values can define a triangle in the sense of a triangulation, whereby the focus map is in the end composed of a multiplicity of such triangles.
  • the desired interpolation points for the subsequent scanning process or the recording of the individual images can now be determined. This is done, for example, by setting three focus values to a triangle and placing the vertex on this triangle. This results in an expected z value or value for the adjustment of the scanning unit at the interpolation point.
  • the individual image stacks can be detected immediately afterwards at the sample location (x, y value) and subsequently evaluated.
  • the individual image stacks are detected completely over the entire surface of the sample, wherein the support points or the focus map or reference plane is used to preset the scanning device at the respective sample location accordingly. Otherwise, it is practically not possible with thick samples, for example, with the subsequently recorded single image stack and taking into account the limited depth of field of high-resolution lenses to get a sharp pile picture at all.
  • the described focus map or reference plane therefore ensures that at least one sharp stack image is present in the subsequent area-wide scan in each individual image stack, which is used for the subsequent evaluations.
  • the focus map allows a virtually virtual image of the sample such that it can be focused in the Z-direction (focus value) as in the conventional microscope, whereby at the same time navigation in the X- / Y-direction becomes possible (sample location).
  • the impression of the so-called "manual fürfokussierens" as in conventional microscopy remains so.
  • the amounts of data are considerably increased by each recorded individual image stack, because the individual image stacks must be stored in each case.
  • the corresponding stack images can be joined to each other when the individual image stacks have been recorded with overlap relative to each other. How the overlap of the stack images of the individual image stacks is used in each case for their mutual alignment and their connection will be explained in more detail with reference to the subsequent description of the figures.
  • the sample can be displayed as a total three-dimensional object. It is conceivable here to reproduce this three-dimensional representation with the aid of a 3D bhIIe or an SD screen. That is, a viewer receives not only a sample information in a plane in which the sharp stack images or frames have been assembled to the overall image, but also more information about the topography of the sample, ie a true three-dimensional representation and a corresponding impression.
  • the single-image stack can be stored (in the mostly compulsory control unit) and the desired single image can be extracted in a subsequent evaluation process.
  • a real-time evaluation is conceivable and is included.
  • the invention is basically applicable to the entire electromagnetic spectrum. So also applications in the IR, UV and X-ray range are covered.
  • a novel optical sample scanning method which provides a heretofore unknown sharp image of the sample practically over the entire frame of the individual images.
  • the sample examination is significantly improved compared to previous procedures and can be originally blurred. easy to evaluate rich.
  • an image of the sample is made available, which then enables a "sharp" recording of the individual images.
  • the generated individual images are added to the overall image with overlap.
  • the overlap is analyzed in each case in order to be able to align the individual images or the individual interconnected stack images with one another.
  • FIG. 1 shows a device for optical scanning of a sample, which operates according to the described method
  • Fig. 7 the composite of the individual images overall picture.
  • a device for optical scanning of a sample 1 is shown.
  • This sample 1 is not limited to one Section through a biological tissue or a material.
  • the cut is carried out so that the sample 1 is transilluminated by a white light source W and its image can be recorded by transmission measurement.
  • the device has in its basic structure an adjusting unit 2, 3 and a scanning device 4, 5.
  • the adjusting unit 2, 3 in the embodiment of two spindle drives 2 as a drive device 2 and a sample table 3 is composed.
  • the white light source W is arranged, so that the image of the sample 1 can be picked up by the scanning device 4, 5 located above it.
  • the scanning device 4, 5 combines a plurality of imaging units or scanning units or microscope objectives 4 and a recording unit or a surface sensor or a CCD chip 5 together.
  • the sample 1 with respect to the scanning device 4, 5 is moved.
  • the sample 1 which is generally larger by a multiple than the detectable angle range of the scanning device 4, 5, can be moved relative to the scanning device 4, 5.
  • Each movement step is usually associated with the recording of a single image E, which are combined to form an overall image.
  • 3 selected sample locations are approached in the x / y direction.
  • the adjusting unit 2, 3 acted upon by a control system or control unit 6, which controls the adjustment 2, 3 accordingly and the individual images E edited if necessary and composed butt to joint or with predetermined overlap to the overall picture.
  • the control unit 6 serves to create and store a reference plane 10 which will be explained in more detail below.
  • the sample table 3 is only in the x and y directions moved, although the adjustment 2, 3 in principle could also be adjusted in addition in height or z-direction, which is not shown.
  • the transmission of the sample 1 and their reflection behavior can be detected with a comparably constructed device.
  • each frame E is determined or extracted from a frame stack 7, as shown in the side view in FIG.
  • This frame stack 7 is composed of several stack images 8, in the embodiment of ten stack images 8, which is not mandatory. These individual stack images 8 are taken up substantially perpendicular to the sample plane P, which consequently represents a base plane P.
  • the stack images 8 are recorded perpendicular to the sample table plane spanned by the sample table 3 or the relevant base plane P, which is congruent with the x- / y-plane (see Fig. 1).
  • the sample 1 is received by a slide 9. If the sample 1 is plane and the slide 9 and the sample 1 are coplanar with each other, an image that is always sharp is also produced on the surface sensor 5 in the ideal case. However, this does not correspond to reality because, for example, the sample 1 can be arranged inclined relative to the slide 9, has a curvature etc. For this reason, the individual image stacks 7 are arranged perpendicular to the sample stage or respectively determines x- / y-base plane P and extracted from the stack images 8 respectively desired single image E, wherein the individual images are assembled in the sense of a grid to the overall image.
  • a reference plane or focus map 10 is created with the aid of the control unit 6, which is shown schematically in FIGS. 5, 6.
  • the reference plane or focus map 10 is an image of the sample surface, so that ripples, inclinations, etc. of the sample 1 find an entry into the reference plane or focus map 10, which is spanned by at least three focus points 11.
  • the procedure is as follows. First, a pixel or pixel 12 of the surface sensor 5 is at the same position in the x and y direction, d. H. recorded at a specific sample location using various settings of the imaging unit 4. In other words, the sample image is recorded at the respective x / y position and the associated pixel 12, respectively, for different positions of the imaging unit 4 and consequently different foci. In the simplest case, the imaging unit 4 is adjusted for this purpose so that the plane of their focus in the z-direction, d. H. their focal plane changes. This is indicated by the different indicated planes in FIG. 2, the pixel 12 being examined being highlighted.
  • the intensity values of the pixel 12 detected to determine the focus points 11 may also be weighted, as shown in FIG. 4.
  • One possibility is to connect the maxima of the intensity values according to FIG. 3 with the aid of a compensation function and, taking into account the areas thus generated, derive a moving average value thereof as the focus value.
  • Other weighting functions such. B. exponential and not linear as shown, are conceivable.
  • the individual intensity maxima are weighted beforehand, for example, by exponential functions.
  • a focus value and consequently the focal point 11 can be defined for the selected pixel 12. This corresponds - as explained - to a specific adjustment of the imaging unit 4, in the z direction, in order to produce a sharp image at the examined x / y location.
  • the focus value 11 includes a sample location (x / y value) which specifies the position of the examined pixel 12.
  • the focus value 11 is ultimately represented by a three-dimensional value x, y and z.
  • the above-described procedure can be repeated for a given number of pixels 12 or pixels.
  • the number of focus values 11 essentially depends on two specifications. First of all, the working area plays a role, ie the area specified by the operator within which the sample 1 or parts thereof are to be scanned.
  • the working area can be determined or limited by an upstream scanning so that the sample outline is first determined, the work area is the smallest possible rectangle, which encloses the sample outline as a whole.
  • the size of the work area specifies the number of focus values 11 necessary for the creation of the focus map 10.
  • the expected sample topology With a wavy sample 1, one will work at this point with a higher number of focus values 11 than when a smooth sample is to be expected. Both can optionally be set and specified by the user.
  • the focus values 11 are determined by sampling the sample 1 coarse and not nationwide in a so-called advance scan.
  • the reference plane or focus map 10 is generated or stored in the control system 6. For this purpose, a so-called triangulation takes place in which three closest focus values 11 are connected to one another in a triangle. This process is repeated for all focus values 11, as indicated in FIGS. 5, 6. This ensures that the regions of the sample 1 indicated in FIG. 5 below the focus map 10 in any case undergo a sharp image on the area sensor 5.
  • the intermediate areas are filled by extrapolation, in that the area of the triangle formed therefrom and its position in space is determined between the respective existing focus values 11.
  • support points 13 can be set on the surface of the triangles thus generated.
  • the interpolation points 13 are extrapolated three-dimensional points on the focus map 10. That is, the interpolation points 13 include a sample location (x / y value) and an in-focus for the scanning device 4, 5 or the imaging unit 4 (z value) at the sample site.
  • the position of the support point 13 on the defined triangle can therefore be set to the support point 13, a z-value, which the adjustment or "Focusing" the imaging unit 4 at base 13 and the associated expected focus value 1 1 documented.
  • This interpolation point 13 is now the starting point for the subsequent scanning process or the area-wide recording of the individual images and their combination with the overall image. Because the base 13 is - as described - the expected focus value at the x- / y-location (sample location) of the base 13, so that the imaging unit 4 with the aid of the control system 6 when approaching the base 13 in x-, y- and The respective individual image stack 7 is then determined at this interpolation point 13. For this purpose, the imaging unit 4 is moved in one and in the other z-direction so that a previously stated number of stack images 8 perpendicular to Level of the sample 1 or of the sample stage 3 (x- / y-plane) respectively of the base plane P is received above and below the specified support point 13. Of course, the step size s (see FIG if necessary.
  • Base 13 a plurality of stack images 8 taken in the form of the image frame stack 7, wherein the starting point for this particular frame stack 7 of the focus map 10 derived base 13 is.
  • the individual image stack 7 undergoes a spatial classification in the sense of the three-dimensional individual image matrix which is shown as a partial approach in FIG. 6.
  • the respective stack images 8 can now be evaluated in such a way that the desired depth-sharp single image is determined pixel by pixel in the sense that that in turn each individual pixel 12 of the stack image 8 undergoes an evaluation in the sense of its intensity maximum.
  • a contrast measurement is made in the individual stack images 8.
  • the pixels or pixels of the individual stack images 7 are examined in terms of how strong the light-dark differences are in the neighboring area. Because blurred images usually have a low contrast, ie low light-dark differences in closely adjacent image zones.
  • large light-dark differences correspond to frequency spectra, which in particular include high frequencies.
  • Adjacent pixels with large light-dark differences have more or less steep transition edges in their intensity or step transitions, which correspond to high frequencies in the Fourier space. These high frequencies can be filtered out and are a measure for a high-contrast reproduction.
  • Each individual stack image 8 can now be evaluated in terms of how high its high-frequency components are in the Fourier transformation of the intensities recorded by the pixels. The higher the frequency components in the stack image 8, the more contrasts are present and the “sharper" the stacking image 8 is designed. On the basis of this criterion, the desired (“sharpest") stack image 8 can then be extracted from the individual image stack 7.
  • the invention also opens up the possibility of selecting the individual image E of the individual image stack 7 in sections from the most contrast-rich the stack images 8 compose and not rely on a single stack image 8, but rather the individual image E from the most contrastive portions of the respective stack images 8 of the image stack 7 compose.
  • the creation of the focus map 10 can take place virtually at the same time as the actual scanning process for detecting the individual image stacks 7. This means that the described advance scan can be omitted.
  • the stack images 8 can be evaluated in real time for determining the individual image at the location being examined, so that the scanning process is ultimately determined "only" by the duration of the mechanical process of the adjustment unit 2, 3.
  • the stack images 8 of the individual stacks 7 or the desired individual images E are regularly recorded with an overlap and then combined to form the overall image, as shown schematically in FIG.
  • the overlap between the frames is egg and E 3 labeled with 14i 3, while the overlap between the individual images Ei and E 2 is designated 14i. 2
  • the respective overlap 14 12 and 14- ⁇ 3 is analyzed, for example, the images E 2 and E 3 relative to the single image E 1 are aligned in the common coordinate system of the overall picture.
  • the respective (strip-shaped) overlap 14 12 or 14 13 is subdivided into respective squares 15 in the example case.
  • 2 or 14i 3 are also divided into rectangular or other sections 15.
  • these subareas 15 are examined by performing a Fourier transformation of the associated image values or pixel values of each associated individual image E, that is to say in the example case of the individual images Ei, E 2 and E 3 , in the region of the subarea 15.
  • such a subregion 15 corresponds, for example, to a square of 100 ⁇ 100 pixels. If the associated image values of each individual image E are then Fourier-transformed in the control unit 6 in the relevant subarea 15, then conclusions can be drawn about the respective texture, ie the local distribution and variation of the gray values in the associated image area.
  • the invention makes use of the fact that a regular texture, for example, corresponds to a periodic (two-dimensional) gray value distribution which can be approximated by means of sine and cosine functions. From these functions it is possible to derive (two-dimensional) Fourier coefficients, which are a Fourier image produce. For example, a uniform pattern of vertical stripes corresponds to horizontally arranged dots in the Fourier image.
  • this Fourier image for each partial region 15, on the one hand in the example of the overlap 14- ⁇ 2 from the individual image E 1 and the other generated by the individual image E. 2 It is important to compare the two Fourier images of the individual images E 1 and E 2 - in the sub-area 15 - with each other. As a result of this
  • the single image E 2 has to be compared to the single image
  • the described cross-correlation can also be carried out in the single image comparison in such a way that individual images E are first recorded with a specific (coarse) resolution and aligned with one another in the manner described. Then the respective individual images E are examined again with increased resolution and in turn subjected to the described cross-correlation.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur optischen Abtastung einer Probe (1) mit Hilfe einer Verstelleinheit (2, 3) und einer Abtasteinrichtung (4, 5), wonach Einzelbilder aufgenommen und im Sinne eines Rasters zu einem Ge­samtbild zusammengesetzt werden, dadurch gekennzeichnet, dass jedes Einzelbild aus einem Einzelbildstapel (7) ermittelt wird, wobei sich der Einzelbildstapel (7) aus im Wesentlichen senkrecht zur Probe aufgenommenen Stapelbildern (8) zusammensetzt.

Description

Verfahren zur optischen Abtastung einer Probe
Beschreibung:
Die vorliegende Erfindung betrifft ein Verfahren zur optischen Abtastung einer Probe mit Hilfe einer Verstelleinheit und einer Abtasteinrichtung, wonach Einzelbilder aufgenommen und im Sinne eines Rasters zu einem Gesamtbild zusammengesetzt werden.
Ein Verfahren der eingangs beschriebenen Ausgestaltung ist hinlänglich be- kannt und wird beispielsweise in der US-PS 4 760 385 oder auch der US-PS 4 673 988 vorgestellt. Daneben ist die DE 100 23 005 A1 einschlägig.
Bei der Probe bzw. einem zu untersuchenden Objekt handelt es sich nicht einschränkend um transparente biologische Gewebeschnittbilder oder Werkstoff- schnitte. Diese werden mit einer Lichtquelle durchleuchtet, wobei das im Zuge dieser Transmissionsmessungen erzeugte Bild von der Abtasteinrichtung aufgenommen und hier oder gegebenenfalls in einer angeschlossenen Steueranlage gespeichert wird. Selbstverständlich können anstelle Transmissionsmessungen auch Reflexionsmessungen vorgenommen werden. Im Übrigen sei betont, dass die Messungen natürlich nicht auf den sichtbaren Wellenlängenbereich beschränkt sind. In der Regel wird jedoch im sichtbaren Wellenbereich gearbeitet, wobei Transmissionsmessungen der Probe eine Auswertung erfahren.
So oder so werden mehrere Einzelbilder - Stoß an Stoß oder mit Überlapp - zu dem Gesamtbild zusammengesetzt, anhand dessen die Probe eine Begutachtung unmittelbar vor Ort oder an einer entfernten Auswertestelle erfährt. Das ist bekannt. - Probleme ergeben sich jedoch dann, wenn die Probe im Vergleich zur Aufnahmeebene der Abtasteinrichtung schräg gestellt ist, eine wellige bzw. topologische Struktur aufweist oder die Probenfokussierung Probleme bereitet. Ebenso ist der bisherige Stand der Technik nicht oder kaum in der Lage, "dicke" Proben scharf abscannen zu können. Denn die zumeist begrenzte Tiefenschärfe hochauflösender Objektive als Bestandteil der Abtasteinrichtung macht es meist unmöglich, scharfe Bilder aufzunehmen, ohne grundlegende Änderungen vornehmen zu müssen. Hier will die Erfindung insgesamt Abhilfe schaffen.
Der Erfindung liegt das technische Problem zugrunde, ein derartiges Verfahren so weiter zu entwickeln, dass ein einwandfreies Abbild der Probe unter Berücksichtigung einer durchgängig einwandfreien Fokussierung erzeugt wird.
Zur Lösung dieser technischen Problemstellung ist ein gattungsgemäßes Verfahren erfindungsgemäß dadurch gekennzeichnet, dass jedes Einzelbild aus einem Einzelbildstapel ermittelt wird, wobei sich der Einzelbildstapel aus im Wesentlichen senkrecht zur Probenebene bzw. Probe einzeln aufgenommenen Stapelbildern zusammensetzt. Der Einzelbildstapel bzw. die Stapelbilder können auch senkrecht zu einer Basisebene erfasst werden, die beispielsweise mit einem die Probe aufnehmenden Probentisch zusammenfällt oder diese aufspannt.
Erfindungsgemäß wird also ausdrücklich nicht nur ein einziges Einzelbild der Probe am abgetasteten Ort erfasst und gespeichert, sondern vielmehr ein Einzelbildstapel, welcher aus zwei, drei, fünf oder zehn oder noch mehr einzelnen Stapelbildern zusammengesetzt ist. Aus diesen Stapelbildern kann nun das gewünschte Einzelbild extrahiert werden, indem eines der Stapelbilder mit dem gewünschten Einzelbild identifiziert wird. Alternativ oder zusätzlich ist es aber auch möglich, aus mehreren der Stapelbilder das Einzelbild nach vorgegebenen Kriterien zusammenzusetzen.
In jedem Fall findet die Aufnahme des Einzelbildstapels senkrecht zur Probe bzw. Probenebene oder der Basisebene statt. Meistens wird man eine Erfassung senkrecht zu einem Probentisch bzw. der Probentischebene vornehmen. Dies deshalb, um etwaige Schrägstellungen der Probe im Vergleich zur Probentischebene erfassen zu können.
Dabei lässt sich der Einzelbildstapel räumlich mit Hilfe einer von der Basisebene unabhängigen Referenzebene in einer vorzugsweise dreidimensionalen Einzelbildmatrix einordnen. Die Referenzebene gibt dabei in der Regel die jeweiligen Fokuswerte an bzw. definiert eine (oder mehrere) Fokusebenen. Wenn man berücksichtigt, dass die Abtasteinrichtung über eine optische Abbildungseinheit in Gestalt meistens eines oder mehrerer (hochauflösender) Objektive verfügt, so kann mit Hilfe dieser Referenzebene die am ausgewählten Probenort zu erwartende Scharfeinstellung vorgenommen werden. Anhand des dadurch ermittelten Stützpunktes auf der Referenzebene wird nun der Einzelbildstapel erfasst.
Bevor also die Probe per Transmission Stück für Stück abgetastet und die dadurch gewonnenen Einzelbilder im Sinne des Rasters zu dem Gesamtbild zusammengesetzt werden, findet also ein so genannter Vorausscan für die Referenzebene bzw. Fokuskarte statt. Bei diesem Vorausscan wird die Probe meistens grob abgetastet, also nicht flächendeckend. Erst dann schließt sich der eigentliche und zuvor beschriebene flächendeckende Abtastvorgang an. Grundsätzlich ist es aber auch möglich, den eigentlichen Scanvorgang und den so genannten Vorausscan zusammenzufassen. Dann müssen jedoch die einzelnen Fokuspunkte bzw. Fokuseinstellungen für die Abbildungseinheit während des eigentlichen Scanvorganges vorausgesagt bzw. extrapoliert werden. Während der Aufnahme der Einzelbildstapel kommt es dann zu einer Korrektur der solchermaßen erzeugten Referenzebene bzw. Fokuskarte.
Im Einzelnen wird zur Aufnahme der Fokuskarte eine zuvor angegebene Zahl an Stapelbildern senkrecht zur Probenebene bzw. Probentischebene (Basisebene) oberhalb und unterhalb der (zunächst angenommenen) Referenzebene an dem betreffenden Stützpunkt aufgenommen (Vorausscan). Aus diesen Stapelbildern bzw. dem Einzelbildstapel wird im Anschluss daran das Einzelbild ermittelt, welches idealerweise über seinen gesamten Bereich ein scharfes Abbild der Probe darstellt. Dieser Vorgang wird für mehrere Stützpunkte wiederholt, so dass beim Vorausscannen ein grobes Raster an Fokuswerten erzeugt wird. Diese Fokuswerte spannen die Fokuskarte respektive Referenzebene auf.
Insofern ist die Referenzebene üblicherweise als Fokuskarte ausgeführt und wird von mehreren Fokuspunkten vorgegeben. Wenn dann die Referenzebene bzw. Fokuskarte definiert ist, kann am Ort der Aufnahme des gewünschten Einzelbildes der notwendige Stützpunkt festgelegt werden, welcher den Bereich vorgibt, innerhalb dessen oberhalb und unterhalb der Referenzebene bzw. Fokuskarte die einzelnen Stapelbilder aufgenommen werden, um den Einzelbildstapel zu erzeugen. Der Stützpunkt gibt also den erwarteten Fokus am Ort der Einzelbildaufnahme wieder.
Denkbar ist es hier beispielsweise, den Stützpunkt mit einer bestimmten Ver- Stellung des Objektives oder der optischen Abtasteinheit bzw. Abbildungseinheit der Abtasteinrichtung zu identifizieren und dann beispielsweise in der einen Richtung alle 1 mm Verstellweg ein Stapelbild aufzunehmen und dann den gleichen Vorgang in der anderen Richtung zu wiederholen. Es versteht sich, dass hier sowohl mit äquidistanten Verstellwegen gearbeitet werden kann als auch solchen, bei denen der Verstellweg von Schritt zu Schritt eine Änderung erfährt. Beides lässt sich von außen vorgeben und den Gegebenheiten anpassen. Dabei liegt es selbstverständlich im Rahmen der Erfindung, alternativ oder zusätzlich zu der optischen Abtasteinheit die Probe bzw. einen sie aufnehmenden Probentisch zu bewegen, um den gewünschten Einzelbildstapel aufzunehmen.
In der Regel wird die Referenzebene bzw. Fokuskarte zeitlich vor der Abtastung der Einzelbilder ermittelt. Das ist erforderlich, um die aus der Referenzebene bzw. Fokuskarte abgeleiteten Stützpunkte festlegen zu können, anhand derer im nachfolgenden Schritt die Einzelbildstapel aufgenommen werden. Dabei versteht es sich, dass der jeweilige Einzelbildstapel mit einer vorgegebenen Anzahl an Stapelbildern senkrecht zur Probenebene oberhalb und unterhalb des vorgenannten Stützpunktes arbeitet. Üblicherweise wird man hier auf eine gleiche Anzahl oberhalb und unterhalb der Probenebene am Ort des Stützpunktes zurückgreifen, wenngleich von der Erfindung natürlich auch unterschiedliche Anzahlen abgedeckt werden.
Die Referenzebene bzw. Fokuskarte wird größtenteils erstellt, indem an ausgewählten Bildpunkten des Gesamtbildes bzw. Probenorten beispielsweise die Bildpunktintensität senkrecht zur Probenebene in Gestalt von Bildintensitätswerten ermittelt wird. Aus den Intensitätswerten bzw. Bildintensitätswerten über die solchermaßen erfasste senkrechte Komponente (senkrecht zur Probenebene bzw. Probentischebene respektive Basisebene) lässt sich nun beispielsweise der intensivste Punkt ermitteln und mit dem Fokuswert am untersuchten Ort gleichsetzen. Nach einer anderen Vorgehensweise können die zuvor erwähnten Intensitätswerte auch gewichtet werden, beispielsweise exponentiell oder linear und so auf einen errechneten Fokuswert führen. In jedem Fall steht am Ende der Prozedur zur Erstellung der Referenzebene bzw. Fokuskarte ein Fokuswert als Funktion einer damit verbundenen Verstellung der Abtasteinheit senkrecht zur Probenebene (meistens in z-Richtung) zur Verfügung. Zu diesem Fokuswert korrespondiert der zugehörige Probenort (also dessen Position in x- und y-Richtung). Der Fokuswert (bzw. der zugehörige x-, y- und z-Wert) wird nun in die zu erstellende Fokuskarte eingeschrieben. Wenn man diesen Vorgang wenigstens noch zweimal wiederholt, so liegen bereits drei Fokuswerte vor, die eine eindeutige Ebene aufspannen, nämlich die Referenzebene bzw. Fokuskarte. Kommen noch mehr Fokuswerte zur Auswertung, so können die jeweils am nächsten zueinander liegenden drei Fokuswerte ein Dreieck im Sinne einer Triangulation festlegen, wobei sich die Fokuskarte im Endeffekt aus einer Vielzahl solcher Dreiecke zusammensetzt. Anhand dieser Fokuskarte können nun die gewünschten Stützpunkte für den anschließenden Scanprozess bzw. die Aufnahme der Einzelbilder festgelegt werden. Das geschieht, indem beispielsweise drei Fokuswerte ein Dreieck festlegen und der Stützpunkt auf diesem Dreieck platziert wird. Dadurch ergibt sich ein erwarteter z-Wert bzw. Wert für die Verstellung der Abtasteinheit am Stützpunkt. Als Folge hiervon kann unmittelbar am Probenort (x-, y-Wert) im Anschluss der Einzelbildstapel erfasst und darauf folgend ausgewertet werden.
Um bei dem beschriebenen "Vorausscan" zur Erstellung der Referenzebene bzw. Fokuskarte (Rechen-)Zeit zu sparen, ist es möglich, die Abtasteinrichtung bzw. eine dort zumeist realisierte (CCD-)Kamera im so genannten Binningmodus zu betreiben. Hierbei werden mehrere Pixel zusammengefasst, beispielsweise in Gruppen von vier. Wie zuvor bereits beschrieben, werden diese vier (oder auch mehr) Pixelwerte dahingehend untersucht, dass am Ende ein Fokuswert vorliegt, welcher in diesem Fall quasi einen über die vier oder mehreren Pixel gemittelten Fokuswert für die Fokuskarte darstellt.
Im Anschluss an den beschriebenen "Vorausscan" werden die Einzelbildstapel lückenlos über die gesamte Fläche der Probe erfasst, wobei die Stützpunkte bzw. die Fokuskarte oder Referenzebene dazu genutzt wird, die Abtasteinrichtung an dem betreffenden Probenort entsprechend voreinzustellen. Anderenfalls ist es beispielsweise bei dicken Proben praktisch nicht möglich, mit dem anschließend aufgenommenen Einzelbildstapel und unter Berücksichtigung der begrenzten Tiefenschärfe hochauflösender Objektive überhaupt ein scharfes Stapelbild zu erhalten. Die beschriebene Fokuskarte bzw. Referenzebene stellt also sicher, dass bei dem anschließenden flächendeckenden Scan in jedem Einzelbildstapel wenigstens ein scharfes Stapelbild vorhanden ist, welches für die anschließenden Auswertungen eingesetzt wird.
Anders ausgedrückt, erlaubt die Fokuskarte eine quasi virtuelle Abbildung der Probe dergestalt, dass wie beim konventionellen Mikroskop in Z-Richtung fokussiert werden kann (Fokuswert), wobei gleichzeitig eine Navigation in X-/Y- Richtung möglich wird (Probenort). Der Eindruck des so genannten "manuellen Durchfokussierens" wie bei der konventionellen Mikroskopie bleibt also erhalten. Dabei werden durch die jeweils aufgenommenen Einzelbildstapel die Datenmengen erheblich gesteigert, weil die Einzelbildstapel jeweils abgespeichert werden müssen.
Sofern bei der Aufnahme der Einzelbildstapel mit jeweils gleicher oder ineinander umrechenbarer Einstellung der Abtasteinrichtung gearbeitet wird, lassen sich die korrespondierenden Stapelbilder jeweils aneinander fügen, wenn die Einzelbildstapel jeweils mit Überlapp zueinander aufgenommen worden sind. Wie der Überlapp der Stapelbilder der Einzelbildstapel jeweils für ihre gegenseitige Ausrichtung und ihre Verbindung genutzt wird, wird mit Bezug zu der anschließenden Figurenbeschreibung noch näher erläutert werden.
Anstelle die beschriebenen Einzelbildstapel sämtlich abzuspeichern, ist es aber auch möglich, nur die Referenzebene bzw. Fokuskarte und zusätzlich das
Texturbild abzuspeichern, welches die Intensitäten bzw. Kontrastwerte des jeweils scharfen Stapelbildes an der zugehörigen X-/Y-Position (Probenort) wiedergibt. Dadurch kann die Datenmenge enorm reduziert werden. Durch diese Vorgehensweise lässt sich das so genannte manuelle Durchfokussieren simulieren. Hierbei werden alle Pixel bzw. Bildpunkte des gleichen Z-Wertes (Fokuswertes) scharf eingestellt und alle davon abweichenden Z-Werte unscharf. Hier kann mit verschiedenen Unschärfewerten gearbeitet werden, wobei die Unscharfe in Abhängigkeit vom Abstand zur Fokusebene eingestellt wird, beispielsweise mit zunehmendem Abstand größer wird. Dadurch lassen sich praktisch softwaremäßig Tiefenschärfebereiche im Sinne einer virtuellen Mikroskopie vorgeben.
Dadurch, dass am Ende des beschriebenen Vorganges die Fokuskarte vorliegt und im Übrigen an jeder Stelle dieser Fokuskarte ein Einzelbildstapel und wenigstens ein scharfes Stapelbild aus diesem Einzelbildstapel, kann die Probe insgesamt als dreidimensionales Objekt dargestellt werden. Denkbar ist es hier, diese dreidimensionale Darstellung mit Hilfe einer 3D-BhIIe oder einem SD- Bildschirm wiederzugeben. D. h., ein Betrachter erhält nicht nur eine Probeninformation in einer Ebene, in dem jeweils die scharfen Stapelbilder bzw. Einzelbilder zu dem Gesamtbild zusammengesetzt worden sind, sondern darüber hinaus noch Informationen über die Topografie der Probe, also eine echte dreidimensionale Darstellung und einen entsprechenden Eindruck.
Der Einzelbildstapel kann (in der meist obligatorischen Steuereinheit) abge- speichert und das gewünschte Einzelbild in einem anschließenden Auswerte- prozess extrahiert werden. Selbstverständlich ist auch eine Echtzeitauswertung denkbar und wird umfasst. Außerdem ist die Erfindung grundsätzlich auf das gesamte elektromagnetische Spektrum anwendbar. So werden also auch Anwendungen im IR-, UV- und auch Röntgenbereich abgedeckt.
Im Ergebnis wird ein neuartiges Verfahren zur optischen Probenabtastung zur Verfügung gestellt, welches eine bisher nicht gekannte scharfe Abbildung der Probe praktisch über das gesamte aus den Einzelbildern bestehende Gesamtbild liefert. Dadurch ist die Probenuntersuchung gegenüber bisherigen Vor- gehensweisen deutlich verbessert und lassen sich ursprünglich unscharfe Be- reiche problemlos auswerten. Denn mit Hilfe der eingangs ermittelten Referenzebene bzw. Fokuskarte wird ein Abbild der Probe zur Verfügung gestellt, welches eine anschließend "scharfe" Aufnahme der Einzelbilder ermöglicht. Dabei werden die erzeugten Einzelbilder zu dem Gesamtbild mit Überlapp aufgenommen. Das Gleiche gilt alternativ oder zusätzlich auch für die einzelnen Stapelbilder des Einzelbildstapels. Dabei wird der Überlapp jeweils analysiert, um die Einzelbilder respektive die einzelnen miteinander verbundenen Stapelbilder gegenseitig ausrichten zu können. Hierin sind die wesentlichen Vorteile zu sehen.
Im Folgenden wird die Erfindung anhand einer lediglich ein Ausführungsbeispiel darstellenden Zeichnung näher erläutert; es zeigen:
Fig. 1 eine Vorrichtung zur optischen Abtastung einer Probe, die nach dem beschriebenen Verfahren arbeitet,
Fig. 2 eine schematische Darstellung der Fokusbestimmung,
Fig. 3 die im Rahmen der Fig. 2 ermittelten Foki,
Fig. 4 mögliche Gewichtungen der Foki nach Fig. 3,
Fig. 5 die dreidimensionale Einzelbildmatrix,
Fig. 6 die erzeugte Fokuskarte mit den Einzelbildstapeln und
Fig. 7 das aus den Einzelbildern zusammengesetzte Gesamtbild.
In den Figuren ist eine Vorrichtung zur optischen Abtastung einer Probe 1 dar- gestellt. Bei dieser Probe 1 handelt es sich nicht einschränkend um einen Schnitt durch ein biologisches Gewebe oder einen Werkstoff. Dabei wird der Schnitt so ausgeführt, dass die Probe 1 von einer Weißlichtquelle W durchleuchtet und ihr Bild per Transmissionsmessung aufgenommen werden kann. Zu diesem Zweck verfügt die Vorrichtung in ihrem grundsätzlichen Aufbau über eine Verstelleinheit 2, 3 sowie eine Abtasteinrichtung 4, 5.
Im Einzelnen setzt sich die Verstelleinheit 2, 3 im Rahmen des Ausführungsbeispiels aus zwei Spindeltrieben 2 als Antriebsvorrichtung 2 sowie einem Probentisch 3 zusammen. Unterhalb des Probentisches 3 ist die Weißlicht- quelle W angeordnet, so dass das Bild der Probe 1 von der darüber befindlichen Abtasteinrichtung 4, 5 aufgenommen werden kann. Die Abtasteinrichtung 4, 5 fasst mehrere Abbildungseinheiten bzw. Abtasteinheiten oder Mikroskopobjektive 4 und eine Aufzeichnungseinheit bzw. einen Flächensensor respektive einen CCD-Chip 5 zusammen.
Mittels der Verstelleinheit 2, 3 wird die Probe 1 gegenüber der Abtasteinrichtung 4, 5 bewegt. Auf diese Weise kann die in der Regel um ein Mehrfaches größer als der erfassbare Winkelbereich der Abtasteinrichtung 4, 5 dimensionierte Probe 1 gegenüber der Abtasteinrichtung 4, 5 bewegt werden. Jeder Bewe- gungsschritt ist meistens mit der Aufnahme eines Einzelbildes E verbunden, die zu einem Gesamtbild zusammengesetzt werden. Mit Hilfe der Verstelleinheit 2, 3 werden ausgewählte Probenorte in x-/y-Richtung angefahren.
Zu diesem Zweck wird die Verstelleinheit 2, 3 von einer Steueranlage bzw. Steuereinheit 6 beaufschlagt, welche die Verstelleinheit 2, 3 entsprechend ansteuert sowie die Einzelbilder E gegebenenfalls bearbeitet und Stoß an Stoß oder mit vorgegebenem Überlapp zu dem Gesamtbild zusammensetzt. Außerdem dient die Steuereinheit 6 dazu, eine nachfolgend noch näher erläuterte Referenzebene 10 zu erstellen und abzuspeichern. Im Rahmen des dargestellten Beispiels wird der Probentisch 3 lediglich in x- und y-Richtung bewegt, wenngleich die Verstelleinheit 2, 3 grundsätzlich auch zusätzlich in Höhen- oder z-Richtung verstellt werden könnte, was jedoch nicht dargestellt ist. - Ebenso kann natürlich anstelle der Transmission der Probe 1 auch deren Reflexionsverhalten mit einer vergleichbar aufgebauten Vorrichtung erfasst werden.
Die vorliegende Erfindung berücksichtigt nun den Umstand, dass die Probe 1 unter Umständen eine topologische Struktur und/oder Schiefstellungen gegenüber dem Flächensensor respektive CCD-Chip 5 aufweist. Ohne entsprechende Vorkehrungsmaßnahmen führt dies dazu, dass die erfassten Einzelbilder E und selbstverständlich auch das daraus im Sinne eines Rasters zusammengesetzte Gesamtbild unscharfe Bereiche bzw. Bereiche unterschiedlicher Schärfentiefe aufweist. Um diesem Phänomen zu begegnen, wird jedes Einzelbild E aus einem Einzelbildstapel 7 ermittelt bzw. extrahiert, wie er in der Fig. 6 in der Seitendarstellung gezeigt ist. Dieser Einzelbildstapel 7 setzt sich aus mehreren Stapelbildern 8 zusammen, im Ausführungsbeispiel aus zehn Stapelbildern 8, was jedoch nicht zwingend ist. Diese einzelnen Stapelbilder 8 werden im Wesentlichen senkrecht zur Probenebene P aufgenommen, welche folglich eine Basisebene P darstellt. Wenn mit einer Probenschiefstellung zu rechnen ist, erfolgt die Aufnahme der Stapelbilder 8 senkrecht zur vom Probentisch 3 aufgespannten Probentischebene bzw. der betreffenden Basisebene P, die deckungsgleich mit der x-/y-Ebene ist (vgl. Fig. 1 ).
Anhand der Fig. 1 erkennt man ferner, dass die Probe 1 von einem Objektträger 9 aufgenommen wird. Ist die Probe 1 plan und liegen der Objektträger 9 sowie die Probe 1 koplanar zueinander, so wird auch auf dem Flächensensor 5 im Idealfall ein überall scharfes Bild erzeugt. Das entspricht jedoch nicht der Realität, weil beispielsweise die Probe 1 gegenüber dem Objektträger 9 geneigt angeordnet sein kann, eine Wölbung aufweist etc.. Aus diesem Grund werden er- findungsgemäß die Einzelbildstapel 7 senkrecht zur Probentisch- bzw. respektive x-/y-Basisebene P ermittelt und aus den Stapelbildern 8 das jeweils gewünschte Einzelbild E extrahiert, wobei die Einzelbilder im Sinne eines Rasters zu dem Gesamtbild zusammengesetzt werden.
Um dies im Detail zu erreichen, wird zunächst einmal eine Referenzebene bzw. Fokuskarte 10 mit Hilfe der Steuereinheit 6 erstellt, die schematisch in den Fig. 5, 6 dargestellt ist. Im Idealfall handelt es sich bei der Referenzebene bzw. Fokuskarte 10 um ein Abbild der Probenoberfläche, so dass Welligkeiten, Schiefstellungen etc. der Probe 1 Eingang in die Referenzebene bzw. Fokus- karte 10 finden, die von wenigstens drei Fokuspunkten 11 aufgespannt wird. Die Vorgehensweise ist wie folgt. Zunächst einmal wird ein Bildpunkt bzw. Pixel 12 des Flächensensors 5 bei gleich bleibender Position in x- und y-Richtung, d. h. an einem bestimmten Probenort mit Hilfe verschiedener Einstellungen der Abbildungseinheit 4 aufgenommen. Anders ausgedrückt, wird das Probenbild an der betreffenden x-/y-Position respektive der zugehörige Pixel 12 aufgenommen, und zwar für verschiedene Stellungen der Abbildungseinheit 4 und folglich unterschiedliche Fokussierungen. Im einfachsten Fall wird hierzu die Abbildungseinheit 4 so verstellt, dass sich die Ebene ihrer Scharfeinstellung in z-Richtung, d. h. ihre Fokusebene, ändert. Das deuten die verschiedenen angedeuteten Ebenen in der Fig. 2 an, wobei der jeweils untersuchte Pixel 12 hervorgehoben ist.
Wenn man nun die "Tiefe" der jeweils scharf eingestellten Ebenen der Abbildungseinheit 4 in z-Richtung auf der x-Achse gegenüber der pixelausgangs- seitig ermittelten Intensität auf der y-Achse aufträgt, so ergibt sich ein Diagramm entsprechend der Fig. 3. Dort ist die Intensität des auf den Pixel 12 auftreffenden Lichtes in Abhängigkeit von der z-Richtung und folglich der Verstellung der Abbildungseinheit 4 aufgetragen. Anhand dieses Intensitätsverlaufes nach Fig. 3 lässt sich für den Pixel 12 eine optimale Position der Abbildungsein- heit 4 ermitteln, die im Beispielsfall zum z-Wert 3 korrespondiert, wenn man lediglich nach dem Intensitätsmaximum schaut.
Alternativ hierzu können aber auch die zur Festlegung der Fokuspunkte 11 er- fassten Intensitätswerte des Pixels 12 gewichtet werden, wie dies in Fig. 4 dargestellt ist. Eine Möglichkeit besteht darin, die Maxima der Intensitätswerte nach Fig. 3 mit Hilfe einer Ausgleichsfunktion zu verbinden und unter Berücksichtigung der solchermaßen erzeugten Flächen einen gleitenden Mittelwert hieraus als Fokuswert abzuleiten. Auch andere Wichtungsfunktionen, wie z. B. exponentiell und nicht linear wie dargestellt, sind denkbar. Dann werden die einzelnen Intensitätsmaxima zuvor beispielsweise durch Exponentionalfunktionen gewichtet. Jedenfalls kann für den ausgewählten Pixel 12 ein Fokuswert und folglich der Fokuspunkt 11 festgelegt werden. Dieser korrespondiert - wie dargelegt - zu einer bestimmten Verstellung der Abbildungseinheit 4, in z-Richtung, um am untersuchten x-/y-Ort ein scharfes Bild zu erzeugen.
So oder so führt die Auswertung der Intensitätsmaxima nach Fig. 3 oder Fig. 4 auf einen dem Pixel 12 zugehörigen Fokuswert 11 , wie er in der Fig. 5 eingetragen ist. Zu dem Fokuswert 11 gehört ein Probenort (x-/y-Wert), welcher die Lage des untersuchten Pixels 12 vorgibt. Damit wird der Fokuswert 11 letztlich durch einen dreidimensionalen Wert x, y und z abgebildet. Dabei kann die vorbeschriebene Prozedur für eine vorgegebene Anzahl an Pixeln 12 bzw. Bildpunkten wiederholt werden. Die Anzahl der Fokuswerte 11 hängt im Wesentlichen von zwei Vorgaben ab. Zunächst einmal spielt der Arbeitsbereich eine Rolle, d. h. der vom Bediener vorgegebene Bereich, innerhalb dessen die Probe 1 oder Teile hiervon abgetastet werden soll. Dabei versteht es sich, dass der Arbeitsbereich durch einen vorgeschalteten Scanvorgang so festgelegt bzw. eingegrenzt werden kann, dass hierbei zunächst der Probenumriss ermittelt wird, wobei der Arbeitsbereich das kleinstmögliche Rechteck darstellt, welches den Probenumriss im Ganzen umschließt. Jedenfalls gibt die Größe des Arbeitsbereiches die Anzahl der für die Erstellung der Fokuskarte 10 notwendigen Fokuswerte 11 vor. Von weiterer Bedeutung ist die erwartete Probentopologie. Bei einer welligen Probe 1 wird man an dieser Stelle mit einer höheren Anzahl an Fokuswerten 11 arbeiten, als wenn eine glatte Probe zu erwarten ist. Beides kann gegebenenfalls vom Anwender eingestellt und vorgegeben werden. Jedenfalls werden die Fokuswerte 11 ermittelt, indem die Probe 1 bei einem so genannten Vorausscan grob und nicht flächendeckend abgetastet wird.
Wenn nun die einzelnen Fokuswerte 11 mit der beschriebenen Vorgehensweise erfasst worden sind, wird die Referenzebene bzw. Fokuskarte 10 in der Steueranlage 6 erzeugt bzw. abgelegt. Zu diesem Zweck findet eine sogenannte Triangulation statt, indem drei nächstliegende Fokuswerte 11 mitein- ander zu einem Dreieck verbunden werden. Dieser Vorgang wird für sämtliche Fokuswerte 11 wiederholt, wie die Fig. 5, 6 andeuten. Dadurch ist gewährleistet, dass die in Fig. 5 unterhalb der Fokuskarte 10 angedeuteten Bereiche der Probe 1 auf jeden Fall eine scharfe Abbildung auf dem Flächensensor 5 erfahren.
Die Zwischenbereiche werden durch Extrapolation gefüllt, indem zwischen den jeweils vorhandenen Fokuswerten 11 die Fläche des hiervon aufgespannten Dreieckes und dessen Lage im Raum festgelegt wird. Auf diese Weise können Stützpunkte 13 auf der Fläche der solchermaßen erzeugten Dreiecke festgelegt werden. Bei den Stützpunkten 13 handelt es sich um extrapolierte dreidimensionale Punkte auf der Fokuskarte 10. D. h., zu den Stützpunkten 13 gehören ein Probenort (x-/y-Wert) und eine Scharfeinstellung für die Abtasteinrichtung 4, 5 bzw. die Abbildungseinheit 4 (z-Wert) am Probenort. Anhand der Lage des Stützpunktes 13 auf dem definierten Dreieck lässt sich zu dem Stützpunkt 13 folglich ein z-Wert festlegen, welcher die Verstellung bzw. "Scharfstellung" der Abbildungseinheit 4 am Stützpunkt 13 und den damit verbundenen erwarteten Fokuswert 1 1 dokumentiert.
Dieser Stützpunkt 13 ist nun Ausgangspunkt für den anschließenden Scan- prozess bzw. die flächendeckende Aufnahme der Einzelbilder und ihre Kombination zu dem Gesamtbild. Denn der Stützpunkt 13 gibt - wie beschrieben - den erwarteten Fokuswert am x-/y-Ort (Probenort) des Stützpunktes 13 vor, so dass sich die Abbildungseinheit 4 unter Zuhilfenahme der Steueranlage 6 beim Anfahren des Stützpunktes 13 in x-, y- und z-Richtung "scharf stellen lässt. Nun wird an diesem Stützpunkt 13 der jeweilige Einzelbildstapel 7 ermittelt. Zu diesem Zweck wird die Abbildungseinheit 4 in die eine und in die andere z-Richtung verfahren, so dass eine zuvor angegebene Anzahl an Stapelbildern 8 senkrecht zur Ebene der Probe 1 bzw. des Probentisches 3 (x-/y-Ebene) respektive der Basisebene P oberhalb und unterhalb des angegebenen Stützpunktes 13 aufgenommen wird. Selbstverständlich kann dabei die von der Steueranlage 6 vorgegebene Schrittweite s (vgl. Fig. 6) geändert werden, falls dies erforderlich ist.
Beispielsweise könnte man zur Einstellung der Schrittweite s die Tiefenschärfe des eingesetzten Objektives bzw. der Abbildungseinheit 4 nutzen, welche sich aus der numerischen Apertur und der eingesetzten Wellenlänge berechnen lässt. Jedenfalls werden zu jedem angefahrenen x-/y-Wert (Probenort) bzw.
Stützpunkt 13 mehrere Stapelbilder 8 in Gestalt des Einzelbildstapels 7 aufgenommen, wobei der Startpunkt für diesen jeweiligen Einzelbildstapel 7 der aus der Fokuskarte 10 abgeleitete Stützpunkt 13 ist. Auf diese Weise erfährt der Einzelbildstapel 7 eine räumliche Einordnung im Sinne der in Fig. 6 ansatzweise gezeigten dreidimensionalen Einzelbildmatrix.
Die jeweiligen Stapelbilder 8 lassen sich nun dahingehend auswerten, dass das gewünschte tiefenscharfe Einzelbild in dem Sinne Pixel für Pixel bestimmt wird, dass wiederum jeder einzelne Pixel 12 des Stapelbildes 8 im Sinne seines Intensitätsmaximums eine Auswertung erfährt.
Allgemein wird jedoch eine Kontrastmessung bei den einzelnen Stapelbildern 8 vorgenommen. Dabei werden die Pixel bzw. Bildpunkte der einzelnen Stapelbilder 7 dahingehend untersucht, wie stark die Hell-Dunkel-Unterschiede im Nachbarbereich sind. Denn unscharfe Bilder verfügen in der Regel über einen geringen Kontrast, also geringe Hell-Dunkel-Unterschiede in eng benachbarten Bildzonen.
Wenn man nun die Intensitäten benachbarter Pixel der Stapelbilder 8 auswertet, indem die Intensität des jeweiligen Pixels bzw. die Intensitäten jeweils benachbarter Pixel fouriertransformiert werden, so korrespondieren große Hell- Dunkel-Unterschiede zu Frequenzspektren, die insbesondere hohe Frequenzen beinhalten. Denn benachbarte Pixel mit großen Hell-Dunkel-Unterschieden weisen mehr oder minder steile Übergangsflanken in ihrer Intensität bzw. Stufenübergänge auf, die im Fourierraum zu hohen Frequenzen korrespondieren. Diese hohen Frequenzen lassen sich herausfiltern und sind ein Maß für eine kontrastreiche Wiedergabe.
Jedes einzelne Stapelbild 8 lässt sich nun in diesem Sinne dahingehend auswerten, wie hoch seine Hochfrequenzanteile bei der Fouriertransformation der von den Pixeln aufgenommenen Intensitäten ist. Je höher die Frequenzanteile bei dem Stapelbild 8, desto mehr Kontraste liegen vor und um so "schärfer" ist das Stapelbild 8 gestaltet. Aufgrund dieses Kriteriums kann dann das gewünschte ("schärfste") Stapelbild 8 aus dem Einzelbildstapel 7 extrahiert werden.
Grundsätzlich eröffnet die Erfindung aber auch die Möglichkeit, das Einzelbild E des Einzelbildstapels 7 sektionsweise aus den jeweils kontrastreichsten Be- reichen der Stapelbilder 8 zusammenzusetzen und nicht auf ein einziges Stapelbild 8 zurückzugreifen, sondern vielmehr das Einzelbild E aus den kontrastreichsten Teilbereichen der jeweiligen Stapelbilder 8 des Einzelbildstapels 7 zusammenzusetzen.
Nicht dargestellt ist die Möglichkeit, die Fokuskarte 10 mit Hilfe einer externen Einrichtung zu erstellen. Denkbar ist es hier, neben der Abtasteinrichtung 4, 5 eine externe zweite optische Abtasteinrichtung zu realisieren. Diese kann beispielsweise auf einen Laserstrahl zurückgreifen, welcher auf die Probe 1 ge- richtet wird und dessen Fokus und folglich Bildgröße - unabhängig von der Abtasteinrichtung 4, 5 - durch entsprechende parallele Verstellung der zweiten Abtasteinrichtung ermittelt wird. - Schließlich sei darauf hingewiesen, dass der beschriebene Prozess der Einzelbilderzeugung selbstverständlich dazu genutzt werden kann, weitere Fokuswerte 11 der Fokuskarte 10 zu erzeugen und so die Fokuskarte 10 mit einem immer dichteren Netzwerk an Fokuswerten 11 zu definieren.
Insgesamt versteht es sich, dass die Erstellung der Fokuskarte 10 praktisch zeitgleich mit dem eigentlichen Scanvorgang zur Erfassung der Einzelbildstapel 7 erfolgen kann. D. h., der beschriebene Vorausscan kann entfallen. Ebenso lassen sich die Stapelbilder 8 in Echtzeit zur Bestimmung des Einzelbildes am untersuchten Ort auswerten, so dass der Abtastvorgang letztlich "nur" durch die Dauer des mechanischen Verfahrens der Verstelleinheit 2, 3 bestimmt wird.
Die Stapelbilder 8 der Einzelstapel 7 respektive die gewünschten Einzelbilder E werden regelmäßig mit Überlapp aufgenommen und dann zu dem Gesamtbild zusammengesetzt, wie dies in der Fig. 7 schematisch dargestellt ist. Hier ist jeweils der Überlapp 14i2, 14-ι3 aneinander angrenzender Einzelbilder E-i, E2 und E3 dargestellt. Tatsächlich ist der Überlapp zwischen den Einzelbildern Ei und E3 mit 14-i3 gekennzeichnet, während der Überlapp zwischen den Einzelbildern Ei und E2 die Bezeichnung 14i2 trägt.
Um nun die Einzelbilder E1, E2 und E3 zu dem gewünschten Gesamtbild verzerrungsfrei zusammensetzen zu können, ist es erforderlich, den jeweiligen Überlapp, beispielsweise 14-ι2 zu analysieren. Dazu wird auf die bereits angesprochene Fig. 7 verwiesen. Die jeweiligen Überlappe 14-ι2 und 14-|3 betragen im Beispielfall jeweils 10 % der Fläche.
Indem nun der jeweilige Überlapp 1412 und 14-ι3 analysiert wird, können beispielsweise die Bilder E2 und E3 gegenüber dem Einzelbild E1 in dem gemeinsamen Koordinatensystem des Gesamtbildes ausgerichtet werden. Dazu wird der jeweils (streifenförmige) Überlapp 1412 bzw. 1413 im Beispielfall in jeweilige Quadrate 15 unterteilt. Selbstverständlich kann der Überlapp 14 bzw. 14-|2 oder 14i3 auch in rechteckige oder andere Teilbereiche 15 eingeteilt werden. Jedenfalls werden diese Teilbereiche 15 untersucht, indem von jedem zugehörigen Einzelbild E, also im Beispielfall von den Einzelbildern E-i, E2 und E3, im Bereich des Teilbereiches 15 eine Fouriertransformation der zugehörigen Bildwerte bzw. Pixelwerte vorgenommen wird.
Tatsächlich korrespondiert ein solcher Teilbereich 15 beispielsweise zu einem Quadrat von 100 x 100 Pixeln. Wenn man nun die dazugehörigen Bildwerte jedes Einzelbildes E in der Steueranlage 6 im betreffenden Teilbereich 15 fouriertransformiert, so lassen sich Rückschlüsse über die jeweilige Textur, also die lokale Verteilung und Variation der Grauwerte im zugehörigen Bildbereich, erhalten. In diesem Zusammenhang macht sich die Erfindung zunutze, dass eine beispielsweise regelmäßige Textur zu einer periodischen (zweidimensionalen) Grauwertverteilung korrespondiert, die mit Hilfe von Sinus- und Kosinus-Funktionen angenähert werden kann. Aus diesen Funktionen lassen sich (zweidimensionale) Fourierkoeffizienten ableiten, die ein Fourierbild erzeugen. Beispielsweise korrespondiert ein gleichförmiges Muster aus senkrechten Streifen zu waagerecht angeordneten Punkten im Fourierbild.
Nun wird dieses Fourierbild für jeden Teilbereich 15, einerseits im Beispielfall des Überlapps 14-ι2 vom Einzelbild E1 und andererseits vom Einzelbild E2 erzeugt. Dabei kommt es darauf an, die beiden Fourierbilder der Einzelbilder E1 und E2 - im Teilbereich 15 - miteinander zu vergleichen. Als Resultat dieses
Vergleiches muss beispielsweise das Einzelbild E2 gegenüber dem Einzelbild
Ei (in der Steueranlage 6) verschoben oder gedreht werden, um die Strukturen gegeneinander auszurichten bzw. eine maximale Übereinstimmung der jeweiligen Texturen im Teilbereich 15 zu erreichen. Dieser Einzelbildvergleich findet nun im Sinne einer Kreuzkorrelation statt.
Bei dieser Kreuzkorrelation werden die zuvor ermittelten jeweiligen Fourierbilder bzw. deren Fourierkoordinaten bzw. Fourierkoeffizienten je Pixel einer mathematischen Operation unterzogen, die auf ein Ergebnis führt, welches um so größer ist, je größer die Übereinstimmung der jeweiligen Fourierkoordinaten ist. Die Kreuzkorrelation hat Ähnlichkeit mit der Faltung. Einzelheiten zur
Fouriertransformation und Faltung sowie Kreuzkorrelation finden sich in dem Buch "Bildbearbeitung für Einsteiger" von B. Neumann, Springer Verlag, 2004, auf welches als Referenz ausdrücklich verwiesen sei.
Indem nun die Teilbereiche 15 des jeweiligen Überlapps 1412 und 14i3 hinsichtlich der Übereinstimmung ihrer jeweiligen Texturen untersucht und die zugehörigen Einzelbilder E2 und E3 ggf. eine Verschiebung und Drehung gegenüber dem Einzelbild E1 erfahren, wird ein Gesamtbild aus den Einzelbildern E1, E2, E3 usw. erzeugt, das quasi auf elektronischem Wege etwaige mechanische Ungenauigkeiten bei der Aufnahme der Einzelbilder E ausgleicht. Grundsätzlich kann die beschriebene Kreuzkorrelation beim Einzelbildvergleich auch in der Weise durchgeführt werden, dass zunächst Einzelbilder E mit einer bestimmten (groben) Auflösung aufgenommen und gegeneinander in der beschriebenen Art und Weise ausgerichtet werden. Dann werden die betreffenden Einzelbilder E noch einmal mit erhöhter Auflösung untersucht und wiederum der beschriebenen Kreuzkorrelation unterzogen.

Claims

Patentansprüche:
1. Verfahren zur optischen Abtastung einer Probe (1 ) mit Hilfe einer Verstelleinheit (2, 3) und einer Abtasteinrichtung (4, 5), wonach Einzelbilder (E) aufgenommen und im Sinne eines Rasters zu einem Gesamtbild zusammengesetzt werden, d a d u r c h g e k e n n z e i c h n e t, dass jedes Einzelbild (E) aus einem Einzelbildstapel (7) ermittelt wird, wobei sich der Einzelbildstapel (7) aus einzeln aufgenommenen Stapelbildern (8) zusammensetzt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Einzelbild (E) einem der Stapelbilder (8) entspricht oder aus mehreren der Stapelbilder (8) zusammengesetzt ist.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Einzelbildstapel (7) räumlich mit Hilfe einer Referenzebene (10) in einer vorzugsweise dreidimensionalen Einzelbildmatrix mit Hilfe eines auf der Referenzebene (10) befindlichen Stützpunktes (13) eingeordnet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein Arbeitsbereich festgelegt wird, innerhalb dessen das Gesamtbild aufgenommen wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Referenzebene (10) als Fokuskarte (10) ausgebildet ist und von wenigstens drei Fokuspunkten (11 ) aufgespannt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Referenzebene (10) zeitlich vor der Abtastung der Einzelbilder (E) ermittelt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der jeweilige Einzelbildstapel (7) mit vorgegebener Anzahl an Stapelbildern (8) senkrecht zur Probenebene oberhalb und unterhalb des zugehörigen Stütz- punktes (13) aufgenommen wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Referenzebene (10) erstellt wird, indem anhand von ausgewählten Bildpunkten des Gesamtbildes beispielsweise die Bildpunktintensität senkrecht zur Probenebene in Gestalt von Bildintensitätswerten ermittelt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Bildintensitätswerte gewichtet werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass wenigstens ein Bildintensitätswert als Fokuswert je ausgewähltem Bildpunkt extrahiert wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die erzeugten Einzelbilder (E) und/oder Stapelbilder (8) mit Überlapp (14-12, 14-13) aufgenommen werden, wobei der Überlapp (1412, 1413) zur gegenseitigen Ausrichtung analysiert wird.
EP05806370A 2005-05-25 2005-11-10 Verfahren zur optischen abtastung einer probe Ceased EP1886176A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200510024066 DE102005024066A1 (de) 2005-05-25 2005-05-25 Verfahren und Vorrichtung zur optischen Abtastung einer Probe
PCT/EP2005/012014 WO2006125466A1 (de) 2005-05-25 2005-11-10 Verfahren zur optischen abtastung einer probe

Publications (1)

Publication Number Publication Date
EP1886176A1 true EP1886176A1 (de) 2008-02-13

Family

ID=35789236

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05806370A Ceased EP1886176A1 (de) 2005-05-25 2005-11-10 Verfahren zur optischen abtastung einer probe

Country Status (3)

Country Link
EP (1) EP1886176A1 (de)
DE (1) DE102005024066A1 (de)
WO (1) WO2006125466A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009054704A1 (de) * 2009-12-15 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Mikroskop zur Aufnahme eines Mosaikbildes sowie Aufnahmeverfahren für ein solches Mikroskop
DE102011084347B4 (de) * 2011-10-12 2022-07-21 Carl Zeiss Microscopy Gmbh Mikroskop und Mikroskopierverfahren zur Durchführung eines Multipositionsexperimentes
DE102011116734B4 (de) 2011-10-19 2013-06-06 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Ermitteln eines fokussierten Bildabstands eines optischen Sensors eines Koordinatenmessgeräts
DE102012021726A1 (de) * 2012-11-06 2014-05-08 Celltool Gmbh Mikroskopsystem und Verfahren zur Datenerfassung
DE102014107044B4 (de) 2014-05-19 2016-01-14 Carl Zeiss Industrielle Messtechnik Gmbh Verbesserte Autofokusverfahren für ein Koordinatenmessgerät sowie Koordinatenmessgerät
DE102015117756A1 (de) 2015-10-19 2017-04-20 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Ermitteln eines fokussierten Bildabstands eines optischen Sensors eines Koordinatenmessgeräts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0743784A2 (de) * 1995-05-17 1996-11-20 Sharp Kabushiki Kaisha Standbildkamera
US20040114218A1 (en) * 2001-04-12 2004-06-17 Adam Karlsson Method in microscopy and a microscope, where subimages are recorded and puzzled in the same coordinate system to enable a precise positioning of the microscope stage

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4760385A (en) 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
DE10023005A1 (de) 2000-05-11 2001-11-22 Micromotion Mobile Datensystem Verfahren zur Erzeugung einer digitalen Resultataufzeichnung eines Bildes eines räumlichen Objektes
DE10149357A1 (de) 2000-10-13 2002-04-18 Leica Microsystems Imaging Sol Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
WO2003014795A1 (en) * 2001-08-06 2003-02-20 Bioview Ltd. Image focusing in fluorescent imaging
GB2385481B (en) 2002-02-13 2004-01-07 Fairfield Imaging Ltd Microscopy imaging system and method
WO2005010495A2 (en) 2003-07-22 2005-02-03 Trestle Corporation System and method for generating digital images of a microscope slide

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0743784A2 (de) * 1995-05-17 1996-11-20 Sharp Kabushiki Kaisha Standbildkamera
US20040114218A1 (en) * 2001-04-12 2004-06-17 Adam Karlsson Method in microscopy and a microscope, where subimages are recorded and puzzled in the same coordinate system to enable a precise positioning of the microscope stage

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GOTTESFELD BROWN L.: "A SURVEY OF IMAGE REGISTRATION TECHNIQUES", ACM COMPUTING SURVEYS, ACM, NEW YORK, NY, US, US, vol. 24, no. 4, 1 December 1992 (1992-12-01), pages 325 - 376, XP002942558, ISSN: 0360-0300 *
See also references of WO2006125466A1 *

Also Published As

Publication number Publication date
DE102005024066A1 (de) 2006-12-07
WO2006125466A1 (de) 2006-11-30

Similar Documents

Publication Publication Date Title
DE102011114500B4 (de) Mikroskopvorrichtung
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
EP1436658B1 (de) Verfahren und vorrichtung zur optischen untersuchung eines objektes
DE102011084102B4 (de) Härteprüfgerät
DE102005024063B3 (de) Verfahren und Vorrichtung zur optischen Abtastung einer Probe
EP2437027A2 (de) Vorrichtung und Verfahren zur dreidimensionalen optischen Abtastung einer Probe
DE102011084095A1 (de) Hardness Tester
EP2483732A1 (de) Verfahren zur erzeugung eines mikroskopbildes und mikroskop
EP1886176A1 (de) Verfahren zur optischen abtastung einer probe
EP3123228A1 (de) Konfokales mikroskop mit aperturkorrelation
EP3692409B1 (de) Konfokalmikroskop mit hoher auflösung
EP3712670A1 (de) Verfahren zur hochauflösenden scanning-mikroskopie
DE102007047468A1 (de) Verfahren und Anordnung zur optischen Erfassung einer beleuchteten Probe
EP3628995A1 (de) Kalibriervorlage und kalibrierverfahren zum geometrischen kalibrieren einer vielzahl von kameras eines kamera-arrays
DE102005032354B4 (de) Verfahren und Vorrichtung zur Bildaufnahme mit erweitertem Tiefenschärfebereich
WO2012156150A1 (de) Verfahren und vorrichtung zum festlegen eines z-bereiches in einer probe, in dem ein z-stapel der probe mittels eines mikroskops aufzunehmen ist
EP1164405A2 (de) Verfahren und Vorrichtung zum generieren eines dreidimensionalen Objekts
DE112014006356B4 (de) Verfahren zur Verbesserung der Bildqualität eines Ladungsträgerteilchen-Rastermikroskops und Ladungsträgerteilchen-Rastermikroskop
DE10359780B4 (de) Verfahren zur optischen Bilderfassung
DE10241290A1 (de) Verfahren und Vorrichtung zur optischen Untersuchung eines Objektes
WO2019149666A1 (de) Verfahren zum abbilden einer probe mittels eines lichtblattmikroskops
EP4227636B1 (de) Bestimmung von tiefenwerten eines oberflächenbereichs eines werkstücks
DE102005036421B4 (de) Verfahren zum automatischen Bestimmen der exakten Position von Passermarken
EP1702224B1 (de) Verfahren und vorrichtung zur justierung der beiden objektive in einer 4pi-anordnung
DE4204268A1 (de) Verfahren und vorrichtung zur mikroskopischen betrachtung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071220

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20090709

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20110129