EP1886176A1 - Method for optical scanning of a sample - Google Patents
Method for optical scanning of a sampleInfo
- Publication number
- EP1886176A1 EP1886176A1 EP05806370A EP05806370A EP1886176A1 EP 1886176 A1 EP1886176 A1 EP 1886176A1 EP 05806370 A EP05806370 A EP 05806370A EP 05806370 A EP05806370 A EP 05806370A EP 1886176 A1 EP1886176 A1 EP 1886176A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- sample
- stack
- images
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Definitions
- the present invention relates to a method for optically scanning a sample by means of an adjustment unit and a scanning device, after which individual images are recorded and combined in the sense of a grid to form an overall image.
- the sample or an object to be examined is not limited to transparent biological tissue sections or material sections. These are transilluminated with a light source, wherein the image generated in the course of these transmission measurements is taken by the scanning device and stored here or optionally in a connected control system.
- a light source wherein the image generated in the course of these transmission measurements is taken by the scanning device and stored here or optionally in a connected control system.
- transmission measurements and reflection measurements can be made.
- the measurements are of course not limited to the visible wavelength range. As a rule, however, work is carried out in the visible wave range, with transmission measurements of the sample being evaluated.
- the invention is based on the technical problem of further developing such a method so that a perfect image of the sample is generated taking into account a consistently perfect focus.
- each frame is determined from a single image stack, wherein the frame stack composed of substantially perpendicular to the sample plane or sample individually recorded stack images.
- the individual image stack or the stack images can also be detected perpendicular to a base plane which, for example, coincides with or clamps a sample table receiving the sample.
- a single frame of the sample at the scanned location is explicitly captured and stored, but rather a frame stack which is composed of two, three, five or ten or even more individual stack images. From these stack images, the desired frame can now be extracted by identifying one of the stack images with the desired frame. Alternatively or additionally, it is also possible to assemble the individual image from a plurality of the stack images according to predetermined criteria.
- the recording of the individual image stack takes place perpendicular to the sample or sample plane or the base plane.
- the individual image stack can be arranged spatially with the aid of a reference plane independent of the base plane in a preferably three-dimensional image matrix.
- the reference plane indicates the respective focus values or defines one (or more) focal planes. If one considers that the scanning device has an optical imaging unit in the form of mostly one or more (high-resolution) objectives, then with the aid of this reference plane the sharpness to be expected at the selected sample location can be determined. On the basis of the thus determined support point on the reference plane, the single image stack is now detected.
- the reference plane is usually designed as a focus map and is predetermined by several focus points. If then the reference plane or focus map is defined, the necessary support point can be determined at the location of the recording of the desired frame, which specifies the range within which the individual stack images are recorded above and below the reference plane or focus map to produce the frame stack , The vertex thus reflects the expected focus at the location of the still image.
- the reference plane or focus map is determined in time before the scanning of the individual images. This is necessary in order to be able to determine the interpolation points derived from the reference plane or focus map, by means of which the individual image stacks are recorded in the following step. It is understood that the respective individual image stack works with a predetermined number of stack images perpendicular to the sample plane above and below the aforementioned support point. Usually, one will resort here to an equal number above and below the sample plane at the location of the base, although of course also different numbers are covered by the invention.
- the reference plane or focus map is for the most part created by determining, for example, the pixel intensity perpendicular to the sample plane in the form of image intensity values at selected pixels of the overall image or sample locations. From the intensity values or image intensity values via the vertical component thus detected (perpendicular to the sample plane or sample table plane or base plane, for example), the most intense point can now be determined and equated with the focus value at the location being examined. According to another approach, the aforementioned intensity values may also be weighted, for example, exponentially or linearly, thus leading to a calculated focus value.
- a focus value is available as a function of an associated adjustment of the scanning unit perpendicular to the sample plane (usually in the z-direction).
- the corresponding sample location ie its position in the x and y direction
- the focus value (or the corresponding x, y and z value) is now written into the focus map to be created. If you repeat this process at least twice, there are already three focus values that span a unique plane, namely the reference plane or focus map.
- the respectively closest three focus values can define a triangle in the sense of a triangulation, whereby the focus map is in the end composed of a multiplicity of such triangles.
- the desired interpolation points for the subsequent scanning process or the recording of the individual images can now be determined. This is done, for example, by setting three focus values to a triangle and placing the vertex on this triangle. This results in an expected z value or value for the adjustment of the scanning unit at the interpolation point.
- the individual image stacks can be detected immediately afterwards at the sample location (x, y value) and subsequently evaluated.
- the individual image stacks are detected completely over the entire surface of the sample, wherein the support points or the focus map or reference plane is used to preset the scanning device at the respective sample location accordingly. Otherwise, it is practically not possible with thick samples, for example, with the subsequently recorded single image stack and taking into account the limited depth of field of high-resolution lenses to get a sharp pile picture at all.
- the described focus map or reference plane therefore ensures that at least one sharp stack image is present in the subsequent area-wide scan in each individual image stack, which is used for the subsequent evaluations.
- the focus map allows a virtually virtual image of the sample such that it can be focused in the Z-direction (focus value) as in the conventional microscope, whereby at the same time navigation in the X- / Y-direction becomes possible (sample location).
- the impression of the so-called "manual fürfokussierens" as in conventional microscopy remains so.
- the amounts of data are considerably increased by each recorded individual image stack, because the individual image stacks must be stored in each case.
- the corresponding stack images can be joined to each other when the individual image stacks have been recorded with overlap relative to each other. How the overlap of the stack images of the individual image stacks is used in each case for their mutual alignment and their connection will be explained in more detail with reference to the subsequent description of the figures.
- the sample can be displayed as a total three-dimensional object. It is conceivable here to reproduce this three-dimensional representation with the aid of a 3D bhIIe or an SD screen. That is, a viewer receives not only a sample information in a plane in which the sharp stack images or frames have been assembled to the overall image, but also more information about the topography of the sample, ie a true three-dimensional representation and a corresponding impression.
- the single-image stack can be stored (in the mostly compulsory control unit) and the desired single image can be extracted in a subsequent evaluation process.
- a real-time evaluation is conceivable and is included.
- the invention is basically applicable to the entire electromagnetic spectrum. So also applications in the IR, UV and X-ray range are covered.
- a novel optical sample scanning method which provides a heretofore unknown sharp image of the sample practically over the entire frame of the individual images.
- the sample examination is significantly improved compared to previous procedures and can be originally blurred. easy to evaluate rich.
- an image of the sample is made available, which then enables a "sharp" recording of the individual images.
- the generated individual images are added to the overall image with overlap.
- the overlap is analyzed in each case in order to be able to align the individual images or the individual interconnected stack images with one another.
- FIG. 1 shows a device for optical scanning of a sample, which operates according to the described method
- Fig. 7 the composite of the individual images overall picture.
- a device for optical scanning of a sample 1 is shown.
- This sample 1 is not limited to one Section through a biological tissue or a material.
- the cut is carried out so that the sample 1 is transilluminated by a white light source W and its image can be recorded by transmission measurement.
- the device has in its basic structure an adjusting unit 2, 3 and a scanning device 4, 5.
- the adjusting unit 2, 3 in the embodiment of two spindle drives 2 as a drive device 2 and a sample table 3 is composed.
- the white light source W is arranged, so that the image of the sample 1 can be picked up by the scanning device 4, 5 located above it.
- the scanning device 4, 5 combines a plurality of imaging units or scanning units or microscope objectives 4 and a recording unit or a surface sensor or a CCD chip 5 together.
- the sample 1 with respect to the scanning device 4, 5 is moved.
- the sample 1 which is generally larger by a multiple than the detectable angle range of the scanning device 4, 5, can be moved relative to the scanning device 4, 5.
- Each movement step is usually associated with the recording of a single image E, which are combined to form an overall image.
- 3 selected sample locations are approached in the x / y direction.
- the adjusting unit 2, 3 acted upon by a control system or control unit 6, which controls the adjustment 2, 3 accordingly and the individual images E edited if necessary and composed butt to joint or with predetermined overlap to the overall picture.
- the control unit 6 serves to create and store a reference plane 10 which will be explained in more detail below.
- the sample table 3 is only in the x and y directions moved, although the adjustment 2, 3 in principle could also be adjusted in addition in height or z-direction, which is not shown.
- the transmission of the sample 1 and their reflection behavior can be detected with a comparably constructed device.
- each frame E is determined or extracted from a frame stack 7, as shown in the side view in FIG.
- This frame stack 7 is composed of several stack images 8, in the embodiment of ten stack images 8, which is not mandatory. These individual stack images 8 are taken up substantially perpendicular to the sample plane P, which consequently represents a base plane P.
- the stack images 8 are recorded perpendicular to the sample table plane spanned by the sample table 3 or the relevant base plane P, which is congruent with the x- / y-plane (see Fig. 1).
- the sample 1 is received by a slide 9. If the sample 1 is plane and the slide 9 and the sample 1 are coplanar with each other, an image that is always sharp is also produced on the surface sensor 5 in the ideal case. However, this does not correspond to reality because, for example, the sample 1 can be arranged inclined relative to the slide 9, has a curvature etc. For this reason, the individual image stacks 7 are arranged perpendicular to the sample stage or respectively determines x- / y-base plane P and extracted from the stack images 8 respectively desired single image E, wherein the individual images are assembled in the sense of a grid to the overall image.
- a reference plane or focus map 10 is created with the aid of the control unit 6, which is shown schematically in FIGS. 5, 6.
- the reference plane or focus map 10 is an image of the sample surface, so that ripples, inclinations, etc. of the sample 1 find an entry into the reference plane or focus map 10, which is spanned by at least three focus points 11.
- the procedure is as follows. First, a pixel or pixel 12 of the surface sensor 5 is at the same position in the x and y direction, d. H. recorded at a specific sample location using various settings of the imaging unit 4. In other words, the sample image is recorded at the respective x / y position and the associated pixel 12, respectively, for different positions of the imaging unit 4 and consequently different foci. In the simplest case, the imaging unit 4 is adjusted for this purpose so that the plane of their focus in the z-direction, d. H. their focal plane changes. This is indicated by the different indicated planes in FIG. 2, the pixel 12 being examined being highlighted.
- the intensity values of the pixel 12 detected to determine the focus points 11 may also be weighted, as shown in FIG. 4.
- One possibility is to connect the maxima of the intensity values according to FIG. 3 with the aid of a compensation function and, taking into account the areas thus generated, derive a moving average value thereof as the focus value.
- Other weighting functions such. B. exponential and not linear as shown, are conceivable.
- the individual intensity maxima are weighted beforehand, for example, by exponential functions.
- a focus value and consequently the focal point 11 can be defined for the selected pixel 12. This corresponds - as explained - to a specific adjustment of the imaging unit 4, in the z direction, in order to produce a sharp image at the examined x / y location.
- the focus value 11 includes a sample location (x / y value) which specifies the position of the examined pixel 12.
- the focus value 11 is ultimately represented by a three-dimensional value x, y and z.
- the above-described procedure can be repeated for a given number of pixels 12 or pixels.
- the number of focus values 11 essentially depends on two specifications. First of all, the working area plays a role, ie the area specified by the operator within which the sample 1 or parts thereof are to be scanned.
- the working area can be determined or limited by an upstream scanning so that the sample outline is first determined, the work area is the smallest possible rectangle, which encloses the sample outline as a whole.
- the size of the work area specifies the number of focus values 11 necessary for the creation of the focus map 10.
- the expected sample topology With a wavy sample 1, one will work at this point with a higher number of focus values 11 than when a smooth sample is to be expected. Both can optionally be set and specified by the user.
- the focus values 11 are determined by sampling the sample 1 coarse and not nationwide in a so-called advance scan.
- the reference plane or focus map 10 is generated or stored in the control system 6. For this purpose, a so-called triangulation takes place in which three closest focus values 11 are connected to one another in a triangle. This process is repeated for all focus values 11, as indicated in FIGS. 5, 6. This ensures that the regions of the sample 1 indicated in FIG. 5 below the focus map 10 in any case undergo a sharp image on the area sensor 5.
- the intermediate areas are filled by extrapolation, in that the area of the triangle formed therefrom and its position in space is determined between the respective existing focus values 11.
- support points 13 can be set on the surface of the triangles thus generated.
- the interpolation points 13 are extrapolated three-dimensional points on the focus map 10. That is, the interpolation points 13 include a sample location (x / y value) and an in-focus for the scanning device 4, 5 or the imaging unit 4 (z value) at the sample site.
- the position of the support point 13 on the defined triangle can therefore be set to the support point 13, a z-value, which the adjustment or "Focusing" the imaging unit 4 at base 13 and the associated expected focus value 1 1 documented.
- This interpolation point 13 is now the starting point for the subsequent scanning process or the area-wide recording of the individual images and their combination with the overall image. Because the base 13 is - as described - the expected focus value at the x- / y-location (sample location) of the base 13, so that the imaging unit 4 with the aid of the control system 6 when approaching the base 13 in x-, y- and The respective individual image stack 7 is then determined at this interpolation point 13. For this purpose, the imaging unit 4 is moved in one and in the other z-direction so that a previously stated number of stack images 8 perpendicular to Level of the sample 1 or of the sample stage 3 (x- / y-plane) respectively of the base plane P is received above and below the specified support point 13. Of course, the step size s (see FIG if necessary.
- Base 13 a plurality of stack images 8 taken in the form of the image frame stack 7, wherein the starting point for this particular frame stack 7 of the focus map 10 derived base 13 is.
- the individual image stack 7 undergoes a spatial classification in the sense of the three-dimensional individual image matrix which is shown as a partial approach in FIG. 6.
- the respective stack images 8 can now be evaluated in such a way that the desired depth-sharp single image is determined pixel by pixel in the sense that that in turn each individual pixel 12 of the stack image 8 undergoes an evaluation in the sense of its intensity maximum.
- a contrast measurement is made in the individual stack images 8.
- the pixels or pixels of the individual stack images 7 are examined in terms of how strong the light-dark differences are in the neighboring area. Because blurred images usually have a low contrast, ie low light-dark differences in closely adjacent image zones.
- large light-dark differences correspond to frequency spectra, which in particular include high frequencies.
- Adjacent pixels with large light-dark differences have more or less steep transition edges in their intensity or step transitions, which correspond to high frequencies in the Fourier space. These high frequencies can be filtered out and are a measure for a high-contrast reproduction.
- Each individual stack image 8 can now be evaluated in terms of how high its high-frequency components are in the Fourier transformation of the intensities recorded by the pixels. The higher the frequency components in the stack image 8, the more contrasts are present and the “sharper" the stacking image 8 is designed. On the basis of this criterion, the desired (“sharpest") stack image 8 can then be extracted from the individual image stack 7.
- the invention also opens up the possibility of selecting the individual image E of the individual image stack 7 in sections from the most contrast-rich the stack images 8 compose and not rely on a single stack image 8, but rather the individual image E from the most contrastive portions of the respective stack images 8 of the image stack 7 compose.
- the creation of the focus map 10 can take place virtually at the same time as the actual scanning process for detecting the individual image stacks 7. This means that the described advance scan can be omitted.
- the stack images 8 can be evaluated in real time for determining the individual image at the location being examined, so that the scanning process is ultimately determined "only" by the duration of the mechanical process of the adjustment unit 2, 3.
- the stack images 8 of the individual stacks 7 or the desired individual images E are regularly recorded with an overlap and then combined to form the overall image, as shown schematically in FIG.
- the overlap between the frames is egg and E 3 labeled with 14i 3, while the overlap between the individual images Ei and E 2 is designated 14i. 2
- the respective overlap 14 12 and 14- ⁇ 3 is analyzed, for example, the images E 2 and E 3 relative to the single image E 1 are aligned in the common coordinate system of the overall picture.
- the respective (strip-shaped) overlap 14 12 or 14 13 is subdivided into respective squares 15 in the example case.
- 2 or 14i 3 are also divided into rectangular or other sections 15.
- these subareas 15 are examined by performing a Fourier transformation of the associated image values or pixel values of each associated individual image E, that is to say in the example case of the individual images Ei, E 2 and E 3 , in the region of the subarea 15.
- such a subregion 15 corresponds, for example, to a square of 100 ⁇ 100 pixels. If the associated image values of each individual image E are then Fourier-transformed in the control unit 6 in the relevant subarea 15, then conclusions can be drawn about the respective texture, ie the local distribution and variation of the gray values in the associated image area.
- the invention makes use of the fact that a regular texture, for example, corresponds to a periodic (two-dimensional) gray value distribution which can be approximated by means of sine and cosine functions. From these functions it is possible to derive (two-dimensional) Fourier coefficients, which are a Fourier image produce. For example, a uniform pattern of vertical stripes corresponds to horizontally arranged dots in the Fourier image.
- this Fourier image for each partial region 15, on the one hand in the example of the overlap 14- ⁇ 2 from the individual image E 1 and the other generated by the individual image E. 2 It is important to compare the two Fourier images of the individual images E 1 and E 2 - in the sub-area 15 - with each other. As a result of this
- the single image E 2 has to be compared to the single image
- the described cross-correlation can also be carried out in the single image comparison in such a way that individual images E are first recorded with a specific (coarse) resolution and aligned with one another in the manner described. Then the respective individual images E are examined again with increased resolution and in turn subjected to the described cross-correlation.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
The invention relates to a method for optical scanning of a sample (1) by means of a varying device (2, 3) and a scanning device (4, 5), whereupon individual images are recorded and combined to give a total image in the fashion of a raster, characterised in that each individual image is recorded from an individual image batch (7) said individual image batch (7) being composed of batch images (8) taken perpendicular to the sample.
Description
Verfahren zur optischen Abtastung einer Probe Method for optically scanning a sample
Beschreibung:Description:
Die vorliegende Erfindung betrifft ein Verfahren zur optischen Abtastung einer Probe mit Hilfe einer Verstelleinheit und einer Abtasteinrichtung, wonach Einzelbilder aufgenommen und im Sinne eines Rasters zu einem Gesamtbild zusammengesetzt werden.The present invention relates to a method for optically scanning a sample by means of an adjustment unit and a scanning device, after which individual images are recorded and combined in the sense of a grid to form an overall image.
Ein Verfahren der eingangs beschriebenen Ausgestaltung ist hinlänglich be- kannt und wird beispielsweise in der US-PS 4 760 385 oder auch der US-PS 4 673 988 vorgestellt. Daneben ist die DE 100 23 005 A1 einschlägig.A method of the embodiment described in the introduction is well known and is presented, for example, in US Pat. No. 4,760,385 or US Pat. No. 4,673,988. In addition, DE 100 23 005 A1 is relevant.
Bei der Probe bzw. einem zu untersuchenden Objekt handelt es sich nicht einschränkend um transparente biologische Gewebeschnittbilder oder Werkstoff- schnitte. Diese werden mit einer Lichtquelle durchleuchtet, wobei das im Zuge dieser Transmissionsmessungen erzeugte Bild von der Abtasteinrichtung aufgenommen und hier oder gegebenenfalls in einer angeschlossenen Steueranlage gespeichert wird. Selbstverständlich können anstelle Transmissionsmessungen auch Reflexionsmessungen vorgenommen werden. Im Übrigen sei betont, dass die Messungen natürlich nicht auf den sichtbaren Wellenlängenbereich beschränkt sind. In der Regel wird jedoch im sichtbaren Wellenbereich gearbeitet, wobei Transmissionsmessungen der Probe eine Auswertung erfahren.The sample or an object to be examined is not limited to transparent biological tissue sections or material sections. These are transilluminated with a light source, wherein the image generated in the course of these transmission measurements is taken by the scanning device and stored here or optionally in a connected control system. Of course, instead of transmission measurements and reflection measurements can be made. Incidentally, it should be emphasized that the measurements are of course not limited to the visible wavelength range. As a rule, however, work is carried out in the visible wave range, with transmission measurements of the sample being evaluated.
So oder so werden mehrere Einzelbilder - Stoß an Stoß oder mit Überlapp - zu dem Gesamtbild zusammengesetzt, anhand dessen die Probe eine Begutachtung unmittelbar vor Ort oder an einer entfernten Auswertestelle erfährt. Das ist bekannt. - Probleme ergeben sich jedoch dann, wenn die Probe im Vergleich zur Aufnahmeebene der Abtasteinrichtung schräg gestellt ist, eine wellige bzw. topologische Struktur aufweist oder die Probenfokussierung Probleme bereitet. Ebenso ist der bisherige Stand der Technik nicht oder kaum in der Lage,
"dicke" Proben scharf abscannen zu können. Denn die zumeist begrenzte Tiefenschärfe hochauflösender Objektive als Bestandteil der Abtasteinrichtung macht es meist unmöglich, scharfe Bilder aufzunehmen, ohne grundlegende Änderungen vornehmen zu müssen. Hier will die Erfindung insgesamt Abhilfe schaffen.Either way, several individual images - shock to impact or overlap - are combined to form the overall image, on the basis of which the sample undergoes an examination directly on site or at a remote evaluation point. That is known. However, problems arise when the sample is inclined in relation to the recording plane of the scanning device, has a wavy or topological structure or the sample focusing problems. Likewise, the prior art is not or hardly able to To be able to scan "thick" samples sharply. Because the mostly limited depth of field of high-resolution lenses as part of the scanning device makes it usually impossible to take sharp images without having to make fundamental changes. Here, the invention aims to provide a total remedy.
Der Erfindung liegt das technische Problem zugrunde, ein derartiges Verfahren so weiter zu entwickeln, dass ein einwandfreies Abbild der Probe unter Berücksichtigung einer durchgängig einwandfreien Fokussierung erzeugt wird.The invention is based on the technical problem of further developing such a method so that a perfect image of the sample is generated taking into account a consistently perfect focus.
Zur Lösung dieser technischen Problemstellung ist ein gattungsgemäßes Verfahren erfindungsgemäß dadurch gekennzeichnet, dass jedes Einzelbild aus einem Einzelbildstapel ermittelt wird, wobei sich der Einzelbildstapel aus im Wesentlichen senkrecht zur Probenebene bzw. Probe einzeln aufgenommenen Stapelbildern zusammensetzt. Der Einzelbildstapel bzw. die Stapelbilder können auch senkrecht zu einer Basisebene erfasst werden, die beispielsweise mit einem die Probe aufnehmenden Probentisch zusammenfällt oder diese aufspannt.To solve this technical problem, a generic method according to the invention is characterized in that each frame is determined from a single image stack, wherein the frame stack composed of substantially perpendicular to the sample plane or sample individually recorded stack images. The individual image stack or the stack images can also be detected perpendicular to a base plane which, for example, coincides with or clamps a sample table receiving the sample.
Erfindungsgemäß wird also ausdrücklich nicht nur ein einziges Einzelbild der Probe am abgetasteten Ort erfasst und gespeichert, sondern vielmehr ein Einzelbildstapel, welcher aus zwei, drei, fünf oder zehn oder noch mehr einzelnen Stapelbildern zusammengesetzt ist. Aus diesen Stapelbildern kann nun das gewünschte Einzelbild extrahiert werden, indem eines der Stapelbilder mit dem gewünschten Einzelbild identifiziert wird. Alternativ oder zusätzlich ist es aber auch möglich, aus mehreren der Stapelbilder das Einzelbild nach vorgegebenen Kriterien zusammenzusetzen.Thus, according to the invention, not only a single frame of the sample at the scanned location is explicitly captured and stored, but rather a frame stack which is composed of two, three, five or ten or even more individual stack images. From these stack images, the desired frame can now be extracted by identifying one of the stack images with the desired frame. Alternatively or additionally, it is also possible to assemble the individual image from a plurality of the stack images according to predetermined criteria.
In jedem Fall findet die Aufnahme des Einzelbildstapels senkrecht zur Probe bzw. Probenebene oder der Basisebene statt. Meistens wird man eine
Erfassung senkrecht zu einem Probentisch bzw. der Probentischebene vornehmen. Dies deshalb, um etwaige Schrägstellungen der Probe im Vergleich zur Probentischebene erfassen zu können.In any case, the recording of the individual image stack takes place perpendicular to the sample or sample plane or the base plane. Mostly you become one Detect perpendicular to a sample table or the sample table level. This is to be able to detect any inclinations of the sample compared to the sample stage level.
Dabei lässt sich der Einzelbildstapel räumlich mit Hilfe einer von der Basisebene unabhängigen Referenzebene in einer vorzugsweise dreidimensionalen Einzelbildmatrix einordnen. Die Referenzebene gibt dabei in der Regel die jeweiligen Fokuswerte an bzw. definiert eine (oder mehrere) Fokusebenen. Wenn man berücksichtigt, dass die Abtasteinrichtung über eine optische Abbildungseinheit in Gestalt meistens eines oder mehrerer (hochauflösender) Objektive verfügt, so kann mit Hilfe dieser Referenzebene die am ausgewählten Probenort zu erwartende Scharfeinstellung vorgenommen werden. Anhand des dadurch ermittelten Stützpunktes auf der Referenzebene wird nun der Einzelbildstapel erfasst.In this case, the individual image stack can be arranged spatially with the aid of a reference plane independent of the base plane in a preferably three-dimensional image matrix. As a rule, the reference plane indicates the respective focus values or defines one (or more) focal planes. If one considers that the scanning device has an optical imaging unit in the form of mostly one or more (high-resolution) objectives, then with the aid of this reference plane the sharpness to be expected at the selected sample location can be determined. On the basis of the thus determined support point on the reference plane, the single image stack is now detected.
Bevor also die Probe per Transmission Stück für Stück abgetastet und die dadurch gewonnenen Einzelbilder im Sinne des Rasters zu dem Gesamtbild zusammengesetzt werden, findet also ein so genannter Vorausscan für die Referenzebene bzw. Fokuskarte statt. Bei diesem Vorausscan wird die Probe meistens grob abgetastet, also nicht flächendeckend. Erst dann schließt sich der eigentliche und zuvor beschriebene flächendeckende Abtastvorgang an. Grundsätzlich ist es aber auch möglich, den eigentlichen Scanvorgang und den so genannten Vorausscan zusammenzufassen. Dann müssen jedoch die einzelnen Fokuspunkte bzw. Fokuseinstellungen für die Abbildungseinheit während des eigentlichen Scanvorganges vorausgesagt bzw. extrapoliert werden. Während der Aufnahme der Einzelbildstapel kommt es dann zu einer Korrektur der solchermaßen erzeugten Referenzebene bzw. Fokuskarte.Thus, before the sample is scanned piece by piece by transmission and the individual images thus obtained are combined in the sense of the grid to form the overall image, a so-called advance scan for the reference plane or focus map thus takes place. In this pre-scan, the sample is usually scanned roughly, so not nationwide. Only then does the actual and previously described area-wide scanning process follow. Basically, it is also possible to summarize the actual scanning process and the so-called advance scan. Then, however, the individual focus points or focus settings for the imaging unit must be predicted or extrapolated during the actual scanning process. During the recording of the individual image stacks, a correction of the reference plane or focus map produced in this way then occurs.
Im Einzelnen wird zur Aufnahme der Fokuskarte eine zuvor angegebene Zahl an Stapelbildern senkrecht zur Probenebene bzw. Probentischebene
(Basisebene) oberhalb und unterhalb der (zunächst angenommenen) Referenzebene an dem betreffenden Stützpunkt aufgenommen (Vorausscan). Aus diesen Stapelbildern bzw. dem Einzelbildstapel wird im Anschluss daran das Einzelbild ermittelt, welches idealerweise über seinen gesamten Bereich ein scharfes Abbild der Probe darstellt. Dieser Vorgang wird für mehrere Stützpunkte wiederholt, so dass beim Vorausscannen ein grobes Raster an Fokuswerten erzeugt wird. Diese Fokuswerte spannen die Fokuskarte respektive Referenzebene auf.In particular, for recording the focus map, a previously stated number of stack images perpendicular to the sample plane or sample table plane (Base level) above and below the (initially assumed) reference plane at the respective base recorded (advance scan). From these stack images or the individual image stack, the individual image is subsequently determined, which ideally represents a sharp image of the sample over its entire area. This process is repeated for multiple vertices so that a coarse grid of focus values is produced during the pre-scan. These focus values span the focus map or reference plane.
Insofern ist die Referenzebene üblicherweise als Fokuskarte ausgeführt und wird von mehreren Fokuspunkten vorgegeben. Wenn dann die Referenzebene bzw. Fokuskarte definiert ist, kann am Ort der Aufnahme des gewünschten Einzelbildes der notwendige Stützpunkt festgelegt werden, welcher den Bereich vorgibt, innerhalb dessen oberhalb und unterhalb der Referenzebene bzw. Fokuskarte die einzelnen Stapelbilder aufgenommen werden, um den Einzelbildstapel zu erzeugen. Der Stützpunkt gibt also den erwarteten Fokus am Ort der Einzelbildaufnahme wieder.In this respect, the reference plane is usually designed as a focus map and is predetermined by several focus points. If then the reference plane or focus map is defined, the necessary support point can be determined at the location of the recording of the desired frame, which specifies the range within which the individual stack images are recorded above and below the reference plane or focus map to produce the frame stack , The vertex thus reflects the expected focus at the location of the still image.
Denkbar ist es hier beispielsweise, den Stützpunkt mit einer bestimmten Ver- Stellung des Objektives oder der optischen Abtasteinheit bzw. Abbildungseinheit der Abtasteinrichtung zu identifizieren und dann beispielsweise in der einen Richtung alle 1 mm Verstellweg ein Stapelbild aufzunehmen und dann den gleichen Vorgang in der anderen Richtung zu wiederholen. Es versteht sich, dass hier sowohl mit äquidistanten Verstellwegen gearbeitet werden kann als auch solchen, bei denen der Verstellweg von Schritt zu Schritt eine Änderung erfährt. Beides lässt sich von außen vorgeben und den Gegebenheiten anpassen. Dabei liegt es selbstverständlich im Rahmen der Erfindung, alternativ oder zusätzlich zu der optischen Abtasteinheit die Probe bzw. einen sie aufnehmenden Probentisch zu bewegen, um den gewünschten Einzelbildstapel aufzunehmen.
It is conceivable here, for example, to identify the interpolation point with a specific position of the objective or of the optical scanning unit or imaging unit of the scanning device and then record a stacking image in the one direction every 1 mm adjustment path and then the same process in the other direction to repeat. It is understood that it is possible to work both with equidistant adjustment paths and those in which the adjustment path undergoes a change from step to step. Both can be specified from the outside and adapted to the circumstances. It is of course within the scope of the invention, alternatively or in addition to the optical scanning unit, to move the sample or a sample stage receiving it in order to receive the desired individual image stack.
In der Regel wird die Referenzebene bzw. Fokuskarte zeitlich vor der Abtastung der Einzelbilder ermittelt. Das ist erforderlich, um die aus der Referenzebene bzw. Fokuskarte abgeleiteten Stützpunkte festlegen zu können, anhand derer im nachfolgenden Schritt die Einzelbildstapel aufgenommen werden. Dabei versteht es sich, dass der jeweilige Einzelbildstapel mit einer vorgegebenen Anzahl an Stapelbildern senkrecht zur Probenebene oberhalb und unterhalb des vorgenannten Stützpunktes arbeitet. Üblicherweise wird man hier auf eine gleiche Anzahl oberhalb und unterhalb der Probenebene am Ort des Stützpunktes zurückgreifen, wenngleich von der Erfindung natürlich auch unterschiedliche Anzahlen abgedeckt werden.As a rule, the reference plane or focus map is determined in time before the scanning of the individual images. This is necessary in order to be able to determine the interpolation points derived from the reference plane or focus map, by means of which the individual image stacks are recorded in the following step. It is understood that the respective individual image stack works with a predetermined number of stack images perpendicular to the sample plane above and below the aforementioned support point. Usually, one will resort here to an equal number above and below the sample plane at the location of the base, although of course also different numbers are covered by the invention.
Die Referenzebene bzw. Fokuskarte wird größtenteils erstellt, indem an ausgewählten Bildpunkten des Gesamtbildes bzw. Probenorten beispielsweise die Bildpunktintensität senkrecht zur Probenebene in Gestalt von Bildintensitätswerten ermittelt wird. Aus den Intensitätswerten bzw. Bildintensitätswerten über die solchermaßen erfasste senkrechte Komponente (senkrecht zur Probenebene bzw. Probentischebene respektive Basisebene) lässt sich nun beispielsweise der intensivste Punkt ermitteln und mit dem Fokuswert am untersuchten Ort gleichsetzen. Nach einer anderen Vorgehensweise können die zuvor erwähnten Intensitätswerte auch gewichtet werden, beispielsweise exponentiell oder linear und so auf einen errechneten Fokuswert führen. In jedem Fall steht am Ende der Prozedur zur Erstellung der Referenzebene bzw. Fokuskarte ein Fokuswert als Funktion einer damit verbundenen Verstellung der Abtasteinheit senkrecht zur Probenebene (meistens in z-Richtung) zur Verfügung. Zu diesem Fokuswert korrespondiert der zugehörige Probenort (also dessen Position in x- und y-Richtung). Der Fokuswert (bzw. der zugehörige x-, y- und z-Wert) wird nun in die zu erstellende Fokuskarte eingeschrieben.
Wenn man diesen Vorgang wenigstens noch zweimal wiederholt, so liegen bereits drei Fokuswerte vor, die eine eindeutige Ebene aufspannen, nämlich die Referenzebene bzw. Fokuskarte. Kommen noch mehr Fokuswerte zur Auswertung, so können die jeweils am nächsten zueinander liegenden drei Fokuswerte ein Dreieck im Sinne einer Triangulation festlegen, wobei sich die Fokuskarte im Endeffekt aus einer Vielzahl solcher Dreiecke zusammensetzt. Anhand dieser Fokuskarte können nun die gewünschten Stützpunkte für den anschließenden Scanprozess bzw. die Aufnahme der Einzelbilder festgelegt werden. Das geschieht, indem beispielsweise drei Fokuswerte ein Dreieck festlegen und der Stützpunkt auf diesem Dreieck platziert wird. Dadurch ergibt sich ein erwarteter z-Wert bzw. Wert für die Verstellung der Abtasteinheit am Stützpunkt. Als Folge hiervon kann unmittelbar am Probenort (x-, y-Wert) im Anschluss der Einzelbildstapel erfasst und darauf folgend ausgewertet werden.The reference plane or focus map is for the most part created by determining, for example, the pixel intensity perpendicular to the sample plane in the form of image intensity values at selected pixels of the overall image or sample locations. From the intensity values or image intensity values via the vertical component thus detected (perpendicular to the sample plane or sample table plane or base plane, for example), the most intense point can now be determined and equated with the focus value at the location being examined. According to another approach, the aforementioned intensity values may also be weighted, for example, exponentially or linearly, thus leading to a calculated focus value. In any case, at the end of the procedure for creating the reference plane or focus map, a focus value is available as a function of an associated adjustment of the scanning unit perpendicular to the sample plane (usually in the z-direction). The corresponding sample location (ie its position in the x and y direction) corresponds to this focus value. The focus value (or the corresponding x, y and z value) is now written into the focus map to be created. If you repeat this process at least twice, there are already three focus values that span a unique plane, namely the reference plane or focus map. If even more focus values are used for the evaluation, then the respectively closest three focus values can define a triangle in the sense of a triangulation, whereby the focus map is in the end composed of a multiplicity of such triangles. Based on this focus map, the desired interpolation points for the subsequent scanning process or the recording of the individual images can now be determined. This is done, for example, by setting three focus values to a triangle and placing the vertex on this triangle. This results in an expected z value or value for the adjustment of the scanning unit at the interpolation point. As a consequence of this, the individual image stacks can be detected immediately afterwards at the sample location (x, y value) and subsequently evaluated.
Um bei dem beschriebenen "Vorausscan" zur Erstellung der Referenzebene bzw. Fokuskarte (Rechen-)Zeit zu sparen, ist es möglich, die Abtasteinrichtung bzw. eine dort zumeist realisierte (CCD-)Kamera im so genannten Binningmodus zu betreiben. Hierbei werden mehrere Pixel zusammengefasst, beispielsweise in Gruppen von vier. Wie zuvor bereits beschrieben, werden diese vier (oder auch mehr) Pixelwerte dahingehend untersucht, dass am Ende ein Fokuswert vorliegt, welcher in diesem Fall quasi einen über die vier oder mehreren Pixel gemittelten Fokuswert für die Fokuskarte darstellt.In order to save (computation) time in the described "advance scan" to create the reference plane or focus card, it is possible to operate the scanner or a there mostly realized (CCD) camera in the so-called binning mode. In this case, several pixels are combined, for example in groups of four. As already described above, these four (or more) pixel values are examined in such a way that at the end there is a focus value, which in this case represents, as it were, a focus value for the focus map averaged over the four or more pixels.
Im Anschluss an den beschriebenen "Vorausscan" werden die Einzelbildstapel lückenlos über die gesamte Fläche der Probe erfasst, wobei die Stützpunkte bzw. die Fokuskarte oder Referenzebene dazu genutzt wird, die Abtasteinrichtung an dem betreffenden Probenort entsprechend voreinzustellen. Anderenfalls ist es beispielsweise bei dicken Proben praktisch nicht möglich, mit dem anschließend aufgenommenen Einzelbildstapel und unter Berücksichtigung der begrenzten Tiefenschärfe hochauflösender Objektive
überhaupt ein scharfes Stapelbild zu erhalten. Die beschriebene Fokuskarte bzw. Referenzebene stellt also sicher, dass bei dem anschließenden flächendeckenden Scan in jedem Einzelbildstapel wenigstens ein scharfes Stapelbild vorhanden ist, welches für die anschließenden Auswertungen eingesetzt wird.Subsequent to the described "advance scan", the individual image stacks are detected completely over the entire surface of the sample, wherein the support points or the focus map or reference plane is used to preset the scanning device at the respective sample location accordingly. Otherwise, it is practically not possible with thick samples, for example, with the subsequently recorded single image stack and taking into account the limited depth of field of high-resolution lenses to get a sharp pile picture at all. The described focus map or reference plane therefore ensures that at least one sharp stack image is present in the subsequent area-wide scan in each individual image stack, which is used for the subsequent evaluations.
Anders ausgedrückt, erlaubt die Fokuskarte eine quasi virtuelle Abbildung der Probe dergestalt, dass wie beim konventionellen Mikroskop in Z-Richtung fokussiert werden kann (Fokuswert), wobei gleichzeitig eine Navigation in X-/Y- Richtung möglich wird (Probenort). Der Eindruck des so genannten "manuellen Durchfokussierens" wie bei der konventionellen Mikroskopie bleibt also erhalten. Dabei werden durch die jeweils aufgenommenen Einzelbildstapel die Datenmengen erheblich gesteigert, weil die Einzelbildstapel jeweils abgespeichert werden müssen.In other words, the focus map allows a virtually virtual image of the sample such that it can be focused in the Z-direction (focus value) as in the conventional microscope, whereby at the same time navigation in the X- / Y-direction becomes possible (sample location). The impression of the so-called "manual Durchfokussierens" as in conventional microscopy remains so. In this case, the amounts of data are considerably increased by each recorded individual image stack, because the individual image stacks must be stored in each case.
Sofern bei der Aufnahme der Einzelbildstapel mit jeweils gleicher oder ineinander umrechenbarer Einstellung der Abtasteinrichtung gearbeitet wird, lassen sich die korrespondierenden Stapelbilder jeweils aneinander fügen, wenn die Einzelbildstapel jeweils mit Überlapp zueinander aufgenommen worden sind. Wie der Überlapp der Stapelbilder der Einzelbildstapel jeweils für ihre gegenseitige Ausrichtung und ihre Verbindung genutzt wird, wird mit Bezug zu der anschließenden Figurenbeschreibung noch näher erläutert werden.If, during recording, the individual image stacks are operated with the same or reciprocally adjustable setting of the scanning device, the corresponding stack images can be joined to each other when the individual image stacks have been recorded with overlap relative to each other. How the overlap of the stack images of the individual image stacks is used in each case for their mutual alignment and their connection will be explained in more detail with reference to the subsequent description of the figures.
Anstelle die beschriebenen Einzelbildstapel sämtlich abzuspeichern, ist es aber auch möglich, nur die Referenzebene bzw. Fokuskarte und zusätzlich dasInstead of storing all the individual image stacks described, it is also possible to use only the reference plane or focus map and additionally the
Texturbild abzuspeichern, welches die Intensitäten bzw. Kontrastwerte des jeweils scharfen Stapelbildes an der zugehörigen X-/Y-Position (Probenort) wiedergibt. Dadurch kann die Datenmenge enorm reduziert werden. Durch diese Vorgehensweise lässt sich das so genannte manuelle Durchfokussieren simulieren. Hierbei werden alle Pixel bzw. Bildpunkte des gleichen Z-Wertes
(Fokuswertes) scharf eingestellt und alle davon abweichenden Z-Werte unscharf. Hier kann mit verschiedenen Unschärfewerten gearbeitet werden, wobei die Unscharfe in Abhängigkeit vom Abstand zur Fokusebene eingestellt wird, beispielsweise mit zunehmendem Abstand größer wird. Dadurch lassen sich praktisch softwaremäßig Tiefenschärfebereiche im Sinne einer virtuellen Mikroskopie vorgeben.Save texture image, which reflects the intensities or contrast values of each sharp stack image at the associated X- / Y-position (sample location). This can greatly reduce the amount of data. This procedure simulates the so-called manual focussing. In this case, all pixels or pixels of the same Z-value (Focus value) is in focus and all other Z values are out of focus. Here you can work with different blur values, the blur is set as a function of the distance to the focal plane, for example, becomes larger with increasing distance. As a result, depth-of-focus ranges in the sense of virtual microscopy can be predefined practically in terms of software.
Dadurch, dass am Ende des beschriebenen Vorganges die Fokuskarte vorliegt und im Übrigen an jeder Stelle dieser Fokuskarte ein Einzelbildstapel und wenigstens ein scharfes Stapelbild aus diesem Einzelbildstapel, kann die Probe insgesamt als dreidimensionales Objekt dargestellt werden. Denkbar ist es hier, diese dreidimensionale Darstellung mit Hilfe einer 3D-BhIIe oder einem SD- Bildschirm wiederzugeben. D. h., ein Betrachter erhält nicht nur eine Probeninformation in einer Ebene, in dem jeweils die scharfen Stapelbilder bzw. Einzelbilder zu dem Gesamtbild zusammengesetzt worden sind, sondern darüber hinaus noch Informationen über die Topografie der Probe, also eine echte dreidimensionale Darstellung und einen entsprechenden Eindruck.Characterized in that the focus map is present at the end of the described process and incidentally at each point of this focus map a frame stack and at least one sharp stack image from this frame stack, the sample can be displayed as a total three-dimensional object. It is conceivable here to reproduce this three-dimensional representation with the aid of a 3D bhIIe or an SD screen. That is, a viewer receives not only a sample information in a plane in which the sharp stack images or frames have been assembled to the overall image, but also more information about the topography of the sample, ie a true three-dimensional representation and a corresponding impression.
Der Einzelbildstapel kann (in der meist obligatorischen Steuereinheit) abge- speichert und das gewünschte Einzelbild in einem anschließenden Auswerte- prozess extrahiert werden. Selbstverständlich ist auch eine Echtzeitauswertung denkbar und wird umfasst. Außerdem ist die Erfindung grundsätzlich auf das gesamte elektromagnetische Spektrum anwendbar. So werden also auch Anwendungen im IR-, UV- und auch Röntgenbereich abgedeckt.The single-image stack can be stored (in the mostly compulsory control unit) and the desired single image can be extracted in a subsequent evaluation process. Of course, a real-time evaluation is conceivable and is included. In addition, the invention is basically applicable to the entire electromagnetic spectrum. So also applications in the IR, UV and X-ray range are covered.
Im Ergebnis wird ein neuartiges Verfahren zur optischen Probenabtastung zur Verfügung gestellt, welches eine bisher nicht gekannte scharfe Abbildung der Probe praktisch über das gesamte aus den Einzelbildern bestehende Gesamtbild liefert. Dadurch ist die Probenuntersuchung gegenüber bisherigen Vor- gehensweisen deutlich verbessert und lassen sich ursprünglich unscharfe Be-
reiche problemlos auswerten. Denn mit Hilfe der eingangs ermittelten Referenzebene bzw. Fokuskarte wird ein Abbild der Probe zur Verfügung gestellt, welches eine anschließend "scharfe" Aufnahme der Einzelbilder ermöglicht. Dabei werden die erzeugten Einzelbilder zu dem Gesamtbild mit Überlapp aufgenommen. Das Gleiche gilt alternativ oder zusätzlich auch für die einzelnen Stapelbilder des Einzelbildstapels. Dabei wird der Überlapp jeweils analysiert, um die Einzelbilder respektive die einzelnen miteinander verbundenen Stapelbilder gegenseitig ausrichten zu können. Hierin sind die wesentlichen Vorteile zu sehen.As a result, a novel optical sample scanning method is provided, which provides a heretofore unknown sharp image of the sample practically over the entire frame of the individual images. As a result, the sample examination is significantly improved compared to previous procedures and can be originally blurred. easy to evaluate rich. Because with the help of the reference plane or focus map determined at the outset, an image of the sample is made available, which then enables a "sharp" recording of the individual images. The generated individual images are added to the overall image with overlap. The same applies alternatively or additionally also for the individual stack images of the individual image stack. In this case, the overlap is analyzed in each case in order to be able to align the individual images or the individual interconnected stack images with one another. Here are the main benefits.
Im Folgenden wird die Erfindung anhand einer lediglich ein Ausführungsbeispiel darstellenden Zeichnung näher erläutert; es zeigen:In the following the invention will be explained in more detail with reference to a drawing showing only one exemplary embodiment; show it:
Fig. 1 eine Vorrichtung zur optischen Abtastung einer Probe, die nach dem beschriebenen Verfahren arbeitet,1 shows a device for optical scanning of a sample, which operates according to the described method,
Fig. 2 eine schematische Darstellung der Fokusbestimmung,2 is a schematic representation of the focus determination,
Fig. 3 die im Rahmen der Fig. 2 ermittelten Foki,3 determined in the context of FIG. 2 Foki,
Fig. 4 mögliche Gewichtungen der Foki nach Fig. 3,4 possible weights of the Foki of Fig. 3,
Fig. 5 die dreidimensionale Einzelbildmatrix,5 shows the three-dimensional frame image matrix,
Fig. 6 die erzeugte Fokuskarte mit den Einzelbildstapeln undFig. 6, the generated focus map with the individual image stacks and
Fig. 7 das aus den Einzelbildern zusammengesetzte Gesamtbild.Fig. 7, the composite of the individual images overall picture.
In den Figuren ist eine Vorrichtung zur optischen Abtastung einer Probe 1 dar- gestellt. Bei dieser Probe 1 handelt es sich nicht einschränkend um einen
Schnitt durch ein biologisches Gewebe oder einen Werkstoff. Dabei wird der Schnitt so ausgeführt, dass die Probe 1 von einer Weißlichtquelle W durchleuchtet und ihr Bild per Transmissionsmessung aufgenommen werden kann. Zu diesem Zweck verfügt die Vorrichtung in ihrem grundsätzlichen Aufbau über eine Verstelleinheit 2, 3 sowie eine Abtasteinrichtung 4, 5.In the figures, a device for optical scanning of a sample 1 is shown. This sample 1 is not limited to one Section through a biological tissue or a material. In this case, the cut is carried out so that the sample 1 is transilluminated by a white light source W and its image can be recorded by transmission measurement. For this purpose, the device has in its basic structure an adjusting unit 2, 3 and a scanning device 4, 5.
Im Einzelnen setzt sich die Verstelleinheit 2, 3 im Rahmen des Ausführungsbeispiels aus zwei Spindeltrieben 2 als Antriebsvorrichtung 2 sowie einem Probentisch 3 zusammen. Unterhalb des Probentisches 3 ist die Weißlicht- quelle W angeordnet, so dass das Bild der Probe 1 von der darüber befindlichen Abtasteinrichtung 4, 5 aufgenommen werden kann. Die Abtasteinrichtung 4, 5 fasst mehrere Abbildungseinheiten bzw. Abtasteinheiten oder Mikroskopobjektive 4 und eine Aufzeichnungseinheit bzw. einen Flächensensor respektive einen CCD-Chip 5 zusammen.In detail, the adjusting unit 2, 3 in the embodiment of two spindle drives 2 as a drive device 2 and a sample table 3 is composed. Below the sample stage 3, the white light source W is arranged, so that the image of the sample 1 can be picked up by the scanning device 4, 5 located above it. The scanning device 4, 5 combines a plurality of imaging units or scanning units or microscope objectives 4 and a recording unit or a surface sensor or a CCD chip 5 together.
Mittels der Verstelleinheit 2, 3 wird die Probe 1 gegenüber der Abtasteinrichtung 4, 5 bewegt. Auf diese Weise kann die in der Regel um ein Mehrfaches größer als der erfassbare Winkelbereich der Abtasteinrichtung 4, 5 dimensionierte Probe 1 gegenüber der Abtasteinrichtung 4, 5 bewegt werden. Jeder Bewe- gungsschritt ist meistens mit der Aufnahme eines Einzelbildes E verbunden, die zu einem Gesamtbild zusammengesetzt werden. Mit Hilfe der Verstelleinheit 2, 3 werden ausgewählte Probenorte in x-/y-Richtung angefahren.By means of the adjusting unit 2, 3, the sample 1 with respect to the scanning device 4, 5 is moved. In this way, the sample 1, which is generally larger by a multiple than the detectable angle range of the scanning device 4, 5, can be moved relative to the scanning device 4, 5. Each movement step is usually associated with the recording of a single image E, which are combined to form an overall image. With the help of the adjusting unit 2, 3 selected sample locations are approached in the x / y direction.
Zu diesem Zweck wird die Verstelleinheit 2, 3 von einer Steueranlage bzw. Steuereinheit 6 beaufschlagt, welche die Verstelleinheit 2, 3 entsprechend ansteuert sowie die Einzelbilder E gegebenenfalls bearbeitet und Stoß an Stoß oder mit vorgegebenem Überlapp zu dem Gesamtbild zusammensetzt. Außerdem dient die Steuereinheit 6 dazu, eine nachfolgend noch näher erläuterte Referenzebene 10 zu erstellen und abzuspeichern. Im Rahmen des dargestellten Beispiels wird der Probentisch 3 lediglich in x- und y-Richtung
bewegt, wenngleich die Verstelleinheit 2, 3 grundsätzlich auch zusätzlich in Höhen- oder z-Richtung verstellt werden könnte, was jedoch nicht dargestellt ist. - Ebenso kann natürlich anstelle der Transmission der Probe 1 auch deren Reflexionsverhalten mit einer vergleichbar aufgebauten Vorrichtung erfasst werden.For this purpose, the adjusting unit 2, 3 acted upon by a control system or control unit 6, which controls the adjustment 2, 3 accordingly and the individual images E edited if necessary and composed butt to joint or with predetermined overlap to the overall picture. In addition, the control unit 6 serves to create and store a reference plane 10 which will be explained in more detail below. In the example shown, the sample table 3 is only in the x and y directions moved, although the adjustment 2, 3 in principle could also be adjusted in addition in height or z-direction, which is not shown. - Of course, of course, instead of the transmission of the sample 1 and their reflection behavior can be detected with a comparably constructed device.
Die vorliegende Erfindung berücksichtigt nun den Umstand, dass die Probe 1 unter Umständen eine topologische Struktur und/oder Schiefstellungen gegenüber dem Flächensensor respektive CCD-Chip 5 aufweist. Ohne entsprechende Vorkehrungsmaßnahmen führt dies dazu, dass die erfassten Einzelbilder E und selbstverständlich auch das daraus im Sinne eines Rasters zusammengesetzte Gesamtbild unscharfe Bereiche bzw. Bereiche unterschiedlicher Schärfentiefe aufweist. Um diesem Phänomen zu begegnen, wird jedes Einzelbild E aus einem Einzelbildstapel 7 ermittelt bzw. extrahiert, wie er in der Fig. 6 in der Seitendarstellung gezeigt ist. Dieser Einzelbildstapel 7 setzt sich aus mehreren Stapelbildern 8 zusammen, im Ausführungsbeispiel aus zehn Stapelbildern 8, was jedoch nicht zwingend ist. Diese einzelnen Stapelbilder 8 werden im Wesentlichen senkrecht zur Probenebene P aufgenommen, welche folglich eine Basisebene P darstellt. Wenn mit einer Probenschiefstellung zu rechnen ist, erfolgt die Aufnahme der Stapelbilder 8 senkrecht zur vom Probentisch 3 aufgespannten Probentischebene bzw. der betreffenden Basisebene P, die deckungsgleich mit der x-/y-Ebene ist (vgl. Fig. 1 ).The present invention now takes into account the fact that the sample 1 may under certain circumstances have a topological structure and / or inclinations relative to the surface sensor or CCD chip 5. Without appropriate precautionary measures, this leads to the captured individual images E and of course also the overall image formed therefrom in the sense of a grid having blurred areas or areas of different depth of field. To counteract this phenomenon, each frame E is determined or extracted from a frame stack 7, as shown in the side view in FIG. This frame stack 7 is composed of several stack images 8, in the embodiment of ten stack images 8, which is not mandatory. These individual stack images 8 are taken up substantially perpendicular to the sample plane P, which consequently represents a base plane P. If a sample misalignment is to be expected, the stack images 8 are recorded perpendicular to the sample table plane spanned by the sample table 3 or the relevant base plane P, which is congruent with the x- / y-plane (see Fig. 1).
Anhand der Fig. 1 erkennt man ferner, dass die Probe 1 von einem Objektträger 9 aufgenommen wird. Ist die Probe 1 plan und liegen der Objektträger 9 sowie die Probe 1 koplanar zueinander, so wird auch auf dem Flächensensor 5 im Idealfall ein überall scharfes Bild erzeugt. Das entspricht jedoch nicht der Realität, weil beispielsweise die Probe 1 gegenüber dem Objektträger 9 geneigt angeordnet sein kann, eine Wölbung aufweist etc.. Aus diesem Grund werden er- findungsgemäß die Einzelbildstapel 7 senkrecht zur Probentisch- bzw.
respektive x-/y-Basisebene P ermittelt und aus den Stapelbildern 8 das jeweils gewünschte Einzelbild E extrahiert, wobei die Einzelbilder im Sinne eines Rasters zu dem Gesamtbild zusammengesetzt werden.With reference to FIG. 1, it can be seen further that the sample 1 is received by a slide 9. If the sample 1 is plane and the slide 9 and the sample 1 are coplanar with each other, an image that is always sharp is also produced on the surface sensor 5 in the ideal case. However, this does not correspond to reality because, for example, the sample 1 can be arranged inclined relative to the slide 9, has a curvature etc. For this reason, the individual image stacks 7 are arranged perpendicular to the sample stage or respectively determines x- / y-base plane P and extracted from the stack images 8 respectively desired single image E, wherein the individual images are assembled in the sense of a grid to the overall image.
Um dies im Detail zu erreichen, wird zunächst einmal eine Referenzebene bzw. Fokuskarte 10 mit Hilfe der Steuereinheit 6 erstellt, die schematisch in den Fig. 5, 6 dargestellt ist. Im Idealfall handelt es sich bei der Referenzebene bzw. Fokuskarte 10 um ein Abbild der Probenoberfläche, so dass Welligkeiten, Schiefstellungen etc. der Probe 1 Eingang in die Referenzebene bzw. Fokus- karte 10 finden, die von wenigstens drei Fokuspunkten 11 aufgespannt wird. Die Vorgehensweise ist wie folgt. Zunächst einmal wird ein Bildpunkt bzw. Pixel 12 des Flächensensors 5 bei gleich bleibender Position in x- und y-Richtung, d. h. an einem bestimmten Probenort mit Hilfe verschiedener Einstellungen der Abbildungseinheit 4 aufgenommen. Anders ausgedrückt, wird das Probenbild an der betreffenden x-/y-Position respektive der zugehörige Pixel 12 aufgenommen, und zwar für verschiedene Stellungen der Abbildungseinheit 4 und folglich unterschiedliche Fokussierungen. Im einfachsten Fall wird hierzu die Abbildungseinheit 4 so verstellt, dass sich die Ebene ihrer Scharfeinstellung in z-Richtung, d. h. ihre Fokusebene, ändert. Das deuten die verschiedenen angedeuteten Ebenen in der Fig. 2 an, wobei der jeweils untersuchte Pixel 12 hervorgehoben ist.To achieve this in detail, first of all a reference plane or focus map 10 is created with the aid of the control unit 6, which is shown schematically in FIGS. 5, 6. Ideally, the reference plane or focus map 10 is an image of the sample surface, so that ripples, inclinations, etc. of the sample 1 find an entry into the reference plane or focus map 10, which is spanned by at least three focus points 11. The procedure is as follows. First, a pixel or pixel 12 of the surface sensor 5 is at the same position in the x and y direction, d. H. recorded at a specific sample location using various settings of the imaging unit 4. In other words, the sample image is recorded at the respective x / y position and the associated pixel 12, respectively, for different positions of the imaging unit 4 and consequently different foci. In the simplest case, the imaging unit 4 is adjusted for this purpose so that the plane of their focus in the z-direction, d. H. their focal plane changes. This is indicated by the different indicated planes in FIG. 2, the pixel 12 being examined being highlighted.
Wenn man nun die "Tiefe" der jeweils scharf eingestellten Ebenen der Abbildungseinheit 4 in z-Richtung auf der x-Achse gegenüber der pixelausgangs- seitig ermittelten Intensität auf der y-Achse aufträgt, so ergibt sich ein Diagramm entsprechend der Fig. 3. Dort ist die Intensität des auf den Pixel 12 auftreffenden Lichtes in Abhängigkeit von der z-Richtung und folglich der Verstellung der Abbildungseinheit 4 aufgetragen. Anhand dieses Intensitätsverlaufes nach Fig. 3 lässt sich für den Pixel 12 eine optimale Position der Abbildungsein-
heit 4 ermitteln, die im Beispielsfall zum z-Wert 3 korrespondiert, wenn man lediglich nach dem Intensitätsmaximum schaut.If one then plots the "depth" of the respectively sharply set planes of the imaging unit 4 in the z-direction on the x-axis with respect to the intensity determined on the pixel output side on the y-axis, the result is a diagram corresponding to FIG the intensity of the light incident on the pixel 12 is plotted as a function of the z-direction and consequently of the adjustment of the imaging unit 4. On the basis of this intensity curve according to FIG. 3, an optimal position of the image input for the pixel 12 can be determined. unit 4, which in the example case corresponds to the z-value 3, if one only looks for the intensity maximum.
Alternativ hierzu können aber auch die zur Festlegung der Fokuspunkte 11 er- fassten Intensitätswerte des Pixels 12 gewichtet werden, wie dies in Fig. 4 dargestellt ist. Eine Möglichkeit besteht darin, die Maxima der Intensitätswerte nach Fig. 3 mit Hilfe einer Ausgleichsfunktion zu verbinden und unter Berücksichtigung der solchermaßen erzeugten Flächen einen gleitenden Mittelwert hieraus als Fokuswert abzuleiten. Auch andere Wichtungsfunktionen, wie z. B. exponentiell und nicht linear wie dargestellt, sind denkbar. Dann werden die einzelnen Intensitätsmaxima zuvor beispielsweise durch Exponentionalfunktionen gewichtet. Jedenfalls kann für den ausgewählten Pixel 12 ein Fokuswert und folglich der Fokuspunkt 11 festgelegt werden. Dieser korrespondiert - wie dargelegt - zu einer bestimmten Verstellung der Abbildungseinheit 4, in z-Richtung, um am untersuchten x-/y-Ort ein scharfes Bild zu erzeugen.Alternatively, however, the intensity values of the pixel 12 detected to determine the focus points 11 may also be weighted, as shown in FIG. 4. One possibility is to connect the maxima of the intensity values according to FIG. 3 with the aid of a compensation function and, taking into account the areas thus generated, derive a moving average value thereof as the focus value. Other weighting functions such. B. exponential and not linear as shown, are conceivable. Then the individual intensity maxima are weighted beforehand, for example, by exponential functions. In any case, a focus value and consequently the focal point 11 can be defined for the selected pixel 12. This corresponds - as explained - to a specific adjustment of the imaging unit 4, in the z direction, in order to produce a sharp image at the examined x / y location.
So oder so führt die Auswertung der Intensitätsmaxima nach Fig. 3 oder Fig. 4 auf einen dem Pixel 12 zugehörigen Fokuswert 11 , wie er in der Fig. 5 eingetragen ist. Zu dem Fokuswert 11 gehört ein Probenort (x-/y-Wert), welcher die Lage des untersuchten Pixels 12 vorgibt. Damit wird der Fokuswert 11 letztlich durch einen dreidimensionalen Wert x, y und z abgebildet. Dabei kann die vorbeschriebene Prozedur für eine vorgegebene Anzahl an Pixeln 12 bzw. Bildpunkten wiederholt werden. Die Anzahl der Fokuswerte 11 hängt im Wesentlichen von zwei Vorgaben ab. Zunächst einmal spielt der Arbeitsbereich eine Rolle, d. h. der vom Bediener vorgegebene Bereich, innerhalb dessen die Probe 1 oder Teile hiervon abgetastet werden soll. Dabei versteht es sich, dass der Arbeitsbereich durch einen vorgeschalteten Scanvorgang so festgelegt bzw. eingegrenzt werden kann, dass hierbei zunächst der Probenumriss ermittelt wird, wobei der Arbeitsbereich das kleinstmögliche Rechteck darstellt, welches den Probenumriss im Ganzen umschließt.
Jedenfalls gibt die Größe des Arbeitsbereiches die Anzahl der für die Erstellung der Fokuskarte 10 notwendigen Fokuswerte 11 vor. Von weiterer Bedeutung ist die erwartete Probentopologie. Bei einer welligen Probe 1 wird man an dieser Stelle mit einer höheren Anzahl an Fokuswerten 11 arbeiten, als wenn eine glatte Probe zu erwarten ist. Beides kann gegebenenfalls vom Anwender eingestellt und vorgegeben werden. Jedenfalls werden die Fokuswerte 11 ermittelt, indem die Probe 1 bei einem so genannten Vorausscan grob und nicht flächendeckend abgetastet wird.Either way, the evaluation of the intensity maxima according to FIG. 3 or FIG. 4 leads to a focus value 11 associated with the pixel 12, as is entered in FIG. 5. The focus value 11 includes a sample location (x / y value) which specifies the position of the examined pixel 12. Thus, the focus value 11 is ultimately represented by a three-dimensional value x, y and z. In this case, the above-described procedure can be repeated for a given number of pixels 12 or pixels. The number of focus values 11 essentially depends on two specifications. First of all, the working area plays a role, ie the area specified by the operator within which the sample 1 or parts thereof are to be scanned. It is understood that the working area can be determined or limited by an upstream scanning so that the sample outline is first determined, the work area is the smallest possible rectangle, which encloses the sample outline as a whole. In any case, the size of the work area specifies the number of focus values 11 necessary for the creation of the focus map 10. Of further importance is the expected sample topology. With a wavy sample 1, one will work at this point with a higher number of focus values 11 than when a smooth sample is to be expected. Both can optionally be set and specified by the user. In any case, the focus values 11 are determined by sampling the sample 1 coarse and not nationwide in a so-called advance scan.
Wenn nun die einzelnen Fokuswerte 11 mit der beschriebenen Vorgehensweise erfasst worden sind, wird die Referenzebene bzw. Fokuskarte 10 in der Steueranlage 6 erzeugt bzw. abgelegt. Zu diesem Zweck findet eine sogenannte Triangulation statt, indem drei nächstliegende Fokuswerte 11 mitein- ander zu einem Dreieck verbunden werden. Dieser Vorgang wird für sämtliche Fokuswerte 11 wiederholt, wie die Fig. 5, 6 andeuten. Dadurch ist gewährleistet, dass die in Fig. 5 unterhalb der Fokuskarte 10 angedeuteten Bereiche der Probe 1 auf jeden Fall eine scharfe Abbildung auf dem Flächensensor 5 erfahren.If now the individual focus values 11 have been detected with the procedure described, the reference plane or focus map 10 is generated or stored in the control system 6. For this purpose, a so-called triangulation takes place in which three closest focus values 11 are connected to one another in a triangle. This process is repeated for all focus values 11, as indicated in FIGS. 5, 6. This ensures that the regions of the sample 1 indicated in FIG. 5 below the focus map 10 in any case undergo a sharp image on the area sensor 5.
Die Zwischenbereiche werden durch Extrapolation gefüllt, indem zwischen den jeweils vorhandenen Fokuswerten 11 die Fläche des hiervon aufgespannten Dreieckes und dessen Lage im Raum festgelegt wird. Auf diese Weise können Stützpunkte 13 auf der Fläche der solchermaßen erzeugten Dreiecke festgelegt werden. Bei den Stützpunkten 13 handelt es sich um extrapolierte dreidimensionale Punkte auf der Fokuskarte 10. D. h., zu den Stützpunkten 13 gehören ein Probenort (x-/y-Wert) und eine Scharfeinstellung für die Abtasteinrichtung 4, 5 bzw. die Abbildungseinheit 4 (z-Wert) am Probenort. Anhand der Lage des Stützpunktes 13 auf dem definierten Dreieck lässt sich zu dem Stützpunkt 13 folglich ein z-Wert festlegen, welcher die Verstellung bzw.
"Scharfstellung" der Abbildungseinheit 4 am Stützpunkt 13 und den damit verbundenen erwarteten Fokuswert 1 1 dokumentiert.The intermediate areas are filled by extrapolation, in that the area of the triangle formed therefrom and its position in space is determined between the respective existing focus values 11. In this way, support points 13 can be set on the surface of the triangles thus generated. The interpolation points 13 are extrapolated three-dimensional points on the focus map 10. That is, the interpolation points 13 include a sample location (x / y value) and an in-focus for the scanning device 4, 5 or the imaging unit 4 (z value) at the sample site. On the basis of the position of the support point 13 on the defined triangle can therefore be set to the support point 13, a z-value, which the adjustment or "Focusing" the imaging unit 4 at base 13 and the associated expected focus value 1 1 documented.
Dieser Stützpunkt 13 ist nun Ausgangspunkt für den anschließenden Scan- prozess bzw. die flächendeckende Aufnahme der Einzelbilder und ihre Kombination zu dem Gesamtbild. Denn der Stützpunkt 13 gibt - wie beschrieben - den erwarteten Fokuswert am x-/y-Ort (Probenort) des Stützpunktes 13 vor, so dass sich die Abbildungseinheit 4 unter Zuhilfenahme der Steueranlage 6 beim Anfahren des Stützpunktes 13 in x-, y- und z-Richtung "scharf stellen lässt. Nun wird an diesem Stützpunkt 13 der jeweilige Einzelbildstapel 7 ermittelt. Zu diesem Zweck wird die Abbildungseinheit 4 in die eine und in die andere z-Richtung verfahren, so dass eine zuvor angegebene Anzahl an Stapelbildern 8 senkrecht zur Ebene der Probe 1 bzw. des Probentisches 3 (x-/y-Ebene) respektive der Basisebene P oberhalb und unterhalb des angegebenen Stützpunktes 13 aufgenommen wird. Selbstverständlich kann dabei die von der Steueranlage 6 vorgegebene Schrittweite s (vgl. Fig. 6) geändert werden, falls dies erforderlich ist.This interpolation point 13 is now the starting point for the subsequent scanning process or the area-wide recording of the individual images and their combination with the overall image. Because the base 13 is - as described - the expected focus value at the x- / y-location (sample location) of the base 13, so that the imaging unit 4 with the aid of the control system 6 when approaching the base 13 in x-, y- and The respective individual image stack 7 is then determined at this interpolation point 13. For this purpose, the imaging unit 4 is moved in one and in the other z-direction so that a previously stated number of stack images 8 perpendicular to Level of the sample 1 or of the sample stage 3 (x- / y-plane) respectively of the base plane P is received above and below the specified support point 13. Of course, the step size s (see FIG if necessary.
Beispielsweise könnte man zur Einstellung der Schrittweite s die Tiefenschärfe des eingesetzten Objektives bzw. der Abbildungseinheit 4 nutzen, welche sich aus der numerischen Apertur und der eingesetzten Wellenlänge berechnen lässt. Jedenfalls werden zu jedem angefahrenen x-/y-Wert (Probenort) bzw.For example, one could use the depth of focus of the objective or imaging unit 4 used to set the step size s, which can be calculated from the numerical aperture and the wavelength used. In any case, to each approached x- / y-value (sample location) or
Stützpunkt 13 mehrere Stapelbilder 8 in Gestalt des Einzelbildstapels 7 aufgenommen, wobei der Startpunkt für diesen jeweiligen Einzelbildstapel 7 der aus der Fokuskarte 10 abgeleitete Stützpunkt 13 ist. Auf diese Weise erfährt der Einzelbildstapel 7 eine räumliche Einordnung im Sinne der in Fig. 6 ansatzweise gezeigten dreidimensionalen Einzelbildmatrix.Base 13 a plurality of stack images 8 taken in the form of the image frame stack 7, wherein the starting point for this particular frame stack 7 of the focus map 10 derived base 13 is. In this way, the individual image stack 7 undergoes a spatial classification in the sense of the three-dimensional individual image matrix which is shown as a partial approach in FIG. 6.
Die jeweiligen Stapelbilder 8 lassen sich nun dahingehend auswerten, dass das gewünschte tiefenscharfe Einzelbild in dem Sinne Pixel für Pixel bestimmt wird,
dass wiederum jeder einzelne Pixel 12 des Stapelbildes 8 im Sinne seines Intensitätsmaximums eine Auswertung erfährt.The respective stack images 8 can now be evaluated in such a way that the desired depth-sharp single image is determined pixel by pixel in the sense that that in turn each individual pixel 12 of the stack image 8 undergoes an evaluation in the sense of its intensity maximum.
Allgemein wird jedoch eine Kontrastmessung bei den einzelnen Stapelbildern 8 vorgenommen. Dabei werden die Pixel bzw. Bildpunkte der einzelnen Stapelbilder 7 dahingehend untersucht, wie stark die Hell-Dunkel-Unterschiede im Nachbarbereich sind. Denn unscharfe Bilder verfügen in der Regel über einen geringen Kontrast, also geringe Hell-Dunkel-Unterschiede in eng benachbarten Bildzonen.In general, however, a contrast measurement is made in the individual stack images 8. In this case, the pixels or pixels of the individual stack images 7 are examined in terms of how strong the light-dark differences are in the neighboring area. Because blurred images usually have a low contrast, ie low light-dark differences in closely adjacent image zones.
Wenn man nun die Intensitäten benachbarter Pixel der Stapelbilder 8 auswertet, indem die Intensität des jeweiligen Pixels bzw. die Intensitäten jeweils benachbarter Pixel fouriertransformiert werden, so korrespondieren große Hell- Dunkel-Unterschiede zu Frequenzspektren, die insbesondere hohe Frequenzen beinhalten. Denn benachbarte Pixel mit großen Hell-Dunkel-Unterschieden weisen mehr oder minder steile Übergangsflanken in ihrer Intensität bzw. Stufenübergänge auf, die im Fourierraum zu hohen Frequenzen korrespondieren. Diese hohen Frequenzen lassen sich herausfiltern und sind ein Maß für eine kontrastreiche Wiedergabe.If one evaluates the intensities of adjacent pixels of the stack images 8 by Fourier transforming the intensity of the respective pixel or the intensities of respectively adjacent pixels, then large light-dark differences correspond to frequency spectra, which in particular include high frequencies. Adjacent pixels with large light-dark differences have more or less steep transition edges in their intensity or step transitions, which correspond to high frequencies in the Fourier space. These high frequencies can be filtered out and are a measure for a high-contrast reproduction.
Jedes einzelne Stapelbild 8 lässt sich nun in diesem Sinne dahingehend auswerten, wie hoch seine Hochfrequenzanteile bei der Fouriertransformation der von den Pixeln aufgenommenen Intensitäten ist. Je höher die Frequenzanteile bei dem Stapelbild 8, desto mehr Kontraste liegen vor und um so "schärfer" ist das Stapelbild 8 gestaltet. Aufgrund dieses Kriteriums kann dann das gewünschte ("schärfste") Stapelbild 8 aus dem Einzelbildstapel 7 extrahiert werden.Each individual stack image 8 can now be evaluated in terms of how high its high-frequency components are in the Fourier transformation of the intensities recorded by the pixels. The higher the frequency components in the stack image 8, the more contrasts are present and the "sharper" the stacking image 8 is designed. On the basis of this criterion, the desired ("sharpest") stack image 8 can then be extracted from the individual image stack 7.
Grundsätzlich eröffnet die Erfindung aber auch die Möglichkeit, das Einzelbild E des Einzelbildstapels 7 sektionsweise aus den jeweils kontrastreichsten Be-
reichen der Stapelbilder 8 zusammenzusetzen und nicht auf ein einziges Stapelbild 8 zurückzugreifen, sondern vielmehr das Einzelbild E aus den kontrastreichsten Teilbereichen der jeweiligen Stapelbilder 8 des Einzelbildstapels 7 zusammenzusetzen.Basically, however, the invention also opens up the possibility of selecting the individual image E of the individual image stack 7 in sections from the most contrast-rich the stack images 8 compose and not rely on a single stack image 8, but rather the individual image E from the most contrastive portions of the respective stack images 8 of the image stack 7 compose.
Nicht dargestellt ist die Möglichkeit, die Fokuskarte 10 mit Hilfe einer externen Einrichtung zu erstellen. Denkbar ist es hier, neben der Abtasteinrichtung 4, 5 eine externe zweite optische Abtasteinrichtung zu realisieren. Diese kann beispielsweise auf einen Laserstrahl zurückgreifen, welcher auf die Probe 1 ge- richtet wird und dessen Fokus und folglich Bildgröße - unabhängig von der Abtasteinrichtung 4, 5 - durch entsprechende parallele Verstellung der zweiten Abtasteinrichtung ermittelt wird. - Schließlich sei darauf hingewiesen, dass der beschriebene Prozess der Einzelbilderzeugung selbstverständlich dazu genutzt werden kann, weitere Fokuswerte 11 der Fokuskarte 10 zu erzeugen und so die Fokuskarte 10 mit einem immer dichteren Netzwerk an Fokuswerten 11 zu definieren.Not shown is the ability to create the focus map 10 using an external device. It is conceivable here, in addition to the scanning device 4, 5 to realize an external second optical scanning device. This can, for example, resort to a laser beam which is directed onto the sample 1 and whose focus and consequently image size-independently of the scanning device 4, 5 -is determined by corresponding parallel adjustment of the second scanning device. Finally, it should be pointed out that the described process of individual image generation can of course be used to generate further focus values 11 of the focus map 10 and thus to define the focus map 10 with an increasingly dense network of focus values 11.
Insgesamt versteht es sich, dass die Erstellung der Fokuskarte 10 praktisch zeitgleich mit dem eigentlichen Scanvorgang zur Erfassung der Einzelbildstapel 7 erfolgen kann. D. h., der beschriebene Vorausscan kann entfallen. Ebenso lassen sich die Stapelbilder 8 in Echtzeit zur Bestimmung des Einzelbildes am untersuchten Ort auswerten, so dass der Abtastvorgang letztlich "nur" durch die Dauer des mechanischen Verfahrens der Verstelleinheit 2, 3 bestimmt wird.Overall, it is understood that the creation of the focus map 10 can take place virtually at the same time as the actual scanning process for detecting the individual image stacks 7. This means that the described advance scan can be omitted. Likewise, the stack images 8 can be evaluated in real time for determining the individual image at the location being examined, so that the scanning process is ultimately determined "only" by the duration of the mechanical process of the adjustment unit 2, 3.
Die Stapelbilder 8 der Einzelstapel 7 respektive die gewünschten Einzelbilder E werden regelmäßig mit Überlapp aufgenommen und dann zu dem Gesamtbild zusammengesetzt, wie dies in der Fig. 7 schematisch dargestellt ist. Hier ist jeweils der Überlapp 14i2, 14-ι3 aneinander angrenzender Einzelbilder E-i, E2 und E3 dargestellt. Tatsächlich ist der Überlapp zwischen den Einzelbildern Ei
und E3 mit 14-i3 gekennzeichnet, während der Überlapp zwischen den Einzelbildern Ei und E2 die Bezeichnung 14i2 trägt.The stack images 8 of the individual stacks 7 or the desired individual images E are regularly recorded with an overlap and then combined to form the overall image, as shown schematically in FIG. Here is the overlap 14i 2 , 14-ι 3 of adjacent individual images Ei, E 2 and E 3 shown. In fact, the overlap between the frames is egg and E 3 labeled with 14i 3, while the overlap between the individual images Ei and E 2 is designated 14i. 2
Um nun die Einzelbilder E1, E2 und E3 zu dem gewünschten Gesamtbild verzerrungsfrei zusammensetzen zu können, ist es erforderlich, den jeweiligen Überlapp, beispielsweise 14-ι2 zu analysieren. Dazu wird auf die bereits angesprochene Fig. 7 verwiesen. Die jeweiligen Überlappe 14-ι2 und 14-|3 betragen im Beispielfall jeweils 10 % der Fläche.To be able to assemble the individual images E 1 , E 2 and E 3 to the desired overall image distortion-free, it is necessary to analyze the respective overlap, for example 14-ι 2 . Reference is made to the already mentioned Fig. 7. The respective overlap 14-ι 2 and 14- | 3 in the example case each amount to 10% of the area.
Indem nun der jeweilige Überlapp 1412 und 14-ι3 analysiert wird, können beispielsweise die Bilder E2 und E3 gegenüber dem Einzelbild E1 in dem gemeinsamen Koordinatensystem des Gesamtbildes ausgerichtet werden. Dazu wird der jeweils (streifenförmige) Überlapp 1412 bzw. 1413 im Beispielfall in jeweilige Quadrate 15 unterteilt. Selbstverständlich kann der Überlapp 14 bzw. 14-|2 oder 14i3 auch in rechteckige oder andere Teilbereiche 15 eingeteilt werden. Jedenfalls werden diese Teilbereiche 15 untersucht, indem von jedem zugehörigen Einzelbild E, also im Beispielfall von den Einzelbildern E-i, E2 und E3, im Bereich des Teilbereiches 15 eine Fouriertransformation der zugehörigen Bildwerte bzw. Pixelwerte vorgenommen wird.By now the respective overlap 14 12 and 14-ι 3 is analyzed, for example, the images E 2 and E 3 relative to the single image E 1 are aligned in the common coordinate system of the overall picture. For this purpose, the respective (strip-shaped) overlap 14 12 or 14 13 is subdivided into respective squares 15 in the example case. Of course, the overlap 14 or 14- | 2 or 14i 3 are also divided into rectangular or other sections 15. In any case, these subareas 15 are examined by performing a Fourier transformation of the associated image values or pixel values of each associated individual image E, that is to say in the example case of the individual images Ei, E 2 and E 3 , in the region of the subarea 15.
Tatsächlich korrespondiert ein solcher Teilbereich 15 beispielsweise zu einem Quadrat von 100 x 100 Pixeln. Wenn man nun die dazugehörigen Bildwerte jedes Einzelbildes E in der Steueranlage 6 im betreffenden Teilbereich 15 fouriertransformiert, so lassen sich Rückschlüsse über die jeweilige Textur, also die lokale Verteilung und Variation der Grauwerte im zugehörigen Bildbereich, erhalten. In diesem Zusammenhang macht sich die Erfindung zunutze, dass eine beispielsweise regelmäßige Textur zu einer periodischen (zweidimensionalen) Grauwertverteilung korrespondiert, die mit Hilfe von Sinus- und Kosinus-Funktionen angenähert werden kann. Aus diesen Funktionen lassen sich (zweidimensionale) Fourierkoeffizienten ableiten, die ein Fourierbild
erzeugen. Beispielsweise korrespondiert ein gleichförmiges Muster aus senkrechten Streifen zu waagerecht angeordneten Punkten im Fourierbild.In fact, such a subregion 15 corresponds, for example, to a square of 100 × 100 pixels. If the associated image values of each individual image E are then Fourier-transformed in the control unit 6 in the relevant subarea 15, then conclusions can be drawn about the respective texture, ie the local distribution and variation of the gray values in the associated image area. In this context, the invention makes use of the fact that a regular texture, for example, corresponds to a periodic (two-dimensional) gray value distribution which can be approximated by means of sine and cosine functions. From these functions it is possible to derive (two-dimensional) Fourier coefficients, which are a Fourier image produce. For example, a uniform pattern of vertical stripes corresponds to horizontally arranged dots in the Fourier image.
Nun wird dieses Fourierbild für jeden Teilbereich 15, einerseits im Beispielfall des Überlapps 14-ι2 vom Einzelbild E1 und andererseits vom Einzelbild E2 erzeugt. Dabei kommt es darauf an, die beiden Fourierbilder der Einzelbilder E1 und E2 - im Teilbereich 15 - miteinander zu vergleichen. Als Resultat diesesNow, this Fourier image, for each partial region 15, on the one hand in the example of the overlap 14-ι 2 from the individual image E 1 and the other generated by the individual image E. 2 It is important to compare the two Fourier images of the individual images E 1 and E 2 - in the sub-area 15 - with each other. As a result of this
Vergleiches muss beispielsweise das Einzelbild E2 gegenüber dem EinzelbildFor example, the single image E 2 has to be compared to the single image
Ei (in der Steueranlage 6) verschoben oder gedreht werden, um die Strukturen gegeneinander auszurichten bzw. eine maximale Übereinstimmung der jeweiligen Texturen im Teilbereich 15 zu erreichen. Dieser Einzelbildvergleich findet nun im Sinne einer Kreuzkorrelation statt.Egg (in the control system 6) are moved or rotated to align the structures against each other or to achieve a maximum match of the respective textures in the sub-area 15. This frame comparison now takes place in the sense of a cross-correlation.
Bei dieser Kreuzkorrelation werden die zuvor ermittelten jeweiligen Fourierbilder bzw. deren Fourierkoordinaten bzw. Fourierkoeffizienten je Pixel einer mathematischen Operation unterzogen, die auf ein Ergebnis führt, welches um so größer ist, je größer die Übereinstimmung der jeweiligen Fourierkoordinaten ist. Die Kreuzkorrelation hat Ähnlichkeit mit der Faltung. Einzelheiten zurIn this cross-correlation, the previously determined respective Fourier images or Fourier coefficients per pixel are subjected to a mathematical operation which leads to a result, which is the greater, the greater the match of the respective Fourier coordinates. The cross-correlation is similar to the convolution. Details on
Fouriertransformation und Faltung sowie Kreuzkorrelation finden sich in dem Buch "Bildbearbeitung für Einsteiger" von B. Neumann, Springer Verlag, 2004, auf welches als Referenz ausdrücklich verwiesen sei.Fourier transformation and convolution as well as cross-correlation can be found in the book "Bildbearbeitung für Einsteiger" by B. Neumann, Springer Verlag, 2004, to which reference should be made expressly.
Indem nun die Teilbereiche 15 des jeweiligen Überlapps 1412 und 14i3 hinsichtlich der Übereinstimmung ihrer jeweiligen Texturen untersucht und die zugehörigen Einzelbilder E2 und E3 ggf. eine Verschiebung und Drehung gegenüber dem Einzelbild E1 erfahren, wird ein Gesamtbild aus den Einzelbildern E1, E2, E3 usw. erzeugt, das quasi auf elektronischem Wege etwaige mechanische Ungenauigkeiten bei der Aufnahme der Einzelbilder E ausgleicht.
Grundsätzlich kann die beschriebene Kreuzkorrelation beim Einzelbildvergleich auch in der Weise durchgeführt werden, dass zunächst Einzelbilder E mit einer bestimmten (groben) Auflösung aufgenommen und gegeneinander in der beschriebenen Art und Weise ausgerichtet werden. Dann werden die betreffenden Einzelbilder E noch einmal mit erhöhter Auflösung untersucht und wiederum der beschriebenen Kreuzkorrelation unterzogen.
By now examining the subregions 15 of the respective overlap 14 12 and 14i 3 with regard to the coincidence of their respective textures, and if the associated individual images E 2 and E 3 experience a shift and rotation with respect to the individual image E 1 , an overall image is formed from the individual images E 1 , E 2 , E 3 , etc., which virtually compensates for any mechanical inaccuracies in the recording of the individual images E by electronic means. In principle, the described cross-correlation can also be carried out in the single image comparison in such a way that individual images E are first recorded with a specific (coarse) resolution and aligned with one another in the manner described. Then the respective individual images E are examined again with increased resolution and in turn subjected to the described cross-correlation.
Claims
1. Verfahren zur optischen Abtastung einer Probe (1 ) mit Hilfe einer Verstelleinheit (2, 3) und einer Abtasteinrichtung (4, 5), wonach Einzelbilder (E) aufgenommen und im Sinne eines Rasters zu einem Gesamtbild zusammengesetzt werden, d a d u r c h g e k e n n z e i c h n e t, dass jedes Einzelbild (E) aus einem Einzelbildstapel (7) ermittelt wird, wobei sich der Einzelbildstapel (7) aus einzeln aufgenommenen Stapelbildern (8) zusammensetzt.1. A method for optically scanning a sample (1) by means of an adjusting unit (2, 3) and a scanning device (4, 5), after which individual images (E) are recorded and combined in the sense of a grid to form an overall image, characterized in that each Single image (E) is determined from a single image stack (7), wherein the individual image stack (7) composed of individually recorded stack images (8).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Einzelbild (E) einem der Stapelbilder (8) entspricht oder aus mehreren der Stapelbilder (8) zusammengesetzt ist.2. The method according to claim 1, characterized in that the single image (E) corresponds to one of the stack images (8) or is composed of a plurality of stack images (8).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Einzelbildstapel (7) räumlich mit Hilfe einer Referenzebene (10) in einer vorzugsweise dreidimensionalen Einzelbildmatrix mit Hilfe eines auf der Referenzebene (10) befindlichen Stützpunktes (13) eingeordnet wird.3. The method according to claim 1 or 2, characterized in that the individual image stack (7) spatially by means of a reference plane (10) in a preferably three-dimensional image frame by means of a on the reference plane (10) located support point (13) is arranged.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein Arbeitsbereich festgelegt wird, innerhalb dessen das Gesamtbild aufgenommen wird.4. The method according to any one of claims 1 to 3, characterized in that a work area is set, within which the overall picture is taken.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Referenzebene (10) als Fokuskarte (10) ausgebildet ist und von wenigstens drei Fokuspunkten (11 ) aufgespannt wird.5. The method according to any one of claims 1 to 4, characterized in that the reference plane (10) is designed as a focus card (10) and is spanned by at least three focus points (11).
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Referenzebene (10) zeitlich vor der Abtastung der Einzelbilder (E) ermittelt wird. 6. The method according to any one of claims 1 to 5, characterized in that the reference plane (10) is determined in time before the scanning of the individual images (E).
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der jeweilige Einzelbildstapel (7) mit vorgegebener Anzahl an Stapelbildern (8) senkrecht zur Probenebene oberhalb und unterhalb des zugehörigen Stütz- punktes (13) aufgenommen wird.7. The method according to any one of claims 1 to 6, characterized in that the respective individual image stack (7) with a predetermined number of stack images (8) is taken perpendicular to the sample plane above and below the associated support point (13).
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Referenzebene (10) erstellt wird, indem anhand von ausgewählten Bildpunkten des Gesamtbildes beispielsweise die Bildpunktintensität senkrecht zur Probenebene in Gestalt von Bildintensitätswerten ermittelt wird.8. The method according to any one of claims 1 to 7, characterized in that the reference plane (10) is created by using the basis of selected pixels of the overall image, for example, the pixel intensity is determined perpendicular to the sample plane in the form of image intensity values.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Bildintensitätswerte gewichtet werden.9. The method according to any one of claims 1 to 8, characterized in that the image intensity values are weighted.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass wenigstens ein Bildintensitätswert als Fokuswert je ausgewähltem Bildpunkt extrahiert wird.10. The method according to any one of claims 1 to 9, characterized in that at least one image intensity value is extracted as focus value per selected pixel.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die erzeugten Einzelbilder (E) und/oder Stapelbilder (8) mit Überlapp (14-12, 14-13) aufgenommen werden, wobei der Überlapp (1412, 1413) zur gegenseitigen Ausrichtung analysiert wird. 11. The method according to any one of claims 1 to 10, characterized in that the generated individual images (E) and / or stack images (8) are recorded with overlap (14-12, 14-13), wherein the overlap (14 12 , 14 13 ) is analyzed for mutual alignment.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200510024066 DE102005024066A1 (en) | 2005-05-25 | 2005-05-25 | Method and apparatus for optically scanning a sample |
PCT/EP2005/012014 WO2006125466A1 (en) | 2005-05-25 | 2005-11-10 | Method for optical scanning of a sample |
Publications (1)
Publication Number | Publication Date |
---|---|
EP1886176A1 true EP1886176A1 (en) | 2008-02-13 |
Family
ID=35789236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP05806370A Ceased EP1886176A1 (en) | 2005-05-25 | 2005-11-10 | Method for optical scanning of a sample |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1886176A1 (en) |
DE (1) | DE102005024066A1 (en) |
WO (1) | WO2006125466A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009054704A1 (en) * | 2009-12-15 | 2011-06-16 | Carl Zeiss Imaging Solutions Gmbh | Microscope for recording mosaic image, has evaluation unit adjusted to determine recording time point based on image of partial region of specimen and during relative movement of specimen table and recording unit by specimen images |
DE102011084347B4 (en) * | 2011-10-12 | 2022-07-21 | Carl Zeiss Microscopy Gmbh | Microscope and microscopy method for carrying out a multi-position experiment |
DE102011116734B4 (en) | 2011-10-19 | 2013-06-06 | Carl Zeiss Industrielle Messtechnik Gmbh | Method for determining a focused image distance of an optical sensor of a coordinate measuring machine |
DE102012021726A1 (en) * | 2012-11-06 | 2014-05-08 | Celltool Gmbh | Microscope system for analyzing biological specimen i.e. cell, has navigation screens controlling image acquisition to control optical system such that images are captured above screens, and image sensors capturing images in screens |
DE102014107044B4 (en) | 2014-05-19 | 2016-01-14 | Carl Zeiss Industrielle Messtechnik Gmbh | Improved autofocus method for a coordinate measuring machine and coordinate measuring machine |
DE102015117756A1 (en) | 2015-10-19 | 2017-04-20 | Carl Zeiss Industrielle Messtechnik Gmbh | Method for determining a focused image distance of an optical sensor of a coordinate measuring machine |
DE102023101782B3 (en) | 2023-01-25 | 2024-06-13 | Leica Microsystems Cms Gmbh | Apparatus and method for producing a composite image of a sample |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0743784A2 (en) * | 1995-05-17 | 1996-11-20 | Sharp Kabushiki Kaisha | Still-image taking camera |
US20040114218A1 (en) * | 2001-04-12 | 2004-06-17 | Adam Karlsson | Method in microscopy and a microscope, where subimages are recorded and puzzled in the same coordinate system to enable a precise positioning of the microscope stage |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4673988A (en) | 1985-04-22 | 1987-06-16 | E.I. Du Pont De Nemours And Company | Electronic mosaic imaging process |
US4760385A (en) | 1985-04-22 | 1988-07-26 | E. I. Du Pont De Nemours And Company | Electronic mosaic imaging process |
DE10023005A1 (en) | 2000-05-11 | 2001-11-22 | Micromotion Mobile Datensystem | Method for production of a digital image recording of a spatial object with a fixed depth of focus by superposition of a number of matrix type images of the object |
DE10149357A1 (en) | 2000-10-13 | 2002-04-18 | Leica Microsystems Imaging Sol | Optical object surface profile measurement involves comparing contents of all images per point to determine plane using defined criteria, associating plane number, storing in mask image |
EP1415187A4 (en) * | 2001-08-06 | 2008-03-26 | Bioview Ltd | Image focusing in fluorescent imaging |
GB2385481B (en) | 2002-02-13 | 2004-01-07 | Fairfield Imaging Ltd | Microscopy imaging system and method |
WO2005010495A2 (en) | 2003-07-22 | 2005-02-03 | Trestle Corporation | System and method for generating digital images of a microscope slide |
-
2005
- 2005-05-25 DE DE200510024066 patent/DE102005024066A1/en not_active Withdrawn
- 2005-11-10 EP EP05806370A patent/EP1886176A1/en not_active Ceased
- 2005-11-10 WO PCT/EP2005/012014 patent/WO2006125466A1/en not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0743784A2 (en) * | 1995-05-17 | 1996-11-20 | Sharp Kabushiki Kaisha | Still-image taking camera |
US20040114218A1 (en) * | 2001-04-12 | 2004-06-17 | Adam Karlsson | Method in microscopy and a microscope, where subimages are recorded and puzzled in the same coordinate system to enable a precise positioning of the microscope stage |
Non-Patent Citations (2)
Title |
---|
GOTTESFELD BROWN L.: "A SURVEY OF IMAGE REGISTRATION TECHNIQUES", ACM COMPUTING SURVEYS, ACM, NEW YORK, NY, US, US, vol. 24, no. 4, 1 December 1992 (1992-12-01), pages 325 - 376, XP002942558, ISSN: 0360-0300 * |
See also references of WO2006125466A1 * |
Also Published As
Publication number | Publication date |
---|---|
WO2006125466A1 (en) | 2006-11-30 |
DE102005024066A1 (en) | 2006-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102011114500B4 (en) | microscope device | |
EP2870500B1 (en) | Method for preparing for and carrying out the recording of image stacks of a sample from various orientation angles | |
EP1436658B1 (en) | Method and device for optically examining an object | |
DE102011084102B4 (en) | Hardness Tester | |
DE102005024063B3 (en) | Method for optical scanning sample involves recording of individual image whereby in each case, it is evaluated by means of adaptive sensor unit with respect to contrast totally or partly | |
EP2437027A2 (en) | Device and method for three dimensional optical mapping of a sample | |
WO2006125466A1 (en) | Method for optical scanning of a sample | |
DE102011084095A1 (en) | Hardness Tester | |
WO2011038817A1 (en) | Method for generating a microscopic image and microscope | |
EP3123228A1 (en) | Confocal microscope with aperture correlation | |
EP3692409B1 (en) | High-resolution confocal microscope | |
DE102007047468A1 (en) | Method and arrangement for optically detecting an illuminated sample | |
DE102019107267A1 (en) | Process for high-resolution scanning microscopy | |
WO2012156150A1 (en) | Method and device for defining a z-range in a sample, in which a z-stack of the sample is to be recorded by means of a microscope | |
EP3628995A1 (en) | Calibration template and calibration method for geometric calibration of a plurality of cameras of a camera array | |
DE102005032354B4 (en) | Method and device for image acquisition with extended depth of field | |
EP1164405A2 (en) | Method and device to generate a three dimensional object | |
DE112014006356B4 (en) | A method for improving the image quality of a scanning charged particle microscope and scanning carrier particle microscope | |
DE10359780B4 (en) | Method for optical image acquisition | |
DE10241290A1 (en) | Method and device for the optical examination of an object | |
WO2019149666A1 (en) | Method for imaging a sample by means of a light-sheet microscope | |
EP4227636B1 (en) | Determination of depth values of a surface area of a workpiece | |
DE102005036421B4 (en) | Method for automatically determining the exact position of registration marks | |
EP1702224B1 (en) | Device and method for adjusting two object lenses in a 4pi-system | |
DE4204268A1 (en) | Microscopic observation of surface structures - using microscope with optical focussing provided at different surface level depths to give values stored and combined to give three=dimensional image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20071220 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR |
|
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20090709 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED |
|
18R | Application refused |
Effective date: 20110129 |