EP2047427A2 - Mikroskopbildverarbeitungsverfahren, computer, computerprogramm und datenträger - Google Patents

Mikroskopbildverarbeitungsverfahren, computer, computerprogramm und datenträger

Info

Publication number
EP2047427A2
EP2047427A2 EP07786281A EP07786281A EP2047427A2 EP 2047427 A2 EP2047427 A2 EP 2047427A2 EP 07786281 A EP07786281 A EP 07786281A EP 07786281 A EP07786281 A EP 07786281A EP 2047427 A2 EP2047427 A2 EP 2047427A2
Authority
EP
European Patent Office
Prior art keywords
image
microscope
microscope image
processing method
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07786281A
Other languages
English (en)
French (fr)
Inventor
Helmut ZÖPHEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss MicroImaging GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss MicroImaging GmbH filed Critical Carl Zeiss MicroImaging GmbH
Publication of EP2047427A2 publication Critical patent/EP2047427A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Definitions

  • the invention relates to a microscope image processing method for execution on a computer comprising a working memory having a given available storage capacity and a mass storage having a higher access time than the working memory for processing a digital microscope image consisting of pixels n-dimensionally , is with n> 1, consists of at least two fields and has a size that exceeds the available memory capacity of the working memory, by applying an arithmetic operation on at least a part of the microscope image.
  • Such methods are used in the processing of digital microscope images, which are obtained with the aid of a digital camera of a microscope.
  • An example is a microscope image of a tissue sample taken with a microscope at a magnification chosen to be large enough to require multiple partial images to obtain a microscopic image of the entire tissue sample at the desired magnification.
  • a so-called mosaic image an arithmetic operation, such as determining the average brightness, in particular in a variety of sub-areas to be applied.
  • US Pat. No. 4,673,988 A1 describes a method for producing such an electronic mosaic image with a microscope.
  • the mosaic image has a high resolution in one wide field of view.
  • the microscope comprises an image recording medium next to a first camera.
  • the sample from which the mosaic image is to be taken is moved in a raster under the control of the image pickup means and individual partial images are taken at previously calculated positions, which are subsequently assembled into a microscope image. This ensures that the individual partial images do not overlap.
  • the entire microscope image is loaded into the main memory of the computer and then processed by a processor of the computer.
  • the microscope image is partially outsourced to the mass storage. Such a procedure is called swapping or paging.
  • the image parts must first be loaded back into the main memory.
  • a disadvantage of such methods is that the outsourcing is controlled solely by the operating system of the computer, which can lead to image data being held in the working memory which could be specifically outsourced. Since the mass storage has a higher access time than the main memory and a swapping or swapping is time-consuming, which slows down the processing of the microscope image, which is disadvantageous.
  • a microscope image may be so large that the address space of the processor is insufficient to load the microscope image into the working memory, so that the microscope image can not be held in memory even by relocation or outsourcing by the operating system.
  • the partial images are processed individually in known methods. This has the consequence that either the information about the adjacent partial images is not taken into account, so that inaccuracies occur at the edge, or that special algorithms have to be worked out to solve this problem of inaccuracies. Often these inaccuracies are simply accepted. Then separate algorithms for solving the accuracy problems at the edge have to be found.
  • the invention solves the problem by a computer comprising a digital mass storage and a digital random access memory, wherein the computer is characterized in that it Execution of a method according to the invention is set up.
  • the invention solves the problem by means of a data carrier which comprises software code which can be loaded into a digital main memory of a computer and codes a method according to the invention.
  • An advantage of a method according to the invention is that microscope images can be processed that are so large that they exceed the address space of the processor.
  • the invention makes it possible to use the computer for processing the microscope image in the first place. It is also advantageous that the interaction of the elements of the computer is controlled by the invention so that large microscope images can be processed much faster. It is also advantageous that increased accuracy at the edges of areas of interest of the microscope image can be achieved.
  • a digital microscope image consists of a plurality of pixels (pixels) that are indexed, that is, that they have multiple indices.
  • the number of indices necessary to uniquely describe a pixel is the dimension n of the microscope image.
  • the totality of all the pixels that coincide in all but one index is hereafter called a line of the microscope image.
  • a line of the microscope image In two-dimensional microscope images, vertically represented rows are called columns.
  • the size of microscope images and sub-images is understood to mean their quantities in bytes.
  • the size of the microscope image exceeds the storage capacity of the main memory, in particular when the microscope image can only be loaded into the main memory with at least partial transfer or removal or exceeds the address space of the processor.
  • a working memory is understood in particular to be a volatile random access memory (RAM).
  • RAM volatile random access memory
  • non-volatile memory such as read-only memory is meant to be mass storage (Read OnIy Memory, ROM), hard drives, flash memory or magneto-optical memory understood.
  • the partial images are, in particular, simply contiguous pixel areas of the digital microscope image, where "simply connected” is understood according to mathematical use: “connected” means that for every two pixels of the partial image a path connecting them is always exclusively via mutually adjacent pixels of the partial image can be found. "Simply contiguous” means that the partial image has no "holes”, ie that the partial image has, in particular, an edge and all the pixels within the edge belong to the partial image.
  • Partial images are formed, for example, when an object is recorded at different locations with a camera of a microscope by moving the object between two images relative to the camera, for example by moving the object on a scanning table.
  • the positions of the partial images relative to one another are then known in absolute spatial coordinates.
  • the partial images are recorded so that they do not overlap each other.
  • the partial images are recorded so that the number of pixels of a partial image in which it overlaps with another partial image is smaller than 15% of the total number of pixels.
  • the method is particularly suitable if the computing operation is to be applied not only to a part of the microscope image but to the entire microscope image. In this case, a particularly large number of pixels are to be included in the arithmetic operation, so that a particularly great time advantage results during processing. If it is a two-dimensional microscope image, the partial images are preferably rectangular. Such partial images can be processed particularly easily.
  • an arithmetic operation should only be present if a numerical value changes due to the arithmetic operation.
  • the identity operation is not considered an arithmetic operation.
  • the provision of the microscope image in the mass memory preferably takes place in that an adjusting unit of the microscope, for example a scanning table, is moved to receive the microscope images in a predetermined pattern at each raster position with a camera of the microscope
  • Partial image of a sample attached to the adjustment unit is recorded and the partial images are provided in the mass memory of the computer.
  • the subpictures captured by the camera are loaded onto a hard disk drive of the computer via a data connection.
  • the mass storage does not need to be spatially mapped to the computer. It is also possible that the microscope image is present in the mass memory of another computer to which the computer has access.
  • An image section is characterized in the context of the present description by a set of pixels having predetermined coordinates. This means that either the individual indices of the pixels of the microscope image lie at predetermined intervals or else the pixels lie within an interval given in absolute space or time coordinates.
  • the image sections are preferably simply contiguous pixel areas. The term "simply connected" has been explained above. For example, if the microscope image is a two-dimensional microscope image, an image detail may be a rectangle. If it is a three-dimensional microscope image, an image section can be a cuboid, for example. Rectangular or cuboid image sections are advantageously particularly easy to work.
  • the image sections are defined automatically. Criteria for selecting image sections will be discussed below.
  • the pixel of a partial image is selected. For example, the pixel located in the sub-image that is being edited last is used by overwriting already-filled pixels in the image section. Alternatively, the average value is calculated from all the pixels that are in the image section and in one of the partial images.
  • the filled image section that is to say the set of all pixels of the partial images which have the predetermined coordinates of the image section, is then provided in the working memory.
  • the filled image section can be stored completely, ie without relocation or removal from the mass memory, into main memory. So a particularly fast image processing reached.
  • the image detail is selected so that the application of the arithmetic operation on this image detail and the storage of the image detail result in the main memory without a transfer or removal from the mass storage is possible. This further increases the speed of the process.
  • Such a picture section is, for example, larger than 500 megabytes.
  • each of the image sections has an edge with a width of at least one pixel, for example 2 or 3 pixels.
  • the border is an area of an image section that overlaps with other image sections.
  • the edge may also be a
  • Width of up to 256 pixels or more.
  • Neighborhood operations are, for example, convolutions and morphological operations.
  • the extent of the reduced by the edge image section is substantially larger than the edge itself, for example by a factor of 4.
  • the decomposition of the microscope image into at least two image sections is a partitioning of the microscope image. Partitioning is understood as disassembly into disjoint parts, which together make up the entire microscope image. After partitioning is so each pixel of the microscope image and each field is assigned to exactly one image detail.
  • step (c2) for the filled image section, forming an intersection of pixels with the at least one region. If several regions exist, this intersection is the totality of all the pixels which lies both in the filled image section and thus in at least one of the regions.
  • step (d) provision is made of the filled image section and / or the intersection in the working memory. If the filled image section or the
  • step (e) applying the arithmetic operation to the pixels of the intersection so as to produce an image detail result.
  • step (f) the steps (c), (c2), (d) and (e) are repeated for all image sections and in a step (g) all image section results are combined to form an overall result.
  • the detection of the at least one area takes place in a later step, for example before step (d).
  • the arithmetic operation is applied individually to the respective intersections of the regions with the image detail, so that more than one image section result is produced for each image section.
  • a region is preferably a simply contiguous pixel region of the digital microscope image, where "simply connected" is to be understood as described above.
  • the detection of the at least one area can be, for example, reading in after a dialogue with the user.
  • the user is enabled, for example by means of a graphical user interface, to select an area from the microscope image.
  • the detection of the at least one area takes place before the definition of the image sections.
  • the following steps then result instead of the steps mentioned in claim 1: (a) provision of the microscope image in the mass memory, (a2) detection of at least one area, (b) disassembly of the at least one area in min.
  • An advantage of this method is that only those pixels for application of the arithmetic operation have to be loaded into the working memory which are located in the region of interest, which increases the speed of the method.
  • areas of the microscope image can be processed as long as the areas are sufficiently small to be addressed by the processor.
  • N 3, that is to say that the digital microscope image is a three-dimensional microscope image.
  • An example of such three-dimensional microscope images are tomograms that have been performed with a microscope.
  • Another example is time sequences of microscope images, where the third dimension is time.
  • At least one of the image sections is an entire line of the microscope image.
  • the arithmetic operation to be used may be a point operation, a neighborhood operation, an image transformation and / or a Fourier transformation.
  • the arithmetic operation may be the calculation of a measured value. Measured values are, for example, the sum of the gray values, the sum of the squares of the gray values, the minimum and the maximum of the gray values, the texture and the area over the area.
  • FIG. 1 is a schematic representation of a computer
  • FIG. 2 shows a schematic representation of a two-dimensional microscope image
  • FIG. 3 a shows a schematic representation of a two-dimensional microscope image which has four partial images and is divided into nine image sections
  • FIG. 3b shows a filled-in image detail which arises from the first image detail of the microscope image according to FIG. 3a
  • FIG. 3c shows the filled image detail which emerges from the second image detail of the microscope image according to FIG. 3a
  • FIG. 3b shows a filled-in image detail which arises from the first image detail of the microscope image according to FIG. 3a
  • FIG. 3c shows the filled image detail which emerges from the second image detail of the microscope image according to FIG. 3a
  • FIG. 3b shows a filled-in image detail which arises from the first image detail of the microscope image according to FIG. 3a
  • FIG. 3c shows the filled image detail which emerges from the second image detail of the microscope image according to FIG. 3a
  • FIG. 4 shows a further schematic representation of a " microscope image, which consists of four partial images and is divided into five image sections, which comprise entire lines of the microscope image, and they show
  • FIGS. 5 and 6 show flow diagrairanes of methods according to the invention.
  • FIG. 1 schematically shows a computer 10 which, in addition to a screen 12, has a processor 14 which is connected to a working memory 16 and a mass memory 18.
  • the working memory 16 has a maximum storage capacity. During operation of the computer 10, a portion of the maximum storage capacity is needed, for example, for processes of an operating system of the computer 10, so that during operation of the computer 10, the working memory 16 has an available storage capacity which is smaller than its maximum storage capacity.
  • the available storage capacity of the working memory 16 is available for carrying out a method according to the invention.
  • the main memory 18 has a significantly higher, for example fifty times, storage capacity than the main memory.
  • the computer 10 can be connected to a network to access mass storage of other computers. Via a data connection 15, the computer 10 can be connected to a camera 17 of a microscope 19. The microscope and the computer 10 then form a microscopy system. To record a microscope image, the computer 10 sends a control pulse via a data cable 21 to a stepper motor 22, which then moves an adjustment unit 23. At the adjusting unit 23, a sample 24 is mounted, which moves relative to the camera 17 due to its. If a preset position is reached, the computer 10 sends a control pulse to the camera 17, which then receives a partial image of the sample 24.
  • FIG. 2 schematically shows pixels Pi, j of a microscope image 20.
  • the pixels are arranged in a lines which run horizontally and b lines which run vertically and are therefore also referred to as columns.
  • Each pixel Pi, j can be uniquely specified by specifying a first index i (line number) and a second index j (column number).
  • each pixel Pi, j can be uniquely determined by specifying row and column, that is, first index i and second index j.
  • the microscope image 20 has a size that exceeds the available storage capacity of the working memory 16.
  • the microscope image 20 is initially provided in the mass memory 18. In the present case, this is done by the partial images of the microscope image 20 being taken by the camera 17 of the microscope 19 and being loaded via the data connection 15 onto a hard disk drive as a mass memory 18.
  • the microscope image is decomposed into nine image sections BAi, BA 2 , BA 3 ,... BA 9 whose boundaries are drawn in dashed lines in FIG.
  • the image sections BA k are chosen so that the desired arithmetic operation is feasible. If, for example, a line-based arithmetic operation is to be performed on the microscope image, then the image sections are selected such that they comprise entire lines, eg a line.
  • the image sections BA k drawn in FIG. 3 a are disjunctive and the combination of all image sections BA * encompasses all pixels of the microscope image 20, so that it is a partitioning of the microscope image 20 by the image sections BA k .
  • pixels are determined which lie in one of the image sections, for example in the first image section BAi, and in at least one of the partial images TBi to TB 4 .
  • FIG. 3a pixels exist from the first partial image TBi and from the second partial image TB 2 , which are located in the image section BA x .
  • the pixels lying in the image section BAi and in one of the partial images are shown schematically in FIG. 3b. These pixels form a first filled image section and are loaded into the working memory 16.
  • pixels are located both in the first field TBi, as also in the second partial image TB 2 - one of the pixels is selected in each case, in the present case it is the pixel of the first partial image TBi.
  • the filled image section therefore does not include all the pixels of the second partial image TB 2 , although the second partial image TB 2 is enclosed by the first image segment BA 1 .
  • the arithmetic operation is applied to the pixels in the first filled image section BAi, so that a first image detail result is obtained.
  • the step of determining all the pixels lying in one of the image sections and in at least one of the partial images is repeated for a next image section, for example for the second image section BA 2 .
  • the pixels lying in the image section BA 2 and in at least one of the partial images are shown in FIG. 3 c and form a second filled image detail.
  • This second filled image section is again provided in the main memory 16.
  • the arithmetic operation is applied to the pixels lying in the second filled image section, so that a second image detail result is obtained.
  • FIG. 4 shows the microscope image 20, in which image sections BAi to BA 5 are selected such that they comprise entire lines of the microscope image. The method is also carried out in the image sections thus selected as described above. The decomposition shown in FIG. 4 is used when a line-based arithmetic operation is to be applied to the microscope image 20.
  • FIG. 5 shows a flowchart of a method according to the invention, as described above in connection with FIGS. 3a to 3c.
  • the microscope image consisting of N TB fields is provided in the mass storage.
  • the microscope image is decomposed or partitioned into N BA image sections.
  • This union contains all the pixels that are contained both in the image section BAk and in one of the partial images TBi. If a pixel exists in several partial images, then only the pixel of a partial image is used. Alternatively, an average value is calculated from the multiple pixels. Subsequently, the arithmetic operation is applied to this union quantity, so that an image detail E ⁇ results.
  • FIG. 1 A flowchart of a further method according to the invention is shown in FIG.
  • the microscope image 20, which consists of N TB partial images is provided in the mass memory.
  • a further step (a2) at least one region G p is detected. This is done, for example, by entering a region from a user of the computer via a graphical user interface, for example by means of a mouse. In total, N G areas are recorded.
  • the microscope image 20 is decomposed or partitioned into N BA image sections BA k .
  • a first inner loop k for example, the first image segment BA
  • the intersection of the 1-th partial image TB with this image segment BA K is formed for a fixed image segment BA.
  • duplicate pixels are removed in a step not shown, as described above for FIG.
  • the intersection of the k-th image section BA k with all partial images is obtained, that is, the totality of all pixels, which lies both in the k-th image section and in at least one of the partial images.
  • This intersection is the filled image section.
  • the filled image detail is shown schematically in FIG. 3b.
  • intersection results E k , p are combined to form an image section result E k .
  • image section results E k are then combined to form an overall result for the image.
  • intersection results E k (P are combined into region results E p .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die Erfindung betrifft ein Mikroskopbildverarbeitungsverfahren zur Ausführung auf einem Computer, der einen Arbeitsspeicher mit einer vorgegebenen verfügbaren Speicherkapazität und einen Massenspeicher, der eine höhere Zugriffszeit aufweist als der Arbeitsspeicher, umfasst, zur Verarbeitung eines digitalen Mikroskopbilds, das aus Pixeln besteht, n-dimensional ist mit n > 1, aus zumindest zwei Teilbildern besteht und eine Größe aufweist, die die verfügbare Speicherkapazität des Arbeitsspeichers übersteigt, durch Anwenden einer Rechenoperation auf zumindest einen Teil des Mikroskopbilds mit den folgenden Schritten: (a) Bereitstellen des Bilds im Massenspeicher, (b) Zerlegen des Mikroskopbilds in mindestens zwei Bildausschnitte, die in den Arbeitspeicher ladbar sind und eine Dimension m haben, wobei m ≤ n gilt, (c) für einen Bildausschnitt Bestimmen aller Pixel, die in dem Bildausschnitt und in mindestens einem der Teilbilder liegen, so dass ein gefüllter Bildausschnitt entsteht, (d) Bereitstellen des gefüllten Bildausschnitts im Arbeitsspeicher (e) Anwenden der Rechenoperation auf die im gefüllten Bildausschnitt liegenden Pixel, so dass ein Bildausschnittergebnis entsteht, (f) Wiederholen der Schritte (c), (d) und (e) für alle Bildausschnitte und (g) Zusammenfügen aller Bildausschnittergebnisse zu einem Gesamtergebnis.

Description

BESCHREIBUNG
Mikroskopbildverarbeitungsverfahren,
Computer, Computerprogramm und Datenträger
Die Erfindung betrifft ein Mikroskopbildverarbeitungsverfahren zur Ausführung auf einem Computer, der einen Arbeitsspei- eher mit einer vorgegebenen verfügbaren Speicherkapazität und einen Massenspeicher, der eine höhere Zugriffszeit aufweist als der Arbeitsspeicher, umfasst, zur Verarbeitung eines digitalen Mikroskopbilds, das aus Pixeln besteht, n-dimensional. ist mit n > 1, aus zumindest zwei Teilbildern besteht und ei- ne Größe aufweist, die die verfügbare Speicherkapazität des Arbeitsspeichers übersteigt, durch Anwenden einer Rechenoperation auf zumindest einen Teil des Mikroskopbilds.
Derartige Verfahren werden bei der Verarbeitung von digitalen Mikroskopbildern eingesetzt, die mit Hilfe einer Digitalkame- ra eines Mikroskops gewonnen werden. Ein Beispiel ist ein Mikroskopbild einer Gewebeprobe, die mit einem Mikroskop in einer Vergrößerung aufgenommen wurde, die so groß gewählt ist, dass mehrere Teilbilder notwendig sind, um ein Mikroskopbild der gesamten Gewebeprobe in der gewünschten Vergrößerung zu erhalten. Auf dieses in Teilbildern vorliegende digitale Mikroskopbild, ein so genanntes Mosaik-Bild, soll eine Rechenoperation, wie beispielsweise das Ermitteln der mittleren Helligkeit, insbesondere in einer Vielzahl von Teilbereichen, angewendet werden.
In der US 4 673 988 Al ist ein Verfahren zum Erstellen eines solchen elektronischen Mosaik-Bilds mit einem Mikroskop beschrieben. Das Mosaik-Bild weist eine hohe Auflösung in einem breiten Bildfeld auf. Zur Aufnahme des Mosaik-Bilds umfasst das Mikroskop neben einer ersten Kamera ein Bildaufnahmemit- tel. Die Probe, von der das Mosaik-Bild aufzunehmen ist, wird unter Kontrolle durch das Bildaufnahmemittel in einem Raster bewegt und an vorab berechneten Positionen werden einzelne Teilbilder aufgenommen, die anschließend zu einem Mikroskopbild zusammengesetzt werden. Dadurch wird erreicht, dass sich die einzelnen Teilbilder nicht überschneiden.
Bei bekannten Verfahren zur Verarbeitung eines digitalen Mikroskopbilds wird das gesamte Mikroskopbild in den Arbeitsspeicher des Computers geladen und dann von einem Prozessor des Computers verarbeitet. Da das gesamte Mikroskopbild aber zu groß ist, um als Ganzes in den gegebenenfalls virtuellen Arbeitsspeicher des Computers geladen werden zu können, wird das Mikroskopbild teilweise wieder auf den Massenspeicher ausgelagert. Ein solches Verfahren wird Umlagerung oder Auslagerung genannt (engl, swapping bzw. paging) . Damit die Rechenoperation durchgeführt werden kann, müssen die Bildteile vorher wieder in den Arbeitsspeicher geladen werden.
Nachteilig an solchen Verfahren ist, dass das Auslagern allein vom Betriebssystem des Computers gesteuert wird, was dazu führen kann, dass Bilddaten im Arbeitsspeicher gehalten werden, die gezielt ausgelagert werden könnten. Da der Massenspeicher eine höhere Zugriffszeit als der Arbeitsspeicher aufweist und ein um- oder Auslagern zeitintensiv ist, verlangsamt das die Verarbeitung des Mikroskopbilds, was nachteilig ist.
Des Weiteren kann ein Mikroskopbild so groß sein, dass der Adressraum des Prozessors nicht ausreicht, um das Mikroskopbild in den Arbeitsspeicher zu laden, so dass das Mikroskop- bild selbst durch Um- oder Auslagern durch das Betriebssystem nicht im Arbeitsspeicher gehalten werden kann.
Wenn das Mikroskopbild so groß ist, dass es nicht vollständig im Arbeitsspeicher gehalten werden kann, werden die Teilbilder bei bekannten Verfahren einzeln verarbeitet. Dies hat zur Folge, dass entweder die Information über die benachbarten Teilbilder nicht berücksichtigt wird, so dass Ungenauigkeiten am Rand auftreten, oder dass zur Lösung dieses Problems der Ungenauigkeiten spezielle Algorithmen erarbeitet werden müssen. Oft werden diese Ungenauigkeiten einfach akzeptiert. Es müssen dann gesonderte Algorithmen zur Lösung der Genauigkeitsprobleme am Rand gefunden werden.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben eines Computers zur Verarbeitung eines digitalen Mikroskopbilds vorzuschlagen, dass das Zusammenwirken der Komponenten des Computers so verbessert, dass es eine erhöhte Geschwindigkeit beim Anwenden einer Rechenoperation auf das digitale Mikroskopbild erlaubt.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen von Anspruch 1. Gemäß einem zweiten Aspekt löst die Erfindung das Problem durch einen Computer, der ei- nen digitalen Massenspeicher und einen digitalen Arbeitsspeicher umfasst, wobei der Computer dadurch gekennzeichnet ist, das er zum Ausführen eines erfindungsgemäßen Verfahrens eingerichtet ist . Gemäß einem dritten Aspekt löst die Erfindung die Aufgabe durch einen Datenträger, der Softwarecode um- fasst, der in einen digitalen Arbeitsspeicher eines Computers ladbar ist und ein erfindungsgemäßes Verfahren kodiert.
Vorteilhaft an einem erfindungsgemäßen Verfahren ist, dass Mikroskopbilder bearbeitbar werden, die so groß sind, dass sie den Adressraum des Prozessors übersteigen. Für solche Mikroskopbilder ermöglicht die Erfindung überhaupt erst den Einsatz des Computers zur Bearbeitung des Mikroskopbilds. Vorteilhaft ist zudem, dass durch die Erfindung das Zusammen- wirken der Elemente des Computers so gesteuert wird, dass große Mikroskopbilder deutlich schneller verarbeitet werden können. Vorteilhaft ist auch, dass eine erhöhte Genauigkeit an den Rändern von interessierenden Gebieten des Mikroskopbilds erreichbar ist.
Ein digitales Mikroskopbild besteht aus einer Vielzahl von Pixel (Bildelementen) , die indiziert sind, das heißt, dass sie mehrere Indices aufweisen. Die Anzahl der Indices, die notwendig sind, um ein Pixel eineindeutig zu beschreiben, ist die Dimension n des Mikroskopbildes.
Die Gesamtheit aller Pixel, die in allen bis auf einen Index übereinstimmt, wird im Folgenden eine Zeile des Mikroskopbilds genannt. Bei zweidimensionalen Mikroskopbildern werden vertikal dargestellte Zeilen als Spalten bezeichnet.
Im Rahmen der folgenden Beschreibung wird unter der Größe von Mikroskopbildern und Teilbildern deren Größen in Byte verstanden. Die Größe des Mikroskopbilds übersteigt die Spei- cherkapazität des Arbeitsspeichers insbesondere dann, wenn das Mikroskopbild nur unter zumindest teilweisem Um- oder Auslagern in den Arbeitsspeicher geladen werden kann oder den Adressraum des Prozessors übersteigt.
Unter einem Arbeitsspeicher wird insbesondere ein flüchtiger digitaler Speicher mit wahlfreiem Zugriff (Random Access Memory, RAM) verstanden. Unter einem Massenspeicher werden beispielsweise nicht-flüchtige Speicher wie Nur-Lese-Speicher (Read OnIy Memory, ROM) , Festplatten, Flash-Speicher oder magneto-optische Speicher verstanden.
Die Teilbilder sind insbesondere einfach zusammenhängende Pi- xelbereiche des digitalen Mikroskopbilds, wobei „einfach zusammenhängend" entsprechend dem Gebrauch in der Mathematik verstanden wird: „zusammenhängend" heißt, dass für je zwei Pixel des Teilbilds stets ein sie verbindender Weg ausschließlich über jeweils einander benachbarte Pixel des Teil- bilds gefunden werden kann. „Einfach zusammenhängend" bedeutet, dass das Teilbild keine „Löcher" aufweist, dass also das Teilbild insbesondere einen Rand aufweist und alle Pixel innerhalb des Rands zum Teilbild gehören.
Es ist möglich, dass die Teilbilder einander überlappen.
Teilbilder entstehen beispielsweise dann, wenn ein Objekt an verschiedenen Stellen mit einer Kamera eines Mikroskops aufgenommen wird, indem zwischen zwei Aufnahmen das Objekt relativ zur Kamera bewegt wird, zum Beispiel dadurch, dass das Objekt auf einem Scanningtisch bewegt wird. Die Positionen der Teilbilder relativ zueinander sind dann in absoluten Raum-Koordinaten bekannt. In einem alternativen Verfahren werden die Teilbilder so aufgenommen, dass sie einander nicht überlappen. In einem weiteren alternativen Verfahren werden die Teilbilder so aufgenommen, dass die Anzahl der Pixel eines Teilbilds, in denen es sich mit einem anderen Teilbild überlappt, kleiner ist als 15% der Gesamtzahl an Pixel.
Das Verfahren ist besonders geeignet, wenn die Rechenoperati- on nicht nur auf einen Teil des Mikroskopbilds, sondern auf das gesamte Mikroskopbild angewendet werden soll. In diesem Fall sind besonders viele Pixel in die Rechenoperation einzu- beziehen, so dass sich ein besonders großer Zeitvorteil bei der Bearbeitung ergibt. Wenn es sich um ein zweidimensionales Mikroskopbild handelt, so sind die Teilbilder bevorzugt rechteckig. Derartige Teilbilder lassen sich besonders einfach verarbeiten.
Im Rahmen dieser Beschreibung soll insbesondere nur dann eine Rechenoperation vorliegen, wenn sich aufgrund der Rechenoperation ein Zahlenwert ändert. Die Identitätsoperation wird nicht als Rechenoperation betrachtet.
Das Bereitstellen des Mikroskopbilds im Massenspeicher geschieht bevorzugt dadurch, dass eine Verstelleinheit des Mikroskops, beispielsweise ein Scanningtisch, zur Aufnahme der Mikroskopbilder in einem vorgegebenen Raster bewegt wird, an jeder Rasterposition mit einer Kamera des Mikroskops ein
Teilbild einer an der Verstelleinheit angebrachten Probe aufgenommen wird und die Teilbilder im Massenspeicher des Computers bereitgestellt werden. Die von der Kamera aufgenommenen Teilbilder werden beispielsweise über eine Datenverbindung auf ein Festplattenlaufwerk des Computers geladen. Der Massenspeicher muss dem Computer jedoch nicht räumlich zugeordnet sein. Es ist auch möglich, dass das Mikroskopbild im Massenspeicher eines anderen Rechners vorhanden ist, auf den der Computer Zugriff hat.
Ein Bildausschnitt wird im Rahmen der vorliegenden Beschreibung durch eine Menge an Pixeln charakterisiert, die vorbestimmte Koordinaten aufweisen. Das heißt, dass entweder die einzelnen Indices der Pixel des Mikroskopbilds in vorbestimm- ten Intervallen liegen oder aber die Pixel innerhalb eines in absoluten Raum- bzw. Zeit-Koordinaten angegebenen Intervalls liegen. Die Bildausschnitte sind bevorzugt einfach zusammenhängende Pixelbereiche. Der Begriff „einfach zusammenhängend" ist vorstehend erläutert worden. Wenn es sich bei dem Mikroskopbild um ein zweidimensionales Mikroskopbild handelt, kann ein Bildausschnitt beispielsweise ein Rechteck sein. Handelt es sich um ein dreidimensionales Mikroskopbild kann ein Bildausschnitt beispielsweise ein Quader sein. Rechteckige bzw. quaderförmige Bildausschnitte sind vorteilhafterweise besonders einfach bearbeitbar.
Die Bildausschnitte werden automatisch festgelegt. Auf Krite- rien bei der Auswahl von Bildausschnitten wird weiter unten eingegangen.
Beim Bestimmen aller Pixel, die in einem der Bildausschnitte und in mindestens einem der Teilbilder liegen, so dass ein gefüllter Bildausschnitt besteht, wird in dem Fall, dass ein Pixel in mehreren Teilbildern liegt, das Pixel eines Teilbilds ausgewählt. Beispielsweise wird das Pixel verwendet, das in dem Teilbild liegt, das als letztes bearbeitet wird, indem schon gefüllte Pixel im Bildausschnitt überschrieben werden. Alternativ wird aus allen Pixeln, die im Bildausschnitt und in einem der Teilbilder liegen, der Mittelwert errechnet. Der gefüllte Bildausschnitt, das heißt die Menge aller Pixel der Teilbilder, die die vorgegebenen Koordinaten des Bildausschnitts aufweisen, ist danach in dem Arbeitsspei- eher bereitgestellt.
Bevorzugt wird mindestens einer der Bildausschnitte - bevorzugt aber werden alle Bildausschnitte - maximal so groß gewählt, dass dann, wenn der gefüllte Bildausschnitt in den Ar- beitsspeicher geladen ist, ein wahlfreier Zugriff auf den Bildausschnitt im Arbeitsspeicher möglich ist. Das heißt, dass der gefüllte Bildausschnitt vollständig, d.h. ohne Um- oder Auslagern auf den Massenspeicher, in Arbeitsspeicher abgelegt werden kann. So wird eine besonders schnelle Bildbear- beitung erreicht. Besonders bevorzugt wird der Bildausschnitt so gewählt, dass auch das Anwenden der Rechenoperation auf diesen Bildausschnitt und das Ablegen des Bildausschnittergebnisses im Arbeitsspeicher ohne ein Um- oder Auslagern auf den Massenspeicher möglich ist. So wird die Geschwindigkeit des Verfahrens weiter erhöht.
Um eine besonders gute Auslastung des Arbeitsspeichers zu erreichen, wird bevorzugt mindestens einer der Bildausschnitte - bevorzugt aber werden alle Bildausschnitte - mindestens so groß gewählt, dass der bzw. jeder Bildausschnitt mehr als 30% der bei Beginn des Verfahrens verfügbaren Speicherkapazität des Arbeitsspeichers einnimmt. Ein solcher Bildausschnitt ist beispielsweise größer als 500 Megabyte.
In einem bevorzugten Verfahren weist jeder der Bildausschnitte einen Rand mit einer Breite von mindestens einem Pixel, beispielsweise 2 oder 3 Pixel auf. Der Rand ist ein Bereich eines Bildausschnitts, der mit anderen Bildausschnitten über- läppt. In alternativen Verfahren kann der Rand auch eine
Breite von bis zu 256 Pixeln oder mehr aufweisen. Durch das Vorsehen eines Rands definierter Breite ist es möglich, Nachbarschaftsoperationen mit einer höheren Genauigkeit durchzuführen. Nachbarschaftsoperationen sind beispielsweise Faltun- gen und morphologische Operationen. Vorzugsweise ist die Ausdehnung des um den Rand verminderten Bildausschnitts wesentlich größer als der Rand selbst, beispielsweise um einen Faktor 4.
In einem alternativen Verfahren ist das Zerlegen des Mikro- skopbilds in mindestens zwei Bildausschnitte ein Partitionie- ren des Mikroskopbilds. Unter einem Partitionieren wird ein Zerlegen in disjunkte Teile verstanden, die insgesamt das gesamte Mikroskopbild ergeben. Nach dem Partitionieren ist also jedes Pixel des Mikroskopbilds und jedes Teilbilds genau einem Bildausschnitt zugeordnet.
In manchen Fällen sind nur Teile des Mikroskopbilds, nämlich ein Gebiet oder mehrere Gebiete, für eine Auswertung relevant. Ein bevorzugtes Verfahren umfasst daher zunächst den Schritt (a) des Bereitsteilens des Mikroskopbilds im Massenspeicher. Anschließend wird in einem Schritt (a2) mindestens ein Gebiet erfasst, nämlich ein Gebiet Gi oder Gebiete Gp mit p = l, ... NG. In einem Schritt (b) erfolgt ein Zerlegen des Mikroskopbilds in mindestens zwei Bildausschnitte, die in den Arbeitspeicher ladbar sind und eine Dimension m haben, wobei m ≤ n gilt. Danach folgt in einem Schritt (c) für einen Bildausschnitt ein Bestimmen aller Pixel, die in dem Bildaus- schnitt und in mindestens einem der Teilbilder liegen, so dass ein gefüllter Bildausschnitt entsteht. Dem Bestimmen muss allerdings keine aktive Rechenoperation zugrunde liegen. Es ist ausreichend, dass nach Schritt (c) die Pixel festgestellt sind, die den gefüllten Bildausschnitt bilden.
Es folgt ein Schritt (c2) : für den gefüllten Bildausschnitt Bilden einer aus Pixel bestehenden Schnittmenge mit dem mindestens einen Gebiet. Wenn mehrere Gebiete existieren ist diese Schnittmenge die Gesamtheit aller Pixel, die sowohl in dem gefüllten Bildausschnitt, also auch in mindestens einem der Gebiete liegt.
Anschließend folgt im Schritt (d) ein Bereitstellen des gefüllten Bildausschnitts und/oder der Schnittmenge im Arbeits- Speicher. Sofern der gefüllte Bildausschnitt bzw. die
Schnittmenge bereits im Arbeitsspeicher bereitgestellt ist, ist dieser Schritt ohne weiteres Zutun abgearbeitet. Es folgt der Schritt (e) Anwenden der Rechenoperation auf die Pixel der Schnittmenge, so dass ein Bildausschnittergebnis entsteht. Anschließend werden in einem Schritt (f) die Schritte (c) , (c2), (d) und (e) für alle Bildausschnitte wie- derholt und in einem Schritt (g) alle Bildausschnittergebnisse zu einem Gesamtergebnis zusammengefügt.
In einem alternativen Verfahren erfolgt das Erfassen des mindestens einen Gebiets in einem späteren Schritt, beispiels- weise vor Schritt (d) .
In einem weiteren alternativen Verfahren wird die Rechenoperation dann, wenn mehr als ein Gebiet vorliegt, einzeln auf die jeweiligen Schnittmengen der Gebiete mit dem Bildaus- schnitt angewendet, so dass für jeden Bildausschnitt mehr als ein Bildausschnittergebnis entsteht.
Bei einem Gebiet handelt es sich bevorzugt um einen einfach zusammenhängenden Pixelbereich des digitalen Mikroskopbilds, wobei „einfach zusammenhängend" wie vorstehend beschrieben zu verstehen ist.
Das Erfassen des mindestens einen Gebiets kann beispielsweise ein Einlesen nach einem Dialog mit dem Anwender sein. Dazu wird es dem Anwender beispielsweise durch eine graphische Benutzeroberfläche ermöglicht, aus dem Mikroskopbild ein Gebiet auszuwählen.
In einem bevorzugten Verfahren findet das Erfassen des min- destens einen Gebiets vor dem Festlegen der Bildausschnitte statt. Es ergeben sich dann statt der in Anspruch 1 genannten Schritte die folgenden Schritte: (a) Bereitstellen des Mikroskopbilds im Massenspeicher, (a2) Erfassen von mindestens einem Gebiet, (b) Zerlegen des mindestens einen Gebiets in min- destens zwei Bildausschnitte, die in den Arbeitsspeicher ladbar sind und eine Dimension m haben, wobei m ≤ n gilt, (c) für einen Bildausschnitt Bestimmen aller Pixel, die in dem Bildausschnitt und in mindestens einem der Teilbilder liegen, so dass ein gefüllter Bildausschnitt entsteht, (d) Bereitstellen des gefüllten Bildausschnitts im Arbeitsspeicher bzw. Laden des gefüllten Bildausschnitts in den Arbeitsspeicher, (e) Anwenden der Rechenoperation auf die im gefüllten Bildausschnitt liegenden Pixel, so dass ein Bildausschnittergeb- nis entsteht, (f) Wiederholen der Schritte (c) , (d) und (e) für alle Bildausschnitte und (g) Zusammenfügen aller Bildausschnittergebnisse zu einem Gesamtergebnis für das Gebiet. Vorteilhaft an diesem Verfahren ist, dass nur diejenigen Pixel zur Anwendung der Rechenoperation in den Arbeitsspeicher geladen werden müssen, die in dem interessierenden Gebiet liegen, was die Geschwindigkeit des Verfahrens erhöht. Bei Mikroskopbildern, die den Adressraum des Prozessors des Computers übersteigen können zudem Gebiete des Mikroskopbilds bearbeitet werden, sofern die Gebiete hinreichend klein sind, um vom Prozessor adressiert zu werden.
Bevorzugt ist n = 3, das heißt, dass sich bei dem digitalen Mikroskopbild um ein dreidimensionales Mikroskopbild handelt. Ein Beispiel für derartige dreidimensionale Mikroskopbilder sind Schichtaufnahmen, die mit einem Mikroskop durchgeführt worden sind. Ein weiteres Beispiel sind Zeitfolgen von Mikroskopbildern, wobei die dritte Dimension die Zeit ist. In einem alternativen Verfahren handelt es sich um zweidimensionale Mikroskopbilder, so dass n = 2 ist.
Besonders einfach sind Bildausschnitte zu verarbeiten, die rechteckig sind. Rechteckig heißt dabei quaderförmig bezüglich eines n-dimensionalen Quaders . Für n = 3 heißt dies quaderförmig im engeren Sinne, für n = 2 heißt das rechteckig. In einem bevorzugten Verfahren ist mindestens einer der Bildausschnitte eine ganze Zeile des Mikroskopbilds.
Bei der anzuwendenden Rechenoperation kann es sich um eine Punktoperation, eine Nachbarschaftsoperation, eine Bildtransformation und/oder eine Fouriertransformation handeln. Insbesondere kann es sich bei der Rechenoperation um die Berechnung eines Messwerts handeln. Messwerte sind beispielsweise die Summe der Grauwerte, die Summe der Quadrate der Grauwer- te, das Minimum und das Maximum der Grauwerte, die Textur und die Fläche über dem Gebiet .
Vorteilhaft ist dabei, wenn jedem Ergebnis der Anwendung der Rechenoperation auf die Schnittmenge des Bildausschnitts mit dem Gebiet ein Identifikationsparameter des Gebiets zu zugewiesen wird. Das ermöglicht es, das Gesamtergebnis besonders einfach zu berechnen.
Im folgenden wird das Verfahren anhand der beigefügten Zeich- nungen erläutert. Dabei zeigt
Figur 1 eine schematische Darstellung eines Computers,
Figur 2 eine schematische Darstellung eines zweidimensiona- len Mikroskopbilds,
Figur 3a eine schematische Darstellung eines zweidimensionalen Mikroskopbilds, das vier Teilbilder aufweist und in neun Bildausschnitte zerlegt ist,
Figur 3b einen gefüllten Bildausschnitt, der aus dem ersten Bildausschnitt des Mikroskopbilds nach Figur 3a entsteht, Figur 3c den gefüllten Bildausschnitt, der aus dem zweiten Bildausschnitt des Mikroskopbilds nach Figur 3a entsteht, und
Figur 4 eine weitere schematische Darstellung eines "Mikroskopbilds, das aus vier Teilbildern besteht und in fünf Bildausschnitte zerlegt ist, die ganze Zeilen des Mikroskopbilds umfassen, und es zeigen die
Figuren 5 und 6 zeigen Flussdiagrairane von erfindungsgemäßen Verfahren.
Figur 1 zeigt schematisch einen Computer 10, der neben einem Bildschirm 12 einen Prozessor 14 aufweist, der mit einem Ar- beitsspeicher 16 und einem Massenspeicher 18 verbunden ist. Der Arbeitsspeicher 16 weist eine maximale Speicherkapazität auf. Beim Betrieb des Computers 10 wird ein Teil der maximalen Speicherkapazität beispielsweise für Prozesse eines Betriebsystems des Computers 10 benötigt, so dass beim Betrieb des Computers 10 der Arbeitsspeicher 16 eine verfügbare Speicherkapazität aufweist, die kleiner ist als dessen maximale Speicherkapazität. Die verfügbare Speicherkapazität des Arbeitsspeichers 16 steht für die Ausführung eines erfindungsgemäßen Verfahrens zur Verfügung.
Der Arbeitsspeicher 18 weist eine deutlich höhere, beispielsweise die fünfzigfache, Speicherkapazität auf als der Arbeitsspeicher. Über ein nicht eingezeichnetes Netzwerkkabel kann der Computer 10 mit einem Netzwerk verbunden werden, um auf Massenspeicher anderer Computer zugreifen zu können. Über eine Datenverbindung 15 kann der Computer 10 mit einer Kamera 17 eines Mikroskops 19 verbunden werden. Das Mikroskop und der Computer 10 bilden dann ein Mikroskopiersystem. Zur Aufnahme eines Mikroskopbilds sendet der Computer 10 über ein Datenkabel 21 einen Steuerimpuls an einen Schrittmotor 22, der daraufhin eine Verstelleinheit 23 bewegt. An der Verstelleinheit 23 ist eine Probe 24 angebracht, die sich auf- grund dessen relativ zu der Kamera 17 bewegt. Ist eine voreingestellte Position erreicht, so sendet der Computer 10 einen Steuerimpuls an die Kamera 17, die daraufhin ein Teilbild der Probe 24 aufnimmt. Anschließend wird eine weitere voreingestellte Position angefahren und ein weiteres Teilbild auf- genommen. Diese Prozedur wird so lange durchgeführt bis eine vorgegebene Anzahl an Teilbildern mit vorgegebenen Koordinaten relativ zueinander oder relativ zu der Probe 24 angefahren und jeweils Teilbilder aufgenommen worden sind. Die aufgenommenen Teilbilder werden über das Datenkabel 21 an den Computer übertragen und dort auf dem Massenspeicher 18 gespeichert .
Figur 2 zeigt schematisch Pixel Pi,j eines Mikroskopbilds 20. Die Pixel sind in a Zeilen, die horizontal verlaufen, und b Zeilen, die vertikal verlaufen und daher auch als Spalten bezeichnet werden, angeordnet. Jedes Pixel Pi,j kann durch die Angabe von einem ersten Index i (Zeilennummer) und einem zweiten Index j (Spaltennummer) eindeutig festgelegt werden. Das Mikroskopbild 20 hat daher die Dimension n=2.
Figur 3a zeigt schematisch ein Mikroskopbild 20, das aus vier Teilbildern TBi, mit 1=1, 2, 3, 4 besteht, also aus den vier Teilbildern TBi, TB2, TB3 und TB4, die mit durchgezogenen Be- randungen gezeichnet sind. Auch in Figur 3a kann jedes Pixel Pi,j durch Angabe von Zeile und Spalte, das heißt erstem Index i und zweitem Index j, eindeutig festgelegt werden. Das Mikroskopbild 20 weist eine Größe auf, die die verfügbare Speicherkapazität des Arbeitsspeichers 16 übersteigt. Zum Durchführen des erfindungsgemäßen Verfahrens wird das Mikroskopbild 20 zunächst im Massenspeicher 18 bereitgestellt. Im vorliegenden Fall geschieht das dadurch, dass die Teilbilder des Mikroskopbilds 20 durch die Kamera 17 des Mik- roskops 19 aufgenommen und über die Datenverbindung 15 auf ein Festplattenlaufwerk als Massenspeicher 18 geladen werden.
Anschließend wird das Mikroskopbild in neun Bildausschnitte BAi, BA2, BA3, ... BA9 zerlegt, deren Grenzen in Figur 3a ge- strichelt gezeichnet sind. Die Bildausschnitte BAk sind dabei so gewählt, dass die gewünschte Rechenoperation durchführbar ist. Soll beispielsweise eine zeilenbasierte Rechenoperation auf dem Mikroskopbild durchgeführt werden, so werden die Bildausschnitte so gewählt, dass sie ganze Zeilen umfassen, z.B. eine Zeile.
Die in Figur 3a eingezeichneten Bildausschnitte BAk sind dis- junkt und die Vereinigung aller Bildausschnitte BA* umfasst alle Pixel des Mikroskopbilds 20, so dass es sich um eine Partitionierung des Mikroskopbilds 20 durch die Bildausschnitte BAk handelt .
Es werden nun zunächst alle Pixel bestimmt, die in einem der Bildausschnitte, beispielsweise im ersten Bildausschnitt BAi, und in mindestens einem der Teilbilder TBi bis TB4 liegen. Im in Figur 3a gezeigten Beispiel existieren Pixel aus dem ersten Teilbild TBi und aus dem zweiten Teilbild TB2, die im Bildausschnitt BAx liegen. Es liegt hingegen kein Pixel aus den Teilbildern TB3 und TB4 im Bildausschnitt BAi. Die Pixel, die im Bildausschnitt BAi und in einem der Teilbilder liegen, sind schematisch in Figur 3b gezeigt. Diese Pixel bilden einen ersten gefüllten Bildausschnitt und werden in den Arbeitsspeicher 16 geladen. Die in Figur 3a schraffiert eingezeichneten Pixel liegen sowohl im ersten Teilbild TBi, als auch im zweiten Teilbild TB2- Es wird jeweils eines der Pixel ausgewählt, im vorliegenden Fall ist es das Pixel des ersten Teilbilds TBi. Der gefüllte Bildausschnitt umfasst daher nicht alle Pixel des zweiten Teilbilds TB2, obwohl das zweite Teilbild TB2 vom ersten Bildausschnitt BA1 umschlossen ist.
Auf die im ersten gefüllten Bildausschnitt BAi liegenden Pixel wird die Rechenoperation angewandt, so dass ein erstes Bildausschnittergebnis entsteht. Anschließend wird der Schritt des Bestimmens aller Pixel, die in einem der Bildausschnitte und in mindestens einem der Teilbilder liegen, für einen nächsten Bildausschnitt wiederholt, beispielsweise für den zweiten Bildausschnitt BA2. Die Pixel, die in dem Bildausschnitt BA2 und in mindestens einem der Teilbilder liegen, sind in Figur 3c gezeigt und bilden einen zweiten gefüllten Bildausschnitt . Dieser zweite gefüllte Bildausschnitt wird wiederum im Arbeitsspeicher 16 bereitgestellt. Anschließend wird die Rechenoperation auf die im zweiten gefüllten Bildausschnitt liegenden Pixel angewandt, so dass ein zweites Bildausschnittergebnis entsteht.
Diese Schritte werden für alle verbleibenden Bildausschnitte BA3 bis BAg wiederholt und die jeweiligen Bildausschnittergebnisse werden anschließend zu einem Gesamtergebnis für das gesamte Mikroskopbild 20 zusammengefügt.
Es ist anzumerken, dass es kein Pixel Pi,j gibt, das in dem Bildausschnitt BA7 und in einem der Teilbilder liegt. Es e- xistiert daher kein gefüllter Bildausschnitt für den Bildaus- schnitt BA7 und bei der Anwendung der Rechenoperation auf diese leere Pixelmenge entsteht kein Ergebnis. Das Gesamt¬ ergebnis wird also nicht beeinflusst. Figur 4 zeigt das Mikroskopbild 20, bei dem Bildausschnitte BAi bis BA5 so gewählt sind, dass sie ganze Zeilen des Mikroskopbilds umfassen. Das Verfahren wird auch bei den so gewählten Bildausschnitten wie oben beschrieben durchgeführt. Die in Figur 4 gezeigte Zerlegung wird verwendet, wenn eine zeilenbasierte Rechenoperation auf das Mikroskopbild 20 angewendet werden soll.
Figur 5 zeigt ein Flussdiagramm eines erfindungsgemäßen Ver- fahrens, wie es oben im Zusammenhang mit den Figuren 3a bis 3c beschrieben wurde. Zunächst wird das Mikroskopbild, das aus NTB Teilbildern besteht, im Massenspeicher bereitgestellt. Anschließend wird das Mikroskopbild in NBA Bildausschnitte zerlegt bzw. partitioniert . In einer inneren Schlei- fe werden für einen festen Bildausschnitt BAk die Schnittmengen mit dem Teilbild TBi gebildet. Es werden alle 1=1, 2, ... NTB durchlaufen, das heißt, dass die Schnittmengen des Bildausschnitts BAk mit allen Teilbildern TBi berechnet werden.
Sind alle Teilbilder TBi durchlaufen, so wird die Vereinigungsmenge aller dieser Schnittmengen gebildet. In dieser Vereinigungsmenge sind alle Pixel enthalten, die sowohl im Bildausschnitt BAk, als auch in einem der Teilbilder TBi enthalten sind. Ist ein Pixel in mehreren Teilbildern vorhanden, so wird lediglich das Pixel eines Teilbilds verwendet. Alternativ wird aus den mehrfach vorhandenen Pixel ein Mittelwert errechnet. Anschließend wird die Rechenoperation auf diese Vereinigungsmenge angewendet, so das ein Bildausschnittergebnis Eκ entsteht.
In einer äußeren Schleife werden alle Bildausschnitte BAk durchlaufen. Der Index k läuft dabei von 1 bis NBA. Sind alle Bildausschnitte BAk durchlaufen, so werden die einzelnen Bildausschnittergebnisse Ek zu einem Gesamtergebnis E für das Bild zusammengefügt.
Ein Flussdiagramm eines weiteren erfindungsgemäßen Verfahrens ist in Figur 6 gezeigt. In einem ersten Schritt (a) wird das Mikroskopbild 20, das aus NTB Teilbildern besteht, im Massenspeicher bereitgestellt. In einem weiteren Schritt (a2) wird mindestens ein Gebiet Gp erfasst. Das geschieht beispielsweise dadurch, dass von einem Benutzer des Computers ein Gebiet über eine graphische Benutzerschnittstelle eingegeben wird, zum Beispiel mittels einer Maus. Insgesamt werden NG Gebiete erfasst .
In einem nachfolgenden Schritt (b) wird das Mikroskopbild 20 in NBA Bildausschnitte BAk zerlegt oder partitioniert . In einer ersten inneren Schleife wird für einen festen Bildausschnitt BAk, beispielsweise den ersten Bildausschnitt BAi, die Schnittmenge des 1-ten Teilbilds TBi mit diesem Bildaus- schnitt BAK gebildet. Nachdem diese innere Schleife durchlaufen ist, werden in einem nicht eingezeichneten Schritt doppelt vorhandene Pixel entfernt, wie es oben für Figur 5 beschrieben ist. Es wird so die Schnittmenge des k-ten Bildausschnitts BAk mit allen Teilbildern erhalten, das heißt die Gesamtheit aller Pixel, die sowohl im k-ten Bildausschnitt, als auch in mindestens einem der Teilbilder liegt. Diese Schnittmenge ist der gefüllte Bildausschnitt . Für den ersten Bildausschnitt BAi ist der gefüllte Bildausschnitt schematisch in Figur 3b gezeigt.
In einer nachfolgenden inneren Schleife werden für den gefüllten k-ten Bildausschnitt BAk, hier also für BAi, jeweils die Schnittmengen mit den Gebieten Gp gebildet und auf die Schnittmengen wird die Rechenoperation angewendet! In Figur 3b sind schematisch zwei Gebiete Gi und G2 eingezeichnet. Die Pixel in den beiden Schnittmengen von Gi und G2 mit dem gefüllten Bildausschnitt des Bildausschnitts BAi sind schraffiert eingezeichnet.
Auf diese schraffiert eingezeichneten Pixel wird die Rechenoperation angewendet. Es entsteht ein Schnittmengenergebnis Ek,p . Der Index p für das Gebiet fungiert dabei als Identifikationsparameter. In einem nachfolgenden Schritt werden die Schnittmengenergebnisse Ek,p zu einem Bildausschnittergebnis Ek zusammengefügt. Die Bildausschnittergebnisse Ek werden danach zu einem Gesamtergebnis für das Bild zusammen- gefasst. Alternativ werden die Schnittmengenergebnisse Ek(P zu Gebietsergebnissen Ep zusammengefasst .

Claims

ANSPRÜCHE
1. Mikroskopbildverarbeitungsverfahren zur Ausführung auf einem Computer (10) , der einen Arbeitsspeicher (16) mit einer vorgegebenen verfügbaren Speicherkapazität und einen Massenspeicher (18), der eine höhere Zugriffszeit aufweist als der Arbeitsspeicher (16) , umfasst, zur Verarbeitung eines digitalen Mikroskopbilds (20), das aus
Pixeln (Pi,j) besteht, n-dimensional ist mit n > 1, aus zumindest zwei Teilbildern (TBi) besteht und eine
Größe aufweist, die die verfügbare Speicherkapazität des Arbeitsspeichers (16) übersteigt, durch Anwenden einer Rechenoperation auf zumindest einen Teil des Mikroskopbilds (20) mit den folgenden Schritten: a) Bereitstellen des Mikroskopbilds im Massenspeicher
(18), b) Zerlegen des Mikroskopbilds in mindestens zwei Bildausschnitte (BAjc) , die in den Arbeitspeicher (16) ladbar sind und eine Dimension m haben, wobei m ≤ n gilt, c) für einen Bildausschnitt (BAk) Bestimmen aller Pixel, die in dem Bildausschnitt (BAk) und in mindestens einem der Teilbilder (TBi) liegen, so dass ein gefüllter Bildausschnitt entsteht, d) Bereitstellen des gefüllten Bildausschnit.ts im Arbeitsspeicher (16) , e) Anwenden der Rechenoperation auf die im gefüllten Bildausschnitt liegenden Pixel (Pi,j) , so dass ein Bildausschnittergebnis entsteht, f) Wiederholen der Schritte (c) , (d) und (e) für alle Bildausschnitte (BAk) und g) Zusammenfügen aller Bildausschnittergebnisse zu einem Gesamtergebnis .
2. Mikroskopbildverarbeitungsverfahren nach Anspruch 1, bei dem das Bereitstellen des Mikroskopbilds dadurch erfolgt, dass eine Verstelleinheit (23) eines Mikroskops (19) zur Aufnahme der Mikroskopbilder (20) in einem vorgegebenen Raster bewegt wird,
- an jeder Rasterposition mit einer Kamera (17) des Mikroskops (19) ein Teilbild (TBi) einer an der Verstelleinheit (23) angebrachten Probe (24) aufgenommen wird und die Teilbilder (TBi) im Massenspeicher (18) des Computers (10) bereitgestellt werden.
3. Mikroskopbildverarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeder Bildausschnitt (BAk) einen Rand mit einer Breite von mindestens einem Pixel aufweist.
4. Mikroskopbildverarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Zerlegen des Mikroskopbilds
(20) in mindestens zwei Bildausschnitte (BAk) ein Partitio- nieren des Mikroskopbilds (20) ist.
5. Mikroskopbildverarbeitungsverfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch die Schritte: (a2) vor Schritt (b) Erfassen von mindestens einem Gebiet
(Gp),
(c2) nach Schritt (c) und vor Schritt (d) für den gefüllten Bildausschnitt Bilden einer aus Pixeln bestehenden Schnittmenge mit dem mindestens einen Gebiet (Gp) , wobei Schritt (e) lautet: Anwenden der Rechenoperation auf die Pixel der Schnittmenge, so dass ein Bildausschnittergebnis entsteht und wobei Schritt (f) lautet: Wiederholen der Schritte (c) , (c2),
(d) und (e) für alle Bildausschnitte.
6. Mikroskopbildverarbeitungsverfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch den Schritt:
(a2) vor Schritt (b) Erfassen von mindestens einem Gebiet (Gp), wobei Schritt (b) lautet: Zerlegen des mindestens einen Gebiets (Gp) in mindestens zwei Bildausschnitte, die in den Arbeitsspeicher (16) ladbar sind und eine Dimension m haben, wobei m < n gilt, wobei Schritt (g) lautet: Zusammenfügen aller Bildausschnittergebnisse zu einem Gesamtergebnis für das Gebiet (Gp) .
7. Mikroskopbildverarbeitungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass n = 3 ist.
8. Mikroskopbildverarbeitungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass m = 3 ist.
9. Mikroskopbildverarbeitungsverfahren nach einem der Ansprüche 1 bis 5 oder 7, dadurch gekennzeichnet, dass n = 2 ist.
10. Mikroskopbildverarbeitungsverfahren nach einem der An¬ sprüche 1 bis 6 oder 8, dadurch gekennzeichnet, dass m = 2 ist.
11. Mikroskopbildverarbeitungsverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Bildausschnitte rechteckig sind.
12. Mikroskopbildverarbeitungsverfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Bildausschnitte (BAk) ganze Zeilen des Mikroskopbilds (20) umfassen.
13. Mikroskopbildverarbeitungsverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Rechenoperation eine Punktoperation, Nachbarschaftsoperation, Bildtransformation und/oder Fouriertransformation umfasst.
14. Mikroskopbildverarbeitungsverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Rechenoperation eine Berechnung eines Messwerts umfasst.
15. Mikroskopbildverarbeitungsverfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch den Schritt: Zuweisen eines Identifikationsparameters (p) für jedes Gebiets (Gp) zu jedem Ergebnis (Ek/P) der Anwendung der Rechenoperation auf die Schnittmenge des Bildausschnitts mit dem Gebiet (Gp) .
16. Computer, der einen digitalen Massenspeicher (18) und einen digitalen Arbeitsspeicher (16) umfasst, dadurch gekennzeichnet, dass der Computer (10) eingerichtet ist zum Ausführen eines Mikroskopbildverarbeitungsverfahrens nach einem der Ansprüche 1 bis 15.
17. Computerprogramm, das in einen digitalen Arbeitsspeicher (16) eines Computers (10) ladbar ist und ein Mikroskop- bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 15 kodiert .
18. Datenträger, auf dem ein Computerprogramm nach Anspruch 17 gespeichert ist.
EP07786281A 2006-07-28 2007-07-24 Mikroskopbildverarbeitungsverfahren, computer, computerprogramm und datenträger Withdrawn EP2047427A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006034996A DE102006034996A1 (de) 2006-07-28 2006-07-28 Mikroskopbildverarbeitungsverfahren, Computer, Computerprogramm und Datenträger
PCT/EP2007/006552 WO2008012059A2 (de) 2006-07-28 2007-07-24 Mikroskopbildverarbeitungsverfahren, computer, computerprogramm und datenträger

Publications (1)

Publication Number Publication Date
EP2047427A2 true EP2047427A2 (de) 2009-04-15

Family

ID=38859392

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07786281A Withdrawn EP2047427A2 (de) 2006-07-28 2007-07-24 Mikroskopbildverarbeitungsverfahren, computer, computerprogramm und datenträger

Country Status (4)

Country Link
US (1) US8217998B2 (de)
EP (1) EP2047427A2 (de)
DE (1) DE102006034996A1 (de)
WO (1) WO2008012059A2 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013214318B4 (de) * 2013-07-22 2026-01-29 Evident Technology Center Europe Gmbh Verfahren zum Erstellen eines Mikroskopbildes

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673988A (en) * 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
AU749350B2 (en) * 1998-07-02 2002-06-27 Motorola Australia Pty Ltd A method and apparatus for encoding and decoding compressed images
JP3464767B2 (ja) * 1998-12-29 2003-11-10 ソニー株式会社 ウェーブレット復号装置及び方法
US6671424B1 (en) * 2000-07-25 2003-12-30 Chipworks Predictive image caching algorithm
US7027628B1 (en) * 2000-11-14 2006-04-11 The United States Of America As Represented By The Department Of Health And Human Services Automated microscopic image acquisition, compositing, and display
DE10225174A1 (de) * 2002-03-18 2003-10-16 Universitaetsklinikum Charite Virtuelles Mikroskop-Vorrichtung und Verfahren
WO2003079293A1 (de) * 2002-03-18 2003-09-25 Universitätsklinikum Charité, Medizinische Fakultät der Humboldt-Universität zu Berlin Virtuelles mikroskop - vorrichtung und verfahren
JP4504824B2 (ja) * 2005-01-13 2010-07-14 オリンパス株式会社 顕微鏡用カメラ
WO2006078928A2 (en) * 2005-01-18 2006-07-27 Trestle Corporation System and method for creating variable quality images of a slide
JP4571053B2 (ja) * 2005-09-29 2010-10-27 株式会社日立ハイテクノロジーズ 荷電粒子ビーム装置
WO2007111755A2 (en) * 2005-12-29 2007-10-04 Cytyc Corporation Scalable architecture for maximizing slide throughput

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008012059A2 *

Also Published As

Publication number Publication date
DE102006034996A1 (de) 2008-01-31
WO2008012059A2 (de) 2008-01-31
US20080024600A1 (en) 2008-01-31
WO2008012059A3 (de) 2009-03-05
US8217998B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
DE69722991T2 (de) Aufzeichnungsbereichsverwaltungsverfahren und Speichergerät
DE69623720T2 (de) Verfahren zum Aufräumen eines Flash-Speichers mit Übersetzungsschicht
DE112012004809B4 (de) Kantenverfolgung mit Hysterese-Schwellenwertbildung
DE3111027C2 (de)
DE19916354B4 (de) Verfahren und Vorrichtung zur Analyse von Bildstrukturen
DE60319075T2 (de) Verfahren zur interaktiven segmentierung einer in einem objekt enthaltenen struktur
DE102009050662B4 (de) Radiale MR-Datenerfassung in einem dreidimensionalen K-Raum mit einer Anordnung der Speichen gemäß einer Spiral-Phyllotaxis
DE3546337A1 (de) Glaettungsverfahren und -vorrichtung fuer binaerkodierte bilddaten
DE19914296A1 (de) Praktische Konusbündel-Bildrekonstruktion mit Verwendung von lokalen interessierenden Bereichen
DE69810847T2 (de) Verfahren zur Optimierung der Füllung eines Edierungmediums mit digitalen Bildern verschiedener Grössen und unter Erhaltung der Grössenverhältnisse
DE19806985B4 (de) Organisationsverfahren für volumetrische Daten, das effiziente Cache-Aufbereitungsbeschleunigungen und einen effizienten Graphik-Hardwareentwurf ermöglicht
DE60208431T2 (de) Verfahren zur automatischen etikettierung von zweigen
EP1199542A2 (de) Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
DE102004004641A1 (de) Dreidimensionale Reprojektions- und Rückprojektionsverfahren und Algorithmen zum Durchführen derselben
DE102007028895B4 (de) Verfahren zur Segmentierung von Strukturen in 3D-Bilddatensätzen
DE102019102861A1 (de) Verfahren und Vorrichtung zur Abschätzung der Abnutzung eines nicht-flüchtigen Informationsspeichers
EP0284158B1 (de) Verfahren, bei dem ein Untersuchungsbereich aus mehreren Strahlenquellenpositionen durchstrahlt wird
DE10017551C2 (de) Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
DE102013214318A1 (de) Verfahren zum Erstellen eines Mikroskopbildes
DE102006058941A1 (de) Verfahren und Vorrichtung zum Auswählen computergestützter Algorithmen, basierend auf dem Protokoll und/oder Parametern eines Akquisitionssystems
WO2008012059A2 (de) Mikroskopbildverarbeitungsverfahren, computer, computerprogramm und datenträger
DE60306388T2 (de) Verfahren und vorrichtung zur bilddatenverarbeitung unter verwendung von bildstreifen und zirkularadressierungsanordnung
DE69817633T2 (de) Faltung von Zeilenrasterdarstellungen
DE112014006356B4 (de) Verfahren zur Verbesserung der Bildqualität eines Ladungsträgerteilchen-Rastermikroskops und Ladungsträgerteilchen-Rastermikroskop
DE10242922A1 (de) Rechnergestütztes Selektionsverfahren für einen Teil eines Volumens

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090127

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20090706

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CARL ZEISS MICROSCOPY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20161007