EP4111363A1 - Method for analyzing a structure within a fluidic system - Google Patents

Method for analyzing a structure within a fluidic system

Info

Publication number
EP4111363A1
EP4111363A1 EP21725685.8A EP21725685A EP4111363A1 EP 4111363 A1 EP4111363 A1 EP 4111363A1 EP 21725685 A EP21725685 A EP 21725685A EP 4111363 A1 EP4111363 A1 EP 4111363A1
Authority
EP
European Patent Office
Prior art keywords
image
analysis
analyzed
section
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21725685.8A
Other languages
German (de)
French (fr)
Inventor
Anna-Lina HAHN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4111363A1 publication Critical patent/EP4111363A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Definitions

  • the present invention relates to a method for analyzing a structure within a fluidic system using image analysis methods.
  • WO 2005/011947 A2 describes a method for processing an image of a microfluidic device, a first image of the microfluidic device being obtained in a first state and a second image of the microfluidic device being obtained in a second state. The first image and the second image are transformed into a third coordinate space, a difference being determined between the first image and the second image. With this method, crystals can be recognized in individual chambers of the microfluidic device.
  • US Pat. No. 8,849,037 B2 likewise describes a method for image processing for microfluidic devices in which several images are analyzed by dynamic comparison. This technique can detect bubbles using a baseline correction.
  • edge detection method is known from image processing. However, edge detection can only be used for closed structures, that is to say for structures that have continuous edges.
  • Not closed structures such as a canal section of a microfluidic device or a chamber with an inlet and outlet cannot be analyzed with conventional edge detection.
  • An analysis of such, incomplete structures therefore generally requires an examination of a plurality of sequentially recorded images, with differences being able to be recognized by dynamic comparison of the images.
  • the invention provides a method for analyzing a structure within a fluidic system, in which both closed structures and, with particular advantage, open structures can be examined using image processing methods.
  • Edge detection is used here.
  • open structures are not accessible to edge detection for the reasons mentioned.
  • the proposed method allows the use of edge detection also on open structures, so that the method can be used for various fluidic systems in which open structures, for example channel sections or chambers with inlets and / or outlets, are often to be evaluated.
  • the proposed method uses a reference image and at least one object image as well as at least one analysis image, the latter being evaluated with the proposed method. This evaluation can take place, for example, with regard to bubble detection or some other evaluation of a fluidic system.
  • the method initially provides a reference image section with the structure to be analyzed (step a.),
  • the structure to be analyzed being isolated from a reference image.
  • the reference image was taken with the first camera setting.
  • the reference image section with the structure to be analyzed can be isolated and stored from the reference image that was recorded with a first camera setting. It is also possible to use a previously isolated reference image section.
  • an object image (default image) is selected, which the has the same fluidic state as the reference image and which was recorded with the first camera setting or another, second camera setting (step b.).
  • an image registration of the object image is carried out with the reference image section (step c.).
  • Image registration also known as co-registration, is a method of digital image processing known per se, in which two or more images are fused or superimposed with one another. The aim is to bring two or more images of the same, or at least a similar scene, into harmony with one another as well as possible. To adapt the images to one another, a compensating transformation is usually calculated in order to bring one image into agreement with the other image as well as possible. This method is often used in medical image processing, for example.
  • the proposed method uses the image registration to merge and further process the object image with the reference image section, which can be recorded with different camera settings and at different times. Edge detection is applied to the merged image in order to create a mask on this basis.
  • the image registration also allows the analysis of a non-closed structure in a fluidic system and in particular in a microfluidic device.
  • the key point here is that the image registration and the use of edge detection make it possible to isolate the structure to be analyzed so that it is transferred from a possibly incomplete state to a closed state.
  • the mask created on the basis of the image registration is applied to the analysis image so that the image section of the analysis image to be analyzed can be isolated on the analysis image (step e.).
  • the analysis image or images to be examined can be selected beforehand or during the course of the method (step d.).
  • the at least one analysis image should have been recorded with the same camera setting as the object image.
  • the image section to be analyzed isolated from the analysis image with the aid of the mask can then be examined by means of an image analysis evaluation (step f.), For example with regard to a proportion of bubbles or something else.
  • This evaluation can in particular take place on the basis of a determination of pixel intensities, so that, for example, a percentage of bubbles within a chamber of a microfluidic device can be determined at times t1 and t2. For example, this can be used to determine be that at time t1 the chamber was filled to 50% with bubbles and at time t2 to 20%.
  • the structure to be examined can in principle be any conceivable shape, for example a rectangle, circle, any polygon or the like.
  • This structure represents, for example, a specific chamber within a microfluidic device or a specific section from a channel of a microfluidic device or the like.
  • the particular advantage of the invention is that the proposed method can be used to analyze incomplete structures, such as, for example, a section of a channel that does not have completely continuous edges.
  • a non-closed structure is isolated once in such a way that it is converted into a closed structure. This takes place in particular in the context of the isolation and storage of a reference image section with the structure to be analyzed from the reference image in accordance with step a ..
  • image processing can take place on the object image in order to align it with the reference image section.
  • the object image can be rotated accordingly to match the reference image section, so that there is a match with the reference image section.
  • Further possible image processing steps are, for example, a conversion of colors into gray levels and / or a smoothing of the image and / or the use of edge detection.
  • filling a closed structure and / or removing certain elements of the structure and / or calculating the scope and / or calculating other parameters of the structure can be carried out. Whether and which such optional steps are sensible and / or advantageous depends on the respective object image. In general, such image processing steps can optimize the subsequent image registration.
  • Further image processing can also take place for the creation of the mask after the image registration, for example a conversion of colors into gray levels and / or a smoothing of the image.
  • image processing for example, the filling of a closed structure and / or the removal of certain elements of the structure and / or an extraction of edges and / or a calculation of the circumference and / or other parameters of the structure are possible.
  • the entire background of the structure can be set to one color, for example white.
  • artifacts at the edge of the image can be eliminated, if any, in order to further clean up the boundaries of the structure.
  • the structure can be completely filled in order to eliminate edges within the structure.
  • the closed edge of the structure to be analyzed can be extracted as a mask.
  • this mask can be filled, for example, For example, to simplify a later analysis using a histogram.
  • one or more image processing steps also take place on the at least one analysis image, so that the analysis image can be matched to the object image before the image registration.
  • this image processing step can include rotating the image so that the position of the structure to be analyzed, for example the position of a chamber within the microfluidic device, corresponds to the object image.
  • a conversion of the colors of the analysis image into gray levels is particularly preferred in order to facilitate the subsequent evaluation, for example on the basis of a pixel distribution. Cutting out the affected image section can also be advantageous. This measure also facilitates the subsequent evaluation.
  • the subsequent evaluation or examination of the image section to be analyzed is carried out using a threshold value method; the evaluation can preferably be based on a frequency distribution of pixels, in particular pixels whose intensity is above or below a predefinable threshold value.
  • the proposed method can be used in a particularly advantageous manner to detect bubbles within a microfluidic device as a fluidic system, for example to detect bubbles within a specific chamber or a specific reaction space or a specific channel section of a microfluidic device.
  • the method is not limited to such applications.
  • the method can also be used to determine other parameters of a fluidic system.
  • the proposed method can be used for a large number of fluidic systems, for example with regard to monitoring or control of manufacturing processes and / or for quality controls of fluidic and in particular of microfluidic systems, for example to determine the size and position of solids, for example crystals, within the system too determine.
  • Another parameter that can be examined with the proposed method is, for example, the leakage of liquid from the system into the environment, this leakage being noticeable through changes in intensity that can be detected with the proposed method.
  • FIG. 1 flow diagram of an algorithm for carrying out the proposed method
  • Fig. 2 illustrates various steps of the proposed
  • step 1 illustrates various steps of the proposed method in the form of an algorithm.
  • the query is first made as to whether an object image (default image) has been selected. If this is the case, the initial preparation of the object image takes place in step 2, possibly with image processing and the image registration of the object image with the previously isolated and stored reference image section with the structure to be analyzed to create a mask.
  • step 3 you are then asked whether one or more analysis images have been selected. If this is the case, the query is made in step 4 as to whether only one analysis image has been selected. If this is the case, the further analysis of the analysis image takes place in step 5 by applying the mask created to the analysis image and the further image analysis analysis for evaluating the image section to be analyzed.
  • step 6 a Image selected and analyzed similar to step 5. Subsequently, in step 7, the number of analysis images can be reduced by one and the user can jump back to step 3 so that the various analysis images can be analyzed one after the other according to steps 5 and 6, respectively.
  • the program can be ended in step 8. So if no more analysis images to be analyzed are selected, a jump is made from step 3 to the end of the program in step 8. If the query in step 1 shows that no object image has been selected, you can also jump directly to step 8 at the end of the program. This method provides a loop for processing several selected analysis images.
  • step 4 If more than one image (for example ten images) was selected in step 4, one image is taken and this is analyzed. Then the new number of images is calculated (now nine). The loop is executed a total of nine times. Then there is only one picture left. This is analyzed last and the program ends. If only one image was selected from the start, the loop can be ignored.
  • FIG. 2 illustrates various possible steps of the proposed method, in part on the basis of image details (sub-figures 2/1 to 2/10).
  • step 20 the structure to be analyzed is first cut out once from an image of the fluidic system (reference image) and is saved as a new image with a white background.
  • This reference image section can be used for a large number of implementations of the method described below.
  • step 21 an object image (default image) is selected which shows the same fluidic status as the reference image. In this example, this is, for example, a chamber of the microfluidic device that is not filled with liquid, which is represented by a white circle.
  • the white circle can be caused by a solid which has been introduced into the microfluidic device and which will be dissolved in the subsequent operation of the microfluidic device. Even if the object image and the reference image show the same fluidic status, the camera settings, such as, for example, orientation, zoom or other, can deviate from one another. If no such object image is selected, the program can be terminated, as has already been explained with reference to FIG. 1. In the next or in a subsequent step, in principle, any number of images can be selected to be analyzed (analysis images). This selection of the analysis images can take place now or at a later point in time, but the object image and the analysis images should be recorded with the same camera setting.
  • analysis images can take place now or at a later point in time, but the object image and the analysis images should be recorded with the same camera setting.
  • the object image obtained in step 21 can be rotated, for example, by 180 degrees in the optional step 22 in order to facilitate the subsequent image registration (image fusion) with the reference image section.
  • the structure to be analyzed can also be cut out or isolated from the object image to simplify processing of the images. This can be done by recognizing the white circle in step 23 and defining a frame around the corresponding image section (step 24).
  • the subsequent image processing steps 25 to 34 are also optional and can be carried out in step 35 to simplify and optimize the subsequent image registration.
  • These image processing steps of the object image can include a conversion of the colors of the image into gray levels (step 25).
  • edge detection can be applied to the image.
  • the edges can be thickened.
  • the area between the connected edges can be filled.
  • various parameters of the image can be determined, for example a determination of the circumference.
  • step 30 all pixels that belong to an area with fewer than 400 connected pixels, for example, can be removed so that the display is cleaned up further.
  • step 31 the outline can be filled.
  • step 32 the parameters of the completed structure can be calculated in order to find the position and the size of the circle in the object image.
  • step 33 for example, the first and the last white pixel can be determined in the x and y directions in order to be able to find and isolate the image section as a function of the chamber position.
  • step 34 the image section can be isolated as a function of the chamber position in order to avoid variances that result from the position of the circle in the object image.
  • the edge detection can be used to obtain a black and white representation of the chamber and to find the chamber accordingly within the image.
  • This can be useful, for example, if any solid material that may be present in the chamber is at an extreme position within the chamber and this is not completely present in the image, for example, because a part is cut off. If, for example, the solid is on the far left of the chamber and the image is isolated or cut using the solid in the chamber, it can happen that the chamber is not completely captured. Isolating and cutting out the chamber as such is generally not possible because of the different background and the open structure. In addition, there would be the problem that the chamber would not be cut out correctly with (slightly) different zoom settings. In other cases it is entirely possible that these optional steps and the isolation and cutting out can be dispensed with.
  • the size of the structure to be analyzed can be obtained and, if necessary, further parameters can be determined.
  • these image processing steps are only to be understood as examples and can generally improve the subsequent image registration in step 35. Which steps are sensible, however, depends in particular on the respective object image, with the subsequent image registration being able to be optimized through this image processing.
  • step 35 the object image processed in this case and the reference image section are merged with one another.
  • step 36 the colors can optionally be converted into gray levels.
  • step 37 the entire background can be set to a color tone, for example white, or the black edges at the edge of the merged image section can be removed.
  • Edge detection is then applied to the merged image in step 38.
  • the edges can be thickened in step 39 to add gaps to the edge of the structure avoid. In this example, for example, a threefold thickening is shown.
  • step 40 artifacts at the edge of the image can be eliminated, if any. This allows the boundaries of the structure to be cleaned up further.
  • step 41 in this example, the structure is completely filled in order to eliminate edges within the structure.
  • the image can then be smoothed in step 42.
  • the peripheral edge of the structure is extracted in step 43 in order to generate the mask.
  • the mask can be filled in step 44. This can be useful in particular with regard to a later analysis using a histogram.
  • step 46 the analysis image or images are now used in step 46. This corresponds to step 3 in FIG. 1. If several analysis images are available, these can be processed individually one after the other.
  • the analysis images show, for example, a microfluidic device in different fluidic states which can deviate from the fluidic state of the object image.
  • the edge of the mask from step 43 can be applied to the analysis image, for example in order to carry out a visual check.
  • the analysis image to be examined can be rotated in step 47, for example by 180 degrees, so that it corresponds to the object image in the state before the image registration.
  • the image section can be cut out which corresponds to the chamber position or the position of the structure to be analyzed from the object image.
  • the colors can be converted into gray levels.
  • the previously created mask is used or applied to this section of the analysis image. In this way, the corresponding image can be cut out and the structure isolated from the background, so that a structure that was not completed before is converted into a completed structure.
  • a histogram is then created in step 51 in this evaluation example that represents the number of pixels with a certain intensity of the masked image. This histogram therefore represents the masked analysis image.
  • a comparison histogram can be generated which represents the proportion of white and black pixels in the mask, that is to say the mask from step 44.
  • the histogram of the masked analysis image differs from the comparison histogram mainly in the background and possibly in the number of pixels.
  • an evaluation can be carried out, for example, with regard to the presence of bubbles within the structure.
  • a histogram of the completed structure is created for this by applying the mask to the analysis image (step 51) and a histogram of the filled mask (step 52).
  • the number of white pixels in the filled mask corresponds to the total number of pixels.
  • a threshold value procedure is carried out for the completed structure.
  • Pixels below a defined value are counted and the pixels above this defined value are ignored.
  • This evaluation or counting of the pixels can also be carried out in reverse.
  • the percentage of pixels that were determined using this threshold value method can now be determined within the chamber or the structure being examined.
  • black pixels or very dark gray pixels are evaluated as bubbles, so that the percentage filling of the chamber or the percentage of bubbles in the chamber can be calculated with this method.
  • bubbles can be determined by recognizing circles.
  • steps 54 to 60 illustrate the corresponding processing and evaluation of the further analysis image from step 46, with steps 54 to 60 corresponding to steps 47 to 53.
  • the reference image or the reference image section can be used for different object images with the same fluidic status, which, for example, were recorded at an earlier or later point in time became. It is particularly advantageous here that the different object images can be recorded with different settings, such as, in particular, zoom, section, orientation or other. This particularly advantageously enables an automated analysis of images at different times with the same fluidic status.
  • the object image and the analysis image are one and the same image.
  • the analysis image which is also used as the object image, should not show any strong formation of bubbles, so that there are no problems with the image registration between the object image and the reference image section.

Abstract

A reference image and at least one object image and at least one analysis image are used in a method for analyzing a structure within a fluidic system. A reference image section with the structure to be analyzed, which is isolated from a reference image, is provided, the reference image having been recorded with a first camera setting. An object image which has the same fluidic state as the reference image and which was recorded with the first or a second camera setting is selected. Using the object image and using the reference image section, an image registration is performed and an edge recognition is applied for the purposes of creating a mask. At least one analysis image is selected beforehand or afterwards, the at least one analysis image and the object image having been recorded with the same camera setting. The mask is applied to the analysis image for the purposes of isolating the image section of the analysis image to be analyzed. Subsequently, the image section to be analyzed can be examined using an image-analytical evaluation.

Description

Beschreibung description
Titel title
Verfahren zur Analyse einer Struktur innerhalb eines fluidischen Systems Method for analyzing a structure within a fluidic system
Die vorliegende Erfindung betrifft ein Verfahren zur Analyse einer Struktur innerhalb eines fluidischen Systems mit bildanalytischen Methoden. The present invention relates to a method for analyzing a structure within a fluidic system using image analysis methods.
Stand der Technik State of the art
Es ist bekannt, bei der Auswertung und Steuerung von Prozessen in mikrofluidischen Vorrichtungen bildanalytische Methoden einzusetzen. So kann beispielsweise der Füllzustand einer mikrofluidischen Vorrichtung oder das Vorhandensein von Blasen innerhalb einer mikrofluidischen Vorrichtung untersucht werden. Zum Beispiel beschreibt die WO 2005/011947 A2 ein Verfahren zum Verarbeiten eines Bildes einer mikrofluidischen Vorrichtung, wobei ein erstes Bild der mikrofluidischen Vorrichtung in einem ersten Zustand und ein zweites Bild der mikrofluidischen Vorrichtung in einem zweiten Zustand erhalten werden. Das erste Bild und das zweite Bild werden in einen dritten Koordinatenraum transformiert, wobei ein Unterschied zwischen dem ersten Bild und dem zweiten Bild ermittelt wird. Mit diesem Verfahren können Kristalle in einzelnen Kammern der mikrofluidischen Vorrichtung erkannt werden. Die US 8,849,037 B2 beschreibt ebenfalls ein Verfahren zur Bildverarbeitung für mikrofluidische Vorrichtungen, bei dem durch einen dynamischen Abgleich mehrere Bilder analysiert werden. Unter Verwendung einer Basislinienkorrektur können mit diesem Verfahren Blasen erkannt werden. It is known to use image analysis methods in the evaluation and control of processes in microfluidic devices. For example, the filling state of a microfluidic device or the presence of bubbles within a microfluidic device can be examined. For example, WO 2005/011947 A2 describes a method for processing an image of a microfluidic device, a first image of the microfluidic device being obtained in a first state and a second image of the microfluidic device being obtained in a second state. The first image and the second image are transformed into a third coordinate space, a difference being determined between the first image and the second image. With this method, crystals can be recognized in individual chambers of the microfluidic device. US Pat. No. 8,849,037 B2 likewise describes a method for image processing for microfluidic devices in which several images are analyzed by dynamic comparison. This technique can detect bubbles using a baseline correction.
Aus der Bildverarbeitung ist die Methode der Kantenerkennung ( edge detection) bekannt. Eine Kantenerkennung ist jedoch nur für abgeschlossene Strukturen einsetzbar, also für solche Strukturen, die durchgängige Kanten aufweisen.The edge detection method is known from image processing. However, edge detection can only be used for closed structures, that is to say for structures that have continuous edges.
Nicht abgeschlossene Strukturen, wie beispielsweise ein Kanalausschnitt einer mikrofluidischen Vorrichtung oder eine Kammer mit Zu- und Ablauf, sind mit einer herkömmlichen Kantenerkennung nicht analysierbar. Eine Analyse von derartigen, nicht abgeschlossenen Strukturen erfordert daher im Allgemeinen eine Untersuchung von mehreren, sequenziell aufgenommenen Bildern, wobei durch einen dynamischen Abgleich der Bilder Unterschiede erkannt werden können. Not closed structures, such as a canal section of a microfluidic device or a chamber with an inlet and outlet cannot be analyzed with conventional edge detection. An analysis of such, incomplete structures therefore generally requires an examination of a plurality of sequentially recorded images, with differences being able to be recognized by dynamic comparison of the images.
Offenbarung der Erfindung Vorteile der Erfindung Disclosure of the Invention Advantages of the Invention
Die Erfindung stellt ein Verfahren zur Analyse einer Struktur innerhalb eines fluidischen Systems bereit, bei dem unter Einsatz von bildverarbeitenden Methoden sowohl geschlossene Strukturen als auch, mit besonderem Vorteil, offene Strukturen untersucht werden können. Hierbei wird eine Kantenerkennung angewendet. Wie bereits erwähnt, sind offene Strukturen einer Kantenerkennung aus den genannten Gründen nicht zugänglich. Das vorgeschlagene Verfahren erlaubt jedoch die Anwendung einer Kantenerkennung auch auf offene Strukturen, sodass das Verfahren für verschiedene fluidische Systeme einsetzbar ist, bei denen oftmals offene Strukturen, beispielsweise Kanalausschnitte oder Kammern mit Zu- und/oder Abläufen, auszuwerten sind. Das vorgeschlagene Verfahren verwendet ein Referenzbild und wenigstens ein Objektbild sowie wenigstens ein Analysebild, wobei letzteres mit dem vorgeschlagenen Verfahren ausgewertet wird. Diese Auswertung kann beispielsweise im Hinblick auf eine Blasenerkennung oder eine anderweitige Auswertung eines fluidischen Systems erfolgen. The invention provides a method for analyzing a structure within a fluidic system, in which both closed structures and, with particular advantage, open structures can be examined using image processing methods. Edge detection is used here. As already mentioned, open structures are not accessible to edge detection for the reasons mentioned. However, the proposed method allows the use of edge detection also on open structures, so that the method can be used for various fluidic systems in which open structures, for example channel sections or chambers with inlets and / or outlets, are often to be evaluated. The proposed method uses a reference image and at least one object image as well as at least one analysis image, the latter being evaluated with the proposed method. This evaluation can take place, for example, with regard to bubble detection or some other evaluation of a fluidic system.
Das Verfahren sieht zunächst eine Bereitstellung eines Referenz-Bildausschnittes mit der zu analysierenden Struktur vor (Schritt a.), wobei die zu analysierende Struktur aus einem Referenzbild isoliert ist. Das Referenzbild wurde mit einer ersten Kameraeinstellung aufgenommen. Hierfür kann eine Isolierung und Speicherung des Referenz- Bildausschnittes mit der zu analysierenden Struktur aus dem Referenzbild, das mit einer ersten Kameraeinstellung aufgenommen wurde, vorgenommen werden. Es ist auch möglich, dass ein bereits früher isolierter Referenz-Bildausschnitt verwendet wird. Weiterhin wird ein Objektbild {default image) ausgewählt, das den gleichen fluidischen Zustand wie das Referenzbild aufweist und das mit der ersten Kameraeinstellung oder einer anderen, einer zweiten Kameraeinstellung aufgenommen wurde (Schritt b.). Gemäß dem vorgeschlagenen Verfahren wird eine Bildregistrierung des Objektbildes mit dem Referenz-Bildausschnitt durchgeführt (Schritt c.). Die Bildregistrierung, auch Co-Registrierung genannt, ist eine an sich bekannte Methodik der digitalen Bildverarbeitung, bei der zwei oder mehr Bilder miteinander fusioniert beziehungsweise überlagert werden. Es geht dabei darum, zwei oder mehr Bilder derselben, oder zumindest einer ähnlichen Szene, bestmöglich in Übereinstimmung miteinander zu bringen. Zur Anpassung der Bilder aneinander wird in der Regel eine ausgleichende Transformation berechnet, um das eine Bild bestmöglich mit dem anderen Bild in Übereinstimmung zu bringen. Dieses Verfahren wird beispielsweise in der medizinischen Bildverarbeitung häufig eingesetzt. Das vorgeschlagene Verfahren nutzt die Bildregistrierung, um das Objektbild mit dem Referenz-Bildausschnitt, die mit unterschiedlichen Kameraeinstellungen und zu verschiedenen Zeitpunkten aufgenommen sein können, miteinander zu fusionieren und weiterzuverarbeiten. Auf das fusionierte Bild wird eine Kantenerkennung angewendet, um auf dieser Basis eine Maske zu erstellen. Auf diese Weise erlaubt die Bildregistrierung auch die Analyse einer nicht abgeschlossenen Struktur bei einem fluidischen System und insbesondere bei einer mikrofluidischen Vorrichtung. Kernpunkt ist hierbei, dass durch die Bildregistrierung und die Anwendung der Kantenerkennung eine Isolierung der zu analysierenden Struktur möglich ist, sodass diese von einem gegebenenfalls nicht abgeschlossenen Zustand in einen abgeschlossenen Zustand überführt wird. Die auf der Basis der Bildregistrierung erstellte Maske wird auf das Analysebild angewendet, sodass auf dem Analysebild der zu analysierende Bildausschnitt des Analysebildes isoliert werden kann (Schritt e.). Das oder die zu untersuchenden Analysebilder können vorab oder während des Verlaufs des Verfahrens ausgewählt werden (Schritt d.). Hierbei sollte das wenigstens eine Analysebild mit der gleichen Kameraeinstellung aufgenommen worden sein wie das Objektbild. Der aus dem Analysebild mithilfe der Maske isolierte zu analysierende Bildausschnitt kann anschließend mittels einer bildanalytischen Auswertung untersucht werden (Schritt f.), beispielsweise im Hinblick auf einen Anteil von Blasen oder anderem. Diese Auswertung kann insbesondere anhand einer Bestimmung von Pixelintensitäten erfolgen, sodass beispielsweise ein prozentualer Anteil von Blasen innerhalb einer Kammer einer mikrofluidischen Vorrichtung zum Zeitpunkt tl und t2 bestimmt werden kann. Beispielsweise kann hiermit festgestellt werden, dass zum Zeitpunkt tl die Kammer zu 50 % mit Blasen gefüllt war und zum Zeitpunkt t2 zu 20 %. The method initially provides a reference image section with the structure to be analyzed (step a.), The structure to be analyzed being isolated from a reference image. The reference image was taken with the first camera setting. For this purpose, the reference image section with the structure to be analyzed can be isolated and stored from the reference image that was recorded with a first camera setting. It is also possible to use a previously isolated reference image section. Furthermore, an object image (default image) is selected, which the has the same fluidic state as the reference image and which was recorded with the first camera setting or another, second camera setting (step b.). According to the proposed method, an image registration of the object image is carried out with the reference image section (step c.). Image registration, also known as co-registration, is a method of digital image processing known per se, in which two or more images are fused or superimposed with one another. The aim is to bring two or more images of the same, or at least a similar scene, into harmony with one another as well as possible. To adapt the images to one another, a compensating transformation is usually calculated in order to bring one image into agreement with the other image as well as possible. This method is often used in medical image processing, for example. The proposed method uses the image registration to merge and further process the object image with the reference image section, which can be recorded with different camera settings and at different times. Edge detection is applied to the merged image in order to create a mask on this basis. In this way, the image registration also allows the analysis of a non-closed structure in a fluidic system and in particular in a microfluidic device. The key point here is that the image registration and the use of edge detection make it possible to isolate the structure to be analyzed so that it is transferred from a possibly incomplete state to a closed state. The mask created on the basis of the image registration is applied to the analysis image so that the image section of the analysis image to be analyzed can be isolated on the analysis image (step e.). The analysis image or images to be examined can be selected beforehand or during the course of the method (step d.). Here, the at least one analysis image should have been recorded with the same camera setting as the object image. The image section to be analyzed isolated from the analysis image with the aid of the mask can then be examined by means of an image analysis evaluation (step f.), For example with regard to a proportion of bubbles or something else. This evaluation can in particular take place on the basis of a determination of pixel intensities, so that, for example, a percentage of bubbles within a chamber of a microfluidic device can be determined at times t1 and t2. For example, this can be used to determine be that at time t1 the chamber was filled to 50% with bubbles and at time t2 to 20%.
Bei der zu untersuchenden Struktur kann es sich im Prinzip um jegliche denkbare Form handeln, beispielsweise um ein Rechteck, Kreis, um ein beliebiges Polygon oder ähnliches. Diese Struktur repräsentiert beispielsweise eine bestimmte Kammer innerhalb einer mikrofluidischen Vorrichtung oder einen bestimmten Ausschnitt aus einem Kanal einer mikrofluidischen Vorrichtung oder Ähnliches. Der besondere Vorteil der Erfindung liegt darin, dass mit dem vorgeschlagenen Verfahren nicht abgeschlossene Strukturen, wie beispielsweise ein Ausschnitt aus einem Kanal, der keine komplett durchgängigen Kanten aufweist, analysiert werden kann. Bei diesem Verfahren wird eine nicht abgeschlossene Struktur einmalig derart isoliert, dass sie in eine geschlossene Struktur überführt wird. Dies erfolgt insbesondere im Rahmen der Isolierung und Speicherung eines Referenz-Bildausschnittes mit der zu analysierenden Struktur aus dem Referenzbild gemäß Schritt a.. Für diese Isolierung können bestimmte Vorgaben verwendet werden, sodass diese Isolierung auf einer rechnerischen Basis erfolgen kann. Weiterhin ist auch eine manuelle Isolierung des Referenz-Bildausschnittes möglich. Durch die Schritte des vorgeschlagenen Verfahrens wird diese vorab hergestellte geschlossene Struktur auf die zu untersuchende, tatsächlich nicht abgeschlossene Struktur übertragen, sodass die beschriebene bildanalytische Auswertung ermöglicht wird. Hierdurch wird beispielsweise die Bestimmung von verschiedenen Parametern der nicht abgeschlossenen Struktur möglich, beispielsweise können verschiedene zweidimensionale Größen, Füllungen oder anderes bestimmt werden, ohne dass engmaschige Bildaufnahmen und ein dynamischer Abgleich der Bilddaten notwendig wären. Insbesondere erlaubt das vorgeschlagene Verfahren eine Blasenerkennung, beispielsweise anhand einer Bestimmung von Schwellwerten und einer prozentualen Auswertung von Pixelanzahlen, die oberhalb beziehungsweise unterhalb eines vorgebbaren Schwellenwertes liegen. Eine derartige bildanalytische Auswertung ist wesentlich schneller und einfacher durchzuführen, als beispielsweise ein kompletter Vergleich der Intensitäten von zwei oder mehr Bildern. In einer vorteilhaften Ausgestaltung des vorgeschlagenen Verfahrens kann vor der Bildregistrierung eine Bildbearbeitung an dem Objektbild zur Angleichung an den Referenz-Bildausschnitt erfolgen. Beispielsweise kann das Objektbild in Anpassung an den Referenz-Bildausschnitt entsprechend gedreht werden, sodass eine Übereinstimmung mit dem Referenz-Bildausschnitt gegeben ist. Weitere mögliche Bildbearbeitungsschritte sind beispielsweise eine Umwandlung von Farben in Graustufen und/oder eine Glättung des Bildes und/oder die Anwendung einer Kantenerkennung. Weiterhin kann beispielsweise eine Füllung einer geschlossenen Struktur und/oder eine Entfernung bestimmter Elemente der Struktur und/oder eine Errechnung des Umfangs und/oder eine Errechnung anderer Parameter der Struktur durchgeführt werden. Ob und welche solcher optionalen Schritte sinnvoll und/oder vorteilhaft sind, ist von dem jeweiligen Objektbild abhängig. Im Allgemeinen kann durch solche bildbearbeitenden Schritte die nachfolgende Bildregistrierung optimiert werden. The structure to be examined can in principle be any conceivable shape, for example a rectangle, circle, any polygon or the like. This structure represents, for example, a specific chamber within a microfluidic device or a specific section from a channel of a microfluidic device or the like. The particular advantage of the invention is that the proposed method can be used to analyze incomplete structures, such as, for example, a section of a channel that does not have completely continuous edges. In this process, a non-closed structure is isolated once in such a way that it is converted into a closed structure. This takes place in particular in the context of the isolation and storage of a reference image section with the structure to be analyzed from the reference image in accordance with step a .. Certain specifications can be used for this isolation so that this isolation can take place on a computational basis. Manual isolation of the reference image section is also possible. Through the steps of the proposed method, this previously produced closed structure is transferred to the actually not closed structure to be examined, so that the described image-analytical evaluation is made possible. This makes it possible, for example, to determine various parameters of the non-closed structure; for example, various two-dimensional sizes, fillings or other can be determined without the need for close-meshed image recordings and dynamic comparison of the image data. In particular, the proposed method allows bubble detection, for example on the basis of a determination of threshold values and a percentage evaluation of the number of pixels that are above or below a predeterminable threshold value. Such an image analysis evaluation can be carried out much faster and easier than, for example, a complete comparison of the intensities of two or more images. In an advantageous embodiment of the proposed method, before the image registration, image processing can take place on the object image in order to align it with the reference image section. For example, the object image can be rotated accordingly to match the reference image section, so that there is a match with the reference image section. Further possible image processing steps are, for example, a conversion of colors into gray levels and / or a smoothing of the image and / or the use of edge detection. Furthermore, for example, filling a closed structure and / or removing certain elements of the structure and / or calculating the scope and / or calculating other parameters of the structure can be carried out. Whether and which such optional steps are sensible and / or advantageous depends on the respective object image. In general, such image processing steps can optimize the subsequent image registration.
Auch für die Erstellung der Maske nach der Bildregistrierung kann eine weitere Bildbearbeitung erfolgen, beispielsweise eine Umwandlung von Farben in Graustufen und/oder eine Glättung des Bildes. Weiterhin sind im Rahmen einer solchen Bildbearbeitung beispielsweise die Füllung einer geschlossenen Struktur und/oder eine Entfernung bestimmter Elemente der Struktur und/oder eine Extraktion von Kanten und/oder eine Errechnung des Umfangs und/oder anderer Parameter der Struktur möglich. In besonders vorteilhafter Weise kann beispielsweise der komplette Hintergrund der Struktur auf einen Farbton, beispielsweise weiß, gesetzt werden. Weiterhin können Artefakte am Bildrand eliminiert werden, falls vorhanden, um die Grenzen der Struktur weiter zu säubern. Weiterhin kann die Struktur komplett gefüllt werden, um Kanten innerhalb der Struktur zu eliminieren. Durch Anwendung derartiger Maßnahmen im Zusammenspiel mit der Kantenerkennung, welche ebenfalls durch weitere Bildbearbeitung optimiert werden kann, beispielsweise durch Verdickung zur Vermeidung von Kantenlücken oder durch Eliminierung von Artefakten, kann insgesamt die geschlossene Kante der zu analysierenden Struktur als Maske extrahiert werden. In Abhängigkeit von der später durchzuführenden bildanalytischen Auswertung kann diese Maske beispielsweise gefüllt werden, um beispielsweise eine spätere Analyse mittels eines Histogramms zu vereinfachen. Further image processing can also take place for the creation of the mask after the image registration, for example a conversion of colors into gray levels and / or a smoothing of the image. Furthermore, within the framework of such an image processing, for example, the filling of a closed structure and / or the removal of certain elements of the structure and / or an extraction of edges and / or a calculation of the circumference and / or other parameters of the structure are possible. In a particularly advantageous manner, for example, the entire background of the structure can be set to one color, for example white. Furthermore, artifacts at the edge of the image can be eliminated, if any, in order to further clean up the boundaries of the structure. Furthermore, the structure can be completely filled in order to eliminate edges within the structure. By using such measures in conjunction with the edge detection, which can also be optimized by further image processing, for example by thickening to avoid edge gaps or by eliminating artifacts, the closed edge of the structure to be analyzed can be extracted as a mask. Depending on the image analysis to be carried out later, this mask can be filled, for example, For example, to simplify a later analysis using a histogram.
In bevorzugter Weise erfolgen an dem wenigstens einen Analysebild ebenfalls ein oder mehrere Bildbearbeitungsschritte, sodass das Analysebild an das Objektbild vor der Bildregistrierung angeglichen werden kann. Beispielsweise kann dieser Bildbearbeitungsschritt ein Drehen des Bildes umfassen, sodass die Position der zu analysierenden Struktur, beispielsweise die Position einer Kammer innerhalb der mikrofluidischen Vorrichtung, dem Objektbild entspricht. Besonders bevorzugt ist eine Umwandlung der Farben des Analysebildes in Graustufen, um die spätere Auswertung beispielsweise anhand einer Pixelverteilung zu erleichtern. Auch das Ausschneiden des betroffenen Bildausschnittes kann vorteilhaft sen. Auch diese Maßnahme erleichtert die spätere Auswertung. Preferably, one or more image processing steps also take place on the at least one analysis image, so that the analysis image can be matched to the object image before the image registration. For example, this image processing step can include rotating the image so that the position of the structure to be analyzed, for example the position of a chamber within the microfluidic device, corresponds to the object image. A conversion of the colors of the analysis image into gray levels is particularly preferred in order to facilitate the subsequent evaluation, for example on the basis of a pixel distribution. Cutting out the affected image section can also be advantageous. This measure also facilitates the subsequent evaluation.
In besonders bevorzugter Weise erfolgt die anschließende Auswertung beziehungsweise die Untersuchung des zu analysierenden Bildausschnittes mittels eines Schwellenwertverfahrens, vorzugsweise kann hierbei die Auswertung anhand einer Häufigkeitsverteilung von Pixeln erfolgen, insbesondere von Pixeln, deren Intensität oberhalb beziehungsweise unterhalb eines vorgebbaren Schwellenwertes liegen. In a particularly preferred manner, the subsequent evaluation or examination of the image section to be analyzed is carried out using a threshold value method; the evaluation can preferably be based on a frequency distribution of pixels, in particular pixels whose intensity is above or below a predefinable threshold value.
Mit dem vorgeschlagenen Verfahren kann auf diese Weise in besonders vorteilhafter Weise eine Erkennung von Blasen innerhalb einer mikrofluidischen Vorrichtung als fluidischem System vorgenommen werden, beispielsweise die Erkennung von Blasen innerhalb einer bestimmten Kammer oder einem bestimmten Reaktionsraum oder einem bestimmten Kanalabschnitt einer mikrofluidischen Vorrichtung. Das Verfahren ist jedoch nicht auf solche Anwendungen beschränkt. Das Verfahren kann auch zur Bestimmung anderer Parameter eines fluidischen Systems eingesetzt werden. Prinzipiell kann das vorgeschlagene Verfahren für eine Vielzahl von fluidischen Systemen genutzt werden, beispielsweise im Hinblick auf eine Überwachung oder Steuerung von Fertigungsverfahren und/oder für Qualitätskontrollen von fluidischen und insbesondere von mikrofluidischen Systemen, um beispielsweise die Größe und Lage von Feststoffen, beispielsweise von Kristallen, innerhalb des Systems zu bestimmen. Ein anderer Parameter, der mit dem vorgeschlagenen Verfahren untersucht werden kann, ist beispielsweise der Austritt von Flüssigkeit aus dem System in die Umgebung, wobei sich dieser Austritt durch Intensitätsänderungen bemerkbar machen kann, die mit dem vorgeschlagenen Verfahren erfassbar sind. In this way, the proposed method can be used in a particularly advantageous manner to detect bubbles within a microfluidic device as a fluidic system, for example to detect bubbles within a specific chamber or a specific reaction space or a specific channel section of a microfluidic device. However, the method is not limited to such applications. The method can also be used to determine other parameters of a fluidic system. In principle, the proposed method can be used for a large number of fluidic systems, for example with regard to monitoring or control of manufacturing processes and / or for quality controls of fluidic and in particular of microfluidic systems, for example to determine the size and position of solids, for example crystals, within the system too determine. Another parameter that can be examined with the proposed method is, for example, the leakage of liquid from the system into the environment, this leakage being noticeable through changes in intensity that can be detected with the proposed method.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit den Zeichnungen. Hierbei können die einzelnen Merkmale jeweils für sich oder in Kombination miteinander verwirklicht sein. Further features and advantages of the invention emerge from the following description of exemplary embodiments in conjunction with the drawings. The individual features can be implemented individually or in combination with one another.
In den Zeichnungen zeigen: In the drawings show:
Fig. 1 Ablaufdiagramm eines Algorithmus zur Durchführung des vorgeschlagenen Verfahrens und Fig. 1 flow diagram of an algorithm for carrying out the proposed method and
Fig. 2 Illustrierung verschiedener Schritte des vorgeschlagenenFig. 2 illustrates various steps of the proposed
Verfahrens zum Teil anhand von Bildausschnitten (Fig. 2/1 -Procedure partly based on image details (Fig. 2/1 -
2/10). 2/10).
Beschreibung von Ausführungsbeispielen Description of exemplary embodiments
Fig. 1 illustriert verschiedene Schritte des vorgeschlagenen Verfahrens in Form eines Algorithmus. In Schritt 1 erfolgt zunächst die Abfrage, ob ein Objektbild {default image) ausgewählt wurde. Ist dies der Fall, erfolgt in Schritt 2 die initiale Vorbereitung des Objektbildes gegebenenfalls mit einer Bildbearbeitung und die Bildregistrierung des Objektbildes mit dem zuvor isolierten und gespeicherten Referenz-Bildausschnitt mit der zu analysierenden Struktur zur Erstellung einer Maske. Anschließend wird in Schritt 3 abgefragt, ob ein oder mehrere Analysebilder ausgewählt wurden. Ist dies der Fall, erfolgt in Schritt 4 die Abfrage, ob nur ein Analysebild ausgewählt wurde. Ist dies der Fall, erfolgt in Schritt 5 die weitere Analyse des Analysebildes durch Anwendung der erstellten Maske auf das Analysebild und die weitere bildanalytische Analyse zur Auswertung des zu analysierenden Bildausschnittes. Ergibt die Abfrage in Schritt 4, dass mehr als ein Analysebild ausgewählt wurde, wird im Schritt 6 ein Bild ausgewählt und vergleichbar mit Schritt 5 analysiert. Nachfolgend kann im Schritt 7 die Anzahl der Analysebilder um eines reduziert werden und auf den Schritt 3 zurückgesprungen werden, sodass nacheinander die verschiedenen Analysebilder gemäß den Schritten 5 bzw. 6 analysiert werden können. Sind alle Analysebilder ausgewertet, kann in Schritt 8 das Programm beendet werden. Wenn also keine zu analysierenden Analysebilder mehr ausgewählt sind, wird von dem Schritt 3 direkt auf das Ende des Programms in Schritt 8 gesprungen. Wenn in Schritt 1 die Abfrage ergibt, dass kein Objektbild ausgewählt wurde, kann ebenfalls direkt zum Programmende auf den Schritt 8 gesprungen werden. Zur Bearbeitung von mehreren ausgewählten Analysebildern sieht dieses Verfahren also eine Schleife vor. Falls mehr als ein Bild (z.B. zehn Bilder) in Schritt 4 gewählt wurde, wird ein Bild davon genommen und dieses analysiert. Danach wird die neue Anzahl der Bilder berechnet (nun neun). Die Schleife wird also insgesamt neunmal ausgeführt. Dann ist nur noch ein Bild übrig. Dieses wird als letztes analysiert und das Programm endet. Wurde von Beginn an nur ein Bild gewählt, kann die Schleife ignoriert werden. 1 illustrates various steps of the proposed method in the form of an algorithm. In step 1, the query is first made as to whether an object image (default image) has been selected. If this is the case, the initial preparation of the object image takes place in step 2, possibly with image processing and the image registration of the object image with the previously isolated and stored reference image section with the structure to be analyzed to create a mask. In step 3, you are then asked whether one or more analysis images have been selected. If this is the case, the query is made in step 4 as to whether only one analysis image has been selected. If this is the case, the further analysis of the analysis image takes place in step 5 by applying the mask created to the analysis image and the further image analysis analysis for evaluating the image section to be analyzed. If the query in step 4 shows that more than one analysis image has been selected, in step 6 a Image selected and analyzed similar to step 5. Subsequently, in step 7, the number of analysis images can be reduced by one and the user can jump back to step 3 so that the various analysis images can be analyzed one after the other according to steps 5 and 6, respectively. When all analysis images have been evaluated, the program can be ended in step 8. So if no more analysis images to be analyzed are selected, a jump is made from step 3 to the end of the program in step 8. If the query in step 1 shows that no object image has been selected, you can also jump directly to step 8 at the end of the program. This method provides a loop for processing several selected analysis images. If more than one image (for example ten images) was selected in step 4, one image is taken and this is analyzed. Then the new number of images is calculated (now nine). The loop is executed a total of nine times. Then there is only one picture left. This is analyzed last and the program ends. If only one image was selected from the start, the loop can be ignored.
Fig. 2 illustriert verschiedene mögliche Schritte des vorgeschlagenen Verfahrens zum Teil anhand von Bildausschnitten (Teilfiguren 2/1 bis 2/10). In Schritt 20 wird zunächst die zu analysierende Struktur einmalig aus einem Bild des fluidischen Systems (Referenzbild) ausgeschnitten und wird als neues Bild mit weißem Hintergrund abgespeichert. Dieser Referenz-Bildauschnitt kann für eine Vielzahl von Durchführungen des nachfolgend beschriebenen Verfahrens verwendet werden. In Schritt 21 wird ein Objektbild {default image) ausgewählt, welches den gleichen fluidischen Status wie das Referenzbild zeigt. In diesem Beispiel ist dies beispielsweise eine nicht mit Flüssigkeit gefüllte Kammer der mikrofluidischen Vorrichtung, die sich durch einen weißen Kreis darstellt. Der weiße Kreis kann dabei durch einen Feststoff verursacht sein, der in die mikrofluidische Vorrichtung eingebracht wurde und der im folgenden Betrieb der mikrofluidischen Vorrichtung aufgelöst werden wird. Auch wenn das Objektbild und das Referenzbild den gleichen fluidischen Status zeigen, können die Kameraeinstellungen, wie beispielsweise Orientierung, Zoom oder anderes, voneinander abweichen. Wenn kein solches Objektbild ausgewählt wird, kann das Programm beendet werden, wie anhand von Fig. 1 bereits erläutert wurde. Im nächsten oder in einem nachfolgenden Schritt können prinzipiell beliebig viele Bilder ausgewählt werden, die analysiert werden sollen (Analysebilder). Diese Auswahl der Analysebilder kann jetzt oder zu einem späteren Zeitpunkt erfolgen, allerdings sollten das Objektbild und die Analysebilder mit derselben Kameraeinstellung aufgenommen werden. FIG. 2 illustrates various possible steps of the proposed method, in part on the basis of image details (sub-figures 2/1 to 2/10). In step 20, the structure to be analyzed is first cut out once from an image of the fluidic system (reference image) and is saved as a new image with a white background. This reference image section can be used for a large number of implementations of the method described below. In step 21 an object image (default image) is selected which shows the same fluidic status as the reference image. In this example, this is, for example, a chamber of the microfluidic device that is not filled with liquid, which is represented by a white circle. The white circle can be caused by a solid which has been introduced into the microfluidic device and which will be dissolved in the subsequent operation of the microfluidic device. Even if the object image and the reference image show the same fluidic status, the camera settings, such as, for example, orientation, zoom or other, can deviate from one another. If no such object image is selected, the program can be terminated, as has already been explained with reference to FIG. 1. In the next or in a subsequent step, in principle, any number of images can be selected to be analyzed (analysis images). This selection of the analysis images can take place now or at a later point in time, but the object image and the analysis images should be recorded with the same camera setting.
Das in Schritt 21 erhaltene Objektbild kann im optionalen Schritt 22 beispielsweise um 180 Grad gedreht werden, um die spätere Bildregistrierung (Bildfusion) mit dem Referenz-Bildausschnitt zu erleichtern. The object image obtained in step 21 can be rotated, for example, by 180 degrees in the optional step 22 in order to facilitate the subsequent image registration (image fusion) with the reference image section.
In den nachfolgenden Schritten kann ebenfalls zur vereinfachten Bearbeitung der Bilder die zu analysierende Struktur aus dem Objektbild ausgeschnitten beziehungsweise isoliert werden. Dies kann anhand von einer Erkennung des weißen Kreises im Schritt 23 und Festlegen eines Rahmens um den entsprechenden Bildausschnitt (Schritt 24) erfolgen. Die nachfolgenden Bildbearbeitungsschritte 25 bis 34 sind ebenfalls optional und können zur Vereinfachung und zur Optimierung der nachfolgenden Bildregistrierung in Schritt 35 durchgeführt werden. Diese Bildbearbeitungsschritte des Objektbildes können eine Umwandlung der Farben des Bildes in Graustufen umfassen (Schritt 25). Weiterhin kann in Schritt 26 eine Kantenerkennung auf das Bild angewendet werden. In Schritt 27 kann eine Verdickung der Kanten erfolgen. In Schritt 28 kann ein Auffüllen der Fläche zwischen den verbundenen Kanten erfolgen. In Schritt 29 kann eine Bestimmung verschiedener Parameter des Bildes erfolgen, beispielsweise eine Bestimmung des Umfangs. Im Schritt 30 kann eine Entfernung aller Pixel erfolgen, die zu einem Bereich mit weniger als beispielsweise 400 verbundenen Pixeln gehören, sodass die Darstellung weiter gesäubert wird. Im Schritt 31 kann eine Füllung des Umrisses erfolgen. Im Schritt 32 kann eine Berechnung der Parameter der ausgefüllten Struktur erfolgen, um die Position und die Größe des Kreises im Objektbild zu finden. In Schritt 33 kann beispielsweise der erste und der letzte weiße Pixel in x- und y- Richtung ermittelt werden, um den Bildausschnitt in Abhängigkeit von der Kammerposition finden und isolieren zu können. In Schritt 34 kann eine Isolierung des Bildausschnittes in Abhängigkeit von der Kammerposition erfolgen, um Varianzen zu vermeiden, die sich aus der Position des Kreises im Objektbild ergeben. Diese verschiedenen optionalen Schritte können genutzt werden, um die nachfolgende Bildregistrierung in Schritt 35 zu verbessern. Beispielsweise kann die Kantenerkennung genutzt werden, um eine Schwarz-Weiß-Darstellung der Kammer zu erhalten und um die Kammer innerhalb des Bildes entsprechend zu finden. Dies kann beispielsweise sinnvoll sein, wenn sich ein gegebenenfalls vorhandener Feststoff in der Kammer an einer extremen Position innerhalb der Kammer befindet und diese z.B. nicht komplett im Bild vorhanden ist, da ein Teil abgeschnitten wird. Wenn sich der Feststoff beispielsweise ganz links in der Kammer befindet und das Bild anhand des Feststoffes in der Kammer isoliert bzw. geschnitten wird, kann es passieren, dass die Kammer nicht vollständig erfasst wird. Das Isolieren und Herausschneiden der Kammer als solcher ist im Allgemeinen wegen des anderen Hintergrunds und der offenen Struktur nicht möglich. Zudem bestünde das Problem, dass die Kammer bei (leicht) unterschiedlichen Zoomeinstellungen nicht korrekt ausgeschnitten werden würde. In anderen Fällen ist es durchaus möglich, dass auf diese optionalen Schritte und das Isolieren und Herausschneiden verzichtet werden kann. In the following steps, the structure to be analyzed can also be cut out or isolated from the object image to simplify processing of the images. This can be done by recognizing the white circle in step 23 and defining a frame around the corresponding image section (step 24). The subsequent image processing steps 25 to 34 are also optional and can be carried out in step 35 to simplify and optimize the subsequent image registration. These image processing steps of the object image can include a conversion of the colors of the image into gray levels (step 25). Furthermore, in step 26, edge detection can be applied to the image. In step 27, the edges can be thickened. In step 28, the area between the connected edges can be filled. In step 29, various parameters of the image can be determined, for example a determination of the circumference. In step 30, all pixels that belong to an area with fewer than 400 connected pixels, for example, can be removed so that the display is cleaned up further. In step 31, the outline can be filled. In step 32, the parameters of the completed structure can be calculated in order to find the position and the size of the circle in the object image. In step 33, for example, the first and the last white pixel can be determined in the x and y directions in order to be able to find and isolate the image section as a function of the chamber position. In step 34, the image section can be isolated as a function of the chamber position in order to avoid variances that result from the position of the circle in the object image. These various optional steps can be used to improve the subsequent image registration in step 35. For example, the edge detection can be used to obtain a black and white representation of the chamber and to find the chamber accordingly within the image. This can be useful, for example, if any solid material that may be present in the chamber is at an extreme position within the chamber and this is not completely present in the image, for example, because a part is cut off. If, for example, the solid is on the far left of the chamber and the image is isolated or cut using the solid in the chamber, it can happen that the chamber is not completely captured. Isolating and cutting out the chamber as such is generally not possible because of the different background and the open structure. In addition, there would be the problem that the chamber would not be cut out correctly with (slightly) different zoom settings. In other cases it is entirely possible that these optional steps and the isolation and cutting out can be dispensed with.
Allgemein können mit diesen optionalen Schritten die Größe der zu analysierenden Struktur erhalten werden und gegebenenfalls weitere Parameter bestimmt werden. Diese Bildbearbeitungsschritte sind jedoch nur beispielhaft zu verstehen und können im Allgemeinen die nachfolgende Bildregistrierung in Schritt 35 verbessern. Welche Schritte sinnvoll sind, hängt jedoch insbesondere von dem jeweiligen Objektbild ab, wobei durch diese Bildbearbeitung die nachfolgende Bildregistrierung optimiert werden kann. In general, with these optional steps, the size of the structure to be analyzed can be obtained and, if necessary, further parameters can be determined. However, these image processing steps are only to be understood as examples and can generally improve the subsequent image registration in step 35. Which steps are sensible, however, depends in particular on the respective object image, with the subsequent image registration being able to be optimized through this image processing.
Im anschließenden Schritt 35 erfolgt die Bildregistrierung, bei der das in diesem Fall bearbeitete Objektbild und der Referenz-Bildausschnitt miteinander fusioniert werden. Anschließend können in Schritt 36 gegebenenfalls die Farben in Graustufen umgewandelt werden. In Schritt 37 kann der komplette Hintergrund auf einen Farbton gesetzt werden, beispielsweise auf weiß beziehungsweise die schwarzen Kanten am Rand des fusionierten Bildausschnittes können entfernt werden. Anschließend wird in Schritt 38 auf das fusionierte Bild eine Kantenerkennung angewendet. Die Kanten können in Schritt 39 verdickt werden, um Kantenlücken am Rand der Struktur zu vermeiden. In diesem Beispiel ist beispielsweise eine dreifache Verdickung gezeigt. In Schritt 40 können Artefakte am Bildrand eliminiert werden, falls vorhanden. Hiermit können die Grenzen der Struktur weiter gesäubert werden.The image registration takes place in the subsequent step 35, in which the object image processed in this case and the reference image section are merged with one another. Subsequently, in step 36, the colors can optionally be converted into gray levels. In step 37, the entire background can be set to a color tone, for example white, or the black edges at the edge of the merged image section can be removed. Edge detection is then applied to the merged image in step 38. The edges can be thickened in step 39 to add gaps to the edge of the structure avoid. In this example, for example, a threefold thickening is shown. In step 40, artifacts at the edge of the image can be eliminated, if any. This allows the boundaries of the structure to be cleaned up further.
In Schritt 41 wird in diesem Beispiel die Struktur komplett gefüllt, um Kanten innerhalb der Struktur zu eliminieren. Anschließend kann in Schritt 42 eine Glättung des Bildes erfolgen. In step 41, in this example, the structure is completely filled in order to eliminate edges within the structure. The image can then be smoothed in step 42.
Nach diesen optionalen Schritten wird nun in Schritt 43 die umlaufende Kante der Struktur extrahiert, um die Maske zu generieren. Insbesondere in Abhängigkeit von nachfolgenden Analyseschritten kann die Maske in Schritt 44 gefüllt werden. Dies kann insbesondere im Hinblick auf eine spätere Analyse mittels eines Histogramms zweckmäßig sein. After these optional steps, the peripheral edge of the structure is extracted in step 43 in order to generate the mask. In particular, depending on subsequent analysis steps, the mask can be filled in step 44. This can be useful in particular with regard to a later analysis using a histogram.
Nach dieser Vorbereitung des Objektbildes und dessen Fusion mit dem Referenz-Bildausschnitt und der Erstellung der Maske werden nun im Schritt 46 das oder die Analysebilder herangezogen. Dies entspricht dem Schritt 3 in der Fig. 1. Sofern mehrere Analysebilder vorhanden sind, können diese nacheinander einzeln abgearbeitet werden. Die Analysebilder zeigen beispielsweise eine mikrofluidische Vorrichtung in unterschiedlichen fluidischen Zuständen, die von dem fluidischen Zustand des Objektbildes abweichen können. Vorab kann zunächst im Schritt 45 die Kante der Maske aus dem Schritt 43 auf das Analysebild angewendet werden, beispielsweise um eine visuelle Überprüfung durchzuführen. After this preparation of the object image and its fusion with the reference image section and the creation of the mask, the analysis image or images are now used in step 46. This corresponds to step 3 in FIG. 1. If several analysis images are available, these can be processed individually one after the other. The analysis images show, for example, a microfluidic device in different fluidic states which can deviate from the fluidic state of the object image. First of all, in step 45, the edge of the mask from step 43 can be applied to the analysis image, for example in order to carry out a visual check.
Das zu untersuchende Analysebild kann in Schritt 47 so gedreht werden, beispielsweise um 180 Grad, dass es dem Objektbild im Zustand vor der Bildregistrierung entspricht. In Schritt 48 kann der Bildausschnitt herausgeschnitten werden, der der Kammerposition beziehungsweise der Position der zu analysierenden Struktur aus dem Objektbild entspricht. In Schritt 49 kann eine Umwandlung der Farben in Graustufen erfolgen. In Schritt 50 wird die zuvor erstellte Maske auf diesen Ausschnitt des Analysebildes angewendet beziehungsweise aufgebracht. So kann das entsprechende Bild ausgeschnitten werden und die Struktur vom Hintergrund isoliert werden, sodass eine zuvor nicht abgeschlossene Struktur in eine abgeschlossene Struktur überführt wird. Anschließend wird in Schritt 51 in diesem Auswertungsbeispiel ein Histogramm erzeugt, das die Anzahl der Pixel mit einer bestimmten Intensität des maskierten Bildes repräsentiert. Dieses Histogramm repräsentiert also das maskierte Analysebild. In Schritt 52 kann ein Vergleichs-Histogramm erzeugt werden, das den Anteil der weißen und der schwarzen Pixel der Maske, also der Maske aus dem Schritt 44 repräsentiert. Das Histogramm des maskierten Analysebildes unterscheidet sich von dem Vergleichs-Histogramm hauptsächlich im Hintergrund und gegebenenfalls in der Anzahl der Pixel. Aus dem Vergleich der Histogramme aus Schritt 51 und 52, die nicht zwingend in der dargestellten Reihenfolge erstellt werden müssen, kann eine Auswertung beispielsweise im Hinblick auf das Vorliegen von Blasen innerhalb der Struktur vorgenommen werden. Im Einzelnen werden hierfür ein Histogramm der abgeschlossenen Struktur durch die Anwendung der Maske auf das Analysebild (Schritt 51) und ein Histogramm der gefüllten Maske (Schritt 52) erstellt. Die Anzahl der weißen Pixel der gefüllten Maske entspricht der gesamten Anzahl der Pixel. Für die abgeschlossene Struktur wird ein Schwellenwertverfahren durchgeführt. Hierbei werden Pixel unterhalb eines definierten Wertes gezählt und die Pixel oberhalb dieses definierten Wertes werden ignoriert. Diese Auswertung beziehungsweise Zählung der Pixel kann auch in umgekehrter Weise erfolgen. Mittels beispielsweise einer Dreisatzrechnung kann nun der Prozentanteil der Pixel, die durch dieses Schwellwertverfahren ermittelt wurden, innerhalb der Kammer beziehungsweise der untersuchten Struktur bestimmt werden. In dem hier dargestellten Beispiel werden beispielsweise schwarze Pixel oder sehr dunkelgraue Pixel als Blasen gewertet, sodass mit diesen Verfahren die prozentuale Füllung der Kammer oder der prozentuale Anteil der Blasen in der Kammer errechnet werden kann. Bei einer zusätzlichen oder alternativen Auswertung in Schritt 53 können Blasen über die Erkennung von Kreisen bestimmt werden. The analysis image to be examined can be rotated in step 47, for example by 180 degrees, so that it corresponds to the object image in the state before the image registration. In step 48, the image section can be cut out which corresponds to the chamber position or the position of the structure to be analyzed from the object image. In step 49, the colors can be converted into gray levels. In step 50, the previously created mask is used or applied to this section of the analysis image. In this way, the corresponding image can be cut out and the structure isolated from the background, so that a structure that was not completed before is converted into a completed structure. A histogram is then created in step 51 in this evaluation example that represents the number of pixels with a certain intensity of the masked image. This histogram therefore represents the masked analysis image. In step 52, a comparison histogram can be generated which represents the proportion of white and black pixels in the mask, that is to say the mask from step 44. The histogram of the masked analysis image differs from the comparison histogram mainly in the background and possibly in the number of pixels. From the comparison of the histograms from steps 51 and 52, which do not necessarily have to be created in the sequence shown, an evaluation can be carried out, for example, with regard to the presence of bubbles within the structure. In detail, a histogram of the completed structure is created for this by applying the mask to the analysis image (step 51) and a histogram of the filled mask (step 52). The number of white pixels in the filled mask corresponds to the total number of pixels. A threshold value procedure is carried out for the completed structure. Pixels below a defined value are counted and the pixels above this defined value are ignored. This evaluation or counting of the pixels can also be carried out in reverse. Using a rule of three calculation, for example, the percentage of pixels that were determined using this threshold value method can now be determined within the chamber or the structure being examined. In the example shown here, for example, black pixels or very dark gray pixels are evaluated as bubbles, so that the percentage filling of the chamber or the percentage of bubbles in the chamber can be calculated with this method. In an additional or alternative evaluation in step 53, bubbles can be determined by recognizing circles.
Die nachfolgenden Schritte 54 bis 60 illustrieren die entsprechende Bearbeitung und Auswertung des weiteren Analysebildes aus Schritt 46, wobei die Schritte 54 bis 60 den Schritten 47 bis 53 entsprechen. The following steps 54 to 60 illustrate the corresponding processing and evaluation of the further analysis image from step 46, with steps 54 to 60 corresponding to steps 47 to 53.
Das Referenzbild beziehungsweise der Referenz-Bildausschnitt kann für verschiedene Objektbilder mit dem gleichen fluidischen Status genutzt werden, die zum Beispiel zu einem früheren oder späteren Zeitpunkt aufgenommen wurden. Besonders vorteilhaft ist es hierbei, dass die unterschiedlichen Objektbilder mit unterschiedlichen Einstellungen, wie insbesondere Zoom, Ausschnitt, Orientierung oder anderes, aufgenommen sein können. Dies ermöglicht mit besonderem Vorteil eine automatisierte Analyse von Bildern zu verschiedenen Zeitpunkten mit dem gleichen fluidischen Status. The reference image or the reference image section can be used for different object images with the same fluidic status, which, for example, were recorded at an earlier or later point in time became. It is particularly advantageous here that the different object images can be recorded with different settings, such as, in particular, zoom, section, orientation or other. This particularly advantageously enables an automated analysis of images at different times with the same fluidic status.
Prinzipiell ist es möglich, dass das Objektbild und das Analysebild ein und dasselbe Bild sind. Hierbei sollte jedoch, anders als im gezeigten Beispiel, das Analysebild, das auch als Objektbild verwendet wird, keine starke Blasenbildung zeigen, sodass es nicht zu Problemen bei der Bildregistrierung zwischen Objektbild und Referenz-Bildausschnitt kommt. In principle, it is possible for the object image and the analysis image to be one and the same image. In this case, however, unlike in the example shown, the analysis image, which is also used as the object image, should not show any strong formation of bubbles, so that there are no problems with the image registration between the object image and the reference image section.

Claims

Ansprüche Expectations
1. Verfahren zur Analyse einer Struktur innerhalb eines fluidischen Systems unter Verwendung eines Referenzbildes und wenigstens eines Objektbildes und wenigstens eines Analysebildes, umfassend a. Bereitstellung eines Referenz-Bildausschnittes (20) mit der zu analysierenden Struktur, die aus einem Referenzbild isoliert ist, wobei das Referenzbild mit einer ersten Kameraeinstellung aufgenommen wurde, b. Auswahl eines Objektbildes (21), das den gleichen fluidischen Zustand wie das Referenzbild aufweist und das mit der ersten oder einer zweiten Kameraeinstellung aufgenommen wurde, c. Durchführung einer Bildregistrierung (35) des Objektbildes mit dem Referenz-Bildausschnitt und Anwendung einer Kantenerkennung (38) zur Erstellung einer Maske (43), d. Auswahl von wenigsten einem Analysebild (46), wobei das wenigstens eine Analysebild und das Objektbild mit der gleichen Kameraeinstellung aufgenommen wurden, e. Anwendung der Maske (50) auf das Analysebild zur Isolierung des zu analysierenden Bildausschnittes des Analysebildes, f. Untersuchung des zu analysierenden Bildausschnittes mittels einer bildanalytischen Auswertung (51, 52). 1. A method for analyzing a structure within a fluidic system using a reference image and at least one object image and at least one analysis image, comprising a. Providing a reference image section (20) with the structure to be analyzed, which is isolated from a reference image, the reference image being recorded with a first camera setting, b. Selecting an object image (21) which has the same fluidic state as the reference image and which was recorded with the first or a second camera setting, c. Implementation of an image registration (35) of the object image with the reference image section and application of an edge detection (38) to create a mask (43), d. Selection of at least one analysis image (46), the at least one analysis image and the object image being recorded with the same camera setting, e. Application of the mask (50) to the analysis image to isolate the segment of the analysis image to be analyzed, f. Examination of the segment to be analyzed by means of an image analysis evaluation (51, 52).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass vor der Bildregistrierung (35) eine Bildbearbeitung an dem Objektbild zur Angleichung an den Referenz-Bildausschnitt erfolgt. 2. The method according to claim 1, characterized in that before the image registration (35) an image processing is carried out on the object image in order to align it with the reference image section.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bildbearbeitung eine Umwandlung von Farben in Graustufen und/oder eine Glättung des Bildes und/oder die Anwendung einer Kantenerkennung umfasst. 3. The method according to claim 2, characterized in that the image processing comprises a conversion of colors into gray levels and / or a smoothing of the image and / or the use of an edge detection.
4. Verfahren nach Anspruch 2 oder Anspruch 3, dadurch gekennzeichnet, dass die Bildbearbeitung die Füllung einer geschlossenen Struktur und/oder eine Entfernung bestimmter Elemente der Struktur und/oder eine Errechnung des Umfangs und/oder anderer Parameter der Struktur umfasst. 4. The method according to claim 2 or claim 3, characterized in that the image processing comprises the filling of a closed structure and / or a removal of certain elements of the structure and / or a calculation of the scope and / or other parameters of the structure.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erstellung der Maske (43) eine Bildbearbeitung erfolgt. 5. The method according to any one of the preceding claims, characterized in that image processing takes place to create the mask (43).
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bildbearbeitung eine Umwandlung von Farben in Graustufen und/oder eine Glättung des Bildes umfasst. 6. The method according to claim 5, characterized in that the image processing comprises a conversion of colors into gray levels and / or a smoothing of the image.
7. Verfahren nach Anspruch 5 oder Anspruch 6, dadurch gekennzeichnet, dass die Bildbearbeitung die Füllung einer geschlossenen Struktur und/oder eine Entfernung bestimmter Elemente der Struktur und/oder eine Extraktion von Kanten und/oder eine Errechnung des Umfangs und/oder anderer Parameter der Struktur umfasst. 7. The method according to claim 5 or claim 6, characterized in that the image processing is the filling of a closed structure and / or a removal of certain elements of the structure and / or an extraction of edges and / or a calculation of the scope and / or other parameters of the Structure includes.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Bildbearbeitungsschritt an dem wenigstens einen Analysebild zur Angleichung des Analysebildes an das Objektbild vor der Bildregistrierung durchgeführt wird. 8. The method according to any one of the preceding claims, characterized in that at least one image processing step is carried out on the at least one analysis image for aligning the analysis image with the object image before the image registration.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Anwendung der Maske (50) auf das wenigstens eine Analysebild die Farben des Analysebildes in Graustufen umgewandelt werden. 9. The method according to any one of the preceding claims, characterized in that before the application of the mask (50) to the at least one analysis image, the colors of the analysis image are converted into gray levels.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Untersuchung des zu analysierenden Bildausschnittes mittels eines Schwellenwertverfahrens erfolgt. 10. The method according to any one of the preceding claims, characterized in that the examination of the image section to be analyzed is carried out by means of a threshold value method.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Auswertung anhand von Häufigkeitsverteilungen von Pixeln erfolgt. 11. The method according to claim 10, characterized in that the evaluation takes place on the basis of frequency distributions of pixels.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Analyse der Struktur eine Erkennung von Blasen innerhalb einer mikrofluidischen Vorrichtung als fluidischem System umfasst. 12. The method according to any one of the preceding claims, characterized in that the analysis of the structure includes a recognition of bubbles within a microfluidic device as a fluidic system.
EP21725685.8A 2020-02-27 2021-02-26 Method for analyzing a structure within a fluidic system Pending EP4111363A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020202528.2A DE102020202528A1 (en) 2020-02-27 2020-02-27 Method for analyzing a structure within a fluidic system
PCT/DE2021/100196 WO2021170183A1 (en) 2020-02-27 2021-02-26 Method for analyzing a structure within a fluidic system

Publications (1)

Publication Number Publication Date
EP4111363A1 true EP4111363A1 (en) 2023-01-04

Family

ID=75919167

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21725685.8A Pending EP4111363A1 (en) 2020-02-27 2021-02-26 Method for analyzing a structure within a fluidic system

Country Status (5)

Country Link
US (1) US20230085663A1 (en)
EP (1) EP4111363A1 (en)
CN (1) CN115136208A (en)
DE (2) DE102020202528A1 (en)
WO (1) WO2021170183A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031935A (en) 1998-02-12 2000-02-29 Kimmel; Zebadiah M. Method and apparatus for segmenting images using constant-time deformable contours
CA2532530A1 (en) 2003-07-28 2005-02-10 Fluidigm Corporation Image processing method and system for microfluidic devices
US8055034B2 (en) 2006-09-13 2011-11-08 Fluidigm Corporation Methods and systems for image processing of microfluidic devices

Also Published As

Publication number Publication date
DE112021001284A5 (en) 2023-01-12
DE102020202528A1 (en) 2021-09-02
CN115136208A (en) 2022-09-30
US20230085663A1 (en) 2023-03-23
WO2021170183A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
DE102008040804B4 (en) Method, surgical microscope and analysis system for the quantitative representation of blood flow
EP2130174B1 (en) Method and device for determining a cell contour of a cell
DE102008040807B4 (en) Method of correcting blood flow image data, medical device and analysis system
EP1104570A1 (en) Method for recognizing objects in digitized images
EP2430837A1 (en) Image processing method for determining depth information from at least two input images recorded using a stereo camera system
DE102006034911A1 (en) Method for creating panoramic images of the fundus
DE102005034374B3 (en) A method for automatically creating a background mask in images with noisy background areas, applications therefor and an MRI apparatus for performing the method and computer software product
EP3289398B1 (en) Method for generating a reflection-reduced contrast image and corresponding devices
DE60026732T2 (en) CELL LINES EXTRACTION PROCESS
DE102012223587A1 (en) Method for testing application on terminals e.g. virtual terminal, involves comparing differences between first and second information of second terminal to differences between first and second information of first terminal
WO2021170183A1 (en) Method for analyzing a structure within a fluidic system
DE102004060868A1 (en) Method for automatically determining one or more organ-dependent parameters for image post-processing
DE102011104435B3 (en) Determining device for non-destructive determination of material characteristics of aircraft component during manufacturing aircraft component, has computing unit determining relation of region to another region
EP3583902B1 (en) Method for automatically adapting an image dataset obtained by means of a x-ray device, computer program, data storage and x-ray device
DE19754909C2 (en) Method and device for acquiring and processing images of biological tissue
DE10214114A1 (en) CT or X-ray medical image filtering method in which image integral SNRs are calculated and compared with calculated limit SNR values while carrying out iterative filtering and, if necessary, changing the filter dose
DE102010028382A1 (en) Method for processing tomographic image data from X-ray computed tomography investigation of liver for recognition of liver tumor, involves performing iterative classification, and calculating image mask from last probability image
EP3155588B1 (en) Whole-body image recording and image processing system and method for operating same
EP2138242A2 (en) Device and method for detecting transport containers
DE102009024030B3 (en) Method for optical determination of e.g. length of edges of machined metallic object surface of object, involves determining surface characteristics of surface section of object surface based on evaluation result of pixels or image segments
EP4062366A1 (en) Computer-implemented method for segmenting measurement data from a measurement of an object
WO2015169675A1 (en) Method for segmenting a color image and digital microscope
DE102015010264A1 (en) Method for creating a 3D representation and corresponding image acquisition device
DE102019131440B3 (en) Computer-implemented method for segmenting measurement data from a measurement of an object
DE102018207725B3 (en) Resolution-corrected print preview

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220927

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)