-
Die vorliegende Erfindung betrifft ein Verfahren zum Auslesen eines insbesondere biologischen Arrays. Des Weiteren betrifft die vorliegende Erfindung ein Computerprogramm, das jeden Schritt des Verfahrens ausführt, sowie ein maschinenlesbares Speichermedium, welches das Computerprogramm speichert. Schließlich betrifft die Erfindung eine Prozessierungseinrichtung zur Prozessierung einer insbesondere biologischen Probe mit einem elektronischen Steuergerät, welches eingerichtet ist, um das Verfahren auszuführen.
-
Stand der Technik
-
Der Nachweis von Krankheitserregern kann über PCR-basierte Nachweismethoden und ein Auslesen über Fluoreszenzarrays erfolgen. Sobald eine Fluoreszenzintensität einen Schwellenwert überschreitet erfolgt dabei eine Detektion eines Krankheitskeims. Fluoreszenzarrays können hierzu in einer Lab-on-Chip-Kartusche verbaut werden, um möglichst viele Analysen gleichzeitig durchzuführen. Um eine eindeutige Rückmeldung an einen Arzt zu geben oder eine automatisierte Behandlung durchzuführen ist eine eindeutige Klassifikation der Ergebnisse notwendig.
-
Durch Produktionsungenauigkeiten können sich allerdings Partikel bilden oder Fehlausrichtungen auftreten. Ebenso wird durch die Integration des Fluoreszenzarrays in Lab-on-Chip-Plattformen durch Blasenbildung oder Streulicht oftmals die optische Abbildung schlechter.
-
Offenbarung der Erfindung
-
Das Verfahren zum Auslesen eines insbesondere biologischen Arrays, insbesondere eines Fluoreszenzarrays, umfasst ein erstes Beleuchten des Arrays und das Erfassen eines ersten Hellfeld-Bildes des Arrays mittels eines Sensors, insbesondere mittels einer Kamera. Unter einem Hellfeld-Bild wird ein Bild verstanden, welches insbesondere ohne Verwendung von Farbfiltern aufgenommen wird, wie sie für die Erfassung von Floreszenzen des Arrays verwendet werden, die das Anregungslicht zu einer Kamera herausfiltern. Dadurch erscheinen Konturen des Arrays sowie einer Kartusche, in welche das Array integriert ist, in dem erfassten Hellfeld-Bild.
-
Es wird eine erste Helligkeitsauftragung eines Schnitts des ersten Hellfeld-Bildes erstellt. Unter einer Helligkeitsauftragung wird dabei eine Auftragung eines Werts, welcher eine Helligkeit, einer Lichtintensität oder eine die Helligkeit oder Lichtintensität repräsentierende Größe darstellt, über einer Position entlang des Schnitts verstanden. Unter einem Schnitt durch ein Hellfeld-Bild kann insbesondere das Extrahieren der Helligkeiten entlang einer Strecke verstanden werden. Hierbei wird zunächst eine Strecke über das Hellfeld-Bild gelegt, welche den Bildbereich überschneidet. Die Start- und Endpunkte können dabei auf dem Bildbereich liegen, können aber auch jeweils außerhalb des Bildbereiches liegen. Dann werden alle Bildpunkte extrahiert, die von dieser Gerade abgedeckt werden. Die Auftragung erfolgt dann über die extrahierten Bildpunkte in Abhängigkeit zum jeweiligen Abstand zum Startpunkt der Strecke. Eine Kante einer Kartusche des Arrays wird dann in Abhängigkeit von einer Position erkannt, an der ein Wert der ersten Helligkeitsauftragung des ersten Hellfeld-Bildes einen ersten Schwellenwert überschreitet. Hierbei wird eine besonders intensive Lichtreflektion an der Kante ausgenutzt.
-
Die Position der Kante ermöglicht es, eine ungefähre Position einer Kartusche, in der das Array angeordnet ist, relativ zu der Kamera zu ermitteln mittels derer das Hellfeld-Bild erfasst wurde und welche später auch zur Erfassung von Fluoreszenzlicht verwendet werden soll. Über die Position der Kartusche relativ zu der Kamera kann mithilfe der Information, wo das Array in der Kartusche liegt, die Position des Arrays relativ zur Kamera mit einer gewissen Unsicherheit berechnet werden. Um die Position anschließend genauer zu ermitteln, kann vorgesehen sein, dass mittels eines Mustererkennungsverfahrens die Kanten des Arrays vermessen werden. Hierbei ist es möglich, mit einem sogenannten Template Matching ein vordefiniertes Muster über eine Faltungsoperation zu erkennen. Eine genaue Beschreibung dieses Verfahrens ist beispielsweise in der Dokumentation der Bibliothek OpenCV bei der Funktion matchTemplate zu finden (https://docs.opencv.org/master/df/dfb/group__imgproc__object.html). Hierbei ist pixelweise ein Referenzbild als Vektor gespeichert, welcher über eine Faltungsoperation über das Bild gelegt wird. Über die Ermittlung des Maximum-Wertes kann daraus die exakte Position erkannt werden. Ebenso ist es möglich, über Methoden der KI eine Mustererkennung zu realisieren. Dadurch kann die genaue Position des Arrays relativ zur Kamera erkannt werden, was eine korrekte Zuordnung von Bilddaten zu Bereichen des Arrays, insbesondere zu Kavitäten, ermöglicht und eine korrekte Definition des Untersuchungsbereiches erleichtert.
-
Vorzugsweise wird zusätzlich eine zweite Helligkeitsauftragung eines zweiten Schnitts des ersten Hellfeld-Bildes erstellt, welcher einen Winkel von mindestens 45° zu dem ersten Schnitt aufweist. Besonders bevorzugt beträgt der Winkel 90°. Das Abschätzen der Position erfolgt dann zusätzlich durch einen Vergleich von Werten der zweiten Helligkeitsauftragung mit dem ersten Schwellenwert, wodurch die Genauigkeit der Kantenerkennung erhöht werden kann.
-
Weiterhin bevorzugt ist ein zweites Beleuchten des Arrays, ein Erfassen eines zweiten Hellfeld-Bildes des Arrays mittels des Sensors, und ein Definieren eines Untersuchungsbereichs beziehungsweise einer Region von Interesse (region of interest; ROI), in dem Helligkeitswerte des zweiten Hellfeld-Bildes einen zweiten Schwellenwert überschreiten. Dabei ist der Untersuchungsbereich nicht auf eine geometrische Form festgelegt. Er kann beispielsweise rechteckig oder kreisförmig sein. Dieser Untersuchungsbereich kann verwendet werden, um eine Bilderserie zum Erfassen von Fluoreszenz an der Oberfläche des Arrays auf einen relevanten Bereich zu begrenzen. Hierzu kann insbesondere eine Kamera auf den Untersuchungsbereich ausgerichtet werden oder virtuell auf den Untersuchungsbereich begrenzt werden. Um zu verhindern, dass an den Rändern des Untersuchungsbereichs relevante Fluoreszenzdaten unberücksichtigt bleiben, ist vorzugsweise vorgesehen, dass die Begrenzung des Untersuchungsbereichs um einen vorgebbaren Toleranzabstand vergrößert wird, um den Untersuchungsbereich auf diese Weise so aufzuweiten, dass relevante Daten an den Rändern des Untersuchungsbereiches nicht verloren gehen können.
-
Das Erstellen der ersten Helligkeitsauftragung und das Erstellen der zweiten Helligkeitsauftragung erfolgen vorzugsweise vor einem Aufbringen eines Amplifikats auf das Array. Dies hat den Vorteil, dass das Array noch nicht mit Flüssigkeit gefüllt ist. Um durch die Schritte des Verfahrens keine Verzögerung im Auslesen des Arrays zu bewirken, ist es weiterhin bevorzugt, dass das Erstellen der ersten und der zweiten Helligkeitsauftragung vor oder während biologischen Aufreinigungsschritten einer biologischen Probe durchgeführt wird, sodass diese Erfassungen parallel zu anderen Schritten des Betriebs des Arrays ablaufen können.
-
Während es für das Erfassen des zweiten Hellfeld-Bildes bevorzugt ist, dass das Array von oben beleuchtet wird, um auf diesem eine Lichtreflektion zu erzeugen, die dem Fluoreszenzlicht bei einer späteren Anregung fluoreszierender Marker auf dem Array entspricht, wird das Array beim Erfassen des ersten Hellfeld-Bildes vorzugsweise von einer Seite beleuchtet, um auf diese Weise eine besonders intensive Lichtreflektion an einer Kante zu verursachen.
-
Neben der Definition des Untersuchungsbereichs und der Kantenerkennung ist es zur Verbesserung der Ausleseergebnisse des Arrays weiterhin bevorzugt eine Klassifikation einer Qualität von Fluoreszenzbildern vorzunehmen, die mittels des Arrays erfasst werden. Hierzu wird ein erfasstes Fluoreszenzbild mit einem Idealbild verglichen. Eine Gleichheit zwischen dem Fluoreszenzbild und dem Idealbild wird dann als Vergleichswert berechnet. Insbesondere kann der Vergleichswert als PSNR-Wert (peak signal to noise ratio) berechnet werden. Er kann einem Nutzer des Arrays dann in Dezibel ausgegeben werden.
-
Vorzugsweise erfolgt allerdings eine automatisierte Wertung der Vergleichswerte. Hierzu kann ein dritter Schwellenwert vorgegeben werden und ein Fluoreszenzbild verworfen werden, wenn sein Vergleichswert den dritten Schwellenwert unterschreitet.
-
Das Idealbild wird vorzugsweise konstruiert, indem in jedem Gebiet des Fluoreszenzbildes, welches einen Spot darstellt, ein Fit einer Helligkeitsintensität zu mehreren Kreisen durchgeführt wird. Den Kreisen wird an jedem Spot bei abnehmenden Durchmesser eine höhere Intensität zugewiesen. Die Kreise werden dann stufenförmig übereinander gesetzt. Ein derart konstruiertes Idealbild ermöglicht eine gute Bewertung, ob das tatsächlich aufgenommene Fluoreszenzbild eine hohe Qualität aufweist oder ob es lieber bei einer folgenden Auswertung unberücksichtigt bleiben sollte.
-
Das Konstruieren des Idealbilds kann vereinfacht werden, indem alle Helligkeitsintensitäten auf zwei unterschiedliche Werte diskretisiert werden. Dies kann vorzugsweise dadurch realisiert werden, dass über eine adaptive Threshold-Methode das Fluoreszenzbild in zwei Farbstufen quantifiziert wird. Dazu werden zunächst der hellste und dunkelste Punkt im Fluoreszenzbild identifiziert und die jeweiligen Helligkeiten dazu verwendet, das Bild auf einer Skala von 0 - 1 zu normalisieren. Der dunkelste Punkt bekommt damit die Helligkeit 0 und der hellste Punkt die Helligkeit 1. Alle Punkte dazwischen werden linear auf die jeweiligen Helligkeiten übertragen. Im nächsten Schritt erfolgt dann die Diskretisierung zu zwei Helligkeitsintensitäten. Hierzu werden für jeden Punkt jeweils die umliegenden Punkte mit einem Gaußschen Kernel gewichtet und daraus ein Mittelwert bestimmt. Liegt der Punkt dann oberhalb des Mittelwerts wird dieser als 1 ansonsten als 0 transformiert. Das Ergebnis ist ein Bild mit nur noch zwei diskreten Helligkeitsintensitäten.
-
Um die Gebiete zu erkennen, welche einen Spot darstellen, werden zunächst Gebiete definiert. Dies kann insbesondere geschehen, indem alle Bereiche mit einer Helligkeitsintensität von 1 über eine Tiefensuche identifiziert werden. In jedem Gebiet wird vorzugsweise eine Kreisförmigkeit des Gebiets berechnet. Hierzu wird ein idealer Kreis konstruiert, dessen Durchmesser aus dem Umfang des Gebiets berechnet wurde. Das Verhältnis der Fläche des idealen Kreises zu der tatsächlichen Fläche des Gebietes, stellt die Kreisförmigkeit dar. Es werden nur solche Gebiete als Spot erkannt, deren Kreisförmigkeit einen vierten Schwellenwert überschreitet und deren Fläche als zusätzliche Bedingung in einem vorgegebenen Bereich liegt. Eine zu geringe Kreisförmigkeit weist darauf hin, dass kein Spot vorliegt, weil idealerweise kreisförmige Spots erwartet werden. Zudem liegt auch eine Erwartung bezüglich des Durchmessers jedes Spots vor, sodass eine zu große oder zu kleine Fläche darauf hinweist, dass die erkannte Helligkeit nicht von einem Spot stammt.
-
Das Computerprogramm ist eingerichtet jeden Schritt des Verfahrens durchzuführen, insbesondere wenn es auf einem Rechengerät oder einem elektronischem Steuergerät abläuft. Es ermöglicht die Implementierung unterschiedlicher Ausführungsformen des Verfahrens auf einer Prozessierungseinrichtung zur Prozessierung einer insbesondere biologischen Probe oder einem externen Auswertungsgerät einer Prozessierungseinrichtung ohne hieran bauliche Veränderungen vornehmen zu müssen. Dabei kann die Prozessierungseinrichtung eine Kartusche aufnehmen, welche das Array aufweist. Hierzu ist es auf dem elektronischen Speichermedium gespeichert. Durch Aufspielen des Computerprogramms auf ein elektronisches Steuergerät einer Prozessierungseinrichtung zur Prozessierung einer insbesondere biologischen Probe, wird eine Prozessierungseinrichtung erhalten, welche eingerichtet ist, um die Schritte des Verfahrens durchzuführen.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
- 1 zeigt ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt ein Hellfeld-Bild eines biologischen Arrays in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
- 3 zeigt eine Helligkeitsauftragung eines Schnitts eines biologischen Arrays in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
- 4 zeigt ein anderes Hellfeld-Bild eines biologischen Arrays in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
- 5 zeigt ein Ablaufdiagramm einer Klassifikation einer Qualität von Fluoreszenzbildern in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
- 6 zeigt ein Fluoreszenzbild eines biologischen Arrays in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
- 7 zeigt ein Idealbild eines biologischen Arrays in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
-
Ausführungsbeispiele der Erfindung
-
Das Auslesen eines biologischen Arrays erfolgt in einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens unter Ausführung der in 1 dargestellten Schritte 11 - 25. Es beginnt mit dem Erfassen 11 von Hellfeld-Bildern des Arrays. Eines der Hellfeld-Bilder, das erfasst wurde, indem das Array von einer seiner Seiten aus beleuchtet wurde, wird für eine Kantenerkennung 12 des Arrays verwendet.
-
2 zeigt das Hellfeld-Bild, in dem das biologische Array 30 aufgrund der seitlichen Beleuchtung nur schwach zu erkennen ist. Eine Kante 31 einer Kartusche, in der das Array 30 angeordnet ist, wird durch die seitliche Beleuchtung allerdings deutlich hervorgehoben. Ein Chip 32, auf dem die Kartusche angeordnet ist, ist ebenfalls nur schwach erkennbar. Es wird ein Schnitt 33 durch das Hellfeld-Bild gelegt, um auf diese Weise eine Helligkeitsauftragung zu erhalten, die in 3 dargestellt ist. In dieser ist die Helligkeit H über einer Position P aufgetragen. Die Helligkeit H und die Position P sind dimensionslos angegeben. An der Kante 31 erreicht die Helligkeit H ein Maximum. Dies kann dadurch erkannt werden, dass die Helligkeit H einen Schwellenwert SK überschreitet. Auf diese Weise wird die Position P der Kante 30 entlang des Schnitts 33 erkannt. Indem nun durch die Kantenerkennung die ungefähre Position der Kartusche relativ zu der Kamera bestimmt werden konnte, mit welcher das Hellfeld-Bild aufgenommen wurde, ist es möglich anschließend mittels eines Mustererkennungsverfahrens ein Erkennen 13 einer Kantenstruktur des Chips 32 vorzunehmen.
-
Nachdem die Hellfeld-Bilder aufgenommen wurden, erfolgt eine Amplifikation 14 von den DNA-Sequenzen einer zu untersuchenden biologischen Probe, ein Aufbringen 15 des Amplifikats auf das Array 30, eine Anbindungsreaktion 16 und eine Anregung von fluoreszenten Markern auf dem Array 30 mit Licht. Während diese Schritte 14 - 17 ablaufen, kann ein weiteres Hellfeld-Bild ausgewertet werden, um anschließend einen Untersuchungsbereich zu definieren 18. Das weitere Hellfeld-Bild ist in 4 dargestellt. Dieses wurde erfasst 11, indem das Array von seiner Oberseite aus beleuchtet wurde. Dabei kommt es zu Reflektionen, an Positionen P an denen im weiteren Verlauf des Verfahrens auch mit dem Auftreten von Fluoreszenzlicht zu rechnen ist. Der Aufnahmebereich des Hellfeld-Bildes soll begrenzt werden, um so einen Untersuchungsbereich 34 zu definieren. Es wird ein Schwellenwert SROI vorgegeben, bei dessen Überschreiten an der jeweiligen Position P, die Position P innerhalb des Untersuchungsbereichs 34 liegen soll und bei dessen Unterschreiten, sie außerhalb des Untersuchungsbereichs 34 liegen soll. Indem die Helligkeitswerte des Hellfeldbildes an jeder Position P jeweils mit dem Schwellenwert SROI verglichen werden, kann der Untersuchungsbereich 34 aufgespannt werden. Es erfolgt nun ein Anpassen 18, eines Aufnahmebereichs, der auf das Array 30 gerichteten Kamera, entsprechend dem so definierten Untersuchungsbereich 34.
-
In dem Untersuchungsbereich 34 erfolgt nun ein Erfassen 19 der Fluoreszenzen mit der Kamera, ein Erkennen 20 von leuchtenden Spots, eine sequenzielle Alignement-Korrektur 21 zum jeweils letzten Bild und eine Faltung 22 der erkannten Spots mit den jeweiligen Bildern. Im Folgenden erfolgt eine Klassifikation 23 einer Qualität der Fluoreszenzbilder. Hierzu laufen die in 5 dargestellten Teilschritte 231 bis 236 ab. Zunächst erfolgt ein Normalisieren 231 jedes Fluoreszenzbildes auf einer Helligkeitsskala von 0 bis 1 mittels einer adaptiven Threshold-Methode. Dann erfolgt eine Diskretisierung 232 aller Helligkeiten mittels eines Gaußschen Kernels auf einen Wert von 0 oder von 1. Mittels der so erhaltenden diskreten Helligkeiten werden über eine Tiefensuche Gebiete mit Helligkeit identifiziert und für jedes Gebiet eine Kreisförmigkeit berechnet 233. Hierzu wird aus dem Umfang jedes Gebiets ein Kreisdurchmesser berechnet und die Fläche des so erhaltenen idealen Kreises ins Verhältnis zur tatsächlichen Fläche des Gebietes gesetzt. Es erfolgt ein Erkennen 234 eines Gebietes als Spot, wenn dieses eine Kreisförmigkeit von mehr als 80 % sowie eine Fläche im Bereich von 20 bis 200 Pixel aufweist. Für jeden so erkannten Spot wird anschließend ein Idealbild konstruiert 235.
-
6 zeigt ein Fluoreszenzbild 41, welches sechzehn Spots aufweist. Um aus diesem ein in 7 dargestelltes Idealbild 42 zu konstruieren, wird für jedes Gebiet des Fluoreszenzbildes 41, welches einen Spot darstellt, ein Fit einer Helligkeitsintensität zu mehreren Kreisen durchgeführt. Diese Kreise werden jeweils auf ein leeres Bild gezeichnet. Hierbei werden mehrere Kreise mit abnehmenden Durchmesser und höherer Intensität gezeichnet, um ein stufenförmiges Profil zu erreichen. Im vorliegenden Ausführungsbeispiel wird ein Kreis mit einer Helligkeit von 1,0 und 1/3 des Kreisdurchmessers gezeichnet, auf einen Kreis mit einer Helligkeit von 0,75 und 2/3 des Kreisdurchmessers gesetzt und dieser auf den ursprünglichen Kreis mit dem vollen Kreisdurchmesser gesetzt, welcher eine Helligkeit von 0,5 aufweist. Schließlich wird eine Gleichheit zwischen dem Fluoreszenzbild 41 und dem Idealbild 42 als Vergleichswert berechnet 236. Dabei erfolgt die Berechnung des Vergleichswerts als STNR-Wert.
-
Im nächsten Verfahrensschritt erfolgt ein Verwerfen 24 aller Fluoreszenzbilder, deren Vergleichswert einen vorgegebenen Schwellenwert unterschreitet. Für jedes so verworfene Fluoreszenzbild wird ein neues Fluoreszenzbild aufgenommen. Schließlich wird für die nicht verworfenen Fluoreszenzbilder eine Summenbildung 25 über die jeweiligen Spots vorgenommen und der so erhaltene Wert weiterverarbeitet, um dem Benutzer des biologischen Arrays ein Ergebnis ausgeben zu können oder aufgrund des Ergebnisses automatisiert eine Behandlung eines Patienten zu starten.
