DE102019131678A1

DE102019131678A1 - Mikroskop und Verfahren zum Verarbeiten von Mikroskopbildern

Info

Publication number: DE102019131678A1
Application number: DE102019131678.2A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2021-05-27
Also published as: US11528431B2; US20210160434A1; CN112835191A; CN112835191B

Abstract

Ein Mikroskop umfasst ein Mikroskopstativ (40), eine Kamera (20, 30) zum Aufnehmen von Mikroskopbildern (51-58) und eine Recheneinrichtung (50), die zur Bildverarbeitung der aufgenommenen Mikroskopbilder (51-58) eingerichtet ist. Die Recheneinrichtung (50) ist eingerichtet zum: Festlegen (S2) von relevanten Bildstrukturen; Lokalisieren (S3) relevanter Bildstrukturen (21-23) in den Mikroskopbildern (51-58); Ableiten (S4) von Zusammenfügungsparametern aus Orten der relevanten Bildstrukturen (21-23); und Erstellen (S7) eines Ergebnisbildes (60) mit Hilfe der Mikroskopbilder (51-58) unter Berücksichtigung der Zusammenfügungsparameter. Zudem wird ein entsprechendes Verfahren beschrieben.

Description

Die vorliegende Offenbarung bezieht sich auf ein Mikroskop nach dem Oberbegriff des Anspruchs 1. Außerdem betrifft die Erfindung ein Verfahren zum Verarbeiten von Mikroskopbildern nach dem Oberbegriff des Anspruchs 3.
Ein gattungsgemäßes Mikroskop umfasst ein Mikroskopstativ, eine Kamera zum Aufnehmen von Mikroskopbildern und eine Recheneinrichtung, die zur Bildverarbeitung der aufgenommenen Mikroskopbilder eingerichtet ist.
Aufgenommene Mikroskopbilder stellen häufig Teilbilder dar, die zu einem Ergebnisbild zusammengefügt werden (englisch: image stitching). Beispielsweise können zum Erzeugen eines Übersichtsbilds mehrere von einer Übersichtseinheit aufgenommene Mikroskopbildern zusammengefügt werden. Auch kann es sich bei den Mikroskopbildern um die eigentlichen Probenbilder handeln, die über das Mikroskopobjektiv aufgenommen werden und zu einem Gesamtbild der Probe zusammengefügt werden sollen.
Verfahren zum Zusammenfügen von Bildern sind beispielsweise in den folgenden zwei Artikeln beschrieben:

1. Gu, Hua & Yu, Yue & Sun, Weidong: „A new optimal seam selection method for airborne image stitching", IEEE International Workshop on Imaging Systems and Techniques, IST 2009;
2. Szeliski, Richard: „Image Alignment and Stitching: A Tutorial", Foundations and Trends in Computer Graphics and Vision Vol. 2, No 1 (2006).

Bei diesen Verfahren liegt ein Hauptziel darin, dass im Ergebnisbild möglichst keine Nahtstellen sichtbar sein sollen, an welchen die Einzelbilder aneinandergefügt wurden. Die Nahtstellen werden daher so festgelegt, dass an ihnen möglichst keine bzw. nur kleine Sprünge in den Bildinhalten der Einzelbilder vorliegen. So wird ein weicher, für einen Betrachter häufig nicht sichtbarer Übergang zwischen den Einzelbildern erzeugt. Bekannt ist hierbei auch, ein Überblenden (englisch: Blending) zwischen den Einzelbildern zu erzeugen, so dass keine scharfe Naht, sondern ein allmählicher Übergang zwischen den Einzelbildern entsteht.
Diese Vorgehensweisen können bei Mikroskopbildern zu Problemen führen: Als Beispiel sollen mehrere von einer Übersichtseinheit aufgenommene Mikroskopbilder zu einem Ergebnisbild zusammengefügt werden. Die Mikroskopbilder zeigen beispielsweise Teile einer Mikrotiterplatte mit vielen Näpfchen. Auch wenn die Nahtstellen gemäß bekannten Verfahren so gewählt werden, dass sie im Ergebnisbild nicht sichtbar sind, können perspektivische Unterschiede zwischen den Teilbildern vorliegen. Wird zum Beispiel ein kreisförmiges Näpfchen aus zwei oder gar noch mehr Teilbildern zusammengesetzt, kann die Kreisform irritierend verzerrt sein. Bezüglich der eigentlichen Probe im Näpfchen können durch ein Zusammenfügen von Teilbildern ebenfalls störende Effekte resultieren: So können Farb- oder Helligkeitsunterschiede vorliegen, die eine Einschätzung durch den Nutzer oder eine nachfolgende Bildanalyse erschweren; im Fall von weichen Übergängen durch ein Blending kann es für einen Nutzer unklar sein, ob die Probe selbst einen Farb-/Helligkeitsverlauf aufweist oder ob dies ein Artefakt der Bildverarbeitung ist.
Bekannte Verfahren mögen somit zwar optisch ansprechende Mikroskopbilder liefern, hinsichtlich einer Bewertung durch einen Nutzer oder eine automatisierte Bildanalyse kann dies aber zu Problemen führen.
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskop und ein Verfahren anzugeben, welche ein Ergebnisbild aus mehreren Mikroskopbildern in möglichst hoher Qualität erzeugen können.
Diese Aufgabe wird durch das Mikroskop mit den Merkmalen des Anspruchs 1 und durch das Verfahren mit den Merkmalen des Anspruchs 3 gelöst.
Vorteilhafte Varianten des erfindungsgemäßen Mikroskops und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden außerdem in der folgenden Beschreibung erläutert.
Bei dem Mikroskop der oben genannten Art ist erfindungsgemäß die Recheneinrichtung eingerichtet zum: Festlegen von relevanten Bildstrukturen; Lokalisieren relevanter Bildstrukturen in den Mikroskopbildern; Ableiten von Zusammenfügungsparametern (Stitching Parameter) aus Orten der relevanten Bildstrukturen; und Erstellen eines Ergebnisbildes mit Hilfe der Mikroskopbilder unter Berücksichtigung der Zusammenfügungsparameter.
Das Verfahren der Erfindung umfasst in entsprechender Weise zumindest die folgenden Schritte: Festlegen von relevanten Bildstrukturen; Lokalisieren relevanter Bildstrukturen in den Mikroskopbildern; Ableiten von Zusammenfügungsparametern aus Orten der relevanten Bildstrukturen; und Erstellen eines Ergebnisbildes mit Hilfe der Mikroskopbilder unter Berücksichtigung der Zusammenfügungsparameter.
In dem anfangs genannten Beispiel von Bildern einer Mikrotiterplatte können beispielsweise die Näpfchen als relevante Bildstrukturen festgelegt werden. Die Orte der Näpfchen werden nun in den Mikroskopbildern erkannt und die Nahtstellen zwischen den Mikroskopbildern werden so gewählt, dass keine oder möglichst keine Naht durch ein Näpfchen verläuft. In Bereichen zwischen den Näpfchen darf es hingegen zu stärkeren Kanten oder deutlich sichtbaren Nahtstellen kommen. Hier liegen voraussichtlich keine für den Betrachter oder eine automatisierte Bildanalyse relevanten Bildinhalte vor, so dass in diesen Bereichen Schnitte, perspektivische Sprünge, optische Verzerrungen oder Helligkeitssprünge wenig stören. In der Summe können hierbei die Nahtstellen eventuell stärker zum Vorschein kommen als bei bekannten Verfahren, allerdings verlaufen die Nahtstellen bei der Erfindung nicht (oder nur möglichst selten) durch relevante, identifizierte Bereiche.
Die Zusammenfügungsparameter können die Festlegung von Nahtstellen zwischen den Mikroskopbildern bestimmen, entlang welcher die Mikroskopbilder zum Erstellen des Ergebnisbildes zusammengefügt werden. Beispielsweise können die Zusammenfügungsparameter beschreiben, dass eine Nahtstelle möglichst nicht durch bestimmte gefundene relevante Bildstrukturen verlaufen soll; wobei alternativ auch bestimmte Bildstrukturen erkannt werden können, durch welche eine Nahtstelle gerade erlaubt ist. Insofern soll eine „relevante Bildstruktur“ als relevant hinsichtlich der Festlegung der Nahtstelle angesehen werden und nicht zwingend als relevant im Sinne der Darstellung einer zu untersuchenden mikroskopischen Probe.
Zusammenfügungsparameter können hierbei als Kontextinformationen bei an sich bekannten Stitching-Verfahren verwendet werden. Bei bekannten Stitching-Verfahren wird als Optimierungskriterium meist der direkte Bildinhalt genutzt, unabhängig von dessen Bedeutung, um Nahtstellen zu bestimmen, die einen möglichst weichen Übergang bewirken. Mittels eines Zusammenfügungsparameters kann hingegen als ein Optimierungskriterium ergänzt werden, dass durch eine lokalisierte relevante Bildstruktur keine Nahtstelle (oder gerade eine Nahtstelle) verlaufen soll. Als Folge wird eine relevante Struktur, die bis an den Rand eines Mikroskopbildes ragt und daher vom Rand beschnitten wird, vorzugsweise nicht aus diesem Mikroskopbild übernommen, sondern aus einem benachbarten Mikroskopbild, wo dieselbe relevante Bildstruktur vollständig enthalten ist.
Die Zusammenfügungsparameter können auch zum Bestimmen einer Überblendung an Nahtstellen verwendet werden, entlang welcher die Mikroskopbilder zum Erstellen des Ergebnisbildes zusammengefügt werden. Beispielsweise kann die Breite (Bildpixelanzahl), über welche eine Überblendung erfolgt, abhängig von lokalisierten relevanten Bildstrukturen erfolgen. Insbesondere können die Zusammenfügungsparameter vorgeben oder beeinflussen, wie an einer Nahtstelle neben einer relevanten Bildstruktur eine Überblendung erfolgen soll, damit der Überblendungsbereich nicht mit der relevanten Bildstruktur überlappt. So wird ein fließender Übergang mit den interessierenden Informationen vermieden. In umgekehrter Weise kann auch vorgesehen sein, dass ein Überblendungsbereich in einer identifizierten Bildstruktur liegt und nicht aus dieser herausragt.
Die Lokalisierung relevanter Bildstrukturen kann durch eine Segmentierung erfolgen, welche eine Binärmaske erzeugt. Für jeden Bildpixel gibt die Binärmaske an, ob dieser Pixel ein Teil einer relevanten Bildstruktur ist oder nicht. Die Zusammenfügungsparameter können insbesondere einen Anweisungssatz darstellen, wie eine solche Binärmaske für das Zusammensetzen der Bilder berücksichtigt wird.
Anstelle einer Binärmaske kann auch eine weiche Entscheidung für jeden Pixel getroffen werden: Ein dem Pixel zugeordneter Zahlenwert gibt dann an, wie akzeptabel eine Nahtstelle an diesem Bildpixel ist. Eine solche Maske aus Zahlenwerten wird sodann in einer Optimierungsaufgabe verwendet, welche den Verlauf der Nahtstellen festlegt. Anstelle einer pixelweisen Entscheidung kann auch eine Liste von Regionen erstellt werden, welche beim Zusammensetzen nicht bzw. bevorzugt aus demselben Mikroskopbild stammen müssen.
Durch das Festlegen und Lokalisieren relevanter Bildstrukturen wird eine Semantik (Bedeutung) der gefundenen Bildstrukturen beim Zusammenfügen der Mikroskopbilder berücksichtigt. Herkömmlicherweise werden beispielsweise lediglich Kanten identifiziert, ohne dass aber eine Semantik ermittelt wird, zu was für einem Objekt diese Kanten gehören. Hingegen bietet die Bestimmung der Semantik bei Erfindungsvarianten eine Entscheidungsgrundlage, ob ein zusammengehöriger Bereich vorliegt, der nicht von einer Nahtstelle durchschnitten werden soll (auch wenn die Nahtstelle nicht sichtbar wäre), oder ob kein relevanter Bildbereich vorliegt, an welchem folglich Kanten durch das Zusammenfügen einen Sprung oder Knick aufweisen dürften.
Optional kann aus den Zusammenfügungsparametern auch bestimmt werden, ob eine Mikroskopsteueranweisung erzeugt und ausgegeben wird zum erneuten Aufnehmen von einem oder mehreren Mikroskopbildern mit geänderten Mikroskopeinstellungen. Hierbei erfolgt optional erst anschließend ein Zusammenfügen aufgenommener Mikroskopbilder zu einem Ergebnisbild. Die geänderten Mikroskopeinstellungen können insbesondere eine andere Laterallage der Mikroskopbilder und somit eine andere Lage von Nahtstellen bewirken. Dadurch kann eine relevante Bildstruktur aus nur einem Mikroskopbild stammen und muss nicht durch Stitchen zusammengesetzt werden. Die erneute Bildaufnahme mit geänderten Mikroskopeinstellungen kann beispielsweise dann erfolgen, wenn eine gefundene Bildstruktur (oder eine vorgegebene Anzahl an gefundenen relevanten Bildstrukturen) nicht aus (je) einem einzigen aufgenommenen Mikroskopbild in das Ergebnisbild übernommen werden kann, sondern aus mehreren Mikroskopbildern zusammengesetzt werden müsste.
Für den Fall, dass eine relevante Bildstruktur nicht nahtlos aus einem einzigen Mikroskopbild übernommen werden kann, weil es kein Einzelbild gibt, welches die komplette Bildstruktur enthält, kann somit insbesondere vorgesehen sein, aus der Lage der relevanten Bildstrukturen abzuleiten, wie neue Mikroskopbilder aufgenommen werden können, um dies zu beheben.
Insbesondere können die geänderten Mikroskopeinstellungen geänderte Probentischpositionen für die erneute Aufnahme der Mikroskopbilder angeben. Hierbei kann auch die Anzahl der Tischpositionen für die Einzelbilder verschieden sein von der zuvor genutzten Anzahl an Tischpositionen. Die geänderten Mikroskopeinstellungen können somit einen Überlapp benachbarter Mikroskopbilder verändern, insbesondere vergrößern. Prinzipiell kann auch eine Zoom-Einstellung geändert werden, so dass beispielsweise eine relevante Bildstruktur, deren Abmessung größer ist als der Sichtbereich eines einzelnen Mikroskopbildes, bei einer erneuten Bildaufnahme in einem einzigen Mikroskopbild aufgenommen werden kann.
Relevante Bildstrukturen können applikationsabhängig verschieden sein und insbesondere eines oder mehreres aus Folgendem sein: Mikrotiternäpfchen (wenn die Einzelbilder Teile einer Multiwellplatte darstellen); Probengefäße, Probengefäßbeschriftungen, z.B. Spalten- und Reihenangabe oder Wellnummern neben Mikrotiternäpfchen; Deckgläser im Fall einer Bildaufnahme eines Objektträgers; Markierungen, z.B. Aufkleber mit oder ohne Beschriftung oder Barcode-Bereiche. Im Fall eines Barcodes wird sichergestellt, dass der gesamte Bereich aus demselben Mikroskopbild stammt; hingegen könnte im herkömmlichen Fall eines Stitching durch Kantenfindung auch eine Naht zwischen den Strichen eines Barcodes verlaufen, womit zwar ein weicher Bildübergang vorliegen mag, aber es aufgrund perspektivischer Unterschiede zu einer fehlerhaften Bildanalyse kommen könnte. Relevante Bildstrukturen können auch der eigentliche Probenbereich, z.B. ein Gewebeschnitt, im Gegensatz zu einem Bildhintergrund sein. Relevante Bildstrukturen können auch Lichtspiegelungen, Verdeckungen oder Abschattungen sein - würde eine Nahtstelle durch eine Spiegelung oder einen Schatten verlaufen, gäbe es eine harte Kante, die einen Nutzer irritieren und im Unklaren lassen könnte, ob hier ein besonderes Objekt vorliegen könnte oder es schlicht ein Bildverarbeitungsartefakt ist. Handelt es sich bei den Mikroskopbildern nicht um Bilder einer Übersichtseinheit, so können relevante Bildstrukturen auch ein Zellkern oder andere Zellbestandteile sein.
Das Festlegen und Lokalisieren von relevanten Bildstrukturen sowie das Ableiten von Zusammenfügungsparametern kann auch als ein gemeinsamer Vorgang erfolgen. Beispielsweise kann ein Bildverarbeitungsalgorithmus dazu gestaltet sein, direkt aus Mikroskopbildern eine Abbildung auf Nahtstellen zu berechnen, wozu der Algorithmus insbesondere vorab mit Mikroskopbildern eingelernt wurde. Das Lokalisieren relevanter Strukturen bedeutet daher nicht zwingend, dass ein Bild oder eine Liste der gefundenen relevanten Strukturen ausgegeben werden muss, vielmehr genügt es, wenn diese Informationen zum Ableiten der Zusammenfügungsparameter weiter genutzt wird. Für die Bildanalyse bieten sich tiefe Lernverfahren an (Machine Learning, Deep Learning), es können aber auch beliebige andere Rechenverfahren zum Einsatz kommen, welche die relevanten Strukturen in den Mikroskopbildern lokalisieren können.
Eine Position der Einzelbilder zueinander ist in der Regel bekannt, beispielsweise durch Kalibrierung einer Übersichtseinheit (Übersichtskamera) relativ zu einem verfahrbaren Probentisch. Für das Zusammenfügen der Mikroskopbilder werden diese Bilder also in der Regel nicht zueinander verschoben, vielmehr wird festgelegt, an welcher Stelle innerhalb eines Überlappungsbereichs zweier Mikroskopbilder die Nahtstelle verlaufen soll. Bei einer fehlerhaften Kalibrierung der Übersichtseinheit oder bei einer fehlerhaften Registrierung der Mikroskopbilder passen diese aber nicht korrekt aneinander. Befinden sich an solchen Bereichen Beschriftungen oder Barcodes, können diese nicht korrekt ausgewertet werden. Durch die Identifizierung relevanter Bildstrukturen und die hiervon abhängige Festlegung von Nahtstellen wird erreicht, dass auch bei einer unpräzisen Kalibrierung, durch welche Sprünge an Nahtstellen zwischen Einzelbildern unvermeidbar sind, keine wesentlichen negativen Folgen eintreten.
Optional können relevante Bildstrukturen verschiedener Semantik festgelegt und lokalisiert werden. Die Zusammenfügungsparameter werden nun nicht nur abhängig von den Orten relevanter Bildstrukturen, sondern auch abhängig von der Semantik dieser Bildstrukturen abgeleitet. In einem Fall, dass das Zusammenfügen von Mikroskopbildern erfordert, dass eine Nahtstelle durch eine von mehreren relevanten Bildstrukturen verläuft, kann die Semantik eine Hierarchie vorgeben, nach welcher entschieden wird, durch welche der relevanten Bildstrukturen die Nahtstelle gesetzt wird. Beispielsweise sollen Spiegelungen oder Verdeckungen eher von einer Naht durchschnitten werden als Näpfchen oder Deckglas(-kanten). Auch kann es vorkommen, dass eine Naht entweder durch ein Mikrotiternäpfchen oder durch eine danebenliegende Beschriftung verlaufen muss. Je nach Anwendung kann hier die Hierarchie verschieden festgelegt sein. So kann es bevorzugt sein, dass eine Naht eher durch das Näpfchen als durch die Beschriftung verläuft, um sicherzustellen, dass eine automatische Bildanalyse die zum Näpfchen gehörende Information der Beschriftung korrekt verarbeitet. Bei simplen Spalten- oder Zeilennummern kann aber auch eine Naht durch die Beschriftung gegenüber einer Naht durch das Näpfchen bevorzugt sein, da die Spalten- oder Zeilennummer auch durch benachbarte Nummern abgeleitet werden kann.
Es kann optional ein Eingabewerkzeug bereitgestellt werden, mit dem ein Nutzer relevante Bildstrukturen festlegen kann. In einem einfachen Beispiel handelt es sich hierbei um ein Auswählen aus einer Liste an Objekten, z.B. Mikrotiternäpfchen, Deckglas(-kanten) usw. Alternativ kann das Eingabewerkzeug ein Einzeichnen von Markierungen in einem oder mehreren der Mikroskopbilder oder in anderen Beispiel-Mikroskopbildern (welche nicht später zu einem Ergebnisbild zusammengesetzt werden) durch einen Nutzer erlauben. Die Lokalisierung relevanter Bildstrukturen kann hierbei zum Teil durch die vom Nutzer vorgenommenen Markierungen erfolgen; in weiteren Mikroskopbildern erfolgt sodann durch Bildverarbeitungssoftware ein automatisches Lokalisieren weiterer relevanter Bildstrukturen, basierend auf den Markierungen des Nutzers in anderen Mikroskopbildern. Zeichnet ein Nutzer beispielsweise eine Kreisform um ein Mikrotiternäpfchen, werden automatisch (kreisförmige) Mikrotiternäpfchen in anderen Mikroskopbildern erkannt. Markiert ein Nutzer außerdem eine Beschriftung neben einem Näpfchen, so werden auch in anderen Mikroskopbildern Beschriftungen als relevante Bildstrukturen gesucht. Über das Eingabewerkzeug vorgenommene Markierungen in Mikroskopbildern können auch in einem Einlernprozess eines Maschinenlernalgorithmus dazu verwendet werden, die relevanten Bildstrukturen festzulegen beziehungsweise einzulernen. Beispielsweise kann ein Nutzer über das Eingabewerkzeug in einem oder mehreren Mikroskopbildern Wellnummern einer Mikrotiterplatte markieren, woraufhin in einem Trainingsschritt der Maschinenlernalgorithmus lernt, dass in künftigen Mikroskopbildern stets die Bildbereiche, welche Wellnummern enthalten, als relevante Strukturen lokalisiert werden sollen.
Anstelle oder zusätzlich zur Möglichkeit, dass ein Nutzer relevante Bildstrukturen selbst festlegen kann, kann dies auch mit Hilfe von Bildverarbeitungssoftware automatisiert erfolgen. So können durch eine Bildanalyse die Mikroskopbilder klassifiziert werden, wobei abhängig vom Ergebnis der Klassifizierung automatisch festgelegt wird, nach welchen relevanten Bildstrukturen in den Mikroskopbildern gesucht wird. Wird beispielsweise erkannt, dass eine Mikrotiterplatte vorliegt, wird automatisch nach kreisförmigen Näpfchen und optional nach Beschriftungen, insbesondere in Reihen und Spalten angeordneten Nummerierungen, als relevante Bildstrukturen gesucht. Wird hingegen erkannt, dass ein Objektträger mit Deckglas vorliegt, kann der Bereich der Deckglaskanten als relevante Bildstruktur festgelegt werden, und/oder ein Probenbereich, der lateral innerhalb des Deckglasbereichs liegt.
Das Lokalisieren von relevanten Bildstrukturen kann durch eine Bildanalyse der Mikroskopbilder erfolgen, welche von einer Bildverarbeitungssoftware durchgeführt wird. Alternativ oder zusätzlich kann aber auch aus einer vorab bekannten Mikrotiterplattenposition und -art ermittelt wird, an welchen Orten in den Mikroskopbildern sich Mikrotiternäpfchen befinden sollten. Beispielsweise kann durch einen Anschlag am Probentisch eine Position einer Mikrotiterplatte vorgegeben sein. Ist die Art der Mikrotiterplatte bekannt, so sind auch die Positionen der einzelnen Näpfchen relativ zum optischen System bekannt. Handelt es sich bei den Mikroskopbildern um Bilder einer Übersichtseinheit, ist in der Regel auch die Übersichtseinheit relativ zum Probentisch kalibriert. Daher kann die Information über eine Art einer aufgelegten Mikrotiterplatte (alleine oder in Kombination mit einer Bildanalyse) verwendet werden, um die Orte relevanter Bildstrukturen zu identifizieren. Als weitere Möglichkeit können die Orte oder einige der Orte auch manuell von einem Nutzer eingezeichnet werden.
Ein Markierwerkzeug kann es einem Nutzer auch erlauben, in einem berechneten Ergebnisbild Bildstrukturen zu markieren, von denen sodann ein erneutes Mikroskopbild aufgenommen und zur Berechnung eines aktualisierten Ergebnisbildes verwendet wird. Dabei werden Mikroskopeinstellungen für das erneute Mikroskopbild so gewählt, dass die vom Nutzer markierte Bildstruktur in einem einzigen Mikroskopbild aufgenommen werden kann.
Es kann optional auch vorgesehen sein, eine Warninformation bezüglich einer Nahtstelle an einen Nutzer auszugeben, sofern durch die Lage dieser Nahtstelle Bildartefakte zu erwarten sind. Dies ist beispielsweise der Fall, wenn die zusammenzusetzenden Bilder eines Probenträgers so aufgenommen wurden, dass eine Naht zwingend durch ein Probengefäß verlaufen muss. Die Warninformation kann beispielsweise in oder an dem Ergebnisbild angezeigt werden. Anstelle einer Ausgabe an einen Nutzer kann auch eine Ausgabe der Warninformation an eine elektronische Steuer- oder Auswerteeinrichtung erfolgen, welche Teil der Recheneinrichtung sein kann oder zusätzlich zu dieser vorhanden sein kann. Die Steuer- oder Auswerteeinrichtung kann dazu eingerichtet sein, bei Empfang einer Warninformation eine weitergehende Bildverarbeitung des Ergebnisbildes oder der Mikroskopbilder durchzuführen oder auch eine Mikroskopsteuerung zu initiieren, insbesondere um mit geänderten Mikroskopeinstellungen weitere Mikroskopbilder aufzunehmen, die sodann in das zu erstellende Ergebnisbild eingehen.
Ein erfindungsgemäßes Mikroskopieverfahren umfasst die Schritte, dass zunächst mehrere einander überlappende Mikroskopbilder aufgenommen und anschließend in der oben beschriebenen Weise verarbeitet werden. Optional wird bestimmt, ob die aufgenommenen Mikroskopbilder zum Erstellen des Ergebnisbildes geeignet sind oder zunächst ein oder mehrere weitere Mikroskopbilder aufzunehmen sind, mit denen sodann das Ergebnisbild berechnet wird. Ein weiteres aufgenommenes Mikroskopbild kann dabei ein zuvor aufgenommenes Mikroskopbild ersetzen. Diese beiden Mikroskopbilder können sich darin unterscheiden, dass sie zueinander versetzt sind, aber einender überlappen, wodurch Nahtstellen zu übrigen Mikroskopbildern an anderen Stellen verlaufen können.
Das Mikroskop kann eine oder mehrere Kameras umfassen. Die zur Aufnahme der genannten Mikroskopbilder verwendete Kamera kann insbesondere eine Kamera sein, auf welche Detektionslicht über ein Mikroskopobjektiv geleitet wird. Hierbei kann auch ein Übersichtsobjektiv verwendet werden. Alternativ kann die Kamera zu einer Übersichtseinheit gehören, welche zusätzlich zum Mikroskopobjektiv und der darauffolgenden Kamera vorhanden ist. Prinzipiell kann die Kamera auch aus mehreren Kameraeinheiten bestehen, welche aus dergleichen oder aus verschiedenen Richtungen Mikroskopbilder aufnehmen, die sodann zusammengesetzt werden sollen.
Nachfolgend werden verwendete Begriffe näher erläutert.
Das Mikroskop kann als Lichtmikroskop gestaltet sein oder auch in anderer Weise Probenbilder aufnehmen. Beispielsweise kann es als Röntgenmikroskop oder AFM (Atomic Force Microscope) gestaltet sein, wobei in diesen Fällen die hier diskutierten Mikroskopbilder von einer Übersichtseinheit stammen, die Licht misst. Licht soll das sichtbare Spektrum oder auch IR- oder UV-Licht umfassen.
Das Mikroskopstativ kennzeichnet eine Haltevorrichtung für Mikroskopkomponenten oder optische Komponenten, insbesondere Linsen oder Spiegel, und umfasst eine Probenhalterung. Diese kann insbesondere als motorisch verfahrbarer Probentisch gestaltet sein. Zum Aufnehmen der verschiedenen Mikroskopbilder kann der Probentisch automatisiert verfahren werden.
Die Recheneinrichtung, die zur Bildverarbeitung der aufgenommenen Mikroskopbilder eingerichtet ist, kann durch einen am Mikroskop befindlichen Computer gestaltet sein oder alternativ oder teilweise durch einen entfernt befindlichen Server oder Computer. Die verschiedenen hier beschriebenen Bildanalysen und Mikroskopsteuerungen können durch die Recheneinrichtung erfolgen. Hierzu erforderliche Software kann in der Recheneinrichtung gespeichert sein.
Die Mikroskopbilder werden auch als Einzelbilder oder Rohbilder bezeichnet, um zu verdeutlichen, dass aus diesen ein Gesamtbild berechnet werden soll, welches als Ergebnisbild bezeichnet wird. Die Mikroskopbilder sind lateral zueinander versetzt, wobei Teile einander überlappen, damit eine Freiheit bezüglich der Festlegung einer Naht besteht. Es genügt, wenn einige der Mikroskopbilder in das Ergebnisbild eingehen. Insbesondere können die Mikroskopbilder mit so viel Überlapp aufgenommen werden, dass nicht jedes Mikroskopbild erforderlich ist, damit ein lückenloses Ergebnisbild zusammengesetzt werden kann. In diesen Fällen ist ein Lateralversatz zwischen benachbarten Mikroskopbildern kleiner als die Hälfte des Sehfeldes. Anders ausgedrückt kann die laterale Schrittweite zwischen zwei Mikroskopbildern kleiner sein als die Hälfte des in dieser Richtung aufgenommenen Probenbereichs.
Als Naht oder Nahtstelle werden Bildbereiche bezeichnet, an denen zwei (oder prinzipiell mehr als zwei) Mikroskopbilder zusammengefügt werden. Eine Naht kann daher eine beliebig geformte Linie sein, wobei ein Überblendungsbereich quer oder senkrecht zur Linie gebildet werden kann.
Als relevante Bildstrukturen können die Bildbereiche von Objekten angesehen werden, welche in den Mikroskopbildern erkannt werden sollen. Die Recheneinrichtung bzw. Verfahrensvarianten können dazu gestaltet sein, auch bloß Bildteile solcher Objekte zu erkennen, beispielsweise einen Teil eines Näpfchens, welches nicht vollständig in einem Mikroskopbild abgebildet wird. Das Lokalisieren relevanter Bildstrukturen kann so verstanden werden, dass Ortsangaben bezüglich der relevanten Bildstrukturen bzw. Teilen relevanter Bildstrukturen innerhalb der Mikroskopbilder ermittelt werden, insbesondere durch eine Bildverarbeitungssoftware.
Die als zusätzlichen Mikroskopmerkmale beschriebenen Eigenschaften ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann das Mikroskop, insbesondere dessen Recheneinrichtung, auch zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein.
Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung einer Mikrotiterplatte zur Erläuterung von Aspekten der Erfindung;
2 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskops;
3A-3C sind schematische Diagramme zur Veranschaulichung der Bildverarbeitung beim Stand der Technik und bei Ausführungsbeispielen der Erfindung; und
4 ist ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens der Erfindung.

Gleiche und gleich wirkende Bestandteile sind in den Figuren in der Regel mit denselben Bezugszeichen gekennzeichnet.
1 zeigt schematisch ein Objekt, hier beispielhaft eine Mikrotiterplatte 10, die mit einem Mikroskop untersucht werden soll. Die Mikrotiterplatte 10 umfasst mehrere Näpfchen (englisch: wells) 11, in denen jeweils eine zu untersuchende Probe angeordnet werden kann. Beschriftungen 12 auf der Mikrotiterplatte 10 können unter anderem Spaltenbeschriftungen 1-7 und Zeilenbeschriftungen A-H umfassen.
Mit dem Mikroskop werden mehrere Mikroskopbilder 51-58 aufgenommen, welche auch als Einzelbilder bezeichnet werden und zu einem Gesamtbild zusammengefügt werden sollen. Die Mikroskopbilder 51-58 sind lateral zueinander versetzt und können entweder Übersichtsbilder sein oder Probenbilder, welche mit einer stärkeren Vergrößerung als die Übersichtsbilder aufgenommen werden.
In dem eingezeichneten Beispiel stammen die Mikroskopbilder 51-58 von einer Übersichtseinheit. Diese steht schräg zu einer optischen Achse des Mikroskopobjektivs und somit schräg zu einer Flächennormalen der Mikrotiterplatte 10. Der von einem der Mikroskopbilder 51-58 erfasste Bereich ist dadurch entsprechend verzerrt, wie in 1 angedeutet.
Eine Herausforderung besteht darin, die Mikroskopbilder 51-58 so zu einem Gesamtbild (Ergebnisbild) zusammenzufügen, dass für eine Betrachtung durch einen Nutzer oder für eine weitere automatische Bildverarbeitung möglichst keine Fehlstellen oder irritierenden Bildbereiche aufgrund der Zusammenfügung entstehen.
Bevor näher hierauf eingegangen wird, wird mit Bezug auf 2 zunächst ein erfindungsgemäßes Mikroskop 100 erläutert. Das Mikroskop 100 umfasst ein Mikroskopstativ 40, über welches andere Mikroskopkomponenten gehalten werden, insbesondere mindestens ein Mikroskopobjektiv 15 und eine Kamera 20. Von einer Probe ausgehendes Detektionslicht wird über das Mikroskopobjektiv 15 zur Kamera 20 geleitet. Zudem umfasst das Mikroskop 100 eine weitere Kamera 30, welche Teil einer Übersichtseinheit 31 ist. Das Sichtfeld der Kamera 30 der Übersichtseinheit 31 ist größer als ein Sichtfeld der Kamera 20 über das Mikroskopobjektiv 15. Wie dargestellt, kann eine Messrichtung der Kamera 30 schräg zu einer optischen Achse 16 des Objektivs 15 stehen.
Das Mikroskop 100 umfasst einen Probentisch 9, an dem ein zu untersuchendes Objekt zu positionieren ist, im dargestellten Beispiel eine Mikrotiterplatte 10 mit mehreren Näpfchen 11. Im gezeigten Beispiel befinden sich die Kameras 20 und 30 auf gegenüberliegenden Seiten des zu untersuchenden Objekts. Alternativ können aber auch beide Kameras 20 und 30 auf derselben Seite des zu untersuchenden Objekts angeordnet sein, bezüglich 2 hieße dies, dass beide Kameras 20 und 30 oberhalb des Probentisches 9 angeordnet sind oder dass beide Kameras 20 und 30 unterhalb des Probentisches 9 angeordnet sind.
Die Kamera 20 und/oder die Kamera 30 nehmen mehrere Mikroskopbilder auf, welche von einer Recheneinrichtung 50 zu einem Ergebnisbild zusammengesetzt werden sollen.
Die Art der Bildaufnahme kann hierbei prinzipiell beliebig sein. Insbesondere kann es sich um lateral zueinander versetzte Weitfeldbilder handeln oder auch um Mikroskopbilder, die jeweils unter Nutzung einer Scanbewegung aufgenommen wurden. Auch können die Mikroskopbilder, die zusammengesetzt werden sollen, von verschiedenen Kamerachips aufgenommen sein. So kann die Kamera 30 auch mehrere Kameraeinheiten umfassen (nicht dargestellt), welche in demselben oder in verschiedenen Winkeln auf das zu untersuchende Objekt gerichtet sind.
Das Zusammenfügen der Mikroskopbilder 51-58 (englisch: stitching) wird nun näher mit Bezug auf die 3A-3C beschrieben.
3A zeigt mehrere Mikroskopbilder 51-56, in denen jeweils ein Ausschnitt des zu untersuchenden Objekts aufgenommen ist. In diesem Beispiel zeigt jedes Mikroskopbild 51-56 Teile von Näpfchen 11 einer Mikrotiterplatte, wobei je nach Mikroskopbild 51-56 mehrere Teile verschiedener Näpfchen 11 und/oder ein gesamtes Näpfchen 11 aufgenommen sind. Hierbei handelt es sich nur um ein Beispiel und es können auch andere Objekte ohne Mikrotiterplatte untersucht werden.
Mit Bezug auf 3B wird zunächst ein Zusammenfügen der Mikroskopbilder 51-56 beschrieben, welches nicht gemäß der Erfindung erfolgt. Die Mikroskopbilder 51-56 werden entlang von Nahtstellen 62' und 63' zu einem Ergebnisbild 60' zusammengefügt. Ist die Lage der Mikroskopbilder 51-56 zueinander korrekt, so entstehen in dem Ergebnisbild 60' an den Nahtstellen 62' und 63' keine Bildinhaltslücken oder verdoppelte Darstellungen von Bildstrukturen. Ein Ausschnitt 61' des Ergebnisbilds 60' ist vergrößert dargestellt: In diesem Ausschnitt 61' sind vier Mikroskopbilder 52, 53, 55, 56 entlang der Nahtstellen 62' und 63' zusammengefügt. Häufig unterscheiden sich Helligkeiten in den Mikroskopbildern, wodurch an den Nahtstellen 62' und 63' Helligkeitssprünge entstehen, im Ausschnitt 61' schematisch durch verschiedene Schraffierungen verdeutlicht. Die Helligkeitssprünge an diesen Nahtstellen 62' und 63' verlaufen innerhalb eines Näpfchens 11. Für einen Nutzer kann dies irritierend sein oder eine Einschätzung erschweren. Falls automatische Bildverarbeitungen eingesetzt werden sollen, könnte es in diesen relevanten Bildteilen zu fehlerhaften Ergebnissen kommen.
Um diese Nachteile zu überwinden, werden erfindungsgemäß die Nahtstellen in besonderer Weise gesetzt. In 3C wird schematisch gezeigt, dass vor einem Zusammenfügen der Mikroskopbilder 51-56 zunächst in einem Bildverarbeitungsschritt Bildinhalte erkannt oder klassifiziert werden. Hierbei werden relevante Bildstrukturen 21-23 in den Mikroskopbildern 51-56 gesucht und deren Orte registriert. Im vorliegenden Beispiel kann vorgegeben sein, dass als relevante Bildstrukturen die Näpfchen 11 einer Mikrotiterplatte gesucht werden sollen. Die Recheneinrichtung des Mikroskops führt einen Bildverarbeitungsalgorithmus aus, der dazu eingerichtet ist, vorgebbare relevante Bildstrukturen (z.B. Näpfchen bzw. Bildabschnitte von Näpfchen) in den Mikroskopbildern 51-56 zu identifizieren. Der Bildverarbeitungsalgorithmus kann insbesondere einen Maschinenlernalgorithmus umfassen, der darauf trainiert wurde, vorgegebene relevante Bildstrukturen zu erkennen. Im dargestellten Beispiel wurden unter anderem die relevanten Bildstrukturen 21 und 23 lokalisiert, welche vollständig in jeweils einem der Mikroskopbilder 51-56 enthalten sind; zusätzlich wurde auch eine relevante Bildstruktur 22 erkannt, welche am Rand des entsprechenden Mikroskopbildes 52 abgeschnitten ist.
Die Recheneinrichtung des Mikroskops leitet aus den Ortsinformationen der relevanten Bildstrukturen nun Zusammenfügungsparameter ab, welche die anschließend festzulegenden Nahtstellen beeinflussen. Die Zusammenfügungsparameter können beispielsweise angeben, dass eine Nahtstelle nicht durch eine relevante Bildstruktur laufen darf oder dass Strafpunkte damit verbunden sind, wenn eine Nahtstelle durch die relevante Bildstruktur verläuft. Die mathematische Beschreibung der Zusammenfügungsparameter hängt davon ab, nach welchen Berechnungsalgorithmen die Nahtstellen gesetzt werden.
3C zeigt weiterhin ist Ergebnisbild 60, bei dem die Nahtstellen 62, 63 zwischen den einzelnen Mikroskopbildern 51-56 erfindungsgemäß gesetzt sind. Hierbei verläuft keine Nahtstelle 62, 63 durch eines der Näpfchen 11, wie auch im vergrößerten Ausschnitt 61 des Ergebnisbilds 60 gezeigt. Zwar können (optional) zwischen den einzelnen Mikroskopbildern 51-56 wie auch beim Stand der Technik Helligkeitssprünge an den Nahtstellen vorliegen; der vergrößerte Ausschnitt 61 zeigt aber, dass diese Helligkeitssprünge nicht in oder direkt an den relevanten Bildstrukturen (Näpfchen 11) entstehen, sondern in unwichtigeren Bildteilen zwischen den Näpfchen.
Einem Nutzer fällt hierdurch eine visuelle Probenbewertung im Ergebnisbild 60 leichter und/oder für optionale weitere Bildverarbeitungsschritte ist das Risiko fehlerhafter Verarbeitungen der interessierenden Bildanteile geringer.
Die Zusammenfügungsparameter können auch ein Überblenden (blending) an den Nahtstellen beeinflussen. So können die Zusammenfügungsparameter beeinflussen, wie breit ein Überblendungsbereich senkrecht zum Verlauf einer Naht ist. Im Überblendungsbereich wird ein Pixelwert (Helligkeitswert) für das Ergebnisbild 60 aus den beiden Pixelwerten zweier überlappender Mikroskopbilder berechnet / gemittelt. Die Breite des Überblendungsbereichs ist so gewählt, dass ein Überblendungsbereich nicht eine lokalisierte relevante Bildstruktur 21-23 überlappt. Hierdurch können insbesondere Überblendungsbereiche entlang der Nahtstellen 62, 63 unterschiedlich breit sein: Verläuft eine Naht weiter entfernt von relevanten Bildstrukturen, kann der Überblendungsbereich größer gewählt sein, so dass ein weicher Helligkeitsverlauf entsteht, während bei einer Naht, die nah an einer relevanten Bildstruktur verläuft, der Überblendungsbereich schmaler ist, wodurch zwar ein Helligkeitssprung im Ergebnisbild auffallen mag, dafür aber sicher ausgeschlossen wird, dass ein weicher Übergang den Bildbereich einer relevanten Bildstruktur verfälscht.
Die oben beschriebenen Abläufe bilden Ausführungsbeispiele des erfindungsgemäßen Verfahrens. Zudem wird mit Bezug auf das Flussdiagramm von 4 ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopieverfahrens beschrieben, zu dessen Ausführung auch die Recheneinrichtung des Mikroskops eingerichtet sein kann.
In Schritt S1 werden mehrere Mikroskopbilder 51-58 aufgenommen, welche einander überlappen. Hierzu kann beispielsweise ein Probentisch zwischen den einzelnen Bildaufnehmen lateral verfahren werden.
In Schritt S2 werden relevante Bildstrukturen festgelegt. Dies kann zum Beispiel erfolgen, indem ein Nutzer eine Auswahl aus vorgegebenen Objekten einer Liste trifft.
Alternativ kann die Festlegung auch von der Recheneinrichtung automatisch basierend auf Informationen über das Objekt erfolgen. Ist beispielsweise bekannt, dass eine oder mehrere Mikrotiterplatten untersucht werden, kann die Recheneinrichtung automatisch „Näpfchen“ als relevante Bildstrukturen festlegen. Weitere relevante Bildstrukturen können zum Beispiel Beschriftungen und Spiegelungen sein: Spiegelungen entsprechen zwar meist keiner interessierenden Probenstruktur, allerdings würde eine Nahtstelle durch eine Spiegelung einen drastischen Helligkeitssprung im Ergebnisbild bewirken. Dadurch könnte es beispielweise einem Nutzer unklar sein, ob hier bloß ein Bildartefakt vorliegt oder ein physisches Problem an der Probe existiert.
Im anschließenden Schritt S3 wird in allen Mikroskopbildern nach relevanten Bildstrukturen gesucht und die Orte gefundener relevanter Bildstrukturen werden vermerkt. Optional kann eine Semantik relevanter Bildstrukturen miterfasst werden, das heißt es wird mitabgespeichert, um welche Art von relevanter Bildstruktur es sich handelt (Näpfchen, Spiegelung, Mikrotiterplattenbeschriftung, etc.).
In Schritt S4 werden Zusammenfügungsparameter aus den ermittelten Orten der relevanten Bildstrukturen bestimmt. Als Zusammenfügungsparameter kann beispielsweise jedem Bildpixel eines Mikroskopbildes ein Wert zugeordnet werden, welcher angibt, ob der entsprechende Bildpixel innerhalb einer relevanten Bildstruktur liegt oder nicht. Der Wert kann ein Binärwert sein (ja/nein) oder im Fall einer zu berücksichtigenden Bildstruktur-Semantik ein feiner abgestufter Wert.
Anschließend werden in Schritt S5 Nahtstellen zwischen den Mikroskopbildern 51-58 festgelegt, wofür die Zusammenfügungsparameter berücksichtigt werden. Die Nahtstellen werden so gelegt, dass möglichst nie eine Naht durch oder direkt am Rand einer lokalisierten relevanten Bildstruktur verläuft. Erstreckt sich eine relevante Bildstruktur bis an den Rand eines Mikroskopbildes und wurde dadurch vom Rand dieses Mikroskopbildes beschnitten, so wird diese beschnittene relevante Bildstruktur möglichst nicht in das Ergebnisbild übernommen. Vielmehr wird die Naht so gelegt, dass diese relevante Bildstruktur aus einem benachbarten, überlappenden Mikroskopbild in das Ergebnisbild übernommen wird, sofern in diesem benachbarten Mikroskopbild die besagte relevante Bildstruktur vollständig enthalten ist, also insbesondere nicht bis an den Rand dieses Mikroskopbildes ragt.
Eine Lage der Mikroskopbilder zueinander kann bekannt bzw. vorgegeben sein. Alternativ können aber auch die aufgenommenen Mikroskopbilder zueinander verschoben werden, ehe sie in Schritt S5 zusammengefügt werden. Ein Verschieben von Mikroskopbildern zueinander kann insbesondere mit Hilfe der lokalisierten relevanten Bildstrukturen erfolgen. Ist ein Teil einer relevanten Bildstruktur in zwei überlappenden Mikroskopbildern vorhanden, können diese so zueinander verschoben werden, dass der lokalisierte Teil der relevanten Bildstruktur in beiden Mikroskopbildern übereinander liegt. Eine solche Verschiebung der Mikroskopbilder kann insbesondere nach Schritt S3 oder S4 ergänzt werden.
Im optionalen Schritt S6 wird entschieden, ob die Nahtstellen zufriedenstellend gesetzt werden konnten. Beispielsweise können Strafpunkte vermerkt werden, wenn eine Nahtstelle durch eine relevante Bildstruktur gelegt werden muss, weil diese Bildstruktur in keinem der aufgenommenen Mikroskopbilder vollständig (unbeschnitten) enthalten ist. Im Beispiel von 1 gibt es beispielsweise kein Mikroskopbild 51-58, in dem das Näpfchen aus Spalte 2, Reihe A vollständig enthalten ist. Mit diesen Mikroskopbildern 51-58 muss daher zwingend das Näpfchen aus Spalte 2, Reihe A aus zwei Mikroskopbildern 52, 53 zusammengesetzt werden, wofür Strafpunkte vermerkt werden können. Liegen die Strafpunkte unter einem vorgegebenen Schwellwert, wird zu Schritt S7 übergegangen.
In Schritt S7 wird ein Ergebnisbild ausgegeben, das mit den Nahtstellen aus Schritt S5 gebildet ist. Ohne den optionalen Schritt S6 folgt der Schritt S7 unmittelbar auf S5.
Übersteigen im optionalen Schritt S6 die Strafpunkte den vorgegebenen Schwellwert, so folgt Schritt S8. In diesem werden Mikroskopparameter/Mikroskopeinstellungen verändert, welche die Helligkeit und/oder Lage aufnehmbarer Mikroskopbilder beeinflussen. Beispielsweise geben die Mikroskopparameter nacheinander anzufahrende Probentischpositionen so vor, dass aufnehmbare Mikroskopbilder sich in ihrer Lateralposition von den bereits aufgenommenen Mikroskopbildern unterscheiden. Dadurch können Nahtstellen anders gelegt werden und es kann vermieden werden, dass eine Nahtstelle durch eine relevante Bildstruktur läuft. Auf Schritt S8 folgt wiederum Schritt S1, in dem mit den Mikroskopparametern aus S8 weitere Mikroskopbilder aufgenommen werden. Idealerweise sollte nun bei erneuter Ausführung von Schritt S6 die Anzahl an Strafpunkten kleiner ausfallen, so dass der Schwellwert nicht mehr überschritten wird und ein Ergebnisbild ausgegeben werden kann.
In weiteren Varianten können bestimmte relevante Bildstrukturen auch gerade Bildbereiche angeben, durch die eine Naht verlaufen soll.
Bei einer Ausführungsform des erfindungsgemäßen Verfahrens zum Bearbeiten von Mikroskopbildern werden zumindest die Schritte S2-S5 und S7 durchgeführt, was auch an einem Computer örtlich getrennt von einem Mikroskop erfolgen kann.
In jedem Fall können mit den Ausführungsformen der Erfindung Ergebnisbilder erzeugt werden, in welchen Nahtstellen an geeigneten Stellen verlaufen, damit eine Bewertung durch einen Nutzer und/oder eine weitere Bildverarbeitung erleichtert werden.
Bezugszeichenliste

A-H: Reihenbeschriftungen der Mikrotiterplatte 10
S1-S8: Schritte von Verfahrensvarianten
1-7: Spaltenbeschriftungen der Mikrotiterplatte 10
9: Probentisch
10: Mikrotiterplatte
11: Näpfchen der Mikrotiterplatte 10
12: Beschriftungen der Mikrotiterplatte 10
21-23: relevante Bildstrukturen
15: Objektiv
16: Optische Achse des Objektivs 15
20: Kamera (Mikroskopkamera)
30: Kamera der Übersichtseinheit 31
31: Übersichtseinheit
40: Mikroskopstativ
50: Recheneinrichtung
51-58: Mikroskopbilder
60: Ergebnisbild
60`: Ergebnisbild (nicht erfindungsgemäß)
61: vergrößerter Ausschnitt des Ergebnisbilds 60
61': vergrößerter Ausschnitt des Ergebnisbilds 60'
62, 63: Nahtstellen beim Zusammenfügen der Mikroskopbilder
62', 63': Nahtstellen im Ergebnisbild 60'
100: Mikroskop

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Gu, Hua & Yu, Yue & Sun, Weidong: „A new optimal seam selection method for airborne image stitching“, IEEE International Workshop on Imaging Systems and Techniques, IST 2009 [0004]
Szeliski, Richard: „Image Alignment and Stitching: A Tutorial“, Foundations and Trends in Computer Graphics and Vision Vol. 2, No 1 (2006) [0004]

Claims

Mikroskop mit einem Mikroskopstativ (40), einer Kamera (20, 30) zum Aufnehmen von Mikroskopbildern (51-58) und einer Recheneinrichtung (50), die zur Bildverarbeitung der aufgenommenen Mikroskopbilder (51-58) eingerichtet ist, dadurch gekennzeichnet, dass die Recheneinrichtung (50) eingerichtet ist zum: Festlegen (S2) von relevanten Bildstrukturen; Lokalisieren (S3) relevanter Bildstrukturen (21-23) in den Mikroskopbildern (51-58); Ableiten (S4) von Zusammenfügungsparametern aus Orten der relevanten Bildstrukturen (21-23); und Erstellen (S7) eines Ergebnisbildes (60) mit Hilfe der Mikroskopbilder (51-58) unter Berücksichtigung der Zusammenfügungsparameter.
Mikroskop nach Anspruch 1, dadurch gekennzeichnet, dass die Kamera (30) Teil einer Übersichtseinheit (31) ist, die zum Aufnehmen der Mikroskopbilder (51-58) eingerichtet ist.
Verfahren zum Verarbeiten von Mikroskopbildern (51-58), umfassend: Festlegen (S2) von relevanten Bildstrukturen; Lokalisieren (S3) relevanter Bildstrukturen (21-23) in den Mikroskopbildern (51-58); Ableiten (S4) von Zusammenfügungsparametern aus Orten der relevanten Bildstrukturen (21-23); und Erstellen (S7) eines Ergebnisbildes (60) mit Hilfe der Mikroskopbilder (51-58) unter Berücksichtigung der Zusammenfügungsparameter.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Zusammenfügungsparameter die Festlegung von Nahtstellen (62, 63) zwischen den Mikroskopbildern (51-58) bestimmen.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, die Zusammenfügungsparameter eine Überblendung an Nahtstellen (62, 63) beschreiben, entlang welcher die Mikroskopbilder (51-58) zum Erstellen des Ergebnisbildes (60) zusammengefügt werden.
Verfahren nach einem der Ansprüche 3 bis 5, g e k e n n z e ich n e t durch den folgenden Schritt: Bestimmen aus den Zusammenfügungsparametern, ob eine Mikroskopsteueranweisung zum erneuten Aufnehmen von Mikroskopbildern (51-58) mit geänderten Mikroskopeinstellungen ausgegeben wird (S8), bevor ein Zusammenfügen aufgenommener Mikroskopbilder (51-58) zu einem Ergebnisbild (60) erfolgt.
Verfahren nach vorstehendem Anspruch, dadurch gekennzeichnet, dass die geänderten Mikroskopeinstellungen geänderte Probentischpositionen für die erneute Aufnahme der Mikroskopbilder (51-58) angeben.
Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die relevanten Bildstrukturen (21-23) eines oder mehreres aus Folgendem sind: Mikrotiternäpfchen (11), Probengefäße, Probengefäßbeschriftungen (12), Deckgläser, Markierungen, Lichtspiegelungen, Verdeckungen oder Abschattungen.
Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass relevante Bildstrukturen verschiedener Semantik festgelegt und lokalisiert werden; und dass die Zusammenfügungsparameter nicht nur abhängig von den Orten relevanter Bildstrukturen (21-23), sondern auch abhängig von der Semantik dieser Bildstrukturen (21-23) abgeleitet werden, wobei in einem Fall, dass das Zusammenfügen von Mikroskopbildern (51-58) erfordert, dass eine Nahtstelle (62, 63) durch eine von mehreren relevanten Bildstrukturen (21-23) verläuft, die Semantik eine Hierarchie vorgibt, nach welcher entschieden wird, durch welche der relevanten Bildstrukturen (21-23) die Nahtstelle (62, 63) gesetzt wird.
Verfahren nach einem der Ansprüche 3 bis 9, g e k e n n z e ich n e t durch den folgenden Schritt: Bereitstellen eines Eingabewerkzeuges, mit dem ein Nutzer relevante Bildstrukturen (21-23) festlegen kann, insbesondere durch Einzeichnen von Markierungen in einem Teil der Mikroskopbilder (51-58) oder in Beispiel-Mikroskopbildern.
Verfahren nach einem der Ansprüche 3 bis 10, g e k e n n z e ich n e t durch den folgenden Schritt: Durchführen einer Bildanalyse zur Klassifizierung der Mikroskopbilder (51-58), wobei abhängig von der durchgeführten Klassifizierung automatisch festgelegt wird, nach welchen relevanten Bildstrukturen (21-23) in den Mikroskopbildern (51-58) gesucht wird.
Verfahren nach einem der Ansprüche 3 bis 11, dadurch gekennzeichnet, dass das Lokalisieren von relevanten Bildstrukturen (21-23) erfolgt, indem mit Hilfe einer vorab bekannten Mikrotiterplattenposition und -art ermittelt wird, an welchen Orten in den Mikroskopbildern (51-58) sich Mikrotiternäpfchen (11) befinden sollten.
Verfahren nach einem der Ansprüche 3 bis 12, g e k e n n z e ich n e t durch den folgenden Schritt: Feststellen, ob im Ergebnisbild (60) eine Nahtstelle (62, 63) durch eine der relevanten Bildstrukturen (21-23) verläuft, und, wenn dies der Fall ist, Ausgeben einer Warninformation bezüglich der Nahtstelle (62, 63) an einen Nutzer oder an eine elektronische Steuer- oder Auswerteeinrichtung.
Mikroskopieverfahren umfassend: Aufnehmen (S1) mehrerer überlappender Mikroskopbilder (51-58); Durchführen des Verfahrens nach einem der Ansprüche 3 bis 13 zum Verarbeiten der Mikroskopbilder (51-58); und Bestimmen (S6), ob die aufgenommenen Mikroskopbilder (51-58) zum Erstellen des Ergebnisbildes (60) geeignet sind oder zunächst ein oder mehrere weitere Mikroskopbilder (51-58) aufzunehmen sind, mit denen sodann das Ergebnisbild (60) berechnet wird.