DE102013103971A1

DE102013103971A1 - Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts

Info

Publication number: DE102013103971A1
Application number: DE102013103971.5A
Authority: DE
Inventors: Frank Uwe Fuchs
Original assignee: Sensovation AG
Current assignee: Miltenyi Imaging GmbH
Priority date: 2013-04-19
Filing date: 2013-04-19
Publication date: 2014-11-06
Also published as: CA2908058A1; CN105122113B; JP6272617B2; EP2987017A1; BR112015024466A2; US20160055622A1; AU2014253889A1; AU2014253889B2; WO2014172530A1; US10269094B2; JP2016517985A; CA2908058C; EP2987017A4; CN105122113A

Abstract

Die Erfindung betrifft ein Verfahren zum Zusammensetzen eines Gesamtbilds (4) eines Objekts (8) aus mehreren Teilbildern (6) durch sogenanntes Stitching. Es werden mehrere nebeneinander liegende Teilbilder (6) des Objekts (8) aufgenommen und mithilfe eines Bildverarbeitungsvorgangs zum zusammenhängenden Gesamtbild (4) zusammengefügt.
Um ein lagegenaues Zusammenfügen der Teilbilder (6) auch bei wenig Bildinformation zu ermöglichen, wird vorgeschlagen, dass das Zusammenfügen der Teilbilder (6) zum Gesamtbild im Bildverarbeitungsvorgang unter Verwendung eines durch ein Mustermittel (44) erzeugten optischen Musters (30, 74) erfolgt.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts, bei dem mehrere nebeneinander liegende Teilbilder des Objekts aufgenommen werden und die Teilbilder mithilfe eines Bildverarbeitungsvorgangs zu einem zusammenhängenden Gesamtbild zusammengefügt werden.
Bei der Analyse von biologischen Proben werden diese mit einem geeigneten Licht bestrahlt und von einer Kamera aufgenommen. Durch geeignete Markierungen mit biologischen Markern kann die biologische Probe mit beispielsweise einer Fluoreszenzanalyse oder kolorimetrischen Verfahren untersucht werden. Andere Untersuchungen können mit einfachem Auflicht- oder Durchlichtverfahren durchgeführt werden. Zur genauen optischen Abtastung der Probe werden Mikroskopoptiken eingesetzt, um auch kleine biologische Strukturen zu erkennen.
Werden große Proben oder sogenannte Micro-Arrays mit einer Vielzahl von Objekten, Sonden oder Biochips untersucht, besteht das Problem, dass eine große Fläche mit einer hohen Auflösung aufgenommen werden muss. Zur Lösung dieses Problems ist es bekannt, große Flächen zu scannen. Hierbei wird die Fläche zeilenweise aufgenommen und die Zeilen werden zu einem Gesamtbild zusammengefügt. Ein solches Verfahren ist aus der US7978874B1 bekannt.
Gegenüber einem solchen Verfahren bieten Bilddetektoren den Vorteil einer größeren optischen Variabilität. Zum Erstellen eines Gesamtbilds müssen allerdings mehrere vom Bilddetektor aufgenommene Teilbilder zu einem Gesamtbild zusammengefügt werden. Bei einem solchen Bildverarbeitungsverfahren, auch Stitching genannt, werden Überlappungsbereiche der Teilbilder auf Übereinstimmungen untersucht. Hierbei wird beispielsweise ein optisches Objekt in beiden nebeneinander liegenden Teilbildern gefunden und anhand seiner Lage in den Teilbildern wird die Lage der Teilbilder zueinander bestimmt, so dass die Teilbilder lagerichtig zusammengesetzt werden können. Dies ist beispielsweise bekannt aus US7778485B1 .
Ein solches Zusammenfügen von Teilbildern zu einem Gesamtbild kann dann zu Ungenauigkeiten führen, wenn in dem Überlappungsbereich zweier Teilbilder ungenügende Bildinformationen vorliegen, sodass die Lage der Teilbilder zueinander nur ungenügend bestimmt werden kann.
Zur Lösung dieses Problem ist es beispielsweise aus der WO98/44446 bekannt, eine Probenunterlage mit einer so hohen mechanischen Präzision zu Bewegen, dass nebeneinander liegende und nicht überlappende Teilbilder des Objekts ohne Bildbearbeitung mit einer Genauigkeit von wenigen µm zusammengefügt werden können. Hierfür ist jedoch eine Bewegungsvorrichtung notwendig, mit der die Probe hochpräzise unter dem Objektiv bewegt werden kann.
Es ist eine Aufgabe der vorliegenden Erfindung, ein einfaches und zuverlässiges Verfahren zum Erzeugen eines Gesamtbilds aus mehreren nebeneinander liegenden Teilbildern anzugeben.
Diese Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem das Zusammenfügen der Teilbilder zum Gesamtbild im Bildverarbeitungsvorgang unter Verwendung eines durch ein Mustermittel erzeugten optischen Musters erfolgt. Durch das Muster steht genügend optische Information zur Verfügung, sodass die Position der Teilbilder zueinander anhand der Eigenschaften des Musters, wie dessen Lage in den Teilbildern, zuverlässig bestimmt werden kann.
Hierbei ist es vorteilhaft, wenn die Teilbilder einander zumindest teilweise überlappen, sodass das Muster im Überlappungsbereich beider Teilbilder oder in einander überlappenden Musterbildern abgebildet ist wenn das Muster nicht im Teilbild direkt abgebildet ist. Eine Überlappung der Teilbilder ist jedoch nicht zwingend notwendig, da das optische Muster auch so ausgeführt sein kann, dass direkt aneinander angrenzende Teilbilder anhand des Musters in ihrer Lage zueinander festgelegt werden können.
Die Teilbilder bilden einen Teil des Objekts ab. Das Gesamtbild bildet einen größeren Teil des Objekts oder das gesamte Objekt ab und ist zweckmäßigerweise aus zumindest zwei Teilbildern, insbesondere aus zumindest einer eindimensionalen Kette von K Teilbildern, mit K ≥ 3, zusammengesetzt, weiter insbesondere aus einer zweidimensionalen Anordnung aus N × M Teilbildern mit N ≥ 2 und M ≥ 2. Die Teilbilder können aneinander angrenzen oder einander überlappen. Die Teilbilder sind zumindest eindimensionale Bilder mit k Pixeln, mit k ≥ 2, zweckmäßigerweise zweidimensionale Bilder mit einer zweidimensionalen Pixelanordnung, zweckmäßigerweise einer Anordnung von n × m Pixeln, mit n ≥ 2 und m ≥ 2. Entsprechend weist ein Bilddetektor eines Aufnahmegeräts zum Aufnehmen der Teilbilder zumindest k nebeneinander liegende, insbesondere zumindest n × m in einem zweidimensionalen Raster abgeordnete Detektorelemente auf.
Zweckmäßigerweise verwendet im Bildverarbeitungsvorgang ein Algorithmus das optische Muster beim Zusammensetzen der Teilbilder. Der Bildverarbeitungsvorgang kann einen oder mehrere der folgenden Schritte umfassen:
Zumindest zwei das optische Muster zumindest teilweise beinhaltende Bilder werden auf Musterelemente des Musters untersucht. Optional können die Musterelemente anhand einer Mustererkennung als solche erkannt werden. Die in beiden Bildern gefundenen Musterelemente werden miteinander auf Übereinstimmung verglichen. Die Übereinstimmung kann in den Parametern Form, Größe und/oder Farbe gesucht werden. Übersteigt die Übereinstimmung in einem oder mehreren Parametern einen vorgegebenen Grad, so werden die beiden Musterelemente einander zugeordnet. Einander zugeordnete Musterelemente werden auf ihre Lage zueinander untersucht. Die Lage kann die Position und die Ausrichtung in den Bildern umfassen. Anhand der Lage der Musterelemente werden die beiden Bilder in ihrer Lage zueinander in Beziehung gesetzt. Die beiden Bilder werden anhand dieser Beziehung zu einem Gesamtbild zusammengesetzt. Im Gesamtbild liegen zwei einander zugeordnete Musterelemente in ihrer Lage exakt gleich übereinander.
Das Mustermittel ist zweckmäßigerweise außerhalb des Objekts angeordnet. Es erzeugt ein zur Objektabbildung zusätzliches Muster, das Muster ist also kein dem Objekt innewohnendes Muster. Zweckmäßigerweise ist das Mustermittel unabhängig vom Objekt. Alternativ kann das Mustermittel Bestandteil des Objekts sein, z.B. ein auf einen Probenträger aufgebrachtes Mustermittel. Auch Musterelemente, wie Partikel, in einem Probenelement, z.B. einem Kleber, sind möglich und vorteilhaft. Generell ist es vorteilhaft, wenn das Mustermittel in einem Bereich angeordnet oder als Muster in einem Bereich abgebildet ist, der frei vom zu untersuchenden Objekt oder einem zu untersuchenden Bereich des Objekts ist, damit das Muster eine Kontur des Objekts nicht stört.
Das optische Muster kann aus einem oder mehreren Musterelementen bestehen. Das Muster kann ein vorbestimmtes Muster sein, das in seiner Geometrie definiert vom Mustermittel erzeugt wird, wie beispielsweise Punkte und/oder Linien. Es ist jedoch auch möglich, das Muster undefiniert zu erzeugen, sodass es nicht vorbestimmt ist. Die Bildverarbeitungseinheit enthält einen oder mehrere Algorithmen zur Mustererkennung, der zweckmäßigerweise das Muster als solches im Teilbild oder im Musterbild erkennt.
Das optische Muster kann ganz oder teilweise in den Teilbildern abgebildet sein, zweckmäßigerweise in einem Überlappungsbereich zweier benachbarter Teilbilder. Generell ist es jedoch nicht notwendig, dass das Muster – ggf. nur teilweise – im Überlappungsbereich angeordnet ist. Wenn das Muster oder ein Teil davon in einem Teilbild angeordnet ist, kann von einer Eigenschaft des Musters, z.B. einem Helligkeitsprofil, eine Kante des Musters registriert werden.
Ist das optische Muster ganz oder teilweise in den Teilbildern abgebildet, so kann die Bildverarbeitungseinheit das optische Muster beziehungsweise ein Musterelement daraus direkt aus den Teilbildern erkennen und die Teilbilder lagerichtig zusammenfügen. Die Abbildung des optischen Musters in den Teilbildern hat jedoch den Nachteil, dass das optische Muster Bildinhalte der Teilbilder verdecken und somit den Bildinhalt der Teilbilder verringern kann. Um dies zu vermeiden, ist es vorteilhaft, das optische Muster in einem oder mehreren Musterbildern abzubilden, die zweckmäßigerweise eine definierte relative Lage zu den Teilbildern aufweisen. Die Musterbilder sind vorteilhafterweise von den Teilbildern in der Weise unterschiedlich, dass das optische Muster nur in den Musterbildern abgebildet ist und die Teilbilder musterfrei sind.
Vorteilhafterweise ist jedem Teilbild ein Musterbild zugeordnet, wobei unterschiedlichen Teilbildern unterschiedliche Musterbilder zugeordnet sind. Anhand der Lage eines Musterelements in zwei Bildern, also zwei Teilbildern oder zwei Musterbildern, bestimmt die Bildverarbeitungseinheit die Lage der Teilbilder zueinander, wobei dies auch mittelbar über die Lage der Musterbilder zueinander erfolgen kann.
Zum Aufnehmen der Teilbilder wird das Objekt zweckmäßigerweise relativ zu einem Aufnahmegerät, wie einer Kamera oder einem Objektiv, bewegt. Das Aufnahmegerät kann so das Objekt Teilbild für Teilbild abtasten. Vorteilhafterweise wird das Muster mit dem Objekt mitbewegt, es bewegt sich also in gleicher Weise relativ zum Aufnahmegerät wie das Objekt selbst. Hierbei ist es vorteilhaft, wenn das Muster in seiner Bewegung vollständig an die Bewegung des Objekts gekoppelt ist, sodass keine Relativbewegung zwischen Muster und Objekt stattfindet. Da die Bewegung nur eine Relativbewegung ist, ist es auch möglich, Objekt und Muster ruhend zu halten und das Aufnahmegerät zu bewegen. Vorteilhafterweise wird das Mustermittel mit dem Objekthalter – und dem Objekt – mitbewegt, insbesondere zwangsbewegt, wobei eine solche Zwangsbewegung durch eine starre Verbindung zwischen Mustermittel und Objekthalter erzeugt werden kann.
Eine vorteilhafte Ausführungsform der Erfindung sieht vor, dass der Objekthalter ein Probentisch und das Objekt eine auf dem Probentisch angeordnete Probe ist, insbesondere eine biologische Probe. Eine biologische Probe umfasst biologisches Material, insbesondere Zellen, Mikroorganismen, Bakterien und/oder dergleichen. Die Probe ist zweckmäßigerweise eine ebene Probe, die ein oder mehrere Probenelemente aufweisen kann, beispielsweise Mikrochips, eine Anordnung von mehreren Probengefäßen und/oder dergleichen. Vorteilhafterweise umfasst die Probe eine Probensubstanz, die auf oder in einem Probenhalter platziert ist. Die Probe kann von einer Abdeckung abgedeckt sein, zweckmäßigerweise einem Abdeckglas. Vorteilhafterweise ist der Probenhalter und insbesondere auch die Abdeckung transparent in der Objektbildwellenlänge. Ein geeignetes Material für den Probenhalter ist Glas.
Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass das Verfahren ein Mikroskopieverfahren ist und die Teilbilder durch eine Mikroskopoptik aufgenommen werden. Die Mikroskopoptik weist zweckmäßigerweise zumindest eine fünffache Vergrößerung, insbesondere eine zumindest zwanzigfache Vergrößerung auf.
Zum Abbilden des optischen Musters auf einem Bilddetektor bestehen viele Möglichkeiten, die von mehreren Parametern abhängig sind. Diese Parameter sind im Folgenden einzeln beschrieben und beliebig miteinander kombinierbar.
Der erste Parameter ist die Ausführung des Musters als materielles oder immaterielles Muster. Der Parameter hat somit zwei Möglichkeiten. Das Muster kann ein materielles Muster sein, beispielsweise ein Gegenstand, der fest mit dem Objekthalter verbunden ist, wie ein Glasmaßstab, und/oder ein Gegenstand, der fest mit dem Objekt, z.B. einer Probe, verbunden ist. Beispiele hierfür können Partikel im der Probe sein, z.B. in einem Kleber, oder eine Beschichtung eines Elements des Objekts. Besonders vorteilhaft hingegen ist ein immaterielles Muster, beispielsweise ein Strahlungsmuster, das in Form einer Abbildung ausgeführt sein kann. Das Muster wird beispielsweise vom Mustermittel als Strahlungsmuster auf einen Musterträger geworfen werden, z.B. das Objekt. Der Begriff des Strahlungsmusters umfasst auch Schattenmuster. Vorteilhaft ist eine Projektion eines materiellen Musters auf den Musterträger. Zweckmäßigerweise ist das Mustermittel so ausgeführt, dass das optische Muster zuschaltbar ist, also zugeschaltet und abgeschaltet werden kann.
Ein zweiter Parameter ist die Wellenlänge bzw. das Strahlungsspektrum, in dem das Muster auf einem Bilddetektor aufgenommen wird. Im Folgenden wird der Begriff der Wellenlänge nicht nur für eine scharfe Wellenlänge, sondern auch ein für ein Spektrum von Wellenlängen verwendet. Bilder des Musters oder eines Teils davon können in der Objektbildwellenlänge aufgenommen werden oder in einer Musterbildwellenlänge. Auch dieser Parameter hat somit zwei Möglichkeiten, ist also ein dualer Parameter. Die Objektbildwellenlänge ist eine Wellenlänge bzw. ein optisches Spektrum, in der die Teilbilder aufgenommen werden und in der ein aufnehmender Objektbilddetektor sensitiv ist. Die Bildwellenlänge kann im sichtbaren Spektralbereich liegen, eine Fluoreszenzwellenlänge sein oder ein anderer geeigneter Spektralbereich sein.
Die Musterbildwellenlänge unterscheidet sich von der Objektbildwellenlänge. Sie liegt außerhalb der Objektbildwellenlänge bzw. außerhalb des Objektbildwellenlängenspektrums. Sie ist eine solche Wellenlänge bzw. Spektralbereich, in der die Teilbilder nicht aufgenommen werden, für die also der Objektbilddetektor unsensitiv ist oder die aus einem Objektbildstrahlengang ausgefiltert wird. Bei der Aufnahme der Teilbilder wird die Musterwellenlänge beispielsweise aus dem Strahlengang ausgefiltert, sodass die Teilbilder nicht in dieser Wellenlänge aufgenommen werden. In einer anderen Möglichkeit ist die Musterwellenlänge für den Objektbilddetektor unsichtbar, er ist also in dieser Wellenlänge nicht sensitiv.
Ein weiterer Parameter sind die Anregungswellenlänge und die Abstrahlwellenlänge des Musters. Üblicherweise ist die Abstrahlwellenlänge des Musters im Anregungswellenlängenspektrum des Musters enthalten. Das Muster wird beispielsweise mit blauem Licht erzeugt, strahlt mit blauem Licht ab und wird im blauen Spektralbereich aufgenommen. Es besteht jedoch auch die Möglichkeit, das Muster so auszuführen, dass dessen Abstrahlwellenlänge im Anregungswellenlängenspektrum nicht enthalten ist, beispielsweise bei Fluoreszenz. Hierbei wird mit höher energetischer Strahlung auf einen Musterträger eingestrahlt, der mit niederenergetischer Strahlung das Muster abstrahlt, in der das Muster dann aufgenommen wird. Auch dieser Parameter ist also ein dualer Parameter, er hat somit zwei Möglichkeiten.
Ein weiterer dualer Parameter hat die beiden Möglichkeiten, dass das Muster bereits als Muster auf einen Musterträger eingestrahlt wird, zum Beispiel das Objekt, oder es erst vom Musterträger gebildet wird, das Muster also dem Musterträger innewohnt. Hierbei wird beispielsweise gleichmäßig auf den Musterträger eingestrahlt und dieser erzeugt das Muster in seiner Abstrahlung, beispielsweise indem nur ein Musterbereich streut, reflektiert oder fluoresziert.
Ein weiterer dualer Parameter liegt darin, ob das Muster im Teilbild, also in der Abbildung des Objekts, das zur Erzeugung des Gesamtbilds herangezogen wird, abgebildet ist, oder ob das Muster in einem zum Objektbild zusätzlichen Musterbild abgebildet wird. In diesem Fall ist das Muster nicht im Teilbild abgebildet, sodass die Objektinformation im Teilbild in größtmöglicher Weise erhalten bleibt.
Wenn Musterbilder aufgenommen werden, ist es vorteilhaft, wenn die Musterbilder in einer vorbestimmten Lage zu den Teilbildern angeordnet sind. Anhand der Auswertung des Musters in den Musterbildern kann die Lage der Musterbilder zueinander bestimmt werden. Anhand der bekannten Lage der Objektbilder zu den Musterbildern kann die Lage der Teilbilder zueinander bestimmt werden, so dass diese zum Gesamtbild zusammengesetzt werden können.
Das Musterbild kann eine Abbildung des Objekts beinhalten. Es wird dann jedoch nicht als Teilbild verwendet. So wird z.B. das Objekt zusammen mit dem Muster auf einem Objektbilddetektor abgebildet und es wird ein Musterbild aufgenommen. Anhand des Musters wird die Lage des Musterbilds, insbesondere relativ zu einem vorbestimmten Bezugspunkt, bestimmt. Das Teilbild wird davor oder danach ohne das Muster aufgenommen, wobei die Möglichkeit besteht, das Muster aus der Abbildung zu entfernen und dann das Teilbild aufzunehmen oder zuerst das Teilbild aufzunehmen und dann das Muster in der Abbildung auf den Detektor sichtbar zu machen. Zweckmäßigerweise ist der Objekthalter in beiden Bildern in gleicher Position gehalten, beispielsweise relativ zum Bezugspunkt.
Ein weiterer Parameter ist der Ort eines immateriellen Musters. Das Muster wird an einem Musterträger sichtbar. Dieser kann das Objekt sein oder ein vom Objekt verschiedener Gegenstand, z.B. am Objekthalter oder einem anderen Gegenstand.
Weiter ist es vorteilhaft, wenn das Muster an einem für einen Objektbildwellenlänge transparenten Musterträger sichtbar gemacht wird. Der Musterträger kann in der Objektbildwellenlänge, in der die Teilbilder aufgenommen werden, durchstrahlt werden, wohingegen das Muster vom Musterträger abgestrahlt werden kann. Hierbei ist der Musterträger für eine Musterbildwellenlänge zweckmäßigerweise opak. Der Musterträger kann ein Glas sein, beispielsweise ein Probenträger und/oder ein Deckglas zum Abdecken einer Probe. Auch möglich ist Kleber, der mehrere Elemente zusammenklebt. Ebenfalls möglich und vorteilhaft ist der Musterträger Wasser, beispielsweise als Bestandteil des Objekts, wobei auch andere Bestandteile des Objekts als Musterträger dienen können. Glas kann als solches als Musterträger verwendet werden oder einen Farbstoff beinhalten, der für die Objektbildwellenlänge transparent ist und für die Musterbildwellenlänge opak.
Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass das Muster ein Lasermuster ist. Mit einem Laser kann ein vordefiniertes Muster besonders einfach erzeugt werden. Vorteilhafterweise wird das Lasermuster an einem Musterträger sichtbar gemacht, der zweckmäßigerweise nicht das Objekt oder ein Teil davon ist. Der Laser kann ebenso wie das Lasermuster in der Objektbildwellenlänge oder einer separaten Musterbildwellenlänge strahlen. Ebenso ist es möglich, dass das Lasermuster vom Laser angeregt wird und in einer vom Laser verschiedenen Wellenlänge zurückstrahlt.
Weiter ist es vorteilhaft, wenn das Muster ein Interferenzmuster ist. Dieses kann in einem für eine Objektbildwellenlänge transparenten Musterträger, beispielsweise einem Deckglas einer Probe, erzeugt werden und als solches auf einem Objektbilddetektor oder einem Musterbilddetektor abgebildet werden.
Mit gleichem Vorteil kann das Muster als eine stehende Welle erzeugt werden, insbesondere in einem Probenelement, also einem zur Probe zugehörigen Element, beispielsweise dem Probenhalter oder einem Teil davon, wie einem Probendeckglas.
Ebenfalls möglich und vorteilhaft ist die Erzeugung des Musters als ein Speckle-Muster. Auch dieses wird vorteilhafterweise in einem Probenelement erzeugt.
Ein weiterer dualer Parameter ist die zeitliche Abfolge der Aufnahme von Teilbildern und Musterbildern. Die Aufnahme kann gleichzeitig oder nacheinander erfolgen. Bei einer Aufnahme nacheinander kann zuerst ein Teilbild und davor oder danach das zum Teilbild zugeordnete Musterbild erzeugt werden. Das Teilbild und das Musterbild können auf dem gleichen Objektbilddetektor abgebildet werden, oder das Teilbild wird auf dem Objektbilddetektor und das Musterbild auf einem Musterbilddetektor abgebildet.
Ein weiterer dualer Parameter besteht darin, das Muster entweder auf einem Objektbilddetektor oder auf einem Musterbilddetektor abzubilden, der vom Objektbilddetektor separat ist. Im Falle der Verwendung zweier Detektoren können diese in der gleichen Objektbildwellenlänge sensitiv sein oder in unterschiedlichen Spektralbereichen sensitiv sein, beispielsweise der Objektbilddetektor in der Objektbildwellenlänge und der Musterbilddetektor in der Musterbildwellenlänge.
Ein weiterer Parameter ist die Wahl des das Muster aufnehmenden Objektivs. Das Muster kann mit einem Objektobjektiv auf einem Detektor abgebildet werden, das auch das Objekt auf dem Objektbilddetektor abbildet. Eine andere Möglichkeit liegt darin, das Muster mit einem Musterobjektiv abzubilden, das zweckmäßigerweise zusätzlich zum Objektobjektiv vorhanden ist und durch den das Objekt nicht abgebildet wird. Die Parameter der beiden Detektoren und der beiden Objektive können beliebig miteinander kombiniert werden. So kann ein Strahlengang aus zwei Objektiven auf einen Detektor geführt werden oder von einem Objektiv auf zwei Detektoren oder von zwei Objektiven auf zwei Detektoren oder von einem das Objekt und das Muster abbildenden Objektiv auf einen einzigen Detektor.
Ein weiterer Parameter besteht in der Relativposition des Musters relativ zum Objekt. Das Muster kann auf oder in dem Objekt sichtbar gemacht werden, zweckmäßigerweise in der Objektbildebene. Eine andere Möglichkeit besteht darin, das Muster zwar im Objektbild aber vor oder hinter der Objektbildebene anzuordnen. Hierbei ist es vorteilhaft, wenn das Muster außerhalb der Objektebene der Teilbilder angeordnet wird, also außerhalb derjenigen Ebene, auf die die Optik zur scharfen Abbildung des Objekts auf dem Objektbilddetektor fokussiert. Die Optik kann hierbei erst auf das Muster fokussieren und dann auf das Objekt oder anders herum. Entsprechend der Fokussierung können die Bilder, also die Teilbilder und die Musterbilder, aufgenommen werden. Eine dritte Parametermöglichkeit besteht darin, das Muster neben dem Objekt und außerhalb des Objektbilds anzuordnen.
Ein weiterer Parameter kann beinhalten, ob die das optische Muster erzeugende Strahlung auf das Objekt gestrahlt wird oder ob das Muster durch das Objekt strahlt. Wird die Strahlung auf das Objekt gestrahlt, so kann sie durch das Objektobjektiv auf das Objekt gestrahlt werden, also in einem Bildstrahlengang des Objektbilds eingekoppelt werden. Alternativ oder zusätzlich kann die Strahlung von außen am Objektobjektiv vorbei auf das Objekt eingestrahlt werden. Strahlt das Muster im Durchlichtverfahren, so wird es durch das Objekt oder den Objekthalter hindurchgeführt.
Die Wahl eines geeigneten Mustermittels eröffnet einen weiteren Parameter. Das Mustermittel kann ein Durchlass-Element sein, also ein solches Element, das von einer Lichtquelle angestrahlt wird und nur einen Teil der Strahlung als Licht- oder Schattenmuster hindurch lässt. In einer anderen Ausführungsform wird ein selbststrahlendes Musters verwendet, beispielsweise eine LED, die bereits durch ihre ungleichmäßige Abstrahlung ein Muster bildet, sodass das Muster in einer vorteilhaften Ausführungsform der Erfindung eine Abbildung einer Muster-Lichtquelle sein kann.
Die oben genannten Parameter können in beliebiger Weise miteinander kombiniert werden, sodass für die jeweilige Anwendung eine vorteilhafte Erzeugung des Musters erreicht wird. Einzelne vorteilhafte Ausführungsbeispiele werden im Zusammenhang mit den Figuren beschrieben, wobei es aufgrund der Vielzahl möglicher und vorteilhafter Ausgestaltungen entsprechend der Kombination der oben genannten Parameter nicht möglich ist, alle vorteilhaften Ausführungsformen bildlich darzustellen. Entsprechend wird nur eine kleine Auswahl vorteilhafter Ausführungsformen vorgestellt werden können, wobei bei anderen Anwendungen andere Parameterkombinationen vorteilhaft sein können.
Außerdem ist die Erfindung gerichtet auf eine Vorrichtung zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds. Die Vorrichtung umfasst einen Objektbilddetektor, eine Optik zum Abbilden eines Objekts auf dem Objektbilddetektor und einer Bildverarbeitungseinheit zum Zusammenfügen von mehreren, nebeneinander liegenden und insbesondere einander teilweise überlappenden Teilbildern des Objekts zu einem zusammenhängenden Gesamtbild.
Es wird vorgeschlagen, dass die Vorrichtung erfindungsgemäß ein Mustermittel zum Erzeugen eines optischen Musters aufweist, wobei die Bildverarbeitungseinheit dazu vorbereitet ist, die Teilbilder anhand des Musters zum Gesamtbild zusammenzufügen. Wie oben beschrieben, kann die Relativposition der Teilbilder zu einander anhand des Musters erkannt werden und die Teilbilder können lagerichtig zum Gesamtbild zusammengefügt werden.
Vorteilhafterweise umfasst die Vorrichtung ein oder mehrere der oben beschriebenen Vorrichtungselemente, wie Detektoren, Objektive, Probenelemente, Musterträger und dergleichen.
Weiter vorteilhafterweise umfasst die Vorrichtung eine Steuereinheit, die zur Durchführung des erfindungsgemäßen Verfahrens sowie einem oder mehreren der oben ausgeführten Verfahrensdetails vorbereitet ist.
Zweckmäßigerweise umfasst die Optik eine in einer Objektbildwellenlänge durchlässige Objektoptik, die auch ein Objektobjektiv umfassen kann. Weiter vorteilhaft umfasst die Optik eine in einer Musterbildwellenlänge durchlässige Musteroptik, die auch ein Musterobjektiv umfassen kann. Zweckmäßigerweise ist eine Objektoptik in einer Musterbildwellenlänge unter 50% transparent, insbesondere unter 10%.
Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Erfindungsparameter, die einzeln beschrieben sind. Diese Merkmale wird der Fachmann jedoch zweckmäßigerweise zu sinnvollen Kombinationen zusammenfassen. Insbesondere sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung gemäß den unabhängigen Ansprüchen kombinierbar.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung, sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale eines jeden Ausführungsbeispiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und/oder mit einem beliebigen der Ansprüche kombiniert werden.
Es zeigen:
1 eine Vorrichtung zum Aufnehmen von Bildern eines Objekts,
2 einen beweglichen Objekthalter der Vorrichtung aus 1 mit dem daran angeordneten Objekt,
3 ein Gesamtbild des Objekts, das aus vier Teilbildern zusammengesetzt ist,
4 vier Musterbilder mit einem optischen Muster,
5 einen im Vergleich zu 2 modifizierten Objekthalter in einer schematischen Darstellung,
6 ein Mustermittel zum Erzeugen eines Musters mit einem Laser und
7 eine weitere Vorrichtung zum Aufnehmen von Bildern eines Objekts mit einem zusätzlichen Musterobjektiv.
1 zeigt eine Vorrichtung 2 zum Erzeugen eines Gesamtbilds 4, das beispielhaft in 3 dargestellt ist. Das Gesamtbild 4 ist aus mehreren Teilbildern 6 zusammengesetzt und zeigt ein Objekt 8, das an einem Objekthalter 10 (1) starr befestigt ist. Im dargestellten Ausführungsbeispiel ist das Objekt 8 eine Probe, die eine Vielzahl von Biochips 11 enthält, die anhand des Gesamtbilds 4 untersucht werden. Der Objekthalter 10 ist ein Probentisch, der – wie in 2 beispielhaft dargestellt ist – senkrecht zur Blickrichtung 12 eines Objektivs 14 der Vorrichtung 2 beweglich ist, wie anhand des Doppelpfeils 16 dargestellt ist.
Zum Aufnehmen der Objektbilder bzw. der Teilbilder 6 des Objekts 8, wie sie hier genannt werden, umfasst die Vorrichtung 2 ein Aufnahmegerät 13, beispielsweise in Form einer Kamera, die einen Objektbilddetektor 18 oder eine andere geeignete Einheit zur Aufnahme der Teilbilder 6 umfassen kann. Im Strahlengang 20 des Objektbilds vor dem Objektbilddetektor 18 angeordnet ist ein Spektralfilter 22, der einen oder mehrere unterschiedliche Filterelemente aufweisen kann, so dass Teilbilder 6 in unterschiedlichen Objektbildwellenlängen aufgenommen werden können.
Weiter vor im Strahlengang 20 ist eine Abbildungsoptik 24 angeordnet, die Teil einer Optik 26 ist, die neben der Abbildungsoptik 24 das Objektiv 14 umfasst. Bei dem in 1 dargestellten Ausführungsbeispiel umfasst die Optik 26 auch eine Abbildungsoptik 28 zum Abbilden eines in 4 beispielhaft dargestellten Musters 30 durch einen optionalen Filter 32 auf einem Musterbilddetektor 34, der ebenfalls ein Teil des Aufnahmegeräts 13 der Vorrichtung 2 ist.
Weiter umfasst die Vorrichtung 2 ein Aufnahmengerät 35 mit einer Bildverarbeitungseinheit 36 zum Verarbeiten des auf den Musterbilddetektor 34 abgebildeten Musters 30 mittels Bild verarbeitender Schritte. Eine weitere Bildverarbeitungseinheit 38 dient zum Verarbeiten der Objektbilder beziehungsweise Teilbilder 6 und zum Auswerten der Teilbilder 6 beziehungsweise des Gesamtbilds 4 hinsichtlich optischer Eigenschaften des Objekts 8. Die beiden Bildverarbeitungseinheiten 36, 38 können auch als eine einzige Bildverarbeitungseinheit 36 ausgeführt sein, die die Funktionen der beiden dargestellten Bildverarbeitungseinheiten 36, 38 übernimmt.
Bei dem in 1 dargestellten Ausführungsbeispiel ist das Objektiv 14 Teil eines Mikroskops 40 mit einer zumindest fünffachen, insbesondere zumindest zwanzigfachen Bildvergrößerung. Das Mikroskop 40 umfasst einen nur schematisch angedeuteten Mikroskoptubus 42 zum Eliminieren von Streulicht. Alternativ ist das Objektiv 14 Teil einer optischen Einheit ohne Bildvergrößerung, z.B. zum Zusammensetzen von Überblick-Bildern. Besonders Vorteilhaft ist das Objektiv in der Weise einstellbar, dass es mit oder ohne Vergrößerung auf dem Objektbilddetektor 18 abbildet.
Weiter umfasst die Vorrichtung 2 ein Mustermittel 44 mit einer Lichtquelle 46, einem Musterelement 48 und einer Musteroptik 50. Das Musterelement 48 ist beispielsweise eine Musterblende, in der das Muster 30 als transparente Öffnungen in einer ansonsten für das Licht der Lichtquelle 46 opaken Blende angeordnet ist. Alternativ sind Lichtquelle und Musterelement 48 ein einziges Element, das Licht in einem Muster abstrahlt. Als Beispiel kann eine LED herangezogen werden, deren räumliche Abstrahlcharakterisitik nicht homogen ist. Ein entsprechendes Muster wird auf dem Musterträger durch die Musteroptik 50 abgebildet.
Der Begriff „Licht“ ist im Folgenden nicht auf das sichtbare Spektrum begrenzt sondern kann elektromagnetische Strahlung jeder geeigneten Wellenlänge beziehungsweise jedes geeigneten Spektrums beinhalten. Über einen Mustermittelhalter 52 ist das Mustermittel 44 fest mit dem Objekthalter 10 verbunden, so dass das Mustermittel stets in gleicher Position zum Objekt 8 verbleibt.
2 zeigt den Objekthalter 10 und das daran angeordnete Objekt 8 in einer detaillierteren Darstellung. Der Objekthalter 10 umfasst eine Bewegungseinheit 56 zum motorischen Bewegen des Objekthalters 10 relativ zum Objektiv 14. Die Bewegung erfolgt senkrecht zur Blickrichtung 12, wobei es auch möglich ist, die Bewegung in Blickrichtung 12 erfolgen zu lassen, um eine Fokussierung des Objektivs 14 auf verschiedene Ebenen des Objekts 8 zu erleichtern. Alternativ ist das Objektiv 14 zum Fokussieren auf verschiedene Ebenen vorbereitet, die in unterschiedlicher Entfernung in Blickrichtung 12 vom Objektiv 14 angeordnet sind.
Das Objekt 8 aus 2 umfasst einen Behälter 58 mit mehreren darin angeordneten Objektelementen, die jeweils ein Tragglas und eine darauf angeordnete Probe 60 enthalten, die durch ein Deckglas 62 nach oben abgedeckt ist. Die zu beobachtende Probe 60 ist in der Regel in einem umgebenden Medium gehalten, z.B. in Wasser oder Glycerin, oder ist mit Formulin fixiert und in Paraffin eingebettet. Die Probe 60 kann ein Gewebeausschnitt, z.B. eine Zellansammlung, sein, wobei die Zellen zur Sichtbarmachung und Differenzierung gefärbt und/oder markiert sein können. Ein Beispiel für eine solche Färbung ist Hämatoxylin-Eosin in der Histologie. Weitere Beispiele sind Färbeverfahren in der Immunohistochemie und selektive Markierung durch Fluoreszenzstoffe.
Eine zu beobachtende Probe 60 nimmt nur einen Teil der Fläche des Objekts 8 ein, nicht nur weil im Beispiel mehrere Objektelemente mit jeweils einer Probe 60 vorhanden sind. Die Proben nehmen nur einen Teilbereich der Objektelemente ein, so dass ein interessierender zu beobachtender Bereich und andere Bereich vorhanden sind, die ggf. für Muster genutzt werden können, ohne die Probe 60 zu überdecken.
Das Objekt 8 liegt auf dem Objekthalter 10 und ist fest mit diesem verbunden, so dass das Objekt 8 bei einer Relativbewegung des Objekthalters 10 zum Objekt 14 die Probe 8 dieser Relativbewegung exakt mitfährt. Die Bewegungseinheit 56 wird von einem Bewegungsmittel 64 gesteuert, das Teil eines zentralen Auswertemittels 66 sein kann, das auch die Bildverarbeitungseinheiten 36, 38 mit umfassen kann.
Mehrere vorteilhafte Verfahren zum Erzeugen eines Gesamtbilds 4 sind im Folgenden anhand mehrerer Beispiele beschrieben.
Das Objekt 8 wird mit dem Objekthalter 10 fest verbunden und in das Gesichtsfeld des Objektivs 14 bewegt. Gegebenenfalls findet ein Fokussierungsschritt statt, so dass das Objektiv 14 das Objekt 8 in einer Objektfokusebene fokussiert, also die auf dem Objektbilddetektor 18 abgebildete Objektfokusebene in einer gewünschten Position innerhalb des Objekts 8 liegt. Das Objekt 8 kann mit Auflicht oder Durchlicht beleuchtet werden und es kann ein Teilbild 6 des Objekts 8 auf dem Objektbilddetektor 18 abgebildet und aufgenommen werden.
Zusätzlich zu der Objektbeleuchtung wird das Objekt 8 durch das Mustermittel 44 beleuchtet. Hierdurch wird das Muster 30, beispielsweise ein in 4 angedeutete Punktmuster, auf das Objekt 8 oder einen anderen Musterträger gebracht, z.B. das Deckglas 62. 4 zeigt vier Musterbilder 68, die einander überlappen, so dass die Ränder je zweier Musterbilder 68 Überlappungsbereiche 70 bilden, also Musterbereiche, die auf beiden Musterbildern abgebildet sind. Analog überlappen auch die Teilbilder 6 einander in ihren Randbereichen, so dass auch dort von je zwei Teilbildern 6 ein Überlappungsbereich 72 entsteht, der einen Objektbereich zeigt, der auf beiden Teilbildern 6 abgebildet ist.
Jedes Teilbild 6 ist ein Objektbild des Objekts 8 und zeigt den entsprechenden Ausschnitt des Objekts 8. Ein Musterbild 68 zeigt das Muster 30 auf dem Objekt 8. Im Musterbild 68 können auch Objektelemente sichtbar sein, dies ist jedoch nicht notwendig. Das Muster 68 wird von einem Musterträger abgestrahlt, der das Objekt 8 sein kann oder über, unter oder neben dem Objekt 8 angeordnet sein.
Zweckmäßigerweise ist die Lage der Musterbilder 68 so gewählt, dass ein Muterbild 68 ein Teilbild 6 exakt überdeckt, die Bilder 6, 68 also gleich in Form und Lage auf dem Objekt 8 sind. Entsprechend liegen auch die Überlappungsbereiche 70, 72 deckungsgleich übereinander. Je ein Teilbild 6 und ein Musterbild 68 korrespondieren zueinander und sind einander zugeordnet. Ist die Lage zweier Musterbilder 68 zueinander bekannt ist auf diese Weise auf die Lage der korrespondierenden Teilbilder 6 zueinander bekannt.
Teilbilder 6 und Musterbilder 68 werden jedoch in unterschiedlichen Wellenlängen aufgenommen. So wird das Objekt 8 in einer Objektbildwellenlänge beleuchtet und strahlt in dieser Wellenlänge ab, so dass die Teilbilder in dieser Objektbildwellenlänge vom Objektbilddetektor 18 aufgenommen werden. Demgegenüber wird der Musterträger in einer von der Objektbildwellenlänge unterschiedlichen Musterbildwellenlänge beleuchtet und das Muster 30 strahlt vom Musterträger in der Musterbildwellenlänge ab. In diesem Ausführungsbeispiel ist die Beleuchtungswellenlänge der Lichtquelle 46, also die Anregungswellenlänge des Musters 30, auch dessen Abstrahlwellenlänge, also die Musterbildwellenlänge, in der die Musterbilder 68 aufgenommen werden.
Die Musterbildwellenlänge ist so gewählt, dass das Musterbild 68 nicht auf den Objektbilddetektor 18 gelangt und/oder dieser für die Musterbildwellenlänge insensitiv ist. Bei dem in 1 dargestellten Ausführungsbeispiel trennt das Auskoppelelement 54 die Musterbildwellenlänge von der Objektbildwellenlänge, so dass das Musterbild 68 in der Musterbildwellenlänge vom Musterbilddetektor 34 aufgenommen wird und das Objektbild in der Objektbildwellenlänge vom Objektbilddetektor 18. Hierdurch kann vermieden werden, dass das Objektbild Informationsverlust durch die Überlagerung mit dem Musterbild erleidet. Im Zuge einer schnellen Erstellung des Gesamtbilds 4 kann das Muster 30 und das Objekt 8 zeitgleich auf dem Musterbilddetektor 34 beziehungsweise dem Objektbilddetektor 18 abgebildet und auch insbesondere zeitgleich aufgenommen werden.
Nach der Aufnahme eines Teilbilds 6 und – davor, danach oder zeitgleich – eines Musterbilds 68 wird das Objekt 8 relativ zum Objektiv 14 mithilfe der Bewegungseinheit 56 verfahren, so dass ein anderer Ausschnitt des Objekts 8 im Gesichtsfeld des Objektivs 14 zu liegen kommt. Es wird nun ein weiteres Teilbild 6 mit dem dazugehörigen Musterbild 68 aufgenommen, so dass nunmehr zwei Teilbilder 6 mit jeweils einem dazugehörigen Musterbild 68 vorliegen.
Aus den in den beiden Musterbildern 68 abgebildeten Musterelementen berechnet das Auswertemittel 66 mittels bildverarbeitender Methoden die relative Lage der beiden Musterbilder 68 zueinander. Hierzu vergleicht es das Muster 30 im überlappenden Bereich 70 der beiden Musterbilder 68 auf identische Musterelemente. Wird ein Bereich in einem Musterbild 68 gefunden, der im anderen Musterbild 68 identisch vorliegt, so können die beiden Bereiche in Deckung und die beiden Musterbilder 68 somit relativ zueinander positioniert werden. Durch die nunmehr bekannt Lage der Musterbilder 68 zueinander können auch die Teilbilder 6 zueinander positioniert werden. Die Teilbilder 6 stehen in einer vorbekannten Position und Ausrichtung zu den Musterbildern 68, so dass bei bekannter Lage der Musterbilder 68 zueinander auch die Teilbilder 6 passend zusammengefügt werden können. Die Teilbilder 6 können nun zu dem Gesamtbild 4 zusammengefügt werden. Hierbei können zuerst alle Teilbilder 6 mit zugehörigen Musterbildern 68 des Gesamtbilds 4 aufgenommen werden und das Gesamtbild 4 erst nach der Aufnahme aller Bilder erstellt werden. Es ist auch möglich, die Teilbilder 6 anhand der Musterbilder 68 nacheinander zusammenzufügen und so das Gesamtbild 4 sukzessive zu erstellen.
Die Musterbildwellenlänge wird entsprechend des Objekts 8 in einem geeigneten Spektralbereich gewählt. Der Spektralbereich sollte so sein, dass das Muster 30 auf dem Objekt 8 oder einem geeigneten daran angeordneten Musterträger sichtbar wird. Im gezeigten Ausführungsbeispiel umfasst das Objekt 8 ein Deckglas 62, das für UV-Licht opak ist. Hierunter wird ein Transparenzgrad von weniger als 50%, insbesondere weniger als 10% verstanden. Zur Darstellung des Musters 30 enthält das Objekt 8 oder der Objekthalter 10 einen Musterträger, an dem das Muster 30 sichtbar wird. Die Musterwellenlänge ist so gewählt, dass das eingestrahlte Muster 30 an dem Musterträger sichtbar werden kann.
Bei dem in 2 dargestellten Ausführungsbeispiel ist der Musterträger das Deckglas 62 und die Musterwellenlänge ist ein ultraviolette Spektralbereich. Das Muster 30 wird auf dem Deckglas 62 abgebildet, so dass die Bildverarbeitungseinheit 36 das Muster 30 erkennen kann. Entsprechend muss die Optik 26 der Vorrichtung 2 so ausgeführt sein, dass das Muster 30 aufgenommen werden kann. Das Objektiv 14 und die Abbildungsoptik 28 sind insofern für die Musterwellenlänge transparent und strahlformend. Die Abbildungsoptik 24 kann für die Musterwellenlänge intransparent und/oder der Objektbilddetektor 18 für die Musterwellenlänge insensitiv sein. Ist die Abbildungsoptik 24 für die Musterwellenlänge transparent und der Objektbilddetektor 18 für die Musterwellenlänge sensitiv, so sollte das Auskoppelelement 54 und/oder es Filters 22 so gewählt sein, dass das Musterbild 68 im Teilbild 6 nicht erscheint.
Das Deckglas 62 kann einen Farbstoff aufweisen, der in den Teilbildern 6 unsichtbar ist.
In einer alternativen Ausgestaltung der Erfindung kann das Muster 30 erst vom Musterträger erzeugt werden. Das Muster 30 ist dann im Musterträger innewohnend. Konkret kann dies so ausgeführt werden, dass der Musterträger, beispielsweise das Deckglas 62, mit Licht in der Musterwellenlänge gleichmäßig bestrahlt wird. Das Musterelement 48 ist nun nicht mehr in der Musterbeleuchtung vorhanden, sondern in anderer Form im Musterträger, beispielsweise als eingeprägte Struktur. So kann der Musterträger einen Farbstoff aufweisen, der in den Teilbildern 6 unsichtbar ist. Alternativ weist der Musterträger beispielsweise ein Fluoreszensmuster auf, das bei flächiger Bestrahlung in Form des Musters fluoresziert. Die entsprechende Fluoreszenzwellenlänge, also die Abstrahlwellenlänge des Musters 30, ist hierbei eine andere, als die Einstrahlwellenlänge zur Anregung der Fluoreszenz. Es sind jedoch auch Musterelemente denkbar, bei denen die Einstrahlwellenlänge identisch zur Abstrahlwellenlänge ist, beispielsweise durch ein Reflexionsmuster oder durch unterschiedliche Transparenzen des Musterträgers, so dass Teile des Musterträgers für die Musterwellenlänge transparent und andere opak sind.
Soll der zusätzliche Detektor 34 eingespart werden, so ist die Musterwellenlänge so zu wählen, dass das Muster 30 vom Objektbilddetektor 18 erkannt werden kann. Auch auf das Auskoppelelement 54 kann dann verzichtet werden. Die Beleuchtung des Mustermittels 44 kann eingeschaltet und das Musterbild kann vom Objektbilddetektor 18 aufgenommen werden. Anschließend wird die das Muster 30 erzeugende Beleuchtung abgeschaltet und das Objekt 8 wird in Form eines Teilbilds 6 aufgenommen. Zwischen der Aufnahme des Musterbilds und des Teilbilds 6 wird das Objekt 8 relativ zum Objektiv 14 starr ruhend gehalten. Erst nach Aufnahme des Musterbilds und des Teilbilds 6 wird das Objekt 8 relativ zum Objektiv 14 bewegt.
Ebenfalls möglich ist es, dass der Musterträger, z.B. das Deckglas 62, einen Farbstoff aufweist, der nur bei Beleuchtung mit der Lichtquelle 46 für den Objektbilddetektor 18 sichtbar ist. Das Musterbild 68 wird bei eingeschalteter Lichtquelle 46 aufgenommen und das Teilbild 6 bei abgeschalteter Lichtquelle 46, in der der Farbstoff nicht im Teilbild 6 erscheint. Das Muster kann mit einem Musterelement 48 erzeugt werden oder das Muster ist im Musterträger innewohnend, beispielsweise durch eine entsprechende Verteilung von Farbstoff im Musterträger.
Anstelle des Ein- und Ausschaltens der Musterbeleuchtung kann der Spektralfilter 22 so gewählt sein, dass das Muster 30 je nach Position des Spektralfilters 22 im Objektbilddetektor 18 sichtbar oder nicht sichtbar ist. So kann beispielsweise der Spektralfilter 22 für die Aufnahme des Musterbilds ein anderer sein als für das Teilbild 6. Oder der Spektralfilter 22 wird nur für die Aufnahme des Teilbilds 6 verwendet, so dass das Muster 30 vom Spektralfilter 22 ausgefiltert wird.
Auch die Anordnung des Musters 30 relativ zum Objekt 8 kann in verschiedener Weise gewählt werden. Bei dem Ausführungsbeispiel aus 2 ist der Musterträger 62 oberhalb der Probe 60 angeordnet. Sollen Musterbild und Teilbild 6 mit einem Detektor 18 aufgenommen werden, so ist zunächst auf das Muster 30 bzw. den Musterträger 62 und dann auf das Objekt 8 beziehungsweise die Probe 60 zu fokussieren. Es ist jedoch auch möglich, den Musterträger unterhalb der Probe 60 oder am Objekthalter 10 zu positionieren. Auch eine Anordnung neben dem Objekt 8, insbesondere am Objekthalter 10 ist denkbar und vorteilhaft.
Eine weitere Möglichkeit zur Erzeugung eines Musters in 5 dargestellt. 5 zeigt den Objekthalter 10, in dem ein Mustermittel 74 eingearbeitet ist. Das Mustermittel 74 erzeugt ein zu- und abschaltbares Muster am Objekthalter 10. In 5 ist Mustermittel 74 eine LCD-Einheit, durch die das Muster in Form einzelner Pixel erzeugt werden kann. Das Mustermittel 74 umfasst eine Steuereinheit 76 zum Erzeugen des Musters und insbesondere zum Zu- und Abschalten des Musters. Alternativ zu einzeln ansteuerbaren Pixeln kann das Muster ein fest vorinstalliertes Muster sein, was eine besonders feine Ausgestaltung des Musters erlaubt. Es ist jedoch auch ein variables Muster möglich, beispielsweise in Form eines Bildschirms, der das Muster variabel entsprechend Steuerbefehlen der Steuereinheit 70 erzeugen kann.
Das Muster wird zugeschaltet, indem einzelne Bereiche des Mustermittels 68 opak, transparent oder selbstleuchtend geschaltet werden. So ist der Objekthalter 10 beispielsweise transparent für die Objektbildwellenlänge. Für diese können einzelne Bereiche des Mustermittels 68 opak geschaltet werden, so dass das Muster bei einer Durchlichtbestrahlung sichtbar wird. Das Muster wird abgeschaltet, indem die Bereiche für die Objektbildwellenlänge transparent geschaltet werden, so dass das Muster für den Objektbilddetektor 18 unsichtbar wird. Auf diese Weise können Musterbild und Teilbild 6 hintereinander aufgenommen werden, so dass der Bilddatenverlust im Objektbild beziehungsweise Teilbild 6 gering gehalten werden kann. Auf das Aufnahmegerät 35 kann verzichtet werden. Das Mustermittel 74 ist zugleich der Musterträger. Das Mustermittel 74 ist zweckmäßigerweise fest am oder im Objekthalter 10 gelagert und wird stets mit diesem mitbewegt.
Das Muster kann auch als Durchlichtmuster von unten in das Objekt 8 eingestrahlt werden. Beispielsweise wird das Mustermittel 44 aus 1 als Durchlicht-Mustermittel unter dem Objekthalter 10 angeordnet.
Eine weitere Möglichkeit zum Erzeugen eines Musters ist in 6 gezeigt. Ein Laser 78 koppelt ein Muster in einem Musterträger 80, beispielsweise ein spezielles Deckglas, das mit zwei Reflektoren 82 ausgestattet ist. Im Musterträger 80 entstehen stehende Wellen, die nach oben hin als hellere Bereiche zu erkennen sind. Wird der Laser 78 ausgeschaltet, so verschwindet das Muster und der Musterträger 80 ist für die Objektbildwellenlänge transparent.
Alternativ kann ein Interferenzmuster gewählt werden, das im oder am Musterträger 80 gebildet wird. Ebenfalls alternativ können im Musterträger 80 Inhomogenitäten eingearbeitet sein, die ein Auskoppeln des Laserlichts in Richtung zum Objektiv 14 bewirken, wodurch das Muster als Auskoppelmuster sichtbar wird. Die Inhomogenitäten sind so zu wählen, dass sie von oben und ohne die Laserbeleuchtung möglichst nicht sichtbar sind, so dass das Objektbild nicht gestört wird.
Weiter ist das Erzeugen eines Specklemusters in einem Musterträger möglich. Der Musterträger kann das Deckglas 62 sein, und das Specklemuster wird mit einem Laser im Deckglas 62 erzeugt. Dieses ist einfach zu erzeugen und ist sehr fein, so dass eine genaue Lagebestimmung der Musterbilder 68 zueinander möglich ist.
Bei dem in 7 gezeigten Ausführungsbeispiel umfasst die Vorrichtung 2 neben dem Objektiv 14 zur Abbildung des Objekts 8 ein weiteres Objektiv 84 zum Abbilden des Musters beziehungsweise eines Musterträgers 86, dass das Muster trägt. Das Muster kann in diesem Falle als materielles Muster ausgeführt sein, das fest mit dem Objekthalter 10 verbunden ist und insbesondere in diesen eingearbeitet ist. Das Muster ist neben dem Objekt 8 angeordnet und fest mit diesem verbunden. Durch entsprechende Strahlführungselemente 88 wird das Musterbild beziehungsweise dessen Strahlengang in den Objektbildstrahlengang eingekoppelt und kann entweder vom Objektbilddetektor 18 aufgenommen oder durch das Auskoppelelement 54 ausgekoppelt und der Aufnahmeeinheit 35 mit dem Musterbilddetektor 34 zugeführt werden.
Alternativ ist eine vollständig separate Musterkamera neben der Objektkamera möglich, wobei beide Kameras starr aneinander gekoppelt sind. Zur Kopplung der beiden Kameras umfasst eine der beiden Kameras, zweckmäßigerweise die Objektkamera, eine Koppelvorbereitung 90, mit der die andere Kamera koppelbar ist. Wird ein Stitching gewünscht, so kann die Musterkamera an die Objektkamera angekoppelt und das Stitching anhand der Musterbilder der Musterkamera durchgeführt werden. Ist das Stitching nicht notwendig, so kann die Musterkamera entkoppelt und entfernt werden.
Unabhängig von der Art der Mustererzeugung und des Musters 30 können die Teilbilder 6 nacheinander aufgenommen werden. Es besteht nun die Möglichkeit, die Teilbilder 6 eines Gesamtbilds 4 erst nach der Aufnahme aller Teilbilder 6 des Gesamtbilds 4 zum Gesamtbild zusammenzufügen. Dies hat den Vorteil, dass ein Teilbild nicht nur an einem Rand, sondern an mehreren seiner Ränder mit dem jeweiligen benachbarten Teilbild 6 zusammengefügt werden kann, so dass Fügefehler durch Lageredundanzen eliminieren oder verringern lassen.
Bevorzugt werden die Teilbilder 6 jedoch der Reihe nach zusammengefügt, insbesondere in der Reihenfolge ihrer Aufnahme. Bevorzugt erfolgt das Fügen in Echtzeit, ein Teilbild 6 wird also bevor alle Teilbilder 6 des Gesamtbilds 4 aufgenommen wurden, insbesondere noch bevor das nächstfolgende Teilbild 6 aufgenommen ist, an ein benachbartes Teilbild 6 gefügt, insbesondere an das direkt zuvor aufgenommene.
Hierdurch kann der Vorteil erzielt werden, dass Bereiche des Gesamtbilds 4 aus mehreren Teilbildern 6 zügig angeschaut werden können und nicht gewartet werden muss, bis das Gesamtbild 4 erstellt ist. Das Fügen erfolgt indem der Bildverarbeitungsvorgang beispielsweise jeweils für zwei direkt nacheinander aufgenommene Teilbilder 6 erfolgt. Das Gesamtbild 4 setzt sich somit in der Reihenfolge der Aufnahme der Teilbilder 6 stück für stück zusammen, wobei der bereits gefügte Bereich des Gesamtbilds 4 auf einer Darstellungseinheit, z.B. einem Bildschirm, ausgegeben wird.
Unterläuft ein Fügefehler beim Fügen zweier Teilbilder 6, so besteht die Gefahr, dass sich dieser Fehler in die Platzierungen der nachfolgenden Teilbilder 6 fortpflanzt. Um dies zu vermeiden, kann ein Teilbild 6 in einem zweiten Fügeschritt an allen seinen Kanten, die an benachbarte Teilbilder 6 angrenzen oder diese überlappen, an diese benachbarten Teilbilder 6 gefügt werden. Weiter ist es in einem dritten Fügeschritt sinnvoll, ein Teilbild 6 dann neu zwischen alle benachbarte Teilbilder 6 zu fügen, wenn alle benachbarten Teilbilder 6 vorhanden sind. Mit diesem erneuten Fügevorgang können frühere Fügefehler korrigiert werden. Weiter können in einem vierten Fügeschritt alle Teilbilder 6 des Gesamtbilds 4 nach deren Vorliegen erneut gefügt werden, so dass hierdurch ein Fügefehler des Gesamtbilds 4 minimiert werden kann. Natürlich müssen nicht alle der vier Fügeschritte durchgeführt werden, sondern es können ein, zwei oder drei Schritte beliebig ausgewählt werden, z.B. entsprechend den Anforderungen an das Gesamtbild 4 oder an Objekteigenschaften.
Bezugszeichenliste

2: Vorrichtung
4: Gesamtbild
6: Teilbild
8: Objekt
10: Objekthalter
11: Biochip
12: Blickrichtung
13: Aufnahmengerät
14: Objektiv
16: Pfeil
18: Objektbilddetektor
20: Strahlengang
22: Spektralfilter
24: Abbildungsoptik
26: Optik
28: Abbildungsoptik
30: Muster
32: Filter
34: Musterbilddetektor
35: Aufnahmengerät
36: Bildverarbeitungseinheit
38: Bildverarbeitungseinheit
40: Mikroskop
42: Mikroskoptubus
44: Mustermittel
46: Lichtquelle
48: Musterelement
50: Musteroptik
52: Mustermittelhalter
54: Auskoppelelement
56: Bewegungseinheit
58: Behälter
60: Probe
62: Deckglas
64: Bewegungsmittel
66: Auswertemittel
68: Musterbild
70: Überlappungsbereich
72: Überlappungsbereich
74: Mustermittel
76: Steuereinheit
78: Laser
80: Musterträger
82: Reflektor
84: Objektiv
86: Musterträger
88: Strahlführungselement
90: Koppelvorbereitung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7978874 B1 [0003]
US 7778485 B1 [0004]
WO 98/44446 [0006]

Claims

Verfahren zum Erzeugen eines aus mehreren Teilbildern (6) zusammengesetzten Gesamtbilds (4) eines Objekts (8), bei dem mehrere nebeneinander liegende Teilbilder (6) des Objekts (8) aufgenommen werden und die Teilbilder (6) mithilfe eines Bildverarbeitungsvorgangs zum zusammenhängenden Gesamtbild (4) zusammengefügt werden, dadurch gekennzeichnet, dass das Zusammenfügen der Teilbilder (6) zum Gesamtbild im Bildverarbeitungsvorgang unter Verwendung eines durch ein Mustermittel (44) erzeugten optischen Musters (30, 74) erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Objekt (8) eine Probe (60) ist, die auf einem als Probentisch ausgeführten der Objekthalter (10) angeordnete ist, das Verfahren ein Mikroskopieverfahren und die Optik eine Mikroskopoptik mit einer zumindest 5-fachen Vergrößerung ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Mustermittel (44) das Muster (30) als Strahlungsmuster auf einen Musterträger wirft.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster (30) in einer Objektbildwellenlänge erzeugt wird, in der die Teilbilder (6) des Objekts aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster (30) in Musterbildern (68) aufgenommen wird und die Teilbilder (6) frei vom Muster (30) sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu den Teilbildern (6) zusätzliche Musterbilder (68) aufgenommen werden, die in einer vorbestimmten Lage zu den Teilbildern (6) angeordnet sind und das Muster (30) in den Musterbildern (68) sichtbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster (30) mit einer Einstrahlwellenlänge erzeugt wird und mit einer von der Einstrahlwellenlänge verschiedenen Abstrahlwellenlänge abstrahlt und aufgenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster (30) ein Fluoreszenzmuster ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster (30) an einem am Objekt (8) angeordneten und für eine Objektbildwellenlänge transparenten Musterträger sichtbar gemacht wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster ein Lasermuster ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster ein Interferenzmuster ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster als eine stehende Welle erzeugt wird, insbesondere in einem Probenelement.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster ein Speckle-Muster ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (8) auf einem Objektbilddetektor (18) abgebildet und ein Musterbild (68) zusammen mit Objektbildelementen aufgenommen wird, das Muster (30) aus der Abbildung entfernt und ein Teilbild (6) des Objekts aufgenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster (30) außerhalb der Objektebene der Teilbilder (6) angeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster eine Abbildung einer Muster-Lichtquelle ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster ein Durchlichtmuster ist, das von unten in die Probe eingestrahlt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Teilbilder (6) zur Bildaufnahme durch ein Objektiv (14) auf einem Objektbilddetektor (18) abgebildet werden und das Muster (30) zumindest teilweise durch das Objektiv (14) auf das Objekt (8) gestrahlt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (8) durch ein Objektiv (14) auf einem Objektbilddetektor (18) und das Muster (30) durch das Objektiv (14) zeitgleich auf einem Musterbilddetektor (34) abgebildet wird.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass das Objektiv (14) das Objekt (8) in einer Objektfokusebene und das Muster (30) in einer von der Objektfokusebene verschiedenen Musterfokusebene fokussiert.
Vorrichtung (2) zum Erzeugen eines aus mehreren Teilbildern (6) zusammengesetzten Gesamtbilds (4) mit einem Objektbilddetektor (18), einer Optik (26) zum Abbilden eines Objekts (8) auf dem Objektbilddetektor (18) und einer Bildverarbeitungseinheit (36, 38) zum Zusammenfügen von mehreren nebeneinander liegenden Teilbildern (6) des Objekts (8) zu einem zusammenhängenden Gesamtbild (4), gekennzeichnet durch ein Mustermittel (44) zum Erzeugen eines optischen Musters (30), wobei die Bildverarbeitungseinheit (36, 38) dazu vorbereitet ist, die Teilbilder (6) anhand des Musters (30) zum Gesamtbild (4) zusammenzufügen.
Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, dass die Optik (26) eine in einer Musterbildwellenlänge durchlässige Musteroptik und eine in einer Objektbildwellenlänge durchlässige und in der Musterbildwellenlänge opake Objektoptik aufweist.