DE60319095T2

DE60319095T2 - Verfahren zur Verzerrungskorrektur von Multifokus-Bilderstapeln

Info

Publication number: DE60319095T2
Application number: DE60319095T
Authority: DE
Inventors: Jin Chen; Sean Moran; Gregory Dr. Davidson
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2003-11-10
Filing date: 2003-11-10
Publication date: 2009-02-12
Anticipated expiration: 2023-11-11
Also published as: EP1533751A1; DE60319095D1; JP2005149500A; US7349584B2; EP1533751B1; US20050100245A1

Description

Die Erfindung betrifft ein Verfahren zum Korrigieren von Verzeichnungen in Multifokus-Bildstapeln.
Es sind mehrere Verfahren zur dreidimensionalen Rekonstruktion von Oberflächen mikroskopischer Strukturen bekannt. Bei der CLSM (Confocal Laser Scanning Microscopy (engl.)) wird das Objekt punktweise in einer Ebene abgerastert und dadurch ein Bild mit sehr wenig Tiefenschärfe erfasst. Mit einer Mehrzahl von Bildern in verschiedenen Ebenen und durch eine entsprechende Bildverarbeitung kann das Objekt dreidimensional dargestellt werden. Bei der CLSM können die Daten nur in sehr aufwändiger Weise generiert werden, und optische Bauelemente von hoher Güte sind eine Grundvoraussetzung. Auch bei einer anderen Technik, bei der mittels einer auf die zu rekonstruierende Oberfläche gelenkten feinen Lichtlinie eine 3D-Rekonstruktion erreicht wird, ist ein hoher technischer Aufwand erforderlich.
Chen J. erwähnt in seiner Dissertation, City University, UK, Februar 1995, "The Use of Multiple Cameras and Geometric Constraints for 3-D measurement (Die Verwendung mehrerer Kameras und geometrische Beschränkungen für 3D-Messung)".
Die deutsche Patentanmeldung DE 10 149 357 offenbart ein Verfahren und eine Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objekts. Eine Serie von n Bildern des Objekts wird mit einer Bilderfassungsvorrichtung in verschiedenen Ebenen in der z-Richtung eines Koordinatensystems (x, y, z) aufgenommen. Die Bildinhalte aller n Bilder des resultierenden Bildstapels werden dann an jedem Koordinatenpunkt (x, y) in z-Richtung miteinander verglichen, um daraus nach vorgegebenen Kriterien eine Ebene zu bestimmen und deren Ebenennummer (N) jenem Koordinatenpunkt (x, y) zuzuordnen und sie in einem Maskenbild abzuspeichern. Das Maskenbild enthält alle 3D-Daten der Objektoberfläche. Es kann eine Verarbeitung unter Verwendung von 2D-Bildverarbeitungsprozeduren ausgeführt werden. Aus dem Maskenbild können die 3D-Informationen schnell und einfach abgerufen werden. Das Oberflächenprofil kann rekonstruiert und dreidimensional angezeigt werden. Das offenbarte System schließt keine Korrektur von Verzeichnungen in Multifokus-Bildstapeln ein.
Das US-Patent 6,148,120 verwendet eine Bildverarbeitung zum Umändern der räumlichen Beziehung in einem oder mehreren Fokusbildern, um eine geometrische Zuordnung zwischen den Bildern sicherzustellen. Die Bildverarbeitung besteht aus zwei grundlegenden Verfahren: Mapping und Resampling. Beim Mapping wird die räumliche Beziehung zwischen den Koordinaten des Eingangsbildes und den Koordinaten des verarbeiteten (Ausgangs-)Bildes hergestellt. Beim Resampling werden aus Pixeln des Eingangsbildes interpolierte Bildwerte an entsprechende Orte des Ausgangsbildes, gemäß dem Mapping, geschrieben. Der Stand der Technik verlässt sich auf eine exakte Kenntnis der Geometrie, verglichen mit dem vorgeschlagenen Verfahren, wobei die Korrektur durch Anpassen benachbarter Bilder bestimmt wird. Außerdem ist keine Korrektur radiometrischer Schwankungen von einer Schicht zur nächsten offenbart oder erwähnt.
Das US-Patent 6,313,452 offenbart ein Mikroskopiesystem, das eine Mehrzahl von Bildern für verbesserte Bildverarbeitungspotenziale nutzt. Das Mikroskopiesystem umfasst ein Mikroskop mit einem Objekttisch, mindestens einer Vergrößerungslinse und einer Linsen-Steuereinheit, eine an das Mikroskop gekoppelte Videoaufnahmeeinrichtung, die eine Mehrzahl von Bildern von einem Objekt auf dem Objekttisch des Mikroskops aufnimmt, und ein Verarbeitungsteilsystem, das die Mehrzahl von Bildern von der Videoaufnahmeeinrichtung empfängt, wobei das Verarbeitungsteilsystem wenigstens ein resultierendes Bild in Abhängigkeit von der Mehrzahl von Bildern generiert. Das wenigstens eine resultierende Bild, das durch das Verarbeitungsteilsystem generiert wird, kann ein Mosaik, ein Teilmosaik oder eine Mosaiksequenz enthalten. Das System ist nicht imstande, Multifokus-Bilder zu übermitteln.
Es ist die Aufgabe der Erfindung, ein Verfahren zum Korrigieren von Verzeichnungen in Multifokus-Bildstapeln zu schaffen und ein verzeichnungsfreies Bild eines Objekts bereitzustellen. Die Verzeichnungen stammen von den nicht-telezentrischen Optiken von Stereomikroskopen oder anderen optischen Systemen, weil der Abstand zwischen Objekt und Linse verändert wird.
Die obige Aufgabe wird durch ein Verfahren zum Korrigieren von Verzeichnungen in Multifokus-Bildstapeln gelöst, das die folgenden Schritte enthält:

– Erfassen einer Mehrzahl N von Farbbildern mit einem optischen System; wobei jedes Farbbild eine Mehrzahl von Pixeln umfasst;
– Umsetzen jedes von zwei aufeinander folgenden Farbbildern der N Bilder in monochrome Bilder;
– Skalieren jedes der monochromen Bilder in ein M × M-Bild;
– Berechnen einer geometrischen Transformation und einer radiometrischen Transformation der zwei aufeinander folgenden Bilder, wobei die geometrische Transformation und die radiometrische Transformation durch eine Menge von Koeffizienten bestimmt sind, die durch die Anpassung mit Hilfe der Fehlerquadratmethode bestimmt werden, und
– Verwenden der bestimmten Menge von Koeffizienten von jedem von zwei aufeinander folgenden Bildern, um sequentiell jedes Bild zu korrigieren und um dadurch das Multifokus-Bild durch Anwenden der be stimmten Menge von Koeffizienten auf jedes der aufeinander folgenden Bilder zu konstruieren.

Es ist vorteilhaft, dass das Verfahren der Erfindung in einem ersten Schritt eine Mehrzahl N von Farbbildern mit einem optischen System erfasst. Jedes Farbbild umfasst eine Mehrzahl von Pixeln und unterscheidet sich von dem vorhergehenden oder dem nachfolgenden durch seine Fokusposition. In einem zweiten Schritt wird ein Umsetzen jedes von zwei aufeinander folgenden Farbbildern der N Bilder in monochrome Bilder ausgeführt. In einem dritten Schritt wird ein Skalieren jedes der monochromen Bilder in ein vorteilhaft bemessenes M × M-Bild durchgeführt. Ein vierter Schritt und ein fünfter Schritt werden parallel ausgeführt. Der vierte Schritt berechnet eine geometrische Transformation und der fünfte Schritt berechnet eine radiometrische Transformation der zwei aufeinander folgenden Bilder. Die geometrische Transformation und die radiometrische Transformation sind durch eine Menge von Koeffizienten bestimmt, die durch Anpassung mit Hilfe der Fehlerquadratmethode bestimmt werden, was in einem sechsten Schritt erfolgt. Ein siebter Schritt verwendet die bestimmte Menge von Koeffizienten von jedem von zwei aufeinander folgenden Bildern, um sequentiell jedes Bild zu korrigieren und um dadurch das Multifokus-Bild durch Anwenden der bestimmten Parametermenge auf jedes der aufeinander folgenden Bilder zu konstruieren.
Weitere Vorteile der Erfindung werden durch die abhängigen Ansprüche offensichtlich.
Die Erfindung wird nachstehend mit Bezug auf die in der Zeichnung dargestellten Ausführungsbeispiele ausführlicher erläutert. Hierbei zeigen, jeweils schematisch:
1 eine schematische Darstellung eines optischen Systems zum Gewinnen von Multifokus-Bildstapeln;
2 einen Plan einer Teilansicht eines Stereomikroskops in einer ersten Position und einer zweiten Position, derart, dass es längs einer Achse verschoben worden ist, die nicht parallel zur optischen Achse des Mikroskops ist;
3 eine graphische Darstellung des Verfahrens zum Erzeugen einer Graustufendarstellung der Gesamtintensitäten in dem Bild ausgehend von einem Farbbild;
4 eine Darstellung eines datenreduzierten Bildes, das zum Zwecke der Berechnungseffizienz die Pixel des Graustufenbildes auf einen im Allgemeinen kleineren quadratischen Bereich abbildet;
5 eine graphische Darstellung eines bilinearen Interpolationsverfahrens;
6 eine Darstellung einer generalisierten linearen Transformation, um einen ersten Bereich auf einen zweiten Bereich abzubilden, wobei der erste Bereich Drehung, Vergrößerung, Scherung und Translation auf zwei Achsen auf sich vereint;
7 einen Ablaufplan des erfinderischen Verfahrens.
1 ist eine schematische Darstellung eines optischen Systems 2 zum Gewinnen von Multifokus-Bildstapeln. Die hier gezeigte Ausführungsform weist ein Mikroskop 1 auf, dem sowohl ein Computer 4 mit einer Anzeigeeinrichtung 6 und einer Eingabeeinrichtung 8 als auch eine Steuereinheit 10 zum Steuern und Überwachen der verschiedenen Mikroskopfunktionen beigestellt sind. Die Steuereinheit umfasst einen Speicher 9 und einen Mikroprozessor 11. Der Speicher 9 und der Mikroprozessor 11 werden bei dem Verfahren zum Korrigieren von Verzeichnungen in Multifokus-Bildstapeln benutzt. Für den Fachmann auf dem Gebiet des Korrigierens von Verzeichnungen in Multifokus-Bildstapeln ist offensichtlich, dass das Mikroskop auch ein umgekehrtes Mikroskop oder ein Stereomikroskop sein kann. Die graphische Darstellung des optischen Systems 2, wie in 1 gezeigt, sollte den Geltungsbereich der Erfindung nicht beschränken. Das Mikroskop 1 hat ein Stativ 12, an dem wenigstens ein Okular 14, wenigstens ein Objektiv 16 und ein Mikroskop-Objekttisch 18 angebracht sind. Die in 1 gezeigte Ausführungsform hat einen Mikroskop-Objekttisch 18, der in drei Richtungen eines orthogonalen Koordinatensystems verschoben werden kann. Um Multifokus-Bildstapel zu erhalten, muss eine Relativbewegung zwischen der Probe auf dem Objekttisch 18 und dem Objektiv 16 stattfinden. Die Relativbewegung erfolgt in der Richtung der optischen Achse des optischen Systems 2. In der hier gezeigten Ausführungsform hat das Mikroskop 1 einen Revolver 15, an dem wenigstens ein Objektiv 16 angebracht ist. Wenigstens ein Objektiv 16 ist in der Betriebsposition und definiert dadurch eine optische Achse 13 (als gestrichelte Linie gezeigt). Außerdem ist auf beiden Seiten des Stativs 12 ein Fokussierknopf 20 vorgesehen. Der Fokussierknopf 20 wird benutzt, um die Höhe des Mikroskop-Objekttisches 18 in Bezug auf das Objektiv 16 einzustellen. Der Mikroskop-Objekttisch 18 des Mikroskops 1 ist beweglich – mit einem ersten Motor 21 längs der x-Achse X, mit einem zweiten Motor 22 längs der y-Achse Y und mit einem dritten Motor 23 längs der z-Achse Z. Der erste Motor 21, der zweite Motor 22 und der dritte Motor 23 werden durch die Steuereinheit 10 betätigt. An dem Mikroskop 1 ist eine Kamera 25 angebracht. Die Kamera zeichnet ein Bild der Probe auf, das mittels des Objektivs 16 in der Arbeitsposition aufgenommen wird. Ein Elektrokabel 26 verbindet die Kamera mit der Steuereinheit 10. Die Steuereinheit 10 ist durch wenigstens ein zweites Elektrokabel 27 mit dem Mikroskop 1 verbunden. Die Kamera 25 kann als eine Videokamera oder eine CCD-Kamera konfiguriert sein. Gewöhnlich sind die Strahlengänge zusammengesetzter Mikroskope, wie in 1 gezeigt, telezentrisch, d. h., dass der Abbildungsmaßstab in der Fokusebene und in von dieser verschiedenen Ebenen gleich bleibt.
Dennoch gibt es Mikroskope, welche die telezentrische Grundvoraussetzungen erfüllen, sodass die Erfindung hier ebenfalls Anwendung findet.
2 zeigt einen Plan einer Teilansicht eines Stereomikroskops 30 in einer ersten Position 31 und einer zweiten Position 32, derart, dass es längs einer Achse 33 verschoben worden ist, die nicht parallel zur optischen Achse 13 des Stereomikroskops 30 ist. Der Klarheit wegen sind mehrere Teile des Stereomikroskops 30 nicht gezeigt. Die Teile sind zum Beispiel: das Stativ 12, die Steuereinheit 10, die Kamera 25, der Objekttisch 18 usw. In 2 geben gestrichelte Linien die erste Position 31 des Objektivs 16 an. Durchgezogene Linien geben die zweite Position 32 des Objektivs an. Die Translation aus der ersten Position 31 in die zweite Position 32 bewirkt, dass die optische Achse 13 des Stereomikroskops aus einer ersten Position 13₁ in eine zweite Position 13₂ bewegt wird, wodurch Bilder von der Probe in den im Fokus befindlichen Bereichen 35₁ bzw. 35₂ erfasst werden. Das resultierende erste Bild 36₁ weist eine Verschiebung im Vergleich zu dem resultierenden zweiten Bild 36₂ auf. Die Verschiebung ergibt sich aus der Translation längs der Achse 33 zusammen mit anderen Verzeichnungen, die aus mechanischen und optischen Effekten resultieren. Ein Ziel dieser Erfindung besteht darin, die Verzeichnung bei aufeinander folgenden Paaren von Bildern in einer Serie von Bildern zu korrigieren, indem die Parameter von Transformationen ermittelt werden, die aufeinander folgende Paare von Bildern in die richtige Ausrichtung zurückbringen werden.
Stereomikroskope verwenden nicht-telezentrische Optiken. Es gibt verschiedene Auswirkungen dieses Designs, die die Wiedergabetreue von Multifokus-Bildern oder -Bildstapeln beeinträchtigen. Außerdem gibt es verschiedene Probleme, die die Wiedergabetreue von mit zusammengesetzten Mikroskopen generierten Multifokus-Bildern oder -Bildstapeln beeinträchtigen.
Es ist eine Seitenfeineinstellung erforderlich, um eine seitliche Verschiebung von aufeinander folgenden Bildern zu kompensieren. Mechanische Unzulänglichkeiten des Mikroskops oder Stereomikroskops können eine seitliche Verschiebung eines einzigen Bildes in dem Bildstapel bewirken oder eine systematische, zunehmende Verschiebung durch den Bildstapel hindurch einführen. Folglich könnte es erforderlich sein, die Seiteneinstellungen durch Autokorrelation oder Anpassung mit Hilfe der Fehlerquadratmethode zu prüfen und die Bilder auszurichten, bevor das endgültige Bild oder der endgültige Bildstapel generiert wird.
Der Konvergenzwinkel bewirkt eine asymmetrische Unschärfe außerhalb des Fokus. Ein automatisierter Multi-Focus erzeugt ausgezeichnete Bilder mit einer größeren Tiefenschärfe bei allen Mikroskopen, bei denen die Achse des Beobachtungsstrahlengangs und die Bewegungsachse der Fokus-Nachführeinrichtung identisch sind. Dies ist bei zusammengesetzten Mikroskopen der Fall, nicht jedoch bei Stereomikroskopen, ausgenommen jene, die mit AX-Mikroskopträgern ausgerüstet sind. Folglich ist es vorteilhaft, um die asymmetrische Unschärfe außerhalb des Fokus zu reduzieren, auch den Konvergenzwinkel von Stereomikroskopen zu bedenken. In diesem Fall sollte der Benutzer den Konvergenzwinkel und die Richtung des Beobachtungsstrahlengangs eingeben können, falls sie nicht durch eine Autokorrelation oder eine Anpassung mit Hilfe der Fehlerquadratmethode automatisch erfasst werden. Der Konvergenzwinkel und/oder der automatisch erfasste Konvergenzwinkel werden in die Steuereinheit 10 eingegeben.
Sowohl telezentrische als auch nicht-telezentrische Strahlengänge können eine Korrektur erfordern. Gewöhnlich sind die Strahlengänge von zusammengesetzten Mikroskopen telezentrisch, d. h., dass der Abbildungsmaßstab in der Fokusebene und in von dieser verschiedenen Ebenen gleich bleibt. Bei Stereomikroskopen ist dies nicht der Fall. Folglich ist es erforderlich, eine Feineinstellung der Größe jedes einzelnen Bildes vorzunehmen, bevor diese zu dem endgültigen Bild kombiniert werden. Der Betrag der Größenänderung sollte durch Autokorrelation oder Anpassung mit Hilfe der Fehlerquadratmethode automatisch ermittelt werden.
Diese geforderten Korrekturen sind notwendig, um ein Multifokus-Bild zu erhalten. Um die oben beschriebenen Probleme zu lösen, ist eine Nachführung durch Folgeregelung, basierend auf einer Anpassung mit Hilfe der Fehlerquadratmethode (LSM) entwickelt worden. Die Schablonenanpassung mit Hilfe der Fehlerquadratmethode basiert auf Paaren von aufeinander folgenden Bildern aus dem Bildstapel. Die sequentielle Schablonenanpassung mit Hilfe der Fehlerquadratmethode ist mit Erfolg bei einer dynamischen und genauen Bildpositionsbestimmung in Multifokus-Bildstapeln angewendet worden.
Die auf der LSM-Schablone basierende Bildanpassung kann in dem Fall des Stereomikroskop-Bildstapels eine höhere Genauigkeit der Positionsbestimmung liefern und die verschiedenen Fehler, die durch nicht-telezentrische Optiken in zusammengesetzten Mikroskopen und Stereomikroskopen hervorgerufen werden, korrigieren. Das entwickelte Verfahren eignet sich besonders für eine lange Sequenz aufweisende Bildstapel, wobei zwei aufeinander folgende Bilder sehr ähnliche Bildhintergrundtexturen aufweisen.
Im Folgenden sind die Hauptschritte der Verarbeitung erläutert. Der Einfachheit halber ist sie als zwei separate Schleifen dargestellt, die in verschiedenen Ausführungen verwirklicht sein können, die sich die Verfügbarkeit von Zwischenergebnissen zunutze machen können, um ein unnötiges Speichern und Abrufen von Daten zu vermeiden.
Es wird ein Stapel aufeinander folgender Bilder (N Bilder) gelesen. Die N Bilder werden in Echtzeit durch die Kamera gelesen oder werden aus dem Speicher 9 der Steuereinheit 10 oder aus dem Computer 4 wiedergewonnen. Dann werden eine Gültigkeitsprüfung und eine Speicherinitialisierung ausgeführt. In einer ersten Schleife für jedes von zwei aufeinander folgenden Bildern der N Bider werden die Farbbilder in monochrome Bilder umgesetzt, beispielsweise durch: PRGB(x,y) → PR (x,y), PG(x,y), PB(x,y) Pmono(x,y) = (PR(x,y) + PG(x,y) + PB(x,y))/3
In einem nächsten Schritt werden die monochromen Bilder P_mono durch Skalieren (nachstehend im Abschnitt 1.1 beschrieben) und bilineare Interpolation (nachstehend im Abschnitt 1.2 beschrieben) in vorteilhaft bemessene M × M-Bilder umgesetzt. Ein typischer Wert für M könnte 128 sein. PScalingDown(xnew,ynew) = AScalingDownPmono(x,y)wobei
In einem nachfolgenden Schritt ist eine geometrische Transformation A_geometry der zwei aufeinander folgenden Bilder zu berechnen (nachstehend im Abschnitt 1.3 beschrieben), wobei
Die Berechnung von P₀ ... P₇ ist im nächsten Absatz beschrieben.
Diese Menge der Parameter der Anpassung mit Hilfe der Fehlerquadratmethode wird in den Stapel der Parameter der Anpassung mit der Fehlerquadratmethode gespeichert.
3 eine graphische Darstellung des Verfahrens zum Erzeugen einer Graustufendarstellung der Gesamtintensitäten in dem Bild ausgehend von einem Farbbild 41. Ein durch die Kamera 25 erfasstes Farbbild 41 wird in drei Komponenten zerlegt: ein Rotbild 42, ein Grünbild 43 und ein Blaubild 44. Die Daten des Rotbildes 42, des Grünbildes 43 und des Blaubildes 44 werden durch eine lineare Operation 45 kombiniert, um eine Graustufendarstellung 46 der Gesamtintensitäten in dem Bild zu generieren.
Nach der Schleife 1 wird ein gültiger Bereich für die Bilder berechnet, was mittels der x- und y-Verschiebungsparameter in dem Stapel der Parameter der Anpassung mit Hilfe der Fehlerquadratmethode (x_low, y_low, x_upper, y_upper) durchgeführt wird.
In Schleife zwei wird jedes einzelne Bild der N Bilder berechnet. PRresult(x,y) = A PR(x,y) PGresult(x,y) = A PG(x,y) PBresult(x,y) = A PB(x,y) PRresult(x,y), PGresult (x,y), PBresult(x,y) → PRGB(x,y)
Das Verfahren der Berechnung ist im Abschnitt 1.4 beschrieben.
Radiometrische Transformation:

ARadiometry = [P6, P7]

Folglich:

PRGB(x,y) = P6 + P7·PRGB(x,y)

Nachdem das auf dem Rechteck (x_low, y_low, x_upper, y_upper) basierende Bild abgehackt worden ist, erhält man ein gültiges, korrektes Bild. Um ein endgültiges Multifokus-Bild zu erhalten, wird der in der deutschen Patentanmeldung DE 10 149 357 offenbarte Multifokus-Algorithmus verwendet.
Die zugrundeliegende Theorie des vorgeschlagenen Verfahrens ist nachstehend beschrieben. Die Skalierung, die bilineare Interpolation und die Anpassung mit Hilfe der Fehlerquadratmethode sind ausführlich beschrieben.
1.1 Skalierung
Ein Skalieren ist insbesondere für Daten großer Bilder erforderlich. Typischerweise beträgt die Bildgröße 2048 × 1536 × 24 Bit, also ungefähr 9 MByte pro Bild. Es ist rechentechnisch unmöglich, eine LSM-Schablonenanpassung auf solch eine große Bildgröße anzuwenden. Deshalb wird eine Maßstabsreduzierung angewendet, um die große Bildgröße in eine kleinere Bildgröße zu überführen. Eine weitere Folge dieser Skalierung ist die Verminderung von Hochfrequenzrauschen in dem Bild.
4 ist eine Darstellung eines datenreduzierten Bildes 50, das die Pixel 46_x,y des Graustufenbildes 46 der Berechnungseffizienz wegen auf einen im Allgemeinen kleineren quadratischen Bereich abbildet. Der Berechnungseffizienz wegen und zur Verminderung des Rauschens in dem Bild wird eine Abbildung berechnet, die das Graustufenbild 46 in ein datenreduziertes Bild 50 überführt, im Wesentlichen indem eine Maßstabsänderungsmatrix 51 ermittelt wird, welche die Pixel des Graustufenbildes 46 auf einen im Allgemeinen kleineren quadratischen Bereich des reduzieren Bildes 50 abbildet. Eine bilineare Interpolation kombiniert Beiträge von vier Pixeln in dem Graustufenbild 46, um jedes Pixel in dem datenreduzierten Bild 50 zu bestimmen.
Die Maßstabsreduzierung umfasst zwei Teile: Umsetzen eines Farbbildes in ein monochromes Graustufenbild 46 und Reduzieren des Maßstabs auf eine einheitliche Größe des monochromen Bildes, typisch 128 × 128, obwohl andere Größen möglich sind, ausreichende Rechenkapazitäten vorausgesetzt. In diesem Beispiel wird ein auf 128 × 128 skaliertes Bild verwendet.
Ein Farbbild wird in ein monochromes Bild umgesetzt: Ein Verfahren verwendet einfach einen Mittelwert der R-, G-, B-Komponenten eines RGB-Bildes, um einen Graustufenbild-Intensitätswert jedes Pixels wie folgt zu erhalten: PRGB(x,y) → PR(x,y), PG(x,y), PB(x,y) Pmono(x,y) = (PR(x,y) + PG(x,y) + PB(x,y))/3
Es sind andere Verfahren zum Umsetzen eines Farbbildes in ein monochromes Bild möglich, ohne die Leistungsfähigkeit des Verfahrens zu beeinflussen. Das folgende Beispiel bewahrt beispielsweise die Luminanz. Pmono(x,y) = 0·30PR(x,y) + 0.59·PG(x,y) + 0.11·PB(x,y)
Ein Bild, das aus einer Anzahl von monochromen Bildern besteht, wovon jedes bei einer anderen Wellenlänge erfasst ist, wird auf ähnliche Weise mittels einer geeig neten Linearkombination der Intensitäten der Einzelkomponenten behandelt. Das Verfahren findet auf jede solche Kombination und bei Bildern jeder Bit-Tiefe Anwendung.
Um ein Bild auf 128 × 128 zu verkleinern, sollten sowohl in x-Richtung als auch y-Richtung Skalierungsfaktoren angewendet werden. Die Berechnung der x- und y-Skalierungsfaktoren basiert auf: Sx = 128/Xresolution Sy = 128/Yresolution
Zur Bewahrung der Genauigkeit beim Skalieren wird ein bilinearer Interpolationsalgorithmus verwendet.
1.2 Bilineare Interpolation
Bei dem bilinearen Interpolationsverfahren wird eine Rasterfläche 60 durch die folgende Form einer Vektorgleichung beschrieben: S(v,u) = T1(1 – u)(1 – v) + T2(1 – u)v + T3u(1 – v) + T4uvwobei 0 ≤ u, v ≤ 1 und S(v,u) der Rasterpunkt ist und P₁, P₂, P₃, P₄ vier benachbarte Punkte sind, an denen die Werte T₁, T₂, T₃ bzw. T₄ sind.
S(v,u) ist das Pixel, dass sich durch Skalieren ergeben hat, und ist eine dezimale Pixelgröße, repräsentiert durch u und v. Die Aufgabe besteht darin, u und v anhand der vier Nachbarpunkte zu berechnen, sodass der Wert des interpolierten Rasterpunkts berechnet werden kann. Es ist ersichtlich, dass S(0,0) = T₁, S(1,0) = T₂ usw. Ferner ist S(v,1) die Strecke, welche die Punkte P₃ und P₄ miteinander verbindet, S(0,u) ist die Strecke, welche die Punkte P₁ und P₃ miteinander verbindet, usw.
Da die Oberfläche eine vierseitige Ebene ist, kann der Wert der Oberfläche bezüglich u und v durch Lösen der quadratischen Gleichung ermittelt werden. Umformen der Vektorgleichung zu: x = x1(1 – u)(1 – v) + x2(1 – u)v + x3u(1 – v) + x4uv y = y1(1 – u)(1 – v) + y2(1 – u)v + y3u(1 – v) + y4uvwobei x, y die Koordinaten des Rasterpunkts sind bzw. x₁... x₄, y₁ ... y₄ die Koordinaten der vier Nachbarpunkte sind. Unter Verwendung der obigen Gleichungen kann die neue Intensität im Ergebnisbild durch Einsetzen der Daten in die Gleichungen berechnet werden.
1.3 Anpassung mit Hilfe der Fehlerquadratmethode
6 ist eine Darstellung einer generalisierten linearen Transformation, um einen ersten Bereich 61 auf einen zweiten Bereich 64 abzubilden, wobei der erste Bereich Drehung, Vergrößerung, Scherung und Translation auf zwei Achsen auf sich vereint. Eine generalisierte lineare Transformation 63 wird den ersten Bereich 61 auf den zweiten Bereich 64 abbilden. Dabei umfasst die Transformation Drehung, Vergrößerung, Scherung und Translation auf zwei Achsen. Dies ist die geometrische Transformation F_g, die nachstehend ausführlicher beschrieben ist. Gleichzeitig wird eine radiometrische Transformation G_r ausgeführt, die die Helligkeit jedes Pixels durch eine Skalierung und einen Offset beeinflusst. Durch acht Parameter, die durch die vorliegende Erfindung bestimmt werden, lässt sich diese Transformation vollständig beschreiben. Dementsprechend wird die Ähnlichkeit des transformierten Bereiches 64 zu einem Referenzbereich 65 maximiert, indem ein iteratives Verfahren nach der Methode der kleinsten Quadrate verwendet wird, um den Grauwertunterschied zwischen dem transformierten Bereich 64 und dem Referenzbereich 65 zu minimieren. Auf diese Weise können die acht Parameter, die für die Neuausrichtung jedes Paares Bildebenen erforderlich sind, schrittweise bestimmt werden, und diese Parameter können dann verwendet werden, um die Ausgangsdaten zu korrigieren.
Es gibt zwei Hauptfaktoren, die für die Verzeichnungen von einem Bild zum nächsten in den aufeinander folgenden Bildern eines Stereomikroskop-Bildstapels verantwortlich sind: Dies sind, wie zuvor erwähnt, eine geometrische Verzeichnung und eine radiometrische Verzerrung. Um eindeutige Anpassungen und hochgenaue Ergebnisse zu erzielen, müssen sowohl geometrische als auch radiometrische Faktoren berücksichtigt werden. Die geometrische Verzeichnung und die radiometrische Verzerrung sind zwar in dem Bildstapel vorhanden, jedoch sind sie unbekannt. Zwecks Kompensation dieser Verzeichnungen und Verbesserung der Anpassungsgenauigkeit wird das Verfahren der Anpassung mit Hilfe der Fehlerquadratmethode (LSM) angewendet. Die LSM ist die Methode, bei der die optimale Anpassung durch eine Transformation einer Anordnung in eine andere, welche die verbleibenden Grauwertunterschiede minimiert, definiert ist. Die direkte Lösung der Fehlerquadratmethode minimiert die verbleibenden Unterschiede zwischen den Grauwerten der Paare entsprechender Punkte zweier Bilder; folglich stellt sie die verlangte optimale Transformation dar, welche die optimale Anpassung ermöglicht. Bei diesem Verfahren können die geometrischen Unterschiede durch eine Affintransformation modelliert werden, während die radiometrischen Unterschiede durch einen additiven und einen multiplikativen Parameter modelliert werden. Der Hauptzweck der Einzelpunkt-LSM besteht darin, die angenäherte(n) Anpassungsposition(en) zu verbessern und Sub-Pixel-Genauigkeit zu erhalten. Das abgeleitete Verfahren lässt sich folgendermaßen beschreiben:
Es sei I₁(x,y) die Referenzbildschablone und I₂(x,y) sei die tatsächliche Bildfläche, dann kann die Abbildung zwischen den zwei Bildern ausgedrückt werden als: I2(x2,y2) = Gr(Fg(I1(x1,y1)))wobei F_g die geometrische Koordinatentransformation ist, d. h. Fg(x',y') = I1(x1,y1)und G_r die Intensitäts- oder radiometrische Transformation ist, d. h. Gr(x'',y'') = Fg(x',y')
Und die tatsächliche Bildkorrektur I₂(x₂,y₂) ist die geometrische und radiometrische Transformation der Referenzbildschablone I₁(x₁,y₁) , d. h. I2(x2,y2) = Gr(x'', y'')
Dieser Grundalgorithmus kann in Form der folgenden generalisierten radiometrischen bzw. geometrischen Gleichungen formuliert werden.
Für die radiometrische Transformation: I2(x2, y2) = Gr(x'', y'')
Die Auswirkungen des Rauschens in dem tatsächlichen Bild müssen jedoch berücksichtigt werden und die obige Gleichung wird zu: I2(x,y) – Gr(x,y) = n(x,y)wobei

I₂, (x,y): die Graustufenfunktion des tatsächlichen Bildes ist,
G_r(x,y): das Schablonenbild ist und
n(x,y): der Fehlervektor ist.

Folglich ist:
wobei
der Gradient in x-Richtung ist, und
der Gradient in y-Richtung ist, was als G_x, G_y angegeben werden kann.
Wenn bei der geometrischen Transformation Gr(x'',y'') = Fg(x',y')die Rauscheffekte in dem tatsächlichen Bild berücksichtigt werden, wird die obige Gleichung zu: Gr(x,y) – Fg(x,y) = v(x,y)wobei

G_r(x,y): die Geometriestufenfunktion der Zielfläche ist,
F_g(x,y): die Suchfenster repräsentiert und
v(x,y): der Fehlervektor ist.

Folglich ist:
wobei
was als F_x, F_y angegeben werden kann.
Die geometrische Transformation ist durch eine Affintransformation einschließlich Translation, Drehung und Skalierung repräsentiert, d. h. x' = p0 + p1x1 + p2y1 y' = p3 + p4x1 + p5y1
Die radiometrische Transformation ist durch eine lineare Transformation einschließlich Intensitätsskalierung und -verschiebung repräsentiert, d. h. I2(x2,y2) = p6 + p7·Fg(x',y')
Durch die Kombination der beiden obigen Transformationen, der radiometrischen Transformation und der geometrische Transformation, bei der Ausführung werden sowohl die Strahlgüte als auch die geometrischen Unterschiede berücksichtigt, und die zwei obigen Gleichungen lassen sich wie folgt schreiben: I2(x,y) = p6 + p7·Fg(p0 + p1x + p2y, p3 + p4x + p5y)
So kann die generalisierte Beobachtungsgleichung durch Linearisieren der obigen Gleichung erhalten werden: I2(xi, yj) – n(xi,yj) = G0(xi,Yj) + GP0P 6(xi,yj)dp6 + G0P 7(xi,yj)dp7 Gr(xi,yj) – v(xi,yj) = F0(xi,yj) + F0P 0(xi,yj)dp0+F0P 1(xi,yj)dp1 + F0P 2(xi,Yj)dp2 + F0P 3(xi,yj)dp3 + F0P 4(xi,yj)dp4+ F0P 5(xi,yj)dp5 wobei
p₀, p₁, P₂, p₃, p₄, p₅ unbekannte Koeffizienten für eine geometrische Transformationen sind und
p₆, p₇, unbekannte Koeffizienten für eine radiometrische Korrektur sind. F0P 0(xi,yj) = 1 F0P 1(xi,yj) = xi F0P 2(xi,yj) = yj F0P 3(xi,yj) = 1 F0P 4(xi,yj) = xi F0P 5(xi,yj) = yj G0P 6(xi,yj) = 1 G0P 7(xi,yj)= Fg 0(p0 + p1xi + p2yj, p3 + p4xi + p5yj)
Es sei PA = [p0, p1, p2, p3, p4, p5, p6, P7] x = p0 + p1X + p2Y y = p3 + p4X + p5Y i = p6 + P7I1(x,y)
x₁, y₁ und I₁(x₁,y₁) sind Koordinaten- und Intensitätswerte des Referenzschablonenbildes; x₂, y₂ und I₂(x₂,y₂) sind Koordinaten- und Intensitätswerte für den idealen Ort und die ideale Intensität in dem tatsächlichen Bild. Die acht Koeffizienten p₀ ... p₇ können durch Anpassung mit Hilfe der Fehlerquadratmethode berechnet werden: PA = (ATWA)–1ATxwobei A^T die transponierte Matrix von A ist, die eine 3n × 8-Matrix ist, wobei n die Gesamtpixelzahl des Schablonenbildes ist.
und
W eine Gewichtmatrix ist, die gewöhnlich als die Kovarianzmatrix interpretiert wird:
wobei q die globale Varianz und q_i(i = 1, 2, ..., 3n) die lokale Varianz ist.
Diese Anpassung mit Hilfe der Fehlerquadratmethode erfolgt in einer iterativen Weise, wobei der Anfangswert P_A ⁰
ist.
7 zeigt einen Ablaufplan des Verfahrens zum Korrigieren von Verzeichnungen in Multifokus-Bildstapeln. In einem ersten Schritt 71 wird eine Mehrzahl N von Farbbildern mit einem optischen System erfasst. Jedes Farbbild umfasst eine Mehrzahl von Pixeln und unterscheidet sich von dem vorhergehenden oder dem nachfolgenden durch seine Fokusposition. In einem zweiten Schritt 72 wird ein Umsetzen jedes von zwei aufeinander folgenden Farbbildern der N Bilder in monochrome Bilder ausgeführt. In einem dritten Schritt 73 wird ein Skalieren jedes der monochromen Bilder in ein vorteilhaft bemessenes M × M-Bild durchgeführt. Ein vierter Schritt 74 und ein fünfter Schritt 75 werden parallel ausgeführt. Der vierte Schritt 74 berechnet eine geometrische Transformation und der fünfte Schritt 75 berechnet eine radiometrische Transformation der zwei aufeinander folgenden Bilder. Die geometrische Transformation und die radiometrische Transformation sind durch eine Menge von Koeffizienten bestimmt, die durch Anpassung mit Hilfe der Fehlerquadratmethode bestimmt werden, was in einem sechsten Schritt 76 erfolgt. Ein siebter Schritt 77 verwendet die bestimmte Menge von Koeffizienten von jedem von zwei aufeinander folgenden Bildern, um sequentiell jedes Bild zu korrigieren und um dadurch das Multifokus-Bild durch Anwenden der bestimmten Parametermenge auf jedes der aufeinander folgenden Bilder zu konstruieren.
Wenn die Menge von Koeffizienten bestimmt ist, werden die Kanten des Bildes abgehackt, wobei diese Bildkanten ungültige Bilddaten besitzen, die auf den erhaltenen bestimmten Koeffizienten basieren. Das Skalieren (dritter Schritt 73) des Bildes ist eine bilineare Interpolation, die Beiträge von vier Pixeln in dem Graustufenbild 46 kombiniert, um jedes Pixel in dem datenreduzierten Bild 50 zu bestimmen.

1: Mikroskop
2: optisches System
4: Computer
6: Anzeigeeinrichtung
8: Eingabeeinrichtung
9: Speicher
10: Steuereinheit
11: Mikroprozessor
12: Stativ
13: optische Achse
13₁: erste Lage der optischen Achse
13₂: zweite Lage der optischen Achse
15: Revolver
16: Objektiv
18: Mikroskop-Objekttisch
20: Fokussierknopf
21: erster Motor
22: zweiter Motor
23: dritter Motor
25: Kamera
26: Elektrokabel
27: zweites Elektrokabel
30: Stereomikroskop
31: erste Position des Stereomikroskops
32: zweite Position des Stereomikroskops
33: Achse
35₁: scharf abgebildeter Bereich
35₂: scharf abgebildeter Bereich
40: Probe
41: Farbbild
42: Rotbild
43: Grünbild
44: Blaubild
45: lineare Operation
46: Graustufendarstellung
50: datenreduziertes Bild
51: Skalierungsänderungsmatrix
61: erster Bereich
63: lineare Transformation
64: transformierter Bereich
65: Referenzbereich
71: erster Schritt
72: zweiter Schritt
73: dritter Schritt
74: vierter Schritt
75: fünfter Schritt
76: sechster Schritt
77: siebter Schritt

Claims

Verfahren zum Korrigieren von Verzeichnungen in Multifokus-Bildstapeln, das die folgenden Schritte enthält: – Erfassen einer Mehrzahl N von Farbbildern mit einem optischen System; wobei jedes Farbbild mehrere Pixel umfasst; – Umsetzen jedes von zwei aufeinander folgenden Farbbildern der N Bildern in monochrome Bilder; – Skalieren jedes der monochromen Bilder in ein M × M-Bild; – Berechnen einer geometrischen Transformation und einer radiometrischen Transformation der zwei aufeinander folgenden Bilder, wobei die geometrische Transformation und die radiometrische Transformation durch eine Menge von Koeffizienten bestimmt sind, die durch die Anpassung mit Hilfe der Fehlerquadratmethode bestimmt werden, und – Verwenden der bestimmten Menge von Koeffizienten von jedem von zwei aufeinander folgenden Bildern, um sequentiell jedes Bild zu korrigieren und um dadurch das Multifokus-Bild durch Anwenden der bestimmten Menge von Koeffizienten auf jedes der aufeinander folgenden Bilder zu konstruieren.
Verfahren nach Anspruch 1, wobei die Mehrzahl von N Farbbildern mit dem optischen System dadurch erfasst wird, dass sich ein vorhergehendes Bild und ein nachfolgendes Bild in ihrer Fokalposition unterscheiden.
Verfahren nach Anspruch 1, wobei in Übereinstimmung mit der bestimmten Menge von Koeffizienten Kanten des Bildes abgehackt werden, wobei das Bild ungültige Bilddaten besitzt, die auf den erhaltenen bestimmten Koeffizienten basieren.
Verfahren nach Anspruch 1, wobei die Skalierung des Bildes eine bilineare Interpolation ist, die Beiträge von vier Pixeln in dem Graustufenbild (46) kombiniert, um jedes Pixel in dem datenreduzierten Bild (50) zu bestimmen.
Verfahren nach Anspruch 4, wobei das skalierte Bild eine Standardbildgröße von typischerweise 128 mal 128 Pixel besitzt.
Verfahren nach Anspruch 1, wobei eine geometrische Transformation mit der Schablonenanpassung mit Hilfe der Fehlerquadratmethode für acht geometrische Koeffizienten erzielt wird und eine radiometrische Transformation mit der Schablonenanpassung mit Hilfe der Fehlerquadratmethode für zwei radiometrische Koeffizienten erzielt wird.
Verfahren nach Anspruch 1, wobei die Mehrzahl der N aufeinander folgenden Bilder in Echtzeit durch eine Kamera gelesen wird oder aus einem Speicher (9) der Steuereinheit (10) oder aus einem Computer (4) wiedergewonnen wird und wobei eine Gültigkeitsprüfung und eine Speicherinitialisierung ausgeführt werden.
Verfahren nach Anspruch 6, wobei die geometrische Transformation eine Drehung, eine Vergrößerung, eine Scherung und eine Translation auf zwei Achsen enthält.
Verfahren nach Anspruch 6, wobei die radiometrische Transformation die Helligkeit jedes Pixel durch eine Skalierung und einen Offset beeinflusst.
Verfahren nach Anspruch 8 oder 9, wobei die geometrische Transformation und die radiometrische Transformation gleichzeitig ausgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die geometrische Transformation und die radiometrische Transformation zu einer Berechnung der Anpassung mit Hilfe der Fehlerquadratmethode kombiniert werden und eine generalisierte Formel erzeugen.
Verfahren nach Anspruch 11, wobei die geometrische Transformation und die radiometrische Transformation nacheinander auf jedes Paar von zwei aufeinander folgenden Bildern für eine sequentielle Bild-Abbildung angewendet werden.