DE69807512T2

DE69807512T2 - Analoger schaltkreis fur ein autofokus mikroskopsystem

Info

Publication number: DE69807512T2
Application number: DE69807512T
Authority: DE
Inventors: Miquel Bravo; Jeffrey H. Price
Original assignee: Q3DM LLC
Current assignee: Q3DM LLC
Priority date: 1997-02-07
Filing date: 1998-01-14
Publication date: 2003-04-24
Anticipated expiration: 2018-01-15
Also published as: JP2001511903A; BR9807671A; WO1998035256A1; USRE40674E1; DE69807512D1; CN1246929A; US5995143A; EP1021741B1; ATE223070T1; AU5909998A; CA2283088C; EP1021741A1; CA2283088A1

Description

Die Erfindung liegt im Gebiet der Mikroskopie, in der der Fokus eines mittels eines Mikroskops beobachteten Bildes automatisch eingestellt wird. Eine derartige automatische Einstellung des Mikroskopfokus wird als "Autofokus" bezeichnet. Die Erfindung wird in einem Autofokussystem praktiziert. Insbesondere betrifft, die Erfindung die Einbeziehung einer analogen Schaltung, die die Wirkung einer der Mikroskopoptik des Autofokussystems zuschreibbaren Übertragungsfunktion berücksichtigt, die die Abtastartefakte beseitigt, die die Autofokusfunktion beeinträchtigen, und die die Beleuchtungsinstabilität korrigiert.
Die Autofokussierung ist bei der automatisierten Mikroskopie wesentlich, um die Probleme der mechanischen Instabilität, der Unregelmäßigkeit der Glas-Objektträger und Deckgläser, die Bewegung der lebenden Proben und die Wirkungen der thermischen Ausdehnung zu überwinden. Eine Autofokussierung kann diese Einschränkungen überwinden und genaue und reproduzierbare Messungen in der vollständig automatisierten quantitativen Mikroskopie erlauben. Viele Experimente werden von der Autofokussierung profitieren, wobei die Beispiele, für die sie unentbehrlich ist,
(a) das Abtasten großer Bereiche bei hoher Auflösung, wobei die Schärfentiefen eingeschränkt ist (z. B. die Zervixkrebs-Vorfelddiagnostik mit 10.000 Mikroskop-Teilbildern pro Objektträger),
(b) Experimente zum Zeitverhalten (z. B. Stunden bis Tage),
(c) Abtast-Zytometrie zum Zeitverhalten, die (a) und (b) kombiniert, wobei die Autofokus-Geschwindigkeit ein grundlegender ausschlaggebender Faktor für die zeitliche Auflösung wird,
enthalten. Was auch immer die Quelle der Instabilität ist, die Autofokussierung wird sie kompensieren, falls die Lagevariationen längere Zeitkonstanten als die Autofokuskorrektur besitzen.
Ein Autofokussystem enthält typischerweise ein automatisiertes Mikroskop, das eine Vergrößerungsoptik und einen einstellbaren Objekttisch enthält, an dem ein Mikroskop-Objektträger für die vergrößerte Beobachtung einer Probe auf dem Objektträger angebracht ist. An den Objekttisch sind Motoren gekoppelt, die die horizontale Einstellung des Ortes des Objekttischs bereitstellen. Für die vertikale Einstellung (Z-Achse) sind Mittel zwischen der Vergrößerungsoptik und dem Objekttisch vorgesehen. Diese können eine Anordnung zum Einstellen der Z- Achsenposition einer Objektivlinse oder für die Z-Achseneinstellung des Objekttischs enthalten. Eine Kamera empfängt über die Vergrößerungsoptik ein vergrößertes Bild und stellt ein elektronisches Signal, das das vergrößerte Bild darstellt, einer Autofokus-Elektronik bereit. Die Autofokus-Elektronik verarbeitet das Signal entsprechend einer Funktion, die den Grad der Fokussierung anzeigt und ein Einstellsignal (oder Fehlersignal) für die vertikale Einstelleinrichtung bereitstellt. Als Antwort stellt die vertikale Einstelleinrichtung die vertikale Position der Objektivlinse oder des Objekttischs ein und ändert die Fokussierung des vergrößerten Bildes. In einem Autofokussystem kann eine andere Schaltung für die automatische Translation (das Abtasten) einer Probe auf dem Objektträger enthalten sein.
Für die Autofokussierung sind verschiedene Verfahren geprüft worden, einschließlich der Auflösung, des Kontrasts und der Entropie. Es ist vor kurzem gezeigt worden, dass eine Messung der optischen Auflösung die Autofokussierung robust und genau ausführt, Price, J. H. und Gough, D. G. "Comparison of Phase-Contrast and Fluorescence Digital Autofocus for Scanning Microscopy", Cytometry 16, S. 283-297, 1994. Dieser experimentelle Beweis bestätigt die folgende logische Definition: die höchste Auflösung tritt bei der besten Fokussierung auf. Die Einzelheiten werden unscharf, wenn ein Bild defokussiert wird und die Auflösung verloren wird. Die Auflösung kann durch das Analysieren des Fourier-Frequenzspektrums mit Filtern gemessen werden, die die hohen Frequenzen isolieren. Die Summe der Quadrate der hohen Frequenzen (die Signalleistung) kann dann als ein Maß der Auflösung verwendet werden. In spektralen Begriffen kann dies ein Hochpass- oder Bandpassfilter sein. Ein typisches Filter ist die Implementierung der ersten Ableitung der Bildintensität. Ein weiteres ist das Laplace-Filter, das ein Maß der zweiten Ableitung der Bildintensität ist. Das Laplace-Filter besitzt vorherrschendere Hochpasseigenschaften wobei die Auflösung in einer kleineren Skala gemessen wird. Die Quadrierung vergrößert die Differenzen zwischen Funktionswerten.
Um die verschiedenen Kriterien zu vergleichen, berechnet ein Autofokussystem typischerweise die Fokusfunktionen als eine Funktion der Z-Achsenposition. Ein Wert der Fokusfunktion wird aus einem bei jeder Z-Achsenposition erfassten Bild berechnet. Entsprechend Price u. a. besteht eine typische Gleichung für die Fokusfunktion unter Verwendung eines digitalen Filters aus der Faltung des Bildes ixy mit einem eindimensionalen Hochpassfilter, der Berechnung der Summe der Quadrate und der Normierung, um die Wirkung der instabilen Beleuchtung zu verringern. Eine derartige Beziehung ist in der Gleichung (1) gegeben.
f(z) = ΣΣ([-1 2 -1]*ixy)²/(1/XY der Bildpunkte)(ΣΣixy)²,
wobei z = die vertikale Position und ixy die Intensität an der Position (x, y) ist.
Über analoge Fokusschaltungen ist in All Kujoory, M., Mayall, B. H. und Mendelsohn, M. L., "Focus-Assist Device for a Flying-Spot Microscope," IEEE Transactions on Biomedical Engineering, 20(2), S. 126-32, 1973, und in Johnson, E. T. and Goforth, L. J., "Metaphase Spread Detection and Focus Using Closed Circuit Television", Journal of Histochemistry and Cytochemistry, 22(7), S. 536-587, 1974, berichtet worden, McKeogh, L., Sharpe, J., and Johnson, K., beschreiben in "A Low-Cost Automatic Translation and Autofocusing System for a Microscope", Meas. Sci. Technol., 6, S. 583-587, 1995, eine analoge Schaltung für die Autofokussierung in der Mikroskopie. US-Patent 5,499,097 offenbart eine Mikroskop- Autofokusschaltung, die ein Fokusindexsignal unter Verwendung eines Bandpassfilters, einer Quadrierungsschaltung und eines Integrierers - erzeugt. US-Patent 3,357,280 schafft einen Transientenentferner, um die Abtastartefakte aus einem Bildsignal zu entfernen. Diese Konstruktionen berücksichtigen jedoch nicht die Wirkung der Übertragungsfunktion des Autofokussystems bei der Wahl des Hochfrequenzfilters.

OFFENBARUNG DER ERFINDUNG

Es ist die Aufgabe dieser Erfindung, eine schnelle genaue Autofokussierung bei niedrigen Kosten für die Verwendung z. B. in der Abtastmikroskopie fluoreszent gefärbter biologischer Proben zu implementieren. Die Erfindung schafft eine Schaltung, um ein Fokusindexsignal in einem Autofokussystem zu erzeugen, das ein Mikroskop und eine automatische Mikroskop-Fokussteuerung umfasst, die das Mikroskop in Antwort auf das Fokusindexsignal fokussiert, wobei die Schaltung einen Filter enthält, um ein gefiltertes Signal bereitzustellen, das vorbestimmte Frequenzen in dem Bildsignal darstellt, wobei ein Transientenentferner mit dem Filter verbunden ist, um Abtastartefakte von dem gefilterten Signal zu entfernen, eine Quadrierungsschaltung mit dem Transientenentferner verbunden ist, um Beträge von Frequenzkomponenten des gefilterten Signals zu quadrieren, und ein Indexintegrierer mit der Quadrierungsschaltung verbunden ist, um ein Fokusindexsignal zu erzeugen, das einen Grad des Fokus bzw. eines Brennpunkts des Mikroskops darstellt, indem quadrierte Beträge der Frequenzkomponenten des gefilterten Signals integriert werden, wobei die Schaltung durch Folgendes kennzeichnet ist: der Filter ist ein analoger Filter mit einer Übertragungscharakteristik (H(ω), die nur die obere Hälfte der Frequenzen in der optischen Übertragungscharakteristik des Mikroskops passieren lässt.
Vorzugsweise enthält die Schaltung ferner einen Integrierer, der als Antwort auf das Videosignal ein mittleres Beleuchtungssignal erzeugt. Sowohl das Fokusindexsignal als auch das mittlere Beleuchtungssignal werden durch einen Prozessor in der Fokussteuerung des Autofokussystems kombiniert, um ein Fokuspositionssignal zu erzeugen, das eine Fokusposition des Mikroskops repräsentiert. Die Fokussteuerung verwendet das Fokuspositionssignal, um das Mikroskop in die Fokusposition einzustellen.
Unter der Voraussetzung eines durch verschachteltes Abtasten erzeugten Videosignals kann der Transientenentferner außerdem ein dem Videosignal auferlegtes Fenster erzeugen, um einen Bereich des vergrößerten Bildes zu definieren, in dem ein Fokusindexsignal erzeugt wird.
Es ist deshalb eine Aufgabe der Erfindung, eine analoge Schaltung für ein Autofokussystems zu schaffen, die ein Fokusindexsidnal erzeugt, das einen Grad der Fokussierung repräsentiert.
Es ist eine weitere Aufgabe, durch eine derartige Schaltung ein mittleres Beleuchtungssignal zu schaffen, das durch einen Prozessor mit einem Fokusindexsignal kombiniert werden kann, um ein Fokuspositions signal zu erzeugen.
Die Aufgaben, Vorteile und Merkmale dieser Erfindung werden besser anhand der folgenden ausführlichen Beschreibung deutlich, wenn sie im Zusammenhang mit den beigefügten Zeichnungen gelesen wird, worin:
Fig. 1 ein Blockschaltplan eines vollständigen Autofokus-Mikroskopsystems ist;
Fig. 2 ein Blockschaltplan einer analogen Schaltung für einen Autofokus-Mikroskopsystem ist;
Fig. 3a und 3b grafische Darstellungen der Signalformen sind, die den Betrieb der analogen Schaltung nach Fig. 2 veranschaulichen;
Fig. 4, die die Fig. 4A, 4B, 4C und 4D umfasst, eine schematische Darstellung einer elektronischen Schaltung ist, die die beste Betriebsart für das Implementieren der analogen Schaltung nach Fig. 2 veranschaulicht;
Fig. 5 eine grafische Darstellung ist, die die Kurven von der digitalen und analogen Fokusfunktion veranschaulicht, die die experimentellen Ergebnisse beim Betrieb eines Autofokus-Mikroskopsystems mit der analogen Schaltung nach den Fig. 2 und 4 veranschaulichen; und
Fig. 6 eine grafische Darstellung ist, die die Kurven der analogen Fokusfunktion bei verschiedenen Zooms für eine Monolage dicker Zellen durch das Autofokus- Mikroskopssystem nach Fig. 1 zeigt.
In den Figuren, in denen gleiche Bezugszeichen völlig gleiche Elemente anzeigen, ist in Fig. 1 ein Autofokussystem 10 veranschaulicht, das ein Mikroskop 12 enthält, das eine Objektivlinse 14 und einen Objekttisch 16 enthält, an dem ein Objektträger befestigt sein kann. Der Objekttisch 16 ist in den X- und Y-Richtungen verschiebbar, so dass eine Folge von Bereichen in einem auf dem Objekttisch getragenen Objektträger entsprechend den bekannten Verfahren abgetastet werden kann. Ein derartiger Bereich ist durch das Bezugszeichen 18 angezeigt. Das Mikroskop enthält Mittel 20 für die Beleuchtung flureszenter gefärbter biologischer Proben und Mittel 22 für den Phasenkontrast oder eine andere durchfallende Mikroskopbeleuchtung. Durch die Vergrößerungsoptik des Mikroskops 12, die die Objektivlinse 14 und eine Zoom-Linse 23 enthält, wird ein Bild des Bereichs 18 vergrößert. Jedes vergrößerte Bild wird durch eine Kamera 30 erfasst, die durch verschachtelltes Abtasten ein Videosignal erzeugt, das ein vergrößertes Bild repräsentiert, und die mehrere Synchronisationskomponenten enthält, die für die verschachtelte Abtastung notwendig sind. Das Videosignal wird auf einem Signalpfad 32 einem programmierten digitalen Universalrechner 34 bereitgestellt, der unter anderen Funktionen einen Bildprozessor 38 und einen Fokussignalprozessor 39 enthält.
Das Videosignal wird außerdem einer analogen Autofokusschaltung 36 bereitgestellt, die die Erfindung verkörpert. Die analoge Autofokusschaltung 36 erzeugt ein Fokusindexsignal, ein mittleres Beleuchtungssignal und ein Auslösesignal, die auf den Signalpfaden 40, 42 bzw. 44 dem Fokusprozessor 39 des Computers 34 bereitgestellt werden.
Der Fokusprozessor 39 des Computers 34 bildet eine automatische Mikroskop- Fokussteuerung, die als Antwort auf das Fokusindexsignal, das mittlere Beleuchtungssignal und das Auslösesignal ein Fokusfunktionssignal berechnet. Ein Fokusfunktionssignal wird bei jeder von mehreren Fokuspositionen in Mikroskop 12 erzeugt. Diese werden durch den Fokusprozessor 39 kombiniert, um ein Fokuspositionssignal zu erzeugen, das eine Fokusposition des Mikroskops 12 repräsentiert. Das Fokuspositionssignal wird auf dem Signalpfad 50 bereitgestellt, wobei es verwendet wird, um bekannte Mittel zu steuern, die die Position der Objektivlinse 14 einstellen und dadurch das Mikroskop 12 fokussieren. Auf dem Signalpfad 52 werden andere Signale bereitgestellt, um die X- und Y-Positionen des Objektivtischs 16 einzustellen.
Ein Autofokussystem, das die analoge Autofokusschaltung 36 nicht enthält, ist in Spalte 12, Zeile 28 bis Spalte 14, Zeile 36 des US-Patentes Nr. 5.548.661 dargelegt, das durch diesen Literaturhinweis in seiner Gesamtheit aufgenommen ist.

Die Hardware und die experimentellen Verfahren

Das Autofokussystem 10 wurde für die Phasenkontrast- und Hellfeld-Beleuchtung für den analogen Betrieb gemäß der Erfindung aufgebaut. Die Zellen wurden in einem Mikroskop Nikon Optiphot durch eine Objektivlinse, CF Fluor DL 40x C, 0,85 NA, mit hellem Phasenkontrast Ph3 beleuchtet. Die Bilder wurden weiter durch ein Zoom-Objektiv Nikon CCTV 0,9-2,25 auf einer Kamera Dage VE-1000 CCD RS-170 bei einem Frequenzgang von 7 MHz weiter vergrößert. Der Objekttisch 16 wurde in der X, Y-Ebene unter der Steuerung des Computers 34 durch Schrittmotoren für die Zytometrie mit flureszenten Bildern bewegt. Die Steuerung des Objekttischs 16 erfolgte mittels eines Mikroschritt-Treibers und einer mit dem AT-ISA-Bus kompatiblen Computerkarte.
Der Fokus wurde geändert, indem die Position der Objektivlinse 14 mit einer piezoelektrischen Objektiv-Positioniereinrichtung (PIFOC) und einer geschlossenen prozessgekoppelten Steuereinrichtung E-5810.10 (Polytec PI, Costa Mesa, CA) geändert wurde. Für die Bewegungen < 1 um ist die Position der Objektivlinse 14 in 10 ms stabil. Die Position das PIFOC wurde durch das Ausgangssignal aus einem Digital-Analog-Umsetzer (DIA-Umsetzer) in einer im Computer 34 enthaltenen Datenerfassungskarte Keithley Metrabyte (Taunton, MA) DAS 1600 gesteuert. Der 12-Bit-D/A-Umsetzer unterteilt den 100-mu-Bereich des PIFOC in 4.096 24-nm-Schritte.
Der Bildprozessor 38 erfasste unter Verwendung einer Videoeingabekarte RS-170 (die VSI-150 von Imaging Technology Inc.) das vergrößerte Bild in der Form eines Videosignals und legte es an ein Anzialiasing-Filter mit -3 dB bei 4,2 MHz und -12 dB Dämpfung bei 8 MHz an. Diese Werte wurden als ein Bezug verwendet, um die Filter der analogen Schaltung dieser Erfindung zu konstruieren und sie als Antwort auf die digitale Version vergleichbar zu machen.

Die Implementierung der analogen Schaltung

Die Erfindung schafft eine analoge Autofokusschaltung 36, die den Grad der Fokussierung direkt vom Videosignal der Kamera 30 misst und die vorhergehenden Konstruktionseinschränkungen auflöst. Der Blockschaltplan nach Fig. 2 und der Stromlaufplan nach Fig. 4 veranschaulichen die funktionalen Komponenten dieser neuartigen Schaltung. Das für das Bestimmen eines Grades der Defokussierung übernommene Kriterium war die im vergrößerten Bild enthaltene relative Energie als Funktion der Ortsfrequenz. Unter der Defokussierung waren benachbarte Elemente des vergrößerten Bildes unscharf oder zusammen gemittelt, dies verursachte einen Verlust der höheren Ortsfrequenzen. Durch das Messen der relativen Energie in diesen Frequenzen als eine Funktion der Fokusposition wurde ein Kriterium für das Bestimmen der optimalen Fokusposition bestimmt, weil sich die Energie monoton ändert und im Fokus maximal ist. Diese Annahmen gelten für den Phasenkontrast nur, wenn für die Fokuskriterien hohe Frequenzen verwendet werden. Wenn niedrige Frequenzen enthalten sind, ist unter diesen Bedingungen die Monotonie oft verletzt, Price u. a., opere citato.
Die analoge Schaltung 36 implementiert die Fokusfunktion in dem Integral der quadrieren 'Werte des Videosignals als ein Maß der Energie im Bild. Das Videosignal wird vor dem Quadrieren gefiltert, um die hohen Frequenzen zu betonen, die am meisten vom Fokus abhängen. Die Gleichung (2) stellt die durch die analoge Schaltung 36 und den Computer 34 ausgeführte Verarbeitung dar. Hinsichtlich der Schaltungskomponenten wählt das Filter 52 den Bereich der Frequenzen aus dem Videobildsignal aus, wobei nach dem Quadrieren und Integrieren die analoge Schaltung 36 einen Fokusindexwert (d/xy/dx)²dxdy erzeugt, der zusammen mit einem mittleren Beleuchtungswert (Ixy) (dem Betrag des mittleren Beleuchtungssignals) als der Betrag des Fokusindexsignals zum Computer 34 zurückgeschickt wird. Nach der AID-Umsetzung quadriert der Computer 34 unter Verwendung des Fokussignalprozessors 39 den mittleren Beleuchtungswert und führt die folgende die Division aus, um eine Fokusfunktion F(z) zu erzeugen:.
F(z) = (d/xy/dx)²dxdy/( /xy/dxdy)² (2)
Die Form der Fokusfunktion wird durch das Fokuskriterium; die Übertragungsfunktionen des Mikroskops und der Kamera und das abgebildete Objekt bestimmt. Die Eigenschaften einer nützlichen Fokusfunktion sind: 1) die Unimodalität, nur ein Maximum; 2) die Genauigkeit, das Maximum tritt in der Fokusposition auf; 3) die Reproduzierbarkeit, die Schärfe der Fokusfunktionskurve; 4) die Implementierung, die schnelle Berechnung des Fokuswerts, Price u. a., opere citato, und Groen, F. C. A., Young, I. T. and Ligthart, G., "a Comparison of Different Focus Functions for Use in Autofocus Algorithms," Cytometry 6, S. 81-91, 1985. Die analoge Schaltungen besitzen bei der Implementierung einen bedeutenden Vorteil gegenüber den digitalen Schaltungen, wenn sie die Leistung der digitalen Schaltung für die ersten drei Eigenschaften anpassen können. Dies ist so, weil die analogen Komponenten, die bei herkömmlichen Videofrequenzen arbeiten, relativ allgegenwärtig und preisgünstig sind.
Die analoge Schaltung 36 misst den Fokus direkt aus dem Videosignal. Das Ausgangssignal der Kamera 30 liegt im herkömmlichen abgetasteten Videoformat vor, das zwei verschachtelte Teilbilder umfasst. Die analoge Schaltung 36 kann in einen analogen Abschnitt und einen digitalen Abschnitt/Taktabschnitt unterteilt werden. Der analoge Abschnitt kann weiter in einen Fokusindexteil und einen Teil für die mittlere Beleuchtung getrennt werden. Durch die analoge Schaltung 36 werden für den Computer 34 drei Signale geschaffen: ein Fokusindexsignal, ein mittleres Beleuchtungssignal und ein Auslöseimpuls.
In den Fig. 2 und 4 wird das Videosignal, das ein vergrößertes Bild des Bereichs 18 repräsentiert, durch eine herkömmliche Synchron-Ausblendeinrichtung 50 geschaffen, die die horizontalen und vertikalen Impulse aus dem Videosignal entfernt. Das Ausgangssignal der Synchron-Ausblendeinrichtung 50 wird in den Eingang eines Bandpassfilters 52 gespeist, der eine Übertragungsfunktion H(co) besitzt. Das Filter besitzt einen Frequenzgang, der die Hochfrequenzkomponenten des Videosignals aus den oben angegebenen Gründen durchlässt. Das Filter 52 erzeugt ein gefiltertes Signal, das die vorgegebenen hohen Frequenzen im Bildsignal repräsentiert. Das gefilterte Signal wird an einem Ausgang des Filters 52 bereitgestellt, der mit dem Eingang des Transientenentfernungselements 56 verbunden ist. Das Transientenentfernungselement 56 wird durch die aus dem Videosignal extrahierten Synchronisationssignale aufgetastet. In der bevorzugen Ausführungsform beseitigt das Auftasten die am Anfang und am Ende jeder der Abtastzeilen des Bildsignals erzeugten Abtastartefakte. In der Tat kann das Transientenentfernungselement 56 außerdem als ein Fenstergenerator betrachtet werden, der für jede Abtastzeile im Videosignal ein Fenster ermöglicht, das kürzer als die Abtastzeile ist, wobei sich die entsprechenden Enden der Abtastzeile über die Enden des Fensters erstrecken. Die Schaffung des vertikalen Synchronisationsimpulses erlaubt dem Transientenentfernungselement 56, ein zweidimensionales Fenster zu erzeugen, das über jedes der zwei verschachteltes Teilbilder bewegt werden kann, die ein Vollbild des Videos im typischen abgetasteten Format bilden. Das Transientenenifernungselement 56 stellt das gefilterte Signal, aus dem die Abtastartefakte entfernt sind, an einem Ausgang bereit, der mit dem Eingang der Quadrierungsschaltung 58 verbunden ist. Die Quadrierungsschaltung quadriert den Betrag der vorgegebenen Frequenzkomponenten im gefilterten Signal, wobei sie die quadrierten Beträge an einem Ausgang bereitstellt, der mit dem Eingang eines Integrierers 60 verbunden ist. Der Integrierer 60 integriert die quadrierten Beträge der Frequenzkomponenten des gefilterten Signals, wobei er ein Fokusindexsignal in analoger Form erzeugt, das einer Abtast-Halte-Schaltung 62 bereitgestellt wird. Die Abtast-Halte-Schaltung 62 wird aufgetastet, damit sie den Betrag der Spannung des durch den Integrierer 60 erzeugten integrierten Signals hält. Der Betrag der Spannung des integrierten Signals (des Fokusindexsignals) repräsentiert einen Grad der Fokussierung des Mikroskops 12. Das Fokusindexsignal wird auf dem Signalpfad 40 dem Computer 34 bereitgestellt. Die Elemente 52, 56; 58, 60 und 62 bilden deshalb einen Fokusindexteil des analogen Abschnitts der analogen Schaltung 36. Einen Teil für die durchschnittliche Beleuchtung der analogen Schaltung 36 wird durch einen Integrierer 68 gebildet, der das Videosignal integriert, aus dem die Synchronsignale durch die Synchron-Ausblendeinrichtung 50 ausgeblendet sind. Die Integration des Videosignals durch den Integrierer 68 z. B. über eine Zeile des Videos repräsentiert die mittlere Beleuchtung über die Zeile. Der Betrag des Integrierers 68 wird durch die Abtast-Halte-Schaltung 70 abgetastet und gehalten, deren Ausgangssignal das auf dem Signalpfad 42 bereitgestellte mittlere Beleuchtungssignal bildet.
Der digitale Abschnitt der analogen Schaltung 36 umfasst einen Steuerzeitgeber 66, die das unversehrte Bildsignal empfängt, das alle seine Abtastartefakte enthält, wie z. B. die vertikalen und horizontalen Synchronabschnitte. Der Steuerzeitgeber 66 erzeugt die Rücksetz- und Haltesignale, die die Operationen der Integrierer 60 und 68 in den Abtast-Halte-Schaltungen 62 bzw. 70 sequenziell synchronisieren. Außerdem erzeugt der Steuerzeitgeber 66 das Auslösesignal auf der Signalleitung 46.
Der Steuerzeitgeber 66 erzeugt ferner die Synchronisationssignale, die notwendig sind, um das durch das Transientenentfernungselement 56 implementierte Fenster zu bilden.

Der digitale Abschnitt

In den Fig. 2 und 4 werden die Synchronisationsimpulse des Videosignals durch ein Amplitudensieb 80 (LM1881, National Semiconductor, Arlington, TX), das die horizontalen und vertikalen Impulse extrahiert, im Steuerzeitgeber 66 erfasst. Diese Taktinformationen werden verwendet, um ein Fenster zu erzeugen, das einen Bereich des Bildes repräsentiert, in dem die Fokusfunktion implementiert wird. Als das allerwenigste erlaubt das Fenster die Beseitigung der durch das Filter 52 erzeugten Diskontinuitäten an den Enden der horizontalen Zeilen. Dieser Abschnitt der analogen Schaltung 36 kann als ein Maskengenerator verwendet werden, um einen beliebigen rechteckigen Abschnitt eines Videoteilbildes für die Verarbeitung auszuwählen; durch das Ändern der Zeitkonstanten der zwei monostabilen Multivibratoren kann irgendeine Fenstergröße vertikal und horizontal definiert werden. Ein erster Abschnitt des Fensters wird durch die Flipflops 82a und 82b hergestellt; der zweite Abschnitt durch die Flipflops 83a und 83b. Dieser Typ der analogen Maskierung ist für Videodimensionsanalysatoren verwendet worden. Yin, F. C. P:, Tompkins, W. R., Peterson, K. L and Intaglietta M, "A Video-Dimension Analyzer," IEEE Transactions on Biomedical Engineering, 19(5), S. 376-81, 1972. Die Fensterinformationen werden durch einen aufgetasteten Verstärker 84 im Transientenentfernungselement 56 gewendet. Nach jedem Fenster oder jedem Videoteilbild wird ein Auslöseimpuls erzeugt. Der Steuerzeitgeber 66 erzeugt außerdem eine Folge von 60-Hz-Auslösesignalen, die den Computer 34 für die A/D-Umsetzung der entsprechenden analogen Werte für jedes Teilbild auftastet.

Der analoge Abschnitt

Das Filter 52 ist mit monolithischen Verstärkern 90-96 mit breiter Bandbreite implementiert, die hohe Anstiegsgeschwindigkeiten und eine interne Frequenzkompensation mit Verstärkungsfaktor eins für die hohe Geschwindigkeit und die hohe Stabilität besitzen. Derartige Hochfrequenz-Hochgeschwindigkeits-Verstärker neigen mehr zu Schwingungen als Niederfrequenzvorrichtungen. Diese Instabilität wurde jedoch durch die Verringerung der Streukapazität an den Ein- und Ausgängen der Verstärker beseitigt. Für die Verbesserung der Stabilität wurde außerdem die Umgehung der Stromversorgung verwendet, wobei zu den Rückkopplungswiderständen kleine Kondensatoren parallel hinzugefügt wurden, um die unvermeidliche Streukapazität in den Filtern zu kompensieren.
Fig. 3a zeigt: die grafische Darstellung einer horizontalen Videozeile 100 und der ausgewählten anschließenden analogen verarbeiteten Ausgangssignale. Die Synchron-Ausblendeinrichtung 50 entfernt den Synchronabschnitt des zusammengesetzten Videosignals pro Signalform 102. Dieser Bezugspegel liegt auf Masse, und weil die Synchronisationsspitze negativ ist, wird aus dem Ausgangssignal die Synchronisation entfernt sein, wobei der Austastpegel auf Masse gelegt ist. Nachdem aus dem eingegebenen Videosignal die Synchronisationsimpulse ausgeblendet worden sind, wird das Signal sowohl in das Filter 52 im Fokusindexabschnitt als auch in den Beleuchtungsintegrierer 68 eingespeist.
Jeder der Operationsverstärker 90-96 des Filters (LT1220, Linear Technology Corporation, Milpitas, CA) wird als eine aktive Zweipol-Butterworth-Filterkonfiguration verwendet, wobei die vier Operationsverstärker in einem Tiefpassabschnitt 52a 4. Ordnung und einem Hochpassabschnitt 52b 4. Ordnung angeordnet sind. Es wurde ein Frequenzgang von 2 bis 4 MHz ausgewählt, um die digitale Filterantwort anzupassen, die die Übertragungsfunktion der Optik im Mikroskop 12 repräsentiert. Um die Signaldämpfung zu kompensieren, wurde eine Bandpassverstärkung von 2,56 verwendet. Verursacht durch die breite Bandbreite und die Einheitskompensation der Komponenten wurde eine gute Leistung ohne weitere kundenspezifische Konstruktion erhalten. Bei der richtigen Wahl der Komponenten ist die Grenzfrequenz unabhängig von der Bandbreite des Verstärkers, wobei sie nur durch die entsprechenden R-C-Netze im Tiefpassabschnitt 52a und im Hochpassabschnitt 52b bestimmt ist. Diese Netze enthalten offenkundig manuell einstellbare Elemente. Die Signalform 104 demonstriert das Ausgangssignal des Filters.
Das mit Fenstertechnik bearbeitete gefilterte Signal wird versetzt, verstärkt und quadriert, wie in den Signalformen 106 und 108 gezeigt ist. Das gefilterte quadrierte Signal wird dann durch den Integrierer 60 über einen Videoteilbild integriert. Der Integrierer 60 enthält Rücksetz-, Integrier- und Haltesteuerfunktionen, um den Kondensator 110 am Ende jedes Teilbildes zurückzusetzen, das gefilterte Signal für die Fokusindexberechnung zu integrieren und über die Diode 114 den Zwischenfokus zu halten, während es kein signifikantes Ausgangssignal aus dem Filter 52 gibt. Den vorhergehenden Konstruktionen der analogen Autofokusschaltungen, denen die Haltsteuerung fehlt, zeigten den Abfall des Fokusindex-Ausgangssignals zwischen dem Bildmerkmalen. Dies ist durch die Signalform 109 in Fig. 3a deutlich veranschaulicht, in der über dem Abschnitt der quadrierten Signalform 108, der als "toter Raum" markiert ist, der Betrag des durch den Integrierer 60 erzeugten integrierten Signals nicht abfällt. Die Verwendung des Integrierers 60 mit der Diode 114 anstatt des herkömmlichen Integrierers sichert, dass der Fokusindex idealer mit dem wahren mathematischen Integral für jedes Videoteilbild übereinstimmt. Der Ausgang des Integrierers 68 wird ähnlich durch den Kondensator 116 und die Diode 118 gesteuert.
Der Abschnitt für die mittlere Beleuchtung nimmt das Videosignal mit ausgeblendeter Synchronisation und misst die mittlere Beleuchtung durch das Integrieren des Signals über ein Teilbild. Eine Abtast-Halte-Schaltung wird verwendet, um die endgültigen analogen Werte für die AID-Karte aufrechtzuerhalten. Das endgültige Ausgangssignal aus dieser Integration und der Fokusindex werden dann durch die Analog-Digital-Karte im Computer 34 umgesetzt. Am Ende jedes Teilbildes wird das Auslösesignal an den Computer geschickt, um eine neue Umsetzung zu beginnen. Der Fokusindex, die mittlere Beleuchtung und der Auslöser sind mit ihren entsprechenden Massen üblicherweise mit dem Computer 34 oder den Signalpfaden 40, 42 bzw. 46 verbunden.
Die Fenstertechnik in der analogen Schaltung 36 ist in Fig. 3b gezeigt, wobei sie unter Bezugnahme auf die Fig. 2 und 4 verstanden werden kann. Für die Dimension der Abtastzeilen wird als Antwort auf die Austastung der horizontalen Zeile ein horizontaler Fensterimpuls 120 für jede Zeile des Videos durch die Flipflops 82a-82b erzeugt. Als Antwort auf die vertikale Austastung wird durch die Flipflops 83a-83b ein vertikaler Fensterimpuls 124 erzeugt. Die Transistor-Dioden-Schaltung 126 antwortet auf die Impulse 120 und 124 als ein UND-Gatter, das das gefilterte Signal vom Filter 52 zur Quadrierungsschaltung 58 überträgt, wenn beide Impulse hoch sind. Die Zählung oder Taktung kann offenkundig mit den Flipflops im Steuerzeitgeber 66 verwendet werden, um die Dimensionen eines Fensters selektiv einzustellen.

Die Fokussierungs-Software, der Autofokusalgorithmus

Im Fokusprozessor 39 wurde eine Unterbrechungsbehandlungsroutine (ISR) implementiert, um die analogen Werte des Fokusindexsignals und des mittleren Beleuchtungssignals basierend auf dem durch die analoge Schaltung 36 gelieferten Auslösesignal zu erfassen. Diese Routine steuert außerdem die Fokusposition, die Erfassung der analogen Werte aus der Autofokusschaltung und die Berechnung des normierten Grades der Fokussierung. Die Programme waren in C oder in Assemblersprachen geschrieben. Die C-Routinen wurden mit Metaware High C (Santa Cruz, CA) kompiliert. Ein Assembler Phar Lap (Cambridge, MA) wurde für die Unterbrechungsbehandlungsroutinen verwendet.
Am Ende jedes Teilbildes startet ein Auslöseimpuls die ISR, die die analogen Werte des Fokusindexsignals und des mittleren Beleuchtungssignals an Anordnungen überträgt, die für C-Routinen zugänglich sind, um den besten Fokus zu berechnen und einzustellen.
Um einen besten Fokus zu bestimmen, führt der Computer 34 eine Fokusfolge aus, in der die Z-Achsenposition der Objektivlinse 14 durch mehrere Fokuspositionen (21) geordnet wird. An jeder Fokusposition werden der Betrag des Fokusindexsignals und des mittleren Beleuchtungssignals genommen, wobei ein Fokusfunktionswert (F(21)) entsprechend Gleichung (2) berechnet wird. Die Fokusfunktionswerte werden durch den Computer 34 bei 130 gespeichert, Fig. 1.
Nach jeder Fokusfolge, bei der die Fokusindizes durch den Computer 34 für eine Anzahl von Positionen gespeichert worden sind, wird der potenzgewichtete Mittelwert verwendet, um den besten Fokus zu finden. Ungewöhnlich geformte Fokuskurven, die mehrere Extrema enthalten, können durch diskrete vertikale Verteilungen von zellularen Komponenten erzeugt werden. Aus diesen Gründen wird der gewichtete Mittelwert
verwendet, wobei Wa die potenzgewichtete mittlere Position ist, z ist die vertikale Position (die Z-Achsenposition), Fz ist das Ergebnis der aus dem in einer z-Position erfassten Bild berechneten Fokusfunktion (Gleichung (2)),, während n die Potenz der Gewichtung ist. Die Potenz betont die Spitzenwerte, während die Mittelung die Wirkung der 3D-Natur der Probe verringert.

Die experimentellen Ergebnisse

Der Kontrast in einem Mikroskopbild ist keine inhärente Eigenschaft einer Probe. Statt dessen ist er ein Produkt (1) der Wechselwirkung der beleuchtenden Lichtwellen und der Struktur der Probe und (2) der MTF und der Kontrasterzeugungsbetriebsart des Mikroskops. Der Punkt (1) hängt sowohl von der Struktur der Probe als auch vom Zustand der beleuchtenden Lichtwelle ab; der Punkt (2) hängt sowohl vom Zustand der Beleuchtung als auch davon, wie die Wellen, die die Probe verlassen, behandelt werden, ab. Inoué, S., "Video Microcopy", Plenum Press, New York, 1986.
Als die Abbildungstechnik für die Autofokussierung in diesen Experimenten wurde die Phasenkontrastmikroskopie verwendet. Beim Phasenkontrast werden die durch die transparenten Zellen eingefügten Phasenänderungen in Änderungen der Intensität umgesetzt. Born, M. und Wolf, E., "Principles of Optics", Pergamon Press, 1989. Dies erzeugt den Kontrast im Bild, der für das Ausführen der Autofokussierung nützlich ist. Der Phasenkontrast führt außerdem einen optisches Hochpassfilter aus. Inoué, S., "Video Microscopy", Plenum Press, New York, 1986. Es ist außerdem experimentell gezeigt worden, dass der Phasenkontrast mehr dazu neigt, Nebenspitzen in der Kurve der Fokusfunktion zu zeigen. Price, J. H., opere citato. Es ist folglich wichtig, die hohen Frequenzen sorgfältig auszuwählen, um die Unimodalität zu sichern.
In Fig. 5 ist die grafische Darstellung eines Phasenkontrastexperiments einer Zellen-Monolage bei verschiedenen Z-Achsenpositionen gezeigt. Durch die analogen und digitalen Versionen werden ähnliche Kurven der Fokusfunktion erhalten, wobei die Spitzenbreiten und die Schärfe der Funktionen hauptsächlich eingipflig sind. Die Kurven zeigen gedämpfte Nebenspitzen außerhalb des Hauptmaximums. Dieses Verhalten wird durch die Unterabtastung bei Einheits-Zoom verstärkt. Die zunehmende Verstärkung führt zur Nyquist-Abtastung, wobei dieses Verhalten beseitigt wird. Die niedrige Grenzfrequenz des Filters erfasst die Frequenzen im mittleren Bereich, für die ein monotones Verhalten nicht angenommen werden kann. Die Tendenz zu Nebenspitzen wird mit dem zunehmenden Frequenzgang der Übertragungsfunktion des Fokusindexsystems verringert, die das Filter, die CCD-Kamera und die optische Übertragungsfunktion enthält.
Fig. 6 zeigt eine grafische Darstellung des analogen Fokusindex unter Verwendung einer Monolage dicker Zellen. Die 3-D-Struktur der Proben erzeugt verschiedene beste Fokussierungen und erklärt die Verbreiterung der Fokusfunktionen. Es scheint außerdem, dass die vergrößerte Probentiefe außerdem die Nebenspitzen verbessert. Folglich hängt die Form der Fokuskurve sowohl von der Probe als auch der Übertragungsfunktion des Systems ab. Die Abtastperiode für einen speziellen experimentellen Zustand wurde unter Verwendung eines Feinmessschiebers mit 10-um-Abstand geeicht. Bei einem Zoom von 1 · (unter Verwendung eines 40·-Objektivs) betrug die Periode 303 nm. Die Auflösungsleistung ist durch das Rayleigh-Kriterium gegeben, d = 1,22λ(NAobj + NAcond). Bei einer Beleuchtung bei 500 nm und einer NAcond von 0,52 und einer NAobj von 0,85 wird eine Auflösung von 445 nm erhalten. Die erforderliche Nyquist-Abtastung beträgt dann 222,5 nm. Folglich ist für die Nyquist-Abtastung eine Vergrößerung von (303/222,5) = 1,36X erforderlich. Aus einer Vielzahl praktischer Gründe muss in der Tat weiter überabgetastet werden. Inoué, S., opere citato.
Der Hauptvorteil dieser sorgfältig konstruierten analogen Schaltung sind die niedrigen Kosten ohne Leistungsopfer. Die digitale Verarbeitung für die Echtzeit- Autofokussierung erfordert die Verwendung eines Echtzeit-Bildprozessors mit Pipelinearchitektur, der eine Größenordnung teurer sein kann. Außerdem bringt die zunehmende Komplexität des digitalen Filters das Addieren der Koeffizienten mit sich, das die Kosten weiter vergrößern oder die Geschwindigkeit verringern kann. Andererseits macht die digitale Akkufokussierung die Umprogrammierung zu einer einfachen Aufgabe, wobei für den Echtzeitbetrieb die Betriebsmittel für die digitale Bildverarbeitung für einfache eindimensionale Filter als diskrete Approximationen der Ableitungsfilter (z. B. der {1, -1 }- und {-1, 2, -1 }-Hochpassfilter und des {1, 0, -1}-Bandpassfilters) verwendet werden können. Bei gegebenen Kosten der digitalen Bildverarbeitung kann jedoch die Ersetzung der digitalen Implementierung durch eine preisgünstige analoge Schaltung mit gleicher Leistung, die dieses wichtige Betriebsmittel für andere Aufgaben freisetzt, die wichtigste Überlegung sein.
Einen Nachteil bei analogen Schaltungen im allgemeinen (wenigstens in Bezug auf ihre digitalen Äquivalente) ist der eingeschränkte Dynamikbereich. Der digitale Dynamikbereich ist proportional zur Quadratwurzel des Produkts der Bildpunkte und Graustufen. Die analoge Verarbeitung ist auf die Anzahl der Bits eines A/D- Umsetzers eingeschränkt. Selbstverständlich könnte der eingeschränkte analoge Dynamikbereich durch die Hinzufügung einer Schaltung mit automatischer Verstärkungsregelung überwunden werden. Andererseits erlauben die analogen Implementierung eine beliebige obere Grenzefrequenz (bis zur Grenze der Kamera), wohingegen in der digitalen Version diese obere Grenze durch den Bildprozessor gesetzt ist. Dies vereinfacht die Anpassung der Fokus-Grenzfrequenz des Filters 52 an die optische Übertragungsfunktion des Mikroskops, um eine schärfere Kurve der Filterfunktionen für die verbesserte Autofokus-Reproduzierbarkeit zu erzeugen. Wird eine CCD-Kamera, die 768 Bildpunkte/Zeile liefern kann, vorausgesetzt, digitalisiert der Bildprozessor 38 nur 512 Bildpunkte/Zeile. Bei der analogen Schaltung 36 können für das Filter 52 steckbare Köpfe verwendet werden, um die Anpassung der Filterfunktion an jede Kombination der Videokamera und der optischen Übertragungsfunktionen zu vereinfachen. Das Filter 52 mit einer analogen Schaltung ist viel leichter und weniger teurer zu ändern als die Auflösung des Bildprozessors 38.

Claims

1. Schaltung (36), um ein Fokusindexsignal in einem Autofokussystem zu erzeugen, das ein Mikroskop (12), eine Quelle (30) eines abgetasteten Bildsignals, das ein vergrößertes Bild darstellt, das durch das Mikroskop erzeugt wird, und eine automatische Mikroskop-Fokussteuerung (34) umfasst, die das Mikroskop in Antwort auf das Fokusindexsignal fokussiert, wobei die Schaltung (36) einen Filter (52) enthält, um ein gefiltertes Signal bereitzustellen, das vorbestimmte Frequenzen in dem Bildsignal darstellt, wobei ein Transientenentferner (56) mit dem Filter verbunden ist, um Abtastartefakte von dem gefilterten Signal zu entfernen, einen Quadrierungsschaltung (58) mit dem Transientenentferner verbunden ist, um Beträge von Frequenzkomponenten des gefilterten Signals zu quadrieren, und ein Indexintegrierer (60) mit der Quadrierungsschaltung verbunden ist, um ein Fokusindexsignal zu erzeugen, das einen Fokus bzw. einen Brennpunkt des Mikroskops darstellt, indem quadrierte Beträge der Frequenzkomponenten des gefilterten Signals integriert werden, wobei die Schaltung (36) durch folgendes kennzeichnet ist: der Filter ist ein analoger Filter mit einer Übertragungscharakteristik (H(ω), die nur die obere Hälfte der Frequenzen in der optischen Übertragungscharakteristik des Mikroskops passieren lässt.

2. Die Schaltung nach Anspruch 1, die weiter eine Diode (114) in dem Ausgang des Indexintegrieres enthält, um zu verhindern, dass das Fokusindexsignal abnimmt bzw. abklingt.

3. Schaltung nach Anspruch 1, bei welcher der Transientenentferner ein eindimensionales Fenster auf das gefilterte Signal anwendet.

4. Schaltung nach Anspruch 1, bei welcher der Transientenentferner ein zweidimensionales Fenster auf das Filtersignal anwendet.

5. Schaltung nach Anspruch 1, bei welcher das Fokusindexsignal eine Auflösung des vergrößerten Bildes anzeigt.

6. Schalter nach Anspruch 1, bei welcher das Bildsignal ein Videosignal (100) ist.

7. Schaltung nach Anspruch 6, bei welcher die Abtastartefakte Enden einer Abtastzeile des Videosignals enthalten.

8. Schaltung nach Anspruch 6, bei welcher das Fokusindexsignal eine Energie anzeigt, die in den vorbestimmten Frequenzen des Videosignals enthalten ist.

9. Schaltung nach Anspruch 1, die weiter einen Beleuchtungsintegrierer (68) enthält, um ein mittleres bzw. Mittelungsbeleuchtungssignal in Antwort auf das Bildsignal zu erzeugen.

10. Schaltung nach Anspruch 9, bei welcher die Fokussteuerung einen Prozessor (39) enthält, um ein Fokuspositionssignal zu erzeugen, das eine Fokusfunktion des Mikroskops in Antwort auf den Fokusindex und das mittlere bzw. Mittelungsbeleuchtungssignal darstellt.

11. Schaltung nach Anspruch 10, die weiter folgendes enthält:

eine erste Diode (114) in dem Ausgang des Indexintegrierers, um zu verhindern, dass das Fokusindexsignal abnimmt bzw. abklingt; und

eine zweite Diode (118) in dem Ausgang des Beleuchtungsintegrierens, um zu verhindern, dass das mittlere bzw. Mittelungsbeleuchtungssignal abnimmt bzw. abklingt.

12. Schaltung nach Anspruch 11, bei welcher der Prozessor einen Fokusfunktionswert für eine jede einer Vielzahl von Mikroskopfokuspositionen erzeugt, indem ein Fokusindex-Signalwert und ein mittlerer Beleuchtungssignalwert bzw. Mittelungsbeleuchtungssignalwert, der für eine jede Fokusposition erhalten wird, kombiniert wird, und ein Fokuspositionssignal erzeugt, das eine Fokusposition des Mikroskops darstellt, indem eine Vielzahl von Fokusfunktionswerten kombiniert werden.