DE4226523A1 - Verfahren und Vorrichtung zum automatischen Fokussieren auf Objekte - Google Patents

Description

Die Erfindung betrifft ein Verfahren zum automatischen Fokus­ sieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten mit einer elektronischen Bildaufnahmekamera, die Bilder an einem Bilderzeugungssystem aufnimmt und an ein Bild­ verarbeitungssystem liefert, und eine Vorrichtung zum Durchfüh­ ren des Verfahrens.

Es ist bekannt ("Autofokus zur schnellen Verarbeitung mikrosko­ pischer Präparate", Informatik Fachberichte 290 Mustererkennung 1991, 13. DAGM Symposium, München Springer Verlag, S. 367 bis S. 372), ein Bild mit Objekten in mehreren Fokusebenen aufzu­ nehmen und mittels eines Fokuskriteriums die relativ schärfste Fokusebene zu lokalisieren. Das Fokuskriterium benutzt das Dif­ ferenzenquadrat zusammen mit einer Bandpaßfilterung zur Rausch­ unterdrückung und einer Grauwertschwelle, um die Auswertung auf Bereiche mit relevanten Objekten zu beschränken.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zu schaffen, mit welchem eine sehr genaue, aus dem Bildinhalt ableitbare Fokussierung einzelner relevanter Ob­ jekte möglich ist.

Diese Aufgabe wird dadurch gelöst, daß ein Teilbild mit einem Objekt gebildet wird, auf das in einem Regelkreis fokussiert wird, wobei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, aus welchem eine Stellgröße für einen Fokussteller abgeleitet wird.

Gemäß der Erfindung erfolgt das Fokussieren auf ein einzelnes Objekt in einem Regelkreis, der so lange arbeitet, bis die Stellgröße für den Fokussteller zur Korrektur verschwindet, d. h. ein dem Fokuskriterium entsprechendes, optimales Bild am Bildaufnahmesystem eingestellt ist.

Zur Durchführung des Verfahrens wird eine Vorrichtung vorgese­ hen, die einen Regelkreis für einen Fokussteller enthält, wel­ cher Mittel zum Erzeugen eines Bildes, Mittel zum Erzeugen ei­ nes ein relevantes Objekt enthaltenden Teilbildes und zum Auf­ bereiten des Teilbildes zu Signalen, Mittel zum Berechnen von wenigstens einem Fokuskriterium aus diesen Signalen und Mittel zum Ableiten von Stellgrößen für den Fokussteller enthält.

Wenn diese Vorrichtung in schneller Elektronik ausgeführt wird, so werden sehr kurze Einstellzeiten für das Einstellen des richtigen Fokuswertes erreicht.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung des in der Zeichnung dargestell­ ten Ausführungsbeispiels und den Unteransprüchen.

Fig. 1 zeigt ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zum Durchführen des erfindungsgemäßen Verfahrens,

Fig. 2 eine schematische Darstellung einer einer Autofokus­ kamera vorgeschalteten Optik zum gleichzeitigen Gewinnen eines Bildes in drei unterschiedlichen Fokusebenen,

Fig. 3 eine andere Ausführungsform eines einer Autofokus­ kamera vorgeschalteten optischen Systems zur Ge­ winnung eines Bildes in drei Fokusebenen und

Fig. 4 eine schematische Darstellung des Bildes in drei unterschiedlichen Fokusebenen mit jeweils ein Objekt enthaltenden Teilbildern.

Bei der Ausführungsform nach Fig. 1 ist eine elektronische Bildaufnahmekamera (10) einem Bilderzeugungssystem (11) zuge­ ordnet, das typischerweise ein Mikroskop ist. Dieses Mikroskop erzeugt Bilder, insbesondere von zytologischen Präparaten, die zwischen einem Objektträger und einem Deckglas in einem Ein­ bettmedium eingebettet sind. Die von der Bildaufnahmekamera (10) aufgenommenen Bilder werden in ein Bildverarbeitungssystem (12) eingelesen und dort ausgewertet. Dem Bilderzeugungssystem (11) ist ein Fokussteller (13) zugeordnet, der üblicherweise der Z-Antrieb eines Mikroskopes ist.

Das Bild des Bilderzeugungssystems (11) wird des weiteren von einer Fokuskamera (14) aufgenommen, die für die Fokussierung speziell eingerichtet ist, wie später noch erläutert werden wird. Das Bild der Fokuskamera (14), das dem von der Bildauf­ nahmekamera (10) aufgenommenen Bild entspricht, wird einer Ein­ heit (15) zur Signalaufbereitung zugeführt, die aus dem Bild Signale aufbereitet, die an eine Einheit (16) zur Berechnung von einem oder mehreren Fokuskriterien weitergeleitet werden. Das eine oder die mehreren Fokuskriterien werden an eine Ein­ heit (17) weitergereicht, die daraus eine Stellgröße für den Fokussteller (13) ableitet und an diesen Fokussteller (13) wei­ tergibt. Der Fokussteller (13) führt die vorgegebene Korrektur aus, so daß damit der Regelkreis geschlossen ist. Dieser Regel­ kreis arbeitet so lange, bis die Stellgröße der Einheit (17) verschwindet, d. h. ein dem Fokuskriterium entsprechendes opti­ males Bild an dem Bilderzeugungssystem vorliegt, das an das Bildverarbeitungssystem (12) weitergeleitet und auch noch von diesem weitergegeben werden kann.

Dem eigentlichen Fokussieren geht voraus, daß festgelegt wird, auf welches Objekt das Fokussieren erfolgt. Diese Festlegung erfolgt in dem von der Bildaufnahmekamera (10) aufgenommenen Bild, das zunächst noch unscharf ist, in dem Bildverarbeitungs­ system (12). Dort wird die Entscheidung getroffen, wo interes­ sante Objekte liegen können und wie groß diese Objekte ungefähr sind. Die Auswahl des Objektes erfolgt anhand einer oder mehre­ rer für das Objekt charakteristischen Eigenschaft, beispiels­ weise einer Farbe oder eines Grauwertes o. dgl. Die Autofokuskamera (14) liefert das aufgenommene Bild drei­ fach, das von den in drei voneinander in definiertem Abstand liegenden Fokusebenen aufgenommen wird. Dies kann dadurch ge­ schehen, daß nacheinander drei Bilder mit verschiedener Fokus­ einstellung aufgenommen werden. Bevorzugt wird jedoch vorgese­ hen, daß die Autofokuskamera (14) gleichzeitig das Bild aus drei verschiedenen Fokusebenen liefert. Dies ist dadurch mög­ lich, daß für den Strahlengang der Autofokuskamera drei unter­ schiedliche Weglängen vorgesehen sind, mit denen das Bild drei­ fach nebeneinander abgebildet wird, wie dies in Fig. 4 darge­ stellt ist.

Gemäß dem Ausführungsbeispiel nach Fig. 2 werden unterschiedli­ che Weglängen vorgesehen. In dem von dem Bildaufnahmesystem (11) kommenden Strahlengang ist ein Strahlteiler (18) angeord­ net, der das Bild zu dem Kamerasensor (19) der Autofokuskamera (14) umlenkt. In dem umgelenkten Strahlengang sind zwei weitere Strahlteiler (20, 21) und ein Spiegel (22) derart angeordnet, daß das gleiche Bild (24, 25, 26), wie dies in Fig. 4 darge­ stellt ist, mit unterschiedlicher Schärfe auf dem Kamerasensor (19) nebeneinander abgebildet wird. Auf diese Weise wird das sogenannte "Dual-out-of-Focus-Prinzip" angewandt, bei welchem das Bild (24) der mittleren Fokusebene scharf ist, wenn die beiden Bilder (23, 25) der jeweils anderen Fokusebenen gleich unscharf sind.

Wie in Fig. 3 dargestellt ist, läßt sich der gleiche Effekt auch dadurch erhalten, daß zwar gleich lange Wegstücke vorgese­ hen werden, jedoch unterschiedliche Weglängenstücke in einem optisch dichteren Medium (Glas). In dem von dem Bildaufnahmesy­ stem kommenden Strahl, der von einer Blende (26) begrenzt ist, sind hintereinander zwei Strahlteiler (27, 28) in Form von Prismen angeordnet, auf die ein Prisma (29) folgt. Der in dem Strahlteiler (27) umgelenkte Anteil des Lichtstrahls hat den kürzesten optischen Weg und der im Prisma (29) umgelenkte Strahlanteil den längsten optischen Weg. Die einzelnen Strah­ lenanteile werden mittels Prismen (30, 31) und eines Strahltei­ lers (32) derart umgelenkt, daß das gleiche Bild auf dem Kame­ rasensor (19) nebeneinander abgebildet wird, wobei die Abbil­ dungen aus unterschiedlichen Fokusebenen stammen. Der im Strahlteiler (32) nicht umgelenkte Strahlenteil kann zu anderen Zwecken verwendet werden, z. B. zum Überprüfen an einem Okular.

Die drei Bilder (23, 24, 25) , die das gleiche Bild in definiert unterschiedlichen Fokusebenen enthalten, werden in die Einheit (15) weitergegeben. Diese Einheit nimmt eine Signalaufbereitung in der Weise vor, daß aus den Bildern (23, 24, 25) Teilbilder (36, 37, 38) maskiert werden, die an die Einheit (16) zur Be­ rechnung eines oder mehrerer Fokuskriterien weitergegeben wer­ den. Es spielt somit für den weiteren Fokussierungsverlauf nur noch der Inhalt der Teilbilder (36, 37, 38) eine Rolle. Dabei wird auf ein Einzelobjekt (40, 40′, 40′′) innerhalb des Teilbil­ des fokussiert, ohne daß dieser Prozeß von den anderen Bildtei­ len beeinflußt wird. Die Lage und Größe dieses Teilbildes oder auch mehrerer Teilbilder wird von dem Bildverarbeitungssystem (12) festgelegt und an die Einheit (15) zur Signalaufbereitung übergeben.

Die Auswertung der Teilbilder (36, 37, 38) besteht darin, daß aus ihnen nur bestimmte Grauwerte weitergegeben werden, die über oder unterhalb einer festgelegten Grauwertschwelle oder zwischen Grauwertschwellen liegen. Die Bereiche der Grauwerte oder die Grauwertschwellen können vorgegeben oder aber auch durch das Bildverarbeitungssystem (12) aus dem aktuellen Bild berechnet werden. Beispielsweise wird vorgesehen, daß nur relativ dunkle Ereig­ nisse (Zellkerne, insbesondere eingefärbte Zellkerne) von Inte­ resse sind, so daß dann nur dunkle Bildpunkte zur Auswertung an die Einheit (16) weitergereicht werden, während hellere Bild­ punkte in der Einheit (15) unterdrückt werden. Die Festlegung von relevanten Grauwertschwellen kann beispielsweise in einem Grauwerthistogramm stattfinden.

Darüber hinaus sind andere Auswertungen oder zusätzliche Beein­ flussungen der Teilbilder (36, 37, 38) in der Einheit (15) mög­ lich. Insbesondere können Filterungen zur Reduzierung des Bild­ rauschens oder Farbselektierungen vorgenommen werden, insbeson­ dere wenn die Autofokuskamera (14) und die Kamera (10) Farb­ bildkameras sind.

Die in der Einheit (15) mittels der Auswertung erarbeiteten Signale der Teilbilder (36, 37, 38) werden zur Einheit (16) zur Berechnung von einem oder mehreren Fokuskriterien weiterge­ reicht. In dieser Einheit (16) werden die den drei Teilbilder (36, 37, 38) entsprechenden Signale voneinander abgetrennt, so daß in jedem vorgebbare Fokuskriterien berechnet werden können. Das oder die Fokuskriterien können vorgegeben und festgelegt sein. Es ist jedoch auch möglich, daß das Bildverarbeitungssy­ stem (12) abhängig von dem Bildinhalt ein oder mehrere Fokus­ kriterien festlegt und dann vorgibt. Ein Fokuskriterium kann insbesondere ein Kontrastmaß sein. Es werden somit für jedes der drei Teilbilder (36, 37, 38) ein oder mehrere Fokuskrite­ rien erhalten. Dabei kann vorgesehen werden, daß im Falle einer ungenügenden Aussage eines derartigen Fokuskriteriums eine Rückmeldung an das Bildverarbeitungssystem (12) erfolgt, mit der eine Anforderung nach einer neuen Strategie für die Einheit (15) der Signalaufbereitung und für die Einheit (16) zur Be­ rechnung des oder der Fokuskriterien angefordert wird.

Die Tripel der Fokuskriterien werden an die Einheit (17) zur Berechnung der Stellgrößen weitergegeben. Die Berechnung der Stellgröße wird nach dem bekannten "Dual-out-of-focus"-Prinzip oder "Multi-out-of-focus"-Prinzip und/oder unter Ausnutzung weiterer Kriterien, insbesondere bereits bekannter Informatio­ nen durchgeführt.

Bevorzugt werden die Einheiten (15, 16 und 17) in schneller Elektronik ausgeführt, so daß innerhalb sehr kurzer Einstell­ zeiten der richtige Fokuswert erreicht wird. Bei gleicher Qua­ lität der Fokussierung, jedoch bei deutlich höherem Zeitaufwand für die Fokuseinstellung, läßt sich die gesamte Anordnung hin­ sichtlich der Geräte vereinfachen, indem die Einheiten (15, 16 und 17) als Software in dem Bildverarbeitungssystem (12) simu­ liert werden, wobei als Eingangssignal das Signal der Bildauf­ nahmekamera (10) benutzt werden kann, die drei Bilder in defi­ niert unterschiedlichen Fokuseinstellungen aufnimmt.

Claims (7)

1. Verfahren zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera, die Bilder an einem Bilder­ zeugungssystem aufnimmt und an ein Bildverarbeitungssystem lie­ fert, dadurch gekennzeichnet, daß ein Teilbild mit einem Objekt gebildet wird, auf das in einem Regelkreis fokussiert wird, wo­ bei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, aus welchen eine Stellgröße für einen Fokussteller abgeleitet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Ableiten der Stellgröße nach dem "Dual-out-of-focus"-Prin­ zip erfolgt, wozu ein Bild in drei unterschiedlichen, in defi­ niertem Abstand zueinanderliegenden Fokusebenen aufgenommen wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß das Bild gleichzeitig in drei Fokusebenen über optische Wege mit definierten Längenunterschieden aufgenommen wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch ge­ kennzeichnet, daß die Bilder von einer gesonderten Autofokuska­ mera am Bilderzeugungssystem aufgenommen und an die Signalaus­ wertung weitergeleitet werden.

5. Vorrichtung zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera, die zwischen einem Bilderzeugungssystem und einem Bildverarbeitungssystem angeord­ net ist, dadurch gekennzeichnet, daß ein Regelkreis für einen Fokussteller (13) vorgesehen ist, der Mittel (10,14) zum Erzeu­ gen eines Bildes (23, 24, 25), Mittel (15) zum Erzeugen eines ein relevantes Objekt enthaltenden Teilbildes (36, 37, 38) und zum Aufbereiten des Teilbildes zu Signalen, Mittel (16) zum Be­ rechnen von wenigstens einem Fokuskriterium aus diesen Signalen und Mittel (17) zum Ableiten von Stellgrößen für den Fokusstel­ ler (13) enthält.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß eine gesonderte Autofokuskamera (14) zum Erzeugen des im Regelkreis ausgewerteten Bildes vorgesehen ist.

7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß zwischen der Autofokuskamera (14, 19) und dem Bilderzeu­ gungssystem (11) eine optische Einrichtung (18, 20, 21, 22; 27, 28, 29, 30, 31, 32) angeordnet ist, die zum Erzeugen des gleichen Bildes in drei unterschiedlichen Fokusebenen drei Wege mit de­ finierten optischen Wegunterschieden aufweisen.