DE4226523B4

DE4226523B4 - Verfahren und Vorrichtung zum automatischen Fokussieren auf Objekte

Info

Publication number: DE4226523B4
Application number: DE19924226523
Authority: DE
Inventors: Wolfgang Schlipf; Jochen Fischer
Original assignee: Universitaet Stuttgart
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 1992-08-11
Filing date: 1992-08-11
Publication date: 2005-01-05
Anticipated expiration: 2012-08-12
Also published as: DE4226523A1

Abstract

Verfahren zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera (10), die Bilder an einem Bilderzeugungssystem (11) aufnimmt und an ein Bildverarbeitungssystem (12) liefert, dadurch gekennzeichnet, dass vom Bildverarbeitungssystem (12) anhand des ihm von der Bildaufnahmekamera (10) gelieferten Bildes ein von ihm variabel wählbares Teilbild mit einem Objekt festgelegt wird, auf das in einem Regelkreis fokussiert wird, wobei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, aus welchen eine Stellgröße für einen Fokussteller (13) abgeleitet wird.

Description

Die Erfindung betrifft ein Verfahren zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten mit einer elektronischen Bildaufnahmekamera, die Bilder an einem Bilderzeugungssystem aufnimmt und an ein Bildverarbeitungssystem liefert, und eine Vorrichtung zum Durchführen des Verfahrens.

Es ist bekannt ("Autofokus zur schnellen Verarbeitung mikroskopischer Präparate", Informatik Fachberichte 290, Mustererkennung 1991, 13. DAGM Symposium, München, Springer Verlag, S. 367 bis S. 372), ein Bild mit Objekten in mehreren Fokusebenen aufzunehmen und mittels eines Fokuskriteriums die relativ schärfste Fokusebene zu lokalisieren. Das Fokuskriterium benutzt das Differenzenquadrat zusammen mit einer Bandpassfilterung zur Rauschunterdrückung und einer Grauwertschwelle, um die Auswertung auf Bereiche mit relevanten Objekten zu beschränken. Weitere Verfahren und Vorrichtungen zur automatischen Fokussierung, die dieses sogenannte "Dualout-of-focus"-Prinzip anwenden, sind in den Offenlegungsschriften DE 24 42 795 A1 , DE 28 36 428 A1 und DE 33 08 191 A1 sowie in der Patentschrift DE 33 20 096 C2 beschrieben. Die Fokussierung erfolgt bei den dortigen Systemen stets un veränderlich auf eine bestimmte Zeile des aufgenommenen Bildes und gemäß eines unveränderlich vorgegebenen Fokuskriteriums, üblicherweise in Form eines geeigneten Grauwert-Kontrastmaßes.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zu schaffen, mit welchem eine sehr genaue, aus dem Bildinhalt ableitbare Fokussierung einzelner relevanter Objekte möglich ist.

Diese Aufgabe wird dadurch gelöst, dass ein Teilbild mit einem Objekt gebildet wird, auf das in einem Regelkreis gezielt fokussiert wird, wobei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, aus welchem eine Stellgröße für einen Fokussteller abgeleitet wird, wobei charakteristischerweise das Teilbild mit Objekt vom Bildverarbeitungssystem variabel z.B. hinsichtlich Lage, Größe und Form wählbar ist und von ihm anhand des von der Bildaufnahmekamera gelieferten Bildes festgelegt wird und/oder wobei das Bildverarbeitungssystem das oder die Fokuskriterien variabel in Abhängigkeit vom Inhalt des ihm von der Bildaufnahmekamera gelieferten Bildes festlegt.

Gemäß der Erfindung erfolgt das Fokussieren auf ein einzelnes Objekt in einem Regelkreis, der so lange arbeitet, bis die Stellgröße für den Fokussteller zur Korrektur verschwindet, d.h. ein dem Fokuskriterium entsprechendes, optimales Bild am Bildaufnahmesystem eingestellt ist.

Zur Durchführung des Verfahrens wird eine Vorrichtung vorgesehen, die einen Regelkreis für einen Fokussteller enthält, welcher Mittel zum Erzeugen eines Bildes, Mittel zum Erzeugen eines ein relevantes Objekt enthaltenden Teilbildes und zum Aufbereiten des Teilbildes zu Signalen, Mittel zum Berechnen von wenigstens einem Fokuskriterium aus diesen Signalen und Mittel zum Ableiten von Stellgrößen für den Fokussteller enthält. Hierbei ist das Bildverarbeitungssystem so ausgelegt, dass es das Teilbild mit Objekt variabel anhand des ihm gelieferten, aufgenommenen Bildes festlegt und/oder das wenigstens eine Fokuskriterium aus mehreren möglichen Fokuskriterien in Abhängigkeit vom Inhalt des ihm gelieferten Bildes auswählt. Neben einem Graustufen-Kontrastmaß kommt dabei z.B. insbesondere auch ein Farbkontrast-Fokuskriterium in Betracht.

Wenn diese Vorrichtung in schneller Elektronik ausgeführt, wird, so werden sehr kurze Einstellzeiten für das Einstellen des richtigen Fokuswertes erreicht.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung des in der Zeichnung dargestellten Ausführungsbeispiels und den Unteransprüchen.
1 zeigt ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zum Durchführen des erfindungsgemäßen Verfahrens,
2 eine schematische Darstellung einer einer Autofokuskamera vorgeschalteten Optik zum gleichzeitigen Gewinnen eines Bildes in drei unterschiedlichen Fokusebenen,
3 eine andere Ausführungsform eines einer Autofokuskamera vorgeschalteten optischen Systems zur Gewinnung eines Bildes in drei Fokusebenen und
4 eine schematische Darstellung des Bildes in drei unterschiedlichen Fokusebenen mit jeweils ein Objekt enthaltenden Teilbildern.
Bei der Ausführungsform nach 1 ist eine elektronische Bildaufnahmekamera (10) einem Bilderzeugungssystem (11) zugeordnet, das typischerweise ein Mikroskop ist. Dieses Mikroskop erzeugt Bilder, insbesondere von zytologischen Präparaten, die zwischen einem Objektträger und einem Deckglas in einem Einbettmedium eingebettet sind. Die von der Bildaufnahmekamera (10) aufgenommenen Bilder werden in ein Bildverarbeitungssystem (12) eingelesen und dort ausgewertet. Dem Bilderzeugungssystem (11) ist ein Fokussteller (13) zugeordnet, der üblicherweise der Z-Antrieb eines Mikroskopes ist.
Das Bild des Bilderzeugungssystems (11) wird des weiteren von einer Fokuskamera (14) aufgenommen, die für die Fokussierung speziell eingerichtet ist, wie später noch erläutert werden wird. Das Bild der Fokuskamera (14), das dem von der Bildaufnahmekamera (10) aufgenommenen Bild entspricht, wird einer Einheit (15) zur Signalaufbereitung zugeführt, die aus dem Bild Signale aufbereitet, die an eine Einheit (16) zur Berechnung von einem oder mehreren Fokuskriterien weitergeleitet werden. Das eine oder die mehreren Fokuskriterien werden an eine Einheit (17) weitergereicht, die daraus eine Stellgröße für den Fokussteller (13) ableitet und an diesen Fokussteller (13) weitergibt. Der Fokussteller (13) führt die vorgegebene Korrektur aus, so daß damit der Regelkreis geschlossen ist. Dieser Regelkreis arbeitet so lange, bis die Stellgröße der Einheit (17) verschwindet, d.h. ein dem Fokuskriterium entsprechendes optimales Bild an dem Bilderzeugungssystem vorliegt, das an das Bildverarbeitungssystem (12) weitergeleitet und auch noch von diesem weitergegeben werden kann.
Dem eigentlichen Fokussieren geht voraus, daß festgelegt wird, auf welches Objekt das Fokussieren erfolgt. Diese Festlegung erfolgt in dem von der Bildaufnahmekamera (10) aufgenommenen Bild, das zunächst noch unscharf ist, in dem Bildverarbeitungssystem (12). Dort wird die Entscheidung getroffen, wo interessante Objekte liegen können und wie groß diese Objekte ungefähr sind. Die Auswahl des Objektes erfolgt anhand einer oder mehrerer für das Objekt charakteristischen Eigenschafen, beispielsweise einer Farbe oder eines Grauwertes o.dgl.
Die Autofokuskamera (14) liefert das aufgenommene Bild dreifach, das von den in drei voneinander in definiertem Abstand liegenden Fokusebenen aufgenommen wird. Dies kann dadurch geschehen, daß nacheinander drei Bilder mit verschiedener Fokuseinstellung aufgenommen werden. Bevorzugt wird jedoch vorgesehen, daß die Autofokuskamera (14) gleichzeitig das Bild aus drei verschiedenen Fokusebenen liefert. Dies ist dadurch möglich, daß für den Strahlengang der Autofokuskamera drei unterschiedliche Weglängen vorgesehen sind, mit denen das Bild dreifach nebeneinander abgebildet wird, wie dies in 4 dargestellt ist.
Gemäß dem Ausführungsbeispiel nach 2 werden unterschiedliche Weglängen vorgesehen. In dem von dem Bildaufnahmesystem (11) kommenden Strahlengang ist ein Strahlteiler (18) angeordnet, der das Bild zu dem Kamerasensor (19) der Autofokuskamera (14) umlenkt. In dem umgelenkten Strahlengang sind zwei weitere Strahlteiler (20, 21) und ein Spiegel (22) derart angeordnet, daß das gleiche Bild (23, 24, 25) wie dies in 4 dargestellt ist, mit unterschiedlicher Schärfe auf dem Kamerasensor (19) nebeneinander abgebildet wird. Auf diese Weise wird das sogenannte "Dual-out-of-Focus-Prinzip" angewandt, bei welchem das Bild (24) der mittleren Fokusebene scharf ist, wenn die beiden Bilder (23, 25) der jeweils anderen Fokusebenen gleich unscharf sind.
Wie in 3 dargestellt ist, läßt sich der gleiche Effekt auch dadurch erhalten, daß zwar gleich lange Wegstücke vorgesehen werden, jedoch unterschiedliche Weglängenstücke in einem optisch dichteren Medium (Glas). In dem von dem Bildaufnahmesystem kommenden Strahl, der von einer Blende (26) begrenzt ist, sind hintereinander zwei Strahlteiler (27, 28) in Form von Prismen angeordnet, auf die ein Prisma (29) folgt. Der in dem Strahlteiler (27) umgelenkte Anteil des Lichtstrahls hat den kürzesten optischen Weg und der im Prisma (29) umgelenkte Strahlanteil den längsten optischen Weg. Die einzelnen Strahlenanteile werden mittels Prismen (30, 31) und eines Strahlteilers (32) derart umgelenkt, daß das gleiche Bild auf dem Kamerasensor (19) nebeneinander abgebildet wird, wobei die Abbildungen aus unterschiedlichen Fokusebenen stammen. Der im Strahlteiler (32) nicht umgelenkte Strahlenteil kann zu anderen Zwecken verwendet werden, z.B. zum Überprüfen an einem Okular.
Die drei Bilder (23, 24, 25), die das gleiche Bild in definiert unterschiedlichen Fokusebenen enthalten, werden in die Einheit (15) weitergegeben. Diese Einheit nimmt eine Signalaufbereitung in der Weise vor, daß aus den Bildern (23, 24, 25) Teilbilder (36, 37, 38) maskiert werden, die an die Einheit (16) zur Berechnung eines oder mehrerer Fokuskriterien weitergegeben werden. Es spielt somit für den weiteren Fokussierungsverlauf nur noch der Inhalt der Teilbilder (36, 37, 38) eine Rolle. Dabei wird auf ein Einzelobjekt (40, 40', 40'') innerhalb des Teilbildes fokussiert, ohne daß dieser Prozeß von den anderen Bildteilen beeinflußt wird. Die Lage und Größe dieses Teilbildes oder auch mehrerer Teilbilder wird von dem Bildverarbeitungssystem (12) festgelegt und an die Einheit (15) zur Signalaufbereitung übergeben.
Die Auswertung der Teilbilder (36, 37, 38) besteht darin, daß aus ihnen nur bestimmte Grauwerte weitergegeben werden, die über oder unterhalb einer festgelegten Grauwertschwelle oder zwischen Grauwertschwellen liegen. Die Bereiche der Grauwerte oder die Grauwertschwellen können vorgegeben oder aber auch durch das Bildverarbeitungssystem (12) aus dem aktuellen Bild berechnet werden. Beispielsweise wird vorgesehen, daß nur relativ dunkle Ereignisse (Zellkerne, insbesondere eingefärbte Zellkerne) von Interesse sind, so daß dann nur dunkle Bildpunkte zur Auswertung an die Einheit (16) weitergereicht werden, während hellere Bildpunkte in der Einheit (15) unterdrückt werden. Die Festlegung von relevanten Grauwertschwellen kann beispielsweise in einem Grauwerthistogramm stattfinden.
Darüber hinaus sind andere Auswertungen oder zusätzliche Beeinflussungen der Teilbilder (36, 37, 38) in der Einheit (15) möglich. Insbesondere können Filterungen zur Reduzierung des Bildrauschens oder Farbselektierungen vorgenommen werden, insbesondere wenn die Autofokuskamera (14) und die Kamera (10) Farbbildkameras sind.
Die in der Einheit (15) mittels der Auswertung erarbeiteten Signale der Teilbilder (36, 37, 38) werden zur Einheit (16) zur Berechnung von einem oder mehreren Fokuskriterien weitergereicht. In dieser Einheit (16) werden die den drei Teilbilder (36, 37, 38) entsprechenden Signale voneinander abgetrennt, so daß in jedem vorgebbare Fokuskriterien berechnet werden können. Das oder die Fokuskriterien können vorgegeben und festgelegt sein. Es ist jedoch auch möglich, daß das Bildverarbeitungssystem (12) abhängig von dem Bildinhalt ein oder mehrere Fokuskriterien festlegt und dann vorgibt. Ein Fokuskriterium kann insbesondere ein Kontrastmaß sein. Es werden somit für jedes der drei Teilbilder (36, 37, 38) ein oder mehrere Fokuskriterien erhalten. Dabei kann vorgesehen werden, daß im Falle einer ungenügenden Aussage eines derartigen Fokuskriteriums eine Rückmeldung an das Bildverarbeitungssystem (12) erfolgt, mit der eine Anforderung nach einer neuen Strategie für die Einheit (15) der Signalaufbereitung und für die Einheit (16) zur Berechnung des oder der Fokuskriterien angefordert wird.
Die Tripel der Fokuskriterien werden an die Einheit (17) zur Berechnung der Stellgrößen weitergegeben. Die Berechnung der Stellgröße wird nach dem bekannten "Dual-out-of-focus"-Prinzip oder "Multi-out-of-focus"-Prinzip und/oder unter Ausnutzung weiterer Kriterien, insbesondere bereits bekannter Informationen durchgeführt.
Bevorzugt werden die Einheiten (15, 16 und 17) in schneller Elektronik ausgeführt, so daß innerhalb sehr kurzer Einstellzeiten der richtige Fokuswert erreicht wird. Bei gleicher Qualität der Fokussierung, jedoch bei deutlich höherem Zeitaufwand für die Fokuseinstellung, läßt sich die gesamte Anordnung hinsichtlich der Geräte vereinfachen, indem die Einheiten (15, 16 und 17) als Software in dem Bildverarbeitungssystem (12) simuliert werden, wobei als Eingangssignal das Signal der Bildaufnahmekamera (10) benutzt werden kann, die drei Bilder in definiert unterschiedlichen Fokuseinstellungen aufnimmt.

Claims

Verfahren zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera (10), die Bilder an einem Bilderzeugungssystem (11) aufnimmt und an ein Bildverarbeitungssystem (12) liefert, dadurch gekennzeichnet, dass vom Bildverarbeitungssystem (12) anhand des ihm von der Bildaufnahmekamera (10) gelieferten Bildes ein von ihm variabel wählbares Teilbild mit einem Objekt festgelegt wird, auf das in einem Regelkreis fokussiert wird, wobei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, aus welchen eine Stellgröße für einen Fokussteller (13) abgeleitet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Teilbild mit Objekt, auf das im Regelkreis fokussiert wird, vom Bildverarbeitungssystem (12) hinsichtlich Lage, Größe und Form variabel festlegbar ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Ableiten der Stellgröße nach dem "Dual-out-of-focus"-Prinzip erfolgt, wozu ein Bild in drei unterschiedlichen, in definiertem Abstand zueinander liegenden Fokusebenen aufgenommen wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Bild gleichzeitig in drei Fokusebenen über optische Wege mit definierten Längenunterschieden aufgenommen wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bilder von einer gesonderten Autofokuskamera am Bilderzeugungssystem aufgenommen und an die Signalauswertung weitergeleitet werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein Teilbild mit einem Objekt festgelegt wird, auf das in einem Regelkreis fokussiert wird, wobei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, die vom Bildverarbeitungssystem (12) abhängig vom Bildinhalt festgelegt werden und aus welchen eine Stellgröße für einen Fokussteller (13) abgeleitet wird.
Verfahren zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera (10), die Bilder an einem Bilderzeugungssystem (11) aufnimmt und an ein Bildverarbeitungssystem (12) liefert, dadurch gekennzeichnet, dass ein Teilbild mit einem Objekt festgelegt wird, auf das in einem Regelkreis fokussiert wird, wobei aus dem Teilbild Signale aufbereitet werden, anhand welcher ein oder mehrere Fokuskriterien berechnet werden, die vom Bildverarbeitungssystem (12) abhängig vom Bildinhalt festgelegt werden und aus welchen eine Stellgröße für einen Fokussteller (13) abgeleitet wird.
Vorrichtung zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera (10), die zwischen einem Bilderzeugungssystem (11) und einem Bildverarbeitungssystem (12) angeordnet ist, dadurch gekennzeichnet, dass ein Regelkreis für einen Fokussteller (13) vorgesehen ist, der Mittel (10, 14) zum Erzeugen eines Bildes (23, 24, 25), Mittel (12) zum Festlegen eines ein relevantes Objekt enthaltenden, variabel wählbaren Teilbildes (36, 37, 38) anhand des von der Bildaufnahmekamera gelieferten Bildes, Mittel (15) zum Aufbereiten von Signalen aus dem Teilbild, Mittel (16) zum Berechnen von wenigstens einem Fokuskriterium aus diesen Signalen und Mittel (17) zum Ableiten von Stellgrößen für den Fokussteller (13) enthält.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass das Bildverarbeitungssystem (12) dafür ausgelegt ist, das Teilbild mit Objekt hinsichtlich Lage, Größe und Form variabel anhand des ihm von der Bildaufnahmekamera (10) gelieferten Bildes festzulegen.
Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass eine gesonderte Autofokuskamera (14) zum Erzeugen des im Regelkreis ausgewerteten Bildes vorgesehen ist.
Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass zwischen der Autofokuskamera (14, 19) und dem Bilderzeugungssystem (11) eine optische Einrichtung (18, 20, 21, 22; 27, 28, 29, 30, 31, 32) angeordnet ist, die zum Erzeugen des gleichen Bildes in drei unterschiedlichen Fokusebenen drei Wege mit definierten optischen Wegunterschieden aufweist.
Vorrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass ein Regelkreis für einen Fokussteller (13) vorgesehen ist, der Mittel (10, 14) zum Erzeugen eines Bildes (23, 24, 25), Mittel (12, 15) zum Erzeugen eines ein relevantes Objekt enthaltenden Teilbildes (36, 37, 38) und zum variablen Festlegen eines oder mehrerer Fokuskriterien in Abhängigkeit vom Bildinhalt sowie zum Aufbereiten von Signalen aus dem Teilbild, Mittel (16) zum Berechnen des oder der Fokuskriterien aus diesen Signalen und Mittel (17) zum Ableiten von Stellgrößen für den Fokussteller (13) enthält.
Vorrichtung zum automatischen Fokussieren auf Objekte bei der Bildverarbeitung von mikroskopischen Präparaten, mit einer elektronischen Bildaufnahmekamera (10), die zwischen einem Bilderzeugungssystem (11) und einem Bildverarbeitungssystem (12) angeordnet ist, dadurch gekennzeichnet, dass ein Regelkreis für einen Fokussteller (13) vorgesehen ist, der Mittel (10, 14) zum Erzeugen eines Bildes (23, 24, 25) , Mittel (12, 15) zum Erzeugen eines ein relevantes Objekt enthaltenden Teilbildes (36, 37, 38) und zum variablen Festlegen eines oder mehrerer Fokuskriterien in Abhängigkeit vom Bildinhalt sowie zum Aufbereiten von Signalen aus dem Teilbild, Mittel (16) zum Berechnen des oder der Fokuskriterien aus diesen Signalen und Mittel (17) zum Ableiten von Stellgrößen für den Fokussteller (13) enthält.