DE102014106233A1 - Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage - Google Patents

Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage Download PDF

Info

Publication number
DE102014106233A1
DE102014106233A1 DE102014106233.7A DE102014106233A DE102014106233A1 DE 102014106233 A1 DE102014106233 A1 DE 102014106233A1 DE 102014106233 A DE102014106233 A DE 102014106233A DE 102014106233 A1 DE102014106233 A1 DE 102014106233A1
Authority
DE
Germany
Prior art keywords
image
optical magnification
digital microscope
template
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102014106233.7A
Other languages
English (en)
Inventor
Joshua Sujit Rajan Y
Sudha S
Prabhakaran Sengodan
Jochen Schweizer
Markus Gnauck
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102014106233.7A priority Critical patent/DE102014106233A1/de
Publication of DE102014106233A1 publication Critical patent/DE102014106233A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Erkennen einer Bildvorlage in einem mit einem digitalen Mikroskop aufgenommenen Bild. Im Weiteren betrifft die Erfindung ein digitales Mikroskop, mit welchem das erfindungsgemäße Verfahren durchführbar ist. Bei dem erfindungsgemäßen Verfahren wird zunächst eine Bildvorlage bereitgestellt, welcher ein Maß einer optischen Vergrößerung zugeordnet ist. Es wird ein Bild mit einem digitalen Mikroskop aufgenommen, wobei ein am digitalen Mikroskop gewähltes Maß einer optischen Vergrößerung erfasst wird. Erfindungsgemäß erfolgt ein Abgleichen zwischen der optischen Vergrößerung der Bildvorlage und der optischen Vergrößerung des aufgenommenen Bildes ausgehend von dem der Bildvorlage zugeordneten Maß der optischen Vergrößerung und dem am digitalen Mikroskop gewählten Maß der optischen Vergrößerung. Nach erfolgtem Abgleich der optischen Vergrößerungen wird die Bildvorlage im aufgenommenen Bild gesucht.

Description

  • Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Erkennen einer Bildvorlage in einem mit einem digitalen Mikroskop aufgenommenen Bild. Im Weiteren betrifft die Erfindung ein digitales Mikroskop, mit welchem das erfindungsgemäße Verfahren durchführbar ist.
  • Aus der DE 10 2011 083 353 A1 ist eine Abbildungsvorrichtung bekannt, die ein Bildaufnahmemodul mit einem Bildsensor und ein Anzeigemodul umfasst. Diese Abbildungsvorrichtung kann insbesondere als ein digitales Mikroskop ausgebildet sein.
  • Die DE 10 2012 012 276 A1 lehrt eine Mikroskopiervorrichtung mit einem ersten und zweiten Zoommikroskop, wobei das Vergrößerungsverhältnis zwischen den beiden Zoommikroskopen durch ein elektronisches Steuerungsmittel eingestellt wird.
  • Die DE 10 2009 054 704 A1 zeigt ein Verfahren zur Aufnahme eines Mosaikbildes mit einem Mikroskop. Bei diesem Verfahren werden mehrere Bilder während einer Relativbewegung zwischen einem Probentisch und einer Aufnahmeeinheit aufgenommen. Bevorzugt weisen die während der Relativbewegung aufgenommenen Probenbilder eine geringere Auflösung als ein zuerst aufgenommenes Bild auf.
  • Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, die Erkennung einer Bildvorlage in einem mit einem digitalen Mikroskop aufgenommenen Bild zu verbessern.
  • Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 und durch ein digitales Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 9.
  • Das erfindungsgemäße Verfahren dient zum automatischen Erkennen einer Bildvorlage in einem Bild, welches mit einem digitalen Mikroskop aufgenommen wurde. Unter einem digitalen Mikroskop wird hier ein Mikroskop verstanden, bei welchem der Nutzer das zu mikroskopierende Objekt nicht unmittelbar durch ein Objektiv betrachtet, sondern das Mikroskop eine Bildaufnahmeeinheit, insbesondere einen elektronischen Bildwandler umfasst. Die mit dem Bildwandler aufgenommenen Bilder werden als digitale Informationen verarbeitet und dem Nutzer auf einer Anzeigeeinheit, insbesondere auf einem Monitor dargestellt. Derartige digitale Mikroskope verfügen zumeist über automatisierbare Funktionen, beispielsweise zur Bewegung der Aufnahmeeinheit und/oder zur Bewegung eines Probenträgers. Auch verfügen derartige digitale Mikroskope zumeist über automatische Funktionen zur Bildauswertung, beispielsweise im Rahmen von Quality Assurance und Quality Control (QA/QC).
  • Das erfindungsgemäße Verfahren betrifft insbesondere eine solche Bildauswertung. Bei der zu erkennenden Bildvorlage handelt es sich um ein Template, welches beispielsweise ein im Bild zu findendes Objekt darstellt. Ziel des Verfahrens ist es, die Bildvorlage, d. h. das Template in dem mit dem digitalen Mikroskop aufgenommenen Bild durch Methoden der Bilderkennung zu finden, um beispielsweise ein Objekt im aufgenommenen Bild zu identifizieren, wobei die Bildvorlage dem aufgenommenen Bild oder einem beliebigen anderen Bild entnommen sein kann. Typischerweise ist die Bildvorlage kleiner als das Bild, insbesondere wenn sie aus dem aufgenommenen Bild ausgeschnitten wurde, jedoch kann die Bildvorlage auch so groß wie das aufgenommene Bild sein.
  • In einem Schritt des erfindungsgemäßen Verfahrens wird eine zu erkennende Bildvorlage bereitgestellt, wobei der Bildvorlage ein Maß einer optischen Vergrößerung zugeordnet ist. Dieses Maß der optischen Vergrößerung beschreibt, wie stark der Inhalt der Bildvorlage vergrößert ist, wobei diese Vergrößerung durch eine optische Vergrößerung während einer realen Aufnahme der Bildvorlage oder durch eine simulierte Vergrößerung bei einer Synthese der Bildvorlage gegeben sein kann. Bei der Bildvorlage handelt es sich bevorzugt um einen Ausschnitt eines Bildes, welcher insbesondere durch einen Nutzer ausgewählt wird. Das Maß der optischen Vergrößerung ist bevorzugt durch einen Faktor gebildet.
  • In einem weiteren Schritt des Verfahrens wird ein Bild mit einem digitalen Mikroskop aufgenommen. Dabei wird das zu untersuchende Objekt abgebildet, wobei es Ziel ist, das durch die Bildvorlage dargestellte Detail am zu untersuchenden Objekt wiederzuerkennen. Bei diesem Schritt des erfindungsgemäßen Verfahrens wird weiterhin ein am digitalen Mikroskop gewähltes Maß einer optischen Vergrößerung erfasst. Es handelt sich somit um die optische Vergrößerung, mit welcher das Bild physikalisch aufgenommen wird. Es handelt sich insbesondere um das Maß der optische Vergrößerung, welches am digitalen Mikroskop, nämlich an der Bildaufnahmeeinheit des digitalen Mikroskops physikalisch eingestellt ist.
  • Ein weiterer Schritt des erfindungsgemäßen Verfahrens sieht vor, die optische Vergrößerung der Bildvorlage und die optische Vergrößerung des aufgenommenen Bildes quantitativ aufeinander abzugleichen. Dies erfolgt ausgehend von dem der Bildvorlage zugeordneten Maß der optischen Vergrößerung und von dem am digitalen Mikroskop während der Aufnahme des Bildes gewählten Maß der optischen Vergrößerung. Da beide Maße bekannt sind, kann es durch Anwendung von Skalierungsoperationen erreicht werden, dass nach der Skalierung die Bildvorlage und das Bild einem gleichen Maß der optischen Vergrößerung entsprechen. Somit weist ein Objekt, welches sowohl in der Bildvorlage als auch im aufgenommenen Bild dargestellt ist, in der Bildvorlage und im aufgenommenen Bild gleich große Darstellungen auf. Ein Abgleich der optischen Vergrößerungen liegt im Sinne der Erfindung dann vor, wenn die Maße der optischen Vergrößerungen nach dem Abgleich technisch gleich sind, wofür sie sich auch um wenige Prozent unterscheiden können.
  • Nachdem der Abgleich der optischen Vergrößerungen erfolgt ist, wird in einem weiteren Schritt des erfindungsgemäßen Verfahrens die Bildvorlage im aufgenommenen Bild gesucht. Hierfür werden Methoden der Bilderkennung angewendet, die dem Fachmann bekannt sind.
  • Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass die Suche der Bildvorlage im aufgenommenen Bild durch skalierungsvariante Verfahren der Bilderkennung erfolgen kann. Durch das zuvor durchgeführte Abgleichen der optischen Vergrößerungen wird das skalierungsvariante Verfahren erfindungsgemäß so eingesetzt, dass die optische Vergrößerung bzw. die Skalierung invariant wird. Selbstverständlich kann zum Suchen der Bildvorlage im aufgenommenen Bild auch ein skalierungsinvariantes Verfahren genutzt werden, was ggf. zu verbesserten Ergebnissen bei der Suche führt.
  • Bevorzugt wird durch das Suchen der Bildvorlage im aufgenommenen Bild mindestens ein der Bildvorlage hinreichend ähnelnder Bildausschnitt des aufgenommenen Bildes gefunden. Die hinreichende Ähnlichkeit ist dann gegeben, wenn ein bestimmtes Maß der Ähnlichkeit zwischen der Bildvorlage und dem jeweiligen Bildausschnitt quantitativ erreicht ist. Das genannte Maß der Ähnlichkeit kann beispielsweise durch den Nutzer bestimmbar sein. Auch können verschiedene Ähnlichkeitsmaße durch den Nutzer auswählbar sein. Durch das Suchen der Bildvorlage im aufgenommenen Bild können auch mehrere, der Bildvorlage hinreichend ähnelnde Bildausschnitte im aufgenommenen Bild gefunden werden, insbesondere wenn das durch die Bildvorlage dargestellte Detail mehrfach an dem durch das Bild abgebildeten Objekt vorhanden ist.
  • Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens erfolgt das Abgleichen zwischen der optischen Vergrößerung der Bildvorlage und der optischen Vergrößerung des aufgenommenen Bildes dadurch, dass die optische Vergrößerung der Bildvorlage an die optische Vergrößerung des aufgenommenen Bildes angeglichen wird. Bei diesen Ausführungsformen wird das aufgenommene Bild nicht verändert, d. h. es wird nicht skaliert. Stattdessen wird ausschließlich die Bildvorlage skaliert. Die Bildvorlage wird vergrößert oder verkleinert, um dem während der Aufnahme des Bildes am digitalen Mikroskop gewählten Maß der optischen Vergrößerung zu entsprechen. Die Qualität dieser Skalierung kann durch Interpolation verbessert werden.
  • Bei abgewandelten Ausführungsformen kann auch die optische Vergrößerung des aufgenommenen Bildes an die optische Vergrößerung der Bildvorlage angeglichen werden. Auch können die optische Vergrößerung des aufgenommenen Bildes und die optische Vergrößerung der Bildvorlage verändert werden, um beide aufeinander abzugleichen.
  • Das Angleichen der optischen Vergrößerung der Bildvorlage an die optische Vergrößerung des aufgenommenen Bildes erfolgt bevorzugt dadurch, dass die Bildvorlage mit einem Skalierungsfaktor skaliert wird, welcher durch einen Quotienten aus dem am digitalen Mikroskop gewählten Maß der optischen Vergrößerung und dem der Bildvorlage zugeordneten Maß der optischen Vergrößerung gebildet ist. Dieser Quotient gibt unmittelbar an, mit welchem Faktor die Bildvorlage zu skalieren ist.
  • Die optische Vergrößerung der Bildvorlage und die optische Vergrößerung des aufgenommenen Bildes betragen bevorzugt jeweils zwischen 1 und 2.000, wobei das Verfahren auch für stärkere Vergrößerungen anwendbar ist. Der Skalierungsfaktor beträgt bevorzugt zwischen 0,25 und 2,0, wodurch mit vielen verfügbaren Methoden zum Suchen der Bildvorlage im aufgenommenen Bild gute Ergebnisse erreichbar sind.
  • Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens erfolgt das Bereitstellen der Bildvorlage dadurch, dass ein Ausschnitt aus einem mit dem digitalen Mikroskop aufgenommenen Referenzbild ausgewählt wird, wobei das der Bildvorlage zugeordnete Maß der optischen Vergrößerung durch das während der Aufnahme des Referenzbildes am digitalen Mikroskop gewählte Maß der optischen Vergrößerung gebildet ist. Das Referenzbild dient zur Darstellung eines Objektes, welches das zu findende Detail umfasst. Das Referenzbild wird also in gleicher Weise wie das zu untersuchende Bild mit dem digitalen Mikroskop aufgenommen. Auch wird das der Bildvorlage zugeordnete Maß der optischen Vergrößerung genauso wie das dem zu untersuchenden Bild zugeordnete Maß der optischen Vergrößerung ermittelt, nämlich durch Erfassen des am digitalen Mikroskop gewählten Maßes der optischen Vergrößerung. Das Auswählen des Ausschnittes aus dem Referenzbild erfolgt bevorzugt durch den Benutzer, wofür am digitalen Mikroskop bevorzugt eine entsprechende Mensch-Maschine-Schnittstelle ausgebildet ist, beispielsweise in Form einer interaktiven Auswahlfunktion.
  • Bei abgewandelten Ausführungsformen des erfindungsgemäßen Verfahrens erfolgt das Bereitstellen der Bildvorlage dadurch, dass es ausgehend von im Bild zu erkennenden Merkmalen synthetisiert wird, wobei das der Bildvorlage zugeordnete Maß der optischen Vergrößerung durch ein während der Synthese gewähltes Maß für ein Äquivalent der optischen Vergrößerung gebildet ist. Diese Ausführungsformen sind für solche Bildvorlagen bzw. Templates geeignet, die keiner realen Aufnahme bedürfen und synthetisiert werden können.
  • Das am digitalen Mikroskop gewählte Maß der optischen Vergrößerung wird bevorzugt dadurch erfasst, dass eine physikalische Einstellung einer mechanisch verstellbaren Zoomoptik des digitalen Mikroskops gemessen wird. Dies kann beispielsweise mit einem Sensor an der mechanisch verstellbaren Zoomoptik erfolgen, sodass das am digitalen Mikroskop gewählte Maß der optischen Vergrößerung mit dem Sensor gemessen wird. Da aber digitale Mikroskope zumeist eine Steuerelektronik zur Steuerung bzw. Regelung der mechanisch verstellbaren Zoomoptik besitzen, wird das am digitalen Mikroskop gewählte Maß der optischen Vergrößerung besonders bevorzugt in Form von Daten aus der Steuerelektronik ausgelesen. Die Steuerelektronik kann weiterhin dazu ausgebildet sein, die Daten eines Wechselobjektives zu erfassen, um in Abhängigkeit von der Einstellung der Zoomoptik die optische Vergrößerung zu bestimmen. Jedenfalls wird das am digitalen Mikroskop gewählte Maß der optischen Vergrößerung bevorzugt an der Hardware des digitalen Mikroskops, insbesondere an der mechanisch verstellbaren Zoomoptik gemessen, ohne hierfür vom digitalen Mikroskop aufgenommene Bilder berücksichtigen zu müssen.
  • Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird die Bildvorlage mehrfach im aufgenommenen Bild gesucht. Diese Ausführungsformen sind für zu untersuchende Objekte geeignet, welche das durch die Bildvorlage dargestellte Detail mehrfach aufweisen. Dabei ist die Anzahl der Vorgänge des Suchens bevorzugt auf eine festlegbare Maximalanzahl begrenzt. Die Maximalanzahl ist bevorzugt durch den Nutzer festlegbar, insbesondere an einer entsprechenden Mensch-Maschine-Schnittstelle.
  • Die zum Suchen der Bildvorlage im aufgenommenen Bild angewendete Methode der Bilderkennung ist bevorzugt durch mindestens einen Suchparameter steuerbar. Das Maß des mindestens einen Suchparameters ist bevorzugt durch den Nutzer festlegbar, insbesondere an einer entsprechenden Mensch-Maschine-Schnittstelle. Der Suchparameter ist bevorzugt durch ein Maß der Übereinstimmung gebildet. Es wird also jeweils das Maß der Übereinstimmung zwischen der Bildvorlage und einem zu untersuchenden Ausschnitt des aufgenommenen Bildes bestimmt.
  • Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird zum Suchen der Bildvorlage im aufgenommenen Bild mindestens eine Rotation der Bildvorlage vorgenommen. Bevorzugt werden mehrere Rotationen der Bildvorlage vorgenommen. Es erfolgt somit auch eine Suche der rotierten Bildvorlage im aufgenommenen Bild. Die mindestens eine Rotation weist bevorzugt einen Rotationswinkel von 90°, 180° und/oder 270° auf.
  • Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens bleiben festlegbare Regionen innerhalb der Bildvorlage beim Suchen der Bildvorlage im aufgenommenen Bild unberücksichtigt. Diese Regionen sind bevorzugt durch den Nutzer festlegbar, insbesondere an einer entsprechenden Mensch-Maschine-Schnittstelle.
  • Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen einen weiteren Schritt, welcher nach dem Finden des der Bildvorlage hinreichend ähnelnden Bildausschnittes des aufgenommenen Bildes erfolgt. Bei diesem Schritt werden die Bildvorlage und der gefundene Bildausschnitt übereinander bildlich dargestellt, wobei die Bildvorlage und der gefundene Bildausschnitt so zueinander angeordnet sind, dass Bildinhalte, die in der Bildvorlage und in dem gefundenen Bildausschnitt korrespondieren, übereinanderliegen. Damit die Bildvorlage und der gefundene Bildausschnitt gemeinsam sichtbar sind, wird bevorzugt zumindest die Bildvorlage oder der gefundene Bildausschnitt teiltransparent dargestellt. Das Maß der Teiltransparenz ist bevorzugt durch den Nutzer festlegbar, insbesondere an einer entsprechenden Mensch-Maschine-Schnittstelle. Alternativ werden die Bildvorlage und der gefundene Bildausschnitt zeitlich alternierend dargestellt, was bevorzugt durch den Nutzer steuerbar ist. Bei dem genannten Schritt des erfindungsgemäßen Verfahrens werden sich gleichende Bildinhalte und/oder sich unterscheidende Bildinhalte bevorzugt visuell hervorgehoben, sodass der Nutzer die Gemeinsamkeiten bzw. Unterschiede leicht erfassen kann.
  • Das erfindungsgemäße digitale Mikroskop umfasst zunächst eine Bildaufnahmeeinheit mit einem Objektiv und mit einer Zoomoptik, die mechanisch verstellbar ist. Die Bildaufnahmeeinheit ist bevorzugt durch einen elektronischen Bildwandler, z. B. ein CCD-Sensor oder ein CMOS-Sensor, gebildet. Das digitale Mikroskop umfasst weiterhin eine Bildverarbeitungseinheit, die zur Ausführung des erfindungsgemäßen Verfahrens ausgebildet ist. Bevorzugt ist die Bildverarbeitungseinheit zur Realisierung bevorzugter Ausführungsformen des erfindungsgemäßen Verfahrens ausgebildet. Im Übrigen weist das erfindungsgemäße digitale Mikroskop bevorzugt auch solche Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren oben beschrieben sind.
  • Das digitale Mikroskop umfasst bevorzugt weiterhin eine Anzeigeeinheit, welche bevorzugt durch einen Monitor gebildet ist. Die Anzeigeeinheit dient zur Darstellung der mit der Bildaufnahmeeinheit aufgenommenen Bilder. Im Übrigen dient die Anzeigeeinheit bevorzugt auch zum gemeinsamen Darstellen der Bildvorlage und des gefundenen Bildausschnittes.
  • Das digitale Mikroskop weist bevorzugt eine Steuerelektronik zur Steuerung bzw. Regelung der mechanisch verstellbaren Zoomoptik auf. Die Steuerelektronik ist elektronisch mit der Bildverarbeitungseinheit verbunden. Von der Steuerelektronik werden Daten, welche das am digitalen Mikroskop gewählte Maß der optischen Vergrößerung repräsentierten, an die Bildverarbeitungseinheit übermittelt.
  • Die Bildaufnahmeeinheit des digitalen Mikroskops ist gegenüber dem zu mikroskopierenden Objekt bevorzugt beweglich, insbesondere schwenkbar oder auch verschiebbar. Diese Bewegbarkeit ist bevorzugt automatisiert.
  • Das digitale Mikroskop umfasst bevorzugt weiterhin einen Probenträger zur Aufnahme des zu mikroskopierenden Objektes.
  • Der Probenträger ist bevorzugt beweglich, insbesondere verschiebbar. Diese Bewegbarkeit ist bevorzugt automatisiert.
  • Das digitale Mikroskop umfasst bevorzugt weiterhin eine Bedieneinheit zur Bedienung des Mikroskops durch den Benutzer. An der Bedieneinheit können beispielsweise optische Parameter, wie die optische Vergrößerung verändert werden, aber auch die Auswahl der Bildvorlage vorgenommen werden. Die Bedieneinheit ist bevorzugt zumindest teilweise in die Anzeigeeinheit integriert, insbesondere in Form eines Berührungsbildschirmes.
  • Die durch das digitale Mikroskop erzielbare optische Vergrößerung ist bevorzugt zwischen 1 und 1.000 und weiter bevorzugt zwischen 1 und 2.000 einstellbar.
  • Weitere Vorteile, Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform der Erfindung, unter Bezugnahme auf die Zeichnung. Es zeigen:
  • 1: ein Beispiel für eine gemäß dem erfindungsgemäßen Verfahren ausgewählte Bildvorlage;
  • 2: eine mikroskopische Aufnahme, in welcher die in 1 gezeigte Bildvorlage erfindungsgemäß gefunden wurde;
  • 3: die in 1 gezeigte Bildvorlage in einer weiteren Vergrößerung;
  • 4: die in 2 gezeigte mikroskopische Aufnahme in einer weiteren Vergrößerung;
  • 5: ein weiteres Beispiel für eine gemäß dem erfindungsgemäßen Verfahren ausgewählte Bildvorlage;
  • 6: eine mikroskopische Aufnahme, in welcher die in 5 gezeigte Bildvorlage erfindungsgemäß gefunden wurde;
  • 7: die in 5 gezeigte Bildvorlage in einer weiteren Vergrößerung;
  • 8: die in 6 gezeigte mikroskopische Aufnahme in einer weiteren Vergrößerung;
  • 9: die in 5 gezeigte Bildvorlage in einer weiteren Vergrößerung; und
  • 10: die in 6 gezeigte mikroskopische Aufnahme in einer weiteren Vergrößerung.
  • 1 zeigt ein Beispiel für eine Bildvorlage, welche gemäß dem erfindungsgemäßen Verfahren bereitgestellt wurde und in einem mikroskopisch aufgenommenen Bild (gezeigt in 2) zu suchen ist. Die Bildvorlage, die auch als Template bezeichnet werden kann, wurde mit einem erfindungsgemäßen digitalen Mikroskop aufgenommen und vom Nutzer als ein Bildausschnitt ausgewählt. Dabei zeigt die Bildvorlage ein Objekt im Sinne eines Referenzobjektes, welches der Nutzer in einem späteren mikroskopisch aufgenommenen Bild suchen lassen möchte. Bei dem gezeigten Beispiel ist das Objekt durch ein typisches SMD-Bauelement gebildet, das beispielsweise 2 mm breit ist. Bei der Aufnahme der Bildvorlage wurde die am digitalen Mikroskop eingestellte optische Vergrößerung erfasst.
  • 2 zeigt ein mikroskopisch aufgenommenes Bild einer mit mehreren elektronischen Bauelementen bestückten Platine. Dieses Bild wurde mit dem erfindungsgemäßen digitalen Mikroskop mit einer 18-fachen Vergrößerung aufgenommen. Durch Anwendung des erfindungsgemäßen Verfahrens wurde die in 1 gezeigte Bildvorlage drei Mal in diesem Bild gefunden, was durch drei Markierungsrahmen 01 veranschaulicht ist. Bei den in den drei Markierungsrahmen 01 dargestellten Objekten (z. B. C60) handelt es sich jeweils um ein SMD-Bauelement, welches dem in der Bildvorlage (gezeigt in 1) dargestellten SMD-Bauelement auch in seiner absoluten Größe gleicht. Daher wurden solche auf der Platine befindlichen SMD-Bauelemente, welche dem in der Bildvorlage (gezeigt in 1) dargestellten SMD-Bauelement lediglich geometrisch ähnlich sind (z. B. C50), nicht gefunden. Dies ist darauf zurückzuführen, dass das erfindungsgemäße Verfahren bevorzugt skalierungsvariant arbeitet, wobei eine typische Ausführungsform Objekte auch dann als mit der Bildvorlage übereinstimmend erkennt, wenn der Größenunterschied zwischen dem Objekt der Bildvorlage und dem zu bewertenden Objekt in der Aufnahme nicht mehr als 5 % beträgt.
  • Zum Suchen der Bildvorlage in der vorliegenden Aufnahme wurde die optische Vergrößerung der Bildvorlage an die 18-fache Vergrößerung der vorliegenden Aufnahme angepasst. Da die zur Aufnahme der Bildvorlage verwendete optische Vergrößerung bekannt ist, kann die Bildvorlage durch Skalierung so verändert werden, als wenn sie mit einer 18-fachen Vergrößerung aufgenommen worden wäre.
  • 3 zeigt die in 1 gezeigte Bildvorlage, nachdem sie durch Skalierung erfindungsgemäß auf eine 36-fache Vergrößerung angepasst wurde.
  • 4 zeigt in 2 gezeigte mikroskopische Aufnahme, für welche das erfindungsgemäße digitale Mikroskop auf eine 36-fache Vergrößerung eingestellt wurde. In dieser Aufnahme wurde die in 3 gezeigte ebenfalls einer 36-fachen Vergrößerung entsprechende Bildvorlage gesucht, was zu einem einzigen Fund führte, was wiederum durch den Markierungsrahmen 01 veranschaulicht ist.
  • 5 zeigt ein weiteres Beispiel für eine Bildvorlage, welche gemäß dem erfindungsgemäßen Verfahren bereitgestellt wurde und in einem mikroskopisch aufgenommenen Bild (gezeigt in 6) zu suchen ist. Die Bildvorlage wurde mit dem erfindungsgemäßen digitalen Mikroskop aufgenommen und vom Nutzer als ein Bildausschnitt ausgewählt. Bei dem gezeigten Beispiel ist das Objekt durch einen Lötpunkt gebildet. Bei der Aufnahme der Bildvorlage wurde die am digitalen Mikroskop eingestellte optische Vergrößerung erfasst. Die Bildvorlage wurde so skaliert, dass sie einer 36-fachen Vergrößerung entspricht.
  • 6 zeigt ein mikroskopisch aufgenommenes Bild einer Platine mit mehreren Lötpunkten. Dieses Bild wurde mit dem erfindungsgemäßen digitalen Mikroskop mit einer 36-fachen Vergrößerung aufgenommen. Durch Anwendung des erfindungsgemäßen Verfahrens wurde die in 5 gezeigte Bildvorlage dreizehn Mal in diesem Bild gefunden, was durch die dreizehn Markierungsrahmen 01 veranschaulicht ist. Bei den in den Markierungsrahmen 01 dargestellten Objekten handelt es sich jeweils um einen Lötpunkt, welches dem in der Bildvorlage (gezeigt in 5) dargestellten Lötpunkt auch in seiner absoluten Größe gleicht. Zudem wird deutlich, dass auch rotierte Kopien der Bildvorlage gesucht und gefunden wurden.
  • 7 zeigt die in 5 gezeigte Bildvorlage, nachdem sie durch Skalierung erfindungsgemäß auf eine 72-fache Vergrößerung angepasst wurde.
  • 8 zeigt die in 6 gezeigte mikroskopische Aufnahme, für welche das erfindungsgemäße digitale Mikroskop auf eine 72-fache Vergrößerung eingestellt wurde. In dieser Aufnahme wurde die in 7 gezeigte ebenfalls einer 72-fachen Vergrößerung entsprechende Bildvorlage gesucht, was zu sechs Funden führte, was wiederum durch die Markierungsrahmen 01 veranschaulicht ist.
  • 9 zeigt die in 5 gezeigte Bildvorlage, nachdem sie durch Skalierung erfindungsgemäß auf eine 108-fache Vergrößerung angepasst wurde.
  • 10 zeigt die in 6 gezeigte mikroskopische Aufnahme, für welche das erfindungsgemäße digitale Mikroskop auf eine 108-fache Vergrößerung eingestellt wurde. In dieser Aufnahme wurde die in 9 gezeigte ebenfalls einer 108-fachen Vergrößerung entsprechende Bildvorlage gesucht, was zu drei Funden führte, was wiederum durch die Markierungsrahmen 01 veranschaulicht ist.
  • Bezugszeichenliste
  • 01
    Markierungsrahmen
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102011083353 A1 [0002]
    • DE 102012012276 A1 [0003]
    • DE 102009054704 A1 [0004]

Claims (10)

  1. Verfahren zum Erkennen einer Bildvorlage in einem Bild eines digitalen Mikroskops, folgende Schritte umfassend: – Bereitstellen einer Bildvorlage, welcher ein Maß einer optischen Vergrößerung zugeordnet ist; – Aufnehmen eines Bildes mit einem digitalen Mikroskop, wobei ein am digitalen Mikroskop gewähltes Maß einer optischen Vergrößerung erfasst wird; – Abgleichen zwischen der optischen Vergrößerung der Bildvorlage und der optischen Vergrößerung des aufgenommenen Bildes ausgehend von dem der Bildvorlage zugordneten Maß der optischen Vergrößerung und von dem am digitalen Mikroskop gewählten Maß der optischen Vergrößerung; und – Suchen der Bildvorlage im aufgenommenen Bild nach erfolgtem Abgleich der optischen Vergrößerungen.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Abgleichen zwischen der optischen Vergrößerung der Bildvorlage und der optischen Vergrößerung des aufgenommenen Bildes dadurch erfolgt, dass die optische Vergrößerung der Bildvorlage an die optische Vergrößerung des aufgenommenen Bildes angeglichen wird.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Angleichen der optischen Vergrößerung der Bildvorlage an die optische Vergrößerung des aufgenommenen Bildes dadurch erfolgt, dass die Bildvorlage mit einem Skalierungsfaktor skaliert wird, welcher durch einen Quotienten aus dem am digitalen Mikroskop gewählten Maß der optischen Vergrößerung und dem der Bildvorlage zugordneten Maß der optischen Vergrößerung gebildet ist.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Skalierungsfaktor zwischen 0,25 und 2,0 beträgt.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Bereitstellen der Bildvorlage dadurch erfolgt, dass ein Ausschnitt aus einem mit dem digitalen Mikroskop aufgenommenen Referenzbild ausgewählt wird, wobei das der Bildvorlage zugeordnete Maß der optischen Vergrößerung durch das während der Aufnahme des Referenzbildes am digitalen Mikroskop gewählte Maß der optischen Vergrößerung gebildet ist.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das am digitalen Mikroskop gewählte Maß der optischen Vergrößerung in Form von Daten aus einer Steuerelektronik zur Steuerung einer mechanisch verstellbaren Zoomoptik des digitalen Mikroskops ausgelesen wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Bildvorlage mehrfach im aufgenommenen Bild gesucht wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass es folgenden weiteren Schritt umfasst, welcher nach dem Finden eines der Bildvorlage hinreichend ähnelnden Bildausschnittes des aufgenommenen Bildes erfolgt: – Darstellen der Bildvorlage und des gefundenen Bildausschnittes, wobei die Bildvorlage und der gefundene Bildausschnitt übereinander und so zueinander angeordnet sind, dass in der Bildvorlage und in dem gefundenen Bildausschnitt korrespondierende Bildinhalte übereinanderliegen.
  9. Digitales Mikroskop, umfassend eine Bildaufnahmeeinheit mit einem Objektiv und mit einer Zoomoptik, die zur Veränderung einer optischen Vergrößerung des digitalen Mikroskops mechanisch verstellbar ist; und eine Bildverarbeitungseinheit, die zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 8 konfiguriert ist.
  10. Digitales Mikroskop nach Anspruch 9, dadurch gekennzeichnet, dass es weiterhin eine Steuerelektronik zur Steuerung der mechanisch verstellbaren Zoomoptik aufweist, die mit der Bildverarbeitungseinheit elektronisch verbunden ist.
DE102014106233.7A 2014-05-05 2014-05-05 Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage Pending DE102014106233A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014106233.7A DE102014106233A1 (de) 2014-05-05 2014-05-05 Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014106233.7A DE102014106233A1 (de) 2014-05-05 2014-05-05 Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage

Publications (1)

Publication Number Publication Date
DE102014106233A1 true DE102014106233A1 (de) 2015-11-05

Family

ID=54325981

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014106233.7A Pending DE102014106233A1 (de) 2014-05-05 2014-05-05 Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage

Country Status (1)

Country Link
DE (1) DE102014106233A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004008681T2 (de) * 2003-02-05 2008-06-12 Hamamatsu Photonics K.K., Hamamatsu Mikroskop-System und Verfahren
DE102009054704A1 (de) 2009-12-15 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Mikroskop zur Aufnahme eines Mosaikbildes sowie Aufnahmeverfahren für ein solches Mikroskop
DE102012215307A1 (de) * 2011-08-31 2013-02-28 Keyence Corporation Vergrößerungsbeobachtungsvorrichtung, Vergrößerungsbeobachtungsverfahren und Vergrößerungsbeobachtungsprogramm
DE102011083353A1 (de) 2011-09-23 2013-03-28 Carl Zeiss Ag Abbildungsvorrichtung und Abbildungsverfahren
DE102012223763B3 (de) * 2012-12-19 2013-08-22 Leica Microsystems (Schweiz) Ag Verfahren zur Selbstkalibrierung eines Mikroskopgeräts
DE102012012276A1 (de) 2012-06-21 2013-12-24 Carl Zeiss Microscopy Gmbh Mikroskopiervorrichtung und Verfahren zum Betreiben einer Mikroskopiervorrichtung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004008681T2 (de) * 2003-02-05 2008-06-12 Hamamatsu Photonics K.K., Hamamatsu Mikroskop-System und Verfahren
DE102009054704A1 (de) 2009-12-15 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Mikroskop zur Aufnahme eines Mosaikbildes sowie Aufnahmeverfahren für ein solches Mikroskop
DE102012215307A1 (de) * 2011-08-31 2013-02-28 Keyence Corporation Vergrößerungsbeobachtungsvorrichtung, Vergrößerungsbeobachtungsverfahren und Vergrößerungsbeobachtungsprogramm
DE102011083353A1 (de) 2011-09-23 2013-03-28 Carl Zeiss Ag Abbildungsvorrichtung und Abbildungsverfahren
DE102012012276A1 (de) 2012-06-21 2013-12-24 Carl Zeiss Microscopy Gmbh Mikroskopiervorrichtung und Verfahren zum Betreiben einer Mikroskopiervorrichtung
DE102012223763B3 (de) * 2012-12-19 2013-08-22 Leica Microsystems (Schweiz) Ag Verfahren zur Selbstkalibrierung eines Mikroskopgeräts

Similar Documents

Publication Publication Date Title
DE60312754T2 (de) Mikroskopischen Abbildungssystem und Methode zur Datenerfassung
DE102009029478B4 (de) System und Verfahren für einen schnellen ungefähren Fokus
DE69530367T2 (de) Kontrolle eines Mikroskopprobenträgers
DE602004008681T2 (de) Mikroskop-System und Verfahren
WO2018134129A1 (de) Mikroskop und verfahren zum mikroskopieren einer probe
DE102014206309A1 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
EP3558160B1 (de) Verfahren zur ausrichtung einer kamera oder scanvorrichtung mit einem dentalhilfselement
DE102010063392A1 (de) Mikroskop mit Sensorbildschirm
DE102007033793A1 (de) Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
DE102009057885A1 (de) Abbildungsvorrichtung
DE202019105838U1 (de) Anordnung mit einem Koordinatenmessgerät oder Mikroskop
DE102016202928A1 (de) Verbessertes Autofokusverfahren für ein Koordinatenmessgerät
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
WO2015176888A1 (de) Verbessertes autofokusverfahren für ein koordinatenmessgerät
DE112015006271T5 (de) Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
DE102019201916A1 (de) Verfahren und Vorrichtung zur Inspektion von Nano-und Mikrostrukturen
DE102019107267A1 (de) Verfahren zur hochauflösenden Scanning-Mikroskopie
DE4226523A1 (de) Verfahren und Vorrichtung zum automatischen Fokussieren auf Objekte
DE102011114583A1 (de) Stereo-Bildwiedergabesystem
DE19812599C2 (de) Verfahren zur Video-Mikroskopie
EP3857303A1 (de) Verfahren zur fokuseinstellung einer filmkamera
DE102014106233A1 (de) Digitales Mikroskop und Verfahren zum Erkennen einer Bildvorlage
AT514106A1 (de) Verfahren zum Fokussieren von kontrastbehafteten Bilddetails
DE102007038785A1 (de) Verfahren und Vorrichtung zum Bestimmen von Geometriedaten eines Messobjekts
DE102019119310A1 (de) Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication