-
Die Erfindung betrifft ein Verfahren zur Erzeugung einer dreidimensionalen Information eines mit einem Digitalmikroskop betrachteten Objektes und ein Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens.
-
In einem Digitalmikroskop werden mittels eines Bildsensors Bilder eines vorzugsweise auf einem Objekttisch platzierten Objektes erfasst, digital verarbeitet und meist auf einem Monitor angezeigt und/oder in einem Speicher abgelegt.
-
Häufig werden in der Mikroskopie dreidimensionale Modelle des Objektes oder Darstellungen mit erweiterter Tiefenschärfe (EDOF – extended depth of field) erzeugt, indem unter Variation der Fokusposition sogenannte vertikale Bildstapel (z-stacks) aufgenommen und per Software ausgewertet werden.
-
Bei der 3D-Modellgenerierung werden die Informationen der einzelnen Bilder (insbesondere Kanten- und Kontrastpositionen in der Bildebene) mit Statusinformationen des Mikroskopes (Fokusposition) verknüpft, um zu Höheninformationen über die Lage einer detektierten Kante im Raum zu gelangen.
-
Bei der Erzeugung von Bildern mit erweiterter Tiefenschärfe werden aus den einzelnen Bildebenen des Bildstapels jeweils die scharf abgebildeten Bereiche zu einem einzelnen EDOF-Bild berechnet, so dass im Vergleich zu einem Einzelbild mit vergleichsweiser geringer Tiefenschärfe ein meist künstlich scharfes Abbild mehrerer Tiefenschärfeebenen des gesamten Objektes (das eine räumliche Erhebung aufweist) erzeugt werden kann.
-
Die
EP 2 687 890 A1 beschreibt ein Gerät und Verfahren zur Komprimierung von Stapelbildern von mikroskopischen Aufnahmen.
-
Aus der
EP 2 687 893 A1 ist ein Verfahren zur Verbesserung der Tiefenschärfe (DOF) in der Mikroskopie bekannt. Ein Stapel von Bildern mit verschiedenen Fokuseinstellungen (z-stack) wird als Sequenz aufgenommen. Anschließend erfolgt eine pixelweise Fokusmessung, eine Ermittlung von Kandidaten-Werten für das All-Fokus-Bild basierend auf Peaks in der Fokusmessung für bestimmte Fokuspositionen. Anschließend werden die Kandidaten ineinander gemischt (überblendet) und zum Endbild mit erweiterter Tiefenschärfe zu gelangen. Ein Nebenprodukt dabei ist eine Höhenkarte des Objektes. Die Berechnungen benötigen viele Filterungen und sind relativ aufwendig.
-
Die Berechnungen werden erschwert, wenn Teilbereiche in keinem oder nicht in allen Bildern eines Stapels detailreich sind. Wenn die Pixelinformationen in diesen Teilbereichen in mehreren Bildern des Stapels fehlerhaft sind ist es schwierig, das 3D-Modell oder All-Fokus-Bild zu berechnen. Die Messung des Fokus in jedem Pixel eines jeden Stapelbildes ist softwaretechnisch insbesondere mit großem Rechenaufwand verbunden.
-
Die Aufgabe der Erfindung besteht darin, die Generierung einer Höhenkarte bzw. eines aus der Höhenkarte generierten 3D-Modells eines unter einem Digitalmikroskop betrachteten Objektes hinsichtlich der Qualität der Darstellung und der Geschwindigkeit der Berechnung zu verbessern. Weiterhin soll es dem Benutzer erleichtert werden, die richtigen Mikroskopeinstellungen zur Generierung hochwertiger 3D-Modelle des betrachteten Objektes zu finden.
-
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein Datenverarbeitungsprogramm mit den Merkmalen des Anspruchs 9 gelöst.
-
Ein erfindungsgemäßes Verfahren dient der Erzeugung einer dreidimensionalen Information eines Objektes in einem Digitalmikroskop, wobei aus einem Bildstapel (z-stack) weitere Informationen über das Objekt, insbesondere eine Höhenkarte bzw. ein 3D-Model des abgebildeten Objektes generierbar sind.
-
Das Verfahren kann dabei wahlweise in einer Bildverarbeitungseinheit der Mikroskopes integriert sein oder beispielsweise als Software auf einem PC ausgeführt werden, wenn die Bilddaten auf dem PC vorliegen oder per Schnittstelle an diesen übermittelt werden.
-
Das Digitalmikroskop umfasst in an sich bekannter Weise eine optische Einheit mit zumindest einem Objektiv und einer digitalen Bildaufnahmeeinheit, mit welcher ein Objekt auf einem Bildsensor erfasst wird. Das Objektiv oder ein Objekttisch sind zur Variation einer Fokusposition vertikal verlagerbar, wobei die aktuelle Fokusposition bei jeder Bildaufnahme ermittelt wird. Dies geschieht meist mittels codierter Wegmesssysteme des Objekttisches oder eines Fokustriebes. Das Digitalmikroskop kann auch eine Zoomvorrichtung umfassen, wobei die Stapelbildverarbeitung auch bei der Nutzung verschiedener Zoomeinstellungen möglich sein soll.
-
Die von der Bildaufnahmeeinheit erfassten Bilder können mittels einer Schnittstelle an einen PC oder Datenspeicher zur Weiterverarbeitung übermittelt werden, oder auch in einer im Mikroskop integrierten Bildverarbeitungseinheit weiterbearbeitet werden.
-
Mit einer Steuereinrichtung des Digitalmikroskopes werden auch solche Funktionen des Digitalmikroskopes gesteuert, welche zur Erfassung von digitalen Bildern erforderlich sind. Dies sind insbesondere Fokusposition, Belichtungszeit (Integrationszeit des Bildsensors), Beleuchtung und Blendensteuerung. Ein erfindungsgemäßes Verfahren läuft dabei in der Bildverarbeitungseinheit ab, welche wie zuvor beschreiben im Digitalmikroskop oder einem separaten Computer integriert sein kann.
-
Bei dem erfindungsgemäßen Verfahren wird zunächst in an sich bekannter Weise ein Bildstapel (z-stack) erzeugt, indem für verschiedene Fokuspositionen jeweils ein Bild erfasst wird. Das Bild wird mit seiner zugehörigen Fokusposition als Metadatum im Bildstapel gespeichert. Für die Aufnahme des Bildstapels ist es unerheblich, ob beispielsweise der Fokus stufenweise variiert oder stufenlos durchfahren wird. Die Fokusvariation ist bekannterweise auf verschiedene Arten möglich, nämlich zum Beispiel durch vertikale Verstellung eines Objekttisches oder Fokusverstellung durch vertikale Bewegung des Objektivs oder Teilen davon.
-
Mit bekannten Mitteln der Bildverarbeitung wird nun eine Höhenkarte des Objektes aus den Einzelbilden berechnet, indem beispielsweise durch Kontrastdetektion Kanten im Bild gefunden werden, denen eindeutige Ebenkoordinaten (X, Y) und Höheninformationen (Z) zuordenbar sind. An Stellen, an denen die Pixelinformationen gestört sind, beispielsweise durch Über- oder Unterbelichtung oder Kontrastarmut kann weder eine Kantendetektion erfolgen, noch eine definierte Höhe zugeordnet werden, da solche Störungen meist in einem Großteil oder im gesamten Bildstapel vorhanden sind.
-
Aus der Höhenkarte und den Bildinformationen kann nun ein 3D-Modell generiert werden.
-
Erfindungsgemäß wird in einer bevorzugten Ausführungsform der Erfindung die Höhenkarte bzw. das 3D-Modell oder eine Vorstufe davon nach Pixeldefekten untersucht. Wird ein Pixeldefekt gefunden, erfolgt vorzugsweise eine automatische Korrektur durch Interpolation mit benachbarten Pixeln vorzugsweise an derselben Fokusposition.
-
Der Erfindung liegt dabei die Idee zugrunde, Teilbereiche in einen Bild mit erweiterter Tiefenschärfe oder einer Vorstufe davon (EDOF-Bild) zu detektieren, um festzustellen, ob bestimmte Bildinformationen keiner Fokusposition eindeutig zuordenbar sind, welche bei der Generierung der Höhenkarte oder des 3D-Modells zu Fehlerquellen werden. Das EDOF-Bild wird dabei aus dem gesamten Bildstapel ermittelt.
-
Im Prozess der Berechnung des EDOF-Bildes werden Bereiche oder einzelne Pixel detektiert, die solche Pixeldefekte aufweisen. Solche Teilbereiche können als Pixeldefekt einen geringen Kontrast aufweisen, insbesondere in Bereichen der Abbildung, die nicht im Fokus der Abbildungsoptik liegen. Weiterhin treten häufig in Teilbereichen eine Über- oder Unterbelichtung auf, welche durch die Beleuchtung, Belichtungszeit und Blendeneinstellung des Digitalmikroskopes beeinflusst werden. Aus den defekten Teilbereichen können im Normalfall weder Fokus- noch Kontrastinformationen gewonnen werden.
-
Probleme mit Über- oder Unterbelichtung können häufig bei der Inspektion glänzender/reflektierender Oberflächen in verschiedenen Beleuchtungssituationen auftreten.
-
Die Detektion und Korrektur der Pixelfehler erfolgt dabei vorzugsweise automatisch in dem Prozess der Berechnung des EDOF-Bildes. Je nach der Qualität des EDOF-Bildes bzw. der möglichen Korrektur wird ab einem definierten Schwellenwert an Pixeldefekten (beispielsweise 50% Pixeldefekte) einem Benutzer per Schnittstelle die Möglichkeit gegeben, die Mikroskopaufnahmen unter anderen Mikroskopeinstellungen, z. B. Belichtung, Beleuchtung, Blende und/oder unter der Nutzung von HDR (Stapelaufnahme mit Belichtungsreihen in jedem Bild des Stapels und Generierung eines HDR-Bildes aus der Belichtungsreihe) zu wiederholen, um eine bessere Qualität zu erreichen. Zu diesem Zweck hat das erfindungsgemäße Verfahren in einer bevorzugten Ausführungsform Zugriff auf eine Steuereinheit des Digitalmikroskopes.
-
Die Erkennung der Pixelfehler Unterbelichtung, Überbelichtung und zu geringer Kontrast erfolgt mit bekannten Bildverarbeitungsprozeduren und unter dem festgelegten Schwellenwert automatisch. Der Schwellenwert kann selbstverständlich an verschiedene Genauigkeitsvorgaben variabel angepasst werden.
-
Die Generierung der Höhenkarte oder des 3D-Modells aus dem Stapelbild mit Fokusinformationen ist dem Fachmann prinzipiell bekannt, daher wird hier auf weitergehende diesbezügliche Erläuterungen verzichtet.
-
Das erfindungsgemäße Computerprogramm ermittelt vor der Berechnung des 3D-Modells die Orte und die Anzahl der Pixelfehler aus dem EDOF-Bild oder der Höhenkarte oder einem im Bildverarbeitungsprozess vorgelagerten Zwischenprodukt.
-
Zur Detektion der Pixelfehler im EDOF-Bild erfolgt vorzugsweise ein mehrfaches Herunterskalieren (Downsampling), die Pixeldefekte sind danach immer noch lokaliserbar, jedoch kann dadurch die Verwendung aufwendiger und rechenintensiver Filter vermieden werden und die Detektion wird sehr schnell.
-
Es wird eine Indextabelle erzeugt, welche Informationen darüber enthält, aus welchem Bild des Bildstapels Pixel für die Generierung des EDOF-Bildes verwendet werden.
-
Die Indextabelle und Höhenkarte sollten im besten Fall die gleichen Informationen enthalten, jedoch werden aufgrund von prinzipbedingtem Rauschen (Pixelrauschen in Farbe und Helligkeit) oder Mikroskop-Systemfehlern Unterschiede auftreten.
-
Die Genauigkeit der dreidimensionalen Informationen, die aus dem Bildstapel gewonnen werden, lässt sich erhöhen, wenn die Informationen der Indextabelle und Höhenkarte in jedem Farbkanalteilbild R, G, B ausgewertet werden. So wird der beste Pixelkontrast und die beste Textur erreicht. Die Unterschiede zwischen Indextabelle und Höhenkarte in den drei Farbkanälen definieren einen Bildfehler. Dieser wird zu den Daten der Indextabelle in jedem Kanal R, G, B addiert, um zum EDOF-Bild zu gelangen.
-
Bilder des Bildstapels, welche zu wenige brauchbare Informationen erhalten, werden vorteilafterweise zuvor aus dem Bildstapel gelöscht, um unnötigen Rechenaufwand zu vermeiden. Dies unbrauchbaren Bilder können durch eine globale Messung ermittelt werden.
-
Ab einer bestimmten Anzahl an Pixeldefekten wird die Berechnung der dreidimensionalen Information abgewiesen. Je nach Fehlerhaltigkeit kann der Benutzer dann wählen, ob er mit anderen Mikroskopeinstellungen, wie zum Beispiel unter Verwendung von HDR einen neuen Bildstapel aufnehmen möchte.
-
Wenn der Benutzer mit dem erfassten Bildstapel fortfahren möchte, so werden die detektierten Pixelfehler von der Software automatisch korrigiert, und zwar vorzugsweise durch Interpolation mit benachbarten Pixeln eines Bildes. Solche Korrekturen sind an sich aus dem Bereich der Digitalkameras und Bildverarbeitungssoftware bekannt. Diese Korrekturen erfolgen erfindungsgemäß immer automatisch, erst wenn wegen zu vieler Pixeldefekte die Berechnung zurückgewiesen wird, kann ein Benutzereingriff erfolgen.
-
Wenn in dem erfindungsgemäßen Verfahren der Schwellenwert z. B. 50% beträgt und in einem EDOF-Bild mehr als 50% Pixeldefekte wegen Unter- oder Überbelichtung detektiert werden, wird vor einer Anzeige bzw. Berechnung des 3D-Modells oder der Höhenkarte über eine Benutzerschnittstelle eine Meldung an den Benutzer ausgegeben mit der Empfehlung, eine erneute Stapelaufnahme unter Nutzung von HDR (High Dynamic Range) zu erzeugen. Der Benutzer kann nun wählen, ob er eine neue HDR-Aufnahme generieren, mit dem schon aufgenommenen Bild fortfahren, die Pixeldefekte anzeigen oder den Vorgang abrechen und zur Live-Ansicht zurückkehren will.
-
Eine ähnliche Meldung wird generiert, wenn mehr als 50% der Pixel einen zu geringen Kontrakt aufweisen. Dies tritt meist in Kombination mit Unterbelichtung oder Überbelichtung auf. Der Benutzer wird dann gefragt, ob ein Refokussierung erfolgen, mit dem Stapelbild fortgefahren oder die Pixeldefekte angezeigt werden sollen. Auch dieser Kontrastschwellenwert ist individuell anpassbar.
-
Will der Benutzer mit dem jeweiligen Bildstapel fortfahren, so erfolgt eine automatische Korrektur von Belichtung und/oder Kontrast und eine Berechnung des 3D-Modells, welches in dem zugehörigen Auftrag abgespeichert wird.
-
Wählt der Benutzer die Anzeige der Pixeldefekte, so werden die entsprechenden Bereiche in der Anzeige farblich hervorgehoben dargestellt. Dabei sieht der Benutzer in den hervorgehobenen Pixeln auch die Art des Pixeldefektes. Der Benutzer kann nun (beispielsweise nach einer manuellen Sichtung de Objektes) erneut wählen, ob er mit dem Ergebnis fortfahren will oder nicht. Wählt er „Ja”, so wir das korrigierte 3D-Modell gespeichert (ohne die Darstellung der Pixeldefekte), wählt er „Nein”, kehrt das Programm zum Live-Bild-Modus zurück, ohne das 3D-Modell zu speichern.
-
Solche Prozesse der 3D-Betrachtung und -bewertung spielen eine zunehmende Rolle in der Qualitätsüberwachung/-kontrolle (QA/QC) beispielsweise in der Halbleiterherstellung oder bei der Fertigungsüberwachung elektronischer Komponenten. Aber auch andere Bereiche beispielsweise der Materialforschung kommen für die Anwendung der Erfindung in Betracht. Die Anwendung des erfindungsgemäßen Verfahrens für andere Beobachtungsaufgaben soll durch diese beispielhafte Aufzählung nicht eingeschränkt sein.
-
Einige Aspekte und Vorteile des erfindungsgemäßen Verfahrens werden nachfolgend mit Hilfe der Figuren erläutert.
-
Es zeigen:
-
1: Eine Bildschirmanzeige einer 3D-Rekonstruktion eines mikroskopisch erfassten Stapelbildes eines Objektes mit fehlerhaften Pixeln;
-
2: eine Bildschirmanzeige der in 1 dargestellten 3-Rekonstruktion mit Hervorhebung verschiedener Pixeldefekte;
-
3: eine Bildschirmanzeige der in 1 dargestellten 3D-Rekonstruktion nach Korrektur der Pixeldefekte;
-
4: eine 3D-Rekonstruktion eines Leiterkartenabschnittes mit und ohne Korrektur der Pixeldefekte;
-
5: eine Höhenkarte des in 4 gezeigten Leiterkartenabschnittes mit und ohne Korrektur der Pixeldefekte.
-
6: eine 3D-Rekonstruktion eines Gewindes eines Objektes mit und ohne Korrektur der Pixeldefekte;
-
7: eine Höhenkarte des in 6 gezeigten Gewindes mit und ohne Korrektur der Pixeldefekte.
-
1 zeigt eine Bildschirmdarstellung einer 3D-Rekonstruktion eines mikroskopierten Objektes, in diesem Fall eines Abschnittes einer Leiterplatte 01. Zu erkennen sind ein Bauelement 02 und ein Bauelement 03, welche sehr extreme Bereiche aufweisen, die ohne die erfindungsgemäße Korrektur falsche Höheninformationen aufweisen.
-
In 2 ist gezeigt, wie auf dem Bildschirm in der 3D-Rekonstruktion detektierte Pixeldefekte angezeigt werden. Vorzugsweise erfolgt die Darstellung der Pixeldefekte am Bildschirm in grellen Farben, damit sie deutlich von fehlerfreien Bildkomponenten unterscheidbar sind. Solche Darstellungen sind aus Bildverarbeitungsprogrammen bekannt.
-
Bereiche mit einer Überbelichtung 04 sind dabei beispielsweise rot dargestellt, Bereiche mit einer Unterbelichtung 05 blau und Bereiche mit einem zu geringen Kontrast 06 grün.
-
Sofern der Benutzer nach einer Abfrage bestätigt, dass er mit dieser Aufnahme in korrigierter Form fortfahren will, werden die Pixeldefekte vorzugsweise durch Interpolation mit benachbarten Pixeln korrigiert. Ergebnis ist das in 3 gezeigte 3D-Modell des Leiterplattenabschnittes 01, bei dem nun deutlich die realen Konturen der Bauelemente 02 und 03 erkennbar sind.
-
In 4 ist ein 3D-Modell einer Leiterplatte 10 als Übersichtsdarstellung in Abb. a ohne Korrektur und in Abb. b nach Anwendung der erfindungsgemäßen Korrektur gezeigt. Deutlich erkennbar sind die Höhenunterschiede eines Bauelementes 11 und das Nichtvorhandensein eines Bauelementes 12 (2) vor und nach der Korrektur. Ebenso sind die detektierten Pixeldefekte Überbelichtung 04, Unterbelichtung 05 und zu geringer Kontrast 06 farbig hervorgehoben, wie in 2 beschrieben
-
In den in 5 gezeigten Höhenkarten vor (Abb. a) und nach der Korrektur (Abb. b) ist zu erkennen, dass ohne Korrektur ein Bauelement 12 erkannt wird, was aber tatsächlich auf der Leiterkarte nicht vorhanden ist. Hier wird deutlich dass eine solche Korrektur enorme Verbesserungen in der automatisierten Qualitätskontrolle erbringen kann. Außerdem ist deutlich die klare Kontur des Bauelementes 11 nach der Korrektur (Abb. b) erkennbar. In diesem Fall ist an der Stelle 09 kein Bauteil vorgesehen. Durch die Pixeldefekte in der Aufnahme würde eine Höheninformation generiert werden bzw. das Bauelement 12 fehlerhaft erkannt. Ohne Korrektur wäre hier in einer automatisierten Kontrolle kein korrektes Ergebnis registriert worden.
-
6 zeigt ein rekonstruiertes 3D-Modell eines Gewindes einer Schraube 08 vor (Abb. a) und nach der Korrektur (Abb. b). Auch hier sind die Pixeldefekte Überbelichtung 04, Unterbelichtung 05 und zu geringer Kontrast 06 angezeigt. Deutlich zu erkennen sind die Höhenunterschiede (z. B. Bereiche am Rand und in der Mitte) vor und nach der Korrektur sowohl in der 3D-Darstellung als auch in der in 7 dargestellten Höhenkarte.
-
Bezugszeichenliste
-
- 01
- Leiterplatte
- 02
- Bauelement
- 03
- Bauelement
- 04
- Bereich mit Überbelichtung
- 05
- Bereich mit Unterbelichtung
- 06
- Bereich mit zu geringem Kontrast
- 07
-
- 08
- Schraube
- 09
- Stelle
- 10
- Leiterplatte
- 11
- Bauelement
- 12
- Bauelement
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2687890 A1 [0006]
- EP 2687893 A1 [0007]
