DE102017109698A1

DE102017109698A1 - Bestimmen von Kontextinformation für Wechselkomponenten eines optischen Systems

Info

Publication number: DE102017109698A1
Application number: DE102017109698.1A
Authority: DE
Inventors: Daniel Haase; Thomas Ohrt
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2017-05-05
Filing date: 2017-05-05
Publication date: 2018-11-08
Also published as: CN110730923A; US20200057291A1; CN110730923B; WO2018202454A2; WO2018202454A3; US12007546B2

Abstract

Es wird mindestens ein Bild erhalten, welches eine Außenansicht mindestens einer Wechselkomponente (111-116) eines optischen Systems (100) abbildet. Es wird Kontextinformation für die mindestens eine Wechselkomponente (111-116) basierend auf dem mindestens einen Bild bestimmt.

Description

TECHNISCHES GEBIET
Verschiedene Ausführungsformen der Erfindung betreffen im Allgemeinen ein optisches System mit ein oder mehreren Wechselkomponenten. Verschiedene Beispiele der Erfindung betreffen insbesondere Techniken, um Kontextinformation für ein oder mehrere Wechselkomponenten des optischen Systems basierend auf einem oder mehreren Bildern, welches eine Außenansicht der ein oder mehreren Wechselkomponenten abbildet, zu bestimmen.
HINTERGRUND
Beim Wechsel von Wechselkomponenten eines Mikroskopsystems kann es oftmals erstrebenswert sein, Wissen über den aktuellen Betriebszustand des Mikroskopsystems zu erhalten, d. h. einen oder mehrere Betriebsparameter zu bestimmen. Oftmals ist es für den korrekten Betrieb des Mikroskopsystems erstrebenswert, Kontextinformation betreffend die verwendeten Wechselkomponenten zu erhalten. Beispiele für solche Kontextinformation, die für den Betrieb des Mikroskopsystems hilfreich sein können, umfassen beispielsweise die verfügbare Vergrößerung wenn die Wechselkomponente ein Wechselobjektiv ist, das Transmissionsverhalten der Wechselkomponente oder Toleranzen.
In Referenzimplementierungen ist es erforderlich, solche Kontextinformation, die einen oder mehrere Betriebsparameter indiziert, manuell einzugeben. Dabei haben intuitive Bedienkonzepte eine immer größer werdende Bedeutung für den Kauf von elektronischen Geräten. Besonders Mikroskopsysteme können aus verschiedenen Gründen von einer besseren Automatisierung profitieren:
Bei komplexen „High End“ Mikroskopstativen, z. B. einem Laser Scanning Mikroskop (LSM), ist eine umfassende Motorisierung erstrebenswert, weshalb oftmals eine Vielzahl an beweglichen Teilen und Zubehörkomponenten verwendet wird. Damit das LSM anwenderfreundlich bedient werden kann, werden mehrere Wechselkomponenten automatisch in den optischen Strahlengang eingeführt/herausgefahren bzw. Lichtquellen/Lichtwege an/freigeschaltet. Aufgrund der vielen Kombinationsmöglichkeiten sowie Kundenschnittstellen am Mikroskopstativ, ist es erstrebenswert, die verwendeten Wechselkomponenten und den Zustand/Position der Wechselkomponenten als Kontextinformation zu erfassen.
In einem weiteren Anwendungsfall werden manuelle Stative für Digitalaufnahmen bei der Lichtmikroskopie genutzt. Um später die Aufnahmen vermessen zu können, sollten Skalierungen der Aufnahme als Kontextinformation verfügbar sein, d. h. die Vergrößerung, Detektorapertur, und Bildkorrektur.
Auch bei okularbasierten Aufnahmen, bei denen ein tragbares Gerät mit Kamera -z. B. ein Handy bzw. Smartphone - am Stereomikroskop oder Allgemein am Mikroskopstativ angebracht ist, wird Kontextinformationen betreffend das Objektiv verwendet, um bildbasiert Messungen oder Korrekturen an den mittels der Kamera erfassten Bildern vornehmen zu können. Daher ist eine zuverlässige, automatische Erfassung der Kontextinformation am tragbaren Gerät erstrebenswert, damit später in Bildverarbeitungsprogrammen absolute Messungen vorgenommen werden können. Mittlerweile gibt es Aufsätze für tragbare Geräte auch für Ferngläser, Spektive und Teleskope.
Dabei sind aus dem Stand der Technik unterschiedliche Lösungen bekannt, um automatisiert Kontextinformation in einem optischen System mit Wechselkomponenten zu bestimmen. Dabei wird z. B. die Kontextinformation zwischen einem Datenspeicher der Wechselkomponente und einem Steuergerät übertragen. Beispielsweise kann eine solche Übertragung mittels drahtloser Transponder erfolgen, siehe DE 10 2005 010 479 A1 . Eine weitere Übertragungstechnik verwendet Magnetismus bzw. Kapazitäten, siehe DE 102 45 170 A1 . Eine weitere Übertragungstechnik verwendet Schleifkontakte.
Beispielsweise kann Kontextinformation in Referenzimplementierungen mittels Near Field Communication (NFC) bestimmt werden. Es ist auch eine Technik der Automatic Component Recognition (ACR) bekannt.
Solche vorbekannten Techniken weisen aber bestimmte Einschränkungen und Nachteile auf. Beispielsweise kann es vergleichsweise aufwändig sein, eine entsprechende Übertragungsvorrichtung zu implementieren. Außerdem kann es möglich sein, dass eine entsprechende Übertragungsvorrichtung einen vergleichsweise hohen Energiebedarf hat, so dass die Versorgung mit elektrischer Energie aufwändig gestaltet werden muss.
Solche Referenztechniken basieren ferner darauf, dass eine Modifikation der Wechselkomponenten erfolgt. Diese Modifikationen verursachen Kosten, die sich negativ auf den Preis des Produktes auswirken und mit erhöhten Zeitaufwänden betreut werden müssen. Nicht alle Wechselkomponenten können eine nachträgliche Umrüstung / Modifikation ermöglichen. Auch manuelle Einträge in die Systemdatenbank bedeuten einen Mehraufwand bzw. stellen ein Bedienkonzept dar, welches fehleranfällig ist.
KURZE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Deshalb besteht ein Bedarf für verbesserte Techniken, um Kontextinformation für Wechselkomponenten eines optischen Systems zu bestimmen. Insbesondere besteht ein Bedarf für solche Techniken, die zumindest eine der oben genannten Einschränkungen und Nachteile beheben oder lindern.
Diese Aufgabe wird von den Merkmalen der unabhängigen Patentansprüche gelöst. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
Ein Verfahren umfasst das Erhalten von mindestens einem Bild. Das mindestens eine Bild bildet eine Außenansicht mindestens einer Wechselkomponente eines optischen Systems ab. Das Verfahren umfasst weiterhin das Bestimmen von Kontextinformation für die mindestens eine Wechselkomponente basierend auf dem mindestens einen Bild.
Beispielsweise könnte das Verfahren das Erfassen des mindestens einen Bilds umfassen. Das Bild kann mittels eine Kamera erfasst werden. Das Bild kann eine Vielzahl von Bildpunkten umfassen. Beispielsweise könnte das Bild im sichtbaren Spektrum aufgenommen sein. Beispielsweise könnte das Bild mit einer Kamera eines tragbaren Geräts erfasst werden, beispielsweise einer Smartphone-Kamera bzw. Handy-Kamera. Die Kamera kann also eine variierende Pose in Bezug auf die Wechselkomponente aufweisen. Die Kamera kann unter variierenden Umgebungsbedingungen verwendet werden, z. B. unterschiedlichen Beleuchtungsszenarien, etc. Deshalb könnte das Verfahren weiterhin umfassen: Bestimmen einer Pose und/oder Umgebungsbedingung, mit welcher das mindestens eine Bild die mindestens eine Wechselkomponente abbildet. Dies kann eine genauere Bestimmung der Kontextinformation ermöglichen, z. B. weil die variierende Pose und/oder variierende Umgebungsbedingungen kompensiert werden können.
Es wäre aber auch möglich, dass das Bild mit einer Kamera erfasst wird, die einen vordefinierten Abstand und Orientierung (Pose) in Bezug auf die mindestens eine Wechselkomponente des optischen Systems aufweist. Zum Beispiel könnte die Kamera fest mit dem optischen System verbaut sein. Deshalb könnte das mindestens eine Bild also die mindestens eine Wechselkomponente mit der vordefinierten Pose abbilden.
Beispielsweise kann das Bild die Außenansicht der mindestens einen Wechselkomponente in einem eingebauten Zustand beinhalten, d. h. die Wechselkomponente in Verbindung mit ein oder mehreren weiteren Wechselkomponenten und/oder einer Grundkomponente des optischen Systems, abbilden. Zum Beispiel wäre es möglich, dass das mindestens eine Bild in einem zeitlichen Kontext vor dem Betrieb des optischen Systems erfasst wird, d. h. zum Beispiel unmittelbar vor dem Durchführen einer Messung mithilfe des optischen Systems oder unmittelbar vor dem Durchführen einer Bildaufnahme mittels des optischen Systems.
Dabei können die hierin beschriebenen Techniken auf unterschiedliche Typen von optischen Systemen angewendet werden. Beispiele umfassen Lichtmikroskope (wie z. B. LSMs), Fernrohre, Teleskope etc.
Die Kontextinformation kann unterschiedlichen Informationsgehalt aufweisen. In einem Beispiel könnte die Kontextinformation indikativ für einen Typ der mindestens einen Wechselkomponente sein, beispielsweise für eine Chargennummer oder eine Seriennummer. Ein weiteres Beispiel für Kontextinformation umfasst die geometrischen Eigenschaften einer Wechselkomponente, um beispielsweise Kollisionen zu vermeiden. Es wäre auch möglich, dass die Kontextinformation indikativ für einen oder mehrere Betriebsparameter der mindestens einen Wechselkomponente ist. Dabei wäre es zum Beispiel möglich, dass der eine oder die mehreren Betriebsparameter basierend auf dem Typ der mindestens einen Wechselkomponente bestimmt werden. Zum Beispiel könnte das Verfahren nämlich weiterhin im Zusammenhang mit dem Bestimmen der Kontextinformation umfassen: Bestimmen eines Typs der mindestens einen Wechselkomponente basierend auf dem mindestens einen Bild; sowie Zugreifen auf eine Datenbank und Bestimmen eines Betriebsparameters der mindestens einen Wechselkomponente basierend auf dem Typ der mindestens einen Wechselkomponente. Dabei könnte die Datenbank eine lokale Datenbank sein, die zum Beispiel in einem Speicher des optischen Systems oder eines tragbaren Endgeräts des Benutzers hinterlegt ist. Es wäre aber auch möglich, dass die Datenbank eine zentrale Datenbank ist, auf die beispielsweise über das Internet zugegriffen wird.
Beispiele für Betriebsparameter, die mittels der Kontextinformation indiziert werden können, umfassen zum Beispiel geometrische Abmessungen der Wechselkomponente, Betriebsanweisungen zum Beispiel betreffend den Wechsel der jeweiligen Wechselkomponente, etc. Wenn die Wechselkomponente ein Objektiv ist, könnte ein Betriebsparameter zum Beispiel die Apertur oder Vergrößerung des Wechselobjekts oder durch das Wechselobjektiv bewirkte Aberrationen bezeichnen.
Beispielsweise wäre es auch möglich, dass die Kontextinformation indikativ für Anomalien in Bezug auf die Außenansicht der mindestens einen Wechselkomponente ist. Beispielsweise wäre es möglich, dass das Verfahren weiterhin umfasst: Erkennen von Anomalien in dem mindestens einen Bild. Beispielsweise könnten die Anomalien zum Beispiel Kratzer, Verschmutzungen, Beschädigungen, eine falsche Positionierung, etc. betreffen.
Die hierin beschriebenen Techniken können für unterschiedliche Typen von Wechselkomponenten verwendet werden. Beispielsweise wäre es möglich, dass die mindestens eine Wechselkomponente aus folgender Gruppe ausgewählt ist: Wechselobjektiv; Probenhalter (engl. stage insert); Probentisch (engl. stage), Beleuchtungsmodul; Analysator Stativ; Wollaston (Nomarski) Prisma; Polarisationsfilter; Linse; Gitter; Benutzer-spezifische Anbauten; Mikromanipulatoren; Durchlichtarm; und Filtereinschub.
Beispielsweise könnte die Kontextinformation die Position einer solchen Wechselkomponente bezeichnen. Beispielsweise könnte die Kontextinformation indikativ dafür sein, ob der durch Durchlichtarm herunter- oder hochgeklappt ist. Die Kontextinformation könnte beispielsweise die Position des Probenhalters indizieren. Die Kontextinformation könnte auch geometrische Abmessungen der Wechselkomponente indizieren. Dann wäre es beispielsweise möglich, basierend auf der Kontextinformation mögliche Kollisionen zwischen der Wechselkomponente und einer weiteren Komponente des optischen Systems zu erkennen. Eine solche Kollisionserkennung kann es ermöglichen, eine geeignete Warnung an einen Benutzer des optischen Systems auszugeben, sodass die Kollision vermieden werden kann. Zum Beispiel kann für die Kollisionserkennung eine Trajektorie des basierend auf den geometrischen Abmessungen bestimmten Außenumriss der Wechselkomponente zu bestimmen. Dann kann beispielsweise ein Überlapp mit ein oder mehreren anderen Komponenten entlang der Trajektorie ermittelt werden.
Ein Probenhalter kann eingerichtet sein, um ein Probenobjekt in einem Strahlengang des optischen Systems zu fixieren. Beispielsweise könnte der Probenhalter eingerichtet sein, um eine Auflichtgeometrie oder eine Durchlichtgeometrie zu ermöglichen. Entsprechend könnte das Beleuchtungsmodul eingerichtet sein, um eine Beleuchtung des durch den Probenhalter fixierten Probenobjekts zu ermöglichen. Ein Analysator bzw. der Filtereinschub können bestimmte Filterfunktionalität in Bezug auf den Strahlengang des Lichts des optischen Systems bereitstellen. Der Analysator kann ein Polarisator sein, der in Bezug auf eine differentielle Interferenzbildgebung (engl. differential interference contrast, DIC) verwendet werden kann. Der Polarisator in der Beleuchtung unterhalb des Objektivs angeordnet sein. Der Analysator kann als Schieber ausgebildet sein. Das Stativ kann als Grundkomponente des optischen Systems dienen und eine Fixierung von ein oder mehreren Wechselkomponenten ermöglichen. Beispielsweise könnte das Stativ dazu dienen, um eine Handykamera oder eine andere Kamera in Bezug auf ein Okular des optischen Systems an das Mikroskop zu fixieren. Dies ist optional.
Die Kontextinformation kann auch indirekt bestimmt werden. Beispielsweise kann in Bezug auf eine Wechselkomponente mittels des mindestens einen Bilds erfasst werden, ob ein Verriegelungselement der Wechselkomponente - z. B. eine Klappe oder ein Stift - in einer bestimmten Stellung angeordnet ist. Das Verriegelungselement kann in dem Bild abgebildet sein. Dann kann es entbehrlich sein, einen Zentralbereich der Wechselkomponente durch das mindestens eine Bild abzubilden; aufgrund der Stellung des Verriegelungselement kann aber dennoch die Kontextinformation für die Wechselkomponente bestimmt werden. Im Allgemeinen ist es entbehrlich, dass die komplette Außenansicht der Wechselkomponente abgebildet wird.
Indem die Kontextinformation basierend auf dem mindestens einen Bild bestimmt wird, können unterschiedliche Effekte erzielt werden. Beispielsweise kann es möglich sein, die Kontextinformation ohne aufwendige Modifikation der Wechselkomponenten zu bestimmen. Insbesondere können aufwendige Hardwarelösungen, die auf dem Erzeugen von elektrischen Signalen und dem Vorhalten von Datenspeichern in den Wechselkomponenten basieren, vermieden werden. Dies reduziert die Komplexität und ermöglicht trotzdem das zuverlässige Bestimmen der Kontextinformation. Fehleranfällige, manuelle Lösungen zum Eingeben der Kontextinformation sind entbehrlich.
Die Kontextinformation - z. B. insbesondere der Typ der mindestens einen Wechselkomponente - kann in den verschiedenen hierin beschriebenen Beispielen auf unterschiedliche Arten und Weisen basierend auf dem mindestens einen Bild bestimmt werden. Beispielsweise wäre es möglich, die Kontextinformation unter Verwendung eines computerimplementierten maschinellen Lernalgorithmus (engl. machine learning) zu bestimmen. Beispielsweise könnte die Kontextinformation unter Verwendung eines künstlichen neuronalen Netzwerks (KNN; engl. artificial neural network) bestimmt werden. Dabei können unterschiedliche Typen von KNN verwendet werden, beispielsweise neuronale Faltungsnetzwerke (Englisch: convolutional neural networks, CNN). Siehe Krizhevsky, A. Sutskever, I. and Hinton, G. E. „lmageNet Classification with Deep Convolutional Neural Networks“ (NIPS 2012). Bei einem CNN wird typischerweise eine Eingabe (z. B. Bild in Form einer 2D- oder 3D-Matrix) prinzipiell beliebige aber vorher definierte Netz-Architektur bestehend aus Schichten verschiedener Typen (z. B. Faltungsschicht, Pooling-Schicht, Regularisierungsschicht, Aktivierungsschicht, etc.) prozessiert, wobei die Ausgabe der vorherigen Schicht als Eingabe für die nachfolgende Schicht dient.
Dabei können in den verschiedenen hierin beschriebenen Beispielen unterschiedliche Techniken im Zusammenhang mit maschinellem Lernen und KNN verwendet werden. Je nach Anwendungsfall können Techniken des maschinellen Lernens, insbesondere auch (aber nicht ausschließlich) KNN für die Klassifikation, Regression, Segmentierung, Detektion, Lokalisation, etc. eingesetzt werden. Beispielsweise könnte für die Klassifikation ein KNN verwendet werden, welches als Eingabe ein oder mehrere aufgenommene Bilder erwartet und als Ausgabe eine Klasse (z. B. den Typ, Zustand, etc. einer Wechselkomponente) liefert. Dann kann basierend auf der Klasse die Kontextinformation bestimmt werden. Das verwendete KNN kann dabei neu trainiert werden, oder ein bereits trainiertes KNN kann in einem weiteren Training verfeinert werden. Siehe beispielsweise Reyes, Caicedo, Camargo: „Fine-tuning Deep Convolutional Networks for Plant Recognition“, (CLEF 2015). Als weiteres Beispiel könnte für die Klassifikation ein KNN zum Extrahieren von Merkmalen verwendet werden, indem zunächst das KNN an einer bestimmten Schicht abgeschnitten wird und die entsprechende Aktivierung als Merkmal (bzw. Merkmalsvektor) verwendet wird. Eine Klassifikation kann dann basierend auf diesen, durch das KNN extrahierten Merkmalen durch einen nachgelagerten Klassifikationsalgorithmus erfolgen, beispielsweise einer Stützvektormaschine (Englisch: support vector machine, SVM). Siehe beispielsweise Razavian, Azizpour, Sullivan, Carlsson: „CNN Features off-theshelf: an Astounding Baseline for Recognition“, (CVPR-Workshops 2014). Alternativ kann eine Merkmalsextraktion aus den Bildern auch ohne KNN erfolgen, z. B. durch einen speziell entwickelten Extraktionsalgorithmus. Beispiele für durch einen solchen Algorithmus extrahierte Merkmale umfassen z. B. eine äußere Geometrie der Wechselkomponente, charakteristische Kanten, Vorsprünge oder Kontrastverläufe der Wechselkomponente, Farbe, Reflektivität, Textur, Größe und Anordnung zu umgebenden Komponenten, etc.
Beispielsweise könnten auch Techniken der Regression angewendet werden. Dabei könnte z. B. die Position einer Wechselkomponente in einem kontinuierlichen Ergebnisraum bestimmt werden. Dies bedeutet, dass beispielsweise die Position der Wechselkomponente in einem Bezugskoordinatensystem kontinuierlich oder quasikontinuierlich angegeben werden kann. Ein weiteres Beispiel wäre die Bestimmung des Füllstands einer Flasche für Immersionsflüssigkeit.
Verfahren des maschinellen Lernens können auf Grundlage von Referenzbilddaten (bestehend jeweils aus den Bilddaten und zu dazugehörigen, zu erlernenden Kontextinformationen, wie z. B. den Typ der abgebildeten Wechselkomponente) von bekannten Wechselkomponenten trainiert werden. Durch solche Techniken kann es möglich sein, neue oder andere Wechselkomponenten bzw. viele unterschiedliche Wechselkomponenten flexibel zu erkennen. Außerdem können variable Posen und/oder Umgebungsbedingungen kompensiert werden.
Insbesondere kann es mittels eines maschinellen Lernalgorithmus wie z. B. KNN auch möglich sein, Anomalien in dem mindestens einen Bild in Bezug auf die mindestens eine Wechselkomponente zu erkennen. Beispielsweise können die Anomalien durch lokale Abweichungen zwischen den von einem Modell des maschinellen Lernalgorithmus erwarteten Merkmalen der mindestens einen Wechselkomponente gegenüber den durch das mindestens eine Bild abgebildeten Merkmalen erkannt werden. Derart könnte es zum Beispiel möglich sein, eine Fehlbedienung des optischen Systems zu erkennen, beispielsweise weil eine Wechselkomponente falsch in ein Stativ des optischen Systems eingesetzt ist. Es könnten auch Beschädigungen einer Wechselkomponente erkannt werden.
Wenn die mindestens eine Wechselkomponente ein Wechselobjektiv umfasst, wäre es beispielsweise möglich, dass das mindestens eine Bild eine Frontseite des Wechselobjektivs abbildet. Die Frontseite kann z. B. eine Frontlinse umfassen. Die Frontlinse kann lateral zum optischen Strahlengang definiert sein.
Solche Techniken beruhen auf der Erkenntnis, dass insbesondere die Frontseite eines Wechselobjektivs charakteristisch für den entsprechenden Typ des Wechselobjektivs sein kann. Deshalb kann es möglich sein, die Kontextinformation besonders zuverlässig, beispielsweise basierend auf bestimmten Merkmalen der Frontseite des Wechselobjektivs, zu bestimmen. Solche Merkmale können z. B. eine Ausdehnung der Frontlinse, ein Höhenprofil der Frontseite, etc. umfassen. Ein weiteres Merkmal ist der radiale Kontrastverlauf der Frontseite.
Ein Bild der Frontseite kann z. B. durch eine am Stativ eingelassene Kamera erfasst werden.
Zum Beispiel wäre es nämlich möglich, dass ein Zentrum der Frontseite in dem mindestens einen Bild bestimmt wird und dann ausgehend von dem Zentrum der Frontseite ein Kontrastverlauf des mindestens einen Bilds in radialer Richtung bestimmt wird. Die Kontextinformation kann dann unter Verwendung des Kontrastverlaufs bestimmt werden.
Zum Beispiel kann das Zentrum der Frontseite koinzident mit dem Zentrum der Frontlinse sein. Ein solcher radialer Kontrastverlauf kann insbesondere einen eindeutigen „Fingerabdruck“ für das entsprechende Wechselobjektiv darstellen. Daraus kann es möglich sein, den Typ des Wechselobjektivs zuverlässig zu bestimmen.
Der radiale Kontrastverlauf könnte eindimensional definiert sein. Dazu könnte eine Mittelung über unterschiedliche radiale Richtungen - bzw. unterschiedliche Polarwinkel - ausgehend von dem Zentrum erfolgen. Derart kann ein besonders großes Signal-zu-Rauschverhältnis und Robustheit gegenüber Kratzern, Reflektionen, etc. erhalten werden.
Eine weitere Technik zum Bestimmen der Kontextinformation beruht auf der Verwendung von CAD-Modellen (engl. computer-aided design, CAD). Zum Beispiel wäre es möglich, dass die Kontextinformation unter Verwendung mehrere CAD-Modelle als Referenz für die Außenansicht der mindestens einen Komponente bestimmt wird. Die CAD-Modelle können insbesondere die Kanten der Außenansicht der Wechselkomponente darstellen, also z. B. einem Konturplot bzw. einer technischen Strichzeichnung entsprechen. Die verschiedenen CAD-Modelle können dabei mit unterschiedlichen Kandidaten-Wechselkomponenten assoziiert sein. Dies kann bedeuten, dass ein Vergleich der Übereinstimmung zwischen dem mindestens einen Bild und den verschiedenen CAD-Modellen erfolgen kann, wobei die Kontextinformation dann auf Grundlage des Grads der Übereinstimmung beim Vergleich bestimmt werden kann. Die Kandidaten-Wechselkomponente mit dem höchsten Grad der Übereinstimmung ist dann die verwendete Wechselkomponente.
Im Zusammenhang mit den CAD-Modellen kann es erstrebenswert sein, in dem mindestens einen Bild Kanten der Außenansicht der mindestens einen Wechselkomponente zu erkennen. Diese Kantenmerkmale sind dann besonders gut mit den CAD-Modellen vergleichbar. Die Erkennung von Kanten kann beispielsweise mittels des Anwendens eines Hochpassfilters oder Bandpassfilters auf das mindestens eine Bild zur Kantenerkennung erfolgen. Dann kann die Kontextinformation unter Verwendung von Vergleichen zwischen den Kanten und den CAD-Modellen bestimmt werden.
Solche voranstehend beschriebene Techniken beruhen auf einer Analyse von strukturellen Merkmalen der mindestens einen Wechselkomponente - z. B. unter Verwendung eines KNNs oder CAD-Modellen -, die in der Außenansicht abgebildet sind. In anderen Beispielen wäre es aber auch möglich, dass ein maschinenlesbares Zeichen in dem mindestens einen Bild erkannt wird. Das maschinenlesbare Zeichen kann als Marke auf dem äußeren Gehäuse der mindestens einen Wechselkomponente angebracht sein. Beispiele für maschinenlesbare Zeichen umfassen zum Beispiel QR-Codes oder Strichcodes oder alphanumerische Typenbezeichnungen etc. Dann ist es möglich, dass die Kontextinformation unter Verwendung von durch das maschinenlesbare Zeichen kodierte Information bestimmt wird.
Eine solche Technik ermöglicht es insbesondere, die Kontextinformation zuverlässig zu bestimmen, auch ohne die Notwendigkeit beispielweise Klassifikationsalgorithmen einzusetzen. Außerdem können solche Techniken dazu verwendet werden, die Kontextinformation mit einer besonders großen Informationstiefe direkt aus dem mindestens einen Bild zu bestimmen, d. h. ohne zusätzlichen Zugriff auf eine Datenbank. Beispielsweise könnte die durch das maschinenlesbare Zeichen kodierte Information nicht nur einen Typ der mindestens einen Wechselkomponente kodieren, sondern vielmehr auch einen oder mehrere Betriebsparameter, wie beispielsweise eine Blende und Vergrößerung (im Falle eines Wechselobjektivs) etc. Der zusätzliche Zugriff auf eine Datenbank ist dabei dann nicht erforderlich. In anderen Beispielen kann auch bei der Verwendung eines maschinenlesbaren Zeichens auf die Datenbank zugegriffen werden.
In einem weiteren Beispiel umfasst ein Gerät mindestens einen Prozessor. Der mindestens eine Prozessor ist eingerichtet, um mindestens ein Bild zu erhalten. Das mindestens eine Bild bildet eine Außenansicht mindestens einer Wechselkomponente eines optischen Systems ab. Der mindestens eine Prozessor ist weiterhin eingerichtet, um Kontextinformation für die mindestens eine Wechselkomponente basierend auf dem mindestens einen Bild zu bestimmen.
Für ein solches Gerät können Effekte erzielt werden, die vergleichbar sind mit den Effekten, die für ein Verfahren wie oben stehend beschrieben erzielt werden können.
Ein Computerprogrammprodukt umfasst Programmcode, der von mindestens einem Prozessor ausgeführt werden kann. Ausführen des Programmcodes bewirkt, dass der mindestens eine Prozessor ein Verfahren ausführt. Das Verfahren umfasst das Erhalten von mindestens einem Bild. Das mindestens eine Bild bildet eine Außenansicht mindestens einer Wechselkomponente eines optischen Systems ab. Das Verfahren umfasst weiterhin das Bestimmen von Kontextinformation für die mindestens eine Wechselkomponente basierend auf dem mindestens einen Bild.
Ein Computerprogramm umfasst Programmcode, der von mindestens einem Prozessor ausgeführt werden kann. Ausführen des Programmcodes bewirkt, dass der mindestens eine Prozessor ein Verfahren ausführt. Das Verfahren umfasst das Erhalten von mindestens einem Bild. Das mindestens eine Bild bildet eine Außenansicht mindestens einer Wechselkomponente eines optischen Systems ab. Das Verfahren umfasst weiterhin das Bestimmen von Kontextinformation für die mindestens eine Wechselkomponente basierend auf dem mindestens einen Bild.
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
Figurenliste

1 illustriert schematisch ein optisches System gemäß verschiedener Beispiele, welches eine Grundkomponente und mehrere Wechselkomponenten umfasst.
2 ist ein Flussdiagramm eines beispielhaften Verfahrens.
3 illustriert eine Außenansicht der Längsseite eines Wechselobjektivs gemäß verschiedener Beispiele.
4 illustriert eine Außenansicht der Frontseite eines Wechselobjektivs gemäß verschiedener Beispiele.
5 illustriert eine Außenansicht der Frontseite eines Wechselobjektivs gemäß verschiedener Beispiele.
6 illustriert eine Außenansicht der Frontseite eines Wechselobjektivs gemäß verschiedener Beispiele.
7 illustriert einen radialen Kontrastverlauf ausgehend von einem Zentrum der Frontseite eines Wechselobjektivs gemäß verschiedener Beispiele.
8 illustriert schematisch Außenansichten von Probenhaltern gemäß verschiedener Beispiele sowie assoziierte CAD-Modelle.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
Nachfolgend werden Techniken bestimmt, um Kontextinformation für Wechselkomponenten eines optischen Systems zu bestimmen. Die Kontextinformation kann beispielsweise indikativ für die jeweilige Wechselkomponente des optischen Systems sein, d. h. z. B. einen Typ, eine Seriennummer, und/oder eine Chargennummer etc. indizieren. Die Kontextinformation könnte auch indikativ für einen oder mehrere Betriebsparameter der Wechselkomponente sein, beispielsweise - im Falle eines Wechselobjektivs - für die Blende und/oder Vergrößerung. Im Falle eines Filtereinschubs als Wechselkomponente könnte die Kontextinformation beispielsweise indikativ für bestimmte Eigenschaften des Filters, beispielsweise Phasenkontrast, gefilterter Frequenzbereich, etc. sein. Die Kontextinformation könnte auch eine Betriebsanweisung für den Betrieb der Wechselkomponente beinhalten. Die Kontextinformation könnte auch Anomalien indizieren, z. B. Beschädigungen, Kratzer, etc.
In den verschiedenen hierin beschriebenen Beispielen ist es möglich, die Kontextinformation für die Wechselkomponenten basierend auf ein oder mehreren Bildern, die eine Außenansicht der entsprechenden Wechselkomponente abbilden, zu bestimmen. Dazu können bestimmte, in der Außenansicht wiedergegebene Merkmale aus dem einen oder den mehreren Bildern extrahiert werden. Solche Merkmale können charakteristisch für die verwendete Wechselkomponente sein. Beispielsweise kann es möglich sein, die Kontextinformation weiterhin durch Zugriff auf eine Datenbank zu bestimmen. Die Datenbank könnte eine Zuordnung zwischen Typen von Wechselkomponenten - die basierend auf den extrahierten Merkmalen ermittelt werden können - und bestimmten Betriebsparametern der jeweiligen Wechselkomponente beinhalten.
Verschiedene Beispiele betreffen also eine kamerabasierte Erkennung von Wechselkomponenten wie z. B. Objektiven, Probenhaltern, DIC-Slider (Einschub für Differential Interference Contrast) etc. Die optischen Systeme, bei denen die beschriebenen Technik Anwendung finden können, umfassen z. B. Ferngläser, Spektive, Teleskope, Mikroskope, LSMs, sowie andere optische Geräte.
Zur Bestimmung der Kontextinformation können z. B. mittels Bildverarbeitung direkt allgemeine Merkmale, z. B. Form, Reflexe, Helligkeitsverteilungen etc., ausgewertet werden; ein Vergleich mit einem CAD-Modell der Wechselkomponente genutzt werden; oder maschinelle Lernverfahren zu Einsatz kommen. Es können auch spezifische maschinenlesbare Zeichen wie z. B. Marken, Strichcodes, QR-Codes, Schriftzeichen etc. erkannt werden. Diese maschinenlesbaren Zeichen können auf den jeweiligen Wechselkomponenten aufgebracht sein.
Damit entfällt für eine Elektrifizierung oder die Verwendung spezieller Auslesegeräte. Rückwärtskompatibilität kann bereitgestellt werden. Zudem lässt sich so auch eine Fehlbenutzung oder die Beschädigung von Wechselkomponenten erkennen. Manuelle Eingaben werden vermieden.
Die Erkennung von Wechselkomponenten von Mikroskopen, Stativen, Ferngläsern etc. mittels der Kamera eines tragbaren Benutzerendgeräts - z. B. einem Smartphone - erfolgen. Dabei wird zunächst mit dem Smartphone das optische System - z. B. ein Mikroskop - und die verwendeten Wechselkomponenten erkannt. Anschließend kann das Smartphone z. B. mittels eines Okular/Eyepiece-Adapters Mikroskopiebilder aufnehmen. Das Smartphone kann also benutzt werden, um Wechselkomponenten zu bestimmen; anschließend kann das Smartphone dann als Kamera für das optische System verwendet werden, d. h. es kann mittels der Kamera des Smartphones und basierend auf Licht, das eine Abbildungsoptik des optischen Systems durchlaufen hat, ein Messbild erfasst werden. Das Messbild kann also die Abbildungseigenschaften des optischen Systems ausnutzen. Zum Beispiel könnte das Messbild ein Probenobjekt, das auf einem Probenhalter angeordnet ist, vergrößert abbilden. Die Abbildungsoptik kann z. B. ein Objektiv umfassen. Das Messbild kann bestimmte optische Eigenschaften des optischen Systems ausnutzen, beispielsweise eine Vergrößerung, eine Probenbeleuchtung, etc. In Bezug auf das Messbild kann dann basierend auf der Kontextinformation der Maßstab etc. richtig bestimmt werden. Dadurch ist im Rahmen der entsprechenden Kontextinformation die Übernahme von Betriebsparametern wie optischen Spezifikationen - z. B. Vergrößerung, Gesichtsfeld etc. - möglich, sodass die Messbilder anschließend z. B. zu Vermessungszwecken genutzt werden können.
Alternativ oder Zusätzlich zur Verwendung der Kontextinformation im Smartphone, könnten die Daten auch an eine Steuerung des optischen Systems übertragen werden, z. B. drahtlos. In einem solchen Fall könnte also das Smartphone dazu benutzt, um die Wechselkomponenten zu bestimmen. Das Smartphone kann dann Daten die Steuerung des optischen Systems und/oder eine andere Auswerteinheit, z. B. eine Kamera oder einen Computer gesendet werden.
In solchen oben genannten Beispielen wäre es auch möglich, dass eine statische Kamera verwendet wird, um das die Wechselkomponente abbildende Bild zu erfassen; dann kann das Smartphone mit Kamera ein Messbild erfassen. Die statische Kamera kann also ortsfest in Bezug auf das optische System angeordnet sein.
Aus obenstehendem ist ersichtlich, dass unterschiedliche Anwendungsfälle implementiert werden können. Beispielsweise wäre es nämlich in den verschiedenen hierin beschriebenen Beispielen möglich, dass das die Wechselkomponente abbildende mindestens eine Bild mittels einer statischen Kamera erfasst wird, die also ortsfest in Bezug auf das optische System angeordnet ist. In den verschiedenen hierin beschriebenen Beispielen wäre es aber auch möglich, dass das die Wechselkomponente abbildende mindestens eine Bild mittels einer mobilen Kamera erfasst wird, beispielsweise einer Kamera eines Smartphones. Die mobile Kamera ist also beweglich in Bezug auf das optische System angeordnet. Die mobile Kamera kann eine variable Pose in Bezug auf die Wechselkomponente aufweisen. Es können variierende Umgebungsbedingungen vorliegen. Dann kann es in manchen Beispielen möglich sein, mittels der selben mobilen Kamera und mittels des optischen Systems ein Messbild zu erfassen. Dazu könnte beispielsweise die mobile Kamera an einem Okular des optischen Systems angebracht werden. In den verschiedenen hierin beschriebenen Beispielen kann es möglich sein, dass die Rohdaten des die Wechselkomponente abbildenden mindestens einen Bilds oder auch aus dem mindestens einen Bild abgeleitete Daten, beispielsweise die Kontextinformation, von der mobilen Kamera drahtlos an eine weitere Einheit übertragen werden, z. B. einen Netzwerk-Computer. Es wäre aber auch möglich, dass die Kontextinformation direkt durch das Gerät, dass die mobile Kamera aufweist, genutzt werden; eine solche Implementierung kann beispielsweise insbesondere dann erstrebenswert sein, wenn die mobile Kamera einem Smartphone zugeordnet ist und mittels des Smartphones anschließend ein Messbild erfasst wird.
In den hierin beschriebenen Techniken ist es also nicht erforderlich, spezielle Hardware, wie beispielsweise einen NFC-Chip oder einen ACR-Ring, an den Wechselkomponenten vorzusehen und gegebenenfalls eine Elektrifizierung durchzuführen. Außerdem ist es entbehrlich, vorhandene Wechselkomponenten zur Bereitstellung einer entsprechenden automatisierten Bestimmung der Kontextinformation durch Vorsehen entsprechender aktiver Hardware nachzurüsten. Die Wechselkomponenten müssen gegebenenfalls nicht verändert werden. Dies kann es ermöglichen, die hierin beschriebenen Techniken besonders günstig durchzuführen.
Auch die Komplexität der hierin beschriebenen Techniken kann vergleichsweise gering sein. Beispielsweise kann es entbehrlich sein, eine große Anzahl von Kleinteilen vorzusehen. Im Vergleich zu manuellen Lösungen können die hierin beschriebenen Techniken automatisiert durchgeführt werden. Dies vereinfacht die Benutzerinteraktion und vermeidet darüber hinaus Fehlbedienungen. Darüber hinaus können die hierin beschriebenen Techniken auch in solchen Anwendungsgebieten eingesetzt werden, bei denen zum Beispiel eine Bestimmung von Kontextinformation mittels elektrischer Datenübertragung nicht möglich ist. Dies kann zum Beispiel bei rein mechanischen Systemen wie manuelles Routine Mikroskop, Ferngläsern oder Teleskopen der Fall sein.
1 illustriert Aspekte in Bezug auf ein beispielhaftes optisches System 100. In dem Beispiel der 1 ist ein modulares optisches System dargestellt, welches eine Grundkomponente 101 umfasst, z. B. ein Stativ. Die Grundkomponente 101 ist eingerichtet, um zwei Wechselkomponenten 111-116 lösbar zu fixieren. An einer ersten Position 181 kann eine der Wechselkomponenten 111-113 lösbar fixiert werden (in 1 ist die Wechselkomponente 112 im Strahlengang 130 angeordnet). An einer zweiten Position 182 kann eine der Wechselkomponenten 114-116 lösbar fixiert werden (in dem Beispiel der 1 ist die Wechselkomponente 115 lösbar im Strahlengang 130 fixiert). In 1 ist der Austausch der Wechselkomponenten 111-116 durch die vertikalen Pfeile illustriert.
Der Strahlengang 130 ist in Bezug auf die Grundkomponente 101 und die Wechselkomponenten 111-116 an den Positionen 181, 182 definiert. Beispielsweise wäre es möglich, dass ein Multipixel-Detektor für Licht 131, welches entlang des Strahlengangs 130 geführt wird, in der Grundkomponente 101 angebracht ist. Es könnte auch eine Smartphone-Kamera über einen Okular-Adapter befestigt werden. Die Wechselkomponenten 111-113 zur Fixierung an der Position 181 könnten unterschiedliche Objektive implementieren, die den Strahlengang 130 verändern („Objektiv-Revolver“). Die Wechselkomponenten 114-116 zur Fixierung an der Position 182 könnten Probenhalter implementieren, die zur Fixierung eines Probenobjekts im Strahlengang 130 ausgebildet sind. Dann wäre es möglich, dass das Licht 131 entlang des Strahlengangs 130 von dem Probenobjekt zu dem Detektor in der Grundkomponente 101 übertragen wird.
Eine solche Konfiguration ist rein beispielhaft und es wären auch andere Implementierungen des optischen Systems 100 möglich. Zum Beispiel könnten weitere Wechselkomponenten vorgesehen sein, z. B. Filtereinschübe, etc.
In dem Beispiel der 1 ist auch eine Kamera 170 vorgesehen, die eingerichtet ist, um Bilder von dem optischen System 100 zu erfassen. Insbesondere ist die Kamera 170 eingerichtet, um Bilder zu erfassen, die eine Außenansicht der Wechselkomponenten 111-113, 114-116 beinhalten bzw. abbilden. In 1 ist eine Pose 171 der Kamera 170 in Bezug auf die Wechselkomponente 111-113, 114-116 dargestellt. Diese Pose könnte in verschiedenen Beispielen fix definiert sein, beispielsweise wenn die Kamera 170 an der Grundkomponente 101 befestigt ist. In anderen Beispielen - wie in 1 dargestellt - wäre es aber auch möglich, dass die Kamera 170 beweglich in Bezug auf das optische System 100 ist, d. h. je nach Positionierung unterschiedliche Posen 171 in Bezug auf die Wechselkomponente 111-113, 114-116 implementiert werden. Dies wäre der Fall, wenn die Kamera 170 Teil eines tragbaren Geräts 179 ist, z. B. eines Smartphones. Im Allgemeinen können in einem solchen Fall auch unterschiedliche Umgebungsbedingungen vorliegen.
Das optische System 100 umfasst auch eine Steuereinheit 150, z. B. einen Prozessor oder Mikrocontroller. Die Steuereinheit 150 ist eingerichtet, um den Betrieb des optischen Systems 100 zu steuern.
2 ist ein Flussdiagramm eines beispielhaften Verfahrens. In 1001 werden ein oder mehrere Bilder erfasst. Die ein oder mehreren Bilder bilden eine Außenansicht mindestens einer Wechselkomponente eines optischen Systems ab. Dies bedeutet, dass die ein oder mehreren Bilder zumindest einen Teil der äußeren Oberfläche von ein oder mehreren Wechselkomponenten eines optischen Systems abbilden können.
In 1002 wird dann Kontextinformation für die ein oder mehreren Wechselkomponenten bestimmt. Dies könnte beispielsweise durch eine Steuereinheit des optischen Systems erfolgen, oder aber auf einer Recheneinheit eines tragbaren Geräts, beispielsweise eines Smartphones. Dies könnte auch durch einen Netzwerkrechner oder Cloudbasierten Rechner erfolgen.
Die Kontextinformation wird basierend auf dem in 1001 erfassten einen Bild oder den mehreren Bildern bestimmt. Die Kontextinformation kann beispielsweise indikativ für einen Typ der ein oder mehreren Wechselkomponenten sein. Beispielsweise könnte die Kontextinformation ein oder mehrere Betriebsparameter der ein oder mehreren Wechselkomponenten indizieren.
Wenn die Kontextinformation beispielsweise durch einen Prozessor eines tragbaren Geräts bestimmt wird, könnte es möglich sein, dass das Verfahren weiterhin umfasst: Übermitteln der Kontextinformation an die Steuereinheit des optischen Systems.
In 1002 können unterschiedliche Techniken verwendet werden, um die Kontextinformation basierend auf dem mindestens einen Bild zu bestimmen. Eine beispielhafte Technik, um die Kontextinformation zu bestimmen, ist in Bezug auf 3 illustriert.
3 illustriert Aspekte in Bezug auf eine Außenansicht eines Wechselobjektivs 300. 3 zeigt die Seitenansicht eines beispielhaften Wechselobjektivs 300. 3 illustriert insbesondere Aspekte in Bezug auf ein maschinenlesbares Zeichen 350. Das maschinenlesbare Zeichen 350, in dem Beispiel der 3 durch einen Barcode implementiert, ist auf einer seitlichen äußeren Oberfläche des Wechselobjektivs 300 angebracht. Es ist möglich, den Barcode in einem Bild, das die Außenansicht des Wechselobjektivs 300 beinhaltet, zu erkennen und dann die Kontextinformation unter Verwendung von durch den Barcode codierter Information zu bestimmen. In dem Beispiel der 3 ist der Barcode 350 nahe einer Frontseite 302 des Wechselobjektivs 300 und versetzt gegenüber einer Zentralachse 301 des Wechselobjektivs 300 angeordnet.
Insbesondere wäre es möglich, dass bei solchen Techniken, die die Verwendung eines maschinenlesbaren Zeichens 350 beinhalten, durch das maschinenlesbare Zeichen Information kodiert wird, die charakteristisch für die individuelle Wechselkomponente ist. Dies bedeutet, dass unterschiedliche Wechselkomponenten - beispielsweise auch des gleichen Typs - maschinenlesbare Zeichen verwenden können, die unterschiedliche Informationen kodieren können, z. B. unterschiedliche Seriennummern. Weitere Beispiele für individuelle Kontextinformationen umfassen: Datum der letzten Wartung; angepasste individuelle optische Parameter; Aberrationen; etc.
Es können auch andere maschinenlesbare Zeichen als Barcodes verwendet werden, zum Beispiel QR-Codes oder ShotCodes. Ein maschinenlesbares Zeichen kann auch nachträglich auf Wechselkomponenten aufgebracht werden. Aufwendige Hardware-Anpassungen entfallen, beispielsweise im Vergleich zu Referenzsystemen, die auf der Anbringung von NFC-Chips basieren.
Während in dem Beispiel der 3 das maschinenlesbare Zeichen 350 seitlich am Wechselobjektiv 300 angebracht ist, sind auch andere Techniken zur Anbringung des maschinenlesbaren Zeichens denkbar. Beispielweise könnte das maschinenlesbare Zeichen 350 auf der Frontseite 302 des Wechselobjektivs 300 angebracht sein. Dies ist in 4 dargestellt.
Anstelle von Barcodes könnte beispielsweise auch eine Texterkennung erfolgen. Manche Wechselobjektive sind ab Fabrik seitlich mit Modellbezeichnung, Seriennummer, optischen Eigenschaften etc. beschriftet. Solcher Text kann verwendet werden, um die Kontextinformation basierend auf einem entsprechenden Bild zu bestimmen. Zusätzlich zu dem Typ des Wechselobjektivs können dann auch weitere angegebene Information ausgelesen werden, beispielsweise Informationen, die durch zusätzliche Beschriftung aufgebracht ist.
Manchmal kann es erstrebenswert sein, anstatt einer solchen Bestimmung von Kontextinformation basierend auf maschinenlesbaren Zeichen eine andere Technik der Bestimmung von Kontextinformation durchzuführen. Ein Beispiel für eine weitere Technik, um Kontextinformation zu bestimmen, basiert auf einer Extraktion von Merkmalen der Außenansicht der Wechselkomponente, die durch ein oder mehrere Bilder abgebildet werden. Beispielsweise ist aus 3 und 4 ersichtlich, dass die Außenansicht des Wechselobjektivs 300 charakteristische Merkmale, wie beispielsweise Geometrie und Kontrastverlauf, aufweist. Solche Merkmale können beispielsweise durch einen computerimplementierten Algorithmus - beispielsweise eines maschinellen Lernalgorithmus (z. B. für Klassifikation, Regression, Lokalisierung, Segmentierung, Detektion, etc.) - erkannt werden und basierend darauf kann die Kontextinformation bestimmt werden. Beispielsweise könnte ein KNN als Klassifikationsalgorithmus verwendet werden. Der Klassifikationsalgorithmus kann dabei auf Grundlage der Referenzbilddaten trainiert werden, welche die entsprechende Wechselkomponente zum Beispiel unter unterschiedlichen typischen Posen und Umgebungsbedingungen abbilden. Beispiele für Umgebungsbedingungen umfassen z. B. Beleuchtung, Abschattungen von Teilen der abgebildeten Wechselkomponente durch andere Bauteile, Dreck, Bildrauschen, etc. Dadurch kann die Bestimmung der Klassifikationsinformation auch basierend auf Bildern mit variablen Posen und/oder Umgebungsbedingungen ermöglicht werden.
Bei einer solchen Erkennung von Wechselkomponenten, die auf dem Aussehen der Wechselkomponenten basiert, kann es entbehrlich sein, die Wechselkomponenten zu verändern, beispielsweise durch Anbringen eines maschinenlesbaren Zeichens. Der Typ der Wechselkomponente kann beispielsweise allein auf Basis des durch die Kamera erfassten Bilds bestimmt werden. Dies ermöglicht eine besonders einfache und wenig fehleranfällige Bedienung. Besonders charakteristisch und damit geeignet für eine Erkennung des Typs der Wechselkomponente ist dabei die Fronseite 302 von Wechselobjektiven 300.
5 und 6 illustrieren schematisch die Frontseiten 302 von unterschiedlichen Wechselobjektiven 300. Beispielsweise könnte das Wechselobjektiv 300 gemäß dem Beispiel der 5 eine vergleichsweise kleine Öffnung der Apertur aufweisen, sodass die Frontlinse auch klein dimensioniert ist; während das Wechselobjektiv 300 gemäß dem Beispiel der 6 eine vergleichsweise große Öffnung der Apertur und damit eine größere Frontlinse aufweist. Wenn das Bild die Frontseite 302 des Wechselobjektivs 300 abbildet, kann dies ausgenutzt werden, um die Kontextinformation besonders zuverlässig zu bestimmen. Dies kann möglich sein, weil eine Unterscheidung zwischen unterschiedlichen Wechselobjektiven 300 besonders zuverlässig implementiert werden kann.
Um ein Bild mit der Frontseite 302 oder im Allgemeinen der Außenansicht einer Wechselkomponente zu erhalten, ist beispielsweise die Kamera 170 an einem bekannten, festen Platz am optischen System 100 angebracht, weshalb die Pose des Objektivs 300 im entsprechenden Kamerabild vordefiniert sein kann. Alternativ kann auch eine Kalibrierung, eine automatische Detektion oder ein manuelles Verfahren zur Lokalisation des Objektivs im Bild eingesetzt werden. Als Beleuchtung kann das Umgebungslicht benutzt werden, es kann aber auch mit aktiver Beleuchtung (z. B. steuerbares LED-Array) gearbeitet werden.
Anschließend können Verfahren aus den Bereichen der Bildverarbeitung und dem maschinellen Lernen benutzt werden, um verschiedene Wechselkomponenten 111-116, 300 auf Basis der Bildinformation zu unterscheiden. Der entsprechende Workflow sieht dabei z. B. folgendermaßen aus:
Training (Klassifikationsmodell wird erstellt)
Aufnahme einer Trainingsstrichprobe: Es werden Bilder von Wechselkomponenten 111-116 aufgenommen, welche später unterschieden werden sollen. Dabei sollten die Umgebungsbedingungen so variiert werden, wie sie auch später bei der Erkennung auftreten können. D. h., falls Umgebungslicht benutzt wird, sollte die LED-Beleuchtung variiert werden.
ROI-Lokalisation: Für jedes Bild wird die Lage - z. B. bestimmt durch Zentrum der Frontseite 302 und Radius des Objektivs 300 - der darin abgebildeten Wechselkomponente bestimmt (Region-of-Interest, ROI), entweder durch Vorwissen zur Kamerapositionierung mittels eines automatischen Detektions-Algorithmus oder mittels eines manuellen Verfahrens. Dieser Schritt ist optional, es kann insbesondere für KNN auch das komplette Bild für den nächsten Schritt verwendet werden.
Merkmalsextraktion: Aus der ROI, z. B. derjenige Bildausschnitt, der das Wechselobjektiv 300 in der Draufsicht zeigt, werden automatisch Merkmale extrahiert, welche es erlauben, die verschiedenen Objektivmodelle zu unterscheiden. Für jedes Bild wird ein entsprechender „Merkmalsvektor“ erzeugt.
Anlernen des Klassifikationsalgorithmus: Basierend auf der Trainingsstrichprobe wird ein Klassifikationsalgorithmus, d. h. ein mathematisches Modell, welches je einen Merkmalsvektor auf ein Objektivmodell abbildet, angelernt. Zudem kann auch eine Rückweisungsklasse für unbekannte Objektivmodelle bzw. für Eingabebilder mit ungeeigneter Bildinformation, z. B. überbelichtete Bilder, mit aufgenommen werden.
Test (ein Objektiv soll durch das erstellte Klassifikationsmodell erkannt werden)
Aufnahme des Kamerabildes: Ein Bild der zu erkennenden Wechselkomponente wird aufgenommen.
ROI-Lokalisation: erfolgt wie in I.
Merkmalsextraktion: erfolgt wie in I.
Anwenden des Klassifikationsalgorithmus: Der trainierte Klassifikationsalgorithmus wird angewendet, um den zuvor extrahierten Merkmalsvektor auf ein Objektivmodell abzubilden. Je nach Klassifikationsalgorithmus kann auch eine Wahrscheinlichkeitsverteilung über alle im Training gesehenen Objektivmodelle ausgegeben werden.
Nachfolgend werden zwei konkrete Umsetzungen für o. g. Workflow skizziert. Hierbei handelt es sich um Beispiele - es ist durchaus möglich, die o. g. Punkte auch mit anderen Verfahren aus dem Bereich des maschinellen Lernens zu lösen. Das Beispiel ist rein illustrativ für ein Bild der Frontseite 302 eines Wechselobjektivs dargestellt, könnte aber auch auf andere Wechselkomponenten oder andere Ansichten gewendet werden.
In einer möglichen Umsetzung erfolgt die Merkmalsextraktion folgendermaßen:
Das Bild der ROI der Frontseite 302 wird in ein Bild in Polarkoordinaten, zentriert im Zentrum 301, überführt.
Dann wird ein radialer Kontrastverlauf bestimmt. Das ist in 7 dargestellt.
7 illustriert Aspekte in Bezug auf einen radialen Kontrastverlauf 309 (die radiale Richtung 340 ist auch in 5 eingezeichnet). 7 illustriert beispielhafte Kontrastverläufe 309 für zwei unterschiedliche Wechselobjektive 300 (durchgezogene und gestrichelte Linie). Aus 7 ist ersichtlich, dass die radialen Kontrastverläufe 309 sich charakteristisch unterscheiden, also charakteristische Merkmale wie z. B. Maxima, Minima, Plateaus, etc. aufweisen.
Um den gemittelten radialen Kontrastverlauf 309 zu erstellen, wird z. B. eine Median-Projektion über die Winkel-Achse des Polarkoordinatenbildes bestimmt. Dadurch entsteht ein eindimensionaler „Fingerabdruck“, welcher für jede Entfernung zur Frontseite 302 den mittleren Kontrast über alle Winkel umfasst. Dabei wird ausgenutzt, dass das Aussehen der Frontseite 302 radialsymmetrisch ist. Durch den Median wird der mittlere Kontrast bestimmt, der robust gegenüber Kratzern, Reflektionen etc. ist.
Aus dem 1D-Fingerabdruck wird ein Vektor von Texturmerkmalen extrahiert, bestehend aus: (i) den Intensitätswerten aller Pixel des Fingerabdruckes und (ii) den Haralick-Merkmalen des Fingerabdrucks. Siehe Robert M. Haralick, K. Sam Shanmugam, Its'hak Dinstein: Textural Features for Image Classification. IEEE Transactions on Systems, Man, and Cybernetics (TSMC) 3(6):610-621 (1973).
Nach der Merkmalsextraktion erfolgt die Klassifikation der Merkmale, zum Beispiel durch eine SVM. Siehe Christopher M. Bishop. „Pattern Recognition and Machine Learning“, Springer, 2006.
In einer weiteren möglichen Umsetzung erfolgt die Merkmalsextraktion durch den Einsatz von KNN. Dabei kann das KNN auf unterschiedliche Arten und Weisen verwendet werden. Beispielsweise kann das KNN für die Klassifikation, Regression, Segmentierung, Detektion, und/oder Lokalisation eingesetzt werden. Durch das KNN kann eine Eingruppierung in unterschiedliche Klassen erfolgen. Dabei können die unterschiedlichen Klassen beispielsweise vergleichsweise abstrakt unterschiedliche Merkmale indizieren, wobei dann basierend auf einem entsprechenden Merkmalsvektor ein nachgeordnete Klassifikationsalgorithmus, beispielsweise eine SVM, dazu verwendet werden kann, um die Kontextinformation - beispielsweise den Typ des Wechselobjektivs - zu bestimmen. Alternativ wäre es aber auch möglich, dass das KNN eine Eingruppierung in vergleichsweise spezifische Klassen vornimmt, beispielsweise bereits in Bezug auf den Typ des Wechselobjektivs.
Obenstehend wurden verschiedene Techniken beschrieben, um basierend auf einer Typerkennung von Wechselobjektiven 300 Kontextinformation für das entsprechende Wechselobjektiv zu bestimmen. Im Allgemeinen können die hierin beschriebenen Techniken aber auch für andere Wechselkomponenten eingesetzt werden, beispielsweise für Stative, Halterahmen bzw. Probenhalter, Filtereinschübe wie beispielsweise DIC-Schieber, Analysatoren, oder Probenhalter.
In Bezug auf einen Probenhalter kann die Merkmalsextraktion auch unter Verwendung eines KNNs erfolgen. Dabei kann das KNN auf unterschiedliche Arten und Weisen verwendet werden. Beispielsweise kann das KNN für die Klassifikation, Regression, Segmentierung, Detektion, und/oder Lokalisation eingesetzt werden. Durch das KNN kann eine Eingruppierung in unterschiedliche Klassen erfolgen. Dabei können die unterschiedlichen Klassen beispielsweise vergleichsweise abstrakt unterschiedliche Merkmale indizieren, wobei dann basierend auf einem entsprechenden Merkmalsvektor ein nachgeordnete Klassifikationsalgorithmus, beispielsweise eine SVM, dazu verwendet werden kann, um die Kontextinformation - beispielsweise den Typ des Probenhalters - zu bestimmen. Alternativ wäre es aber auch möglich, dass das KNN eine Eingruppierung in vergleichsweise spezifische Klassen vornimmt, beispielsweise bereits in Bezug auf den Typ des Probenhalters.
8 illustriert Aspekte in Bezug auf einen Probenhalter. In 8 sind Beispiele für drei Halterahmenmodelle 750 und deren 2D-Draufsicht-Drahtgittermodell 700 als CAD-Modell abgebildet. Nachfolgend ist eine beispielhafte Technik beschrieben, die es ermöglicht, mittels eines Vergleichs der Bilddaten mit CAD-Modellen, die Kontextinformation zu bestimmen.
Eine weitere Technik, den Typ der Wechselkomponente 111-116 - und damit die Kontextinformation - zu erkennen, ist also ein Vergleich mit vorhandenen elektronischen Modellen, insbesondere CAD-Modellen. Dazu werden z. B. mit der Kamera zunächst eine oder mehrere Bilder der Außenansicht der Wechselkomponente 111-116, 300 von oben und/oder von der Seite aufgenommen. Anschließend können die vorhandenen elektronischen CAD-Modelle 700 als Referenz mit den aufgenommenen Bildern verglichen werden, um das in den Bildern zu sehende Objektivmodell zu identifizieren.
Für den konkreten Abgleich zwischen CAD-Modell 700 und Bild gibt es eine Vielzahl existierender Ansätze: In Ulrich Wiedemann, Steger: „CAD-based recognition of 3D objects in monocular images“ (ICRA 2009), wird beispielsweise die 3D-Pose von Objekten mit bekannten CAD-Modellen 700 aus einem Bild geschätzt.
In vielen Fällen ist jedoch ein Vergleich zwischen dem (i) aus dem Kamerabild errechneten Kantenbild und (ii) den aus den CAD-Modellen 700 errechneten 2D-Drahtgitter-Projektionen ausreichend. Der Vergleich erfolgt dabei z. B. mittels Chamfer-Matching aus Barrow, Tenenbaum, Bolles, Wolf: „Parametric correspondence and chamfer matching: Two new techniques for image matching“ (IJCAI 1977), und das CAD-Modell 700 mit dem geringsten Matching-Fehler entspricht dann der im Bild abgebildeten Wechselkomponente 111-116, 300. Die Pose der Kamera kann bekannt sein, daher ist üblicherweise auch die Lage der zu erkennenden Wechselkomponenten im Bild bekannt. Dies kann als zusätzliche Einschränkung in den Vergleich einfließen, was den Suchraum deutlich verkleinert und dadurch die Robustheit des Verfahrens erhöht.
Bei dem Vergleich zwischen Bildern und CAD-Modellen 700 ist jedoch zu beachten, dass im Allgemeinen nur die Strukturinformationen, z. B. in Form eines Drahtgittermodell, für die Erkennung verwendet werden, denn Oberflächeneigenschaften, wie z. B. das Reflektionsverhalten, hängen typischerweise von der Verarbeitung ab und sind nicht notwendigerweise in den CAD-Modellen hinterlegt.
Zusammenfassend wurden obenstehend Techniken beschrieben, um Kontextinformation für ein oder mehrere Wechselkomponenten eines optischen Systems zu bestimmen. Dabei kann eine Erkennung der Wechselkomponenten aus Bildern, die eine Außenansicht der Wechselkomponente darstellen, erfolgen. Basierend auf einem erkannten Typ der Wechselkomponente kann dann die Kontextinformation bestimmt werden. Eine solche bildbasiere Erkennung der Wechselkomponenten bzw. der Bestimmung der Kontextinformation ermöglicht es, besonders wenige oder keine Veränderungen an den Wechselkomponenten vorzunehmen. Insbesondere kann es entbehrlich sein, elektronische Bauteile wie beispielsweise NFC-Chips in die Wechselkomponenten zu integrieren. Darüber hinaus kann Kontextinformation mit besonders großem Informationsgehalt bestimmt werden. Beispielsweise ist es möglich, dass die Kontextinformation indikativ für eine Fehlbenutzung, wie beispielsweise eine falsche Positionierung der entsprechenden Wechselkomponente, oder Beschädigung von Komponenten, wie beispielsweise Kratzer, indikativ ist. Beispielsweise könnten solche Anomalien auch aus einem Bild, das eine Außenansicht der Wechselkomponenten beinhaltet, bestimmt werden.
Die hierin beschriebenen Techniken ermöglichen es, flexibel in Bezug auf die verwendeten Techniken zur Erfassung von Bildern, die die Außenansicht von einer oder mehreren Wechselkomponenten beinhalten, zu sein. Beispielsweise könnten ein oder mehrere fix installierte Übersichtskameras verwendet werden, um unterschiedliche Wechselkomponenten zu erkennen. Dazu könnte auch eine aktive Beleuchtung, beispielsweise mittels Leuchtdioden, vorgesehen sein. Dadurch können reproduzierbare Beleuchtungsbedingungen erreicht werden, was vorteilhaft in Bezug auf die Genauigkeit und Robustheit sein kann. Statt einer fest verbauten Kamera ist es auch möglich, eine mobile Kamera zu verwenden. Dabei kann die Pose der Kamera variabel sein. Durch geeignete Techniken des maschinellen Lernens kann es dann möglich sein, variable Posen zu kompensieren. Dazu kann beispielsweise die variable Pose bestimmt werden. In sprechen wäre es alternativ oder zusätzlich auch möglich, variable Umgebungsbedingungen, beispielsweise Abschattungen in dem die Wechselkomponente abbildenden Bild, Bildartefakte, unterschiedliche Beleuchtungsbedingungen, etc. zu bestimmen und zu kompensieren.
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
Beispielsweise wurde voranstehen Techniken beschrieben, bei welchen Kontextinformation basierend auf mindestens einem Bild bestimmt wird. Dabei könnte die entsprechende Logik beispielsweise in einer Steuereinheit eines optischen Systems angeordnet sein. Alternativ oder zusätzlich wäre es auch möglich, dass die entsprechende Logik zum Beispiel in einem separaten Gerät, wie beispielsweise einem Smartphone oder einem Computer - beispielsweise über ein Kommunikationsnetzwerk verbunden -, angeordnet ist. Wenn für das Bestimmen der Kontextinformation ein Datenbankzugriff notwendig ist, können auch Techniken des Cloud-Computings verwendet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005010479 A1 [0007]
DE 10245170 A1 [0007]

Claims

Verfahren, das umfasst: - Erhalten von mindestens einem Bild, welches eine Außenansicht mindestens einer Wechselkomponente (111-116, 300, 750) eines optischen Systems (100) abbildet, und - Bestimmen von Kontextinformation für die mindestens eine Wechselkomponente (111-116, 300, 750) basierend auf dem mindestens einen Bild.
Verfahren nach Anspruch 1, wobei die Kontextinformation unter Verwendung eines Bildverarbeitungsalgorithmus und/oder maschinellen Lernalgorithmus bestimmt wird, beispielsweise unter Verwendung eines künstlichen neuronalen Netzwerks und optional einer Stützvektormaschine.
Verfahren nach Anspruch 2, wobei der maschinelle Lernalgorithmus auf Grundlage von Referenzbilddaten trainiert ist, welche die mindestens eine Wechselkomponente unter unterschiedlichen Posen und/oder Umgebungsbedingungen abbilden.
Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Wechselkomponente ein Wechselobjektiv (300, 750) umfasst, wobei das mindestens eine Bild optional eine Frontseite (302) des Wechselobjektivs (300, 750) abbildet.
Verfahren nach Anspruch 4, das weiterhin umfasst: - Bestimmen eines Zentrums (301) der Frontseite (302) in dem mindestens einen Bild, und - Bestimmen eines Kontrastverlaufs (309) des mindestens einen Bilds in radialer Richtung ausgehend von dem Zentrum (301) der Frontseite (302), wobei die Kontextinformation unter Verwendung des Kontrastverlaufs (309) bestimmt wird.
Verfahren nach einem der voranstehenden Ansprüche, wobei die Kontextinformation unter Verwendung mehrerer CAD-Modelle (700) als Referenz für die Außenansicht der mindestens einen Wechselkomponente bestimmt wird.
Verfahren nach Anspruch 6, das weiterhin umfasst: - Erkennen von Kanten in dem mindestens einen Bild, wobei die Kontextinformation unter Verwendung von Vergleichen zwischen den erkannten Kanten und den mehreren CAD-Modellen (700) bestimmt wird.
Verfahren nach einem der voranstehenden Ansprüche, das weiterhin umfasst: - Erkennen eines maschinenlesbaren Zeichens (305) in dem mindestens einen Bild, wobei die Kontextinformation unter Verwendung von durch das maschinenlesbare Zeichen (305) codierter Information bestimmt wird.
Verfahren nach einem der voranstehenden Ansprüche, wobei das mindestens eine Bild die mindestens eine Wechselkomponente (111-116, 300, 750) mit einer vordefinierten Pose (171) abbildet.
Verfahren nach einem der voranstehenden Ansprüche, das weiterhin umfasst: - Erfassen des mindestens einen Bilds mit einer Kamera (170) eines tragbaren Geräts, und - Bestimmen einer Pose (171) und/oder Umgebungsbedingung mit welcher das mindestens eine Bild die mindestens eine Wechselkomponente abbildet, wobei die Kontextinformation basierend auf der bestimmten Pose (171) und/oder der bestimmten Umgebungsbedingung bestimmt wird.
Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Wechselkomponente (111-116, 300, 750) aus folgender Gruppe ausgewählt ist: Wechselobjektiv; Probenhalter; Beleuchtungsmodul; Analysator; Wollaston (Nomarski) Prisma, Stativ; und Filtereinschub.
Verfahren nach einem der voranstehenden Ansprüche, wobei das Bestimmen der Kontextinformation umfasst: - Bestimmen eines Typs der mindestens einen Wechselkomponente (111-116, 300, 750) basierend auf dem mindestens einen Bild, und - Zugreifen auf eine Datenbank und Bestimmen eines Betriebsparameters der mindestens einen Wechselkomponente (111-116, 300, 750) basierend auf dem Typ der mindestens einen Wechselkomponente.
Verfahren nach einem der voranstehenden Ansprüche, wobei das Bestimmen der Kontextinformation umfasst: - Erkennen von Anomalien in dem mindestens einen Bild.
Verfahren nach einem der voranstehenden Ansprüche, das weiterhin umfasst: - Erfassen des mindestens einen Bilds mittels einer Kamera, die ortsfest in Bezug auf das optische System angeordnet ist.
Verfahren nach einem der Ansprüche 1-13, das weiterhin umfasst: - Erfassen des mindestens einen Bilds mittels einer Kamera, die beweglich in Bezug auf das optische System angeordnet ist.
Verfahren nach Anspruch 15, das weiterhin umfasst: - Erfassen eines Messbilds mittels der Kamera basierend auf Licht, das eine Abbildungsoptik des optischen Systems (100) durchlaufen hat.
Verfahren nach einem der voranstehenden Ansprüche, wobei die Konteninformation indikativ für geometrische Abmessungen der mindestens einen Wechselkomponente ist, wobei das Verfahren weiterhin umfasst: - basierend auf der Kontextinformation: Erkennen von möglichen Kollisionen zwischen der mindestens einen Wechselkomponente und einer weiteren Komponente des optischen System (100).
Gerät (100, 179) mit mindestens einem Prozessor (150), der eingerichtet ist, um die folgenden Schritte durchzuführen: - Erhalten von mindestens einem Bild, welches eine Außenansicht mindestens einer Wechselkomponente (111-116, 300, 750) eines optischen Systems (100) abbildet, und - Bestimmen von Kontextinformation für die mindestens eine Wechselkomponente (111-116, 300, 750) basierend auf dem mindestens einen Bild.
Gerät (100, 179) nach Anspruch 18, wobei der mindestens eine Prozessor eingerichtet ist, um das Verfahren nach einem der Ansprüche 1-17 durchzuführen.