-
TECHNISCHES GEBIET
-
Verschiedene Beispiele der Erfindung betreffen Techniken zur Bilderfassung. Verschiedene Beispiele der Erfindung betreffen insbesondere Techniken, um Bildstörungen - wie beispielsweise Reflexe und/oder Abschattungen - in Bildern zu reduzieren.
-
HINTERGRUND
-
Bei einer Bildaufnahme mit einem optischen System mit Beleuchtung durch ein Beleuchtungsmodul kann es zu Bildstörungen kommen. Beispiele für Bildstörungen umfassen Reflexe und Abschattungen. Bildstörungen beruhen oftmals auf der Wechselwirkung zwischen Beleuchtung, Probenobjekt und Detektionsoptik eines Detektors des optischen Systems. Reflexe, die zu einer erhöhten oder herabgesetzten Intensität in einem Bereich eines entsprechenden Bilds führen, bewirken einen Informationsverlust. Wird das zur Beleuchtung verwendete Licht (Beleuchtung) in einen Bereich des Bildes reflektiert, geht z.B. dadurch die Information über diejenigen Bereiche des abzubildenden Probenobjekts verloren, die in den entsprechenden Bildbereich abgebildet werden sollen. Reflexe in aufgenommenen Bildern verschlechtern somit den Bildeindruck. Entsprechend kann das Bild durch Abschattungen untersteuern, wodurch auch der Bildeindruck verschlechtert wird.
-
Reflexe können verschiedene Ursachen haben. Ein Reflex in einem Bild kann aufgrund einer Reflexion innerhalb eines optischen Systems entstehen. Beispielsweise kann eine Mehrfachreflexion der Beleuchtung innerhalb des optischen Systems dazu führen, dass ein Bild-Reflex entsteht. Reflexe können auch als System-Reflexe bezeichnet werden. Alternativ oder zusätzlich kann auch eine hohe Reflektivität des abzubildenden Probenobjekts in bestimmten Richtungen dazu führen, dass ein Bild-Reflex entsteht. Derartige Reflexe können auch als Objekt-Reflexe bezeichnet werden. Beispielsweise kann bei Auflicht-Beleuchtung eines Objekts die hohe Reflektivität des Objekts dazu führen, dass das Beleuchtungslicht in einem Bildbereich reflektiert wird. Solche Effekte können in entsprechender Art und Weise auch zu Abschattungen führen.
-
Es gibt unterschiedliche Ansätze, um Bildstörungen zu reduzieren. Unter der Reduktion von Bildstörungen wird hierin eine Verringerung des Informationsverlusts aufgrund von Reflexen und/oder aufgrund von Abschattungen verstanden.
-
Um Reflexe in Bildern zu reduzieren, die durch Reflexion an optischen Komponenten des Systems verursacht werden, können hochwertigere Optiken können eingesetzt werden, um qualitativ hochwertige Abbildungen zu erzeugen. Beispiele für derartige Maßnahmen sind Anti-Reflex-Beschichtungen auf den kritischen optischen Flächen innerhalb des Systems, Optik-Designs mit erhöhter Komplexität zur Reduzierung von Reflexionen, ein Mattieren von Teilen, die nicht für die Abbildung relevant sind, und/oder polarisationsoptische Antireflexeinrichtung. Die Verwendung derartiger Optiken kann jedoch zu Kostennachteilen führen. Darüber hinaus können komplexere Optiken auch zu hohem Bauraum und hohem Gewicht führen. Konfokale Aufnahmetechniken, beispielsweise unter Verwendung eines Konfokalmikroskops, können Punktscanner und/oder Linienscanner verwenden. Derartige abtastende Verfahren können die Aufnahmezeit wesentliche erhöhen.
-
Aus
DE 10 2014 113 256 A1 ,
DE 10 2015 208 080 A1 , sowie
DE 10 2015 208 087 A1 sind jeweils Techniken bekannt, um mittels digitaler Nachbearbeitung die Bildstörungen zu reduzieren. Solche Techniken weisen jedoch bestimmte Einschränkungen auf: z.B. wurde beobachtet, dass die Reduktion von Reflexen in einer Verstärkung von Abschattungen resultieren kann. Außerdem kann es oftmals erforderlich sein, unterschiedliche Beleuchtungen zu verwenden, die besondere Kriterien erfüllen: z.B. kann es oftmals erforderlich sein, besonders benachbarte Beleuchtungsrichtungen für unterschiedliche Beleuchtungen zu implementieren. Das kann oftmals nicht oder nur eingeschränkt möglich sein. Z.B. kann es in manchen Anwendungen vorkommen, dass die Beleuchtungsrichtung nicht oder nur sehr ungenau bekannt ist. Oftmals kann die Flexibilität, mit der eine Beleuchtungsrichtung eingestellt werden kann, limitiert sein.
-
KURZE BESCHREIBUNG DER ERFINDUNG
-
Es besteht daher ein Bedarf an verbesserten Techniken zur Abbildung eines Probenobjekts. Es besteht insbesondere ein Bedarf an Vorrichtungen und Verfahren, mit denen Reflexe und Abschattungen durch Verarbeitung erfasster Bilder unterdrückt werden können. Es besteht ein Bedarf an derartigen Vorrichtungen und Verfahren, mit denen eine gute Auflösung und guter Kontrast in einem Ergebnisbild erzielbar sind.
-
Ein Verfahren zur Störungsreduktion in Bildern umfasst das Erfassen eines ersten Bilds eines Probenobjekts. Das erste Bild wird mittels einer Beleuchtung eines Beleuchtungsmoduls und mittels Detektorelementen eines Detektors erfasst. Das erste Bild wird bei einer ersten Anordnung des Probenobjekts zur Beleuchtung und zum Detektor erfasst. Das Verfahren umfasst auch das Erfassen eines zweiten Bilds des Probenobjekts. Auch das zweite Bild wird mittels der Beleuchtung des Beleuchtungsmoduls und mittels des Detektors erfasst. Das zweite Bild wird bei einer zweiten Anordnung des Probenobjekts zur Beleuchtung und zum Detektor erfasst. Die zweite Anordnung ist zumindest teilweise verschieden von der ersten Anordnung. Das Verfahren umfasst ferner, für jeden Bildpunkt des ersten Bilds: Vergleichen des jeweiligen Bildpunktwerts mit mindestens einem Bildpunktwert mindestens eines zugeordneten Bildpunkts des mindestens einen zweiten Bilds. Das Verfahren umfasst auch das bildpunktweise Kombinieren des ersten Bilds und des mindestens einen zweiten Bilds, in Abhängigkeit von dem Vergleichen. Dadurch wird ein Ergebnisbild erzeugt.
-
Ein Computerprogramm-Produkt oder ein Computerprogramm umfasst Programm-Code. Der Programm-Code kann von einem Prozessor ausgeführt werden. Ausführen des Programm-Codes bewirkt, dass der Prozessor ein Verfahren ausführt. Das Verfahren umfasst das Erfassen eines ersten Bilds eines Probenobjekts. Das erste Bild wird mittels einer Beleuchtung eines Beleuchtungsmoduls und mittels Detektorelementen eines Detektors erfasst. Das erste Bild wird bei einer ersten Anordnung des Probenobjekts zur Beleuchtung und zum Detektor erfasst. Das Verfahren umfasst auch das Erfassen eines zweiten Bilds des Probenobjekts. Auch das zweite Bild wird mittels der Beleuchtung des Beleuchtungsmoduls und mittels des Detektors erfasst. Das zweite Bild wird bei einer zweiten Anordnung des Probenobjekts zur Beleuchtung und zum Detektor erfasst. Die zweite Anordnung ist zumindest teilweise verschieden von der ersten Anordnung. Das Verfahren umfasst ferner, für jeden Bildpunkt des ersten Bilds: Vergleichen des jeweiligen Bildpunktwerts mit mindestens einem Bildpunktwert mindestens eines zugeordneten Bildpunkts des mindestens einen zweiten Bilds. Das Verfahren umfasst auch das bildpunktweise Kombinieren des ersten Bilds und des mindestens einen zweiten Bilds, in Abhängigkeit von dem Vergleichen. Dadurch wird ein Ergebnisbild erzeugt.
-
Eine Steuerung für ein optisches System mit einem Beleuchtungsmodul und einem Detektor mit mehreren Detektorelementen ist eingerichtet, um das optische System anzusteuern, um ein erstes Bild eines Probenobjekts bei einer ersten Anordnung des Probenobjekts zur Beleuchtung durch das Beleuchtungsmodul und zum Detektor zu erfassen. Die Steuerung ist auch eingerichtet, um das optische System anzusteuern, um ein zweites Bild des Probenobjekts bei einer zweiten Anordnung des Probenobjekts zur Beleuchtung und zum Detektor zu erfassen. Dabei ist die zweite Anordnung zumindest teilweise verschieden von der ersten Anordnung. Die Steuerung ist weiterhin eingerichtet, um für jeden Bildpunkt des ersten Bilds den jeweiligen Bildpunktwert mit mindestens einem Bildpunktwert mindestens eines zugeordneten Bildpunkts des mindestens einen zweiten Bilds zu vergleichen. Schließlich ist die Steuerung eingerichtet, um das erste Bild und das mindestens eine zweite Bild bildpunktweise in Abhängigkeit von dem Vergleichen zu kombinieren. Dadurch wird ein Ergebnisbild erzeugt.
-
Jedes Bild des ersten Bilds und des mindestens einen zweiten Bilds kann ein Intensitätsbild sein.
-
Die erste Anordnung ist teilweise verschieden von der zweiten Anordnung, wenn zumindest eines der folgenden Kriterien erfüllt ist: (i) andere Position und/oder Orientierung des Probenobjekts zur Beleuchtung, etwa durch Verwendung unterschiedlicher Beleuchtungsgeometrien; und/oder (ii) andere Position und/oder Orientierung des Probenobjekts zum Detektor, etwa durch Verschieben des Probenobjekts und/oder des Detektors.
-
Durch das Vergleichen der Bildpunktwerte einander zugeordneter Bildpunkte können Bildstörungen besonders zuverlässig identifiziert werden. Insbesondere kann es entbehrlich sein, absolute Schwellenwerte oder a-priori Information zu berücksichtigen, um die Bildstörungen zu erkennen.
-
Es kann entbehrlich sein, eine Abschattungsfunktion - z.B. wie in
DE 10 2014 113 256 A1 beschrieben - zu verwenden.
-
Mittels der hierein beschriebenen Techniken können Reflexe, z.B. Objekt-Reflexe und/oder Bild-Reflexe reduziert werden. Mittels der hierein beschriebenen Techniken können auch Abschattungen reduziert werden. Dabei kann die Störungsreduktion durch digitale Nachbearbeitung erzielt werden.
-
Z.B. können die hierin beschriebenen Techniken für ein Lichtmikroskop als optisches System angewendet werden.
-
Die Beleuchtung kann charakterisiert sein durch ein oder mehrere verwendete Beleuchtungsrichtungen oder Beleuchtungsgeometrien. Es können auch unterschiedliche Lichtfarben für die Beleuchtung verwendet werden.
-
Bildpunktweises Kombinieren kann bedeuten, dass Bildpunktwerte von ersten zugeordneten Bildpunkten anders miteinander kombinierten werden, als Bildpunktwerte von zweiten zugeordneten Bildpunkten. Z.B. könnten -je nach Satz zugeordneter Bildpunkte - unterschiedliche Gewichte für die Kombination verwendet werden oder aber unterschiedliche Bildpunkte vor der Kombination gänzlich verworfen werden, sodass diese keinen Einfluss auf das Ergebnisbild haben.
-
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
- 1 illustriert schematisch ein optisches System, dass gemäß verschiedener Beispiele eine Störungsreduktion ermöglicht.
- 2 illustriert schematisch ein Beleuchtungsmodul gemäß verschiedener Beispiele mit einer Vielzahl von Lichtquellen, wobei durch Ansteuern der unterschiedlichen Lichtquellen die Beleuchtung des Probenobjekts durch Verwendung unterschiedlicher Beleuchtungsgeometrien variiert werden kann.
- 3 ist ein Flussdiagramm eines beispielhaften Verfahrens.
- 4 illustriert eine beispielhafte erste relative Anordnung des Probenobjekts zur Beleuchtung und zum Detektor, wobei die erste relative Anordnung durch eine erste Beleuchtungsgeometrie der Beleuchtung charakterisiert ist.
- 5 illustriert eine beispielhafte zweite relative Anordnung des Probenobjekts zur Beleuchtung und zum Detektor, wobei die zweite relative Anordnung durch eine zweite Beleuchtungsgeometrie der Beleuchtung charakterisiert ist.
- 6 illustriert eine beispielhafte dritte relative Anordnung des Probenobjekts zur Beleuchtung und zum Detektor, wobei die dritte relative Anordnung durch eine verschobene Position der Detektorelemente des Detektors charakterisiert ist.
- 7 illustriert eine beispielhafte vierte relative Anordnung des Probenobjekts zur Beleuchtung und zum Detektor, wobei die vierte relative Anordnung durch eine verschobene Position des Probenobjekts charakterisiert ist.
- 8 illustriert beispielhafte Bilder, die jeweils das Probenobjekt abbilden, wobei die unterschiedlichen Bilder gemäß verschiedener Beispiele bei unterschiedlichen relativen Anordnungen zwischen dem Probenobjekt einerseits und der Beleuchtung und des Detektors andererseits erfasst wurden.
- 9 illustriert ein beispielhaftes Ergebnisbild, dass durch Kombination der Bilder aus 8 erhalten wurde und welches gemäß verschiedener Beispiele reduzierte Bildstörungen aufweist.
- 10 ist ein Flussdiagramm eines beispielhaften Verfahrens.
- 11 illustriert Bildpunktwerte für Bildpunkte verschiedener Bilder, die gemäß verschiedener Beispiele einander zugeordnet sind.
- 12 illustriert eine sortierte Verteilung der Bildpunktwerte aus 11 mit trunkierten Flanken.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Darstellungen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und ihr Zweck dem Fachmann verständlich werden.
-
In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein.
-
Nachfolgend werden Techniken beschrieben, mit denen Bildstörungen, also insbesondere Reflexe und/oder Abschattungen, bei Abbildung eines Probenobjekts rechnerisch unterdrückt werden können. Unter einer „Störungsreduktion“ werden dabei Maßnahmen verstanden, mit denen der Informationsverlust, der mit dem Vorliegen von Reflexen und/oder Abschattungen herkömmlich verbunden ist, verringert werden kann.
-
1 illustriert eine beispielhafte optische Vorrichtung 100. Beispielsweise könnte die optische Vorrichtung 100 gemäß dem Beispiel der 1 ein Lichtmikroskop implementieren, beispielsweise in Durchlichtgeometrie oder in Reflektionsgeometrie. Es wäre auch möglich, dass die optische Vorrichtung 100 ein Laser-Scanning-Mikroskop oder ein Fluoreszenzmikroskop implementiert. Mittels der optischen Vorrichtung 100 kann es möglich sein, kleine Strukturen eines von einem Probenhalters 113 fixierten Probenobjekts vergrößert darzustellen.
-
Ein Detektor 116 ist eingerichtet, um ein Abbild des Probenobjekts auf Detektorelementen 118 zu erzeugen, z.B. mittels eines Objektivs 117 oder einer anderen optischen Komponente. Der Detektor 116 kann also z.B. eine Kamera ausbilden. Die Detektorelemente 118 können dann eingerichtet sein, um ein oder mehrere Bilder des Probenobjekts zu erfassen, jeweils mit mehreren Bildpunkten. Die unterschiedlichen Bildpunkte können unterschiedlichen Detektorelementen 118 entsprechen. Z.B. kann ein CCD oder CMOS Sensor verwendet werden.
-
Ein Beleuchtungsmodul 111 ist eingerichtet, um das Probenobjekt, das auf dem Probenhalter 113 fixiert ist, zu beleuchten. Das Beleuchtungsmodul 111 kann insbesondere eingerichtet sein, um eine Winkel-variable Beleuchtung des Probenobjekts zu ermöglichen. Dies bedeutet, dass das Beleuchtungsmodul 111 eingerichtet sein kann, um das Probenobjekt wahlweise aus unterschiedlichen Beleuchtungsrichtungen zu beleuchten bzw. im Allgemeinen unterschiedliche Beleuchtungsgeometrien zu implementieren: dadurch können also unterschiedliche Beleuchtungen implementiert werden. Dazu könnte das Beleuchtungsmodul 111 beispielsweise eine Vielzahl von Lichtquellen aufweisen, welche separat ansteuerbar sein können - d.h. getrennt voneinander an- und ausgeschaltet werden können. Es könnten auch andere Implementierungen des Beleuchtungsmoduls 111 gewählt werden, beispielsweise eine Mikrospiegel-Vorrichtung (engl. digital micro mirror device, DMD) oder ein Scanner.
-
Eine Steuerung 115 ist vorgesehen, um die verschiedenen Komponenten 111-114 der optischen Vorrichtung 100 anzusteuern. Beispielsweise könnte die Steuerung 115 als Mikroprozessor oder Mikrocontroller implementiert sein. Alternativ oder zusätzlich könnte die Steuerung 115 beispielsweise einen FPGA oder ASIC umfassen. Die Steuerung 115 könnte beispielsweise Programm-Code aus einem Speicher laden (in 1 nicht dargestellt).
-
Beispielsweise könnte die Steuerung 115 eingerichtet sein, um einen Motor des Probenhalters 113 anzusteuern, um die Anordnung des Probenobjekts gegenüber dem Detektor 116 zu verändern und/oder um die Anordnung des Probenobjekts gegenüber dem Beleuchtungsmodul 111 - und damit die Beleuchtung - zu verändern. Es wäre auch möglich, dass die Steuerung 115 eingerichtet ist, um einen Motor des Probenhalters 113 anzusteuern: auch dadurch kann die Anordnung des Probenobjekts gegenüber dem Detektor 116 verändert werden. Die Steuerung kann ferner eingerichtet sein, um das Beleuchtungsmodul 111 zur Veränderung der Beleuchtung anzusteuern, z.B. durch Wahl unterschiedlicher Beleuchtungsgeometrien: auch dadurch kann die Anordnung des Probenobjekts gegenüber der Beleuchtung verändert werden.
-
Das optische System 100 ist also eingerichtet, um eine relative Anordnung zwischen Probenobjekt einerseits und Beleuchtung durch das Beleuchtungsmodul 111 und/oder den Detektor 116 flexibel einzustellen. Dabei können grundsätzlich unterschiedliche Techniken allein oder in Kombination verwendet werden, um diese Anordnung zu variieren.
-
Eine erste Technik umfasst das Verwenden unterschiedlicher Beleuchtungen. Die Steuerung kann dazu das Beleuchtungsmodul 111 geeignet ansteuern. Dazu könnte beispielsweise das Beleuchtungsmodul 111 mechanisch verstellt werden, um dadurch unterschiedliche Beleuchtungsrichtungen zu implementieren. Z.B. könnte eine laterale Verschiebung senkrecht zum Strahlengang umgesetzt werden. In einem solchen Szenario entsprechen unterschiedliche Positionen des Beleuchtungsmoduls 111 unterschiedlichen relativen Anordnungen von Probenobjekts zur Beleuchtung. In einer anderen Variante könnte das Beleuchtungsmodul 111 aber auch mehrere Lichtquellen aufweisen, sodass unterschiedliche Beleuchtungsgeometrien durch Ansteuern unterschiedlicher Lichtquellen umgesetzt werden können. Auch dadurch kann die Beleuchtung variiert werden. Durch die Verwendung unterschiedlicher Beleuchtungen können unterschiedliche relative Anordnungen des Probenobjekts zur Beleuchtung implementiert werden.
-
Eine zweite Technik umfasst das Verwenden eines verstellbaren Probenhalters 113. Beispielsweise wäre es möglich, dass ein Motor vorgesehen ist, der den Probenhalter 113 - und damit das durch den Probenhalter 113 fixierte Probenobjekt - gegenüber der Beleuchtung durch das Beleuchtungsmodul 111 bzw. gegenüber dem Detektor 116 verstellt. Z.B. könnte eine laterale Verschiebung senkrecht zum Strahlengang umgesetzt werden. Unterschiedliche Positionen des Probenhalters 113 entsprechen dann unterschiedlichen relativen Anordnungen zwischen dem Probenobjekt einerseits und Beleuchtung durch das Beleuchtungsmodul 111 und dem Detektor 116 andererseits.
-
Eine dritte Technik schließlich umfasst das Verwenden einen verstellbaren Detektor 116. Beispielsweise könnte die optische Komponente 117 verstellbar sein und/oder die Detektorelemente 118 verstellbar sein. Z.B. könnte eine laterale Verschiebung senkrecht zum Strahlengang umgesetzt werden. Beispielsweise wäre es möglich, dass ein Motor vorgesehen ist, der den Detektor 116 - gegenüber dem Probenhalter 113 und dem Beleuchtungsmodul 111 - verstellt. Unterschiedliche Positionen des Detektors 116 entsprechen dann unterschiedlichen relativen Anordnungen zwischen dem Probenobjekt einerseits und des Detektors 116 andererseits.
-
2 illustriert Aspekte in Bezug auf das Beleuchtungsmodul 111. In der beispielhaften Implementierung gemäß 2 umfasst das Beleuchtungsmodul 111 einen Träger 120, auf welchem eine Vielzahl von Lichtquellen 121 - beispielsweise Leuchtdioden - angeordnet ist. In dem Beispiel der 2 sind die Lichtquellen 121 in einer Gitterstruktur angeordnet. In anderen Beispielen könnten die Lichtquellen 121 aber auch in einer anderen Art und Weise auf dem Träger 120 angeordnet sein, beispielsweise ringförmig, etc. Z.B. könnten die Lichtquellen 121 ringförmig um ein Objektiv angeordnet sein, d.h. es kann ein sog. LED-Ringlicht verwendet werden.
-
Die Steuerung 115 kann eingerichtet sein, um einzelne Lichtquellen 121 gesondert anzusteuern, d. h. um einzelne Lichtquellen 121 getrennt an- und auszuschalten. Indem eine bestimmte Lichtquelle 121 angeschaltet wird und die übrigen Lichtquellen 121 ausgeschaltet werden, kann die Beleuchtung des Probenobjekts unter einer bestimmten Beleuchtungsrichtung implementiert werden. Es wäre aber auch möglich, dass eine bestimmte Beleuchtungsrichtung durch das Anschalten von mehr als einer Lichtquelle 121 implementiert wird. Beispielweise könnten zwei oder mehr benachbarte Lichtquellen 121 angeschaltet werden. Derart kann im Allgemeinen die Beleuchtungsgeometrie der Beleuchtung des Probenobjekts variiert werden. Insbesondere kann also die relative Anordnung des Probenobjekts gegenüber der Beleuchtung variiert werden.
-
Das Beleuchtungsmodul 111 könnte weitere optische Elemente aufweisen, beispielsweise eine Kondensor-Linse, etc.. Dies ist in 2 aus Gründen der Einfachheit nicht dargestellt.
-
3 ist ein Flussdiagramm eines beispielhaften Verfahrens. Beispielsweise könnte die Steuerung 115 eingerichtet sein, um das Verfahren gemäß dem Beispiel der 3 auszuführen. Beispielsweise könnte die Steuerung 115 dazu Programm-Code aus einem Speicher laden und diesen anschließend ausführen.
-
Zunächst erfolgt in Block 1001 das Erfassen eines ersten Bilds des Probenobjekts. Dazu könnte zum Beispiel die Detektorelemente 118 angesteuert werden. Das Bild kann mehrere Bildpunkte aufweisen, die jeweils einem Messsignal der verschiedenen Detektorelemente 118 entsprechen. Das erste Bild wird in Block 1001 bei einer ersten Anordnung des Probenobjekts zur Beleuchtung und zur zum Detektor erfasst.
-
Dies kann die gezielte Wahl der ersten Anordnung umfassen, beispielsweise durch ein oder mehrere der folgenden Techniken: (I) gezielte Vorgabe der Beleuchtung, zum Beispiel durch Vorgabe einer bestimmten Beleuchtungsgeometrie etwa mittels der Verwendung einer oder mehrerer Lichtquellen aus einer Vielzahl von Lichtquellen, vergleiche 2; (II) gezielte Vorgabe der Position des Probenobjekts, zum Beispiel durch Ansteuern eines Motors eines Probenhalters, sodass dieser eine bestimmte Position einnimmt; und/oder (III) gezielte Vorgabe der Position des Detektors, zum Beispiel durch ansteuern eines Motors, der die Detektorelemente und/oder eine andere optische Komponente des Detektors verstellt.
-
Die gezielte Vorgabe der Beleuchtung 119 durch Verwendung unterschiedlicher Beleuchtungsgeometrien ist z.B. in 4 und 5 dargestellt, wobei die unterschiedlichen Beleuchtungsgeometrien 801, 802 (im Beispiel der 4 und 5 durch unterschiedliche Beleuchtungsrichtungen umgesetzt) z.B. durch Ansteuern unterschiedlicher Lichtquellen 121 in einem Szenario gem. 2 erzeugt werden könnten. Die gezielte Vorgabe der Position der Detektorelemente 118 ist z.B. in 6 dargestellt. Dies entspricht dem Positionieren des Detektors 116. Schließlich ist die gezielte Vorgabe der Position des Probenobjekts 210 in 7 dargestellt. Beispielsweise sind in 6 die Detektorelemente 118 gegenüber dem Szenario der 7 verschoben; entsprechend ist in 7 das Probenobjekt 210 gegenüber dem Szenario in 6 verschoben. In 4 - 7 ist die optische Achse 290 als Referenz dargestellt, um einen Vergleich der FIGs. zu ermöglichen. Aus einem Vergleich der 4 - 7 ist ersichtlich, dass die Anordnung 851-854 des Probenobjekts 210 zur Beleuchtung 119 und zum Detektor 116 auf diese Weise teilweise oder vollumfänglich variiert werden kann.
-
Wieder Bezug nehmend auf 3: dann wird in Block 1002 ein zweites Bild des Probenobjekts erfasst. Dazu könnte zum Beispiel wiederum die Detektorelemente 118 angesteuert werden. Auch das zweite Bild aus Block 1002 kann mehrere Bildpunkte aufweisen. Das zweite Bild wird in Block 1002 bei einer zweiten Anordnung des Probenobjekts zur Beleuchtung und/oder zu den Detektorelementen erfasst, die zumindest teilweise verschieden ist von der ersten Anordnung in Block 1001. Dies kann wiederum durch die gezielte Vorgabe der zweiten Anordnung geschehen, wobei auch ein oder mehrere der Techniken, die voranstehend in Bezug auf Block 1001 beschrieben wurden, eingesetzt werden können (vgl. auch 4 - 7).
-
Dies bedeutet, dass durch Ausführen der Blöcke 1001 und 1002 also ein erstes Bild des Probenobjekts bei einer ersten Anordnung des Probenobjekts zur Beleuchtung und/oder zum Detektor erhalten wird, sowie ein zweites Bild des Probenobjekts bei einer von der ersten Anordnung zumindest teilweise verschiedenen zweiten Anordnung des Probenobjekts zur Beleuchtung und/oder zum Detektor erhalten wird.
-
Dadurch kann ein Effekt erzielt werden, der im Zusammenhang mit den 8 und 9 dargestellt ist.
-
In 8 ist ein Bild 201 dargestellt, das bei Anordnung 851 zwischen dem Probenobjekt 210 und der Beleuchtung 119 sowie dem Detektor 116 erfasst wurde. Im Bild 201 ist ein Reflex 215 beinhaltet. Der Reflex 215 überlappt teilweise mit dem Abbild des Probenobjekts 210, weswegen ein Informationsverlust vorliegt. Außerdem beinhaltet das Bild 201 auch eine Abschattung 216.
-
Im Allgemeinen könnten die verarbeiteten Bilder mehr als einen Reflex 215 aufweisen und/oder mehr als eine Abschattung 216 aufweisen. Es wäre auch möglich, dass die verarbeiteten Bilder entweder nur ein oder mehrere Reflexe aufweisen oder aber nur ein oder mehrere Abschattungen aufweisen. Die hierin beschriebenen Techniken können flexibel für alle solche Szenarien angewendet werden, um eine Störungsreduktion zu bewirken.
-
In 8 ist auch ein Bild 202 dargestellt, das bei der Anordnung 852 zwischen dem Probenobjekt 115 und der Beleuchtung 119 sowie dem Detektor 116 erfasst wurde. Im Vergleich zum Bild 201 wurde dabei also die Beleuchtungsgeometrie 801, 802 und damit die Beleuchtung 119 variiert, die Position des Detektors 116 sowie die Position des Probenhalters 113 und damit des Probenobjekts 215 aber nicht verändert (vergleiche 4 und 5). Deshalb verändert sich die Position des Abbildes des Probenobjekts 215 zwischen den Bildern 201 und 202 nicht; es verändert sich aber die Position des Reflex 215 und der Abschattung 216. Dieser Effekt kann ausgenutzt werden, um die Störungsreduktion zu implementieren.
-
In 8 ist schließlich auch ein Bild 203 dargestellt, das bei der Anordnung 853 oder der Anordnung 854 zwischen dem Probenobjekt 115 und der Beleuchtung 119 sowie dem Detektor 116 aufweist. Im Vergleich zum Bild 201 wurde dabei die Beleuchtungsgeometrie 801, 802 nicht variiert, sodass dieselbe Beleuchtung 119 verwendet wird. Es wurde aber die Position des Detektors 116 gegenüber der Position des Probenhalters 113 - durch Verstellen des Detektors 116, d.h. insbesondere der Detektorelemente 118, und/oder des Probenhalters 113, vgl. 6 und 7 - verändert. Deshalb verändert sich die Position des Abbildes des Probenobjekts 210; die Position des Reflexes 215 und die Position der Abschattung 116 bleiben aber unverändert. Dieser Effekt kann auch ausgenutzt werden, um die Störungsreduktion zu implementieren.
-
Wieder Bezug nehmend auf 3: dann wird Block 1003 ausgeführt. Block 1003 ist optional. In Block 1003 wird überprüft, ob ein weiteres zweites Bild bei einer weiteren Anordnung des Probenobjekts zur Beleuchtung und/oder zum Detektor erfasst werden soll. Ist dies der Fall, wird Block 1002 erneut ausgeführt, wobei die Anordnung des Probenobjekts zur Beleuchtung und zum Detektor erneut variiert werden kann. Andernfalls wird Block 1004 ausgeführt.
-
Im Allgemeinen können in den verschiedenen hierin beschriebenen Techniken eine unterschiedliche Anzahl von Bildern beim Bestimmen des Ergebnisbilds berücksichtigt werden. Tendenziell kann eine größere Anzahl von Bildern eine bessere Störungsreduktion ermöglichen. Andererseits kann aber das Erfassen einer größeren Anzahl von Bildern auch eine größere Zeitdauer in Anspruch nehmen und mehr Computer-Ressourcen der Steuerung benötigen. Deshalb kann es in den verschiedenen hierin beschriebenen Techniken erstrebenswert sein, eine Abwägung zwischen Qualität der Störungsreduktion einerseits und Geschwindigkeit bis zum Bereitstellen des Ergebnisbilds andererseits im Zusammenhang mit Block 1003 zu berücksichtigen. Zum Beispiel könnte in Block 1003 ein fest vorgegebener Schwellenwert für die Anzahl der Iterationen von Block 1002 berücksichtigt werden. Es hat sich zum Beispiel gezeigt, dass eine Anzahl von 3-8 Bildern, basierend auf denen das Ergebnisbild bestimmt wird, einerseits eine hohe Qualität der Störungsreduktion ermöglicht, sowie andererseits die Geschwindigkeit bis zum Bereitstellen des Ergebnisbild nicht signifikant herabsetzt.
-
In anderen Beispielen könnte in Block 1003 auch ein Qualitätsmaß online überprüft werden: dazu könnte die Kombination der verschiedenen Bilder zum Erzeugen des Ergebnisbilds zumindest teilweise vorab durchgeführt werden, um das Qualitätsmaß zu ermitteln. Wenn das Qualitätsmaß eine genügend große Qualität des Ergebnisbild im Zusammenhang mit der Störungsreduktion indiziert, kann das Durchführen weiterer Iterationen von Block 1002 abgebrochen werden.
-
In noch weiteren Beispielen könnte die Anpassung der Anordnung für unterschiedliche Iterationen von Block 1002 durch eine Optimierung erfolgen. Beispielsweise könnte ein genetischer Algorithmus, ein Simplexverfahren, ein Gradientenverfahren oder ein Trust-Region-Verfahren verwendet werden. Dadurch kann der vergleichsweise große Parameterraum der verfügbaren Anordnungen 851-854 effizient durchlaufen werden, um mit einer möglichst geringen Anzahl von Iterationen von Block 1002 eine besonders gute Störungsreduktion zu erzielen. Als Abbruchkriterium könnte das oben genannte Qualitätsmaß dienen und/oder ein Schwellenwert für die Anzahl der Iterationen. Dabei ist eine solche flexible Variation der Anordnung 851-854 für die verschiedenen berücksichtigten Bildern aber nicht in allen Beispielen erforderlich: z.B. wäre es im Allgemeinen auch möglich, dass eine fest vorgegebene Anzahl von Anordnungen 851-853 nacheinander abgearbeitet wird.
-
In Block 1004 wird ein bildpunktweises Kombinieren des ersten Bilds aus Block 1001 und der ein oder mehreren zweiten Bilder aus ein oder mehreren Iterationen von Block 1002 durchgeführt. Dadurch wird ein Ergebnisbild erhalten, welches die Bildstörungen reduziert aufweist. Das Ergebnisbild kann also eine besonders hohe Bildqualität aufweisen.
-
Das bildpunktweise Kombinieren kann bedeuten, dass die Bildpunktwerte der verschiedenen Bilder, je nach Bildpunkt, unterschiedlich kombiniert werden. Beispielsweise könnten im Ergebnisbild für einen ersten Bildpunkt der Bildpunktwert des ersten Bilds berücksichtigt werden, jedoch nicht der zugeordnete Bildpunktwert des zweiten Bilds; dagegen könnte im Ergebnisbild für einen zweiten Bildpunkt der Bildpunktwert des ersten Bilds nicht berücksichtigt werden, jedoch der Bildpunktwert des zugeordneten Bildpunkts des zweiten Bilds. Auch eine Bildpunkt-abhängige Gewichtung der Bildpunktwerte der verschiedenen Bilder wäre denkbar. Im Allgemeinen werden beim bildpunktweisen Kombinieren also unterschiedliche Bildpunkte unterschiedlich behandelt.
-
Das bildpunktweise Kombinieren kann ermöglichen, dass jeweils der- oder diejenigen Bildpunktewerte berücksichtigt werden, die nicht durch Bildstörungen 215, 216 verfälscht sind. Dadurch wird ein Ergebnisbild 250 erhalten, das keine oder keine signifikanten Reflexe 215 und/oder Abschattungen 216 aufweist, siehe 9. In 9 ist das aus der bildpunktweisen Kombination der Bilder 201-203 erhaltene Ergebnisbild 250 dargestellt. Dieses zeigt das Probenobjekt 210, nicht jedoch die Bildstörungen 215, 216. Eine entsprechende Technik ist im Zusammenhang mit 10 dargestellt.
-
10 ist ein Flussdiagramm eines beispielhaften Verfahrens. Zum Beispiel könnte das Verfahren gemäß 10 im Zusammenhang mit Block 1004 des Verfahrens der 3 ausgeführt werden. Das Verfahren gemäß 10 ermöglicht das bildpunktweise Kombinieren mehrerer Bilder, die zumindest teilweise unterschiedliche Anordnungen des Probenobjekts zur Beleuchtung und zum Detektor aufweisen.
-
Zunächst erfolgt in Block 1011 eine Registrierung der unterschiedlichen Bilder. Grundsätzlich ist Block 1011 optional. Mittels der Registrierung der unterschiedlichen Bilder kann eine Zuordnung zwischen Bildpunkten der unterschiedlichen Bilder erhalten werden. Derart kann erreicht werden, dass Bildpunkte, die in unterschiedlichen Bildern denselben Informationsgehalt beinhalten, einander zugeordnet werden. Also können Bildpunkte einander zugeordnet werden, die denselben Bereich des Probenobjekts 210 abbilden. Insbesondere kann eine solche Zuordnung auch dann gewährleistet werden, wenn das Abbild des Probenobjekts an unterschiedlichen Positionen in den unterschiedlichen Bildern beinhaltet ist (vergleiche 8, Bilder 201 und 203). Es können herkömmliche Techniken der Registrierung verwendet werden. Die Registrierung kann in den verschiedenen hierin beschriebenen Beispielen eine Translation und/oder eine Stauchung und/oder eine Rotation und/oder eine Verzerrung umfassen.
-
Durch die Registrierung in Block 1011 wird eine Zuordnung zwischen den Bildpunkten der unterschiedlichen Bilder erhalten. Wenn Block 1011 nicht ausgeführt wird, kann eine einfache eins-zu-eins Zuordnung der Bildpunkte der unterschiedlichen Bilder verwendet werden, d. h. Bildpunkte, die vom selben Detektorelement erhalten werden, können einander zugeordnet sein.
-
In Block 1012 wird dein ein Satz zugeordnete Bildpunkte ausgewählt. Der Satz, den Block 1012 ausgewählt wird, beinhaltet so viele Elemente, wie es Bilder gibt (nachfolgend n Elemente). Dies entspricht der Anzahl von Iterationen von Block 1002, vergleiche 3.
-
Beispielsweise sind in 11 für ein Szenario mit n=6 die Bildpunktwerte 261 - 266 für einen Satz von zugeordneten Bildpunkten aus Bildern mit verschiedenen Anordnungen 851-854 dargestellt. Aus dem Beispiel der 11 ist ersichtlich, dass - obwohl die zugeordneten Bildpunkte eines Satzes den selben Informationsgehalt aufweisen sollten - die Bildpunktwerte signifikant variieren. Diese Variation der Bildpunktwerte 261 - 266 kann aufgrund der Bildstörungen auftreten.
-
Im Allgemeinen können in den verschiedenen hierin beschriebenen Beispielen unterschiedliche Informationen durch die Bildpunktwerte codiert werden. Beispielsweise könnte eine Helligkeit und/oder eine Farbe durch die Bildpunktwerte codiert werden. Wird zum Beispiel eine Helligkeit durch die Bildpunktwerte codiert, so könnte der Bildpunktwert 261 eine besonders große Helligkeit indizieren; dies kann ein Indiz dafür sein, dass der Bildpunktwert 261 aufgrund eines Reflexes 215 verursacht wird. Entsprechend indiziert der Bildpunktwert 264 eine besonders geringe Helligkeit; dies kann ein Indiz dafür sein, dass der Bildpunktwert 264 aufgrund einer Abschattung 216 verursacht wird. Diese Befunde können verwendet werden, um die Störungsreduktion zu implementieren.
-
Dazu kann es im Allgemeinen möglich sein, die verschiedenen Bildpunktwerte 261-266 zugeordneter Bildpunkte miteinander zu vergleichen. Dieser Vergleich kann beim Kombinieren der Bilder berücksichtigt werden. Z.B. können derart besonders große oder besonders kleine, d.h. im Allgemeinen nicht-extremale Bildpunktwerte, identifiziert werden. In den verschiedenen hierin beschriebenen Beispielen ist es im Allgemeinen möglich, ein oder mehrere nicht-extremale Bildpunktwerte beim Kombinieren der Bilder für den jeweiligen Bildpunkt zu verwenden, während ein oder mehrere extremale Bildpunktwerte vorm Kombinieren verworfen werden können.
-
Eine Möglichkeit, den Vergleich zu implementieren, umfasst die Analyse der Verteilung der Bildpunktwerte 261-266 zugeordneter Bildpunkte der verschiedenen Bilder. Z.B. könnten die Flanken der Verteilung trunkiert werden. Dies kann z.B. einfach durch eine Sortierung der Bildpunktwerte 261-266 erreicht werden. Beispielsweise ist in 12 die sortierte Verteilung 279 der Bildpunktwerte 261-266 aus 11 dargestellt.
-
Wieder Bezug nehmend auf 10: um die Störungsreduktion zu implementieren kann also ein Sortieren der Bildpunktwerte für den aktuellen Satz von zugeordneten Bildpunkten erfolgen. Die Sortierung kann zum Beispiel von großen Bildpunktwerten hin zu kleinen Bildpunktwerten erfolgen.
-
Dann können in Block 1014 die extremalen Bildpunktwerte aus dem aktuellen Satz von zugeordneten Bildpunktwerten verworfen werden. Dies bedeutet im Szenario der 12, dass lediglich die Bildpunktwerte innerhalb des Zentralbereichs 271 beibehalten werden, die extremalen Bildpunktwerte 261 und 264 jedoch verworfen werden. Dies entspricht einer Trunkierung der Flanken der Verteilung 279. Zum Beispiel könnten im Allgemeinen die o größten und/oder die p kleinsten Bildpunktewerte verworfen werden, (wobei n-o+p>0, damit zumindest ein Bildpunktwert übrigbleibt). Dadurch kann erreicht werden, dass solche Bildpunktwerte 261, 264 die mit großer Wahrscheinlichkeit durch Bildstörungen 215, 216 verfälscht sind, keinen Eingang in das Ergebnisbild 250 finden. Dies ermöglicht die Strörstrukturunterdrückung.
-
In Block 1015 der 10 erfolgt schließlich die Mittelwertbildung der nichtverworfenen Bildpunktwerte, d.h. im Szenario der 12 wird der Mittelwert 272 der Bildpunktwerte 262, 263, 265, 266 im Zentralbereich 271 der sortierten Verteilung bestimmt. Beim Bestimmen des Mittelwerts werden die verworfenen, extremalen Bildpunktwerte 261, 264 ignoriert.
-
Solche im Zusammenhang mit den 10-12 dargestellten Techniken können in anderen Beispielen variiert werden. Beispielsweise könnte auch ein Median über alle verschiedenen Bildpunktwerte von zugeordneten Bildpunkten der unterschiedlichen Bilder bestimmt werden, wodurch extremale Bildpunktwerte 261, 164 im Ergebnisbild geringer repräsentiert wären als nicht-extremale Bildpunktwerte. Auch eine gewichtete Mittelwertbildung wäre möglich. In allen solchen Beispielen wird es durch den Vergleich der Bildpunktwerte 261-266 ermöglicht, extremale Bildpunktwerte zu identifizieren. Dies ermöglicht es besonders robust, diejenigen Bilder zu erkennen, bei denen ein bestimmter abgebildeter Bereich durch eine Bildstörung 215, 216 verfälscht ist.
-
Zusammenfassend wurden voranstehend Techniken beschrieben, welche eine Störungsreduktion durch digitale Nachbearbeitung von mehreren erfassten Bildern ermöglichen. Beispielsweise kann die digitale Nachbearbeitung eingerichtet sein, um eine „on-the-fly“ Störungsreduktion durchzuführen. Das heißt, eine Latenz zwischen Bilderfassung und Anzeige mit Störungsreduktion kann beispielsweise kleiner sein, als 1 Sekunde oder optional kleiner als 500 ms. Solche kurzen Latenzen können insbesondere erreicht werden, wenn unterschiedliche Beleuchtungen durch Verwendung eines Arrays von Leuchtdioden zur Variation der Anordnung verwendet werden. Um die Störungsreduktion zu implementieren kann dabei von Bild zu Bild die relative Anordnung zwischen Probenobjekt einerseits und Beleuchtung sowie Detektor andererseits zumindest teilweise variiert werden. Dadurch wird erreicht, dass in den unterschiedlichen Bildern unterschiedliche Bereiche durch die Bildstörungen beeinflusst werden. Durch das bildpunktweise Kombinieren der unterschiedlichen Bilder kann dann erreicht werden, dass ein Ergebnisbild erhalten wird, welches keine oder nur eine reduzierte Anzahl von Bildstörungen aufweist.
-
Hierin beschriebene Techniken ermöglichen es insbesondere, die Störungsreduktion besonders flexibel zu implementieren. Insbesondere kann eine Limitierung zum Beispiel in Bezug auf die Wahl der unterschiedlichen Beleuchtungen im Vergleich zu Referenzimplementierungen entfallen: es können zum Beispiel auch benachbarte Beleuchtungsrichtungen zur Implementierung unterschiedlicher Beleuchtungen verwendet werden, ohne dass dies notwendigerweise in einer schlechteren Störungsreduktion resultieren würde. Z.B. können auch Bildstörungen entfernt werden, die sich bei der Verwendung von benachbarten Beleuchtungsrichtungen noch überlappen. Zum Beispiel können auch unterschiedliche Helligkeiten für die unterschiedlichen Beleuchtungen verwendet werden: durch geeignetes Kombinieren der verschiedenen Bilder, zum Beispiel durch Mittelwertbildung und/oder Vergleichen der Bildpunktwert zugeordneter Bildpunkte, können Variationen der Helligkeit der Beleuchtung berücksichtigt werden.
-
Die hierin beschriebenen Techniken können in unterschiedlichen Anwendungsgebieten eingesetzt werden. Ein Beispiel betrifft etwa die Störungsreduktion bei der Mikroskopie mit einem LED-Ringlicht, das separat ansteuerbare LEDs aufweist. Ein weiteres Beispiel betrifft z.B. medizinische Gerätschaften zur Untersuchung von Augen: dabei könnte etwa eine Spaltlampe mit einer Zusatzlinse vor dem Auge und wechselnden Beleuchtungsrichtungen verwendet werden. Ein weiteres Beispiel betrifft z.B. die Anwendung bei der Material- oder Fertigungsprüfung, z.B. im Zusammenhang mit Leiterplatten etc..
-
Während Ausführungsbeispiele unter Bezugnahme auf die Figuren beschrieben wurden, können Abwandlungen bei weiteren Ausführungsbeispielen realisiert werden.
-
Während die Bildaufnahmevorrichtung nach Ausführungsbeispielen insbesondere ein Mikroskopsystem sein kann, können die beschriebenen Techniken auch bei anderen Abbildungssystemen verwendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014113256 A1 [0006, 0014]
- DE 102015208080 A1 [0006]
- DE 102015208087 A1 [0006]