DE102014113256A1

DE102014113256A1 - Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung

Info

Publication number: DE102014113256A1
Application number: DE102014113256.4A
Authority: DE
Inventors: Lars Stoppe; Thomas Milde; Johannes Winterot
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2014-09-15
Filing date: 2014-09-15
Publication date: 2016-03-17
Also published as: JP2016063540A; JP6608658B2

Abstract

Zur Bildaufnahme wird ein Objekt unter einer Mehrzahl von Beleuchtungsgeometrien beleuchtet. Ein Detektor erfasst eine Mehrzahl von Bildern (41–43) des Objekts für die Mehrzahl von Beleuchtungsgeometrien. Eine elektronische Auswerteeinrichtung wendet wenigstens auf einen Teil der Mehrzahl von Bildern (41–43) eine Abschattungsoperation (T1–T3) zur Reflexunterdrückung an, die von der bei der Aufnahme des jeweiligen Bildes (41–43) verwendeten Beleuchtungsgeometrie abhängt. Die durch die Abschattungsoperation (T1–T3) erzeugten modifizierten Bilder (44–46) können zu einem Ergebnisbild (47) kombiniert werden.

Description

GEBIET DER ERFINDUNG
Ausführungsbeispiele der Erfindung betreffen Vorrichtungen und Verfahren zur Bildaufnahme. Ausführungsbeispiele betreffen insbesondere derartige Vorrichtungen und Verfahren, die eine rechnerische Unterdrückung von Abbildungsfehlern erlauben, der durch Reflexion innerhalb eines Abbildungssystems und/oder an einem Objekt hervorgerufen werden.
HINTERGRUND
Bei einer Bildaufnahme mit einem optischen System mit Beleuchtung kann es zu Reflexen kommen, welche auf der Wechselwirkung zwischen Beleuchtung, Objekt und Optik des Systems beruhen. Derartige Reflexe, die zu einer erhöhten Intensität in einem Bildbereich führen, bewirken einen Informationsverlust. Wird das Beleuchtungslicht in einen Bereich des Bildes reflektiert, geht dadurch die Information über diejenigen Bereiche des abzubildenden Objekts verloren, die in den entsprechenden Bildbereich abgebildet werden sollen. Reflexe in aufgenommenen Bildern verschlechtern somit den Bildeindruck.
Derartige Reflexe können verschiedene Ursachen haben. Ein Reflex in einem Bild kann aufgrund einer Reflexion innerhalb eines optischen Systems einer Bildaufnahmevorrichtung entstehen. Beispielsweise kann eine Mehrfachreflexion von Beleuchtungslicht innerhalb des optischen Systems dazu führen, dass ein Bild-Reflex entsteht. Derartige Reflexe können auch als System-Reflexe bezeichnet werden. Alternativ oder zusätzlich kann auch eine hohe Reflektivität des abzubildenden Objekts in bestimmten Richtungen dazu führen, dass ein Bild-Reflex entsteht. Derartige Reflexe können auch als Objekt-Reflexe bezeichnet werden. Beispielsweise kann bei Auflicht-Beleuchtung eines Objekts die hohe Reflektivität des Objekts dazu führen, dass das Beleuchtungslicht in einem Bildbereich reflektiert wird.
Reflexe können auf unterschiedliche Weise unterdrückt werden. Unter einer Reflexunterdrückung wird hier die Verringerung des Informationsverlusts verstanden, die durch Reflexe verursacht wird.
Um Reflexe in Bildern zu unterdrücken, die durch Reflexion an optischen Komponenten des Systems verursacht werden, können hochwertigere Optiken können eingesetzt werden, um qualitativ hochwertige Abbildungen zu erzeugen. Beispiele für derartige Maßnahmen sind Anti-Reflex-Beschichtungen auf den kritischen optischen Flächen innerhalb des Systems, Optik-Designs mit erhöhter Komplexität zur Reduzierung von Reflexionen, ein Mattieren von Teilen, die nicht für die Abbildung relevant sind, und/oder polarisationsoptische Antireflexeinrichtung. Die Verwendung derartiger Optiken kann jedoch zu Kostennachteilen führen. Darüber hinaus können komplexere Optiken auch zu hohem Bauraum und hohem Gewicht führen. Konfokale Aufnahmetechniken, beispielsweise unter Verwendung eines Konfokalmikroskops, kann Punktscanner und/oder Linienscanner verwenden. Derartige abtastende Verfahren können die Aufnahmezeit wesentliche erhöhen.
Vorrichtungen und Verfahren, die eine Nachverarbeitung der aufgenommenen Bilder einsetzen, können auch zur Korrektur von Objekt-Reflexen eingesetzt werden. Darüber hinaus können die Kosten- und Bauraumnachteile verringert werden, die mit aufwändigen Optikdesigns zur Verringerung von System-Reflexen verbunden sind. Herkömmliche Techniken der digitalen Nachverarbeitung können jedoch Information in den Bildbereichen, in denen ein Reflex vorliegt, nicht wiederherstellen.
ZUSAMMENFASSUNG
Es besteht ein Bedarf an verbesserten Techniken zur Abbildung eines Objekts. Es besteht insbesondere ein Bedarf an Vorrichtungen und Verfahren, mit denen Reflexe durch Verarbeitung aufgenommener Bilder unterdrückt werden können. Es besteht ein Bedarf an derartigen Vorrichtungen und Verfahren, mit denen eine gute Auflösung und guter Kontrast in einem Ergebnisbild erzielbar sind.
Nach Ausführungsbeispielen werden Vorrichtungen und Verfahren angegeben, bei denen ein Objekt sequentiell mit einer Mehrzahl von Beleuchtungsgeometrien beleuchtet und jeweils ein Bild aufgenommen wird. Das Bild kann jeweils ein Intensitätsbild sein. Die Mehrzahl von Bildern wird rechnerisch weiterverarbeitet. Bei der Verarbeitung kann eine Abschattungsoperation auf jedes Bild angewandt werden, in dem ein Reflex vorhanden ist. Die Abschattungsoperation kann lokal diejenigen Pixel in ihrer Intensität reduzieren, beispielsweise vollständig ausblenden, an denen der Reflex im entsprechenden Bild vorhanden ist. Dazu können die Pixel eines aufgenommenen Bildes, in dem ein Reflex vorhanden ist, mit einer bildpunktabhängigen Gewichtungsfunktion multipliziert werden, um ein modifiziertes Bild zu berechnen.
Die Position des Reflexes und damit die bildpunktabhängige Gewichtungsfunktion hängen von der Beleuchtungsgeometrie ab, mit der das Objekt bei der Erfassung des entsprechenden Bildes beleuchtet wird. Pixel, die durch die Abschattungsoperation in einem Bild rechnerisch unterdrückt werden, sind in einem weiteren Bild, das für eine Beleuchtung mit einer anderen Beleuchtungsgeometrie aufgenommen wird, entfernt von dem Reflex angeordnet. Durch Kombination der Information aus mehreren Bildern, in denen jeweils abhängig von der Beleuchtungsgeometrie zur Reflexunterdrückung Pixel niedrig gewichtet werden, kann die vollständige Information über das Objekt rekonstruiert werden.
Die Mehrzahl von durch die Abschattungsoperation modifizierten Bilder kann kombiniert, beispielsweise aufsummiert werden. Bei der Kombination der Bilder kann eine lineare Kombination der durch die Abschattungsoperation modifizierten Bilder ermittelt werden. Durch eine bildpunktabhängige Renormierung kann für jedes Pixel berücksichtigt werden, in wie vielen der Bilder es nahe an oder innerhalb eines Reflexes liegt. In dem Summenbild kann ein Pixel, das in einem oder mehreren der modifizierten Bilder niedrig gewichtet wurde, weil es in oder nahe an einem Reflex lag, kann im Vergleich zu einem anderen Pixel, das in keinem der modifizierten Bilder niedrig gewichtet wurde, wieder stärker gewichtet werden, um die Wirkung der Abschattungsoperation zu berücksichtigen.
Die Abschattungsoperation kann für System-Reflexe für jede Beleuchtungsgeometrie, mit der eine Bildaufnahme erfolgt, vorab ermittelt werden. Dies kann rechnerisch oder durch Kalibrierungsmessungen erfolgen. Information über die jeweils auszuführende Abschattungsoperation kann nichtflüchtig in einem Speicher gespeichert sein und kann zur Verarbeitung der Bilder abgerufen werden. Die Information über System-Reflexe kann davon abhängen, in welche Pixel eines Bildsensors ein optisches System für die jeweilige Beleuchtungsgeometrie Beleuchtungslicht reflektiert.
Die Abschattungsoperation kann für jedes Bild durch eine automatische Reflexerkennung ermittelt werden. Dadurch können Objekt-Reflexe und/oder System-Reflexe identifiziert und korrigiert werden.
Bei den Vorrichtungen und Verfahren nach Ausführungsbeispielen kann eine Bildkorrektur in rechnerisch effizienter Weise ausgeführt werden. Durch die Beleuchtung mit einer Mehrzahl von Beleuchtungsgeometrien und Berücksichtigung der Beleuchtungsgeometrien bei der rechnerischen Verarbeitung der Bilder können die Probleme verringert werden, die herkömmlich mit Reflexen verbunden sind. Informationsverlust kann verringert werden, indem die mit mehreren Beleuchtungsgeometrien erfassten Bilder kombiniert werden. Die Kombination kann durch Operationen wie eine bildpunktweise Multiplikation und Addition ausgeführt werden, die rechnerisch effizient ausführbar sind und eine Echtzeitbedingung erfüllen können.
Eine Bildaufnahmevorrichtung nach einem Ausführungsbeispiel umfasst eine Beleuchtungseinrichtung, die steuerbar ist, um eine Mehrzahl von Beleuchtungsgeometrien für eine Beleuchtung eines Objekts einzustellen. Die Bildaufnahmevorrichtung umfasst einen Detektor mit einem Bildsensor, der eingerichtet ist, um eine Mehrzahl von Bildern eines Objekts für die Mehrzahl von Beleuchtungsgeometrien zu erfassen. Die Bildaufnahmevorrichtung umfasst eine elektronische Auswerteeinrichtung zur Verarbeitung der Mehrzahl von Bildern, die mit dem Bildsensor gekoppelt ist. Die elektronische Auswerteeinrichtung kann für eine Reflexunterdrückung eingerichtet sein, um den mit System-Reflexen und/oder Objekt-Reflexen herkömmlich verbundenen Informationsverlust zu verringern. Die elektronische Auswerteeinrichtung ist eingerichtet, um für wenigstens einen Teil der Mehrzahl von Bildern jeweils eine Abschattungsoperation auszuführen, um eine Mehrzahl von modifizierten Bildern zu erzeugen. Die auf ein Bild angewandte Abschattungsoperation kann von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängen. Die elektronische Auswerteeinrichtung ist eingerichtet, um die Mehrzahl von modifizierten Bildern zu kombinieren.
Mit der Abschattungsoperation kann wenigstens ein Pixel, das innerhalb eines Reflexes liegt, rechnerisch in seiner Intensität verringert werden.
Jedes Bild der Mehrzahl von Bildern kann ein Intensitätsbild sein.
Die auf ein Bild angewandte Abschattungsoperation kann von einer Position eines Reflexes in dem Bild abhängen.
Der Reflex kann durch Reflexion an optischen Komponenten der Bildaufnahmevorrichtung und/oder durch Reflexion an dem Objekt verursacht sein.
Die von der elektronischen Auswerteeinrichtung ausgeführte Abschattungsoperation kann eine Anwendung einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, umfassen.
Durch die bildpunktabhängige Gewichtungsfunktion kann ein Gewicht eines Pixels, das innerhalb des Reflexes liegt, im Vergleich zu einem weiteren Gewicht eines weiteren Pixels, das außerhalb des Reflexes liegt, reduziert werden.
Die Gewichtungsfunktion kann zwischen dem Pixel, das innerhalb des Reflexes liegt, und dem weiteren Pixel, das außerhalb des Reflexes liegt, monoton zunehmen. Die Gewichtungsfunktion kann stetig zunehmen.
Durch die bildpunktabhängige Gewichtungsfunktion kann das Gewicht des Pixels, das innerhalb des Reflexes liegt, auf Null gesetzt werden. Dadurch kann in dem modifizierten Bild das entsprechende Pixel, das innerhalb des Reflexes liegt, ausgeblendet werden. Es können alle Pixel innerhalb des Reflexes ausgeblendet werden.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um für jedes Bild der Mehrzahl von Bildern, das einen Reflex aufweist, wenigstens ein Pixel mit der einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, zu gewichten.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um eine bildpunktabhängigen Renormierungsfunktion aus den Gewichtungsfunktionen für mehrere Bilder zu ermitteln.
Die bildpunktabhängige Renormierungsfunktion kann von einer Positionen eines ersten Reflexes in einem ersten Bild, das mit einer ersten Beleuchtungsgeometrie aufgenommen wurde, und von einer Position eines zweiten Reflexes in einem zweiten Bild, das mit einer von der ersten Beleuchtungsgeometrie verschiedenen zweiten Beleuchtungsgeometrie aufgenommen wurde, abhängen.
Die bildpunktabhängige Renormierungsfunktion kann von Positionen von Reflexen in allen Bildern, die einen Reflex aufweisen, abhängen.
Die bildpunktabhängige Renormierungsfunktion kann für jedes Pixel jeweils von dem Inversen der Gewichtungsfunktion für dieses Pixel für alle Bilder, die einen Reflex aufweisen, abhängen.
Die bildpunktabhängige Renormierungsfunktion kann für ein Pixel jeweils davon abhängen, in wie vielen Bildern der Mehrzahl von Bildern das Gewicht des entsprechenden Pixels jeweils durch die Gewichtungsfunktion reduziert ist.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um ein Summenbild der durch die Abschattungsoperation modifizierten Bilder zu bestimmen.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um eine lineare Kombination der durch die Abschattungsoperation modifizierten Bilder zu berechnen. Die elektronische Auswerteeinrichtung kann eingerichtet sein, um dadurch ein Phasenkontrastbild oder ein Ergebnisbild mit Kontraststeigerung zu ermitteln.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um die lineare Kombination der mehreren Bilder mit der bildpunktabhängigen Renormierungsfunktion zu gewichten. Dazu kann jedes Pixel mit der bildpunktabhängigen Renormierungsfunktion multipliziert werden.
Die Abschattungsoperation kann für jedes Bild, das einen Reflex aufweist, so gewählt sein, dass sie Systemreflexe eines optischen Systems der Bildaufnahmevorrichtung unterdrückt.
Information über die Abschattungsoperation zur Abschattung der Systemreflexe in Abhängigkeit von der Beleuchtungsgeometrie kann nichtflüchtig in der Bildaufnahmevorrichtung gespeichert sein.
Die Abschattungsoperation kann alternativ oder zusätzlich Objektreflexe des Objekts unterdrücken.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um für jedes Bild der Mehrzahl von Bildern Objektreflexe in dem entsprechenden Bild automatisch zu identifizieren.
Die elektronische Auswerteeinrichtung kann eingerichtet sein, um die bildpunktabhängige Gewichtungsfunktion jeweils abhängig davon festzulegen, in welchen Pixeln der automatisch identifizierte Objektreflex vorliegt.
Die Bildaufnahmevorrichtung kann ein Mikroskopsystem sein.
Die Bildaufnahmevorrichtung kann ein digitales Mikroskop sein.
Ein Verfahren zur Bildaufnahme nach einem Ausführungsbeispiel umfasst ein Erfassen einer Mehrzahl von Bildern, wenn ein Objekt sequentiell mit einer Mehrzahl von Beleuchtungsgeometrien beleuchtet wird. Das Verfahren umfasst ein Verarbeiten der Mehrzahl von Bildern zur Reflexunterdrückung. Dabei wird eine Abschattungsoperation für wenigstens einen Teil der Mehrzahl von Bildern ausgeführt, um eine Mehrzahl von modifizierten Bildern zu erzeugen, wobei die Abschattungsoperation von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt. Die Mehrzahl von modifizierten Bildern wird kombiniert.
Das Verfahren kann von der Bildaufnahmevorrichtung nach einem Ausführungsbeispiel automatisch ausgeführt werden.
Mit der Abschattungsoperation kann bei dem Verfahren wenigstens ein Pixel, das innerhalb eines Reflexes liegt, rechnerisch in seiner Intensität verringert werden.
Bei dem Verfahren kann jedes Bild der Mehrzahl von Bildern ein Intensitätsbild sein.
Bei dem Verfahren kann jedes die auf ein Bild angewandte Abschattungsoperation von einer Position eines Reflexes in dem Bild abhängen.
Bei dem Verfahren kann der Reflex durch Reflexion an optischen Komponenten der Bildaufnahmevorrichtung und/oder durch Reflexion an dem Objekt verursacht sein.
Bei dem Verfahren kann die Abschattungsoperation eine Anwendung einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, umfassen.
Bei dem Verfahren kann durch die bildpunktabhängige Gewichtungsfunktion ein Gewicht eines Pixels, das innerhalb des Reflexes liegt, im Vergleich zu einem weiteren Gewicht eines weiteren Pixels, das außerhalb des Reflexes liegt, reduziert werden.
Bei dem Verfahren kann durch die Gewichtungsfunktion zwischen dem Pixel, das innerhalb des Reflexes liegt, und dem weiteren Pixel, das außerhalb des Reflexes liegt, monoton zunehmen. Die Gewichtungsfunktion kann stetig zunehmen.
Bei dem Verfahren kann durch die bildpunktabhängige Gewichtungsfunktion das Gewicht des Pixels, das innerhalb des Reflexes liegt, auf Null gesetzt werden. Dadurch kann in dem modifizierten Bild das entsprechende Pixel, das innerhalb des Reflexes liegt, ausgeblendet werden. Es können alle Pixel innerhalb des Reflexes ausgeblendet werden.
Bei dem Verfahren kann für jedes Bild der Mehrzahl von Bildern, das einen Reflex aufweist, wenigstens ein Pixel mit der einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, gewichtet werden.
Das Kombinieren der Bilder kann bei dem Verfahren die Bestimmung eine bildpunktabhängigen Renormierungsfunktion aus den Gewichtungsfunktionen für mehrere Bilder umfassen.
Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion von einer Positionen eines ersten Reflexes in einem ersten Bild, das mit einer ersten Beleuchtungsgeometrie aufgenommen wurde, und von einer Position eines zweiten Reflexes in einem zweiten Bild, das mit einer von der ersten Beleuchtungsgeometrie verschiedenen zweiten Beleuchtungsgeometrie aufgenommen wurde, abhängen.
Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion von Positionen von Reflexen in allen Bildern, die einen Reflex aufweisen, abhängen.
Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion für jedes Pixel jeweils von dem Inversen der Gewichtungsfunktion für dieses Pixel für alle Bilder, die einen Reflex aufweisen, abhängen.
Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion für ein Pixel jeweils davon abhängen, in wie vielen Bildern der Mehrzahl von Bildern das Gewicht des entsprechenden Pixels jeweils durch die Gewichtungsfunktion reduziert ist.
Das Kombinieren der Bilder kann die Bestimmung eines Summenbilds der durch die Abschattungsoperation modifizierten Bilder umfassen.
Das Kombinieren der Bilder kann die Berechnung einer linearen Kombination der durch die Abschattungsoperation modifizierten Bilder umfassen. Dadurch kann ein Phasenkontrastbild berechnet und/oder eine Kontraststeigerung erreicht werden.
Das Kombinieren der Bilder kann eine Gewichtung der linearen Kombination mit der bildpunktabhängigen Renormierungsfunktion umfassen. Dazu kann jedes Pixel der Linearkombination mit der bildpunktabhängigen Renormierungsfunktion multipliziert werden.
Bei dem Verfahren kann die Abschattungsoperation für jedes Bild, das einen Reflex aufweist, so gewählt sein, dass sie Systemreflexe eines optischen Systems der Bildaufnahmevorrichtung unterdrückt.
Bei dem Verfahren kann Information über die Abschattungsoperation zur Abschattung der Systemreflexe in Abhängigkeit von der Beleuchtungsgeometrie nichtflüchtig in der Bildaufnahmevorrichtung gespeichert sein.
Bei dem Verfahren kann die Abschattungsoperation alternativ oder zusätzlich Objektreflexe des Objekts unterdrücken.
Das Verfahren kann ein automatisches Identifizieren von Objektreflexen in der Mehrzahl von Bildern umfassen.
Bei dem Verfahren kann die bildpunktabhängige Gewichtungsfunktion jeweils abhängig davon festgelegt werden, in welchen Pixeln der automatisch identifizierte Objektreflex vorliegt.
Das Verfahren kann von einem Mikroskopsystem ausgeführt werden, wobei die Verarbeitung der Bilder automatisch durch eine elektronische Auswerteeinrichtung des Mikroskopsystems erfolgt. Die Verarbeitung kann auch durch einen von dem Mikroskop separaten Computer ausgeführt werden.
Das Mikroskopsystem kann ein digitales Mikroskop sein.
Bei den Vorrichtungen und Verfahren können die Bilder können in einer Transmissionsanordnung erfasst werden. Die Bilder können in einer Reflexionsanordnung erfasst werden.
Bei den Vorrichtungen und Verfahren kann jede Beleuchtungsgeometrie der Mehrzahl von Beleuchtungsgeometrien jeweils genau einer Beleuchtungsrichtung entsprechen, unter der das Objekt beleuchtet wird. Die Beleuchtungsgeometrie kann durch einen Beleuchtungswinkel in drei Dimensionen festgelegt sein, der durch ein Paar von Winkelkoordinaten definiert werden kann.
Bei den Vorrichtungen und Verfahren kann wenigstens eine oder können mehrere der Mehrzahl von Beleuchtungsgeometrien jeweils genau einer Beleuchtungsrichtung entsprechen, unter der das Objekt beleuchtet wird.
Es können auch komplexere Beleuchtungsgeometrien verwendet werden. Beispielsweise kann für wenigstens eine der Beleuchtungsgeometrien oder können für mehrere Beleuchtungsgeometrien Strahlen mit unterschiedlicher Richtung auf das Objekt eingestrahlt werden. Das Objekt kann aus einem Raumwinkelbereich oder aus mehreren Raumwinkelbereichen flächig beleuchtet werden. Das Objekt kann aus mehreren Richtungen beleuchtet werden, so dass die Beleuchtung kein zusammenhängendes Gebiet und/oder kein konvexes Gebiet bildet.
Vorrichtungen und Verfahren nach Ausführungsbeispielen erlauben die Verwendung kostengünstiger Optiken, da Reflexe durch Verarbeitung mehrerer Bilder unterdrückt werden. Die Verarbeitung der aufgenommenen Bilder kann schnell, auflösungserhaltend und artefaktreduzierend erfolgen.
Da die Abschattungsoperation so ausgestaltet sein kann, dass lokal nur diejenigen Pixel unterdrückt werden, die in der Nähe des Reflexes liegen, kann eine bessere Auflösung und ein besserer Kontrast als mit Techniken erzielt werden, bei denen ein Bild vollständig verworfen wird, wenn es einen Reflex aufweist. Für unterschiedliche Beleuchtungsgeometrien sind die Abschattungsoperationen in der Regel unterschiedlich, so dass die lokale Unterdrückung zur Abschattung des Reflexes unterschiedliche Pixel betrifft. Die Information für einen Objektbereich, in dem für eine Beleuchtungsgeometrie durch einen Reflex Informationsverlust eintritt, kann in der Regel aus einem weiteren Bild rekonstruiert werden, in dem der Reflex an einer anderen Position angeordnet ist.
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
KURZE BESCHREIBUNG DER FIGUREN
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
1 ist eine schematische Darstellung einer Bildaufnahmevorrichtung nach einem Ausführungsbeispiel.
2 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
3 veranschaulicht die Verarbeitung einer Mehrzahl von Bildern bei Vorrichtungen und Verfahren nach Ausführungsbeispielen.
4 veranschaulicht die Verarbeitung eines Bildes mit einer Bildaufnahmevorrichtung und einem Verfahren nach Ausführungsbeispielen.
5 veranschaulicht eine beispielhafte bildpunktabhängige Gewichtungsfunktion, mit der Pixel multipliziert werden, um eine Abschattungsoperation auszuführen.
6 veranschaulicht eine beispielhafte bildpunktabhängige Gewichtungsfunktion, mit der Pixel multipliziert werden, um eine Abschattungsoperation auszuführen.
7 veranschaulicht die Ermittlung einer Renormierungsfunktion, die beim Kombinieren von Bildern eingesetzt werden kann.
8 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
9 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
10 ist ein Blockdiagramm einer Bildaufnahmevorrichtung nach einem Ausführungsbeispiel.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Darstellungen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und ihr Zweck dem Fachmann verständlich werden.
In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein.
Nachfolgend werden Techniken beschrieben, mit denen Reflexe bei Abbildung eines Objekts rechnerisch unterdrückt werden können. Unter einer „Reflexunterdrückung“ werden dabei Maßnahmen verstanden, mit denen der Informationsverlust, der mit dem Vorliegen von Reflexen herkömmlich verbunden ist, verringert werden kann.
Wie nachfolgend ausführlicher beschrieben wird, werden bei Ausführungsbeispielen der Erfindung sequentiell mehrere Bilder eines Objekts aufgenommen. Die aufgenommenen Bilder sind jeweils Intensitätsbilder. Eine Beleuchtungsgeometrie für eine Beleuchtung des Objekts wird zur Aufnahme der mehreren Bilder auf unterschiedliche Werte eingestellt. Auf alle oder einen Teil der Bilder wird eine Abschattungsoperation angewandt. Die Abschattungsoperation kann eine Gewichtung der Intensität von Pixeln umfassen, die davon abhängt, in welchen Pixeln für die entsprechende Beleuchtungsgeometrie ein Reflex in dem Bild vorliegt. Durch die Abschattungsoperation können die Artefakte verringert werden, die durch eine Reflexion in bestimmte Bildbereiche hervorgerufen werden.
Die Abschattungsoperation kann bei einem Bild jeweils für jeden von mehreren Farbkanälen identisch sein. Die Abschattungsoperation kann für unterschiedliche Farbkanäle verschieden sein, beispielsweise falls die Position von Reflexion aufgrund chromatischer Aberration wellenlängenabhängig ist.
Bei allen Reflexen, die nicht ausschließlich durch eine Reflexion an einem rotationssymmetrischen Objekt verursacht werden, verändert sich die Position eines Reflexes in dem Bild abhängig von der jeweiligen Beleuchtungsrichtung. Durch die Abschattungsoperation können in unterschiedlichen Bildern, die Reflexe aufweisen, jeweils unterschiedliche Bildbereiche ausgeblendet werden, um die jeweiligen Reflexe abzuschatten.
Durch die Kombination der Bilder kann die vollständige Intensitätsinformation rekonstruiert werden. Die Kombination kann beispielsweise ein Aufsummieren der durch beleuchtungsgeometrieabhängige Gewichtungsfunktionen modifizierten Bilder mit anschließender Renormierung des Summenbildes umfassen. Es kann auch eine andere Kombination verwendet werden. Beispielsweise kann eine beliebige lineare Kombination der durch beleuchtungswinkelabhängige Gewichtungsfunktionen modifizierten Bilder mit anschließender Renormierung vorgenommen werden, um ein Ergebnisbild zu bestimmen. Die Renormierung kann durch eine Multiplikation mit einer bildpunktabhängigen Renormierungsfunktion ausgeführt werden, die berücksichtigt, in wie vielen Bildern und durch welche Gewichtung ein Pixel jeweils abgeschattet wurde, um einen Reflex auszublenden.
Die rechnerische Verarbeitung der erfassten Bilder, die die Abschattungsoperation beinhaltet, kann auf in einem Speichermedium einer Bildaufnahmevorrichtung nichtflüchtig gespeicherten Daten beruhen. Die Daten können für unterschiedliche Beleuchtungsgeometrien die jeweils anzuwendende Abschattungsoperation umfassen. Alternativ oder zusätzlich können die Daten Informationen enthalten, aus denen eine elektronische Auswerteeinrichtung die anzuwendende Abschattungsoperation ermittelt. Beispielsweise kann für jede Beleuchtungsgeometrie die Position eines Reflexes hinterlegt sein, der durch Reflexion am optischen System der Bildaufnahmevorrichtung verursacht wird.
Die Daten, die im Betrieb der Bildaufnahmevorrichtung zur rechnerischen Reflexunterdrückung verwendet werden, können vorab rechnerisch bestimmt und in dem Speichermedium gespeichert werden. Die Daten können alternativ oder zusätzlich durch eine Kalibrierungsmessung an der Bildaufnahmevorrichtung mit Referenzobjekten erzeugt und nichtflüchtig gespeichert werden.
Die Position von Reflexen in Abhängigkeit von der Beleuchtungsgeometrie kann von der Bildaufnahmevorrichtung auch automatisch ermittelt werden. Beispielsweise können Objektreflexe und optional auch Systemreflexe automatisch erkannt werden, um zu bestimmen, welche Pixel für die entsprechende Beleuchtungsgeometrie durch Multiplikation mit einem Gewichtungsfaktor, der von eins verschieden ist, abgeschattet werden sollen.
Durch Kombination der mehreren Bilder nach der Abschattungsoperation kann die elektronische Auswerteeinrichtung automatisch ein Ergebnisbild erzeugen, das die Information der mehreren Bilder enthält. Die Erzeugung des Ergebnisbildes kann so erfolgen, dass sie nur Multiplikations- und Summationsoperationen erfordert. Die Erzeugung des Ergebnisbildes kann so erfolgen, dass das Ergebnisbild echtzeitfähig ermittelt werden kann.
1 ist eine schematische Darstellung einer Bildaufnahmevorrichtung 1 nach einem Ausführungsbeispiel. Die Bildaufnahmevorrichtung 1 kann zur automatischen Ausführung von Verfahren nach Ausführungsbeispielen ausgestaltet sei. Die Bildaufnahmevorrichtung 1 kann ein Mikroskopsystem sein oder kann ein Mikroskop umfassen, das mit einer noch ausführlicher beschriebenen steuerbaren Beleuchtungseinrichtung, einer Kamera mit einem Bildsensor und einer elektronischen Auswerteeinrichtung zur Reflexunterdrückung versehen ist.
Die Bildaufnahmevorrichtung 1 umfasst eine Beleuchtungseinrichtung mit einer Lichtquelle 11. Eine Kondensor-Linse 12 kann in an sich bekannte Weise das von der Lichtquelle 11 abgegeben Licht auf ein abzubildendes Objekt 2 lenken. Die Beleuchtungseinrichtung ist so ausgestaltet, dass Licht mit einer Mehrzahl unterschiedlicher Beleuchtungsgeometrien auf das Objekt 2 eingestrahlt werden kann. Beispielweise kann jede Beleuchtungsgeometrie durch einen Beleuchtungswinkel 4 im Raum definiert sein, in der der Strahl 3 auf das Objekt 2 eingestrahlt werden kann. Unterschiedliche Beleuchtungsgeometrien können dann unterschiedlichen Beleuchtungswinkeln entsprechen.
Es können auch komplexere Beleuchtungsgeometrien verwendet werden. Beispielsweise können gleichzeitig Strahlen unter mehreren Beleuchtungswinkeln auf das Objekt 2 eingestrahlt werden.
Um steuerbare Beleuchtungsgeometrien vorzusehen, kann beispielsweise die Lichtquelle 11 eine Leuchtdioden(LED)-Anordnung mit mehreren LEDs umfassen, die einzeln oder in beliebig strukturierten Gruppen ansteuerbar sein können. Die LED-Anordnung kann eine LED-Ringanordnung sein. Alternativ kann ein steuerbares Element in einer Zwischenbildebene, in die eine herkömmliche Lichtquelle vergrößert abgebildet wird, angeordnet sein, um unterschiedliche Beleuchtungsgeometrien bereitzustellen. Das steuerbare Element kann eine bewegliche Lochblende, eine Mikrospiegelanordnung, eine Flüssigkeitskristallmatrix oder einen räumlichen Lichtmodulator umfassen.
Die Beleuchtungseinrichtung kann so eingerichtet sein, dass der Betrag des Beleuchtungswinkels 4, der mit einer optischen Achse 5 eingeschlossen wird, verändert werden kann. Die Beleuchtungseinrichtung kann so eingerichtet sein, dass eine Richtung des Strahls 3, mit dem das Objekt unter dem Beleuchtungswinkel 4 beleuchtet werden kann, auch in Polarrichtung um die optische Achse 5 herumbewegt werden kann. Die Beleuchtungseinrichtung kann so eingerichtet sein, dass mehrere Strahlen in unterschiedlichen Richtungen oder über unterschiedliche Raumwinkelbereiche auf das Objekt einfallen.
Ein Detektor 14 der Bildaufnahmevorrichtung 1 erfasst für jede von mehreren Beleuchtungsgeometrien, mit denen das Objekt 2 beleuchtet wird, jeweils mindestens ein Bild des Objekts 2. Das Bild ist jeweils in Intensitätsbild. Ein Bildsensor 15 des Detektors 14 kann beispielsweise als CCD-Sensor, CMOS-Sensor oder als ein TDI(„time delay and integration“)-CCD-Sensor ausgestaltet sein. Eine Abbildungsoptik, beispielsweise ein nur schematisch dargestelltes Mikroskopobjektiv 13, kann ein vergrößertes Abbild des Objekts 2 an dem Bildsensor 15 erzeugen.
Die Bildaufnahmevorrichtung 1 umfasst eine elektronische Auswerteeinrichtung 20. Die elektronische Auswerteeinrichtung verarbeitet die Mehrzahl von Bildern weiter, die von dem Objekt 2 für die Mehrzahl von Beleuchtungsgeometrien erfasst wurden. Die elektronische Auswerteeinrichtung 20 wendet eine Abschattungsoperation auf einige oder alle der Mehrzahl von Bildern an. Wie unter Bezugnahme auf 2 bis 10 näher beschrieben wird, kann die Abschattungsoperation für jedes Bild, das einen Systemreflex oder einen Objektreflex enthält, die Multiplikation mit einer bildpunktabhängigen Gewichtungsfunktion umfassen. Durch die bildpunktabhängige Gewichtung können Pixel, die in dem Reflex oder innerhalb eines vordefinierten Abstands um den Reflex liegen, vollständig ausgeblendet oder in ihrer Intensität verringert werden, um Artefakte zu reduzieren.
Die Pixel, deren Intensität durch die Abschattungsoperation unterdrückt wird, können abhängig von der Beleuchtungsgeometrie unterschiedliche Positionen aufweisen. Die Bildaufnahmevorrichtung kann eine Mehrzahl von Bildern des Objekts derart erfassen, dass jedes Pixel in wenigstens einem Bild der Mehrzahl von Bildern nicht innerhalb eines Reflexes liegt oder nicht innerhalb eines vordefinierten Abstands von einem Reflex liegt.
Die Bildaufnahmevorrichtung 1 kann ein Speichermedium mit Information zur Reflexunterdrückung 21 umfassen. Die elektronische Auswerteeinrichtung 20 ist mit dem Speichermedium gekoppelt oder kann dieses umfassen. Die elektronische Auswerteeinrichtung 20 kann die für jede Beleuchtungsgeometrie jeweils anzuwendende Gewichtungsfunktion abhängig von der Korrekturinformation in dem Speichermedium ermitteln. Die Information zur Reflexunterdrückung, die in dem Speichermedium gespeichert ist, kann so ausgestaltet sein, dass sie Reflexionen in der Bildaufnahmevorrichtung abhängig von der Beleuchtungsgeometrie berücksichtigt.
Die modifizierten Bilder, die jeweils einer von mehreren Beleuchtungsgeometrien zugeordnet sind, können auf unterschiedliche Weise kombiniert werden. Beispielsweise können die Bilder nach der Abschattungsoperation zu einem Summenbild aufaddiert werden. Das Summenbild kann mit einer ortsabhängigen Renormierungsfunktion multipliziert werden, die berücksichtigt, welche Pixel für die unterschiedlichen Beleuchtungsgeometrien jeweils mit einer von eins verschiedenen Gewichtung multipliziert wurden. Die entsprechende Verarbeitung kann von der elektronischen Auswerteeinrichtung 20 automatisch ausgeführt werden. Alternativ kann auch eine beliebige andere lineare Kombination der durch die Abschattungsoperation modifizierten Bilder berechnet werden. Die lineare Kombination kann mit einer ortsabhängigen Renormierungsfunktion multipliziert werden, die berücksichtigt, welche Pixel für die unterschiedlichen Beleuchtungsgeometrien jeweils mit einer von eins verschiedenen Gewichtung multipliziert wurden. Durch die lineare Kombination kann beispielsweise eine Kontrasterhöhung erreicht oder ein Phasenkontrastbild berechnet werden.
Da die elektronische Auswerteeinrichtung 20 eine Abschattungsoperation durch Multiplikation und Summation ausführen kann, ist die Verarbeitung echtzeitfähig. Die Bildaufnahmevorrichtung 1 kann eine Benutzerschnittstelle mit einer optischen Ausgabeeinrichtung umfassen, auf der die elektronische Auswerteeinrichtung 20 im Betrieb das erzeugte Ergebnisbild ausgeben kann. Durch Kombination von Information aus Bildern, die bei Beleuchtung unter mehreren Beleuchtungsgeometrien erfasst wurden, kann guter Kontrast und gute Auflösung auch in den Bildbereichen erreicht werden, die in einem oder mehreren der Mehrzahl von aufgenommenen Bilder durch eine Reflexion überdeckt sind.
Die Funktionsweise der Bildaufnahmevorrichtung nach Ausführungsbeispielen wird unter Bezugnahme auf 2 bis 10 näher beschrieben.
2 ist ein Flussdiagramm eines Verfahrens 30 nach einem Ausführungsbeispiel. Das Verfahren kann von der Bildaufnahmevorrichtung 1 automatisch ausgeführt werden.
Bei Schritt 31 wird das Objekt mit einer ersten Beleuchtungsgeometrie beleuchtet. Die Beleuchtungseinrichtung kann beispielsweise von der elektronischen Auswerteeinrichtung 20 so angesteuert werden, dass das Objekt mit der ersten Beleuchtungsgeometrie beleuchtet wird. Der Bildsensor 15 erfasst ein erstes Bild. Das erste Bild kann ein erstes Intensitätsbild sein.
Bei Schritt 32 wird das Objekt mit einer von der ersten Beleuchtungsgeometrie verschiedenen zweiten Beleuchtungsgeometriebeleuchtet. Dazu kann die Beleuchtungseinrichtung entsprechend angesteuert werden. Der Bildsensor 15 erfasst ein zweites Bild. Das zweite Bild kann ein zweites Intensitätsbild sein.
Die sequentielle Beleuchtung des Objekts unter unterschiedlichen Beleuchtungswinkeln und Bildaufnahme kann wiederholt werden.
Bei Schritt 33 wird das Objekt mit einer N-ten Beleuchtungsgeometrie beleuchtet, wobei N eine ganze Zahl > 1 ist. Dazu kann die Beleuchtungseinrichtung entsprechend angesteuert werden. Der Bildsensor 15 erfasst ein N-tes Bild.
Bei Schritt 34 wird auf alle oder wenigstens einen Teil der N Bilder eine Abschattungsoperation angewandt. Die Abschattungsoperation wird auf jedes Bild angewandt, in dem wenigstens ein Reflex vorhanden ist. Der Reflex kann ein Systemreflex oder ein Objektreflex sein. Die Abschattungsoperation kann diejenigen Pixel ausblenden oder wenigstens in ihrer Intensität verringern, in denen aufgrund von Reflexion in dem optischen System oder an dem Objekt die Information über das Objekt durch eine Reflexion überlagert ist. Die Bildbereiche, in denen die Intensität reduziert wird, hängen dabei von der Beleuchtungsgeometrie bei Aufnahme des entsprechenden Bildes ab.
Durch die Abschattungsoperation kann die Intensität aller Pixel, die in einem Reflex liegen, auf Null gesetzt werden. Durch die Abschattungsoperation kann die Intensität von Pixeln, die in einer vordefinierten Umgebung um den Reflex liegen, reduziert werden.
Bei Schritt 35 können die durch die Abschattungsoperation modifizierten Bilder rechnerisch kombiniert werden. Dazu können die modifizierten Bilder addiert werden oder es kann eine andere lineare Kombination bestimmt werden. Die lineare Kombination kann auch alle Bilder beinhalten, in denen keine Reflexion vorliegt. Die lineare Kombination der durch die Abschattungsoperationen modifizierten Bilder kann mit einer ortsabhängigen Renormierungsfunktion multipliziert werden, um zu berücksichtigen, dass bei einigen der modifizierten Bilder Intensitäten lokal verringert wurden, um eine Reflexion abzuschatten. Komplexere Verarbeitungen sind möglich. Beispielsweise können auch Phaseninformationen des Objekts 2 rechnerisch aus den mehreren Bildern bestimmt werden.
Die Bildaufnahmevorrichtung kann eingerichtet sein, um Systemreflexe und/oder Objektreflexe zu korrigieren, wie unter Bezugnahme auf 3 bis 10 ausführlicher beschrieben wird. Dabei können verschiedene Methoden eingesetzt werden.
Zu Korrektur von Systemreflexen können vor dem Betrieb der Bildaufnahmevorrichtung 1 zu jeder anschaltbaren Beleuchtungsrichtung die entstehenden Systemreflexe mittels Kalibrationsmessungen und/oder rechnerisch bestimmt werden. Die Systemreflexe werden auf dem Bildsensor lokalisiert und zu den jeweiligen Beleuchtungsgeometrien zugeordnet. Zu den Reflexen können jeweils entsprechende Abschattungsbilder erzeugt werden, die die jeweiligen Reflexe abschatten und den Beleuchtungsgeometrien zugeordnet sind. In der Umsetzung kann das Abschattungsbild durch Multiplikation des Bildes, das mit der entsprechenden Beleuchtungsgeometrie erfasst wurde, mit einer ortsabhängigen Gewichtungsfunktion mit dem Bild verrechnet werden.
Für jeden Bereich des Bildsensors kann ermittelt werden, wieviel Licht von allen Abschattungsmatrizen zusammen abgeschattet wird. In Abhängigkeit davon kann ein Renormierungsbild erstellt werden. Das Renormierungsbild kann die Summe der Abschattungen über alle Beleuchtungsgeometrien repräsentieren oder dazu proportional sein. Das Renormierungsbild kann ortsaufgelöst angeben, für wie viele Beleuchtungsgeometrien im entsprechenden Pixel des Bildsensors jeweils von dem Abschattungsbild Licht durchgelassen wird, also kein Reflex abgeschattet werden muss.
Die erfassten Bilder des Objekts können wie folgt behandelt werden: (i) Jedes der Bilder ist einer Beleuchtungsgeometrie zugeordnet, mit der das Objekt bei der Bildaufnahme beleuchtet wurde. (ii) Das Bild wird mit einer ortsabhängigen Gewichtungsfunktion multipliziert, die der Beleuchtungsgeometrie zugeordnet ist und ein modifiziertes Bild erzeugt, in dem Reflexe abgeschattet sind. (iii) Es wird eine bildpunktabhängige Renormierungsfunktion verwendet, die von den Gewichtungsfunktionen abhängt und die berücksichtigt, bei wie vielen der Bilder das entsprechende Pixel durch Multiplikation mit der Gewichtungsfunktion abgeschattet wird. (iv) Alle so erzeugten modifizierten Bilder können summiert werden, um ein Summenbild oder eine andere lineare Kombination der modifizierten Bilder zu erzeugen. (v) Das Summenbild oder die andere lineare Kombination der modifizierten Bilder kann bildpunktweise mit der Renormierungsfunktion multipliziert werden.
In dem entstehenden Ergebnisbild sind Systemreflexe unterdrückt. Falls das Objekt ein Amplitudenobjekt ist, können alle Systemreflexe weitgehend oder sogar vollständig unterdrückt werden. Falls das Objekt ein Phasenobjekt ist, können die Systemreflexe wenigstens teilweise unterdrückt werden.
Zusätzlich oder alternativ zu der vorab rechnerisch oder durch Kalibration ermittelten Information über die Positionen von Systemreflexen können auch in jedem Bild Reflexe automatisch erkannt werde, beispielsweise durch einen Schwellenwertvergleich der Intensität. Die Abschattungsoperation kann jeweils abhängig von der Reflexposition ausgeführt werden, die aus dem Bild durch automatische Verarbeitung erkannt wurde. Dadurch kann eine weitere Reflexunterdrückung für Bilder von Phasenobjekten erreicht werden.
Mit Vorrichtungen und Verfahren nach Ausführungsbeispielen können auch Objektreflexe unterdrückt werden. Dies ist mit herkömmlichen Maßnahmen zur Verbesserung des optischen Systems, beispielsweise durch Verwendung von Anti-Reflex-Beschichtungen, nicht möglich.
Reflexe, die durch das Objekt verursacht werden, können nicht vorberechnet werden. Daher kann zur Unterdrückung von Objektreflexen nach Ausführungsbeispielen für jedes Bild des Objekts durch Bildverarbeitung bestimmt werden, ob und an welcher Position ein Objektreflex vorliegt. Dazu kann beispielsweise ein Schwellenwertvergleich ausgeführt werden, um Objektreflexe zu lokalisieren.
Zur Unterdrückung von Objektreflexen, aber auch Systemreflexen, können folgende Schritte ausgeführt werden: (i) Lokalisierung der Reflexe in jedem der Bilder; hierzu kann jeder geeignete Algorithmus verwendet werden. Beispielsweise kann ein einfacher Schwellenwertvergleich der Intensität bildpunktabhängig ausgeführt werden. (ii) Abhängig von der Position des Reflexes wird eine bildpunktabhängige Gewichtungsfunktion bestimmt. Mit dieser wird der Reflex abhängig von der Beleuchtungsgeometrie abgeschattet. (iii) Das Bild wird mit einer ortsabhängigen Gewichtungsfunktion multipliziert, die der Beleuchtungsgeometrie zugeordnet ist und ein modifiziertes Bild erzeugt, in dem Reflexe abgeschattet sind. (iv) Es wird eine bildpunktabhängige Renormierungsfunktion verwendet, die von den Gewichtungsfunktionen abhängt und die berücksichtigt, bei wie vielen der Bilder das entsprechende Pixel durch Multiplikation mit der Gewichtungsfunktion abgeschattet wird. (v) Alle durch die Abschattungsoperation erzeugten modifizierten Bilder können summiert werden, um ein Summenbild zu erzeugen, oder können in anderer Weise linear kombiniert werden. (vi) Das Summenbild oder die andere lineare Kombination kann bildpunktweise mit der Renormierungsfunktion multipliziert werden.
In dem so ermittelten Ergebnisbild sind Objektreflexe unterdrückt.
Falls ein Objekt bei Beleuchtung unter allen Beleuchtungsrichtungen Reflexe an derselben Stelle im Bild generieren, wie dies beispielsweise bei Hohlspiegeln oder anderen reflektierenden, rotationssymmetrischen Oberflächen der Fall sein kann, kann für die entsprechenden Pixel keine Bildinformation ermittelt werden. Die entsprechenden Pixel sind in jedem der Bilder durch einen Reflex überlagert und werden bei der rechnerischen Verarbeitung abgeschattet.
Sowohl wenn die Information über die Reflexe vorab bestimmt und nichtflüchtig in der Bildaufnahmevorrichtung gespeichert ist als auch wenn die Position der Reflexe durch Bildverarbeitung nach Aufnahme eines Bildes am Objekt bestimmt wird, kann die Abschattungsoperation durch Multiplikation mit ortsabhängiger Gewichtung so ausgeführt werden, dass nur Pixel lokal in einer Umgebung des Reflexes abgeschattet werden, indem sie durch die Gewichtungsfunktion niedrig gewichtet werden.
Im Vergleich zu Techniken der strukturierten Beleuchtung, bei denen ein gesamtes Bild unberücksichtigt bleibt, wenn es einen Reflex aufweist, kann ein lokal besserer Kontrast und eine bessere Auflösung erreicht werden.
3 ist eine schematische Darstellung zur weiteren Erläuterung der Arbeitsweise der Bildaufnahmevorrichtung 1.
Ein erstes Bild 41 wird bei Beleuchtung des Objekts mit einer ersten Beleuchtungsgeometrie erfasst. Ein zweites Bild 42 wird bei Beleuchtung des Objekts mit einer zweiten Beleuchtungsgeometrie erfasst. Ein drittes Bild 43 wird bei Beleuchtung des Objekts mit einer dritten Beleuchtungsgeometrie erfasst.
Das erste Bild 41 enthält einen Reflex 51 an einer ersten Position. Das zweite Bild 42 enthält einen Reflex 52 an einer zweiten Position, die von der ersten Position verschieden ist. Die Änderung der Beleuchtungsrichtung zwischen der Aufnahme des ersten Bilds 41 und des zweiten Bilds 42 führt zu einer Änderung der Position des Reflexes. Das dritte Bild 43 enthält einen Reflex 42 an einer dritten Position, die von der ersten Position und der zweiten Position verschieden ist. Die Änderung der Beleuchtungsrichtung für die Aufnahme des dritten Bilds 43 führt zu einer Änderung der Position des Reflexes.
Das erste Bild 41 wird einer Abschattungsoperation unterzogen. Die Abschattungsoperation kann als eine Transformation T₁ dargestellt werden, die das erste Bild 41 in ein erstes modifiziertes Bild 44 abbildet. Die Transformation T₁ schattet die Pixel ab, die in dem ersten Bild 41 in dem Reflex an der ersten Position 51 liegen. Die Transformation T₁ kann eine Multiplikation von Intensitäten an Pixeln des ersten Bilds 41 mit einer Gewichtung umfassen. Die Multiplikation kann wenigstens in einem ersten Bereich 56 ausgeführt werden, der den Reflex an der ersten Position 51 enthält. Die Gewichtung kann für jedes Pixel, das in dem Reflex an der ersten Position 51 liegt, gleich Null sein. Die Gewichtung kann für jedes Pixel, das in einer vordefinierten Umgebung 56 des Reflexes an der ersten Position 51 liegt, kleiner als eins sein. Außerhalb des Bereichs 56 können die ursprünglichen Pixelwerte des ersten Bilds 41 unverändert bleiben. Die Abschattungsoperation kann als Überlagerung des ersten Bildes 41 mit einem Abschattungsbild oder einer Abschattungsmatrix aufgefasst werden, die einen Bereich 56 um den Reflex an der ersten Position 51 abschattet.
Entsprechend kann das zweite Bild 42 einer Abschattungsoperation unterzogen werden. Die Abschattungsoperation kann als eine Transformation T₂ dargestellt werden, die das zweite Bild 41 in ein zweites modifiziertes Bild 45 abbildet. Die Transformation T₂ schattet die Pixel ab, die in dem zweiten Bild 42 in dem Reflex an der zweiten Position 52 liegen. Die Transformation T₂ kann eine Multiplikation von Intensitäten an Pixeln des zweiten Bilds 42 mit einer Gewichtung umfassen. Die Multiplikation kann wenigstens in einem zweiten Bereich 57 ausgeführt werden, der den Reflex an der zweiten Position 52 enthält. Die Gewichtung kann für jedes Pixel, das in dem Reflex an der zweiten Position 52 liegt, gleich Null sein. Die Gewichtung kann für jedes Pixel, das in einer vordefinierten Umgebung 57 des Reflexes an der zweiten Position 52 liegt, kleiner als eins sein. Außerhalb des Bereichs 57 können die ursprünglichen Pixelwerte des zweiten Bilds 42 unverändert bleiben. Die Abschattungsoperation kann als Überlagerung des zweiten Bilds 42 mit einem Abschattungsbild oder einer Abschattungsmatrix aufgefasst werden, die einen Bereich 57 um den Reflex an der zweiten Position 52 abschattet.
Entsprechend kann das dritte Bild 43 einer Abschattungsoperation unterzogen werden. Die Abschattungsoperation kann als eine Transformation T₃ dargestellt werden, die das dritte Bild 41 in ein drittes modifiziertes Bild 46 abbildet. Die Transformation T₃ schattet die Pixel ab, die in dem dritten Bild 43 in dem Reflex an der dritten Position 53 liegen. Die Transformation T₃ kann eine Multiplikation von Intensitäten an Pixeln des dritten Bilds 43 mit einer Gewichtung umfassen. Die Multiplikation kann wenigstens in einem dritten Bereich 58 ausgeführt werden, der den Reflex an der dritten Position 53 enthält. Die Gewichtung kann für jedes Pixel, das in dem Reflex an der dritten Position 53 liegt, gleich Null sein. Die Gewichtung kann für jedes Pixel, das in einer vordefinierten Umgebung 58 des Reflexes an der dritten Position 53 liegt, kleiner als eins sein. Außerhalb des Bereichs 58 können die ursprünglichen Pixelwerte des dritten Bilds 43 unverändert bleiben. Die Abschattungsoperation kann als Überlagerung des dritten Bilds 43 mit einem Abschattungsbild oder einer Abschattungsmatrix aufgefasst werden, die einen Bereich 58 um den Reflex an der dritten Position 53 abschattet.
Aufgrund der Abschattungsoperation kann in jedem der modifizierten Bilder 44–46 ein Informationsverlust vorliegen. Dies berücksichtigt, dass die Reflexe 51–53 in den ursprünglichen Bildern Information über das Objekt überlagern.
Wenn für jedes Pixel des Bildsensors in wenigstens einem der Mehrzahl von Bildern, die unterschiedlichen Beleuchtungsrichtungen entsprechen, kein Reflex vorliegt, kann die vollständige Information über das Objekt aus der Mehrzahl von modifizierten Bildern rekonstruiert werden, selbst wenn in einigen oder sogar allen der Bilder jeweils ein Reflex vorhanden ist. Dadurch wird die Bewegung des Reflexes in der Bildebene abhängig von der Beleuchtungsrichtung ausgenutzt.
So kann beispielsweise aus den modifizierten Bildern 45, 46 Information über eine Struktur 59 des Objekts rekonstruiert werden, die in dem ersten modifizierten Bild 44 nicht mehr enthalten ist, da sie durch die Abschattungsoperation abgeschattet wurde.
Die modifizierten Bilder 44–46 können miteinander kombiniert werden. Beispielsweise kann ein Summenbild gebildet werden. Das Summenbild kann renormiert werden. Dazu kann die Intensität an jedem Punkt des Summenbildes mit einem Renormierungsfaktor multipliziert werden, der davon abhängt, in wie vielen der Bilder das entsprechende Pixel innerhalb des Reflexes oder in einer Umgebung des Reflexes liegt. Dadurch kann beispielsweise berücksichtigt werden, dass die Struktur 59 nur in zwei der drei modifizierten Bilder 44–46 enthalten ist, die zur Berechnung des Ergebnisbildes 47 aufsummiert werden.
Bei den Verfahren und Vorrichtungen nach Ausführungsbeispielen kann eine Abschattungsoperation für ein Bild, das einen Systemreflex und/oder Objektreflex aufweist, dargestellt werden als: I_mod(θ_x, θ_y) = T(θ_x, θ_y)[I(θ_x, θ_y)] (1)
Dabei bezeichnet (θ_x, θ_y) den Beleuchtungswinkel bei Aufnahme des entsprechenden Bildes, der die Richtung des parallelen Beleuchtungsstrahls 3 in drei Dimensionen definiert. Der Beleuchtungswinkel kann beispielsweise durch den Winkel θ_x des Strahls 3 in einer y-z-Ebene und den Winkel θ_y des Strahls 3 in einer x-z-Ebene definiert werden, wobei die z-Achse die optische Achse der Bildaufnahmevorrichtung ist. Mit I(θ_x, θ_y) wird das Bild bezeichnet, das für die Beleuchtungsrichtung aufgenommen wird. Mit I_mod(θ_x, θ_y) wird das modifizierte Bild bezeichnet, das durch die Abschattungsoperation erzeugt wird. Mit T(θ_x, θ_y)[·] wird die vom Beleuchtungswinkel abhängige Abschattungsoperation bezeichnet, die von der elektronischen Auswerteeinrichtung auf das Bild angewandt wird. Die Abschattungsoperation kann vordefiniert und in der Bildaufnahmevorrichtung nichtflüchtig gespeichert sein oder kann von der elektronischen Auswerteeinrichtung abhängig von einer Position eines Reflexes in dem Bild I(θ_x, θ_y) bestimmt werden.
Falls andere Beleuchtungsgeometrien als Strahlen, die entlang der durch ein Koordinatenpaar (θ_x, θ_y) von Winkelkoordinaten definierten Richtung auf das Objekt einfallen, verwendet werden, können die den Beleuchtungswinkel definierenden Koordinaten (θ_x, θ_y) in Gleichung (1) sowie der folgenden Beschreibung durch einen Index ersetzt werden, der die Beleuchtungsgeometrie bezeichnet. Die beschriebenen Verarbeitungskonzepte und Gleichungen bleiben jedoch gültig, wobei anstelle der Koordinaten (θ_x, θ_y) des Beleuchtungswinkels allgemein die Beleuchtungsgeometrie verstanden wird.
Die Abschattungsoperation kann bei einer Ausgestaltung so ausgeführt werden, dass eine Multiplikation mit einer Gewichtungsfunktion erfolgt: T(θ_x, θ_y):I(θ_x, θ_y, m, n) → I_mod(θ_x, θ_y, m, n) = w(θ_x, θ_y, m, n)I(θ_x, θ_y, m, n) (2)
Dabei bezeichnet I(θ_x, θ_y, m, n) die Intensität in dem entsprechenden Bild an einem Pixel mit den Pixelkoordinaten m, n. Mit I_mod(θ_x, θ_y, m, n) wird die Intensität in dem modifizierten Bild an dem Pixel mit den Pixelkoordinaten m, n bezeichnet. Die Gewichtung w(θ_x, θ_y, m, n) ist abhängig von den Pixelkoordinaten. Die Gewichtung als Funktion der Pixelkoordinaten definiert eine bildpunktabhängige Gewichtungsfunktion.
Eine Vielzahl anderen Transformationen kann verwendet werden. Beispielsweise kann eine lokale Faltung verwendet werden, um aus dem aufgenommenen Bild das modifizierte Bild zu berechnen.
Die Gewichtungsfunktion G(·) kann unterschiedliche Formen aufweisen. Bei einer Ausgestaltung kann eine Stufenfunktion derart verwendet werden, dass w(θ_x, θ_y, m, n) = 0, falls das Pixel (m, n) innerhalb des Reflexes liegt, und w(θ_x, θ_y, m, n) = 1 sonst. (3)
Es kann auch eine Umgebung, beispielsweise eine äußere Hülle, für den Bereich des Bildsensors definiert werden, in dem der Reflex für die entsprechende Beleuchtungsgeometrie liegt, und die Gewichtungsfunktion kann innerhalb dieser Umgebung gleich Null sein.
Vorteilhaft kann die Gewichtungsfunktion so sein, dass sie nicht abrupt in einer einzigen Stufe von Null auf eins ansteigt. Unterschiedliche Formen können gewählt werden. Beispielsweise kann die Gewichtungsfunktion so definiert sein, dass w(θ_x, θ_y, m, n) = exp{–[(m – x_R)/Δ_x]² – [(n – y_R)/Δ_y]²}, (4) wobei x_R die x-Koordinate eines geometrischen Schwerpunkts des Reflexes und y_R die y-Koordinate des geometrischen Schwerpunkts des Reflexes bezeichnet. Mit den Breiten Δ_x und Δ_y können die Abmessungen des Reflexes berücksichtigt werden. Neben den Koordinaten (x_R, y_R) können auch die Breiten Δ_x und Δ_y, die den Abfall der Gewichtungsfunktion definieren, von der Beleuchtungsgeometrie abhängen.
Bei weiteren Ausgestaltungen kann eine Hyper-Gauss-Funktion anstelle der Gauss-Funktion von Gleichung (4) verwendet werden. Beispielsweise kann die Gewichtungsfunktion so definiert sein, dass w(θ_x, θ_y, m, n) = exp{–|(m – x_R)/Δ_x|^k – |(n – y_R)/Δ_y|^k}, (5) wobei k eine Zahl größer als oder gleich 2 ist.
Bei weiteren Ausgestaltungen können andere Gewichtungsfunktionen verwendet werden, die monoton von einem Wert nahe bei Null am Schwerpunkt des Reflexes zu einem Wert bei eins weit weg vom Reflex variieren. Beispielsweise kann eine Gewichtungsfunktion der Form w(θ_x, θ_y, m, n) = |tanh[(m – x_R)/Δ_x]|^k|tanh[(n – y_R)/Δ_y]|^k, (6) verwendet werden, wobei k eine Zahl größer als 1 ist, die insbesondere größer oder gleich 2 sein kann.
Für ein Bild, das keinen Reflex aufweist, kann die Gewichtungsfunktion für jedes Pixel gleich eins sein, w(θ_x, θ_y, m, n) = 1 für alle m, n. Wenigstens eines der verarbeiteten Bilder weist ein Pixel auf, für das die Gewichtungsfunktion einen Wert kleiner als eins hat, w(θ_x, θ_y, m, n) < 1, um eine Reflexunterdrückung auszuführen.
Aus den modifizierten Bildern kann ein Summenbild berechnet werden: I_sum(m, n) = Σ_θx,θyI_mod(θ_x, θ_y, m, n) = Σ_θx,θyw(θ_x, θ_y, m, n)I(θ_x, θ_y, m, n), (7) wobei die Summation über alle Richtungen ausgeführt wird, unter denen das Objekt beleuchtet wurde.
Um die unterschiedliche Gewichtung der Pixel bei der Summenbildung (7) aufgrund der Abschattungsoperationen zu berücksichtigen, kann eine Renormierungsfunktion s(m, n) definiert werden als s(m, n) = [Σ_θx,θyw(θ_x, θ_y, m, n)]^–1 falls Σ_θx,θyw(θ_x, θ_y, m, n) ≠ 0. (8)
Jede andere Form der Renormierung kann verwendet werden, mit der berücksichtigt wird, dass abhängig von der Beleuchtungsgeometrie die Gewichtung lokal variiert und die Gewichtungsfunktionen für unterschiedliche Beleuchtungsgeometrien unterschiedlich sind.
Das Ergebnisbild kann so berechnet werden, dass es für einen Bildpunkt mit Koordinaten (m, n) die Gleichung I_res(m, n) = s(m, n)·I_sum(m, n) = [Σ_θx,θyw(θ_x, θ_y, m, n)]^–1·Σ_θx,θyw(θ_x, θ_y, m, n)I(θ_x, θ_y, m, n) (9) erfüllt.
Andere Verarbeitungstechniken können verwendet werden.
Beispielsweise kann anstelle der Summenbildung von Gleichung (7) auch eine andere lineare Kombination der modifizierten Bilder berechnet werden. Die lineare Kombination kann so berechnet werden, dass ein Kontrast erhöht wird. Es kann ein Phasenkontrastbild bestimmt werden. Bei der Berechnung der Renormierungsfunktion s(m, n) wird dann jeweils nicht nur berücksichtigt, wie die Abschattungsoperation bildpunktabhängig die Gewichtung der Pixel verändert hat, sondern auch mit welchem Koeffizienten das entsprechende modifizierte Bild in der linearen Kombination der modifizierten Bilder gewichtet ist. Die Koeffizienten können auch negativ sein, beispielsweise um zum Ermitteln eines Phasenkontrastbildes ein Differenzbild zu berechnen.
Wenn mit q ein Index für die Beleuchtungsgeometrie bezeichnet wird und mit b_q ein Koeffizient bei der Berechnung der Linearkombination bezeichnet wird, kann das Ergebnisbild beispielsweise so berechnet werden, dass es für einen Bildpunkt mit Koordinaten (m, n) die Gleichung I_res(m, n) = [Σ_qb_qw(q, m, n)]^–1·Σ_qb_qw(q, m, n)I(q, m, n) (10) erfüllt. Hierbei definiert w(q, m, n) die Gewichtung zur Abschattung von Reflexen für die Beleuchtungsgeometrie mit Index q. Die Größe I(q, m, n) bezeichnet den Wert des Bilds, das für die Beleichtungsgeometrie mit Index q erfasst wurde, am Pixel mit den Koordinaten (m, n). Die Koeffizienten b_q müssen nicht alle dasselbe Vorzeichen haben. Beispielsweise können unterschiedliche Vorzeichen und/oder Beträge der Koeffizienten b_q verwendet werden, um ein Phasenkontrastbild zu bestimmen oder eine Kontrasterhöhung zu erreichen.
Es können rechnerisch Filter angewandt werden, um aus den modifizierten Einzelbildern das Summenbild und schließlich das Ergebnisbild zu ermitteln. Die Multiplikation mit einer Gewichtungsfunktion kann auf eine Umgebung um einen Reflex beschränkt werden. Pixel, die in keinem Bild der Mehrzahl von Bildern in einer Umgebung eines Reflexes liegen, können einfach über die mehreren Bilder gemittelt werden. Die unter Bezugnahme auf Gleichungen (1) bis (9) beschriebenen Verarbeitungsschritte können auf diejenigen Pixel beschränkt werden, die in wenigstens einem der Bilder in einer vordefinierten Umgebung eines Reflexes liegen.
4 zeigt schematisch ein Bild 41 zur Erläuterung der Abschattungsoperation durch Multiplikation mit einer Gewichtungsfunktion. Ein Reflex weist einen geometrischen Schwerpunkt an einer Position 61 auf. Pixel des Bildsensors in einem Bildbereich 62 um die Position 61 können das Licht des Reflexes empfangen. In einer Umgebung 63 des Reflexes kann mit einer Gewichtungsfunktion die Intensität des entsprechenden Pixels reduziert werden, um den Reflex abzuschatten.
5 veranschaulicht beispielhaft die Gewichtungsfunktion 66 entlang einer Achse 64 auf dem Bildsensor. Die Gewichtungsfunktion ist an dem Schwerpunkt des Reflexes mit x-Koordinate x_R minimal. Die Gewichtungsfunktion nimmt von dort monoton bis auf einen Wert nahe bei eins oder gleich eins für Pixel zu, die von dem Reflex um wenigstens einen vordefinierten Abstand beanstandet sind. Eine charakteristische Breite 67 der Gewichtungsfunktion in x-Richtung, über die die Gewichtungsfunktion kleiner als ein Schwellenwert th ist, kann von der Abmessung des Bereichs auf dem Bildsensor in x-Richtung abhängen, der durch einen Systemreflex oder Objektreflex eine hohe Lichtintensität empfängt.
6 veranschaulicht beispielhaft die Gewichtungsfunktion 68 entlang einer weiteren Achse 65 auf dem Bildsensor. Die Gewichtungsfunktion ist an dem Schwerpunkt des Reflexes mit y-Koordinate y_R minimal. Die Gewichtungsfunktion nimmt von dort monoton bis auf einen Wert nahe bei eins oder gleich eins für Pixel zu, die von dem Reflex um wenigstens einen vordefinierten Abstand beanstandet sind. Eine charakteristische Breite 69 der Gewichtungsfunktion in y-Richtung, über die die Gewichtungsfunktion kleiner als der Schwellenwert th ist, kann von der Abmessung des Bereichs auf dem Bildsensor in y-Richtung abhängen, der durch einen Systemreflex oder Objektreflex eine hohe Lichtintensität empfängt. Die Breiten 67, 69 können für unterschiedliche Koordinatenachsen unterschiedlich sein.
7 veranschaulicht die Bestimmung der Renormierungsfunktion in Abhängigkeit von den Gewichtungsfunktionen. Dabei sind schematisch ein erster Bereich 56, der in einem ersten Bild 41 zur Abschattung eines Reflexes niedrig gewichtet wird, ein zweiter Bereich 57, der in einem zweiten Bild 42 zur Abschattung eines Reflexes niedrig gewichtet wird, und ein dritter Bereich 58, der in einem dritten Bild 43 zur Abschattung eines Reflexes niedrig gewichtet wird, dargestellt.
Bei Berechnung der modifizierten Bilder wird jedes Pixel in dem ersten Bereich 56 in nur einem Teil der Mehrzahl von Bildern hoch gewichtet. Beispielsweise kann jedes Pixel in dem ersten Bereich 56 mit seiner ursprünglichen Intensität aus dem zweiten Bild 42 und dem dritten Bild 43 in die entsprechenden modifizierten Bilder eingehen. In dem ersten modifizierten Bild wird der erste Bereich 56 zur Reflexunterdrückung mit einem niedrigen Gewicht gewichtet, beispielsweise vollständig abgeschattet. Ähnlich wird jedes Pixel in dem zweiten Bereich 57 und in dem dritten Bereich 58 in nur einem Teil der Mehrzahl von Bildern hoch gewichtet.
Ein Pixel 72, das in einer kleiner Anzahl von Bildern, beispielsweise in keinem der Bilder, in der Nähe eines Reflexes liegt, kann mit einem Gewichtungsfaktor von näherungsweise eins in jedes der modifizierten Bilder eingehen.
Um zu berücksichtigen, dass Pixel abhängig davon, in wie vielen der Bilder sie nahe an einem Reflex sind, unterschiedlich stark in ein Summenbild oder eine andere Linearkombination der modifizierten Bilder eingehen, kann die bildpunktabhängige Renormierungsfunktion bestimmt werden, wie oben bereits erläutert wurde. Die bildpunktabhängige Renormierungsfunktion kann als zweidimensionale Matrix 70 angesehen werden, deren Matrixelemente jeweils durch die Renormierungsfunktion nach Gleichung (8) gegeben sein können. Die Bildbereiche 57–59, die in wenigstens einem der modifizierten Bilder zur Abschattung niedrig gewichtet wurden, da sie nahe bei einem Reflex liegen, werden durch die Renormierungsfunktion im Vergleich zu einem Pixel 72 verstärkt, das in keinem der modifizierten Bilder abgeschattet wurde.
Für ein Pixel, das in jedem der modifizierten Bilder mit Null gewichtet wird, das also in jedem der Bilder in einem Reflex liegt, kann keine Bildinformation ermittelt werden. Dies kann beispielsweise durch einen Objektreflex einer rotationssymmetrischen Objektoberfläche verursacht werden.
Falls nur Systemreflexe korrigiert werden sollen, können nicht nur die Gewichtungsfunktionen für alle Beleuchtungsrichtungen, sondern auch die Renormierungsfunktion vorab bestimmt und nichtflüchtig in der Bildaufnahmevorrichtung gespeichert sein.
8 ist ein Flussdiagramm eines Verfahrens 80 zur Reflexunterdrückung. Das Verfahren 80 kann von der elektronischen Auswerteeinrichtung 20 automatisch ausgeführt werden. Das Verfahren 80 kann zur Korrektur von Systemreflexen verwendet werden.
Bei Schritt 81 kann Information über einen Reflex abgerufen werden, der von dem System erzeugt wird. Die Information kann die Koordinaten des Reflexes die jeweilige Beleuchtungsrichtung umfassen. Die Information kann die bildpunktabhängige Gewichtungsfunktion für die jeweilige Beleuchtungsrichtung umfassen.
Bei Schritt 82 kann eine bildpunktabhängige Gewichtungsfunktion für die jeweilige Beleuchtungsrichtung bestimmt werden. Wenn die bildpunktabhängige Gewichtungsfunktion selbst als Information über den Reflex gespeichert ist, kann die bildpunktabhängige Gewichtungsfunktion einfach ausgelesen werden. Falls andere Informationen über den Reflex gespeichert sind, beispielsweise in Form von Koordinaten des Schwerpunkts des Reflexes und/oder Abmessungen des Reflexes, kann die bildpunktabhängige Gewichtungsfunktion daraus rechnerisch ermittelt werden.
Bei Schritt 83 kann pixelweise eine Gewichtung mit der bildpunktabhängigen Gewichtungsfunktion ausgeführt werden. Dabei kann die Intensität jedes Pixels, das in einer Umgebung des Reflexes für die entsprechende Beleuchtungsrichtung liegt, mit einer Gewichtung kleiner als eins multipliziert werden. Pixel, deren Abstand vom Schwerpunkt des Reflexes größer als ein vordefinierter Schwellenwert ist, können ihre ursprüngliche Intensität beibehalten, da keine Abschattung erforderlich ist.
Die Schritte 81 bis 83 können für jede der mehreren Beleuchtungsgeometrien und das zugeordnete Bild ausgeführt werden. Jede Beleuchtungsgeometrie kann beispielsweise durch einen Beleuchtungswinkel im Raum definiert sein, der festlegt, entlang welcher Richtung ein Strahl der Beleuchtung auf das Objekt einfällt.
Bei Schritt 84 können die N modifizierten Bilder weiter verarbeitet werden. Beispielsweise kann ein Summenbild oder eine andere Linearkombination berechnet werden. Es kann eine bildpunktabhängige Renormierung ausgeführt werden, mit der berücksichtigt wird, dass zur Abschattung beleuchtungsrichtungsabhängig unterschiedliche Bildbereiche abgeschattet werden.
Alternativ oder zusätzlich zur Verwendung von vorab gespeicherter Information über Systemreflexe können Reflexe auch durch eine Bildverarbeitung automatisch erkannt werden. Jedes Bild, das einen Objektreflex oder Systemreflex aufweist, kann wie oben beschrieben weiter verarbeitet werden.
9 ist ein ist ein Flussdiagramm eines Verfahrens 90 zur Reflexunterdrückung. Das Verfahren 90 kann von der elektronischen Auswerteeinrichtung 20 automatisch ausgeführt werden. Das Verfahren 90 kann zur Korrektur von Objektreflexen und/oder Systemreflexen verwendet werden.
Bei Schritt 91 wird ein Bild aufgenommen. Dazu wird die Beleuchtung so gesteuert, dass der Strahl 3 unter einer Beleuchtungsgeometrie beleuchtet wird. Die Beleuchtungsgeometrie kann beispielsweise durch ein Winkelpaar θ_x, θ_y eindeutig festgelegt sein, das eine Richtung eines Strahls der Beleuchtung angibt.
Bei Schritt 92 wird überprüft, ob das Bild einen Reflex aufweist. Dazu können verschiedene Techniken verwendet werden. Es kann ein Schwellenwertvergleich der Intensität ausgeführt werden. Es kann eine Kantendetektion unter Verwendung eines Canny-Algorithmus ausgeführt werden, um Bereiche zu erkennen, die hohe Lichtintensität empfangen. Falls kein Reflex in dem Bild vorhanden ist, fährt das Verfahren bei Schritt 95 fort. Das modifizierte Bild ist gleich dem ursprünglich aufgenommenen Bild. Dies entspricht einer Gewichtungsfunktion, die für alle Pixel gleich eins ist. Falls das Bild einen Reflex aufweist, fährt das Verfahren bei Schritt 93 fort.
Bei Schritt 93 wird die Position und optional auch die Abmessung des Reflexes bestimmt. Dazu können die Koordinaten des Schwerpunkts des Reflexes bestimmt werden. Es können die Halbwertsbreiten in x- und y-Richtung bestimmt werden, bei denen die Lichtintensität auf die Hälfte des Maximums abfällt.
Bei Schritt 94 wird eine bildpunktabhängige Gewichtungsfunktion auf das erfasste Bild angewandt. Die Intensität jedes Pixels in einer Umgebung des Reflexes kann mit einer Gewichtung multipliziert werden, die kleiner als eins ist. Die Gewichtungsfunktion kann monoton von dem Pixel, das in dem Reflex liegt, bis zu einem Pixel, das mehr als ein vordefinierter Abstand von dem Reflex entfernt liegt, zunehmen.
Bei Schritt 95 wird überprüft, ob eine weitere Bildaufnahme erfolgen soll. Dazu kann überprüft werden, ob jedes Pixel in wenigstens einem der bisher aufgenommenen Bilder außerhalb eines Reflexes liegt. In diesem Fall ist für jedes Pixel Information über das Objekt in wenigstens einem der Bilder vorhanden und es ist nicht erforderlich, weitere Bilder aufzunehmen. Andere Kriterien können verwendet werden. Falls weitere Bilder erfasst werden sollen, fährt das Verfahren bei Schritt 96 fort. Bei Schritt 96 wird eine Beleuchtungsgeometrie gewählt, die von allen vorher verwendeten Beleuchtungsgeometrien verschieden sein kann. Das Verfahren kehrt zu Schritt 91 zurück. Falls keine weiteren Bilder erfasst werden sollen, fährt das Verfahren bei Schritt 97 fort.
Bei Schritt 97 kann eine Renormierungsfunktion abhängig von mehreren Gewichtungsfunktionen ermittelt werden. Die Renormierungsfunktion kann von allen Gewichtungsfunktionen und somit von den Positionen der Reflexe abhängen, die für mehrere Bilder ermittelt wurden. Die bildpunktabhängige Renormierungsfunktion kann so bestimmt werden, dass eine Abschattung eines Reflexes an einem Pixel in einem Bild durch die Renormierungsfunktion wenigstens teilweise wieder kompensiert wird. Die bildpunktabhängige Renormierungsfunktion kann nach Gleichung (8) abhängig von den unterschiedlichen Gewichtungsfunktionen bestimmt werden.
Bei Schritt 98 kann ein Ergebnisbild ermittelt werden. Dazu können die modifizierten Bilder zu einem Summenbild aufsummiert werden, oder es kann eine andere Linearkombination berechnet werden. Die Intensität jedes Pixels des Summenbildes kann mit dem Wert der Renormierungsfunktion am entsprechenden Pixel multipliziert werden. Entsprechend kann für eine beliebige Linearkombination die Intensität jedes Pixels der Linearkombination mit dem Wert der Renormierungsfunktion am entsprechenden Pixel multipliziert werden.
10 ist ein Blockdiagramm 100 einer Bildaufnahmevorrichtung nach einem Ausführungsbeispiel. Die Bildaufnahemvorrichtung kann zur automatischen Reflexunterdrückung eingerichtet sein.
Die Bildaufnahmevorrichtung umfasst eine Beleuchtungseinrichtung 101, die steuerbar ist. Mit der Beleuchtungseinrichtung 101 kann das Objekt sequentiell mit mehreren verschiedenen Beleuchtungsgeometrien beleuchtet werden. Eine Beleuchtungssteuerung 102 kann die sequentiell eingestellten Beleuchtungsgeometrien steuern. Die Beleuchtungseinrichtung 101 kann eine LED-Anordnung umfassen. Die Beleuchtungseinrichtung 101 kann ein steuerbares optisches Element in einer Zwischenbildebene umfassen, das beispielsweise eine bewegliche Lochblende, eine Mikrospiegelanordnung, eine Flüssigkeitskristallmatrix oder einen räumlichen Lichtmodulator umfassen kann.
Ein Bildsensor 103 erfasst für jede der Beleuchtungsgeometrien, mit denen das Objekt beleuchtet wird, wenigstens ein Bild. Das Bild kann Information in mehreren Farbkanälen umfassen. Der Bildsensor 103 kann wenigstens einen CCD- oder CMOS-Chip umfassen.
Ein Modul zur Abschattung 104 kann eine Abschattungsoperation ausführen. Die Abschattungsoperation kann von der bei Bildaufnahme verwendeten Beleuchtungsgeometrie abhängen.
Die Abschattungsoperation kann eine Gewichtung der Intensität von Pixeln eines, mehrerer oder aller Farbkanäle des Bildes umfassen. Die Gewichtung kann örtlich veränderlich sein, so dass lokal eine Abschattung in einer Umgebung eines Reflexes erfolgt, aber Pixel, die mehr als einen vordefinierten Abstand von dem Reflex aufweisen, nicht mehr abgeschattet werden.
Ein Speichermedium mit Information zur Korrektur von Systemreflexen 105 kann in verschiedenen Formen Information speichern, die von dem Modul zur Abschattung 104 verwendet wird. Die Korrekturinformation kann Information über Positionen von Reflexen und optional über Abmessungen von Reflexen beinhalten, aus der von dem Modul zur Abschattung 104 die anzuwendende Abschattungsoperation berechnet wird. Die Korrekturinformation kann die Gewichtungsfunktion für unterschiedliche Beleuchtungsgeometrien angeben. Die Korrekturinformation kann eine lineare Abbildung definieren, beispielsweise in Form einer Transformationsmatrix, nach der bei der Abschattungsoperation Pixel des ursprünglichen Bildes in Pixel eines modifizierten Bildes abgebildet werden.
Das Modul zur Abschattung 104 kann als anwendungsspezifische Spezialschaltung, Controller, Mikrocontroller, Prozessor oder Mikroprozessor ausgestaltet sein. Das Modul zur Abschattung 104 kann mit dem Bildsensor 103 in einer baulichen Einheit kombiniert sein, die automatisch korrigierte Bilder mit Reflexunterdrückung errechnet. Dadurch kann die Reflexunterdrückung in Hardware kodiert sein.
Die Bildaufnahmevorrichtung kann so eingerichtet sein, dass die Information zur Korrektur von Systemreflexen durch Messung an der Bildaufnahmevorrichtung selbst ermittelt wird. Die Bildaufnahmevorrichtung kann ein Modul zur Kalibrierung 108 umfassen, das automatisch die Information zur Korrektur von Systemreflexen ermittelt. Dazu können Aufnahmen an mehreren bekannten Referenzobjekten gemacht und rechnerisch weiterverarbeitet werden, um zu bestimmen, welche Abschattungsoperationen in Abhängigkeit von der Beleuchtungsgeometrie benötigt werden.
Die Bildaufnahmevorrichtung kann ein Modul zur Bildkombination 107 umfassen, mit dem die modifzierten Bilder kombiniert werden können. Die nach der Abschattungsoperation ermittelten Bilder können aufsummiert und mit einer Renormierungsfunktion multipliziert oder anderweitig weiter verarbeitet werden, um eine Ergebnisbild zu bestimmen.
Das Modul zur Bildkombination 107 kann integral mit dem Modul zur Abschattung 104 ausgebildet sein. Das Modul zur Bildkombination 107 kann als anwendungsspezifische Spezialschaltung, Controller, Mikrocontroller, Prozessor oder Mikroprozessor ausgestaltet sein. Das Modul zur Bildkombination 107 kann mit dem Bildsensor 103 in einer baulichen Einheit kombiniert sein, die automatisch korrigierte Bilder mit Reflexunterdrückung errechnet.
Die Bildaufnahmevorrichtung kann weitere Einheiten umfassen. Beispielsweise kann ein Modul zur Reflexerkennung 107 vorhanden sein. Das Modul zur Reflexerkennung 107 kann Positionen und optional auch Abmessungen von Reflexen in einem Bild erkennen. Das Modul zur Reflexerkennung 107 kann diese Information an das Modul zur Abschattung 104 bereitstellen, das die Abschattungsoperation abhängig von der Position des erkannten Reflexes für das entsprechende Bild ausführt. Das Modul zur Reflexerkennung 107 kann auch mit dem Modul zur Bildkombination 108 gekoppelt sein, das die Renormierungsfunktion abhängig von den Reflexpositionen in mehreren Bildern ermittelt.
Während Ausführungsbeispiele unter Bezugnahme auf die Figuren beschrieben wurden, können Abwandlungen bei weiteren Ausführungsbeispielen realisiert werden.
Die Abschattungsoperation kann in einer Vielzahl unterschiedlicher Formen ausgeführt werden. Beispielsweise kann die Abschattungsoperation durch eine Faltung mit einem Filterkern ausgeführt werden, durch die die Intensität in der Nähe eines Reflexes niedrig gewichtet wird.
Die Renormierungsfunktion muss nicht nach Gleichung (8) ermittelt werden. Beispielsweise kann die Renormierungsfunktion in einer einfachen Implementierung einfach gleich dem Inversen der Anzahl der Bilder sein, bei denen die Intensität am entsprechenden Pixel nicht abgeschattet wurde.
In die Renormierung können auch feldabhängige und/oder richtungsabhängige Intensitätsveränderungen einberechnet werden. Dadurch können gleichzeitig mit der Reflexunterdrückung derartige systematische Intensitätsveränderungen korrigiert werden.
Während die Bildaufnahmevorrichtung nach Ausführungsbeispielen insbesondere ein Mikroskopsystem sein kann, können die beschriebenen Techniken auch bei anderen Abbildungssystemen verwendet werden.

Claims

Bildaufnahmevorrichtung, umfassend: eine Beleuchtungseinrichtung (11, 12; 101), die steuerbar ist, um eine Mehrzahl von Beleuchtungsgeometrien (4) für eine Beleuchtung eines Objekts (2) einzustellen; einen Detektor (14) mit einem Bildsensor (15), der eingerichtet ist, um eine Mehrzahl von Bildern (41–43) des Objekts (2) für die Mehrzahl von Beleuchtungsgeometrien (4) zu erfassen; eine elektronische Auswerteeinrichtung (20), die mit dem Bildsensor (15) gekoppelt ist und die für eine Verarbeitung der Mehrzahl von Bildern (41–43) eingerichtet ist, mit der eine Reflexunterdrückung ausgeführt wird, wobei die elektronische Auswerteeinrichtung (20) eingerichtet ist, um für wenigstens einen Teil der Mehrzahl von Bildern (41–43) jeweils eine Abschattungsoperation (T₁, T₂, T₃) auszuführen, um eine Mehrzahl von modifizierten Bildern (44–46) zu erzeugen, wobei die auf ein Bild angewandte Abschattungsoperation (T₁, T₂, T₃) von der Beleuchtungsgeometrie (4) bei Erfassung des entsprechenden Bildes (41–43) abhängt, und um die Mehrzahl von modifizierten Bildern (44–46) zu kombinieren.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die auf ein Bild (41–43) angewandte Abschattungsoperation (T₁, T₂, T₃) von einer Position (61) eines Reflexes (56–58) in dem Bild (41–43) abhängt.
Bildaufnahmevorrichtung nach Anspruch 2, wobei die Abschattungsoperation (T₁, T₂, T₃) eine Anwendung einer bildpunktabhängigen Gewichtungsfunktion (66, 68), die von der Beleuchtungsgeometrie (4) bei Erfassung des entsprechenden Bildes (41–43) abhängt, umfasst.
Bildaufnahmevorrichtung nach Anspruch 3, wobei die bildpunktabhängige Gewichtungsfunktion (66, 68) ein Gewicht eines Pixels, das innerhalb des Reflexes (51–53) liegt, im Vergleich zu einem weiteren Gewicht eines weiteren Pixels, das außerhalb des Reflexes (51–53) liegt, reduziert.
Bildaufnahmevorrichtung nach Anspruch 3 und Anspruch 4, wobei die Gewichtungsfunktion (66, 68) zwischen dem Pixel und dem weiteren Pixel monoton zunimmt.
Bildaufnahmevorrichtung nach einem der Ansprüche 3 bis 5, wobei die elektronische Auswerteeinrichtung (20) eingerichtet ist, um für jedes Bild der Mehrzahl von Bildern (41–43), das einen Reflex (56–58) aufweist, wenigstens ein Pixel mit der einer bildpunktabhängigen Gewichtungsfunktion (66, 68), die von der Beleuchtungsgeometrie (4) bei Erfassung des entsprechenden Bildes (41–43) abhängt, zu gewichten.
Bildaufnahmevorrichtung nach einem der Ansprüche 3 bis 6, wobei die elektronische Auswerteeinrichtung (20) eingerichtet ist, um eine bildpunktabhängigen Renormierungsfunktion (70) aus den Gewichtungsfunktionen (66, 68) für mehrere Bilder (41–43) zu ermitteln.
Bildaufnahmevorrichtung nach Anspruch 7, wobei die bildpunktabhängige Renormierungsfunktion (70) für ein Pixel jeweils davon abhängt, in wie vielen Bildern der Mehrzahl von Bildern das Gewicht des entsprechenden Pixels jeweils durch die Gewichtungsfunktion (66, 68) reduziert ist.
Bildaufnahmevorrichtung nach Anspruch 7 und Anspruch 8, wobei die elektronische Auswerteeinrichtung (20) eingerichtet ist, um eine Linearkombination der durch die Abschattungsoperation modifizierten Bilder zu bestimmen.
Bildaufnahmevorrichtung nach Anspruch 9, wobei die elektronische Auswerteeinrichtung (20) eingerichtet ist, um die Linearkombination mit der bildpunktabhängigen Renormierungsfunktion (70) zu gewichten.
Bildaufnahmevorrichtung nach einem der vorhergehenden Ansprüche, wobei die Abschattungsoperation (T₁, T₂, T₃) Systemreflexe eines optischen Systems der Bildaufnahmevorrichtung unterdrückt.
Bildaufnahmevorrichtung nach Anspruch 11, wobei Information über die Abschattungsoperation (T₁, T₂, T₃) zur Abschattung der Systemreflexe in Abhängigkeit von der Beleuchtungsgeometrie (4) nichtflüchtig in der Bildaufnahmevorrichtung (1) gespeichert ist.
Bildaufnahmevorrichtung nach einem der vorhergehenden Ansprüche, wobei die Abschattungsoperation (T₁, T₂, T₃) Objektreflexe des Objekts (2) unterdrückt.
Bildaufnahmevorrichtung nach Anspruch 13, wobei die elektronische Auswerteeinrichtung (20) eingerichtet ist, um für jedes Bild der Mehrzahl von Bildern (41–43) Objektreflexe in dem entsprechenden Bild automatisch zu identifizieren.
Bildaufnahmevorrichtung nach einem der vorhergehenden Ansprüche, wobei die Bildaufnahmevorrichtung (1) ein Mikroskopsystem ist.
Verfahren zur Bildaufnahme mit Reflexunterdrückung, umfassend: Erfassen einer Mehrzahl von Bildern (41–43), wenn ein Objekt (2) unter einer Mehrzahl von Beleuchtungsgeometrien (4) beleuchtet wird; Verarbeiten der Mehrzahl von Bildern (41–43) zur Reflexunterdrückung, wobei das Verarbeiten umfasst: Ausführen einer Abschattungsoperation (T₁, T₂, T₃) für wenigstens einen Teil der Mehrzahl von Bildern (41–43), um eine Mehrzahl von modifizierten Bildern (44–46) zu erzeugen, wobei die Abschattungsoperation (T₁, T₂, T₃) von der Beleuchtungsgeometrie (4) bei Erfassung des entsprechenden Bildes (41–43) abhängt, und Kombinieren der Mehrzahl von modifizierten Bildern (44–46).
Verfahren nach Anspruch 16, das von der Bildaufnahmevorrichtung (1) nach einem der Ansprüche 1 bis 15 ausgeführt wird.