DE102014113256A1

DE102014113256A1 - Image recording device and method for image recording with reflex suppression

Info

Publication number: DE102014113256A1
Application number: DE102014113256.4A
Authority: DE
Inventors: Lars Stoppe; Thomas Milde; Johannes Winterot
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2014-09-15
Filing date: 2014-09-15
Publication date: 2016-03-17
Also published as: JP2016063540A; JP6608658B2

Abstract

Zur Bildaufnahme wird ein Objekt unter einer Mehrzahl von Beleuchtungsgeometrien beleuchtet. Ein Detektor erfasst eine Mehrzahl von Bildern (41–43) des Objekts für die Mehrzahl von Beleuchtungsgeometrien. Eine elektronische Auswerteeinrichtung wendet wenigstens auf einen Teil der Mehrzahl von Bildern (41–43) eine Abschattungsoperation (T1–T3) zur Reflexunterdrückung an, die von der bei der Aufnahme des jeweiligen Bildes (41–43) verwendeten Beleuchtungsgeometrie abhängt. Die durch die Abschattungsoperation (T1–T3) erzeugten modifizierten Bilder (44–46) können zu einem Ergebnisbild (47) kombiniert werden.For imaging, an object is illuminated under a plurality of illumination geometries. A detector captures a plurality of images (41-43) of the object for the plurality of illumination geometries. An electronic evaluation device applies at least to a part of the plurality of images (41-43) a shading operation (T1-T3) for reflection suppression, which depends on the illumination geometry used in the recording of the respective image (41-43). The modified images (44-46) generated by the shading operation (T1-T3) may be combined into a result image (47).

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Ausführungsbeispiele der Erfindung betreffen Vorrichtungen und Verfahren zur Bildaufnahme. Ausführungsbeispiele betreffen insbesondere derartige Vorrichtungen und Verfahren, die eine rechnerische Unterdrückung von Abbildungsfehlern erlauben, der durch Reflexion innerhalb eines Abbildungssystems und/oder an einem Objekt hervorgerufen werden.Embodiments of the invention relate to apparatus and methods for image acquisition. Embodiments relate in particular to such devices and methods that allow computational suppression of aberrations caused by reflection within an imaging system and / or on an object.

HINTERGRUNDBACKGROUND

Bei einer Bildaufnahme mit einem optischen System mit Beleuchtung kann es zu Reflexen kommen, welche auf der Wechselwirkung zwischen Beleuchtung, Objekt und Optik des Systems beruhen. Derartige Reflexe, die zu einer erhöhten Intensität in einem Bildbereich führen, bewirken einen Informationsverlust. Wird das Beleuchtungslicht in einen Bereich des Bildes reflektiert, geht dadurch die Information über diejenigen Bereiche des abzubildenden Objekts verloren, die in den entsprechenden Bildbereich abgebildet werden sollen. Reflexe in aufgenommenen Bildern verschlechtern somit den Bildeindruck. Imaging with an optical system with illumination may cause reflections that are due to the interaction between the illumination, the object, and the optics of the system. Such reflections, which lead to an increased intensity in an image area, cause a loss of information. If the illumination light is reflected in a region of the image, the information about those regions of the object to be imaged is thereby lost, which is to be imaged in the corresponding image region. Reflexes in recorded images thus worsen the image impression.

Derartige Reflexe können verschiedene Ursachen haben. Ein Reflex in einem Bild kann aufgrund einer Reflexion innerhalb eines optischen Systems einer Bildaufnahmevorrichtung entstehen. Beispielsweise kann eine Mehrfachreflexion von Beleuchtungslicht innerhalb des optischen Systems dazu führen, dass ein Bild-Reflex entsteht. Derartige Reflexe können auch als System-Reflexe bezeichnet werden. Alternativ oder zusätzlich kann auch eine hohe Reflektivität des abzubildenden Objekts in bestimmten Richtungen dazu führen, dass ein Bild-Reflex entsteht. Derartige Reflexe können auch als Objekt-Reflexe bezeichnet werden. Beispielsweise kann bei Auflicht-Beleuchtung eines Objekts die hohe Reflektivität des Objekts dazu führen, dass das Beleuchtungslicht in einem Bildbereich reflektiert wird.Such reflexes can have different causes. A reflection in an image may arise due to reflection within an optical system of an image pickup device. For example, multiple reflection of illumination light within the optical system may result in an image reflex. Such reflexes can also be called system reflexes. Alternatively or additionally, a high reflectivity of the object to be imaged in certain directions can lead to an image reflex. Such reflexes can also be called object reflexes. For example, in reflected-light illumination of an object, the high reflectivity of the object may cause the illumination light to be reflected in an image area.

Reflexe können auf unterschiedliche Weise unterdrückt werden. Unter einer Reflexunterdrückung wird hier die Verringerung des Informationsverlusts verstanden, die durch Reflexe verursacht wird. Reflexes can be suppressed in different ways. Reflex suppression is understood to mean the reduction of information loss caused by reflections.

Um Reflexe in Bildern zu unterdrücken, die durch Reflexion an optischen Komponenten des Systems verursacht werden, können hochwertigere Optiken können eingesetzt werden, um qualitativ hochwertige Abbildungen zu erzeugen. Beispiele für derartige Maßnahmen sind Anti-Reflex-Beschichtungen auf den kritischen optischen Flächen innerhalb des Systems, Optik-Designs mit erhöhter Komplexität zur Reduzierung von Reflexionen, ein Mattieren von Teilen, die nicht für die Abbildung relevant sind, und/oder polarisationsoptische Antireflexeinrichtung. Die Verwendung derartiger Optiken kann jedoch zu Kostennachteilen führen. Darüber hinaus können komplexere Optiken auch zu hohem Bauraum und hohem Gewicht führen. Konfokale Aufnahmetechniken, beispielsweise unter Verwendung eines Konfokalmikroskops, kann Punktscanner und/oder Linienscanner verwenden. Derartige abtastende Verfahren können die Aufnahmezeit wesentliche erhöhen.To suppress reflections in images caused by reflection on optical components of the system, higher quality optics can be used to produce high quality images. Examples of such measures are anti-reflection coatings on the critical optical surfaces within the system, optics designs with increased complexity to reduce reflections, matting of parts that are not relevant to the imaging, and / or polarization-optical antireflection device. However, the use of such optics can lead to cost disadvantages. In addition, more complex optics can also lead to high space and weight. Confocal recording techniques, for example using a confocal microscope, may use point scanners and / or line scanners. Such scanning methods can significantly increase the recording time.

Vorrichtungen und Verfahren, die eine Nachverarbeitung der aufgenommenen Bilder einsetzen, können auch zur Korrektur von Objekt-Reflexen eingesetzt werden. Darüber hinaus können die Kosten- und Bauraumnachteile verringert werden, die mit aufwändigen Optikdesigns zur Verringerung von System-Reflexen verbunden sind. Herkömmliche Techniken der digitalen Nachverarbeitung können jedoch Information in den Bildbereichen, in denen ein Reflex vorliegt, nicht wiederherstellen.Devices and methods that use post-processing of the captured images can also be used to correct for object reflections. In addition, the cost and space penalties associated with sophisticated optics designs to reduce system hiccups can be reduced. However, conventional digital post-processing techniques can not recover information in the image areas where there is a reflex.

ZUSAMMENFASSUNGSUMMARY

Es besteht ein Bedarf an verbesserten Techniken zur Abbildung eines Objekts. Es besteht insbesondere ein Bedarf an Vorrichtungen und Verfahren, mit denen Reflexe durch Verarbeitung aufgenommener Bilder unterdrückt werden können. Es besteht ein Bedarf an derartigen Vorrichtungen und Verfahren, mit denen eine gute Auflösung und guter Kontrast in einem Ergebnisbild erzielbar sind.There is a need for improved techniques for imaging an object. In particular, there is a need for devices and methods by which reflections can be suppressed by processing captured images. There is a need for such devices and methods that can achieve good resolution and good contrast in a resulting image.

Nach Ausführungsbeispielen werden Vorrichtungen und Verfahren angegeben, bei denen ein Objekt sequentiell mit einer Mehrzahl von Beleuchtungsgeometrien beleuchtet und jeweils ein Bild aufgenommen wird. Das Bild kann jeweils ein Intensitätsbild sein. Die Mehrzahl von Bildern wird rechnerisch weiterverarbeitet. Bei der Verarbeitung kann eine Abschattungsoperation auf jedes Bild angewandt werden, in dem ein Reflex vorhanden ist. Die Abschattungsoperation kann lokal diejenigen Pixel in ihrer Intensität reduzieren, beispielsweise vollständig ausblenden, an denen der Reflex im entsprechenden Bild vorhanden ist. Dazu können die Pixel eines aufgenommenen Bildes, in dem ein Reflex vorhanden ist, mit einer bildpunktabhängigen Gewichtungsfunktion multipliziert werden, um ein modifiziertes Bild zu berechnen.According to exemplary embodiments, devices and methods are specified in which an object is illuminated sequentially with a plurality of illumination geometries and an image is taken in each case. The image can each be an intensity image. The majority of images are processed by computation. During processing, a shadowing operation can be applied to any image in which a reflex exists. The shading operation can locally reduce those pixels in their intensity, for example completely hide them, where the reflection is present in the corresponding image. For this purpose, the pixels of a recorded image in which a reflection is present can be multiplied by a pixel-dependent weighting function in order to calculate a modified image.

Die Position des Reflexes und damit die bildpunktabhängige Gewichtungsfunktion hängen von der Beleuchtungsgeometrie ab, mit der das Objekt bei der Erfassung des entsprechenden Bildes beleuchtet wird. Pixel, die durch die Abschattungsoperation in einem Bild rechnerisch unterdrückt werden, sind in einem weiteren Bild, das für eine Beleuchtung mit einer anderen Beleuchtungsgeometrie aufgenommen wird, entfernt von dem Reflex angeordnet. Durch Kombination der Information aus mehreren Bildern, in denen jeweils abhängig von der Beleuchtungsgeometrie zur Reflexunterdrückung Pixel niedrig gewichtet werden, kann die vollständige Information über das Objekt rekonstruiert werden. The position of the reflection and thus the pixel-dependent weighting function depend on the illumination geometry with which the object is illuminated when the corresponding image is acquired. Pixels that are computationally suppressed by the shadowing operation in one image are located in another image that is captured for illumination with a different illumination geometry away from the reflex. By combining the information from multiple images, each depending on the Lighting geometry for reflection suppression pixels are weighted low, the complete information about the object can be reconstructed.

Die Mehrzahl von durch die Abschattungsoperation modifizierten Bilder kann kombiniert, beispielsweise aufsummiert werden. Bei der Kombination der Bilder kann eine lineare Kombination der durch die Abschattungsoperation modifizierten Bilder ermittelt werden. Durch eine bildpunktabhängige Renormierung kann für jedes Pixel berücksichtigt werden, in wie vielen der Bilder es nahe an oder innerhalb eines Reflexes liegt. In dem Summenbild kann ein Pixel, das in einem oder mehreren der modifizierten Bilder niedrig gewichtet wurde, weil es in oder nahe an einem Reflex lag, kann im Vergleich zu einem anderen Pixel, das in keinem der modifizierten Bilder niedrig gewichtet wurde, wieder stärker gewichtet werden, um die Wirkung der Abschattungsoperation zu berücksichtigen.The plurality of images modified by the shading operation may be combined, for example summed up. When combining the images, a linear combination of the images modified by the shading operation can be determined. By means of a pixel-dependent renormalization, it can be considered for each pixel in how many of the images it is close to or within a reflex. In the summation image, a pixel that has been weighted low in one or more of the modified images because it was in or near a reflex may be more heavily weighted again than another pixel that has not been weighted low in any of the modified images to take into account the effect of the shading operation.

Die Abschattungsoperation kann für System-Reflexe für jede Beleuchtungsgeometrie, mit der eine Bildaufnahme erfolgt, vorab ermittelt werden. Dies kann rechnerisch oder durch Kalibrierungsmessungen erfolgen. Information über die jeweils auszuführende Abschattungsoperation kann nichtflüchtig in einem Speicher gespeichert sein und kann zur Verarbeitung der Bilder abgerufen werden. Die Information über System-Reflexe kann davon abhängen, in welche Pixel eines Bildsensors ein optisches System für die jeweilige Beleuchtungsgeometrie Beleuchtungslicht reflektiert. The shading operation can be pre-determined for system reflections for each illumination geometry that captures an image. This can be done by calculation or by calibration measurements. Information about the shadowing operation to be performed in each case can be stored in non-volatile memory and can be retrieved for processing the images. The information about system reflections may depend on which pixels of an image sensor an optical system for the respective illumination geometry reflects illumination light.

Die Abschattungsoperation kann für jedes Bild durch eine automatische Reflexerkennung ermittelt werden. Dadurch können Objekt-Reflexe und/oder System-Reflexe identifiziert und korrigiert werden.The shading operation can be determined for each image by automatic reflex detection. This allows object reflections and / or system reflexes to be identified and corrected.

Bei den Vorrichtungen und Verfahren nach Ausführungsbeispielen kann eine Bildkorrektur in rechnerisch effizienter Weise ausgeführt werden. Durch die Beleuchtung mit einer Mehrzahl von Beleuchtungsgeometrien und Berücksichtigung der Beleuchtungsgeometrien bei der rechnerischen Verarbeitung der Bilder können die Probleme verringert werden, die herkömmlich mit Reflexen verbunden sind. Informationsverlust kann verringert werden, indem die mit mehreren Beleuchtungsgeometrien erfassten Bilder kombiniert werden. Die Kombination kann durch Operationen wie eine bildpunktweise Multiplikation und Addition ausgeführt werden, die rechnerisch effizient ausführbar sind und eine Echtzeitbedingung erfüllen können.In the devices and methods of embodiments, image correction can be performed in a computationally efficient manner. By illuminating with a plurality of illumination geometries and considering the illumination geometries in the computational processing of the images, the problems conventionally associated with reflections can be reduced. Information loss can be reduced by combining the images captured with multiple lighting geometries. The combination can be performed by operations such as pixel-by-pixel multiplication and addition that are computationally efficient and can satisfy a real-time condition.

Eine Bildaufnahmevorrichtung nach einem Ausführungsbeispiel umfasst eine Beleuchtungseinrichtung, die steuerbar ist, um eine Mehrzahl von Beleuchtungsgeometrien für eine Beleuchtung eines Objekts einzustellen. Die Bildaufnahmevorrichtung umfasst einen Detektor mit einem Bildsensor, der eingerichtet ist, um eine Mehrzahl von Bildern eines Objekts für die Mehrzahl von Beleuchtungsgeometrien zu erfassen. Die Bildaufnahmevorrichtung umfasst eine elektronische Auswerteeinrichtung zur Verarbeitung der Mehrzahl von Bildern, die mit dem Bildsensor gekoppelt ist. Die elektronische Auswerteeinrichtung kann für eine Reflexunterdrückung eingerichtet sein, um den mit System-Reflexen und/oder Objekt-Reflexen herkömmlich verbundenen Informationsverlust zu verringern. Die elektronische Auswerteeinrichtung ist eingerichtet, um für wenigstens einen Teil der Mehrzahl von Bildern jeweils eine Abschattungsoperation auszuführen, um eine Mehrzahl von modifizierten Bildern zu erzeugen. Die auf ein Bild angewandte Abschattungsoperation kann von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängen. Die elektronische Auswerteeinrichtung ist eingerichtet, um die Mehrzahl von modifizierten Bildern zu kombinieren. An image pickup device according to an embodiment comprises an illumination device that is controllable to set a plurality of illumination geometries for illumination of an object. The image capture device includes a detector having an image sensor configured to acquire a plurality of images of an object for the plurality of illumination geometries. The image recording device comprises an electronic evaluation device for processing the plurality of images, which is coupled to the image sensor. The electronic evaluation device can be set up for reflex suppression in order to reduce the information loss conventionally associated with system reflections and / or object reflections. The electronic evaluation device is set up to execute a shading operation for at least a part of the plurality of images in each case in order to generate a plurality of modified images. The shading operation applied to an image may depend on the illumination geometry upon detection of the corresponding image. The electronic evaluation device is set up to combine the plurality of modified images.

Mit der Abschattungsoperation kann wenigstens ein Pixel, das innerhalb eines Reflexes liegt, rechnerisch in seiner Intensität verringert werden.With the shading operation, at least one pixel lying within a reflex can be mathematically reduced in its intensity.

Jedes Bild der Mehrzahl von Bildern kann ein Intensitätsbild sein.Each image of the plurality of images may be an intensity image.

Die auf ein Bild angewandte Abschattungsoperation kann von einer Position eines Reflexes in dem Bild abhängen.The shading operation applied to an image may depend on a position of a reflex in the image.

Der Reflex kann durch Reflexion an optischen Komponenten der Bildaufnahmevorrichtung und/oder durch Reflexion an dem Objekt verursacht sein.The reflection may be caused by reflection on optical components of the image recording device and / or by reflection at the object.

Die von der elektronischen Auswerteeinrichtung ausgeführte Abschattungsoperation kann eine Anwendung einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, umfassen.The shadowing operation performed by the electronic evaluation device may include applying a pixel-dependent weighting function that depends on the illumination geometry upon detection of the corresponding image.

Durch die bildpunktabhängige Gewichtungsfunktion kann ein Gewicht eines Pixels, das innerhalb des Reflexes liegt, im Vergleich zu einem weiteren Gewicht eines weiteren Pixels, das außerhalb des Reflexes liegt, reduziert werden.By the pixel-dependent weighting function, a weight of a pixel lying within the reflex can be reduced compared to another weight of another pixel that is outside the reflex.

Die Gewichtungsfunktion kann zwischen dem Pixel, das innerhalb des Reflexes liegt, und dem weiteren Pixel, das außerhalb des Reflexes liegt, monoton zunehmen. Die Gewichtungsfunktion kann stetig zunehmen. The weighting function may increase monotonically between the pixel that is within the reflex and the other pixel that is out of the reflex. The weighting function can increase steadily.

Durch die bildpunktabhängige Gewichtungsfunktion kann das Gewicht des Pixels, das innerhalb des Reflexes liegt, auf Null gesetzt werden. Dadurch kann in dem modifizierten Bild das entsprechende Pixel, das innerhalb des Reflexes liegt, ausgeblendet werden. Es können alle Pixel innerhalb des Reflexes ausgeblendet werden. The pixel-dependent weighting function allows the weight of the pixel within the reflex to be set to zero. Thereby In the modified image, the corresponding pixel that lies within the reflex can be hidden. All pixels within the reflex can be hidden.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um für jedes Bild der Mehrzahl von Bildern, das einen Reflex aufweist, wenigstens ein Pixel mit der einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, zu gewichten.The electronic evaluation device can be set up to weight, for each image of the plurality of images which has a reflection, at least one pixel with that of a pixel-dependent weighting function, which depends on the illumination geometry upon detection of the corresponding image.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um eine bildpunktabhängigen Renormierungsfunktion aus den Gewichtungsfunktionen für mehrere Bilder zu ermitteln.The electronic evaluation device can be set up to determine a pixel-dependent renormalization function from the weighting functions for a plurality of images.

Die bildpunktabhängige Renormierungsfunktion kann von einer Positionen eines ersten Reflexes in einem ersten Bild, das mit einer ersten Beleuchtungsgeometrie aufgenommen wurde, und von einer Position eines zweiten Reflexes in einem zweiten Bild, das mit einer von der ersten Beleuchtungsgeometrie verschiedenen zweiten Beleuchtungsgeometrie aufgenommen wurde, abhängen. The pixel-dependent renormalization function may depend on a position of a first reflection in a first image acquired with a first illumination geometry and a position of a second reflection in a second image acquired with a second illumination geometry different from the first illumination geometry.

Die bildpunktabhängige Renormierungsfunktion kann von Positionen von Reflexen in allen Bildern, die einen Reflex aufweisen, abhängen.The pixel-dependent renormalization function may depend on positions of reflections in all images having a reflex.

Die bildpunktabhängige Renormierungsfunktion kann für jedes Pixel jeweils von dem Inversen der Gewichtungsfunktion für dieses Pixel für alle Bilder, die einen Reflex aufweisen, abhängen.The pixel-dependent renormalization function for each pixel may depend on the inverse of the weighting function for that pixel for all images having a reflex.

Die bildpunktabhängige Renormierungsfunktion kann für ein Pixel jeweils davon abhängen, in wie vielen Bildern der Mehrzahl von Bildern das Gewicht des entsprechenden Pixels jeweils durch die Gewichtungsfunktion reduziert ist.The pixel-dependent renormalization function for each pixel may depend on how many images of the plurality of images each weight of the corresponding pixel is reduced by the weighting function.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um ein Summenbild der durch die Abschattungsoperation modifizierten Bilder zu bestimmen.The electronic evaluation device can be set up to determine a summation image of the images modified by the shading operation.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um eine lineare Kombination der durch die Abschattungsoperation modifizierten Bilder zu berechnen. Die elektronische Auswerteeinrichtung kann eingerichtet sein, um dadurch ein Phasenkontrastbild oder ein Ergebnisbild mit Kontraststeigerung zu ermitteln.The electronic evaluation device can be set up to calculate a linear combination of the images modified by the shading operation. The electronic evaluation device can be configured to thereby determine a phase contrast image or a result image with contrast enhancement.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um die lineare Kombination der mehreren Bilder mit der bildpunktabhängigen Renormierungsfunktion zu gewichten. Dazu kann jedes Pixel mit der bildpunktabhängigen Renormierungsfunktion multipliziert werden.The electronic evaluation device can be set up to weight the linear combination of the multiple images with the pixel-dependent renormalization function. For this purpose, each pixel can be multiplied by the pixel-dependent renormalization function.

Die Abschattungsoperation kann für jedes Bild, das einen Reflex aufweist, so gewählt sein, dass sie Systemreflexe eines optischen Systems der Bildaufnahmevorrichtung unterdrückt.The shading operation may be selected for each image having a reflection so as to suppress system reflections of an optical system of the image pickup device.

Information über die Abschattungsoperation zur Abschattung der Systemreflexe in Abhängigkeit von der Beleuchtungsgeometrie kann nichtflüchtig in der Bildaufnahmevorrichtung gespeichert sein.Information about the shading operation for shadowing the system reflections as a function of the illumination geometry may be stored non-volatilely in the image acquisition device.

Die Abschattungsoperation kann alternativ oder zusätzlich Objektreflexe des Objekts unterdrücken.The shading operation may alternatively or additionally suppress object reflections of the object.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um für jedes Bild der Mehrzahl von Bildern Objektreflexe in dem entsprechenden Bild automatisch zu identifizieren.The electronic evaluation device can be set up to automatically identify object reflections in the corresponding image for each image of the plurality of images.

Die elektronische Auswerteeinrichtung kann eingerichtet sein, um die bildpunktabhängige Gewichtungsfunktion jeweils abhängig davon festzulegen, in welchen Pixeln der automatisch identifizierte Objektreflex vorliegt. The electronic evaluation device can be set up to determine the pixel-dependent weighting function in each case depending on the pixels in which the automatically identified object reflection is present.

Die Bildaufnahmevorrichtung kann ein Mikroskopsystem sein.The image pickup device may be a microscope system.

Die Bildaufnahmevorrichtung kann ein digitales Mikroskop sein.The image pickup device may be a digital microscope.

Ein Verfahren zur Bildaufnahme nach einem Ausführungsbeispiel umfasst ein Erfassen einer Mehrzahl von Bildern, wenn ein Objekt sequentiell mit einer Mehrzahl von Beleuchtungsgeometrien beleuchtet wird. Das Verfahren umfasst ein Verarbeiten der Mehrzahl von Bildern zur Reflexunterdrückung. Dabei wird eine Abschattungsoperation für wenigstens einen Teil der Mehrzahl von Bildern ausgeführt, um eine Mehrzahl von modifizierten Bildern zu erzeugen, wobei die Abschattungsoperation von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt. Die Mehrzahl von modifizierten Bildern wird kombiniert.An image picking method according to an embodiment includes acquiring a plurality of images when an object is sequentially illuminated with a plurality of illumination geometries. The method includes processing the plurality of images for reflex suppression. At this time, a shading operation is performed for at least a part of the plurality of images to produce a plurality of modified images, the shading operation depending on the illumination geometry upon detection of the corresponding image. The plurality of modified images are combined.

Das Verfahren kann von der Bildaufnahmevorrichtung nach einem Ausführungsbeispiel automatisch ausgeführt werden.The method may be performed automatically by the image pickup device according to an embodiment.

Mit der Abschattungsoperation kann bei dem Verfahren wenigstens ein Pixel, das innerhalb eines Reflexes liegt, rechnerisch in seiner Intensität verringert werden.With the shading operation, in the method, at least one pixel lying within a reflex can be mathematically reduced in its intensity.

Bei dem Verfahren kann jedes Bild der Mehrzahl von Bildern ein Intensitätsbild sein.In the method, each image of the plurality of images may be an intensity image.

Bei dem Verfahren kann jedes die auf ein Bild angewandte Abschattungsoperation von einer Position eines Reflexes in dem Bild abhängen. In the method, each of the shading operation applied to an image may depend on a position of a reflection in the image.

Bei dem Verfahren kann der Reflex durch Reflexion an optischen Komponenten der Bildaufnahmevorrichtung und/oder durch Reflexion an dem Objekt verursacht sein.In the method, the reflection may be caused by reflection on optical components of the image recording device and / or by reflection on the object.

Bei dem Verfahren kann die Abschattungsoperation eine Anwendung einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, umfassen.In the method, the shadowing operation may include applying a pixel-dependent weighting function that depends on the illumination geometry upon detection of the corresponding image.

Bei dem Verfahren kann durch die bildpunktabhängige Gewichtungsfunktion ein Gewicht eines Pixels, das innerhalb des Reflexes liegt, im Vergleich zu einem weiteren Gewicht eines weiteren Pixels, das außerhalb des Reflexes liegt, reduziert werden.In the method, the pixel-dependent weighting function may reduce a weight of a pixel that is within the reflex compared to another weight of another pixel that is outside the reflex.

Bei dem Verfahren kann durch die Gewichtungsfunktion zwischen dem Pixel, das innerhalb des Reflexes liegt, und dem weiteren Pixel, das außerhalb des Reflexes liegt, monoton zunehmen. Die Gewichtungsfunktion kann stetig zunehmen. In the method, the weighting function between the pixel that is within the reflex, and the other pixel that is outside the reflex, monotonically increase. The weighting function can increase steadily.

Bei dem Verfahren kann durch die bildpunktabhängige Gewichtungsfunktion das Gewicht des Pixels, das innerhalb des Reflexes liegt, auf Null gesetzt werden. Dadurch kann in dem modifizierten Bild das entsprechende Pixel, das innerhalb des Reflexes liegt, ausgeblendet werden. Es können alle Pixel innerhalb des Reflexes ausgeblendet werden. In the method, the pixel-dependent weighting function may set the weight of the pixel that is within the reflex to zero. As a result, in the modified image, the corresponding pixel that lies within the reflex can be hidden. All pixels within the reflex can be hidden.

Bei dem Verfahren kann für jedes Bild der Mehrzahl von Bildern, das einen Reflex aufweist, wenigstens ein Pixel mit der einer bildpunktabhängigen Gewichtungsfunktion, die von der Beleuchtungsgeometrie bei Erfassung des entsprechenden Bildes abhängt, gewichtet werden.In the method, for each image of the plurality of images having a reflection, at least one pixel may be weighted with that of a pixel-dependent weighting function that depends on the illumination geometry upon detection of the corresponding image.

Das Kombinieren der Bilder kann bei dem Verfahren die Bestimmung eine bildpunktabhängigen Renormierungsfunktion aus den Gewichtungsfunktionen für mehrere Bilder umfassen. Combining the images in the method may include determining a pixel-dependent renormalization function from the weighting functions for a plurality of images.

Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion von einer Positionen eines ersten Reflexes in einem ersten Bild, das mit einer ersten Beleuchtungsgeometrie aufgenommen wurde, und von einer Position eines zweiten Reflexes in einem zweiten Bild, das mit einer von der ersten Beleuchtungsgeometrie verschiedenen zweiten Beleuchtungsgeometrie aufgenommen wurde, abhängen. In the method, the pixel-dependent renormalization function may be taken from a position of a first reflection in a first image acquired with a first illumination geometry and a position of a second reflection in a second image acquired with a second illumination geometry different from the first illumination geometry , depend.

Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion von Positionen von Reflexen in allen Bildern, die einen Reflex aufweisen, abhängen.In the method, the pixel-dependent renormalization function may depend on positions of reflections in all images having a reflex.

Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion für jedes Pixel jeweils von dem Inversen der Gewichtungsfunktion für dieses Pixel für alle Bilder, die einen Reflex aufweisen, abhängen.In the method, the pixel-dependent renormalization function for each pixel may depend on the inverse of the weighting function for that pixel for all images having a reflex.

Bei dem Verfahren kann die bildpunktabhängige Renormierungsfunktion für ein Pixel jeweils davon abhängen, in wie vielen Bildern der Mehrzahl von Bildern das Gewicht des entsprechenden Pixels jeweils durch die Gewichtungsfunktion reduziert ist.In the method, the pixel-dependent renormalization function for a pixel may depend on how many images of the plurality of images each weight of the corresponding pixel is reduced by the weighting function.

Das Kombinieren der Bilder kann die Bestimmung eines Summenbilds der durch die Abschattungsoperation modifizierten Bilder umfassen.Combining the images may include determining a sum image of the images modified by the shadowing operation.

Das Kombinieren der Bilder kann die Berechnung einer linearen Kombination der durch die Abschattungsoperation modifizierten Bilder umfassen. Dadurch kann ein Phasenkontrastbild berechnet und/oder eine Kontraststeigerung erreicht werden. Combining the images may include calculating a linear combination of the images modified by the shadowing operation. As a result, a phase contrast image can be calculated and / or a contrast increase can be achieved.

Das Kombinieren der Bilder kann eine Gewichtung der linearen Kombination mit der bildpunktabhängigen Renormierungsfunktion umfassen. Dazu kann jedes Pixel der Linearkombination mit der bildpunktabhängigen Renormierungsfunktion multipliziert werden.Combining the images may include weighting the linear combination with the pixel-dependent renormalization function. For this purpose, each pixel of the linear combination can be multiplied by the pixel-dependent renormalization function.

Bei dem Verfahren kann die Abschattungsoperation für jedes Bild, das einen Reflex aufweist, so gewählt sein, dass sie Systemreflexe eines optischen Systems der Bildaufnahmevorrichtung unterdrückt.In the method, the shading operation for each image having a reflection may be selected to suppress system reflections of an optical system of the image pickup device.

Bei dem Verfahren kann Information über die Abschattungsoperation zur Abschattung der Systemreflexe in Abhängigkeit von der Beleuchtungsgeometrie nichtflüchtig in der Bildaufnahmevorrichtung gespeichert sein.In the method, information about the shading operation for shading the system reflections depending on the illumination geometry may be stored non-volatilely in the image pickup device.

Bei dem Verfahren kann die Abschattungsoperation alternativ oder zusätzlich Objektreflexe des Objekts unterdrücken.In the method, the shading operation may alternatively or additionally suppress object reflections of the object.

Das Verfahren kann ein automatisches Identifizieren von Objektreflexen in der Mehrzahl von Bildern umfassen. The method may include automatically identifying object reflections in the plurality of images.

Bei dem Verfahren kann die bildpunktabhängige Gewichtungsfunktion jeweils abhängig davon festgelegt werden, in welchen Pixeln der automatisch identifizierte Objektreflex vorliegt. In the method, the pixel-dependent weighting function can be determined in each case depending on the pixels in which the automatically identified object reflection is present.

Das Verfahren kann von einem Mikroskopsystem ausgeführt werden, wobei die Verarbeitung der Bilder automatisch durch eine elektronische Auswerteeinrichtung des Mikroskopsystems erfolgt. Die Verarbeitung kann auch durch einen von dem Mikroskop separaten Computer ausgeführt werden. The method can be carried out by a microscope system, wherein the processing of the images is carried out automatically by an electronic evaluation device of the microscope system. The Processing may also be performed by a computer separate from the microscope.

Das Mikroskopsystem kann ein digitales Mikroskop sein.The microscope system can be a digital microscope.

Bei den Vorrichtungen und Verfahren können die Bilder können in einer Transmissionsanordnung erfasst werden. Die Bilder können in einer Reflexionsanordnung erfasst werden.In the devices and methods, the images may be captured in a transmission array. The images can be captured in a reflection arrangement.

Bei den Vorrichtungen und Verfahren kann jede Beleuchtungsgeometrie der Mehrzahl von Beleuchtungsgeometrien jeweils genau einer Beleuchtungsrichtung entsprechen, unter der das Objekt beleuchtet wird. Die Beleuchtungsgeometrie kann durch einen Beleuchtungswinkel in drei Dimensionen festgelegt sein, der durch ein Paar von Winkelkoordinaten definiert werden kann. In the devices and methods, each illumination geometry of the plurality of illumination geometries may each correspond to exactly one illumination direction under which the object is illuminated. The illumination geometry may be defined by an illumination angle in three dimensions, which may be defined by a pair of angular coordinates.

Bei den Vorrichtungen und Verfahren kann wenigstens eine oder können mehrere der Mehrzahl von Beleuchtungsgeometrien jeweils genau einer Beleuchtungsrichtung entsprechen, unter der das Objekt beleuchtet wird.In the devices and methods, at least one or more of the plurality of illumination geometries may each correspond to exactly one illumination direction under which the object is illuminated.

Es können auch komplexere Beleuchtungsgeometrien verwendet werden. Beispielsweise kann für wenigstens eine der Beleuchtungsgeometrien oder können für mehrere Beleuchtungsgeometrien Strahlen mit unterschiedlicher Richtung auf das Objekt eingestrahlt werden. Das Objekt kann aus einem Raumwinkelbereich oder aus mehreren Raumwinkelbereichen flächig beleuchtet werden. Das Objekt kann aus mehreren Richtungen beleuchtet werden, so dass die Beleuchtung kein zusammenhängendes Gebiet und/oder kein konvexes Gebiet bildet.More complex illumination geometries can also be used. For example, for at least one of the illumination geometries or for a plurality of illumination geometries beams with different directions can be irradiated onto the object. The object can be illuminated flat from a solid angle range or from several solid angle ranges. The object can be illuminated from several directions so that the illumination does not form a coherent area and / or a convex area.

Vorrichtungen und Verfahren nach Ausführungsbeispielen erlauben die Verwendung kostengünstiger Optiken, da Reflexe durch Verarbeitung mehrerer Bilder unterdrückt werden. Die Verarbeitung der aufgenommenen Bilder kann schnell, auflösungserhaltend und artefaktreduzierend erfolgen. Devices and methods according to embodiments allow the use of inexpensive optics, since reflections are suppressed by processing multiple images. The processing of the recorded images can be fast, resolution-preserving and artifact-reducing.

Da die Abschattungsoperation so ausgestaltet sein kann, dass lokal nur diejenigen Pixel unterdrückt werden, die in der Nähe des Reflexes liegen, kann eine bessere Auflösung und ein besserer Kontrast als mit Techniken erzielt werden, bei denen ein Bild vollständig verworfen wird, wenn es einen Reflex aufweist. Für unterschiedliche Beleuchtungsgeometrien sind die Abschattungsoperationen in der Regel unterschiedlich, so dass die lokale Unterdrückung zur Abschattung des Reflexes unterschiedliche Pixel betrifft. Die Information für einen Objektbereich, in dem für eine Beleuchtungsgeometrie durch einen Reflex Informationsverlust eintritt, kann in der Regel aus einem weiteren Bild rekonstruiert werden, in dem der Reflex an einer anderen Position angeordnet ist. Because the shadowing operation can be designed to locally suppress only those pixels that are near the reflex, better resolution and contrast can be achieved than with techniques in which an image is completely discarded when there is a reflection having. For different illumination geometries, the shading operations are usually different, so that the local suppression for shading the reflection affects different pixels. The information for an object area in which a loss of information by a reflex occurs for an illumination geometry can usually be reconstructed from another image in which the reflex is arranged at another position.

Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen. The features and features set out above, which are described below, can be used not only in the corresponding combinations explicitly set out, but also in other combinations or isolated, without departing from the scope of the present invention.

KURZE BESCHREIBUNG DER FIGURENBRIEF DESCRIPTION OF THE FIGURES

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.The above-described characteristics, features, and advantages of this invention, as well as the manner in which they will be achieved, will become clearer and more clearly understood in connection with the following description of the embodiments, which will be described in detail in conjunction with the drawings.

1 ist eine schematische Darstellung einer Bildaufnahmevorrichtung nach einem Ausführungsbeispiel. 1 is a schematic representation of an image pickup device according to an embodiment.

2 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel. 2 is a flowchart of a method according to an embodiment.

3 veranschaulicht die Verarbeitung einer Mehrzahl von Bildern bei Vorrichtungen und Verfahren nach Ausführungsbeispielen. 3 Figure 12 illustrates the processing of a plurality of images in devices and methods of embodiments.

4 veranschaulicht die Verarbeitung eines Bildes mit einer Bildaufnahmevorrichtung und einem Verfahren nach Ausführungsbeispielen. 4 illustrates the processing of an image with an image capture device and method of embodiments.

5 veranschaulicht eine beispielhafte bildpunktabhängige Gewichtungsfunktion, mit der Pixel multipliziert werden, um eine Abschattungsoperation auszuführen. 5 FIG. 12 illustrates an exemplary pixel-dependent weighting function that multiplies pixels to perform a shadowing operation.

6 veranschaulicht eine beispielhafte bildpunktabhängige Gewichtungsfunktion, mit der Pixel multipliziert werden, um eine Abschattungsoperation auszuführen. 6 FIG. 12 illustrates an exemplary pixel-dependent weighting function that multiplies pixels to perform a shadowing operation.

7 veranschaulicht die Ermittlung einer Renormierungsfunktion, die beim Kombinieren von Bildern eingesetzt werden kann. 7 illustrates the determination of a renormalization function that can be used in combining images.

8 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel. 8th is a flowchart of a method according to an embodiment.

9 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel. 9 is a flowchart of a method according to an embodiment.

10 ist ein Blockdiagramm einer Bildaufnahmevorrichtung nach einem Ausführungsbeispiel. 10 Fig. 10 is a block diagram of an image pickup apparatus according to an embodiment.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN DETAILED DESCRIPTION OF EMBODIMENTS

Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Darstellungen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und ihr Zweck dem Fachmann verständlich werden. Hereinafter, the present invention will be described with reference to preferred embodiments with reference to the drawings. In the figures, like reference characters designate the same or similar elements. The figures are schematic representations of various embodiments of the invention. Elements shown in the figures are not necessarily drawn to scale. Rather, the various elements shown in the figures are reproduced in such a way that their function and purpose will be understood by those skilled in the art.

In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Connections and couplings between functional units and elements illustrated in the figures may also be implemented as an indirect connection or coupling. A connection or coupling may be implemented by wire or wireless.

Nachfolgend werden Techniken beschrieben, mit denen Reflexe bei Abbildung eines Objekts rechnerisch unterdrückt werden können. Unter einer „Reflexunterdrückung“ werden dabei Maßnahmen verstanden, mit denen der Informationsverlust, der mit dem Vorliegen von Reflexen herkömmlich verbunden ist, verringert werden kann. The following describes techniques that can be used to computationally suppress reflections when imaging an object. A "reflex suppression" is understood here as measures with which the loss of information, which is conventionally associated with the presence of reflexes, can be reduced.

Wie nachfolgend ausführlicher beschrieben wird, werden bei Ausführungsbeispielen der Erfindung sequentiell mehrere Bilder eines Objekts aufgenommen. Die aufgenommenen Bilder sind jeweils Intensitätsbilder. Eine Beleuchtungsgeometrie für eine Beleuchtung des Objekts wird zur Aufnahme der mehreren Bilder auf unterschiedliche Werte eingestellt. Auf alle oder einen Teil der Bilder wird eine Abschattungsoperation angewandt. Die Abschattungsoperation kann eine Gewichtung der Intensität von Pixeln umfassen, die davon abhängt, in welchen Pixeln für die entsprechende Beleuchtungsgeometrie ein Reflex in dem Bild vorliegt. Durch die Abschattungsoperation können die Artefakte verringert werden, die durch eine Reflexion in bestimmte Bildbereiche hervorgerufen werden. As will be described in more detail below, embodiments of the invention sequentially capture multiple images of an object. The captured images are each intensity images. An illumination geometry for illuminating the object is set to different values for recording the multiple images. All or part of the images are shadowed. The shading operation may include a weighting of the intensity of pixels that depends on which pixels for the corresponding illumination geometry have a reflection in the image. The shading operation can reduce the artifacts caused by reflection in certain areas of the image.

Die Abschattungsoperation kann bei einem Bild jeweils für jeden von mehreren Farbkanälen identisch sein. Die Abschattungsoperation kann für unterschiedliche Farbkanäle verschieden sein, beispielsweise falls die Position von Reflexion aufgrund chromatischer Aberration wellenlängenabhängig ist.The shading operation may be identical for one image for each of a plurality of color channels, respectively. The shading operation may be different for different color channels, for example, if the position of reflection due to chromatic aberration is wavelength dependent.

Bei allen Reflexen, die nicht ausschließlich durch eine Reflexion an einem rotationssymmetrischen Objekt verursacht werden, verändert sich die Position eines Reflexes in dem Bild abhängig von der jeweiligen Beleuchtungsrichtung. Durch die Abschattungsoperation können in unterschiedlichen Bildern, die Reflexe aufweisen, jeweils unterschiedliche Bildbereiche ausgeblendet werden, um die jeweiligen Reflexe abzuschatten. For all reflections that are not exclusively caused by a reflection on a rotationally symmetric object, the position of a reflection in the image changes depending on the respective illumination direction. Through the shading operation, different image areas can be masked out in different images, which have reflections, in order to shade the respective reflections.

Durch die Kombination der Bilder kann die vollständige Intensitätsinformation rekonstruiert werden. Die Kombination kann beispielsweise ein Aufsummieren der durch beleuchtungsgeometrieabhängige Gewichtungsfunktionen modifizierten Bilder mit anschließender Renormierung des Summenbildes umfassen. Es kann auch eine andere Kombination verwendet werden. Beispielsweise kann eine beliebige lineare Kombination der durch beleuchtungswinkelabhängige Gewichtungsfunktionen modifizierten Bilder mit anschließender Renormierung vorgenommen werden, um ein Ergebnisbild zu bestimmen. Die Renormierung kann durch eine Multiplikation mit einer bildpunktabhängigen Renormierungsfunktion ausgeführt werden, die berücksichtigt, in wie vielen Bildern und durch welche Gewichtung ein Pixel jeweils abgeschattet wurde, um einen Reflex auszublenden.By combining the images, the complete intensity information can be reconstructed. The combination may include, for example, summing up the images modified by illumination geometry-dependent weighting functions, with subsequent renormalization of the summation image. It can also be used a different combination. For example, an arbitrary linear combination of the images modified by illumination angle-dependent weighting functions, with subsequent renormalization, can be undertaken in order to determine a result image. The renormalization can be carried out by a multiplication with a pixel-dependent renormalization function, taking into account in how many pictures and by what weighting a pixel was shadowed in each case in order to hide a reflex.

Die rechnerische Verarbeitung der erfassten Bilder, die die Abschattungsoperation beinhaltet, kann auf in einem Speichermedium einer Bildaufnahmevorrichtung nichtflüchtig gespeicherten Daten beruhen. Die Daten können für unterschiedliche Beleuchtungsgeometrien die jeweils anzuwendende Abschattungsoperation umfassen. Alternativ oder zusätzlich können die Daten Informationen enthalten, aus denen eine elektronische Auswerteeinrichtung die anzuwendende Abschattungsoperation ermittelt. Beispielsweise kann für jede Beleuchtungsgeometrie die Position eines Reflexes hinterlegt sein, der durch Reflexion am optischen System der Bildaufnahmevorrichtung verursacht wird.The computational processing of the captured images including the shading operation may be based on non-volatile data stored in a storage medium of an image capture device. The data may include the respective shading operation to be used for different illumination geometries. Alternatively or additionally, the data may contain information from which an electronic evaluation device determines the shading operation to be used. For example, the position of a reflection caused by reflection on the optical system of the image acquisition device can be stored for each illumination geometry.

Die Daten, die im Betrieb der Bildaufnahmevorrichtung zur rechnerischen Reflexunterdrückung verwendet werden, können vorab rechnerisch bestimmt und in dem Speichermedium gespeichert werden. Die Daten können alternativ oder zusätzlich durch eine Kalibrierungsmessung an der Bildaufnahmevorrichtung mit Referenzobjekten erzeugt und nichtflüchtig gespeichert werden. The data used in the operation of the image acquisition device for computational reflex suppression, can be determined in advance and stored in the storage medium mathematically. The data may alternatively or additionally be generated by a calibration measurement on the image acquisition device with reference objects and stored non-volatilely.

Die Position von Reflexen in Abhängigkeit von der Beleuchtungsgeometrie kann von der Bildaufnahmevorrichtung auch automatisch ermittelt werden. Beispielsweise können Objektreflexe und optional auch Systemreflexe automatisch erkannt werden, um zu bestimmen, welche Pixel für die entsprechende Beleuchtungsgeometrie durch Multiplikation mit einem Gewichtungsfaktor, der von eins verschieden ist, abgeschattet werden sollen.The position of reflections as a function of the illumination geometry can also be determined automatically by the image acquisition device. For example, object reflections and optionally system reflections can be automatically detected to determine which pixels for the corresponding illumination geometry should be shaded by multiplying by a weighting factor other than one.

Durch Kombination der mehreren Bilder nach der Abschattungsoperation kann die elektronische Auswerteeinrichtung automatisch ein Ergebnisbild erzeugen, das die Information der mehreren Bilder enthält. Die Erzeugung des Ergebnisbildes kann so erfolgen, dass sie nur Multiplikations- und Summationsoperationen erfordert. Die Erzeugung des Ergebnisbildes kann so erfolgen, dass das Ergebnisbild echtzeitfähig ermittelt werden kann.By combining the multiple images after the shading operation, the electronic Evaluation device automatically generate a result image containing the information of the multiple images. The generation of the result image may be such that it requires only multiplication and summation operations. The generation of the result image can be done so that the result image can be determined in real time.

1 ist eine schematische Darstellung einer Bildaufnahmevorrichtung 1 nach einem Ausführungsbeispiel. Die Bildaufnahmevorrichtung 1 kann zur automatischen Ausführung von Verfahren nach Ausführungsbeispielen ausgestaltet sei. Die Bildaufnahmevorrichtung 1 kann ein Mikroskopsystem sein oder kann ein Mikroskop umfassen, das mit einer noch ausführlicher beschriebenen steuerbaren Beleuchtungseinrichtung, einer Kamera mit einem Bildsensor und einer elektronischen Auswerteeinrichtung zur Reflexunterdrückung versehen ist. 1 is a schematic representation of an image pickup device 1 according to an embodiment. The image pickup device 1 can be configured for automatic execution of methods according to embodiments. The image pickup device 1 may be a microscope system or may include a microscope, which is provided with a controllable lighting device described in more detail, a camera with an image sensor and an electronic evaluation device for reflex suppression.

Die Bildaufnahmevorrichtung 1 umfasst eine Beleuchtungseinrichtung mit einer Lichtquelle 11. Eine Kondensor-Linse 12 kann in an sich bekannte Weise das von der Lichtquelle 11 abgegeben Licht auf ein abzubildendes Objekt 2 lenken. Die Beleuchtungseinrichtung ist so ausgestaltet, dass Licht mit einer Mehrzahl unterschiedlicher Beleuchtungsgeometrien auf das Objekt 2 eingestrahlt werden kann. Beispielweise kann jede Beleuchtungsgeometrie durch einen Beleuchtungswinkel 4 im Raum definiert sein, in der der Strahl 3 auf das Objekt 2 eingestrahlt werden kann. Unterschiedliche Beleuchtungsgeometrien können dann unterschiedlichen Beleuchtungswinkeln entsprechen.The image pickup device 1 includes a lighting device with a light source 11 , A condenser lens 12 can in a known manner that of the light source 11 given light on an object to be imaged 2 to steer. The illumination device is designed such that light with a plurality of different illumination geometries on the object 2 can be radiated. For example, each illumination geometry can be controlled by an illumination angle 4 be defined in the space in which the beam 3 on the object 2 can be radiated. Different illumination geometries can then correspond to different illumination angles.

Es können auch komplexere Beleuchtungsgeometrien verwendet werden. Beispielsweise können gleichzeitig Strahlen unter mehreren Beleuchtungswinkeln auf das Objekt 2 eingestrahlt werden. More complex illumination geometries can also be used. For example, at the same time, beams can be incident on the object at multiple illumination angles 2 be irradiated.

Um steuerbare Beleuchtungsgeometrien vorzusehen, kann beispielsweise die Lichtquelle 11 eine Leuchtdioden(LED)-Anordnung mit mehreren LEDs umfassen, die einzeln oder in beliebig strukturierten Gruppen ansteuerbar sein können. Die LED-Anordnung kann eine LED-Ringanordnung sein. Alternativ kann ein steuerbares Element in einer Zwischenbildebene, in die eine herkömmliche Lichtquelle vergrößert abgebildet wird, angeordnet sein, um unterschiedliche Beleuchtungsgeometrien bereitzustellen. Das steuerbare Element kann eine bewegliche Lochblende, eine Mikrospiegelanordnung, eine Flüssigkeitskristallmatrix oder einen räumlichen Lichtmodulator umfassen.To provide controllable illumination geometries, for example, the light source 11 a light-emitting diode (LED) arrangement comprising a plurality of LEDs, which can be controlled individually or in any structured groups. The LED assembly may be an LED ring assembly. Alternatively, a controllable element may be arranged in an intermediate image plane in which a conventional light source is enlarged in size to provide different illumination geometries. The controllable element may comprise a movable pinhole, a micromirror array, a liquid crystal matrix, or a spatial light modulator.

Die Beleuchtungseinrichtung kann so eingerichtet sein, dass der Betrag des Beleuchtungswinkels 4, der mit einer optischen Achse 5 eingeschlossen wird, verändert werden kann. Die Beleuchtungseinrichtung kann so eingerichtet sein, dass eine Richtung des Strahls 3, mit dem das Objekt unter dem Beleuchtungswinkel 4 beleuchtet werden kann, auch in Polarrichtung um die optische Achse 5 herumbewegt werden kann. Die Beleuchtungseinrichtung kann so eingerichtet sein, dass mehrere Strahlen in unterschiedlichen Richtungen oder über unterschiedliche Raumwinkelbereiche auf das Objekt einfallen. The illumination device can be set up such that the amount of the illumination angle 4 that with an optical axis 5 is included, can be changed. The illumination device can be set up so that a direction of the beam 3 with which the object is under the illumination angle 4 can be illuminated, also in the polar direction about the optical axis 5 can be moved around. The illumination device can be set up such that a plurality of beams are incident on the object in different directions or over different solid angle ranges.

Ein Detektor 14 der Bildaufnahmevorrichtung 1 erfasst für jede von mehreren Beleuchtungsgeometrien, mit denen das Objekt 2 beleuchtet wird, jeweils mindestens ein Bild des Objekts 2. Das Bild ist jeweils in Intensitätsbild. Ein Bildsensor 15 des Detektors 14 kann beispielsweise als CCD-Sensor, CMOS-Sensor oder als ein TDI(„time delay and integration“)-CCD-Sensor ausgestaltet sein. Eine Abbildungsoptik, beispielsweise ein nur schematisch dargestelltes Mikroskopobjektiv 13, kann ein vergrößertes Abbild des Objekts 2 an dem Bildsensor 15 erzeugen. A detector 14 the image pickup device 1 captured for each of several lighting geometries, with which the object 2 is lit, at least one image of the object 2 , The picture is always in intensity picture. An image sensor 15 of the detector 14 For example, it can be designed as a CCD sensor, CMOS sensor or as a TDI ("time delay and integration") CCD sensor. An imaging optics, for example, a microscope objective shown only schematically 13 , can be a magnified image of the object 2 on the image sensor 15 produce.

Die Bildaufnahmevorrichtung 1 umfasst eine elektronische Auswerteeinrichtung 20. Die elektronische Auswerteeinrichtung verarbeitet die Mehrzahl von Bildern weiter, die von dem Objekt 2 für die Mehrzahl von Beleuchtungsgeometrien erfasst wurden. Die elektronische Auswerteeinrichtung 20 wendet eine Abschattungsoperation auf einige oder alle der Mehrzahl von Bildern an. Wie unter Bezugnahme auf 2 bis 10 näher beschrieben wird, kann die Abschattungsoperation für jedes Bild, das einen Systemreflex oder einen Objektreflex enthält, die Multiplikation mit einer bildpunktabhängigen Gewichtungsfunktion umfassen. Durch die bildpunktabhängige Gewichtung können Pixel, die in dem Reflex oder innerhalb eines vordefinierten Abstands um den Reflex liegen, vollständig ausgeblendet oder in ihrer Intensität verringert werden, um Artefakte zu reduzieren. The image pickup device 1 includes an electronic evaluation device 20 , The electronic evaluation device processes the plurality of images further from the object 2 were recorded for the majority of lighting geometries. The electronic evaluation device 20 applies a shadowing operation to some or all of the plurality of images. As with reference to 2 to 10 For example, for each image containing a system reflex or an object reflection, the shading operation may include multiplying by a pixel-dependent weighting function. Pixel-dependent weighting allows pixels that are in the reflex or within a predefined distance around the reflex to be completely blanked out or reduced in intensity to reduce artifacts.

Die Pixel, deren Intensität durch die Abschattungsoperation unterdrückt wird, können abhängig von der Beleuchtungsgeometrie unterschiedliche Positionen aufweisen. Die Bildaufnahmevorrichtung kann eine Mehrzahl von Bildern des Objekts derart erfassen, dass jedes Pixel in wenigstens einem Bild der Mehrzahl von Bildern nicht innerhalb eines Reflexes liegt oder nicht innerhalb eines vordefinierten Abstands von einem Reflex liegt.The pixels whose intensity is suppressed by the shading operation may have different positions depending on the illumination geometry. The image capture device may capture a plurality of images of the object such that each pixel in at least one image of the plurality of images is not within a reflex or is not within a predefined distance from a reflex.

Die Bildaufnahmevorrichtung 1 kann ein Speichermedium mit Information zur Reflexunterdrückung 21 umfassen. Die elektronische Auswerteeinrichtung 20 ist mit dem Speichermedium gekoppelt oder kann dieses umfassen. Die elektronische Auswerteeinrichtung 20 kann die für jede Beleuchtungsgeometrie jeweils anzuwendende Gewichtungsfunktion abhängig von der Korrekturinformation in dem Speichermedium ermitteln. Die Information zur Reflexunterdrückung, die in dem Speichermedium gespeichert ist, kann so ausgestaltet sein, dass sie Reflexionen in der Bildaufnahmevorrichtung abhängig von der Beleuchtungsgeometrie berücksichtigt.The image pickup device 1 can be a storage medium with information for reflex suppression 21 include. The electronic evaluation device 20 is coupled to or may include the storage medium. The electronic evaluation device 20 can determine the weighting function to be used for each lighting geometry depending on the correction information in the storage medium. The information for the reflex suppression, which is stored in the storage medium, may be configured so that they Considered reflections in the image pickup device depending on the illumination geometry.

Die modifizierten Bilder, die jeweils einer von mehreren Beleuchtungsgeometrien zugeordnet sind, können auf unterschiedliche Weise kombiniert werden. Beispielsweise können die Bilder nach der Abschattungsoperation zu einem Summenbild aufaddiert werden. Das Summenbild kann mit einer ortsabhängigen Renormierungsfunktion multipliziert werden, die berücksichtigt, welche Pixel für die unterschiedlichen Beleuchtungsgeometrien jeweils mit einer von eins verschiedenen Gewichtung multipliziert wurden. Die entsprechende Verarbeitung kann von der elektronischen Auswerteeinrichtung 20 automatisch ausgeführt werden. Alternativ kann auch eine beliebige andere lineare Kombination der durch die Abschattungsoperation modifizierten Bilder berechnet werden. Die lineare Kombination kann mit einer ortsabhängigen Renormierungsfunktion multipliziert werden, die berücksichtigt, welche Pixel für die unterschiedlichen Beleuchtungsgeometrien jeweils mit einer von eins verschiedenen Gewichtung multipliziert wurden. Durch die lineare Kombination kann beispielsweise eine Kontrasterhöhung erreicht oder ein Phasenkontrastbild berechnet werden. The modified images, each associated with one of several illumination geometries, can be combined in different ways. For example, after the shading operation, the images may be added to a summation image. The summation image can be multiplied by a location-dependent renormalization function which takes into account which pixels for the different illumination geometries have each been multiplied by a weighting that is different from one. The corresponding processing can be performed by the electronic evaluation device 20 be executed automatically. Alternatively, any other linear combination of the images modified by the shading operation may also be calculated. The linear combination may be multiplied by a location-dependent renormalization function that takes into account which pixels for the different illumination geometries have each been multiplied by a weight of one different. By the linear combination, for example, an increase in contrast can be achieved or a phase contrast image can be calculated.

Da die elektronische Auswerteeinrichtung 20 eine Abschattungsoperation durch Multiplikation und Summation ausführen kann, ist die Verarbeitung echtzeitfähig. Die Bildaufnahmevorrichtung 1 kann eine Benutzerschnittstelle mit einer optischen Ausgabeeinrichtung umfassen, auf der die elektronische Auswerteeinrichtung 20 im Betrieb das erzeugte Ergebnisbild ausgeben kann. Durch Kombination von Information aus Bildern, die bei Beleuchtung unter mehreren Beleuchtungsgeometrien erfasst wurden, kann guter Kontrast und gute Auflösung auch in den Bildbereichen erreicht werden, die in einem oder mehreren der Mehrzahl von aufgenommenen Bilder durch eine Reflexion überdeckt sind. As the electronic evaluation device 20 perform a shading operation by multiplication and summation, the processing is real-time capable. The image pickup device 1 may comprise a user interface with an optical output device on which the electronic evaluation device 20 can output the generated result image during operation. By combining information from images captured under illumination under multiple illumination geometries, good contrast and good resolution can also be achieved in the image areas that are covered by reflection in one or more of the plurality of captured images.

Die Funktionsweise der Bildaufnahmevorrichtung nach Ausführungsbeispielen wird unter Bezugnahme auf 2 bis 10 näher beschrieben. The operation of the image pickup apparatus according to embodiments will be described with reference to FIG 2 to 10 described in more detail.

2 ist ein Flussdiagramm eines Verfahrens 30 nach einem Ausführungsbeispiel. Das Verfahren kann von der Bildaufnahmevorrichtung 1 automatisch ausgeführt werden. 2 is a flowchart of a method 30 according to an embodiment. The method may be used by the image capture device 1 be executed automatically.

Bei Schritt 31 wird das Objekt mit einer ersten Beleuchtungsgeometrie beleuchtet. Die Beleuchtungseinrichtung kann beispielsweise von der elektronischen Auswerteeinrichtung 20 so angesteuert werden, dass das Objekt mit der ersten Beleuchtungsgeometrie beleuchtet wird. Der Bildsensor 15 erfasst ein erstes Bild. Das erste Bild kann ein erstes Intensitätsbild sein.At step 31 the object is illuminated with a first illumination geometry. The illumination device may be, for example, the electronic evaluation device 20 be controlled so that the object is illuminated with the first illumination geometry. The image sensor 15 captures a first picture. The first image may be a first intensity image.

Bei Schritt 32 wird das Objekt mit einer von der ersten Beleuchtungsgeometrie verschiedenen zweiten Beleuchtungsgeometriebeleuchtet. Dazu kann die Beleuchtungseinrichtung entsprechend angesteuert werden. Der Bildsensor 15 erfasst ein zweites Bild. Das zweite Bild kann ein zweites Intensitätsbild sein.At step 32 the object is illuminated with a second illumination geometry different from the first illumination geometry. For this purpose, the lighting device can be controlled accordingly. The image sensor 15 captures a second image. The second image may be a second intensity image.

Die sequentielle Beleuchtung des Objekts unter unterschiedlichen Beleuchtungswinkeln und Bildaufnahme kann wiederholt werden. The sequential illumination of the object under different illumination angles and image acquisition can be repeated.

Bei Schritt 33 wird das Objekt mit einer N-ten Beleuchtungsgeometrie beleuchtet, wobei N eine ganze Zahl > 1 ist. Dazu kann die Beleuchtungseinrichtung entsprechend angesteuert werden. Der Bildsensor 15 erfasst ein N-tes Bild.At step 33 the object is illuminated with an Nth illumination geometry, where N is an integer> 1. For this purpose, the lighting device can be controlled accordingly. The image sensor 15 captures an Nth image.

Bei Schritt 34 wird auf alle oder wenigstens einen Teil der N Bilder eine Abschattungsoperation angewandt. Die Abschattungsoperation wird auf jedes Bild angewandt, in dem wenigstens ein Reflex vorhanden ist. Der Reflex kann ein Systemreflex oder ein Objektreflex sein. Die Abschattungsoperation kann diejenigen Pixel ausblenden oder wenigstens in ihrer Intensität verringern, in denen aufgrund von Reflexion in dem optischen System oder an dem Objekt die Information über das Objekt durch eine Reflexion überlagert ist. Die Bildbereiche, in denen die Intensität reduziert wird, hängen dabei von der Beleuchtungsgeometrie bei Aufnahme des entsprechenden Bildes ab.At step 34 a shading operation is applied to all or at least a part of the N pictures. The shading operation is applied to each image in which at least one reflex is present. The reflex can be a system reflex or an object reflex. The shading operation may hide or at least reduce in intensity those pixels in which, due to reflection in the optical system or object, the information about the object is superimposed by a reflection. The image areas in which the intensity is reduced depend on the illumination geometry when taking the corresponding image.

Durch die Abschattungsoperation kann die Intensität aller Pixel, die in einem Reflex liegen, auf Null gesetzt werden. Durch die Abschattungsoperation kann die Intensität von Pixeln, die in einer vordefinierten Umgebung um den Reflex liegen, reduziert werden. The shading operation can set the intensity of all pixels in a reflex to zero. The shading operation can reduce the intensity of pixels in a predefined environment around the reflex.

Bei Schritt 35 können die durch die Abschattungsoperation modifizierten Bilder rechnerisch kombiniert werden. Dazu können die modifizierten Bilder addiert werden oder es kann eine andere lineare Kombination bestimmt werden. Die lineare Kombination kann auch alle Bilder beinhalten, in denen keine Reflexion vorliegt. Die lineare Kombination der durch die Abschattungsoperationen modifizierten Bilder kann mit einer ortsabhängigen Renormierungsfunktion multipliziert werden, um zu berücksichtigen, dass bei einigen der modifizierten Bilder Intensitäten lokal verringert wurden, um eine Reflexion abzuschatten. Komplexere Verarbeitungen sind möglich. Beispielsweise können auch Phaseninformationen des Objekts 2 rechnerisch aus den mehreren Bildern bestimmt werden.At step 35 For example, the images modified by the shading operation can be computationally combined. For this, the modified images can be added or a different linear combination can be determined. The linear combination may also include all images in which there is no reflection. The linear combination of the images modified by the shadowing operations may be multiplied by a location-dependent renormalization function to account for the locally reduced intensities in some of the modified images to shadow a reflection. More complex processing is possible. For example, also phase information of the object 2 be calculated from the multiple images.

Die Bildaufnahmevorrichtung kann eingerichtet sein, um Systemreflexe und/oder Objektreflexe zu korrigieren, wie unter Bezugnahme auf 3 bis 10 ausführlicher beschrieben wird. Dabei können verschiedene Methoden eingesetzt werden.The image capture device may be configured to correct for system reflections and / or object reflections, as described with reference to FIG 3 to 10 will be described in more detail. Different methods can be used.

Zu Korrektur von Systemreflexen können vor dem Betrieb der Bildaufnahmevorrichtung 1 zu jeder anschaltbaren Beleuchtungsrichtung die entstehenden Systemreflexe mittels Kalibrationsmessungen und/oder rechnerisch bestimmt werden. Die Systemreflexe werden auf dem Bildsensor lokalisiert und zu den jeweiligen Beleuchtungsgeometrien zugeordnet. Zu den Reflexen können jeweils entsprechende Abschattungsbilder erzeugt werden, die die jeweiligen Reflexe abschatten und den Beleuchtungsgeometrien zugeordnet sind. In der Umsetzung kann das Abschattungsbild durch Multiplikation des Bildes, das mit der entsprechenden Beleuchtungsgeometrie erfasst wurde, mit einer ortsabhängigen Gewichtungsfunktion mit dem Bild verrechnet werden. To correct system reflections may be prior to operation of the image pickup device 1 For each connectable illumination direction, the resulting system reflections are determined by means of calibration measurements and / or computationally. The system reflections are localized on the image sensor and assigned to the respective illumination geometries. Corresponding shading images can be generated for the reflections, which shade the respective reflections and are assigned to the illumination geometries. In the implementation, the shading image can be compared to the image by multiplying the image acquired with the corresponding illumination geometry by a location-dependent weighting function.

Für jeden Bereich des Bildsensors kann ermittelt werden, wieviel Licht von allen Abschattungsmatrizen zusammen abgeschattet wird. In Abhängigkeit davon kann ein Renormierungsbild erstellt werden. Das Renormierungsbild kann die Summe der Abschattungen über alle Beleuchtungsgeometrien repräsentieren oder dazu proportional sein. Das Renormierungsbild kann ortsaufgelöst angeben, für wie viele Beleuchtungsgeometrien im entsprechenden Pixel des Bildsensors jeweils von dem Abschattungsbild Licht durchgelassen wird, also kein Reflex abgeschattet werden muss.For each area of the image sensor, it can be determined how much light is shaded by all shading matrices together. Depending on this, a renormalization image can be created. The renormalization image may represent or be proportional to the sum of shadowing across all illumination geometries. The Renormierungsbild can specify spatially resolved, for how many lighting geometries in the corresponding pixel of the image sensor in each case by the shading image light is transmitted, so no reflex must be shaded.

Die erfassten Bilder des Objekts können wie folgt behandelt werden: (i) Jedes der Bilder ist einer Beleuchtungsgeometrie zugeordnet, mit der das Objekt bei der Bildaufnahme beleuchtet wurde. (ii) Das Bild wird mit einer ortsabhängigen Gewichtungsfunktion multipliziert, die der Beleuchtungsgeometrie zugeordnet ist und ein modifiziertes Bild erzeugt, in dem Reflexe abgeschattet sind. (iii) Es wird eine bildpunktabhängige Renormierungsfunktion verwendet, die von den Gewichtungsfunktionen abhängt und die berücksichtigt, bei wie vielen der Bilder das entsprechende Pixel durch Multiplikation mit der Gewichtungsfunktion abgeschattet wird. (iv) Alle so erzeugten modifizierten Bilder können summiert werden, um ein Summenbild oder eine andere lineare Kombination der modifizierten Bilder zu erzeugen. (v) Das Summenbild oder die andere lineare Kombination der modifizierten Bilder kann bildpunktweise mit der Renormierungsfunktion multipliziert werden. The captured images of the object may be treated as follows: (i) Each of the images is associated with a lighting geometry used to illuminate the object when taking the image. (ii) The image is multiplied by a location-dependent weighting function associated with the illumination geometry that produces a modified image in which reflections are shadowed. (iii) A pixel-dependent renormalization function is used, which depends on the weighting functions and takes into account in how many of the images the corresponding pixel is shadowed by multiplication with the weighting function. (iv) All modified images thus generated can be summed to produce a sum image or other linear combination of the modified images. (v) The summation image or the other linear combination of the modified images can be multiplied pixel by pixel with the renormalization function.

In dem entstehenden Ergebnisbild sind Systemreflexe unterdrückt. Falls das Objekt ein Amplitudenobjekt ist, können alle Systemreflexe weitgehend oder sogar vollständig unterdrückt werden. Falls das Objekt ein Phasenobjekt ist, können die Systemreflexe wenigstens teilweise unterdrückt werden. In the resulting result image system reflections are suppressed. If the object is an amplitude object, all system reflections can be largely or even completely suppressed. If the object is a phase object, the system reflections can be at least partially suppressed.

Zusätzlich oder alternativ zu der vorab rechnerisch oder durch Kalibration ermittelten Information über die Positionen von Systemreflexen können auch in jedem Bild Reflexe automatisch erkannt werde, beispielsweise durch einen Schwellenwertvergleich der Intensität. Die Abschattungsoperation kann jeweils abhängig von der Reflexposition ausgeführt werden, die aus dem Bild durch automatische Verarbeitung erkannt wurde. Dadurch kann eine weitere Reflexunterdrückung für Bilder von Phasenobjekten erreicht werden.In addition or as an alternative to the information about the positions of system reflections ascertained in advance either by calculation or by calibration, reflexes can also be detected automatically in every image, for example by a threshold value comparison of the intensity. The shading operation may be performed depending on the reflex position detected from the image by automatic processing, respectively. As a result, a further reflection suppression for images of phase objects can be achieved.

Mit Vorrichtungen und Verfahren nach Ausführungsbeispielen können auch Objektreflexe unterdrückt werden. Dies ist mit herkömmlichen Maßnahmen zur Verbesserung des optischen Systems, beispielsweise durch Verwendung von Anti-Reflex-Beschichtungen, nicht möglich.With devices and methods according to embodiments also object reflections can be suppressed. This is not possible with conventional measures for improving the optical system, for example by using anti-reflective coatings.

Reflexe, die durch das Objekt verursacht werden, können nicht vorberechnet werden. Daher kann zur Unterdrückung von Objektreflexen nach Ausführungsbeispielen für jedes Bild des Objekts durch Bildverarbeitung bestimmt werden, ob und an welcher Position ein Objektreflex vorliegt. Dazu kann beispielsweise ein Schwellenwertvergleich ausgeführt werden, um Objektreflexe zu lokalisieren.Reflexes caused by the object can not be precalculated. Therefore, to suppress object reflections according to embodiments, it may be determined for each image of the object by image processing whether and at what position an object reflection is present. For this purpose, for example, a threshold comparison can be carried out in order to localize object reflections.

Zur Unterdrückung von Objektreflexen, aber auch Systemreflexen, können folgende Schritte ausgeführt werden: (i) Lokalisierung der Reflexe in jedem der Bilder; hierzu kann jeder geeignete Algorithmus verwendet werden. Beispielsweise kann ein einfacher Schwellenwertvergleich der Intensität bildpunktabhängig ausgeführt werden. (ii) Abhängig von der Position des Reflexes wird eine bildpunktabhängige Gewichtungsfunktion bestimmt. Mit dieser wird der Reflex abhängig von der Beleuchtungsgeometrie abgeschattet. (iii) Das Bild wird mit einer ortsabhängigen Gewichtungsfunktion multipliziert, die der Beleuchtungsgeometrie zugeordnet ist und ein modifiziertes Bild erzeugt, in dem Reflexe abgeschattet sind. (iv) Es wird eine bildpunktabhängige Renormierungsfunktion verwendet, die von den Gewichtungsfunktionen abhängt und die berücksichtigt, bei wie vielen der Bilder das entsprechende Pixel durch Multiplikation mit der Gewichtungsfunktion abgeschattet wird. (v) Alle durch die Abschattungsoperation erzeugten modifizierten Bilder können summiert werden, um ein Summenbild zu erzeugen, oder können in anderer Weise linear kombiniert werden. (vi) Das Summenbild oder die andere lineare Kombination kann bildpunktweise mit der Renormierungsfunktion multipliziert werden. For the suppression of object reflections, but also system reflections, the following steps can be carried out: (i) localization of the reflections in each of the images; Any suitable algorithm can be used for this purpose. For example, a simple threshold comparison of the intensity can be carried out depending on the pixel. (ii) Depending on the position of the reflex, a pixel-dependent weighting function is determined. With this, the reflex is shaded depending on the lighting geometry. (iii) The image is multiplied by a location-dependent weighting function associated with the illumination geometry that produces a modified image in which reflections are shadowed. (iv) A pixel-dependent renormalization function is used, which depends on the weighting functions and takes into account in how many of the images the corresponding pixel is shadowed by multiplication with the weighting function. (v) All modified images produced by the shadowing operation can be summed to produce a sum image, or otherwise linearly combined. (vi) The summation image or the other linear combination can be multiplied pixel by pixel with the renormalization function.

In dem so ermittelten Ergebnisbild sind Objektreflexe unterdrückt. Object reflections are suppressed in the resulting image.

Falls ein Objekt bei Beleuchtung unter allen Beleuchtungsrichtungen Reflexe an derselben Stelle im Bild generieren, wie dies beispielsweise bei Hohlspiegeln oder anderen reflektierenden, rotationssymmetrischen Oberflächen der Fall sein kann, kann für die entsprechenden Pixel keine Bildinformation ermittelt werden. Die entsprechenden Pixel sind in jedem der Bilder durch einen Reflex überlagert und werden bei der rechnerischen Verarbeitung abgeschattet. If an object under illumination under all lighting directions reflections in the same place Generate in the image, as may be the case for example with concave mirrors or other reflective, rotationally symmetric surfaces, no image information can be determined for the corresponding pixels. The corresponding pixels are superimposed in each of the images by a reflex and are shaded during the computational processing.

Sowohl wenn die Information über die Reflexe vorab bestimmt und nichtflüchtig in der Bildaufnahmevorrichtung gespeichert ist als auch wenn die Position der Reflexe durch Bildverarbeitung nach Aufnahme eines Bildes am Objekt bestimmt wird, kann die Abschattungsoperation durch Multiplikation mit ortsabhängiger Gewichtung so ausgeführt werden, dass nur Pixel lokal in einer Umgebung des Reflexes abgeschattet werden, indem sie durch die Gewichtungsfunktion niedrig gewichtet werden. Both when the information about the reflections is predetermined and stored nonvolatilely in the image pickup device, and when the position of the reflections is determined by image processing after taking an image on the object, the shadowing operation can be performed by multiplying by location weighting so that only pixels are local be shadowed in an environment of the reflex by being weighted low by the weighting function.

Im Vergleich zu Techniken der strukturierten Beleuchtung, bei denen ein gesamtes Bild unberücksichtigt bleibt, wenn es einen Reflex aufweist, kann ein lokal besserer Kontrast und eine bessere Auflösung erreicht werden. Compared to structured illumination techniques, where an entire image is discounted when it has a reflection, a locally better contrast and resolution can be achieved.

3 ist eine schematische Darstellung zur weiteren Erläuterung der Arbeitsweise der Bildaufnahmevorrichtung 1. 3 is a schematic representation for further explaining the operation of the image pickup device 1 ,

Ein erstes Bild 41 wird bei Beleuchtung des Objekts mit einer ersten Beleuchtungsgeometrie erfasst. Ein zweites Bild 42 wird bei Beleuchtung des Objekts mit einer zweiten Beleuchtungsgeometrie erfasst. Ein drittes Bild 43 wird bei Beleuchtung des Objekts mit einer dritten Beleuchtungsgeometrie erfasst.A first picture 41 is detected when the object is illuminated with a first illumination geometry. A second picture 42 is detected when the object is illuminated with a second illumination geometry. A third picture 43 is detected when the object is illuminated with a third illumination geometry.

Das erste Bild 41 enthält einen Reflex 51 an einer ersten Position. Das zweite Bild 42 enthält einen Reflex 52 an einer zweiten Position, die von der ersten Position verschieden ist. Die Änderung der Beleuchtungsrichtung zwischen der Aufnahme des ersten Bilds 41 und des zweiten Bilds 42 führt zu einer Änderung der Position des Reflexes. Das dritte Bild 43 enthält einen Reflex 42 an einer dritten Position, die von der ersten Position und der zweiten Position verschieden ist. Die Änderung der Beleuchtungsrichtung für die Aufnahme des dritten Bilds 43 führt zu einer Änderung der Position des Reflexes.The first picture 41 contains a reflex 51 at a first position. The second picture 42 contains a reflex 52 at a second position different from the first position. The change in the illumination direction between the shot of the first image 41 and the second picture 42 leads to a change in the position of the reflex. The third picture 43 contains a reflex 42 at a third position different from the first position and the second position. The change in the direction of illumination for the third image 43 leads to a change in the position of the reflex.

Das erste Bild 41 wird einer Abschattungsoperation unterzogen. Die Abschattungsoperation kann als eine Transformation T₁ dargestellt werden, die das erste Bild 41 in ein erstes modifiziertes Bild 44 abbildet. Die Transformation T₁ schattet die Pixel ab, die in dem ersten Bild 41 in dem Reflex an der ersten Position 51 liegen. Die Transformation T₁ kann eine Multiplikation von Intensitäten an Pixeln des ersten Bilds 41 mit einer Gewichtung umfassen. Die Multiplikation kann wenigstens in einem ersten Bereich 56 ausgeführt werden, der den Reflex an der ersten Position 51 enthält. Die Gewichtung kann für jedes Pixel, das in dem Reflex an der ersten Position 51 liegt, gleich Null sein. Die Gewichtung kann für jedes Pixel, das in einer vordefinierten Umgebung 56 des Reflexes an der ersten Position 51 liegt, kleiner als eins sein. Außerhalb des Bereichs 56 können die ursprünglichen Pixelwerte des ersten Bilds 41 unverändert bleiben. Die Abschattungsoperation kann als Überlagerung des ersten Bildes 41 mit einem Abschattungsbild oder einer Abschattungsmatrix aufgefasst werden, die einen Bereich 56 um den Reflex an der ersten Position 51 abschattet.The first picture 41 is subjected to a shading operation. The shading operation may be represented as a transformation T ₁ that is the first image 41 in a first modified picture 44 maps. The transformation T ₁ shadows the pixels in the first image 41 in the reflex at the first position 51 lie. The transformation T ₁ may be a multiplication of intensities at pixels of the first image 41 with a weighting include. The multiplication can be at least in a first range 56 be executed, the reflex at the first position 51 contains. The weighting can be for each pixel that is in the reflex at the first position 51 is equal to zero. The weighting can be for each pixel in a predefined environment 56 the reflex at the first position 51 is less than one. Outside the range 56 can be the original pixel values of the first image 41 remain unchanged. The shading operation may be a superposition of the first image 41 be understood with a shading image or a shading matrix covering an area 56 around the reflex at the first position 51 shades.

Entsprechend kann das zweite Bild 42 einer Abschattungsoperation unterzogen werden. Die Abschattungsoperation kann als eine Transformation T₂ dargestellt werden, die das zweite Bild 41 in ein zweites modifiziertes Bild 45 abbildet. Die Transformation T₂ schattet die Pixel ab, die in dem zweiten Bild 42 in dem Reflex an der zweiten Position 52 liegen. Die Transformation T₂ kann eine Multiplikation von Intensitäten an Pixeln des zweiten Bilds 42 mit einer Gewichtung umfassen. Die Multiplikation kann wenigstens in einem zweiten Bereich 57 ausgeführt werden, der den Reflex an der zweiten Position 52 enthält. Die Gewichtung kann für jedes Pixel, das in dem Reflex an der zweiten Position 52 liegt, gleich Null sein. Die Gewichtung kann für jedes Pixel, das in einer vordefinierten Umgebung 57 des Reflexes an der zweiten Position 52 liegt, kleiner als eins sein. Außerhalb des Bereichs 57 können die ursprünglichen Pixelwerte des zweiten Bilds 42 unverändert bleiben. Die Abschattungsoperation kann als Überlagerung des zweiten Bilds 42 mit einem Abschattungsbild oder einer Abschattungsmatrix aufgefasst werden, die einen Bereich 57 um den Reflex an der zweiten Position 52 abschattet.Accordingly, the second picture 42 be subjected to a shading operation. The shading operation may be represented as a transformation T ₂ that includes the second image 41 into a second modified picture 45 maps. The transformation T ₂ shadows the pixels that are in the second image 42 in the reflex at the second position 52 lie. The transformation T ₂ may be a multiplication of intensities at pixels of the second image 42 with a weighting include. The multiplication can be at least in a second area 57 be executed, the reflex at the second position 52 contains. The weighting may be for each pixel that is in the reflex at the second position 52 is equal to zero. The weighting can be for each pixel in a predefined environment 57 the reflex at the second position 52 is less than one. Outside the range 57 can change the original pixel values of the second image 42 remain unchanged. The shading operation may be a superposition of the second image 42 with a shadow image or a Shadow matrix can be conceived as an area 57 around the reflex at the second position 52 shades.

Entsprechend kann das dritte Bild 43 einer Abschattungsoperation unterzogen werden. Die Abschattungsoperation kann als eine Transformation T₃ dargestellt werden, die das dritte Bild 41 in ein drittes modifiziertes Bild 46 abbildet. Die Transformation T₃ schattet die Pixel ab, die in dem dritten Bild 43 in dem Reflex an der dritten Position 53 liegen. Die Transformation T₃ kann eine Multiplikation von Intensitäten an Pixeln des dritten Bilds 43 mit einer Gewichtung umfassen. Die Multiplikation kann wenigstens in einem dritten Bereich 58 ausgeführt werden, der den Reflex an der dritten Position 53 enthält. Die Gewichtung kann für jedes Pixel, das in dem Reflex an der dritten Position 53 liegt, gleich Null sein. Die Gewichtung kann für jedes Pixel, das in einer vordefinierten Umgebung 58 des Reflexes an der dritten Position 53 liegt, kleiner als eins sein. Außerhalb des Bereichs 58 können die ursprünglichen Pixelwerte des dritten Bilds 43 unverändert bleiben. Die Abschattungsoperation kann als Überlagerung des dritten Bilds 43 mit einem Abschattungsbild oder einer Abschattungsmatrix aufgefasst werden, die einen Bereich 58 um den Reflex an der dritten Position 53 abschattet.Accordingly, the third picture 43 be subjected to a shading operation. The shading operation may be represented as a transformation T ₃ that includes the third image 41 in a third modified picture 46 maps. The transformation T ₃ shadows the pixels in the third image 43 in the reflex at the third position 53 lie. The transformation T ₃ may be a multiplication of intensities at pixels of the third image 43 with a weighting include. The multiplication can be at least in a third area 58 be executed, the reflex at the third position 53 contains. The weighting can be for each pixel in the reflex at the third position 53 is equal to zero. The weighting can be for each pixel in a predefined environment 58 the reflex at the third position 53 is less than one. Outside the range 58 can change the original pixel values of the third image 43 remain unchanged. The shading operation may be a superposition of the third image 43 be understood with a shading image or a shading matrix covering an area 58 around the reflex at the third position 53 shades.

Aufgrund der Abschattungsoperation kann in jedem der modifizierten Bilder 44–46 ein Informationsverlust vorliegen. Dies berücksichtigt, dass die Reflexe 51–53 in den ursprünglichen Bildern Information über das Objekt überlagern. Due to the shading operation, in each of the modified images 44 - 46 there is a loss of information. This takes into account that the reflexes 51 - 53 overlay information about the object in the original images.

Wenn für jedes Pixel des Bildsensors in wenigstens einem der Mehrzahl von Bildern, die unterschiedlichen Beleuchtungsrichtungen entsprechen, kein Reflex vorliegt, kann die vollständige Information über das Objekt aus der Mehrzahl von modifizierten Bildern rekonstruiert werden, selbst wenn in einigen oder sogar allen der Bilder jeweils ein Reflex vorhanden ist. Dadurch wird die Bewegung des Reflexes in der Bildebene abhängig von der Beleuchtungsrichtung ausgenutzt. If there is no reflection for each pixel of the image sensor in at least one of the plurality of images corresponding to different illumination directions, the complete information about the object can be reconstructed from the plurality of modified images, even if some or all of the images respectively Reflex is present. As a result, the movement of the reflection in the image plane is utilized depending on the illumination direction.

So kann beispielsweise aus den modifizierten Bildern 45, 46 Information über eine Struktur 59 des Objekts rekonstruiert werden, die in dem ersten modifizierten Bild 44 nicht mehr enthalten ist, da sie durch die Abschattungsoperation abgeschattet wurde.For example, from the modified images 45 . 46 Information about a structure 59 of the object being reconstructed in the first modified image 44 is no longer included because it was shadowed by the shading operation.

Die modifizierten Bilder 44–46 können miteinander kombiniert werden. Beispielsweise kann ein Summenbild gebildet werden. Das Summenbild kann renormiert werden. Dazu kann die Intensität an jedem Punkt des Summenbildes mit einem Renormierungsfaktor multipliziert werden, der davon abhängt, in wie vielen der Bilder das entsprechende Pixel innerhalb des Reflexes oder in einer Umgebung des Reflexes liegt. Dadurch kann beispielsweise berücksichtigt werden, dass die Struktur 59 nur in zwei der drei modifizierten Bilder 44–46 enthalten ist, die zur Berechnung des Ergebnisbildes 47 aufsummiert werden.The modified pictures 44 - 46 can be combined with each other. For example, a summation image can be formed. The summation image can be renormalized. For this purpose, the intensity at each point of the summation image can be multiplied by a renormalization factor, which depends on how many of the images the corresponding pixel lies within the reflex or in an environment of the reflex. As a result, for example, it can be considered that the structure 59 only in two of the three modified pictures 44 - 46 is included in the calculation of the result image 47 be summed up.

Bei den Verfahren und Vorrichtungen nach Ausführungsbeispielen kann eine Abschattungsoperation für ein Bild, das einen Systemreflex und/oder Objektreflex aufweist, dargestellt werden als: I_mod(θ_x, θ_y) = T(θ_x, θ_y)[I(θ_x, θ_y)] (1) In the methods and apparatus of embodiments, a shading operation for an image having a system reflex and / or object reflex may be represented as: I _mod (θ _x, θ _y) = T (θ _x, θ _y) [I (θ _x, θ _y)] (1)

Dabei bezeichnet (θ_x, θ_y) den Beleuchtungswinkel bei Aufnahme des entsprechenden Bildes, der die Richtung des parallelen Beleuchtungsstrahls 3 in drei Dimensionen definiert. Der Beleuchtungswinkel kann beispielsweise durch den Winkel θ_x des Strahls 3 in einer y-z-Ebene und den Winkel θ_y des Strahls 3 in einer x-z-Ebene definiert werden, wobei die z-Achse die optische Achse der Bildaufnahmevorrichtung ist. Mit I(θ_x, θ_y) wird das Bild bezeichnet, das für die Beleuchtungsrichtung aufgenommen wird. Mit I_mod(θ_x, θ_y) wird das modifizierte Bild bezeichnet, das durch die Abschattungsoperation erzeugt wird. Mit T(θ_x, θ_y)[·] wird die vom Beleuchtungswinkel abhängige Abschattungsoperation bezeichnet, die von der elektronischen Auswerteeinrichtung auf das Bild angewandt wird. Die Abschattungsoperation kann vordefiniert und in der Bildaufnahmevorrichtung nichtflüchtig gespeichert sein oder kann von der elektronischen Auswerteeinrichtung abhängig von einer Position eines Reflexes in dem Bild I(θ_x, θ_y) bestimmt werden. Here, (θ _x , θ _y ) denotes the illumination angle when the corresponding image is taken, which is the direction of the parallel illumination beam 3 defined in three dimensions. The illumination angle may be, for example, the angle θ _{x of} the beam 3 in a yz plane and the angle θ _{y of} the beam 3 are defined in an xz-plane, where the z-axis is the optical axis of the image pickup device. I (θ _x , θ _y ) denotes the image taken for the direction of illumination. I _mod (θ _x , θ _y ) denotes the modified image produced by the shading operation. T (θ _x , θ _y ) [x] denotes the illumination angle-dependent shading operation applied to the image by the electronic evaluation device. The shading operation may be predefined and stored in non-volatile memory in the image pickup device, or may be determined by the electronic evaluation device depending on a position of a reflection in the image I (θ _x , θ _y ).

Falls andere Beleuchtungsgeometrien als Strahlen, die entlang der durch ein Koordinatenpaar (θ_x, θ_y) von Winkelkoordinaten definierten Richtung auf das Objekt einfallen, verwendet werden, können die den Beleuchtungswinkel definierenden Koordinaten (θ_x, θ_y) in Gleichung (1) sowie der folgenden Beschreibung durch einen Index ersetzt werden, der die Beleuchtungsgeometrie bezeichnet. Die beschriebenen Verarbeitungskonzepte und Gleichungen bleiben jedoch gültig, wobei anstelle der Koordinaten (θ_x, θ_y) des Beleuchtungswinkels allgemein die Beleuchtungsgeometrie verstanden wird.If illumination geometries other than rays incident on the object along the direction defined by a coordinate pair (θ _x , θ _y ) of angle coordinates are used, the coordinates defining the illumination angle (θ _x , θ _y ) can be used in Equation (1) as well in the following description will be replaced by an index denoting the illumination geometry. However, the processing concepts and equations described remain valid, with the illumination geometry generally being understood instead of the coordinates (θ _x , θ _y ) of the illumination angle.

Die Abschattungsoperation kann bei einer Ausgestaltung so ausgeführt werden, dass eine Multiplikation mit einer Gewichtungsfunktion erfolgt: T(θ_x, θ_y):I(θ_x, θ_y, m, n) → I_mod(θ_x, θ_y, m, n) = w(θ_x, θ_y, m, n)I(θ_x, θ_y, m, n) (2) The shading operation may, in one embodiment, be carried out in such a way that a multiplication with a weighting function takes place: T (θ _x, θ _y): I (θ _x, θ _y, m, n) → I _mod (θ _x, θ _y, m, n) = w (θ _x, θ _y, m, n) I ( θ _x , θ _y , m, n) (2)

Dabei bezeichnet I(θ_x, θ_y, m, n) die Intensität in dem entsprechenden Bild an einem Pixel mit den Pixelkoordinaten m, n. Mit I_mod(θ_x, θ_y, m, n) wird die Intensität in dem modifizierten Bild an dem Pixel mit den Pixelkoordinaten m, n bezeichnet. Die Gewichtung w(θ_x, θ_y, m, n) ist abhängig von den Pixelkoordinaten. Die Gewichtung als Funktion der Pixelkoordinaten definiert eine bildpunktabhängige Gewichtungsfunktion.Here referred to I (θ _x, θ _y, m, n) is the intensity in the corresponding image at a pixel with the pixel coordinates m, n. With I _mod (θ _x, θ _y, m, n) is the intensity in the modified Image at the pixel labeled with the pixel coordinates m, n. The weighting w (θ _x , θ _y , m, n) depends on the pixel coordinates. The weighting as a function of the pixel coordinates defines a pixel-dependent weighting function.

Eine Vielzahl anderen Transformationen kann verwendet werden. Beispielsweise kann eine lokale Faltung verwendet werden, um aus dem aufgenommenen Bild das modifizierte Bild zu berechnen.A variety of other transformations can be used. For example, a local convolution can be used to calculate the modified image from the captured image.

Die Gewichtungsfunktion G(·) kann unterschiedliche Formen aufweisen. Bei einer Ausgestaltung kann eine Stufenfunktion derart verwendet werden, dass w(θ_x, θ_y, m, n) = 0, falls das Pixel (m, n) innerhalb des Reflexes liegt, und w(θ_x, θ_y, m, n) = 1 sonst. (3) The weighting function G (·) can have different shapes. In one embodiment, a step function may be used such that w (θ _x, θ _y, m, n) = 0 if the pixel (m, n) is within the reflex, and w (θ _x, θ _y, m, n) = 1 otherwise. (3)

Es kann auch eine Umgebung, beispielsweise eine äußere Hülle, für den Bereich des Bildsensors definiert werden, in dem der Reflex für die entsprechende Beleuchtungsgeometrie liegt, und die Gewichtungsfunktion kann innerhalb dieser Umgebung gleich Null sein. It is also possible to define an environment, for example an outer shell, for the area of the image sensor in which the reflection lies for the corresponding illumination geometry, and the weighting function can be equal to zero within this environment.

Vorteilhaft kann die Gewichtungsfunktion so sein, dass sie nicht abrupt in einer einzigen Stufe von Null auf eins ansteigt. Unterschiedliche Formen können gewählt werden. Beispielsweise kann die Gewichtungsfunktion so definiert sein, dass w(θ_x, θ_y, m, n) = exp{–[(m – x_R)/Δ_x]² – [(n – y_R)/Δ_y]²}, (4) wobei x_R die x-Koordinate eines geometrischen Schwerpunkts des Reflexes und y_R die y-Koordinate des geometrischen Schwerpunkts des Reflexes bezeichnet. Mit den Breiten Δ_x und Δ_y können die Abmessungen des Reflexes berücksichtigt werden. Neben den Koordinaten (x_R, y_R) können auch die Breiten Δ_x und Δ_y, die den Abfall der Gewichtungsfunktion definieren, von der Beleuchtungsgeometrie abhängen. Advantageously, the weighting function may be such that it does not abruptly rise from zero to one in a single stage. Different shapes can be chosen. For example, the weighting function may be defined such that w (θ _x, θ _y, m, n) = exp {- [(m - x _R) / Δ _x] ² - [(n - y _R) / Δ _y] ^2} (4) where x _R denotes the x coordinate of a geometric centroid of the reflex and y _R denotes the y coordinate of the geometric centroid of the reflex. With the widths Δ _x and Δ _y , the dimensions of the reflex can be taken into account. In addition to the coordinates (x _R , y _R ), the widths Δ _x and Δ _y , which define the drop in the weighting function, may also depend on the illumination geometry.

Bei weiteren Ausgestaltungen kann eine Hyper-Gauss-Funktion anstelle der Gauss-Funktion von Gleichung (4) verwendet werden. Beispielsweise kann die Gewichtungsfunktion so definiert sein, dass w(θ_x, θ_y, m, n) = exp{–|(m – x_R)/Δ_x|^k – |(n – y_R)/Δ_y|^k}, (5) wobei k eine Zahl größer als oder gleich 2 ist.In further embodiments, a Hyper Gaussian function may be used instead of the Gaussian function of Equation (4). For example, the weighting function may be defined such that w (θ _x , θ _y , m, n) = exp {- | (m - x _R ) / Δ _x | ^k - | (n - y _R ) / Δ _y | ^k }, (5) where k is a number greater than or equal to 2.

Bei weiteren Ausgestaltungen können andere Gewichtungsfunktionen verwendet werden, die monoton von einem Wert nahe bei Null am Schwerpunkt des Reflexes zu einem Wert bei eins weit weg vom Reflex variieren. Beispielsweise kann eine Gewichtungsfunktion der Form w(θ_x, θ_y, m, n) = |tanh[(m – x_R)/Δ_x]|^k|tanh[(n – y_R)/Δ_y]|^k, (6) verwendet werden, wobei k eine Zahl größer als 1 ist, die insbesondere größer oder gleich 2 sein kann.In other embodiments, other weighting functions may be used which vary monotonically from a value near zero at the centroid of the reflex to a value at one far from the reflex. For example, a weighting function of the shape w (θ _x, θ _y, m, n) = | tanh [(m - x _R) / Δ _x] | ^k | tanh [(n - y _R ) / Δ _y ] | ^k , (6) be used, where k is a number greater than 1, which may be greater than or equal to 2 in particular.

Für ein Bild, das keinen Reflex aufweist, kann die Gewichtungsfunktion für jedes Pixel gleich eins sein, w(θ_x, θ_y, m, n) = 1 für alle m, n. Wenigstens eines der verarbeiteten Bilder weist ein Pixel auf, für das die Gewichtungsfunktion einen Wert kleiner als eins hat, w(θ_x, θ_y, m, n) < 1, um eine Reflexunterdrückung auszuführen.For an image having no reflection, the weighting function for each pixel may be equal to one, w (θ _x, θ _y, m, n) = 1 for all m, n. At least one of the processed images comprises a pixel for the weighting function has a value less than one, w (θ _x, θ _y, m, n) <1, to perform a reflex suppression.

Aus den modifizierten Bildern kann ein Summenbild berechnet werden: I_sum(m, n) = Σ_θx,θyI_mod(θ_x, θ_y, m, n) = Σ_θx,θyw(θ_x, θ_y, m, n)I(θ_x, θ_y, m, n), (7) wobei die Summation über alle Richtungen ausgeführt wird, unter denen das Objekt beleuchtet wurde.From the modified pictures a sum picture can be calculated: I _sum (m, n) = Σ _{θx, .theta.y} I _mod (θ _x, θ _y, m, n) = Σ _{θx, .theta.y} w (θ _x, θ _y, m, n) I (θ _x, θ _y, m, n), (7) the summation being carried out over all directions under which the object was illuminated.

Um die unterschiedliche Gewichtung der Pixel bei der Summenbildung (7) aufgrund der Abschattungsoperationen zu berücksichtigen, kann eine Renormierungsfunktion s(m, n) definiert werden als s(m, n) = [Σ_θx,θyw(θ_x, θ_y, m, n)]^–1 falls Σ_θx,θyw(θ_x, θ_y, m, n) ≠ 0. (8) In order to take into account the different weighting of the pixels in the summation (7) due to the shading operations, a renormalization function s (m, n) can be defined as s (m, n) = [Σ _{θx, .theta.y} w (θ _x, θ _y, m, n)] ^-1 if Σ _{θx, .theta.y} w (θ _x, θ _y, m, n) ≠ 0 (8)

Jede andere Form der Renormierung kann verwendet werden, mit der berücksichtigt wird, dass abhängig von der Beleuchtungsgeometrie die Gewichtung lokal variiert und die Gewichtungsfunktionen für unterschiedliche Beleuchtungsgeometrien unterschiedlich sind.Any other form of renormalization may be used that takes into account that, depending on the lighting geometry, the weight varies locally and the weighting functions are different for different lighting geometries.

Das Ergebnisbild kann so berechnet werden, dass es für einen Bildpunkt mit Koordinaten (m, n) die Gleichung I_res(m, n) = s(m, n)·I_sum(m, n) = [Σ_θx,θyw(θ_x, θ_y, m, n)]^–1·Σ_θx,θyw(θ_x, θ_y, m, n)I(θ_x, θ_y, m, n) (9) erfüllt.The result image can be calculated such that for a pixel with coordinates (m, n) the equation I _res (m, n) = s (m, n) * I _sum (m, n) = [Σ _{θx, θy} w (θ _x , θ _y , m, n)] ^-1 · Σ _θx, θ _y w θ _x , θ _y , m, n) I (θ _x , θ _y , m, n) (9) Fulfills.

Andere Verarbeitungstechniken können verwendet werden. Other processing techniques can be used.

Beispielsweise kann anstelle der Summenbildung von Gleichung (7) auch eine andere lineare Kombination der modifizierten Bilder berechnet werden. Die lineare Kombination kann so berechnet werden, dass ein Kontrast erhöht wird. Es kann ein Phasenkontrastbild bestimmt werden. Bei der Berechnung der Renormierungsfunktion s(m, n) wird dann jeweils nicht nur berücksichtigt, wie die Abschattungsoperation bildpunktabhängig die Gewichtung der Pixel verändert hat, sondern auch mit welchem Koeffizienten das entsprechende modifizierte Bild in der linearen Kombination der modifizierten Bilder gewichtet ist. Die Koeffizienten können auch negativ sein, beispielsweise um zum Ermitteln eines Phasenkontrastbildes ein Differenzbild zu berechnen. For example, instead of the summation of equation (7), another linear combination of the modified images may also be calculated. The linear combination can be calculated to increase contrast. A phase contrast image can be determined. In the calculation of the renormalization function s (m, n), it is then considered not only how the shading operation has pixel-dependently changed the weighting of the pixels, but also with what coefficient the corresponding modified image in the linear combination of the modified images is weighted. The coefficients may also be negative, for example, to calculate a difference image for determining a phase contrast image.

Wenn mit q ein Index für die Beleuchtungsgeometrie bezeichnet wird und mit b_q ein Koeffizient bei der Berechnung der Linearkombination bezeichnet wird, kann das Ergebnisbild beispielsweise so berechnet werden, dass es für einen Bildpunkt mit Koordinaten (m, n) die Gleichung I_res(m, n) = [Σ_qb_qw(q, m, n)]^–1·Σ_qb_qw(q, m, n)I(q, m, n) (10) erfüllt. Hierbei definiert w(q, m, n) die Gewichtung zur Abschattung von Reflexen für die Beleuchtungsgeometrie mit Index q. Die Größe I(q, m, n) bezeichnet den Wert des Bilds, das für die Beleichtungsgeometrie mit Index q erfasst wurde, am Pixel mit den Koordinaten (m, n). Die Koeffizienten b_q müssen nicht alle dasselbe Vorzeichen haben. Beispielsweise können unterschiedliche Vorzeichen und/oder Beträge der Koeffizienten b_q verwendet werden, um ein Phasenkontrastbild zu bestimmen oder eine Kontrasterhöhung zu erreichen. For example, if q is an index for the illumination geometry and b _{q is} a coefficient in the calculation of the linear combination, then the resulting image can be calculated to have the equation for a pixel with coordinates (m, n) I _res (m, n) = [Σ _q b _q w (q, m, n)] ^-1 · Σ _q b _q w (q, m, n) I (q, m, n) (10) Fulfills. Here, w (q, m, n) defines the weighting for shading reflections for the illumination geometry with index q. The quantity I (q, m, n) denotes the value of the image captured for the illumination geometry with index q at the pixel with the Coordinates (m, n). The coefficients b _q do not all have to have the same sign. For example, different signs and / or magnitudes of the coefficients b _q can be used to determine a phase contrast image or to achieve an increase in contrast.

Es können rechnerisch Filter angewandt werden, um aus den modifizierten Einzelbildern das Summenbild und schließlich das Ergebnisbild zu ermitteln. Die Multiplikation mit einer Gewichtungsfunktion kann auf eine Umgebung um einen Reflex beschränkt werden. Pixel, die in keinem Bild der Mehrzahl von Bildern in einer Umgebung eines Reflexes liegen, können einfach über die mehreren Bilder gemittelt werden. Die unter Bezugnahme auf Gleichungen (1) bis (9) beschriebenen Verarbeitungsschritte können auf diejenigen Pixel beschränkt werden, die in wenigstens einem der Bilder in einer vordefinierten Umgebung eines Reflexes liegen.It can be used computationally filters to determine from the modified frames the summation image and finally the result image. The multiplication with a weighting function can be restricted to an environment around a reflex. Pixels that are not in any image of the plurality of images in an environment of a reflex can be averaged over the multiple images. The processing steps described with reference to equations (1) to (9) may be limited to those pixels that reside in at least one of the images in a predefined environment of a reflex.

4 zeigt schematisch ein Bild 41 zur Erläuterung der Abschattungsoperation durch Multiplikation mit einer Gewichtungsfunktion. Ein Reflex weist einen geometrischen Schwerpunkt an einer Position 61 auf. Pixel des Bildsensors in einem Bildbereich 62 um die Position 61 können das Licht des Reflexes empfangen. In einer Umgebung 63 des Reflexes kann mit einer Gewichtungsfunktion die Intensität des entsprechenden Pixels reduziert werden, um den Reflex abzuschatten. 4 schematically shows an image 41 for explaining the shading operation by multiplication with a weighting function. A reflex has a geometric center of gravity at a position 61 on. Pixel of the image sensor in an image area 62 around the position 61 can receive the light of the reflex. In an environment 63 of the reflex, a weighting function can be used to reduce the intensity of the corresponding pixel in order to shade the reflex.

5 veranschaulicht beispielhaft die Gewichtungsfunktion 66 entlang einer Achse 64 auf dem Bildsensor. Die Gewichtungsfunktion ist an dem Schwerpunkt des Reflexes mit x-Koordinate x_R minimal. Die Gewichtungsfunktion nimmt von dort monoton bis auf einen Wert nahe bei eins oder gleich eins für Pixel zu, die von dem Reflex um wenigstens einen vordefinierten Abstand beanstandet sind. Eine charakteristische Breite 67 der Gewichtungsfunktion in x-Richtung, über die die Gewichtungsfunktion kleiner als ein Schwellenwert th ist, kann von der Abmessung des Bereichs auf dem Bildsensor in x-Richtung abhängen, der durch einen Systemreflex oder Objektreflex eine hohe Lichtintensität empfängt. 5 exemplifies the weighting function 66 along an axis 64 on the image sensor. The weighting function is minimal at the centroid of the x-coordinate x _R reflex. The weighting function monotonically increases from there to a value close to one or equal to one for pixels that are objected to by the reflex by at least a predefined distance. A characteristic width 67 The weighting function in the x-direction, over which the weighting function is smaller than a threshold value th, may depend on the dimension of the area on the image sensor in the x-direction, which receives a high light intensity due to a system reflex or object reflection.

6 veranschaulicht beispielhaft die Gewichtungsfunktion 68 entlang einer weiteren Achse 65 auf dem Bildsensor. Die Gewichtungsfunktion ist an dem Schwerpunkt des Reflexes mit y-Koordinate y_R minimal. Die Gewichtungsfunktion nimmt von dort monoton bis auf einen Wert nahe bei eins oder gleich eins für Pixel zu, die von dem Reflex um wenigstens einen vordefinierten Abstand beanstandet sind. Eine charakteristische Breite 69 der Gewichtungsfunktion in y-Richtung, über die die Gewichtungsfunktion kleiner als der Schwellenwert th ist, kann von der Abmessung des Bereichs auf dem Bildsensor in y-Richtung abhängen, der durch einen Systemreflex oder Objektreflex eine hohe Lichtintensität empfängt. Die Breiten 67, 69 können für unterschiedliche Koordinatenachsen unterschiedlich sein. 6 exemplifies the weighting function 68 along another axis 65 on the image sensor. The weighting function is minimal at the center of gravity of the y-coordinate y _R reflex. The weighting function monotonically increases from there to a value close to one or equal to one for pixels that are objected to by the reflex by at least a predefined distance. A characteristic width 69 The weighting function in the y-direction over which the weighting function is smaller than the threshold value th may depend on the dimension of the area on the image sensor in the y-direction which receives a high light intensity due to a system reflex or object reflection. The latitudes 67 . 69 can be different for different coordinate axes.

7 veranschaulicht die Bestimmung der Renormierungsfunktion in Abhängigkeit von den Gewichtungsfunktionen. Dabei sind schematisch ein erster Bereich 56, der in einem ersten Bild 41 zur Abschattung eines Reflexes niedrig gewichtet wird, ein zweiter Bereich 57, der in einem zweiten Bild 42 zur Abschattung eines Reflexes niedrig gewichtet wird, und ein dritter Bereich 58, der in einem dritten Bild 43 zur Abschattung eines Reflexes niedrig gewichtet wird, dargestellt. 7 illustrates the determination of the renormalization function as a function of the weighting functions. Here are schematically a first area 56 in a first picture 41 for shading a reflex is weighted low, a second area 57 in a second picture 42 for shading a reflex is weighted low, and a third area 58 in a third picture 43 for shading a reflex is weighted low, shown.

Bei Berechnung der modifizierten Bilder wird jedes Pixel in dem ersten Bereich 56 in nur einem Teil der Mehrzahl von Bildern hoch gewichtet. Beispielsweise kann jedes Pixel in dem ersten Bereich 56 mit seiner ursprünglichen Intensität aus dem zweiten Bild 42 und dem dritten Bild 43 in die entsprechenden modifizierten Bilder eingehen. In dem ersten modifizierten Bild wird der erste Bereich 56 zur Reflexunterdrückung mit einem niedrigen Gewicht gewichtet, beispielsweise vollständig abgeschattet. Ähnlich wird jedes Pixel in dem zweiten Bereich 57 und in dem dritten Bereich 58 in nur einem Teil der Mehrzahl von Bildern hoch gewichtet.When calculating the modified images, each pixel becomes in the first area 56 highly weighted in only part of the majority of images. For example, each pixel in the first area 56 with its original intensity from the second picture 42 and the third picture 43 into the corresponding modified pictures. In the first modified image, the first area becomes 56 weighted for reflex suppression with a low weight, for example completely shaded. Similarly, each pixel will be in the second area 57 and in the third area 58 highly weighted in only part of the majority of images.

Ein Pixel 72, das in einer kleiner Anzahl von Bildern, beispielsweise in keinem der Bilder, in der Nähe eines Reflexes liegt, kann mit einem Gewichtungsfaktor von näherungsweise eins in jedes der modifizierten Bilder eingehen. A pixel 72 that is in a small number of images, for example, in any of the images, in the vicinity of a reflex, can enter with a weighting factor of approximately one in each of the modified images.

Um zu berücksichtigen, dass Pixel abhängig davon, in wie vielen der Bilder sie nahe an einem Reflex sind, unterschiedlich stark in ein Summenbild oder eine andere Linearkombination der modifizierten Bilder eingehen, kann die bildpunktabhängige Renormierungsfunktion bestimmt werden, wie oben bereits erläutert wurde. Die bildpunktabhängige Renormierungsfunktion kann als zweidimensionale Matrix 70 angesehen werden, deren Matrixelemente jeweils durch die Renormierungsfunktion nach Gleichung (8) gegeben sein können. Die Bildbereiche 57–59, die in wenigstens einem der modifizierten Bilder zur Abschattung niedrig gewichtet wurden, da sie nahe bei einem Reflex liegen, werden durch die Renormierungsfunktion im Vergleich zu einem Pixel 72 verstärkt, das in keinem der modifizierten Bilder abgeschattet wurde.In order to take into account that pixels depending on how many of the pictures they are close to a reflex, enter into a sum picture or another linear combination of the modified pictures differently, the pixel-dependent renormalization function can be determined, as already explained above. The pixel-dependent renormalization function can be used as a two-dimensional matrix 70 whose matrix elements can each be given by the renormalization function according to equation (8). The image areas 57 - 59 which have been weighted low in at least one of the modified shading images, since they are close to a reflection, are rendered harmonic by the renormalization function compared to a pixel 72 reinforced, which was not shadowed in any of the modified images.

Für ein Pixel, das in jedem der modifizierten Bilder mit Null gewichtet wird, das also in jedem der Bilder in einem Reflex liegt, kann keine Bildinformation ermittelt werden. Dies kann beispielsweise durch einen Objektreflex einer rotationssymmetrischen Objektoberfläche verursacht werden. For a pixel weighted zero in each of the modified images, that is, in each of the images in a reflex, no image information can be determined. This can be caused, for example, by an object reflex of a rotationally symmetrical object surface.

Falls nur Systemreflexe korrigiert werden sollen, können nicht nur die Gewichtungsfunktionen für alle Beleuchtungsrichtungen, sondern auch die Renormierungsfunktion vorab bestimmt und nichtflüchtig in der Bildaufnahmevorrichtung gespeichert sein. If only system reflections are to be corrected, not only the weighting functions for all directions of illumination, but also the renormalization function can be predetermined and stored non-volatilely in the image recording device.

8 ist ein Flussdiagramm eines Verfahrens 80 zur Reflexunterdrückung. Das Verfahren 80 kann von der elektronischen Auswerteeinrichtung 20 automatisch ausgeführt werden. Das Verfahren 80 kann zur Korrektur von Systemreflexen verwendet werden. 8th is a flowchart of a method 80 for reflex suppression. The procedure 80 can from the electronic evaluation device 20 be executed automatically. The procedure 80 can be used to correct system reflections.

Bei Schritt 81 kann Information über einen Reflex abgerufen werden, der von dem System erzeugt wird. Die Information kann die Koordinaten des Reflexes die jeweilige Beleuchtungsrichtung umfassen. Die Information kann die bildpunktabhängige Gewichtungsfunktion für die jeweilige Beleuchtungsrichtung umfassen. At step 81 Information about a reflex generated by the system can be retrieved. The information may include the coordinates of the reflex the respective illumination direction. The information may include the pixel-dependent weighting function for the respective illumination direction.

Bei Schritt 82 kann eine bildpunktabhängige Gewichtungsfunktion für die jeweilige Beleuchtungsrichtung bestimmt werden. Wenn die bildpunktabhängige Gewichtungsfunktion selbst als Information über den Reflex gespeichert ist, kann die bildpunktabhängige Gewichtungsfunktion einfach ausgelesen werden. Falls andere Informationen über den Reflex gespeichert sind, beispielsweise in Form von Koordinaten des Schwerpunkts des Reflexes und/oder Abmessungen des Reflexes, kann die bildpunktabhängige Gewichtungsfunktion daraus rechnerisch ermittelt werden.At step 82 a pixel-dependent weighting function for the respective illumination direction can be determined. If the pixel-dependent weighting function itself is stored as information about the reflex, the pixel-dependent weighting function can be easily read out. If other information about the reflex is stored, for example in the form of coordinates of the center of gravity of the reflex and / or dimensions of the reflex, the pixel-dependent weighting function can be calculated therefrom.

Bei Schritt 83 kann pixelweise eine Gewichtung mit der bildpunktabhängigen Gewichtungsfunktion ausgeführt werden. Dabei kann die Intensität jedes Pixels, das in einer Umgebung des Reflexes für die entsprechende Beleuchtungsrichtung liegt, mit einer Gewichtung kleiner als eins multipliziert werden. Pixel, deren Abstand vom Schwerpunkt des Reflexes größer als ein vordefinierter Schwellenwert ist, können ihre ursprüngliche Intensität beibehalten, da keine Abschattung erforderlich ist.At step 83 a weighting with the pixel-dependent weighting function can be performed on a pixel-by-pixel basis. In this case, the intensity of each pixel that lies in an environment of the reflex for the corresponding illumination direction can be multiplied by a weighting less than one. Pixels whose distance from the center of gravity of the reflex is greater than a predefined threshold can maintain their original intensity since shadowing is not required.

Die Schritte 81 bis 83 können für jede der mehreren Beleuchtungsgeometrien und das zugeordnete Bild ausgeführt werden. Jede Beleuchtungsgeometrie kann beispielsweise durch einen Beleuchtungswinkel im Raum definiert sein, der festlegt, entlang welcher Richtung ein Strahl der Beleuchtung auf das Objekt einfällt. The steps 81 to 83 can be performed for each of the multiple illumination geometries and the associated image. For example, each illumination geometry may be defined by an illumination angle in space that determines along which direction a ray of illumination is incident on the object.

Bei Schritt 84 können die N modifizierten Bilder weiter verarbeitet werden. Beispielsweise kann ein Summenbild oder eine andere Linearkombination berechnet werden. Es kann eine bildpunktabhängige Renormierung ausgeführt werden, mit der berücksichtigt wird, dass zur Abschattung beleuchtungsrichtungsabhängig unterschiedliche Bildbereiche abgeschattet werden.At step 84 The N modified images can be further processed. For example, a summation image or another linear combination can be calculated. It can be performed a pixel-dependent renormalization, is taken into account with the fact that shading depending on the direction of illumination different image areas are shaded.

Alternativ oder zusätzlich zur Verwendung von vorab gespeicherter Information über Systemreflexe können Reflexe auch durch eine Bildverarbeitung automatisch erkannt werden. Jedes Bild, das einen Objektreflex oder Systemreflex aufweist, kann wie oben beschrieben weiter verarbeitet werden.Alternatively, or in addition to using pre-stored information about system reflexes, reflexes can also be automatically detected by image processing. Any image having an object reflex or system reflex may be further processed as described above.

9 ist ein ist ein Flussdiagramm eines Verfahrens 90 zur Reflexunterdrückung. Das Verfahren 90 kann von der elektronischen Auswerteeinrichtung 20 automatisch ausgeführt werden. Das Verfahren 90 kann zur Korrektur von Objektreflexen und/oder Systemreflexen verwendet werden. 9 is a is a flowchart of a procedure 90 for reflex suppression. The procedure 90 can from the electronic evaluation device 20 be executed automatically. The procedure 90 can be used to correct object reflections and / or system reflections.

Bei Schritt 91 wird ein Bild aufgenommen. Dazu wird die Beleuchtung so gesteuert, dass der Strahl 3 unter einer Beleuchtungsgeometrie beleuchtet wird. Die Beleuchtungsgeometrie kann beispielsweise durch ein Winkelpaar θ_x, θ_y eindeutig festgelegt sein, das eine Richtung eines Strahls der Beleuchtung angibt. At step 91 an image is taken. For this purpose, the lighting is controlled so that the beam 3 illuminated under a lighting geometry. For example, the illumination geometry may be uniquely determined by an angle pair θ _x , θ _y indicating a direction of a ray of illumination.

Bei Schritt 92 wird überprüft, ob das Bild einen Reflex aufweist. Dazu können verschiedene Techniken verwendet werden. Es kann ein Schwellenwertvergleich der Intensität ausgeführt werden. Es kann eine Kantendetektion unter Verwendung eines Canny-Algorithmus ausgeführt werden, um Bereiche zu erkennen, die hohe Lichtintensität empfangen. Falls kein Reflex in dem Bild vorhanden ist, fährt das Verfahren bei Schritt 95 fort. Das modifizierte Bild ist gleich dem ursprünglich aufgenommenen Bild. Dies entspricht einer Gewichtungsfunktion, die für alle Pixel gleich eins ist. Falls das Bild einen Reflex aufweist, fährt das Verfahren bei Schritt 93 fort.At step 92 it is checked if the picture has a reflex. Various techniques can be used for this. A threshold comparison of the intensity can be performed. Edge detection can be performed using a Canny algorithm to detect areas receiving high light intensity. If there is no reflex in the image, the process goes to step 95 continued. The modified image is the same as the originally captured image. This corresponds to a weighting function that is equal to one for all pixels. If the image has a reflex, the process moves to step 93 continued.

Bei Schritt 93 wird die Position und optional auch die Abmessung des Reflexes bestimmt. Dazu können die Koordinaten des Schwerpunkts des Reflexes bestimmt werden. Es können die Halbwertsbreiten in x- und y-Richtung bestimmt werden, bei denen die Lichtintensität auf die Hälfte des Maximums abfällt.At step 93 the position and optionally the dimension of the reflex is determined. For this, the coordinates of the center of gravity of the reflex can be determined. It can be determined the half-widths in the x and y direction, in which the light intensity drops to half of the maximum.

Bei Schritt 94 wird eine bildpunktabhängige Gewichtungsfunktion auf das erfasste Bild angewandt. Die Intensität jedes Pixels in einer Umgebung des Reflexes kann mit einer Gewichtung multipliziert werden, die kleiner als eins ist. Die Gewichtungsfunktion kann monoton von dem Pixel, das in dem Reflex liegt, bis zu einem Pixel, das mehr als ein vordefinierter Abstand von dem Reflex entfernt liegt, zunehmen.At step 94 a pixel-dependent weighting function is applied to the captured image. The intensity of each pixel in an environment of the reflex can be multiplied by a weight less than one. The weighting function may increase monotonically from the pixel lying in the reflex to a pixel that is more than a predefined distance away from the reflex.

Bei Schritt 95 wird überprüft, ob eine weitere Bildaufnahme erfolgen soll. Dazu kann überprüft werden, ob jedes Pixel in wenigstens einem der bisher aufgenommenen Bilder außerhalb eines Reflexes liegt. In diesem Fall ist für jedes Pixel Information über das Objekt in wenigstens einem der Bilder vorhanden und es ist nicht erforderlich, weitere Bilder aufzunehmen. Andere Kriterien können verwendet werden. Falls weitere Bilder erfasst werden sollen, fährt das Verfahren bei Schritt 96 fort. Bei Schritt 96 wird eine Beleuchtungsgeometrie gewählt, die von allen vorher verwendeten Beleuchtungsgeometrien verschieden sein kann. Das Verfahren kehrt zu Schritt 91 zurück. Falls keine weiteren Bilder erfasst werden sollen, fährt das Verfahren bei Schritt 97 fort.At step 95 it is checked whether another image acquisition is to take place. For this purpose, it can be checked whether each pixel in at least one of the previously recorded images is outside of one Reflexes lies. In this case, information about the object is present in at least one of the images for each pixel and it is not necessary to take more images. Other criteria can be used. If more images are to be acquired, the process goes to step 96 continued. At step 96 a lighting geometry is chosen which may be different from all previously used lighting geometries. The process returns to step 91 back. If no further images are to be acquired, the process goes to step 97 continued.

Bei Schritt 97 kann eine Renormierungsfunktion abhängig von mehreren Gewichtungsfunktionen ermittelt werden. Die Renormierungsfunktion kann von allen Gewichtungsfunktionen und somit von den Positionen der Reflexe abhängen, die für mehrere Bilder ermittelt wurden. Die bildpunktabhängige Renormierungsfunktion kann so bestimmt werden, dass eine Abschattung eines Reflexes an einem Pixel in einem Bild durch die Renormierungsfunktion wenigstens teilweise wieder kompensiert wird. Die bildpunktabhängige Renormierungsfunktion kann nach Gleichung (8) abhängig von den unterschiedlichen Gewichtungsfunktionen bestimmt werden.At step 97 a renormalization function can be determined depending on several weighting functions. The renormalization function may depend on all weighting functions and thus on the positions of the reflections obtained for several images. The pixel-dependent renormalization function can be determined so that shadowing of a reflection at a pixel in an image is at least partially compensated by the renormalization function. The pixel-dependent renormalization function can be determined according to equation (8) as a function of the different weighting functions.

Bei Schritt 98 kann ein Ergebnisbild ermittelt werden. Dazu können die modifizierten Bilder zu einem Summenbild aufsummiert werden, oder es kann eine andere Linearkombination berechnet werden. Die Intensität jedes Pixels des Summenbildes kann mit dem Wert der Renormierungsfunktion am entsprechenden Pixel multipliziert werden. Entsprechend kann für eine beliebige Linearkombination die Intensität jedes Pixels der Linearkombination mit dem Wert der Renormierungsfunktion am entsprechenden Pixel multipliziert werden.At step 98 a result image can be determined. For this purpose, the modified images can be added up to form a summation image, or another linear combination can be calculated. The intensity of each pixel of the sum image may be multiplied by the value of the renormalization function at the corresponding pixel. Similarly, for any linear combination, the intensity of each pixel of the linear combination may be multiplied by the value of the renormalization function at the corresponding pixel.

10 ist ein Blockdiagramm 100 einer Bildaufnahmevorrichtung nach einem Ausführungsbeispiel. Die Bildaufnahemvorrichtung kann zur automatischen Reflexunterdrückung eingerichtet sein. 10 is a block diagram 100 an image pickup device according to an embodiment. The image pickup device can be set up for automatic reflex suppression.

Die Bildaufnahmevorrichtung umfasst eine Beleuchtungseinrichtung 101, die steuerbar ist. Mit der Beleuchtungseinrichtung 101 kann das Objekt sequentiell mit mehreren verschiedenen Beleuchtungsgeometrien beleuchtet werden. Eine Beleuchtungssteuerung 102 kann die sequentiell eingestellten Beleuchtungsgeometrien steuern. Die Beleuchtungseinrichtung 101 kann eine LED-Anordnung umfassen. Die Beleuchtungseinrichtung 101 kann ein steuerbares optisches Element in einer Zwischenbildebene umfassen, das beispielsweise eine bewegliche Lochblende, eine Mikrospiegelanordnung, eine Flüssigkeitskristallmatrix oder einen räumlichen Lichtmodulator umfassen kann.The image pickup device comprises a lighting device 101 which is controllable. With the lighting device 101 For example, the object can be sequentially illuminated with several different illumination geometries. A lighting control 102 can control the sequentially adjusted lighting geometries. The lighting device 101 may include an LED assembly. The lighting device 101 may comprise a controllable optical element in an intermediate image plane, which may comprise, for example, a movable pinhole, a micromirror array, a liquid crystal matrix, or a spatial light modulator.

Ein Bildsensor 103 erfasst für jede der Beleuchtungsgeometrien, mit denen das Objekt beleuchtet wird, wenigstens ein Bild. Das Bild kann Information in mehreren Farbkanälen umfassen. Der Bildsensor 103 kann wenigstens einen CCD- oder CMOS-Chip umfassen.An image sensor 103 captures at least one image for each of the illumination geometries that illuminate the object. The image may include information in multiple color channels. The image sensor 103 may include at least one CCD or CMOS chip.

Ein Modul zur Abschattung 104 kann eine Abschattungsoperation ausführen. Die Abschattungsoperation kann von der bei Bildaufnahme verwendeten Beleuchtungsgeometrie abhängen. A module for shading 104 can perform a shadowing operation. The shading operation may depend on the illumination geometry used in imaging.

Die Abschattungsoperation kann eine Gewichtung der Intensität von Pixeln eines, mehrerer oder aller Farbkanäle des Bildes umfassen. Die Gewichtung kann örtlich veränderlich sein, so dass lokal eine Abschattung in einer Umgebung eines Reflexes erfolgt, aber Pixel, die mehr als einen vordefinierten Abstand von dem Reflex aufweisen, nicht mehr abgeschattet werden. The shading operation may include weighting the intensity of pixels of one, more, or all of the color channels of the image. The weighting may be locally variable so that local shading occurs in an environment of a reflex, but pixels that are more than a predefined distance from the reflex are no longer shaded.

Ein Speichermedium mit Information zur Korrektur von Systemreflexen 105 kann in verschiedenen Formen Information speichern, die von dem Modul zur Abschattung 104 verwendet wird. Die Korrekturinformation kann Information über Positionen von Reflexen und optional über Abmessungen von Reflexen beinhalten, aus der von dem Modul zur Abschattung 104 die anzuwendende Abschattungsoperation berechnet wird. Die Korrekturinformation kann die Gewichtungsfunktion für unterschiedliche Beleuchtungsgeometrien angeben. Die Korrekturinformation kann eine lineare Abbildung definieren, beispielsweise in Form einer Transformationsmatrix, nach der bei der Abschattungsoperation Pixel des ursprünglichen Bildes in Pixel eines modifizierten Bildes abgebildet werden. A storage medium with information for correcting system reflections 105 can store information in various forms, that of the module for shading 104 is used. The correction information may include information about positions of reflections and, optionally, dimensions of reflections from that of the shading module 104 the applicable shading operation is calculated. The correction information may indicate the weighting function for different illumination geometries. The correction information may define a linear mapping, for example in the form of a transformation matrix, according to which, in the shading operation, pixels of the original image are mapped into pixels of a modified image.

Das Modul zur Abschattung 104 kann als anwendungsspezifische Spezialschaltung, Controller, Mikrocontroller, Prozessor oder Mikroprozessor ausgestaltet sein. Das Modul zur Abschattung 104 kann mit dem Bildsensor 103 in einer baulichen Einheit kombiniert sein, die automatisch korrigierte Bilder mit Reflexunterdrückung errechnet. Dadurch kann die Reflexunterdrückung in Hardware kodiert sein. The module for shading 104 can be configured as a special application-specific circuit, controller, microcontroller, processor or microprocessor. The module for shading 104 can with the image sensor 103 be combined in a structural unit that automatically calculates corrected images with reflex suppression. This allows the reflex suppression to be encoded in hardware.

Die Bildaufnahmevorrichtung kann so eingerichtet sein, dass die Information zur Korrektur von Systemreflexen durch Messung an der Bildaufnahmevorrichtung selbst ermittelt wird. Die Bildaufnahmevorrichtung kann ein Modul zur Kalibrierung 108 umfassen, das automatisch die Information zur Korrektur von Systemreflexen ermittelt. Dazu können Aufnahmen an mehreren bekannten Referenzobjekten gemacht und rechnerisch weiterverarbeitet werden, um zu bestimmen, welche Abschattungsoperationen in Abhängigkeit von der Beleuchtungsgeometrie benötigt werden.The image pickup device may be configured such that the information for correcting system reflections is determined by measurement on the image pickup device itself. The image capture device may be a module for calibration 108 which automatically determines the information for correcting system reflections. For this purpose, recordings can be made on several known reference objects and further processed by computation in order to determine which shading operations are required as a function of the illumination geometry.

Die Bildaufnahmevorrichtung kann ein Modul zur Bildkombination 107 umfassen, mit dem die modifzierten Bilder kombiniert werden können. Die nach der Abschattungsoperation ermittelten Bilder können aufsummiert und mit einer Renormierungsfunktion multipliziert oder anderweitig weiter verarbeitet werden, um eine Ergebnisbild zu bestimmen.The image capture device may be a module for image combination 107 include, with which the modified images can be combined. The images obtained after the shadowing operation can be summed and multiplied by a renormalization function or otherwise processed to determine a result image.

Das Modul zur Bildkombination 107 kann integral mit dem Modul zur Abschattung 104 ausgebildet sein. Das Modul zur Bildkombination 107 kann als anwendungsspezifische Spezialschaltung, Controller, Mikrocontroller, Prozessor oder Mikroprozessor ausgestaltet sein. Das Modul zur Bildkombination 107 kann mit dem Bildsensor 103 in einer baulichen Einheit kombiniert sein, die automatisch korrigierte Bilder mit Reflexunterdrückung errechnet. The module for image combination 107 Can be integral with the module for shading 104 be educated. The module for image combination 107 can be configured as a special application-specific circuit, controller, microcontroller, processor or microprocessor. The module for image combination 107 can with the image sensor 103 be combined in a structural unit that automatically calculates corrected images with reflex suppression.

Die Bildaufnahmevorrichtung kann weitere Einheiten umfassen. Beispielsweise kann ein Modul zur Reflexerkennung 107 vorhanden sein. Das Modul zur Reflexerkennung 107 kann Positionen und optional auch Abmessungen von Reflexen in einem Bild erkennen. Das Modul zur Reflexerkennung 107 kann diese Information an das Modul zur Abschattung 104 bereitstellen, das die Abschattungsoperation abhängig von der Position des erkannten Reflexes für das entsprechende Bild ausführt. Das Modul zur Reflexerkennung 107 kann auch mit dem Modul zur Bildkombination 108 gekoppelt sein, das die Renormierungsfunktion abhängig von den Reflexpositionen in mehreren Bildern ermittelt.The image capture device may comprise further units. For example, a module for reflex detection 107 to be available. The module for reflex detection 107 can detect positions and optionally dimensions of reflections in an image. The module for reflex detection 107 can this information to the module for shading 104 provide the shadowing operation depending on the position of the detected reflex for the corresponding image. The module for reflex detection 107 can also with the module for image combination 108 be coupled, which determines the renormalization function depending on the reflex positions in multiple images.

Während Ausführungsbeispiele unter Bezugnahme auf die Figuren beschrieben wurden, können Abwandlungen bei weiteren Ausführungsbeispielen realisiert werden. While embodiments have been described with reference to the figures, modifications may be made in other embodiments.

Die Abschattungsoperation kann in einer Vielzahl unterschiedlicher Formen ausgeführt werden. Beispielsweise kann die Abschattungsoperation durch eine Faltung mit einem Filterkern ausgeführt werden, durch die die Intensität in der Nähe eines Reflexes niedrig gewichtet wird. The shadowing operation may be performed in a variety of different forms. For example, the shadowing operation may be performed by a convolution with a filter kernel, by which the intensity in the vicinity of a reflex is weighted low.

Die Renormierungsfunktion muss nicht nach Gleichung (8) ermittelt werden. Beispielsweise kann die Renormierungsfunktion in einer einfachen Implementierung einfach gleich dem Inversen der Anzahl der Bilder sein, bei denen die Intensität am entsprechenden Pixel nicht abgeschattet wurde. The renormalization function does not have to be determined according to equation (8). For example, in a simple implementation, the renormalization function may simply be equal to the inverse of the number of images in which the intensity at the corresponding pixel has not been shaded.

In die Renormierung können auch feldabhängige und/oder richtungsabhängige Intensitätsveränderungen einberechnet werden. Dadurch können gleichzeitig mit der Reflexunterdrückung derartige systematische Intensitätsveränderungen korrigiert werden. In the renormalization also field-dependent and / or direction-dependent intensity changes can be calculated. As a result, such systematic intensity changes can be corrected simultaneously with the reflection suppression.

Während die Bildaufnahmevorrichtung nach Ausführungsbeispielen insbesondere ein Mikroskopsystem sein kann, können die beschriebenen Techniken auch bei anderen Abbildungssystemen verwendet werden. While the image pickup device according to embodiments may be a microscope system in particular, the described techniques may also be used in other imaging systems.

Claims

An image pickup device, comprising: a lighting device ( 11 . 12 ; 101 ) controllable to provide a plurality of illumination geometries ( 4 ) for illumination of an object ( 2 ); a detector ( 14 ) with an image sensor ( 15 ), which is adapted to store a plurality of images ( 41 - 43 ) of the object ( 2 ) for the plurality of illumination geometries ( 4 ) capture; an electronic evaluation device ( 20 ) connected to the image sensor ( 15 ) and for processing the plurality of images ( 41 - 43 ) is set up, with which a reflex suppression is performed, wherein the electronic evaluation device ( 20 ) is arranged for at least a part of the plurality of images ( 41 - 43 ) each perform a shading operation (T ₁ , T ₂ , T ₃ ) to produce a plurality of modified images ( 44 - 46 ), wherein the shadowing operation (T ₁ , T ₂ , T ₃ ) applied to an image is dependent on the illumination geometry ( 4 ) when capturing the corresponding image ( 41 - 43 ) and the majority of modified images ( 44 - 46 ) to combine.

An image pickup device according to claim 1, wherein the images ( 41 - 43 ) applied shadowing operation (T ₁ , T ₂ , T ₃ ) from a position ( 61 ) of a reflex ( 56 - 58 ) in the picture ( 41 - 43 ) depends.

Image recording apparatus according to claim 2, wherein the shading operation (T ₁ , T ₂ , T ₃ ) is an application of a pixel-dependent weighting function ( 66 . 68 ), which depends on the illumination geometry ( 4 ) when capturing the corresponding image ( 41 - 43 ).

An image sensing device according to claim 3, wherein the pixel-dependent weighting function ( 66 . 68 ) a weight of a pixel within the reflex ( 51 - 53 ), compared to another weight of another pixel that is outside the reflex ( 51 - 53 ) is reduced.

Imaging apparatus according to claim 3 and claim 4, wherein the weighting function ( 66 . 68 ) monotonically increases between the pixel and the further pixel.

Image recording device according to one of claims 3 to 5, wherein the electronic evaluation device ( 20 ) is set up for each picture the majority of images ( 41 - 43 ), which has a reflex ( 56 - 58 ), at least one pixel having a pixel-dependent weighting function ( 66 . 68 ), which depends on the illumination geometry ( 4 ) when capturing the corresponding image ( 41 - 43 ) depends to weight.

Image recording device according to one of claims 3 to 6, wherein the electronic evaluation device ( 20 ) is set up to perform a pixel-dependent renormalization function ( 70 ) from the weighting functions ( 66 . 68 ) for several pictures ( 41 - 43 ) to investigate.

Image recording device according to claim 7, wherein the pixel-dependent renormalization function ( 70 ) for a pixel depends in each case on how many images of the plurality of images the weight of the corresponding pixel is in each case given by the weighting function ( 66 . 68 ) is reduced.

Image recording device according to claim 7 and claim 8, wherein the electronic evaluation device ( 20 ) is arranged to determine a linear combination of the images modified by the shading operation.

Image recording device according to claim 9, wherein the electronic evaluation device ( 20 ) to set up the linear combination with the pixel-dependent renormalization function ( 70 ).

An image pickup device according to any one of the preceding claims, wherein the shading operation (T ₁ , T ₂ , T ₃ ) suppresses system reflections of an optical system of the image pickup device.

Image recording device according to claim 11, wherein information about the shadowing operation (T ₁ , T ₂ , T ₃ ) for shading the system reflections as a function of the illumination geometry ( 4 ) non-volatile in the image acquisition device ( 1 ) is stored.

Image recording device according to one of the preceding claims, wherein the shading operation (T ₁ , T ₂ , T ₃ ) object reflections of the object ( 2 ) is suppressed.

Image recording device according to claim 13, wherein the electronic evaluation device ( 20 ) is set up for each image of the plurality of images ( 41 - 43 ) Automatically identify object reflections in the corresponding image.

Image recording apparatus according to one of the preceding claims, wherein the image recording apparatus ( 1 ) is a microscope system.

A method of image rejection with reflex suppression, comprising: capturing a plurality of images ( 41 - 43 ), if an object ( 2 ) under a plurality of illumination geometries ( 4 ) is illuminated; Processing the plurality of images ( 41 - 43 for reflection suppression, the processing comprising: performing a shading operation (T ₁ , T ₂ , T ₃ ) for at least a part of the plurality of images ( 41 - 43 ), a plurality of modified images ( 44 - 46 ), wherein the shading operation (T ₁ , T ₂ , T ₃ ) of the illumination geometry ( 4 ) when capturing the corresponding image ( 41 - 43 ), and combining the plurality of modified images ( 44 - 46 ).

The method of claim 16, which is dependent on the image acquisition apparatus ( 1 ) is carried out according to one of claims 1 to 15.