DE102004006960B4

DE102004006960B4 - Method and arrangement for obtaining and evaluating high-contrast images of the time-resolved fluorescence of moving objects, for example the fundus of the eye

Info

Publication number: DE102004006960B4
Application number: DE102004006960.3A
Authority: DE
Inventors: Dr. Doz. Schweitzer Dietrich; Dr. med. Schweitzer Frank; Dr. Hammer Martin; Stefan Schenke
Original assignee: Heidelberg Engineering GmbH
Current assignee: Heidelberg Engineering GmbH
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2021-03-18
Anticipated expiration: 2024-02-11
Also published as: DE102004006960A1

Abstract

Verfahren zur Gewinnung und Auswertung kontrastreicher Bilder der zeitaufgelösten Fluoreszenz von bewegten Objekten, beispielsweise des Augenhintergrundes, bei dem das Objekt durch Strahlung, insbesondere Laserimpulse, zur Fluoreszenz, wie z. B. Autofluoreszenz, angeregt wird, bei dem Fluoreszenzbilder des Objektes ggf. in Relation zu Reflexionsbildern des Objektes als Fluoreszenzbildfolgen von Einzelbildern erzeugt, ausgewertet und bei Erfordernis in ihrer Bildlage, zum Beispiel durch Bildverschiebung, korrigiert werden und bei welchem in den ggf. korrigierten Fluoreszenzbildern für jeden Bildpunkt in den jeweils zugeordneten Zeitkanälen die in den Einzelbildern der Fluoreszenzanregung detektierten Photonen zur Bildung sogenannter Datenkuben der zweidimensionalen und zeitaufgelösten Fluoreszenz addiert werden, wobei große Fluoreszenzbildfolgen von in kurzer Messzeit erfassten Einzelbildern des Objektes in Echtzeit abgespeichert werden und jedes Einzelbild der Fluoreszenz hinsichtlich einer eindeutigen automatischen Erkennung wenigstens einer als Referenz vorgegebenen Bildstruktur bewertet wird,dadurch gekennzeichnet, dass die Bewertung der Fluoreszenzbilder des Objektes hinsichtlich der zu erkennenden Bildstruktur in Echtzeit erfolgt, wobei nur diejenigen Fluoreszenzbilder abgespeichert und überlagert werden, in welchen eindeutig die wenigstens eine als Referenz vorgegebene Bildstruktur erkannt wird,oder dass zunächst alle Fluoreszenzbilder des Objektes in Echtzeit abgespeichert werden, wobei anschließend die Bewertung der abgespeicherten Fluoreszenzbilder hinsichtlich der automatischen Erkennung der wenigstens einen als Referenz vorgegebenen Bildstruktur sowie deren Überlagerung erfolgt,und dass schließlich solange Einzelbilder des Objektes in einer Fluoreszenzbildfolge erfasst werden, bis die Anzahl der in allen Zeitkanälen eines Bildpunktes addierten Photonen nach Überlagerung der Einzelbilder einen vorgegebenen Grenzwert erreicht.A method for obtaining and evaluating high-contrast images of the time-resolved fluorescence of moving objects, for example the fundus of the eye, in which the object by radiation, in particular laser pulses, to fluorescence, such as. B. autofluorescence is stimulated, in which fluorescence images of the object, possibly in relation to reflection images of the object as fluorescence image sequences of individual images are generated, evaluated and, if necessary, corrected in their image position, for example by image shifting, and in which in the possibly corrected fluorescence images For each image point in the respectively assigned time channels, the photons detected in the individual images of the fluorescence excitation are added to form so-called data cubes of the two-dimensional and time-resolved fluorescence, with large fluorescence image sequences of individual images of the object recorded in a short measuring time being stored in real time and each individual image of the fluorescence with regard to a unambiguous automatic recognition of at least one image structure specified as a reference is assessed, characterized in that the assessment of the fluorescence images of the object with regard to the image structure to be recognized is in real time e now takes place, with only those fluorescence images being stored and superimposed in which the at least one image structure specified as a reference is clearly recognized, or that all fluorescence images of the object are first stored in real time, with the evaluation of the stored fluorescence images then being evaluated with regard to the automatic recognition of the an image structure given as a reference and its superimposition takes place, and that finally individual images of the object are recorded in a fluorescence image sequence until the number of photons added in all time channels of an image point reaches a predetermined limit value after the individual images are superimposed.

Description

Die Erfindung betrifft ein Verfahren zur Gewinnung und Auswertung kontrastreicher Bilder gemäß Oberbegriff des Patentanspruchs 1 sowie eine Vorrichtung zur Durchführung des Verfahrens gemäß Oberbegriff des Patentanspruchs 10.The invention relates to a method for obtaining and evaluating high-contrast images according to the preamble of claim 1 and a device for carrying out the method according to the preamble of claim 10.

Stand der TechnikState of the art

Aus der US 5 984 474 A sind ein derartiges Verfahren und eine derartige Vorrichtung bekannt. Zwischen einer Bestrahlungsanordnung, mittels welcher insbesondere Laserimpulse erzeugt werden, und dem Objekt wird eine Relativbewegung des Objektes und / oder der Bestrahlungsanordnung erzeugt, wobei neben mindestens einem konfokal angeordneten Detektionselement zur konfokalen Erfassung des von Objektpunkten stammenden Lichtes mindestens ein weiteres Detektionselement zur Erfassung von Objektlicht zeitlich nach der konfokalen Erfassung vorgesehen ist. Zur mindestens zweidimensional ortsaufgelösten Messung von Zeitvorgängen, insbesondere von Fluoreszenzabklingzeiten, enthält der Strahlungsempfänger mindestens eine Folge von Detektionselementen, welche derart angeordnet sind, dass zumindest nachfolgend in Scanrichtung zusätzlich zum konfokalen Detektionselement eine Folge weiterer Detektionselemente vorhanden ist. Hierbei wird eine Zeitauflösung der Fluoreszenz erreicht, wobei die Relativbewegung mit konstanter Geschwindigkeit durchgeführt wird und dabei entsprechend dem Abstand der Detektionselemente und der Geschwindigkeit die Fluoreszenz zu verschiedenen Abtastzeiten detektiert wird. Die erreichbare Zeitauflösung der Fluoreszenzmessung ist von der Scangeschwindigkeit des Lichtstrahls und der Anzahl der Detektionselemente bestimmt. Das Fluoreszenzlicht wird in einer indirekten zeitkorrelierten Einzelphotonenzählung durch einen ein- oder zweidimensionalen Akkumulierungsvorgang detektiert, und aus dem derart bestimmten zeitlichen Fluoreszenzverhalten werden die Fluoreszenzabklingzeiten bestimmt. Auftretendes Reflektionslicht kann zu nicht unerheblichen Verfälschungen der Messergebnisse führen.From the U.S. 5,984,474 A Such a method and such a device are known. A relative movement of the object and / or the irradiation arrangement is generated between an irradiation arrangement, by means of which laser pulses in particular are generated, and the object, with at least one further detection element for detecting object light temporally in addition to at least one confocally arranged detection element for confocal detection of the light originating from object points is provided after the confocal detection. For at least two-dimensional spatially resolved measurement of time processes, in particular of fluorescence decay times, the radiation receiver contains at least one sequence of detection elements which are arranged in such a way that at least subsequently in the scanning direction there is a sequence of further detection elements in addition to the confocal detection element. Here, a time resolution of the fluorescence is achieved, the relative movement being carried out at a constant speed and the fluorescence being detected at different scanning times in accordance with the distance between the detection elements and the speed. The achievable time resolution of the fluorescence measurement is determined by the scanning speed of the light beam and the number of detection elements. The fluorescent light is detected in an indirect time-correlated single photon counting by a one- or two-dimensional accumulation process, and the fluorescence decay times are determined from the fluorescence behavior over time determined in this way. Occurring reflected light can lead to significant falsifications of the measurement results.

In Schweitzer et al. („Tau Mapping of the Autofluorescence of the human ocular fundus“ SPIE Vol. 4164, 2000, 79-89 ) und DE 199 20 158 A1 („Verfahren und Anordnung zur Bestimmung von Fluorophoren an Objekten, insbesondere am lebenden Augenhintergrund“) wurde gezeigt, dass die Messung der zeitaufgelösten Fluoreszenz, insbesondere der Autofluoreszenz, am menschlichen Augenhintergrund unter Beachtung der maximal zulässigen Lichtbelastung gegenwärtig nur mittels einer Kombination zwischen Laser Scanning Technik und zeitkorreliertem Einzelphotonenzählen möglich ist. Hierzu wird der Augenhintergrund während des Scanvorgangs mit der Strahlung eines Pulslasers bestrahlt, wobei die Halbwertsbreite der Laserpulse in der Größenordnung von Pikosekunden und die Wiederholrate in der Größenordnung von 40-80 MHz liegen sollte. Entsprechend den erforderlichen Bedingungen für die Anwendbarkeit des zeitkorrelierten Einzelphotonenzählens, die den realen Bedingungen am Auge optimal entsprechen, wird in einer Serie von ca. zehn Anregungspulsen nur ein Fluoreszenzphoton registriert. Bei wiederholter Anregung der Fluoreszenz entspricht die detektierte Photonenzahl in den Kanälen des Zeitregisters beim zeitkorrelierten Einzelphotonenzählen dem Verlauf der dynamischen Fluoreszenz. Die Fluoreszenzabklingzeiten werden durch Approximation der detektierten Photonenzahlen in den Zeitkanälen jedes Bildpunktes mittels einer Modellfunktion bestimmt. Um die Fluoreszenzabklingzeiten mit einer geringen Unsicherheit an jedem Bildpunkt zu bestimmen, ist die Akkumulation einer großen Anzahl von Photonen in den einzelnen Zeitkanälen erforderlich.
Infolge der Augenbewegungen ist es nicht möglich, eine feste Zuordnung zwischen der Pixelposition im detektierten Bild und der Position am Augenhintergrund während einer ausreichend langen Messzeit zu gewährleisten. Die Signale der zeitaufgelösten Fluoreszenz werden somit von unterschiedlichen Bildorten detektiert, so dass die exakt örtliche Bestimmung der Abklingzeit problematisch ist.
Eine Kompensation von Augenbewegungen unter Zuhilfenahme von Eye Trackern ( D.X. Hammer et al.: „Image stabilization for scanning laser ophthalmoscopy“, Optics Express, 2000, Vol. 10, No. 26, 1542-1549 ) ist denkbar, führt jedoch zu Störungen des extrem schwachen Fluoreszenzsignals. In DE 199 20 158 A1 („Verfahren und Anordnung zur Bestimmung von Fluorophoren an Objekten, insbesondere am lebenden Augenhintergrund“) wurde vorgeschlagen, das Reflexionslicht zur Kompensation von Augenbewegungen zu nutzen, welches bei der Anregung der Fluoreszenz ohnehin entsteht.
In der von Schweitzer et al. („Zeitaufgelöste Messung der Autofluoreszenz - ein Werkzeug zur Erfassung von Stoffwechselveränderungen am Augenhintergrund“, Ophthalmologe, 2002, Vol. 99, 776-779 ) beschriebenen Anordnung erfolgt die Messung der dynamischen Fluoreszenz während einer wählbaren Zeit, deren Dauer nach der Konzentrationsfähigkeit des Probanden gewählt wird. Nach jeder Messung werden das Autofluoreszenzbild und das zugeordnete Reflexionsbild abgespeichert, was in der beschriebenen Anordnung den mehrfachen Wert der Messzeit in Anspruch nimmt. Um eine erforderliche Zahl von Photonen zu akkumulieren, werden Folgen von Bildern in derartigen Messzyklen aufgenommen. Nach Ende der Messungen erfolgt eine manuelle Bewertung der Einzelbilder. Es werden nur die Bilder zur automatischen Bildüberlagerung ausgewählt, in denen während der Messzeit keine Augenbewegung erfolgte und in denen die zur Überlagerung herangezogene Gefäßstruktur mit ausreichendem Kontrast erkennbar ist. Es werden die kontrastreichen Reflexionsbilder überlagert und die Verschiebung der kontrastschwachen Fluoreszenzbilder entsprechend der festen Zuordnung zwischen beiden Bildarten realisiert.In Schweitzer et al. ("Tau Mapping of the Autofluorescence of the Human Ocular Fundus" SPIE Vol. 4164, 2000, 79-89 ) and DE 199 20 158 A1 ("Method and arrangement for the determination of fluorophores on objects, especially on the living fundus") has shown that the measurement of time-resolved fluorescence, in particular autofluorescence, on the human fundus, taking into account the maximum permissible light exposure, is currently only possible is possible using a combination of laser scanning technology and time-correlated single photon counting. For this purpose, the fundus of the eye is irradiated with the radiation of a pulse laser during the scanning process, the half-width of the laser pulses being in the order of magnitude of picoseconds and the repetition rate in the order of magnitude of 40-80 MHz. According to the necessary conditions for the applicability of the time-correlated single photon counting, which correspond optimally to the real conditions on the eye, only one fluorescence photon is registered in a series of approx. Ten excitation pulses. With repeated excitation of the fluorescence, the detected number of photons in the channels of the time register with time-correlated single photon counting corresponds to the course of the dynamic fluorescence. The fluorescence decay times are determined by approximating the detected number of photons in the time channels of each pixel using a model function. In order to determine the fluorescence decay times with a low uncertainty at each image point, the accumulation of a large number of photons in the individual time channels is necessary.
As a result of the eye movements, it is not possible to ensure a fixed association between the pixel position in the detected image and the position on the fundus during a sufficiently long measurement time. The signals of the time-resolved fluorescence are thus detected from different image locations, so that the exact local determination of the decay time is problematic.
A compensation of eye movements with the help of eye trackers ( DX Hammer et al .: "Image stabilization for scanning laser ophthalmoscopy", Optics Express, 2000, Vol. 10, No. 26, 1542-1549 ) is conceivable, but leads to interference with the extremely weak fluorescence signal. In DE 199 20 158 A1 (“Method and arrangement for determining fluorophores on objects, especially on the living fundus”), it was proposed to use the reflected light to compensate for eye movements, which is generated anyway when the fluorescence is excited.
In the from Schweitzer et al. (“Time-resolved measurement of autofluorescence - a tool for recording metabolic changes in the fundus”, Ophthalmologe, 2002, Vol. 99, 776-779 ), the measurement of the dynamic fluorescence takes place during a selectable time, the duration of which is selected according to the test subject's ability to concentrate. After each measurement, the autofluorescence image and the associated reflection image are stored, which in the described arrangement takes up several times the measurement time. In order to accumulate a required number of photons, sequences of images are recorded in such measuring cycles. At the end of the measurements, the individual images are evaluated manually. Only those images are selected for automatic image overlay in which there was no eye movement during the measurement time and in which those for overlay The vascular structure used can be seen with sufficient contrast. The high-contrast reflection images are superimposed and the low-contrast fluorescence images are shifted according to the fixed assignment between the two types of image.

Dieses Verfahren zur Gewinnung von Bildern der zeitaufgelösten Autofluoreszenz von bewegten Objekten hat den Nachteil, dass bei zu lang gewählter Akkumulationszeit die Fluoreszenz von verschiedenen Orten detektiert wird und sich die ortsspezifischen Informationen überlagern. Bei Messungen am Augenhintergrund treten unwillkürliche Augenbewegungen auf, so dass die akkumulierten Reflexions- und Fluoreszenzbilder prinzipiell mit zunehmender Akkumulationszeit verwischen. Damit ist die örtliche Zuordnung der Fluoreszenz beschränkt. Mit dem Auftreten nicht verschiebbarer Einzelbilder verlängert sich der Messzyklus und der Patient wird unnötig lange dem Messprozess ausgesetzt.This method for obtaining images of the time-resolved autofluorescence of moving objects has the disadvantage that if the accumulation time is selected too long, the fluorescence is detected from different locations and the location-specific information is superimposed. During measurements on the fundus of the eye, involuntary eye movements occur, so that the accumulated reflection and fluorescence images generally blur with increasing accumulation time. This restricts the local assignment of the fluorescence. With the appearance of single images that cannot be moved, the measurement cycle is extended and the patient is exposed to the measurement process for an unnecessarily long time.

Der Erfindung liegt deshalb die Aufgabe zu Grunde, die Gewinnung und Auswertung kontrastreicher Bilder der zeitaufgelösten Fluoreszenz von bewegten Objekten zu verbessern.
Insbesondere sollen die Gesamtmesszeit für die Gewinnung der Bilder der zeitaufgelösten Fluoreszenz verkürzt und für ophthalmologische Anwendungen die Belastung des Patienten verringert werden.The invention is therefore based on the object of improving the acquisition and evaluation of high-contrast images of the time-resolved fluorescence of moving objects.
In particular, the total measurement time for obtaining the images of the time-resolved fluorescence is to be shortened and the burden on the patient is to be reduced for ophthalmological applications.

Erfindungsgemäß werden von dem zu erfassenden Objekt, beispielsweise dem Hintergrund des lebenden Auges, zumindest eine lange Bildfolge von in kurzer Messzeit aufgenommenen Einzelbildern des Objektes in Echtzeit gespeichert und jedes Einzelbild hinsichtlich einer eindeutigen automatischen Erkennung wenigstens einer als Referenz vorgegebenen Bildstruktur bewertet. In der Praxis wird das Objekt durch Laserimpulse zur Fluoreszenz angeregt, wobei vorzugsweise gleichzeitig das Objekt durch das Licht dieser Laserimpulse und/oder durch zusätzliches Licht zum Zweck der Erzeugung von Reflexionsbildem des Objektes, insbesondere des Augenhintergrundes bei ophthalmologischen Untersuchungen, beleuchtet wird. Von dem Objekt werden dabei jeweils zweidimensionale Bilder der laserangeregten zeitaufgelösten Fluoreszenz und vorteilhafter Weise dazu korrespondierende kontrastreiche Reflexionsbilder des beleuchteten Objektes paarweise gewonnen. Diese Bilder, in denen eine genaue Zuordnung des Reflexions- und/oder Fluoreszenzsignals zum Messort besteht, werden nach Korrektur der Augenbewegungen überlagert, so dass ein Bild der zeitaufgelösten Autofluoreszenz zur weiteren Auswertung zur Verfügung steht, in dem in jedem Zeitkanal der dynamischen Fluoreszenz jedes Bildpunktes eine ausreichend große Anzahl von Fluoreszenzphotonen akkumuliert wurde und in dem eine genaue Zuordnung des Fluoreszenzsignals zum Messort vorliegt.According to the invention, at least one long image sequence of individual images of the object recorded in a short measuring time of the object to be detected, for example the background of the living eye, is stored in real time and each individual image is evaluated with regard to a clear automatic detection of at least one image structure specified as a reference. In practice, the object is excited to fluorescence by laser pulses, the object being preferably simultaneously illuminated by the light of these laser pulses and / or by additional light for the purpose of generating reflection images of the object, in particular of the fundus in ophthalmological examinations. Two-dimensional images of the laser-excited time-resolved fluorescence and advantageously corresponding high-contrast reflection images of the illuminated object are obtained in pairs from the object. These images, in which there is a precise assignment of the reflection and / or fluorescence signal to the measurement location, are superimposed after the eye movements have been corrected, so that an image of the time-resolved autofluorescence is available for further evaluation in the dynamic fluorescence of each image point in each time channel a sufficiently large number of fluorescence photons has been accumulated and in which there is an exact assignment of the fluorescence signal to the measurement location.

Für ophthalmologische Messungen schaut die zu untersuchende Person kontinuierlich in das Untersuchungsfeld eines Laser-Scanning-Ophthalmoskops, wobei sich in diesem Untersuchungsfeld eine Fixationseinrichtung für das Auge befinden kann. Die Bilder der zeitaufgelösten Fluoreszenz werden in kurzer Folge aufgenommen. Die Bilderfassung erfolgt anwendungsspezifisch im Bereich von Millisekunden bis zu wenigen Sekunden. Vorteilhafte Messzeiten liegen bei 200 ms. In diesem Zeitbereich werden für die Auswertung noch hinreichend kontrastreiche Reflexionsbilder oder Bilder der zeitaufgelösten Fluoreszenz erzeugt, wobei während der Bildaufnahme auf Grund der kurzen Erfassungszeit mit hoher Wahrscheinlichkeit keine unbeabsichtigten Augenbewegungen aufgetreten sind. Sollten in einzelnen Fluoreszenzbildern dennoch derartige Augenbewegungen erfasst sein, so werden diese bei der Bildbewertung erkannt. Lidschlüsse oder starke Defixationen beeinflussen somit das Messergebnis nicht, da diese durch die Bewertung der Bildqualität ausgesondert werden.For ophthalmological measurements, the person to be examined looks continuously into the examination field of a laser scanning ophthalmoscope, it being possible for a fixation device for the eye to be located in this examination field. The images of the time-resolved fluorescence are recorded in quick succession. The image acquisition is application-specific in the range from milliseconds to a few seconds. Advantageous measurement times are around 200 ms. In this time range, sufficiently high-contrast reflection images or images of the time-resolved fluorescence are generated for the evaluation, with a high probability that no unintentional eye movements occurred during the image acquisition due to the short acquisition time. If such eye movements are nevertheless recorded in individual fluorescence images, then these are recognized during the image evaluation. Lid closures or strong defixations therefore do not affect the measurement result, as these are eliminated by the assessment of the image quality.

Die Bewertung der Bildqualität erfolgt automatisch durch Bildabtastung auf eindeutige Erkennung wenigstens einer durch Referenz vorgegebenen Struktur, wobei als Bezugsbild ein Bild mit optimalem Kontrast ausgewählt werden kann, beispielsweise auch ein Fluoreszenzbild. Das ist insbesondere dann zweckmäßig, wenn die Abklingzeit eines applizierten fluoreszierenden Markers zu untersuchen ist. Vorzugsweise wird das Anfangsbild als Bezugsbild verwendet, bei dem eine optimale Einstellung des Fundusbildes zu Beginn der Messung erfolgt ist.The assessment of the image quality takes place automatically by image scanning for unambiguous recognition of at least one structure predetermined by reference, it being possible to select an image with optimal contrast as the reference image, for example also a fluorescence image. This is particularly useful when the decay time of an applied fluorescent marker is to be examined. The initial image is preferably used as a reference image in which the fundus image has been optimally adjusted at the beginning of the measurement.

Als Referenz können aber unter anderem auch in einer Datenbank abgespeicherte Bilder mit einer oder mehreren Vergleichsstrukturen herangezogen werden. Die Bildqualität wird nach dem Kontrast, unter dem beispielsweise Gefäße oder andere ausgezeichnete Fundusstrukturen, wie Papille, Makula, Exsudate etc., in den Bildern erscheinen, ausgewertet. Zur Überlagerung werden nur die Bilder aus der gesamten gespeicherten Serie herangezogen, die einen ausreichenden Kontrast besitzen und in denen die mindestens eine vorgegebene Struktur erkennbar ist. Ist dies nicht der Fall (beispielsweise bei den angesprochenen unwillkürlichen Augenbewegungen des Probanden oder sonstigen Bild- bzw. Kontrastabweichungen), so werden diese Bilder (bzw. Bildpaare bei Verwendung von Reflexionsbildern des Objektes) aussortiert.However, among other things, images with one or more comparison structures stored in a database can also be used as a reference. The image quality is evaluated according to the contrast under which, for example, vessels or other excellent fundus structures such as papilla, macula, exudates etc. appear in the images. Only those images from the entire stored series that have sufficient contrast and in which the at least one predetermined structure can be recognized are used for superimposition. If this is not the case (for example with the mentioned involuntary eye movements of the test person or other image or contrast deviations), then these images (or image pairs when using reflection images of the object) are sorted out.

Die Bilder bzw. Bildpaare mit erkannter Struktur werden zur Auswertung der zeitaufgelösten Fluoreszenz herangezogen, wobei eine Akkumulation der Photonen für jeden Bildpunkt und in jedem Zeitkanal erfolgt bis ein vorgegebener Grenzwert für die Gesamtzahl der Photonen in allen Zeitkanälen an einem Bildpunkt erreicht ist. Somit wird die Bilderzeugung und -bewertung in der großen Folge dieser kurzen Bildaufnahmen solange fortgeführt, bis die für eine exakte Berechnung der Fluoreszenzabklingzeit (Lifetime) erforderliche Anzahl von Photonen pro Bildpunkt detektiert worden ist.The images or image pairs with a recognized structure are used to evaluate the time-resolved fluorescence, with an accumulation of the photons for each pixel and in each time channel takes place until a predetermined limit value for the total number of photons in all time channels is reached at an image point. The image generation and evaluation is thus continued in the large sequence of these short image recordings until the number of photons per image point required for an exact calculation of the fluorescence decay time (lifetime) has been detected.

Für die Gewinnung kontrastreicher Bilder mit genauer Zuordnung der zeitaufgelösten Fluoreszenz zum Messort können unterschiedliche Möglichkeiten und Vorrichtungen realisiert werden.
Einerseits kann die Bewertung der Bilder des Objektes hinsichtlich der zu erkennenden Bildstruktur in Echtzeit erfolgen und es werden nur diejenigen selektierten Reflexions- und/oder Fluoreszenzbilder abgespeichert, in ihrer Lage korrigiert und überlagert, in welchen eindeutig die besagte wenigstens eine als Referenz vorgegebene Bildstruktur erkannt wird.
Andererseits werden zunächst alle aufgenommenen Fluoreszenzbilder (bzw. Bildpaare bei Verwendung von Reflexionsbildern) des Objektes in Echtzeit abgespeichert, und es wird anschließend die vorgenannte Bildbewertung und Bildüberlagerung vorgenommen.Various possibilities and devices can be implemented for obtaining high-contrast images with precise assignment of the time-resolved fluorescence to the measurement location.
On the one hand, the evaluation of the images of the object with regard to the image structure to be recognized can take place in real time and only those selected reflection and / or fluorescence images are stored, corrected in their position and superimposed, in which the said at least one image structure specified as a reference is clearly recognized .
On the other hand, all recorded fluorescence images (or image pairs when using reflection images) of the object are first stored in real time, and the aforementioned image evaluation and image superimposition are then carried out.

In beiden Fällen wird durch die Echtzeitverarbeitung der Daten gewährleistet, dass das Objekt bzw. der Proband der kürzestmöglichen Gesamtmesszeit ausgesetzt ist. Ein Zeitverzug durch aufwendige und zeitraubende Datenablage und Zwischenspeicherungen ist nicht gegeben. Der Einfluss von Bildbewegungen während der kurzen Messzeit eines Einzelbildes ist entscheidend reduziert. Die erforderliche Datenspeicherung erfolgt in Echtzeit in flüchtige Arbeitsspeicher oder in sehr schnelle andere Speicher. Weitere Speichervorgänge und Auswertungen können nach Abschluss der Objektuntersuchung (Gewinnung von Bildern der laserangeregten Fluoreszenz) und somit ohne Belastung des Objektes oder der Untersuchungsperson vorgenommen werden.In both cases, real-time processing of the data ensures that the object or test person is exposed to the shortest possible total measurement time. There is no time delay due to complex and time-consuming data storage and intermediate storage. The influence of image movements during the short measuring time of a single image is significantly reduced. The necessary data storage takes place in real time in volatile main memory or in very fast other memories. Further storage processes and evaluations can be carried out after the object examination has been completed (acquisition of images of the laser-excited fluorescence) and thus without stressing the object or the person being examined.

Bei Verwendung von Reflexionsbildern des Objektes werden die korrespondierenden Fluoreszenz- und Reflexionsbilder jeweils überlagert, wobei eine Korrektur der linearen Verschiebung und der Drehungen zwischen den kontinuierlich aufgenommenen Bildern, die durch Augenbewegungen verursacht wurden, vorgenommen wird. Da zwischen den Bildpunkten der zugeordneten Fluoreszenz- und Reflexionsbilder eine feste geometrische Zuordnung besteht, werden durch die Überlagerung der Reflexionsbilder auch die Fluoreszenzbilder passgerecht überlagert. Dabei wird, wie vorgenannt, der Inhalt der Zeitregister der zu überlagernden Bildpunkte des Fluoreszenzbildes bei Anwendung der zeitkorrelierten Einzelphotonenzählung addiert.When using reflection images of the object, the corresponding fluorescence and reflection images are superimposed, with a correction of the linear displacement and the rotations between the continuously recorded images, which were caused by eye movements, being carried out. Since there is a fixed geometric association between the image points of the assigned fluorescence and reflection images, the overlapping of the reflection images also means that the fluorescence images are appropriately superimposed. As mentioned above, the content of the time registers of the pixels of the fluorescence image to be superimposed is added when the time-correlated single photon counting is used.

Die Gewinnung dieser Fluoreszenz- und Reflexionsbildpaare kann auf unterschiedliche Weise erfolgen.
Beispielsweise wird das vom Objekt reflektierte Anregungslicht zur Erzeugung der Reflexionsbilder verwendet. Das Fluoreszenzlicht wird beispielsweise über einen dichroitischen Teiler und einen Blockfilter daraus selektiert.The acquisition of these fluorescence and reflection image pairs can be done in different ways.
For example, the excitation light reflected from the object is used to generate the reflection images. The fluorescent light is selected therefrom, for example via a dichroic splitter and a block filter.

Als zweite Möglichkeit wird alternierend zum Anregungslicht das Objekt mit Licht einer Wellenlänge beleuchtet, bei der die Reflexion des Objektes wesentlich höher ist als beim Anregungslicht. Um zu gewährleisten, dass nur Fluoreszenzlicht während der Beleuchtung mit Anregungslicht detektiert wird, ist der Fluoreszenzdetektor während der Beleuchtung mit dem zur Erzeugung des Reflexionsbildes ausgeführten Beleuchtung abgeschaltet Der Wechsel zwischen Anregungsbeleuchtung und Beleuchtung zur Erzeugung des Reflexionsbildes in einer Laser-Scanner-Anordnung kann vorteilhaft zeilenweise, zum Beispiel zwischen Hin- und Rücklauf oder zwischen aufeinanderfolgenden Bildern, realisiert werden.As a second possibility, the object is illuminated alternately with the excitation light with light of a wavelength at which the reflection of the object is significantly higher than with the excitation light. In order to ensure that only fluorescent light is detected during the illumination with excitation light, the fluorescence detector is switched off during the illumination with the illumination designed to generate the reflection image.The change between excitation illumination and illumination for generation of the reflection image in a laser scanner arrangement can advantageously be carried out line by line , for example between there and back or between successive images.

Darüber hinaus kann als dritte Möglichkeit eine Objektbeleuchtung zur Erzeugung des Reflexionsbildes gleichzeitig und zusätzlich zu dem Anregungslicht mit langwelligem Licht erfolgen, wobei Wellenlängen größer als 700 nm außerhalb des sichtbaren Spektralbereichs zu keiner Fluoreszenzanregung des Objektes, insbesondere des menschlichen Auges, führen und auch kein Fluoreszenzlicht infolge kurzwelliger Anregung entsteht. In diesem langwelligen Spektralbereich besitzen die Okularmedien auch bei beginnender Katarakt eine ausreichende Transmission, so dass der Augenhintergrund als Reflexionsbild darstellbar ist. Weiterhin sind die zulässigen Expositionen für das langwellige Licht wesentlich höher als für kurzwelliges Licht, so dass die für die Anwendung der zeitkorrelierten Einzelphotonenzählung ohnehin geringe Exposition nur unwesentlich erhöht wird. Da die Fluoreszenz nur in einem definierten Spektralbereich am Auge nachweisbar ist, kann zu dessen Detektion das Anregungslicht durch ein Langpassfilter und das langwellige Licht zur Erzeugung des Reflexionsbildes durch ein zusätzliches angepasstes Kurzpassfilter beseitigt werden.
Die Anwendung der Erfindung ist nicht auf ophthalmologische Untersuchungen beschränkt.In addition, as a third possibility, object illumination for generating the reflection image can take place simultaneously and in addition to the excitation light with long-wave light, with wavelengths greater than 700 nm outside the visible spectral range not causing any fluorescence excitation of the object, in particular the human eye, and also no fluorescence light as a result short-wave excitation arises. In this long-wave spectral range, the ocular media have sufficient transmission even when a cataract begins, so that the fundus of the eye can be displayed as a reflection image. Furthermore, the permissible exposures for long-wave light are significantly higher than for short-wave light, so that the exposure, which is already low for the application of time-correlated single photon counting, is only increased insignificantly. Since the fluorescence can only be detected in a defined spectral range on the eye, the excitation light for its detection can be eliminated by a long-pass filter and the long-wave light for generating the reflection image can be eliminated by an additional, adapted short-pass filter.
The application of the invention is not restricted to ophthalmological examinations.

Die Erfindung soll nachstehend anhand von zwei in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert werden.
Es zeigen:

1: Vorrichtung, mit welcher die Aufnahme der Fluoreszenzbilder des Objektes und die Bewertung der Bilder des Objektes hinsichtlich der zu erkennenden Bildstruktur in Echtzeit erfolgt und bei der nur diejenigen Fluoreszenzbilder abgespeichert und in ihrer Lage korrigiert werden sowie weiterhin eine bildpunktgenaue Akkumulation der Fluoreszenzphotonen in den einzelnen Zeitkanälen erfolgt, in welchen eindeutig die wenigstens eine als Referenz vorgegebene Bildstruktur erkannt wird.
2: Vorrichtung, bei der zunächst alle Bilder des Objektes in Echtzeit abgespeichert werden und anschließend die Bewertung der abgespeicherten Reflexions- oder Fluoreszenzbilder hinsichtlich der automatischen Erkennung der wenigstens einen als Referenz vorgegebenen Bildstruktur sowie deren Lagekorrektur und Akkumulation der Fluoreszenzphotonen erfolgt.

The invention is to be explained in more detail below with reference to two exemplary embodiments shown in the drawing.
Show it:

1 : Device with which the recording of the fluorescence images of the object and the evaluation of the images of the object with regard to the image structure to be recognized takes place in real time and with which only those fluorescence images are stored and corrected in their position, and there is also an accumulation of the fluorescence photons accurate to the pixel in the individual time channels, in which the at least one image structure specified as a reference is clearly recognized.
2 : Device in which all images of the object are initially stored in real time and then the stored reflection or fluorescence images are evaluated with regard to the automatic recognition of the at least one image structure given as a reference, as well as their position correction and accumulation of the fluorescence photons.

In 1 ist eine ophthalmologische Vorrichtung als schematischer Ablaufplan dargestellt (gleich ob die einzelnen Funktionsstufen hard- oder softwaremäßig realisiert sind), mit welcher ein lebendes Auge 1 durch ein Laser-Scanning-Ophthalmoskop 2 (mitunter auch als Scanning-Laser-Ophthalmoskop bezeichnet) untersucht wird. Für diese Untersuchung wird das Auge 1 zur Fluoreszenzanregung mit Laserimpulsen abgetastet, die durch einen Pulslaser 3 erzeugt werden. Das Laserlicht des Pulslasers 3 wird in das Laser-Scanning-Ophthalmoskop 2 abgebildet und in diesem so abgelenkt, dass der Hintergrund des Auges 1 mit einem bewegten Bildpunkt beleuchtet wird. Jeder Bildpunkt des Augenhintergrundes wird dadurch kurzzeitig zur Fluoreszenz angeregt. Das Fluoreszenzlicht und das vom Augenhintergrund reflektierte Licht durchlaufen das Laser-Scanning-Ophthalmoskop 2 entgegengesetzt zum Anregungslicht des Pulslasers 3. Reflexions- und Fluoreszenzlicht werden durch einen dichroitischen Teiler 4 und einen Blockfilter 5 voneinander getrennt. Das Reflexionslicht wird von einem Detektor 6 und das Fluoreszenzlicht von einem schnellen Detektor 7 empfangen. Das im Detektor 6 sequentiell empfangene Reflexionslicht wird in einem Framegrabber 8 als zweidimensionales Bild aufgebaut.
Aus dem vom Detektors 7 empfangenen Fluoreszenzlicht wird in einer Karte 9 für das zeitkorrelierte Einzelphotonenzählen der Datenkubus für die zweidimensional örtlichen und zeitaufgelöste Fluoreszenz generiert. Die Analog-Digital Wandlung in der Karte 9 wird durch Steuerimpulse einer Steuerstufe 10 synchronisiert, welche gleichzeitig die Steuersignale zur Erzeugung der kurzen Laserimpulse des Pulslasers 3 liefert.In 1 an ophthalmological device is shown as a schematic flow chart (regardless of whether the individual functional levels are implemented in terms of hardware or software) with which a living eye 1 through a laser scanning ophthalmoscope 2 (sometimes referred to as a scanning laser ophthalmoscope) is examined. The eye is used for this examination 1 for fluorescence excitation with laser pulses scanned by a pulsed laser 3 be generated. The laser light of the pulse laser 3 is placed in the laser scanning ophthalmoscope 2 mapped and distracted in this so that the background of the eye 1 is illuminated with a moving image point. Each pixel of the fundus is briefly stimulated to fluorescence. The fluorescent light and the light reflected from the fundus pass through the laser scanning ophthalmoscope 2 opposite to the excitation light of the pulse laser 3 . Reflected and fluorescent light are split through a dichroic divider 4th and a block filter 5 separated from each other. The reflected light is from a detector 6th and the fluorescent light from a fast detector 7th receive. That in the detector 6th sequentially received reflection light is in a frame grabber 8th constructed as a two-dimensional image.
From the detector 7th received fluorescent light is in a card 9 for the time-correlated single photon counting, the data cube is generated for the two-dimensional local and time-resolved fluorescence. The analog-digital conversion in the map 9 is triggered by control pulses from a control stage 10 synchronized, which at the same time the control signals for generating the short laser pulses of the pulse laser 3 supplies.

Die Zuordnung zwischen dem Bildaufbau im Laser-Scanning-Ophthalmoskop 2 und in der Karte 9 für das zeitkorrelierte Einzelphotonenzählen wird mittels eines Routers 11 entsprechend den Bildsteuersignalen des Laser-Scanning-Ophthalmoskops 2 realisiert. Reflexions- und Fluoreszenzbild werden in einer wählbaren Messzeit von beispielsweise 200 ms, während der keine Blicksprünge des zu untersuchenden Auges 1 zu erwarten sind, registriert.The association between the image structure in the laser scanning ophthalmoscope 2 and in the map 9 for time-correlated single photon counting, a router 11 according to the image control signals of the laser scanning ophthalmoscope 2 realized. Reflection and fluorescence images are generated in a selectable measuring time of, for example, 200 ms, during which the eye to be examined does not jump in the gaze 1 are expected to be registered.

Grundsätzlich stehen nach Abschluss der vorgenannten Messung sowohl das Fluoreszenzbild als Darstellung der Summe aller Photonen, die in allen Zeitkanälen eines Bildpunktes gemessen wurden, als auch das sequentiell detektierte und im Framegrabber 8 aufgebaute Reflexionsbild für eine Bildbewertung zur Verfügung. Aus praktikablen Gründen wird (wie im vorliegenden Fall der Vorrichtung gemäß 1) bei Messungen der Autofluoreszenz des Augenhintergrundes vorzugsweise das Reflexionsbild bewertet, bei Messungen der zeitaufgelösten Fluoreszenz von applizierten Fluoreszenzmarkern hingegen das besagte Fluoreszenzbild.After completion of the aforementioned measurement, both the fluorescence image as a representation of the sum of all photons that were measured in all time channels of an image point and the sequentially detected image are in the frame grabber 8th built-up reflection image is available for an image evaluation. For practical reasons (as in the present case of the device according to 1 ) when measuring the autofluorescence of the fundus, the reflection image is preferably evaluated, whereas when measuring the time-resolved fluorescence of applied fluorescence markers, it is said fluorescence image.

Die Bildbewertung in einer Bewertungsstufe 12 dient dem Ziel, eine genaue Überlagerung der einzelnen Reflexionsbilder und damit direkt oder über feste Zuordnung zwischen Reflexions- und Fluoreszenzbildern eine bildpunktgenaue Addition der Photonenzahlen in den einzelnen Registern des Einzelphotonenzählers der Karte 9 zu ermöglichen.
Die Genauigkeit, mit der Fundusbilder vom Auge 1 überlagert werden können, ist vom Kontrast abhängig, unter dem beispielsweise die Gefäßstrukturen des Augenhintergrundes abgebildet werden. Die Qualität eines Fundusbildes wird durch Augenbewegung des Probanden während der Aufnahme eines Bildes reduziert. Tritt beispielsweise während der Aufnahme eines Einzelbildes ein einzelner Blicksprung auf, so werden die Gefäßstrukturen doppelt und zueinander verschoben im gleichen Bild registriert. Ein derartiges Bild ist zur Überlagerung ungeeignet. Eine Bewegung des Auges und/oder des Kopfes kann zu einer Abschattung des Fundusbildes führen, wodurch der Kontrast des Fundusbildes reduziert ist. Bei Bildaufnahme während Lidschluss enthält das Bild keine Strukturen. Diese Bilder werden ebenfalls verworfen.The image evaluation in one evaluation level 12th serves the goal of an exact superimposition of the individual reflection images and thus, directly or via a fixed assignment between reflection and fluorescence images, a pixel-accurate addition of the photon numbers in the individual registers of the single photon counter of the card 9 to enable.
The accuracy with which the fundus images of the eye 1 can be superimposed depends on the contrast under which, for example, the vascular structures of the fundus are imaged. The quality of a fundus image is reduced by the subject's eye movements while an image is being recorded. If, for example, a single jump occurs during the recording of a single image, the vascular structures are registered twice and shifted relative to one another in the same image. Such an image is unsuitable for overlay. Movement of the eye and / or head can lead to shadowing of the fundus image, as a result of which the contrast of the fundus image is reduced. If the image is recorded while the eyelid is closed, the image does not contain any structures. These images are also discarded.

Zur Beurteilung der Bildqualität wird bei der Einstellung des Reflexionsbildes ein Bereich ausgewählt, in dem zumindest eine charakteristische Struktur mit hohem Kontrast zur Umgebung erscheint. Wird diese mindestens eine Struktur nur einmal in einem Einzelbild des Fundus erkannt, so ist dieses Bild zur Überlagerung geeignet. Bei mehrfachem Erkennen der Struktur erfolgte eine Augenbewegung während der Aufnahme. Wird die Struktur nicht erkannt, so erscheint die Struktur im Fundusbild nicht mit einem ausreichenden Kontrast. Ursache dafür können ungenügende Ausleuchtung des Auges oder auch Lidschluss während der Aufnahme sein. Diese Aufnahmen werden nicht zur Auswertung selektiert.To assess the image quality, when setting the reflection image, an area is selected in which at least one characteristic structure appears with high contrast to the surroundings. If this at least one structure is recognized only once in an individual image of the fundus, then this image is suitable for overlaying. If the structure was recognized several times, an eye movement occurred during the exposure. If the structure is not recognized, the structure does not appear in the fundus image with sufficient contrast. The reason for this can be insufficient illumination of the eye or eyelid closure during the exposure. These recordings are not selected for evaluation.

Wird bei der Vorrichtung gemäß 1 die besagte mindestens eine Struktur oder ein Strukturelement eines vorgegebenen Referenzbildes jeweils eindeutig. (d. h. nur einfach und mit hinreichendem Kontrast) in dem zu bewertenden Reflexionsbild erkannt, so werden für dieses in einer Rechenstufe 13 die Parameter zur Überlagerung mit dem Referenzbild berechnet. Im nächsten Schritt erfolgt in einer Überlagerungsstufe 14 die Überlagerung des Datenkubus für die zeitaufgelöste Fluoreszenz zunächst mit dem Datenkubus der zeitaufgelösten Fluoreszenz, der zum Referenzbild gehört. Jedes weitere verschobene Bild wird zu diesem Datenkubus addiert. Die überlagerten Bilder werden in einem Speicher 15 abgelegt.
Der Mess- bzw. Untersuchungsprozess stoppt, wenn in einer Vergleichsstufe 16 festgestellt wird, dass für den Datenkubus der zweidimensional örtlichen und zeitaufgelösten Fluoreszenz eine vorgegebene Photonenzahl an einem ausgewählten Bildpunkt erreicht ist. In diesem Fall liefert die Vergleichsstufe 16 ein Endsignal an die Steuerstufe 10.
Nach Abschluss dieser Messserie steht somit ein Datenkubus für die zweidimensionale und zeitaufgelöste Fluoreszenz zur Berechnung der Fluoreszenzabklingzeiten an jedem Bildpunkt des Augenhintergrundes vom Auge 1 zur Verfügung.Is used in the device according to 1 the said at least one structure or a structural element of a given reference image in each case uniquely. (ie only simply and with sufficient contrast) recognized in the reflection image to be assessed, for this in a Calculation level 13th the parameters for overlaying the reference image are calculated. The next step is an overlay stage 14th the superimposition of the data cube for the time-resolved fluorescence initially with the data cube for the time-resolved fluorescence that belongs to the reference image. Every further shifted image is added to this data cube. The overlaid images are in a memory 15th filed.
The measurement or examination process stops when in a comparison stage 16 It is established that a predetermined number of photons has been reached at a selected image point for the data cube of the two-dimensional, local and time-resolved fluorescence. In this case, the comparison stage delivers 16 an end signal to the control stage 10 .
After completing this series of measurements, there is a data cube for the two-dimensional and time-resolved fluorescence for calculating the fluorescence decay times at each pixel of the fundus of the eye 1 to disposal.

Ein Vorteil der Erfindung besteht in der entscheidenden Minimierung der Zeit, in welcher das Auge 1 zur Untersuchung belastet wird. Dabei ist es nicht erforderlich, dass der Proband gezwungen ist, während einer Messzeit im Sekundenbereich bewegungsarm eine Marke zu fixieren. Da die Messzeit, wie vorgenannt, kürzer ist als die Zeit zwischen zwei unwillkürlichen Blicksprüngen des Auges 1, bleiben diese ohne Einfluss auf die Auswertung. Es werden nur diejenigen Bilder abgespeichert und zur Generierung des Datenkubus für die zeitaufgelöste Fluoreszenz des Laserimpuls-angeregten Auges 1 herangezogen, die bei der Bildbewertung als hinreichend geeignet erkannt wurden und die zur Bildung des Datenkubus unbedingt erforderlich sind. Somit ist es möglich, die zur Verschiebung erforderlichen scharfen Bilder zu erhalten.An advantage of the invention is the decisive minimization of the time in which the eye 1 is charged for investigation. It is not necessary for the test person to be forced to fix a mark with little movement during a measurement time in the range of seconds. As the measurement time, as mentioned above, is shorter than the time between two involuntary leaps in the eye 1 , these have no influence on the evaluation. Only those images are saved and used to generate the data cube for the time-resolved fluorescence of the laser pulse-excited eye 1 used that were recognized as sufficiently suitable in the image evaluation and that are absolutely necessary for the formation of the data cube. Thus, it is possible to obtain the sharp images necessary for the shift.

Die Bewertungsstufe 12, die Rechenstufe 13, die Überlagerungsstufe 14 und die Vergleichsstufe 16 werden vorzugsweise rechentechnisch realisiert. Auf diese Weise können die bei der Bewertung in der Bewertungsstufe 12 für die weitere Behandlung selektierten Bilder im Echtzeitbetrieb in nicht explizit dargestellte schnelle Arbeitsspeicher der Rechnereinrichtung abgespeichert werden. Dabei ist der Speicherbedarf auch lediglich auf die Speicherung des Datenkubus der überlagerten Bilder beschränkt (Speicher 15) und auf ein Minimum reduziert.The rating level 12th , the calculation level 13th , the overlay level 14th and the comparison level 16 are preferably implemented computationally. In this way, they can be used in the assessment in the assessment stage 12th images selected for further treatment are stored in real-time operation in fast main memories (not explicitly shown) of the computer device. The memory requirement is limited to the storage of the data cube of the superimposed images (memory 15th ) and reduced to a minimum.

Im Fall, dass für den Speicher 15 eine anderweitige Datenablage (wie Zwischenspeicherung auf Festplatten oder anderen Speichermedien) vorgesehen ist (nicht in der Zeichnung dargestellt), wären für den besagten Echtzeitbetrieb sehr schnelle Speichermedien vorzusehen. Hier würde sich der Vorteil der angesprochenen Datenreduzierung besonders auswirken.In the case that for the store 15th if other data storage (such as intermediate storage on hard disks or other storage media) is provided (not shown in the drawing), very fast storage media would have to be provided for said real-time operation. The advantage of the aforementioned data reduction would have a particular effect here.

Das von Fundus (Augenhintergrund) reflektierte Anregungslicht, einschließlich des schwachen Fluoreszenzlichtes, könnte prinzipiell zur Erzeugung der Reflexionsbilder verwendet werden (vgl. 2). Dabei wird das Auge 1 lediglich über das Laser-Scanning-Ophthalmoskop 2 mit den Laserimpulsen des Pulslasers 3 beleuchtet. Das Fluoreszenzlicht kann über den dichroitischen Teiler 4 und den Blockfilter 5 selektiert werden.The excitation light reflected from the fundus (fundus), including the weak fluorescent light, could in principle be used to generate the reflection images (cf. 2 ). In doing so, the eye becomes 1 only via the laser scanning ophthalmoscope 2 with the laser pulses of the pulse laser 3 illuminated. The fluorescent light can pass through the dichroic splitter 4th and the block filter 5 be selected.

Als zweite Möglichkeit wird alternierend zum Anregungslicht der Augenhintergrund mit Licht einer Wellenlänge beleuchtet, bei der die Reflexion des Augenhintergrundes wesentlich höher ist, als bei dem Anregungslicht. Um zu gewährleisten, dass nur Fluoreszenzlicht während der Beleuchtung mit Anregungslicht detektiert wird, ist ein Fluoreszenzdetektor während der Beleuchtung mit dem zur Erzeugung des Reflexionsbildes ausgeführten Licht abgeschaltet. Bei einer solchen Lösung kann der Wechsel zwischen Anregungsbeleuchtung und Beleuchtung zur Erzeugung des Reflexionsbildes in der Laser-Scanning-Anordnung zeilenweise, zum Beispiel zwischen Hin- und Rücklauf oder zwischen aufeinanderfolgenden Bildern, realisiert werden.As a second possibility, alternating with the excitation light, the fundus of the eye is illuminated with light of a wavelength at which the reflection of the fundus is significantly higher than that of the excitation light. In order to ensure that only fluorescent light is detected during the illumination with excitation light, a fluorescence detector is switched off during the illumination with the light used to generate the reflection image. With such a solution, the change between excitation illumination and illumination for generating the reflection image in the laser scanning arrangement can be implemented line by line, for example between return and return or between successive images.

In 1 wird als dritte Möglichkeit der Hintergrund des Auges 1 zur Erzeugung des Reflexionsbildes gleichzeitig und zusätzlich zu dem Anregungslicht des Pulslasers 3 mit langwelligem Licht einer Zusatzlichtquelle 17 beleuchtet. Die Wellenlänge dieser Strahlung ist größer als 700 nm und führt außerhalb des sichtbaren Spektralbereichs im Gegensatz zu den Laserimpulsen des Pulslasers 3 zu keiner Fluoreszenzanregung am Auge 1. Im langwelligen Spektralbereich besitzen die nicht explizit dargestellten Okularmedien auch bei beginnender Katarakt eine ausreichende Transmission, so dass der Augenhintergrund als Reflexionsbild darstellbar ist. Weiterhin sind die zulässigen Expositionen für das langwellige Licht wesentlich höher als für kurzwelliges Licht, so dass die für die Anwendung der zeitkorrelierten Einzelphotonenzählung ohnehin geringe Exposition nur unwesentlich erhöht wird. Da die Fluoreszenz nur in einem definierten Spektralbereich am Auge 1 nachweisbar ist, könnte zu dessen Detektion (nicht in der Zeichnung dargestellt) das Anregungslicht durch ein Langpassfilter und das langwellige Licht zur Erzeugung des Reflexionsbildes durch ein zusätzliches angepasstes Kurzpassfilter separiert werden.In 1 the third possibility is the background of the eye 1 to generate the reflection image simultaneously and in addition to the excitation light of the pulsed laser 3 with long-wave light from an additional light source 17th illuminated. The wavelength of this radiation is greater than 700 nm and leads outside the visible spectral range in contrast to the laser pulses of the pulse laser 3 no fluorescence excitation in the eye 1 . In the long-wave spectral range, the ocular media not explicitly shown have sufficient transmission even when a cataract begins, so that the fundus of the eye can be displayed as a reflection image. Furthermore, the permissible exposures for long-wave light are significantly higher than for short-wave light, so that the exposure, which is already low for the application of time-correlated single photon counting, is only increased insignificantly. Because fluorescence only occurs in a defined spectral range in the eye 1 is detectable, for its detection (not shown in the drawing) the excitation light could be separated by a long-pass filter and the long-wave light for generating the reflection image could be separated by an additional adapted short-pass filter.

In der Vorrichtung gemäß 2 erfolgt die Gewinnung der einzelnen Bilder zur Verschiebung und die Erfassung des Datenkubus für die zeitaufgelöste Fluoreszenz in Fundusbildern wie im ersten Ausführungsbeispiel (1) beschrieben. Der entscheidende Unterschied besteht darin, dass alle Paare aus Bildern zur Verschiebung und den Datenkuben der zeitaufgelösten Fluoreszenz einer Folge zunächst in einem Speicher 18 gespeichert werden und die Bewertung sowie die Bildlagenkorrektur nach Abschluss der Probandenuntersuchung erfolgt. In dieser Anordnung können die Bilder mit der kürzesten Wiederholfrequenz aufgenommen werden. Je schneller die Bildspeicherung erfolgt, desto früher ist auch die Untersuchungszeit des Probanden abgeschlossen.In the device according to 2 the acquisition of the individual images for displacement and the acquisition of the data cube for the time-resolved fluorescence in fundus images takes place as in the first exemplary embodiment ( 1 ) described. The decisive difference is that all pairs of images for displacement and the data cubes of the time-resolved fluorescence of a sequence are initially stored in a memory 18th saved and the assessment and the correction of the image position take place after the test subject examination has been completed. With this arrangement, the images can be taken with the shortest refresh rate. The faster the image is saved, the earlier the test subject's examination time is completed.

Das Auge 1 des zu untersuchenden Probanden wird wiederum durch das Laser-Scanning-Ophthalmoskop 2 abgetastet. Zur Fluoreszenzanregung und zur Erzeugung des Reflexionsbildes erzeugt der durch die Steuerstufe 10 gesteuerte Pulslaser 3 die kurzwelligen Laserimpulse zur Einspeisung in das Laser-Scanning-Ophthalmoskop 2. Die Trennung und Detektion der Strahlen für das jeweilige Fluoreszenz- und Reflexionsbild in der Laser-Scanning-Anordnung (dichroitischer Teiler 4, Blockfilter 5 sowie die Detektoren 6, 7) erfolgen wie bereits zu 1 beschrieben.The eye 1 The subject to be examined is in turn through the laser scanning ophthalmoscope 2 scanned. For fluorescence excitation and for generating the reflection image, the generated by the control stage 10 controlled pulsed laser 3 the short-wave laser pulses for feeding into the laser scanning ophthalmoscope 2 . The separation and detection of the rays for the respective fluorescence and reflection image in the laser scanning arrangement (dichroic splitter 4th , Block filter 5 as well as the detectors 6th , 7th ) take place as already to 1 described.

Das jeweils sequentiell detektierte Reflexionsbild wird wiederum im Framegrabber 8 als zweidimensionales Bild aufgebaut. Der Datenkubus des Bildes der zeitaufgelösten Fluoreszenz wird in der Karte 9 für zeitaufgelöste Einzelphotonenzählung generiert, wobei über den Router 11 eine Synchronisierung mit dem Bildaufbau im Laser-Scanner Ophthalmoskop 2 unter Verwendung von dessen Steuersignalen erfolgt.The sequentially detected reflection image is in turn in the frame grabber 8th constructed as a two-dimensional image. The data cube of the time-resolved fluorescence image is displayed in the map 9 generated for time-resolved single photon counting, using the router 11 synchronization with the image structure in the laser scanner ophthalmoscope 2 takes place using its control signals.

Im Unterschied zum ersten Ausführungsspiel werden die jeweils entstehenden Fluoreszenz- und Reflexionsbildpaare nicht in Echtzeit bewertet, sondern ungeachtet ihrer Bildqualität und Verwendbarkeit für die Fluoreszenzauswertung sofort und in kürzester Zeit abgespeichert. Zur Datenablage stehen deshalb der Framegrabber 8 und die Karte 9 für zeitaufgelöste Einzelphotonenzählung nicht unmittelbar mit einer Bewertungsstufe (vgl. Bewertungsstufe 12 in 1), sondern mit dem schnellen Speicher 18 in Verbindung. Hier erfolgt die Echtzeit-Datenablage aller vom Auge 1 des Probanden detektierten Fluoreszenz- und Reflexionsbilder. Die erforderliche Gesamtmesszeit bei dieser Speicherung der Bildfolge mit nachträglicher Bewertung der Bildqualität wird aus dem Quotienten der erforderlichen gesamten Photonenzahl pro Bildpunkt dividiert durch die Photonenzahl eines Bildpunktes im Einzelbild multipliziert mit der Messzeit eines Einzelbildes festgelegt. Entsprechend einem als Erfahrungswert geschätzten Anteil der zur späteren Bildauswertung nicht verwendbaren Bilder ist die Gesamtmesszeit zu verlängern.In contrast to the first game, the resulting pairs of fluorescence and reflection images are not evaluated in real time, but are saved immediately and in the shortest possible time regardless of their image quality and usability for fluorescence evaluation. The frame grabber is therefore used for data storage 8th and the card 9 for time-resolved single photon counting, not directly with a rating level (see rating level 12th in 1 ), but with the fast memory 18th in connection. This is where real-time data is stored for all of the eyes 1 of the subject detected fluorescence and reflection images. The total measurement time required for this storage of the image sequence with subsequent evaluation of the image quality is determined from the quotient of the total number of photons required per image point divided by the number of photons in an image point multiplied by the measurement time in an individual image. The total measurement time must be extended in accordance with a proportion of the images that cannot be used for subsequent image evaluation, which is estimated as an empirical value.

Kontrolliert wird diese Messzeit durch einen Bildzähler 19, der ausgangsseitig mit der Steuerstufe 10 für den Pulsgenerator 3 und für die Karte 9 mit der zeitkorrelierten Einzelphotonenzählung der Fluoreszenzbilder verbunden ist. Durch diesen Bildzähler 19 wird bei Erreichen der festgelegten Anzahl an gespeicherten Fluoreszenz- und Reflexionsbildpaaren die Untersuchung des Probanden (Fluoreszenzanregung des Auges 1 durch das Anregungslicht des Pulslasers 3) beendet. Im Anschluss daran können die im Speicher 18 abgelegten Bilddaten der detektierten Fluoreszenz- und Reflexionsbildpaare beliebig abgerufen und in einer funktionsmäßig prinzipiell mit der Bewertungsstufe 12 von 1 vergleichbaren Bewertungsstufe 20 hinsichtlich der Bildqualität zur eindeutigen Strukturerkennung bewertet werden.This measuring time is controlled by an image counter 19th , the output side with the control stage 10 for the pulse generator 3 and for the card 9 is connected to the time-correlated single photon counting of the fluorescence images. Through this frame counter 19th When the specified number of stored fluorescence and reflection image pairs is reached, the test subject is examined (fluorescence excitation of the eye 1 by the excitation light of the pulsed laser 3 ) completed. You can then save them in memory 18th stored image data of the detected fluorescence and reflection image pairs can be called up at will and in principle with the evaluation level in terms of function 12th from 1 comparable evaluation level 20th be evaluated with regard to the image quality for clear structure recognition.

Aus den für die Fluoreszenzauswertung verwendbaren und selektierten Bilddaten werden wiederum in einer Rechenstufe 21 (vgl. Rechenstufe 13 in 1) Parameter einer eventuell erforderlichen Bildverschiebung für die Bildüberlagerung in einer Überlagerungsstufe 22 (vgl. Überlagerungsstufe 12 in 1) ermittelt. Die überlagerten Fluoreszenz- und Reflexionsbilder stehen somit in einem Speicher 23 für eine Auswertung (beispielsweise Bestimmung der Fluoreszenzabklingzeit) zur Verfügung. Diese ist nicht Gegenstand der Erfindung und soll hier nicht beschrieben werden.The image data that can be used and selected for the fluorescence evaluation are in turn used in a computing stage 21 (see calculation level 13th in 1 ) Parameters of a possibly required image shift for the image overlay in an overlay level 22nd (see overlay level 12th in 1 ) determined. The superimposed fluorescence and reflection images are therefore in a memory 23 for an evaluation (e.g. determination of the fluorescence decay time). This is not the subject of the invention and will not be described here.

BezugszeichenlisteList of reference symbols

11: Augeeye
22: Laser-Scanning-OphthalmoskopLaser scanning ophthalmoscope
33: PulslaserPulse laser
44th: dichroitischer Teilerdichroic divider
55: BlockfilterBlock filter
66th: Detektor für ReflexionslichtReflected light detector
77th: Detektor für FluoreszenzlichtFluorescent light detector
88th: FramegrabberFrame grabber
99: Karte für zeitkorrelierte EinzelphotonenzählungTime-correlated single photon counting card
1010: SteuerstufeTax bracket
1111: RouterRouter
12, 2012, 20: BewertungsstufeAssessment level
13, 2113, 21: RechenstufeCalculation level
14, 2214, 22: ÜberlagerungsstufeOverlay level
15, 2315, 23: Speicher für überlagerte BilderStorage for overlaid images
1616: VergleichsstufeComparison level
1717th: ZusatzlichtquelleAdditional light source
1818th: SpeicherStorage
1919th: BildzählerImage counter

Claims

A method for obtaining and evaluating high-contrast images of the time-resolved fluorescence of moving objects, for example the fundus of the eye, in which the object by radiation, in particular laser pulses, to fluorescence, such as. B. autofluorescence is stimulated, in which fluorescence images of the object, possibly in relation to reflection images of the object as fluorescence image sequences of individual images are generated, evaluated and, if necessary, corrected in their image position, for example by image shifting, and in which in the possibly corrected fluorescence images For each image point in the respectively assigned time channels, the photons detected in the individual images of the fluorescence excitation are added to form so-called data cubes of the two-dimensional and time-resolved fluorescence, with large fluorescence image sequences of individual images of the object recorded in a short measuring time being stored in real time and each individual image of the fluorescence with regard to a unambiguous automatic recognition of at least one image structure specified as a reference is assessed, characterized in that the assessment of the fluorescence images of the object with regard to the image structure to be recognized is in ech time takes place, whereby only those fluorescence images are stored and superimposed in which the at least one image structure specified as a reference is clearly recognized, or that first all fluorescence images of the object are stored in real time, with the evaluation of the stored fluorescence images then being evaluated with regard to the automatic recognition of the at least an image structure given as a reference and its superimposition takes place, and that finally individual images of the object are recorded in a fluorescence image sequence until the number of photons added in all time channels of an image point reaches a predetermined limit value after the individual images are superimposed.

Procedure according to Claim 1 , characterized in that the at least one image structure specified as a reference is an identification feature for evaluating all individual images of the entire fluorescence image sequence of the object.

Procedure according to Claim 1 , characterized in that the first image of the fluorescence image sequence of the object with a special image setting is provided as a reference for the predetermined image structure.

Procedure according to Claim 1 , characterized in that for evaluating the time-resolved fluorescence of the object, a corresponding reflection image of the object is assigned to each fluorescence image of the object.

Procedure according to Claim 4 , characterized in that the light for the fluorescence excitation of the object is used to generate reflection images of the object.

Procedure according to Claim 5 , characterized in that an additional object illumination, preferably with a long-wave radiation and in particular with a wavelength greater than 700 nm, is provided for generating reflection images of the object independently of the light for the fluorescence excitation of the object.

Procedure according to Claim 1 , characterized in that when applying fluorescent markers, such as sodium fluorescein in fluorescence angiography, the information required for image position correction is obtained from the fluorescence images of the object.

Procedure according to Claim 1 , characterized in that the individual images of the object are each recorded in a measuring time in the range between milliseconds and a few seconds, preferably with a measuring time of 200 ms.

Procedure according to Claim 1 , characterized in that the number of measurements of individual images is estimated from the number of photons detected in a single image per pixel.

Device for performing the method according to Claim 1 , containing a laser scanning arrangement (2) controlled by a pulse laser (3) for scanning the object (1), the output of which for the detected fluorescence signal with a unit (9) for time-correlated single photon counting to generate a data cube of the two-dimensional, localized and time-resolved Fluorescence is connected and a frame grabber (8) is connected to its output for a detected reflection image of the object (1), an evaluation stage (12, 20) being provided for evaluating and selecting the detected fluorescence and corresponding reflection images of the object (1 ), which is connected to means (14, 22) for superimposing the reflection and / or fluorescence images, characterized in that the evaluation stage (12) is connected directly to the frame grabber (8) and the unit (9) for time-correlated single photon counting Real-time evaluation and selection of the detected fluorescence and corresponding reflection bi lder of the object (1), whereby with the selection only the fluorescence and reflection images that can be used for a fluorescence evaluation due to the image quality are provided for superimposition (14) and storage (15), or that the output from the frame grabber (8) and the output of the unit (9) for time-correlated single photon counting are connected to a memory (18) for real-time data storage of all detected fluorescence and corresponding reflection images of the object (1), the evaluation stage (20 ) is also connected to the memory (18) for the subsequent evaluation of the image quality of the fluorescence and reflection images stored therein and for the selection of the image data for an image overlay (22).

Device according to Claim 10 , characterized in that the evaluation stage (12, 20) is followed by a computing stage (13, 21) in which parameters of a possibly required image shift are determined, and that the computing stage (13, 21) with an overlay stage (14, 22) for the images of two-dimensional and time-resolved fluorescence is connected.

Device according to Claim 10 , characterized in that the pulse laser (3) for the fluorescence excitation of the object (1) and the unit (9) for the time-correlated single photon counting for generating a data cube of the two-dimensional local and time-resolved fluorescence are controlled by a control stage (10).

Device according to Claims 10 , 11 and 12th , characterized in that the output of the superimposition stage (14) to terminate the measurement or examination process via a comparison stage (16), in which it is determined whether for the data cube of the two-dimensional local and time-resolved fluorescence reaches a predetermined number of photons at a selected image point is connected to the control stage (10) for the pulse laser (3) and the unit (9) for the time-correlated single photon counting.

Device according to Claims 10 , 11 and 12th , characterized in that an image counter (19) connected to the memory (18) is provided to terminate the measurement or examination process, in which the number of image data stored in the memory (18) is determined, and that the image counter (19) is in connection with the control stage (10) for the pulse laser (3) and for the unit (9) of the time-correlated single photon counting.

Device according to one or more of the Claims 10 to 14th , characterized in that the stages of the device, in particular the evaluation stage (12, 20), the computing stage (13, 21), the superimposition stage (14, 22), the comparison stage (16), the unit (9) for the time-correlated single photon counting , the image counter (19) and the control stage (10) are implemented computationally.

Device according to Claim 10 , characterized in that the pulsed laser (3) in addition to fluorescence excitation of the object (1) is also provided for illuminating the same, for example for illuminating the fundus of the eye during ophthalmological examinations, for generating reflection images.

Device according to Claim 10 , characterized in that, in addition to the pulsed laser (3) for fluorescence excitation of the object (1), a further light source (17) for illuminating the object (1), for example for illuminating the fundus during ophthalmological examinations, for generating reflection images is provided.