DE102009000376B4

DE102009000376B4 - Method for the quantitative representation of the blood flow

Info

Publication number: DE102009000376B4
Application number: DE102009000376.2A
Authority: DE
Inventors: Günter Meckes; Thomas Schuhrke; Martin Fanenbruck
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2009-01-22
Filing date: 2009-01-22
Publication date: 2019-03-28
Anticipated expiration: 2029-01-23
Also published as: DE102009000376A1

Abstract

Verfahren zur quantitativen Darstellung des Blutflusses in einer Gewebe- oder Adernregion basierend auf einem emittierten Signal eines in das Blut injizierten Kontrastmittels, wobei das in ein Gewebe- oder Aderngebiet einströmende Kontrastmittel beobachtet wird und wobei
- zu aufeinander folgenden Zeitpunkten in einer Bildfolge mehrere Einzelbilder (10) des von der Gewebe- oder Adernregion abgegebenen Signals als Video mit einer Frequenz von mindestens fünf Einzelbildern (4) pro Sekunde aufgenommen und gespeichert werden, indem das vom Kontrastmittel emittierte Signal als Video aufgenommen, das Video in die Einzelbilder (10) zerlegt und diese abgespeichert oder unmittelbar die Einzelbilder abgespeichert werden,
- die Differenz (16) zweier aufeinanderfolgender Einzelbilder (10) gebildet wird und
- diese Differenz (16) dargestellt wird.

A method for quantitatively representing blood flow in a tissue or vein region based on an emitted signal of a contrast agent injected into the blood, wherein the contrast agent entering a tissue or vein area is observed, and wherein
- at successive times in an image sequence, a plurality of individual images (10) of the signal emitted by the tissue or vein region are recorded and stored as video at a frequency of at least five individual images (4) per second, by recording the signal emitted by the contrast agent as video , decomposed the video into the individual images (10) and these are stored or the individual images are stored directly,
- The difference (16) of two successive frames (10) is formed and
- This difference (16) is displayed.

Description

Die Erfindung betrifft ein Verfahren zur quantitativen Darstellung des Blutflusses. Darüber hinaus betrifft die Erfindung ein Operationsmikroskop, ein Analysesystem sowie ein Computerprogramm zur Durchführung eines solchen Verfahrens.The invention relates to a method for the quantitative representation of the blood flow. Moreover, the invention relates to a surgical microscope, an analysis system and a computer program for carrying out such a method.

Es sind mehrere Verfahren zur Beobachtung und Bestimmung des Blutflusses in Gewebe- und Adernregionen bekannt, bei denen jeweils ein Chromophor, wie z. B. Indocyaningrün appliziert wird. Der Fluoreszenzfarbstoff kann dann bei seiner Verbreitung im Gewebe oder entlang der Adern mittels einer Videokamera beobachtet werden. Je nach Anwendungsgebiet kann die Beobachtung nichtinvasiv geschehen oder im Rahmen einer Operation, beispielsweise über die Kamera eines Operationsmikroskops.There are several methods for the observation and determination of blood flow in tissue and vein regions are known, in each of which a chromophore such. B. indocyanine green is applied. The fluorescent dye can then be observed as it is distributed in the tissue or along the veins by means of a video camera. Depending on the field of application, the observation can be non-invasive or in the context of an operation, for example via the camera of a surgical microscope.

Dabei sind viele Verfahren bekannt, bei denen lediglich die relative Verteilung des Fluoreszenzfarbstoffs im Gewebe oder den Adern qualitativ untersucht wird, um auf deren Durchblutung zu schließen. So wurde bspw. über das pure Betrachten eines während der Operation aufgenommenen IR-Videos auf die Durchblutung geschlossen und Diagnosen gestellt. Es ist auch bekannt, den Anstieg der Helligkeit des Fluoreszenzsignals an allen oder ausgewählten Bildpunkten über die Zeit festzuhalten und so eine Verlaufskurve des von dem Fluoreszenzfarbstoff ausgesandten Signals aufzunehmen. Der Verlauf der dabei aufgenommenen, sogenannten Anflutungskurve gibt dem Arzt qualitativ Aufschluss über mögliche Gefäßverengungen oder sonstige Probleme im Bereich dieses Bildpunktes. Ein Beispiel hierfür ist in der DE 101 20 980 A1 gegeben. Das in der DE 101 20 980 A1 beschriebene Verfahren geht jedoch über die qualitative Analyse hinaus und beschreibt einen Weg zur quantitativen Bestimmung des Blutflusses an jedem Bildpunkt.Many methods are known in which only the relative distribution of the fluorescent dye in the tissue or the veins is qualitatively examined in order to conclude on their perfusion. Thus, for example, the pure viewing of an IR video recorded during the operation was used to draw conclusions about the blood flow and make diagnoses. It is also known to record the increase in the brightness of the fluorescence signal at all or selected pixels over time and thus to record a progression curve of the signal emitted by the fluorescent dye. The course of the recorded so-called in-flow curve gives the physician qualitative information about possible vasoconstriction or other problems in the area of this pixel. An example of this is in the DE 101 20 980 A1 given. That in the DE 101 20 980 A1 However, described method goes beyond the qualitative analysis and describes a way to quantitatively determine the blood flow at each pixel.

Die DE 600 36781 T2 offenbart eine Vorrichtung zur Durchführung von intra-operativer Angiographie.The DE 600 36781 T2 discloses an apparatus for performing intra-operative angiography.

Die DE 693 32 244 T2 offenbart eine Verwendung eines Farbstoffs zur Herstellung eines Agens zur Bilddarstellung von kompakten Tumoren und eine Kombination eines Farbstoffs mit einem Apparat zur Bilddarstellung von kompakten Tumoren des Kortex und der Nervenbahnen.The DE 693 32 244 T2 discloses a use of a dye for the preparation of an agent for imaging compact tumors and a combination of a dye with an apparatus for imaging compact tumors of the cortex and the nerve tracts.

Die EP 1 992 276 A1 offenbart eine Funduskamera.The EP 1 992 276 A1 discloses a fundus camera.

Die DE 41 33 018 A1 offenbart eine Vorrichtung für die digitale Subtraktionsangiogrphie.The DE 41 33 018 A1 discloses an apparatus for digital subtraction angiogrphism.

Darüber hinaus offenbart die DE 10 2009 000 376 A1 ein Verfahren zur quantitativen Darstellung des Blutflusses.In addition, the reveals DE 10 2009 000 376 A1 a method for the quantitative representation of blood flow.

Der Erfindung liegt die Aufgabe zugrunde, der behandelnden Person weitere Hilfestellungen anzubieten, aus denen diese auf Probleme in der Durchblutung schließen kann und welche das Stellen der Diagnose unterstützen.The invention has for its object to provide the attending person further assistance, from which they can close to problems in the blood circulation and which support the setting of the diagnosis.

Gelöst wird die Aufgabe gemäß der Erfindung durch ein Verfahren zur quantitativen Darstellung des Blutflusses nach Anspruch 1. Darüber hinaus wird die Aufgabe auch durch ein Operationsmikroskop nach Anspruch 16, ein Analysesystem nach Anspruch 17 sowie ein Computerprogramm nach Anspruch 18 gelöst.The object is achieved according to the invention by a method for quantitatively displaying the blood flow according to claim 1. In addition, the object is also achieved by a surgical microscope according to claim 16, an analysis system according to claim 17 and a computer program according to claim 18.

Vorteilhafte Weiterbildungen ergeben sich anhand von Merkmalen der abhängigen Ansprüche.Advantageous developments will become apparent from the features of the dependent claims.

Erfindungsgemäß wird das in ein Gewebe- oder Aderngebiet einströmende Kontrastmittel beobachtet, indem das von ihm emittierte Signal als Video aufgenommen, das Video in Einzelbilder zerlegt und diese abgespeichert oder unmittelbar Einzelbilder abgespeichert werden und sich entsprechende Bildbereiche in zeitlich aufeinanderfolgenden Einzelbildern miteinander verglichen, die Differenz der Werte der Bildpunkte der Bildbereich gebildet und diese Differenz, vorzugsweise auf einem Bildschirm, dargestellt wird. Vorzugs weise erfolgt die Darstellung als Bild aller Differenzen der Bildpunkte eines ausgewählten Gebietes der Einzelbilder, welches auch die gesamten Einzelbilder umfassen kann. Dadurch kann Bewegung im aufgenommenen Objekt einfach sichtbar gemacht werden. So kann z.B. der Fluss eines Blutschwalles durch das in den Einzelbildern aufgenommene Gewebe oder eine oder mehrere Adern gut nachverfolgt werden. Damit erhält der Chirurg eine sehr effiziente Hilfestellung.According to the invention, the contrast medium flowing into a tissue or vein area is observed by recording the signal emitted by it as a video, dividing the video into individual images and storing them or storing individual images directly and comparing corresponding image areas in temporally successive individual images, the difference between Values of the pixels of the image area formed and this difference, preferably on a screen, is displayed. Preference, the representation is done as an image of all differences of the pixels of a selected area of the individual images, which may include the entire individual images. This makes it easy to visualize movement in the recorded object. Thus, e.g. the flow of a blood stream through the captured tissue in the individual images or one or more arteries are well tracked. This gives the surgeon very efficient assistance.

In einer bevorzugten Ausführungsform wird, vor der Bestimmung der Differenzen, eine Bewegungskompensation auf die Einzelbilder angewandt. Das heißt, die Einzelbilder werden, falls sie gegeneinander verschoben sind, erst übereinander gelegt, so dass tatsächlich die jeweils zugehörigen Bildpunkte bei der Bestimmung der Zeitpunkte verglichen werden. Dem liegt das Problem zugrunde, dass sich während der Aufnahme das Aufnahmegerät oder das aufzunehmende Objekt bewegen kann. In diesem Fall sind die aufgenommenen Bilder der Signale gegeneinander verschoben, so dass die Verschiebung erst rückgängig gemacht werden muss, will man pro Bildpunkt des aufgenommenen Objekts einen stetigen Verlauf des Signals bekommen. Dieser ist Voraussetzung, den Zeitpunkt des Überschreitens des Schwellwertes des Signals ortsaufgelöst bestimmen zu können. Ohne eine Bewegungskompensation könnte es also zu falschen Zuordnungen der Zeitpunkte zu den Bildpunkten kommen und damit zu einer fehlerhaften Darstellung des Zeitoffsets. Vorzugsweise wird zur Bewegungskompensation eine Kantendetektion vorgenommen, mittels derer Kantenbilder der Einzelbilder erzeugt werden, die anschließend korreliert werden können, um daraus den Verschiebungsvektor zu bestimmen. Sobald der Verschiebungsvektor eines Einzelbildes bestimmt ist, wird dieses Einzelbild gegenüber dem vorherigen entsprechend des Verschiebungsvektors verschoben. In einer Ausführungsform werden für die Korrelation von Kantenbilden die Kantenbilder von aufeinander folgenden Einzelbildern verwendet. Bevorzugt wird jedoch jeweils das Kantenbild eines Einzelbildes mit einem Referenzbild korreliert, welches erzeugt wird, indem die vorherigen, Kantenbilder der Einzelbilder zusammengefügt werden, welche bereits vorher miteinander korreliert wurden. Dabei entsteht im Laufe des Verfahrens ein Referenzbild, welches alle Kanten enthält, welche in vorherigen miteinander korrelierten Einzelbildern aufgetreten sind. Als Startreferenzbild kann jeweils ein beliebiges Einzelbild verwendet werden oder eines, bei dem die Gesamtsignalstärke einen bestimmten Wert überschritten hat oder anderweitig bestimmt wird, dass das aufgenommene Signal ein Rauschen überschritten hat und es sich tatsächlich um das Signal von einströmendem Kontrastmittel handelt. Die Bildung des aufsummierten Referenzbildes für die Bewegungskompensation ist essentiell, da Einzelbilder, welche zu sehr unterschiedlichen Zeitpunkten aufgenommen werden, eine vollkommen andere Kantenstruktur zeigen können, da das Signal in einem Bereich bereits wieder vollkommen abgeflacht sein kann, wenn es in einem anderen Bereich ein Maximum erreicht. Somit könnten diese sehr unterschiedlichen Bilder, welche zu unterschiedlichen Zeitpunkten aufgenommen werden, nicht sinnvoll miteinander korreliert werden.In a preferred embodiment, prior to determining the differences, motion compensation is applied to the frames. That is, the individual images are, if they are shifted from each other, first superimposed, so that in fact the respectively associated pixels are compared in the determination of the time points. This is based on the problem that during the recording, the recording device or the object to be recorded can move. In this case, the recorded images of the signals are shifted from each other, so that the shift must first be reversed, you want to get per pixel of the recorded object a steady course of the signal. This is a prerequisite to determine the time of exceeding the threshold value of the signal spatially resolved. Without one Motion compensation could therefore lead to incorrect assignments of the time points to the pixels and thus to a faulty representation of the time offset. Preferably, an edge detection is performed for motion compensation, by means of which edge images of the individual images are generated, which can then be correlated in order to determine therefrom the displacement vector. Once the displacement vector of a frame is determined, this frame is shifted from the previous one according to the displacement vector. In one embodiment, for the correlation of edge-forming, the edge images of successive frames are used. Preferably, however, the edge image of a single image is correlated with a reference image, which is generated by merging the previous edge images of the individual images, which were previously correlated with each other. In the course of the process, a reference image is created which contains all the edges which have occurred in previous correlated individual images. In each case, an arbitrary single image or one in which the overall signal strength has exceeded a certain value or otherwise determined that the recorded signal has exceeded a noise and that in fact is the signal of inflowing contrast agent can be used as the start reference image. The formation of the summed reference image for the motion compensation is essential, since individual images taken at very different times can show a completely different edge structure, since the signal in one region can already be fully flattened again if it is a maximum in another region reached. Thus, these very different images, which are taken at different times, could not be meaningfully correlated with each other.

In einer weiteren vorteilhaften Ausführungsform wird auf die Einzelbilder eine Helligkeitskorrektur angewandt, in der Veränderungen der Aufnahmebedingungen, welche sich auf die Helligkeit des Signals auswirken, berücksichtigt werden. So kann beispielsweise der Verstärkungsfaktor an der Kamera verändert werden, so dass ein größerer Kontrastbereich des Signals bei der Aufnahme erfasst werden kann. Auch die Intensität der Lichtquelle oder andere Aufnahmebedingungen können verändert werden, so dass die Helligkeitskorrektur unter Umständen mehrere unterschiedliche Parameter berücksichtigen muss. Zu diesem Zweck werden Veränderungen an den Aufnahmebedingungen zusammen mit den Einzelbildern abgelegt und bei der Helligkeitskorrektur werden die aufgenommenen Signalwerte, unter Berücksichtigung dieser abgelegten Daten, auf einen einheitlichen Wertebereich zurückgerechnet. Hierdurch wird gewährleistet, dass sich ein stetiger zeitlicher Verlauf des Signals an jedem Bildpunkt ergibt.In a further advantageous embodiment, a brightness correction is applied to the individual images, in which changes in the recording conditions, which have an effect on the brightness of the signal, are taken into account. Thus, for example, the amplification factor at the camera can be changed, so that a larger contrast range of the signal can be detected during the recording. Also, the intensity of the light source or other recording conditions can be changed, so that the brightness correction may have to consider several different parameters. For this purpose, changes to the recording conditions are stored together with the individual images and in the brightness correction, the recorded signal values, taking into account these stored data, are recalculated to a uniform value range. This ensures that there is a continuous time course of the signal at each pixel.

In einer vorteilhaften Ausführungsform werden mehrere Differenzdarstellungen, welche aus zeitlich aufeinander folgenden Einzelbildern abgeleitet werden, gemeinsam nebeneinander oder untereinander, vorzugsweise in fortlaufender zeitlicher Reihenfolge angezeigt. Mehrere zeitlich aufeinanderfolgende Differenzdarstellungen geben einen guten Überblick über die Bewegung innerhalb des Objektes über die Zeitspanne in der die Einzelbilder aufgenommen wurden. Anhand dieser gleichzeitig dargestellten Bildfolge kann der Chirurg besonders gut das Wandern eines Details im Bild erkennen. An dem Vergleich mehrerer Bilder kann er auch kritisches Verhalten des Blutstromes wie eine Blockade des Flusses oder den Beginn eines Strömens in eine falsche Richtung ausgezeichnet orten.In an advantageous embodiment, a plurality of difference representations, which are derived from temporally successive individual images, are displayed together next to one another or one below the other, preferably in a continuous chronological order. Several temporally successive difference representations provide a good overview of the movement within the object over the period in which the individual images were taken. On the basis of this simultaneously represented sequence of images, the surgeon is particularly good at recognizing the wandering of a detail in the image. By comparing multiple images, he can also locate critical behavior of the bloodstream, such as blocking the flow or starting to flow in the wrong direction.

In einer weiteren bevorzugten Ausführungsform werden die Differenzdarstellungen zeitlich aufeinanderfolgender Einzelbilder zeitlich nacheinander aufeinanderfolgend, vorzugsweise in extrem kurzen Abständen angezeigt. Damit wird erreicht, dass die Veränderung in den Differenzdarstellungen und damit das Wandern des Blutes, welches oftmals auf einem einzigen Differenzbild nur schwach in Erscheinung tritt, gut zu erkennen ist.In a further preferred embodiment, the difference representations of temporally successive individual images are displayed consecutively in succession, preferably at extremely short intervals. This ensures that the change in the representation of the difference and thus the migration of the blood, which often appears only weakly on a single difference image, can be clearly recognized.

Bevorzugt gibt es mehrere Anzeigemodi, so dass die Differenzdarstellungen entweder nebeneinander oder zeitlich nacheinander angezeigt werden können. Zwischen den Anzeigemodi sollte geschaltet werden können, so dass der Chirurg jederzeit den für seine Frage geeignetsten Anzeigemodus wählen kann.Preferably, there are several display modes, so that the difference representations can be displayed either side by side or in succession. It should be possible to switch between the display modes so that the surgeon can always choose the most appropriate display mode for his question.

In einer weiteren bevorzugten Ausführungsform wird der Differenzwert der Bildpunkte zweier aufeinanderfolgender Einzelbilder jeweils mit einem Schwellwert verglichen und nur der Differenzwert in die Differenzdarstellung übernommen, welcher den Schwellwert überschreitet. Der Schwellwert wird dabei vorzugsweise in Bezug auf die maximale Intensität des aufgenommenen Signals festgelegt. Dadurch wird vermieden, dass bereits kleine Schwankungen, z.B. Rauschen, zwischen den Bildinhalten angezeigt werden. Somit konzentriert sich der Bildinhalt des Differenzbildes mehr auf wirkliche Unterschiede zwischen den Einzelbildern, welche objektbedingt sind und diese treten deutlicher zu Tage.In a further preferred embodiment, the difference value of the pixels of two successive individual images is compared with a threshold value and only the difference value is taken over into the difference representation, which exceeds the threshold value. The threshold value is preferably determined in relation to the maximum intensity of the recorded signal. This avoids that even small fluctuations, e.g. Noise, between the picture contents to be displayed. Thus, the image content of the difference image focuses more on real differences between the frames, which are object-related and they are more obvious.

In einer vorteilhaften Ausführungsform werden die Differenzen zwischen den Einzelbildern in einer zweidimensionalen Graustufendarstellung für jeden Bildpunkt eines ausgewählten Gebietes dargestellt. Dies ist eine sehr einfache, übersichtliche Darstellungsform, die Bewegungen im Bild, wie solche des Blutes sofort erkennen lässt.In an advantageous embodiment, the differences between the individual images are displayed in a two-dimensional gray scale representation for each pixel of a selected area. This is a very simple, clear form of presentation that makes movements in the picture, such as those of the blood, immediately recognizable.

Nachteilig an dieser Form der Darstellung ist jedoch, dass bei der alleinigen Darstellung der Differenzen nicht eindeutig gesichert ist, dass es sich bei einer Veränderung zwischen zwei aufeinanderfolgenden Bildern tatsächlich um in den Adern oder im Gewebe strömendes Blut handelt. Es könnte sich genauso gut um irgendeine andere Veränderung handeln, welche zwischen den Bildern auftritt. So könnte sich auch ein anders Objekt durch die Bilder bewegen und würde evtl. fälschlicherweise als Blutfluss interpretiert. Um hier mehr Sicherheit zu erlangen wird in einer weiteren vorteilhaften Ausführungsform vorgeschlagen, an jedem Bildpunkt die Differenz zwischen den Einzelbildern mit dem Wert eines der Einzelbilder, deren Werte für die Berechnung der jeweiligen Differenz verwendet wurden, zu überlagern. Bei einer derartigen überlagerten Darstellung werden sowohl die Adern selbst als auch Veränderungen innerhalb dieser sichtbar. Dadurch können Veränderungen eindeutig Bewegungen des Blutes in den Adern zugeordnet werden. A disadvantage of this form of representation, however, is that in the sole representation of the differences is not clearly secured that it is a change between two consecutive images actually flowing in the veins or tissue tissue blood. It could just as well be any other change that occurs between the pictures. So could also move a different object through the images and might be misinterpreted as a blood flow. In order to obtain more security, it is proposed in a further advantageous embodiment to superimpose on each pixel the difference between the individual images with the value of one of the individual images whose values were used for the calculation of the respective difference. In such superimposed representation, both the veins themselves and changes within them become visible. As a result, changes can be clearly associated with movements of the blood in the veins.

In einer bevorzugten Ausführungsform verwendet man zu dieser Überlagerung eine 3-dimensionale Darstellung, bei der die erste oder zweite Einzelbildaufnahme zwei Dimensionen darstellt und die Differenz zwischen den Einzelbildaufnahmen die dritte Dimension. In einer solchen Differenzdarstellung ist das Wandern eines Schwalles Blutes durch eine Ader gut nachzuverfolgen. Insbesondere kann diese Darstellung auch an Schwarz-Weiß-Bildschirmen verwendet werden und ist auch in einem Ausdruck oder Telefax noch zu erkennen.In a preferred embodiment, a 3-dimensional representation is used for this overlay, in which the first or second single-frame image represents two dimensions and the difference between the single image images represents the third dimension. In such a differential representation, the migration of a torrent of blood through a vein is easy to track. In particular, this representation can also be used on black and white screens and can still be seen in an expression or fax.

In einer weiteren vorteilhaften Möglichkeit werden die Werte der Bildpunkte eines der Einzelbilder, welches zur Differenzbildung verwendet wurde, entsprechend der Differenzwerte manipuliert, um so eine überlagerte Differenzdarstellung abzuleiten. Hierfür eignen sich vor allem farbliche Manipulationen. Da er sehr auffällig ist, könnte bspw. der Rotkanal des Einzelbildes manipuliert werden, indem ein zusätzlicher Rotbetrag, entsprechend dem Differenzwert aufaddiert wird. Dadurch würden Unterschiede zwischen den Einzelbildern in der überlagerten Differenzdarstellung rot herausleuchten und somit einfach zu sehen sein.In a further advantageous possibility, the values of the pixels of one of the individual images which was used to form the difference are manipulated in accordance with the difference values so as to derive a superimposed differential representation. Especially suitable for this are color manipulations. Since it is very noticeable, for example, the red channel of the frame could be manipulated by adding an additional red amount corresponding to the difference value. As a result, differences between the individual images in the superimposed differential representation would glow red and thus be easy to see.

Möglich wäre auch, zwei Farbkanäle zu manipulieren um positive und negative Änderungen sichtbar zu machen und so bspw. so etwas wie ein Zu- und Abströmen des Blutes sichtbar zu machen.It would also be possible to manipulate two color channels in order to visualize positive and negative changes and thus, for example, to visualize something like the inflow and outflow of blood.

Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus den Unteransprüchen im Zusammenhang mit der Beschreibung eines Ausführungsbeispiels, das anhand der Zeichnungen eingehend erläutert wird.Further details and advantages of the invention will become apparent from the dependent claims in conjunction with the description of an embodiment which is explained in detail with reference to the drawings.

Es zeigen:

1 schematisch ein Operationsmikroskop zur Durchführung des erfindungsgemäßen Verfahrens,
2 schematisch einen Ablauf eines Verfahrens zum Bestimmen der Änderung des Blutflusses,
3a-g Beispiele von zeitlich aufeinanderfolgenden Differenzdarstellungen und
4a-d Beispiele von zeitlich aufeinanderfolgenden Differenzdarstellungen bei denen die Differenz mit dem Bildinhalt von Einzelbildern überlagert ist.

Show it:

1 schematically a surgical microscope for carrying out the method according to the invention,
2 FIG. 2 schematically a flow of a method for determining the change in blood flow; FIG.
3a-g Examples of temporally successive difference representations and
4a-d Examples of temporally successive difference representations in which the difference is superimposed on the image content of individual images.

Die 1 zeigt schematisch die wesentlichen Bestandteile eines Operationsmikroskops, auf dem das erfindungsgemäße Verfahren zum Einsatz kommen kann. Eine Optik 1, eines Operationsmikroskops bildet ein, von einer Lichtquelle 2 des Operationsmikroskops beleuchtetes Objekt 3, wie bspw. einen bei einer Operation zu behandelnden Kopf eines Patienten auf eine Kamera 4 ab. Die Kamera 4, kann ebenfalls Bestandteil des Operationsmikroskops sein. Die von der Kamera 4 aufgenommenen Bilddaten werden an eine Recheneinheit 5 gegeben, an der sie ausgewertet werden. Die bei der Auswertung abgeleiteten medizinischen Größen werden dann, evtl. zusammen mit dem aufgenommen Bild an dem Bildschirm 6 dargestellt. Der Bildschirm 6 kann, ebenso wie die Recheneinheit 5 auch Bestandteil einer zentralen OP-Steuerung sein, er kann aber auch Bestandteil des Operationsmikroskops sein. Eine Steuereinheit 7 steuert die Helligkeit der Lichtquelle 2 sowie Vergrößerungsfaktor und Blende der Optik 1 und den Verstärkungsfaktor der Kamera 4. Darüber hinaus generiert die Steuereinheit 7 Metadaten, welche Aufschluss über Änderungen der Aufnahmebedingungen geben, welche auftreten, sobald die Steuereinheit 7 eine der zu steuernden Größen variiert. Diese Metadaten werden von der Steuereinheit 7 an die Recheneinheit 5 übergeben, an der sie den Bilddaten, welche von der Kamera 4 zur Recheneinheit 5 gegeben werden, zugeordnet werden. Metadaten und Bilddaten werden an der Recheneinheit 5 zumindest zwischengespeichert und gemäß des erfindungsgemäßen Verfahrens ausgewertet. Bei der Auswertung werden die Metadaten in die Bilddaten eingerechnet. Die Resultate der erfindungsgemäßen Auswertung werden dann evtl. zusammen mit den Bilddaten an dem Bildschirm 6 dargestellt.The 1 schematically shows the essential components of a surgical microscope on which the inventive method can be used. An optic 1 , a surgical microscope forms, from a light source 2 the surgical microscope illuminated object 3 , such as, for example, a patient's head to be treated for surgery on a camera 4 from. The camera 4 , may also be part of the surgical microscope. The from the camera 4 recorded image data are sent to a computing unit 5 given, where they are evaluated. The derived during the evaluation medical sizes are then, possibly together with the recorded image on the screen 6 shown. The screen 6 can, as well as the arithmetic unit 5 may also be part of a central surgical control, but it can also be part of the surgical microscope. A control unit 7 controls the brightness of the light source 2 as well as magnification factor and aperture of the optics 1 and the amplification factor of the camera 4 , In addition, the control unit generates 7 Metadata, which provide information about changes in the recording conditions, which occur as soon as the control unit 7 one of the variables to be controlled varies. These metadata are from the control unit 7 to the arithmetic unit 5 Passing on the image data taken from the camera 4 to the computing unit 5 be assigned. Metadata and image data are sent to the arithmetic unit 5 at least temporarily stored and evaluated according to the method according to the invention. During evaluation, the metadata is included in the image data. The results of the evaluation according to the invention then possibly together with the image data on the screen 6 shown.

In der 2 wird das Verfahren zur Darstellung und Auswertung des Blutflusses welches überwiegend in der Recheneinheit 5 abläuft mit Datenflüssen und den einzelnen Verarbeitungsschritten beschrieben. Die an der in der 1 gezeigten Videokamera aufgenommenen Daten werden an die Recheneinheit 5 übertragen und als Infrarot-Videos in einem Datenspeicher 8 abgespeichert und mit Hilfe eines Videoplayers 9 in Einzelbilder 10 zerlegt. Alternativ besteht auch die Möglichkeit, die Bilder der Videokamera 4 gleich als Einzelbilder 10 abzuspeichern. Hierbei erwies sich eine Frequenz von mindestens fünf Einzelbildern 10 pro Sekunde als sinnvoll. Diese werden anschließend in einer Einzelbildkorrektur 11 korrigiert. Dabei werden Korrekturen des Randabfalls, des Dunkeloffsets oder von Nichtlinearitäten der Videokamera 4 unter Berücksichtigung der hierfür notwendigen Korrekturdaten 12 vorgenommen. Die Daten der korrigierten Einzelbilder 10 werden dann in Form von komprimierten Binärdaten (bspw. Motion JPEG2000 Daten (MJ2)) oder in Form von unkomprimierten Binärdaten (bspw. Bitmap) abgelegt. In Form von unkomprimierten Binärdaten sind die Zugriffszeiten kürzer, die Auswertung erfolgt schneller.In the 2 becomes the procedure for the representation and evaluation of the blood flow which predominantly in the arithmetic unit 5 runs with data flows and the individual processing steps described. The at the in the 1 shown video camera data are sent to the arithmetic unit 5 transmitted and as infrared videos in a data store 8th saved and with the help of a video player 9 in individual pictures 10 disassembled. Alternatively, it is also possible to take pictures of the video camera 4 same as single pictures 10 save. This proved to be a frequency of at least five individual images 10 per second as meaningful. These are then in a single image correction 11 corrected. These are corrections of the edge drop, the dark offset or nonlinearities of the video camera 4 taking into account the necessary correction data 12 performed. The data of the corrected frames 10 are then stored in the form of compressed binary data (eg Motion JPEG2000 data (MJ2)) or in the form of uncompressed binary data (eg bitmap). In the form of uncompressed binary data access times are shorter, the evaluation is faster.

Zur Auswertung werden die Einzelbilder 10 an die Algorithmen für die Helligkeitskorrektur 13 und die Bewegungskompensation 14 übergeben. Bei der Helligkeitskorrektur 13 werden z.B. die unterschiedlichen Verstärkungsfaktoren berücksichtigt, welche an der Videokamera 4 während der Aufnahme des Videos eingestellt wurden, um die Videokamera 4 an unterschiedlich starke Fluoreszenz des aufzunehmenden Gewebe- oder Aderngebietes anzupassen. Diese werden während der Aufnahmen mitprotokolliert, als den Videodaten zugeordnete Metadaten 15 auf dem Datenspeicher 8 abgespeichert und mit den Einzelbildern 10 verrechnet. Bei der Bewegungskompensation 14 werden die Positionen der aufgenommenen Einzelbilder 10 zur Deckung gebracht. Während der Aufnahme des Videos kann es zum Bewegen der Videokamera 4 oder des Objektes 3, d.h. des aufzunehmenden Gewebe- oder Aderngebietes kommen. In diesem Fall sind die Einzelbilder 10 gegeneinander verschoben. Um die, in den Einzelbildern 10 sichtbaren Details fehlerfrei auswerten zu können, müssen die Einzelbilder 10 erst wieder zur Deckung gebracht werden. Dies wird erschwert durch die, sich in den Einzelbildern 10, laufend verändernde, Bildinformation. Um ein Ausgangsbild zu haben, das als Vergleichsbild dient, wird unter den Einzelbildern 10 ein Referenzbild ausgewählt. Als Start-Referenzbild kann hier das erste Bild dienen, auf dem klar Strukturen erkennbar sind. Mittels eines Kantendetektionsverfahrens wird bei allen weiteren Einzelbildern 10, welche mit dem Referenzbild verrechnet werden sollen, fortlaufend ermittelt, inwieweit diese gegenüber dem Referenzbild verschoben sind. Diese Verschiebung wird dann bei allen weiteren Schritten, an denen mehrere Einzelbilder 10 beteiligt sind, berücksichtigt. Insbesondere wird auch das Referenzbild immer wieder aktualisiert, indem das Kantenbild des nachfolgenden, auf die korrekte Position verschobenen Einzelbildes mit in das Referenzbild aufgenommen wird.The individual images are used for evaluation 10 to the algorithms for the brightness correction 13 and the motion compensation 14 to hand over. In the brightness correction 13 For example, the different gain factors are taken into account, which on the video camera 4 while recording the video were set to the video camera 4 to adapt to different degrees of fluorescence of the male tissue or vein area. These are logged during the recording as metadata associated with the video data 15 on the data store 8th saved and with the individual images 10 charged. In the motion compensation 14 become the positions of the recorded frames 10 brought to cover. While recording the video, it may move the video camera 4 or the object 3 , ie the tissue or vein area to be picked up. In this case, the frames are 10 shifted against each other. To the, in the frames 10 To be able to evaluate visible details without error, the individual images must 10 only be brought back to cover. This is complicated by the, in the individual pictures 10 , constantly changing, image information. To have an output image that serves as a comparison image, is under the individual images 10 a reference picture is selected. As a start reference image here can serve the first image on which clearly structures are recognizable. By means of an edge detection method is in all other frames 10 , which are to be offset with the reference image, continuously determined to what extent they are shifted from the reference image. This shift is then used in all subsequent steps involving multiple frames 10 involved. In particular, the reference image is also constantly updated by the edge image of the subsequent, shifted to the correct position frame is included in the reference image.

Nach den Korrekturen 13 und 14 kann die Differenzbestimmung 16 erfolgen, in der an jedem gewünschten Bildpunkt die Differenz des Wertes der Bildpunkte zweier aufeinanderfolgenden Einzelbildern 10 bestimmt wird. Hierfür wird in einer Messbereichsfestlegung 17 zuerst die Position des Messbereiches festgelegt. Dieser Messbereich, zu dem eine Differenzdarstellung 18 erstellt werden soll, in dem die bestimmten Differenzen für alle Bildpunkte dargestellt werden, kann in einer Messbereichsfestlegung 17 über ein Messfenster definiert werden oder als Auswahl vorgegebener Messpunkte. So kann bspw. ein Bereich der Aufnahme ausgewählt werden, wenn nur über ihn eine Differenzdarstellung 18 gewünscht wird oder die Differenzdarstellung 18 wird nur für eine Auswahl der Bildpunkte erstellt um Rechenzeit zu sparen. Das Ergebnis der Differenzbestimmung 16 ist eine Differenzdarstellung 18 für alle Bildpunkte, wie sie in den 3a bis 3g zu sehen ist. Diese Differenzdarstellung 18 wird dann am Bildschirm 6 angezeigt. Sie zeigt, wie das Blut sich zwischen zwei oder mehreren Aufnahmen mit der Videokamera 4 bewegt, also wie das Blut durch die Adern bzw. das Gewebe strömt.After the corrections 13 and 14 can the difference determination 16 take place in the at each desired pixel the difference of the value of the pixels of two consecutive frames 10 is determined. This is done in a measuring range specification 17 first set the position of the measuring range. This measuring range, to which a difference representation 18 can be created in which the specific differences for all pixels are displayed, in a measuring range specification 17 be defined via a measuring window or as a selection of predefined measuring points. Thus, for example, an area of the recording can be selected if only via it a difference representation 18 is desired or the difference representation 18 is only created for a selection of pixels to save computing time. The result of the difference determination 16 is a difference representation 18 for all pixels, as in the 3a to 3g you can see. This difference representation 18 will then be on the screen 6 displayed. It shows how the blood gets between two or more shots with the video camera 4 moved, so how the blood flows through the veins or the tissue.

Um dem Chirurgen einen besseren Überblick über dieses Strömungsverhalten des Blutes innerhalb des Messbereichs zu geben, werden mehrere Differenzdarstellungen 18 zwischen aufeinanderfolgenden Videoaufnahmen am Bildschirm 6 angezeigt.To give the surgeon a better overview of this flow behavior of the blood within the measuring range, several differential representations 18 between consecutive video recordings on the screen 6 displayed.

In dem in der 3 gezeigten Beispiel einer ausgewählten Adernregion im Gehirn eines Patienten sind das sieben Differenzdarstellungen 18, anhand derer das Durchströmen eines in der 3a mit dem weißen Pfeil gekennzeichneten Schwalles Blutes, welcher in dieser Differenzdarstellung hell erscheint, da die Darstellung so gewählt wurde, dass der Helligkeitswert mit zunehmender Differenz ansteigt, durch eine Ader gut zu sehen ist. Dieser Schwall Blut wandert von der 3a zur 3c nach rechts und von den 3d bis 3g nach oben. Eine derartige Darstellung gibt dem behandelnden Arzt mehr Klarheit darüber, ob das Blut gleichmäßig durch eine Ader strömt oder der Fluss an einer Stelle gestört ist.In the in the 3 The example shown of a selected vein region in the brain of a patient are the seven differential representations 18 , by means of which the flow through one in the 3a The swirling blood marked with the white arrow, which appears bright in this differential representation, since the representation was selected such that the brightness value increases with increasing difference, can be clearly seen by a vein. This barrage of blood wanders from the 3a to 3c to the right and from the 3d to 3g up. Such a representation gives the attending physician more clarity as to whether the blood flows evenly through a vein or the flow is disturbed in one place.

Nachteilig an dieser Form der Darstellung ist jedoch, dass bei der alleinigen Differenzdarstellung 18 nicht eindeutig gesichert ist, dass es sich bei einer Veränderung zwischen zwei aufeinanderfolgenden Bildern tatsächlich um in den Adern oder im Gewebe strömendes Blut handelt. Es könnte sich genauso gut um irgendeine andere Veränderung handeln, welche zwischen den Bildern auftritt. So könnte sich auch ein anderes Objekt durch die Bilder bewegen und würde evtl. fälschlicherweise als Blutfluss interpretiert. Um hier mehr Sicherheit zu erlangen wird in einem anderen Ausführungsbeispiel vorgeschlagen, die Differenzdarstellung 18 mit einem der Einzelbilder 10 zu überlagern, deren Werte für die Berechnung der jeweiligen Differenz verwendet wurden. Verwendet man zu dieser Überlagerung eine 3-dimensionale Darstellung, bei der die erste oder zweite Aufnahme zwei Dimensionen darstellt und die Differenz zwischen den Aufnahmen die dritte Dimension. In einer solchen Differenzdarstellung 18, wie sie in den 4a bis 4d zu sehen ist, ist ebenfalls das Wandern eines Schwalles Blutes durch eine Ader gut nachzuverfolgen. Die kleine Ader im rechten unteren Bildbereich, welche in der 4a mit dem weißen Pfeil gekennzeichnet ist, veranschaulicht dies recht deutlich.A disadvantage of this form of representation is that in the sole difference representation 18 It is not clearly established that a change between two consecutive images is actually blood flowing in the veins or tissue. It could just as well be any other change that occurs between the pictures. Thus, another object could move through the images and might be misinterpreted as a blood flow. To gain more security here is proposed in another embodiment, the difference representation 18 with one of the frames 10 to be overlaid, whose values were used to calculate the difference. If one uses for this overlay a 3-dimensional representation, in which the first or second recording shows two dimensions and the difference between the images the third dimension. In such a difference representation 18 as they are in the 4a to 4d Likewise, hiking a blast of blood through a vein is easy to track. The small vein in the right lower picture area, which in the 4a marked with the white arrow, illustrates this quite clearly.

Eine weitere Möglichkeit bestünde darin, eines der Einzelbilder 10, welches zur Differenzbildung verwendet wurde, entsprechend der Differenzwerte zu manipulieren, um so eine Differenzdarstellung 18 abzuleiten. Hierfür eignen sich vor allem farbliche Manipulationen. Da er sehr auffällig ist, könnte bspw. der Rotkanal des Einzelbildes 10 manipuliert werden, indem ein zusätzlicher Rotbetrag, entsprechende dem Differenzwert aufaddiert wird.Another possibility would be one of the individual images 10 , which was used for subtraction, to manipulate according to the difference values, so a difference representation 18 derive. Especially suitable for this are color manipulations. Since he is very noticeable, could, for example, the red channel of the frame 10 be manipulated by adding an additional amount of red, corresponding to the difference value.

Bei allen diesen Differenzbestimmungen 16 für Differenzdarstellungen 18 ist es vorteilhaft, wenn die Differenz erst berücksichtigt wird, wenn sie einen gewissen Schwellwert übersteigt. Dadurch wird gewährleistet, dass nur relevante Unterschiede zwischen den Einzelbildern 10 angezeigt werden und nicht alle aufgrund diverser Faktoren auftretende kleinere Unterschiede das Ergebnis verfälschen.For all these differences 16 for difference representations 18 it is advantageous if the difference is taken into account only if it exceeds a certain threshold. This ensures that only relevant differences between the frames 10 and not all minor differences due to various factors distort the result.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Optikoptics
22: Lichtquellelight source
33: Objektobject
44: Kameracamera
55: Recheneinheitcomputer unit
66: Bildschirmscreen
77: Steuereinheitcontrol unit
88th: Datenspeicherdata storage
99: Videoplayervideo player
1010: EinzelbilderSingle images
1111: EinzelbildkorrekturSingle image correction
1212: Daten für EinzelbildkorrekturData for single image correction
1313: Helligkeitskorrekturbrightness correction
1414: Bewegungskompensationmotion compensation
1515: Metadatenmetadata
1616: Differenzbestimmungdifference determination
1717: MessbereichsfestlegungMeasuring range setting
1818: Differenzdarstellungdifference representation

Claims

A method for quantitatively representing blood flow in a tissue or vein region based on an emitted signal of a contrast agent injected into the blood, wherein the contrast agent entering a tissue or vein area is observed, and wherein - at successive times in an image sequence, a plurality of individual images (10) of the signal emitted by the tissue or vein region are recorded and stored as video at a frequency of at least five individual images (4) per second by recording the signal emitted by the contrast agent as video , decomposed the video into the individual images (10) and these are stored or the individual images are stored directly, - The difference (16) of two successive frames (10) is formed and - This difference (16) is displayed.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 1 , characterized in that a motion compensation (14) is applied to the individual images (10) before the difference formation (16).

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 2 , characterized in that for motion compensation (14) edge images of individual images (10) are generated via an edge detection method.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 3 , characterized in that edge images are correlated with each other to determine the displacement vector.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 4 , characterized in that the correlation of the edge image of a single image (10) in each case takes place with a reference image, which is further developed by the edge images of two correlated and shifted individual images (10) are complemented.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 1 , characterized in that a brightness correction (13) is applied to the individual images (10) before the determination of the times.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 6 , characterized in that for the brightness correction (13) in the recording of the individual images (10) metadata (15) are recorded and stored.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 1 , characterized in that difference representations (18) a plurality of individual images (10) are displayed simultaneously next to or below each other.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 8 , characterized in that the difference representations (18) are displayed in the order of their underlying temporally successive individual images (10).

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 1 , characterized in that the differences are compared with a threshold value and only those are stored and / or displayed, which exceed the threshold value.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 10 , characterized in that the threshold is defined in relation to the maximum intensity of the signal.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 1 , characterized in that the difference representation (18) takes place as a two-dimensional gray scale image.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 1 , characterized in that the difference of the values of two successive individual images (10) with the value of a single image (10) on a pixel to be considered, for display, is superimposed.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 13 , characterized in that the superposition takes place in a three-dimensional representation.

Method for the quantitative representation of the blood flow in a tissue or vein region according to Claim 13 , characterized in that the overlay by manipulation of a color channel of a single image (10).

Surgical microscope for recording a fluorescence radiation of a contrast agent, with a camera (4) for taking a sequence of images of the object (3) and optics (1) for imaging the object (3) on the camera (4), wherein the camera (4) a computing unit (5) for deriving medical variables from the image sequence of medical image data or individual images of the image sequence is connected, characterized in that the arithmetic unit (5) comprises a program for performing a method according to any one of the preceding claims.

Analysis system, in particular a surgical microscope for recording a fluorescence radiation of a contrast agent, with a computing unit (5) which is a program for performing a method according to one of Claims 1 to 15 having.

Computer program with program code, which is stored on a machine-readable data carrier, for carrying out a method for the quantitative representation of the blood flow in a tissue or vein region based on recordings of an emitted signal of a contrast agent injected into the blood according to one of Claims 1 to 15 when the computer program is executed on a computing unit (5).