-
Die Erfindung betrifft ein Verfahren zum Ableiten medizinischer Größen aus einer Bildfolge medizinischer Bilddaten nach dem Oberbegriff von Anspruch 1. Die Erfindung betrifft auch eine medizinische Vorrichtung und ein Analysesystem.
-
Für die oder bei der Behandlung oder Diagnose im medizinischen Umfeld werden verschiedenste Bilddaten aufgezeichnet. Diese werden sofort oder bei Bedarf ausgewertet. Die Auswertung erfolgt üblicherweise mittels Datenverarbeitungsanlagen, welche an das Krankenhausverwaltungssystem, ein Labornetz, Behandlungsgeräte wie bspw. Operationsmikroskope und/oder Archive, usw. angeschlossen sind. Dabei kommen verschiedenste Auswerteverfahren zum Einsatz, die der untersuchenden oder behandelnden Person, dem Arzt, Assistenten, etc. eine Hilfestellung geben und von dieser bedient werden. So gibt es Programme zum Bestimmen des Zeitpunkts des Herzschlags, des Blutflusses in einer Adern- oder Geweberegion und vieles mehr.
-
Die auszuwertenden Bilddaten werden bei Operationen, Untersuchungen, im Labor oder anderswo in medizinischem Umfeld üblicherweise mit Videokameras oder digitalen Einzelbildkameras aufgezeichnet und als Video oder Einzelbilder ausgewertet und gespeichert. Sollen anhand der Bilddaten Verlaufsgrößen wie bspw. der Blutfluss in Adern- oder Geweberegionen bestimmt werden, so ist es notwendig Bildfolgen auszuwerten.
-
Für die Auswertung werden die zu betrachtenden Bilddaten auf einem Bildschirm angezeigt. Sollen ortsabhängige Größen wie z. B. Blutfluss in einem Blutgefäß oder Knochendichte abgeleitet werden, so markiert die untersuchende oder behandelnde Person jeweils die Position des auszuwertenden Objektes, wie bspw. eines Blutgefäßes, eines Knochens, eines Tumors, einer Zelle, etc. Das Auswerteprogramm legt um die markierte Position, oder zwischen mehreren markierten bzw. gewählten Positionen einen Messbereich fest und leitet innerhalb dieses Messbereichs die gewünschte Größe ab. Anschließend wird die Größe dann am Bildschirm z. B. numerisch oder grafisch dargestellt.
-
Bei der Aufzeichnung der Bilddaten kann es zu Änderungen der Aufnahmebedingungen kommen, welche sich auf den aufgenommenen Bildinhalt auswirken. So kann beispielsweise bei manchen Videokameras der Verstärkungsfaktor verändert werden, so dass sowohl sehr starke als auch sehr schwache Signale mit genügend Kontrastumfang erfasst werden können. Eine Änderung des Verstärkungsfaktors der Videokamera verändert jedoch den Helligkeitswert der aufgenommenen Bilddaten sprunghaft. Beim Ableiten von Größen, bei denen mehrere Bilder der Bildfolge betrachtet bzw. ausgewertet werden müssen, kann dies zu erheblichen Problemen führen.
-
Aus der
DE 60 2004 002 837 T2 ist eine Objekterkennung bekannt, mittels welcher eine Gesichtserkennung durchgeführt wird. Bei den dortigen Bildaufnahmen werden auch Metadaten generiert.
-
Aus der
DE 10 2006 058 941 A1 ist ein Verfahren und eine Vorrichtung zum Auswählen computergestützter Algorithmen bekannt. Dort werden medizinische Informationen wie statische Informationen über Knoten in einem Lungengewebe mittels Bilderfassung erkannt. Auch hier können Metadaten zusätzlich aufgezeichnet werden.
-
Aus der
DE 695 19 623 T2 ist ein Operationsmikroskop mit einer Bildwiedergabeeinrichtung bekannt.
-
Aus der
DE 695 27 571 T2 ist ein Sichtgerät mit einer Bildverstärkung bekannt. Dort werden aufgezeichnete Einzelbilder in spektrale Anteile zerlegt, um eine Verbesserung der Farbbilder bei schwacher Beleuchtung zu erhalten.
-
Aus der
DE 10 2005 049 723 A1 ist eine Bildverarbeitungsvorrichtung zur Erfassung des Intensitäts-/Zeitverlaufs fluoreszierender Farbstoffe bekannt.
-
Darüber hinaus offenbart die
DE 10 2004 008 675 A1 eine Vorrichtung und ein Verfahren zur Aufnahme und Wiedergabe von Bildern eines Untersuchungsobjekts, was beispielsweise auch eine anatomische Struktur sein kann. Es werden dort helligkeitsunabhängige Sekundärbilder auf Basis von Bildern der Farbkanäle erzeugt.
-
Aus der
DE 202 21 624 U1 ist ein virtuelles Mikroskop bekannt, mittels dem medizinische Präparate untersucht werden können. Zugrundegelegte Bildbearbeitung kann eine Kontrastverbesserung und eine Normierung der Helligkeitsverteilung aufweisen.
-
Der Erfindung liegt die Aufgabe zugrunde, in einem Verfahren zum Ableiten medizinischer Größen aus einer Bildfolge medizinischer Bilddaten Fehler zu vermeiden, welche durch Veränderungen der Aufnahmebedingungen entstehen können.
-
Gelöst wird die Aufgabe gemäß der Erfindung durch ein Verfahren zum Ableiten medizinischer Größen aus einer Bildfolge medizinischer Bilddaten mit den Merkmalen von Anspruch 1, durch eine medizinische Vorrichtung mit den Merkmalen nach Anspruch 8 und durch ein Analysesystem mit den Merkmalen nach Anspruch 9.
-
Erfindungsgemäß werden bei der Aufzeichnung medizinischer Bilddaten über Videoaufnahmen mittels einer Kamera, welche als Einzelbilder einer Bildfolge gespeichert werden und wobei anhand dieser Einzelbilder medizinische Größen ermittelt und dargestellt werden, Metadaten aufgezeichnet und gespeichert, welche den Einzelbildern zuordenbar sind und aus denen Informationen über die Aufnahmebedingungen hervorgehen oder abgeleitet werden. Dadurch, dass Metadaten, welche Informationen über Größen der Aufnahmebedingungen enthalten, zur Verfügung stehen, können mögliche Fehler, welche sich aufgrund veränderter Aufnahmebedingungen bei der Auswertung ergeben, erkannt und/oder vermieden werden. Medizinische Größen auf die die Erfindung vorteilhaft anwendbar ist, sind vorzugsweise zeitabhängige Größen, wie der Blutfluss in Adern- oder Geweberegionen. Größen, die während der Zeit konstant bleiben, können immer aus den Bildern der Bildfolge abgeleitet werden, an denen die ersteingestellten Aufnahmebedingungen herrschen, die bekannt sind. Erst wenn Bilder der Bildfolge herangezogen werden müssen, zwischen denen sich die Aufnahmebedingungen geändert haben können, müssen mögliche Änderungen bekannt sein.
-
Es ist vorteilhaft, Metadaten bzw. Informationen über Änderungen der Aufnahmebedingungen zusammen mit der medizinischen Größe darzustellen. Dadurch kann die behandelnde oder untersuchende Person, der Arzt, Laborassistent, etc. sehen, in welchen Bereichen die medizinische Größe einen veränderten Verlauf aufgrund von veränderten Aufnahmebedingungen zeigt. So wird verhindert, dass die Bedienperson diesen veränderten Verlauf fälschlicherweise anderen Faktoren zuschreibt.
-
In einer weiteren vorteilhaften Ausführungsform werden Metadaten zum Ableiten medizinischer Größen herangezogen. Dadurch dass die aufgezeichneten Metadaten bei der Ableitung medizinischer Größen berücksichtigt werden, können Fehler, welche durch Änderungen der Aufnahmebedingungen entstehen würden, vermieden werden.
-
Vorteilhafterweise werden nur solche Einzelbilder der Bildfolge zur Auswertung herangezogen, bei deren Aufnahme dieselben Aufnahmebedingungen geherrscht haben. Dadurch ist sichergestellt, dass keine Fehler durch veränderte Aufnahmebedingungen bei der Ableitung medizinischer Größen gemacht werden.
-
In einer weiteren bevorzugten Ausführungsform gehen die Metadaten direkt in die Bestimmung der medizinischen Größen ein, die medizinischen Größen werden mit ihnen beaufschlagt. Dadurch können Fehler, die durch veränderte Aufnahmebedingungen entstehen können, vermieden werden und gleichzeitig alle Einzelbilder, auch Einzelbilder, welche unter unterschiedlichen Bedingungen aufgenommen wurden, genutzt werden.
-
Aufzuzeichnende Größen der Aufnahmebedingungen, welche als Metadaten abgespeichert werden sind vorzugsweise Daten, welche sich auf die Helligkeit der Bilddaten, d. h. auf die Intensität des aufgenommenen Signals auswirken. Helligkeitssprünge zwischen zwei Einzelbildern einer Bildfolge machen sich direkt als Sprünge in jeder medizinischen Größe bemerkbar, deren zeitlicher Verlauf über die Auswertung mehrere Einzelbilder einer Bildfolge hinweg bestimmt wird. Dies kann über die Erfindung entweder nachvollziehbar gemacht oder vermieden werden. Solche Daten können z. B. Verstärkungsfaktor oder Zoomfaktor der Kamera, Intensität der Lichtquelle, Abstand zwischen Objekt und Kamera, Stellung von optischen Blenden im Licht- oder Kamerastrahlengang oder Einschwenkpositionen von Filtern in den Aufnahmestrahlengang sein.
-
Weitere Daten, welche vorteilhaft als Metadaten aufgezeichnet werden können sind Daten, welche sich auf die Farbe der aufgezeichneten Bilddaten auswirken. Auch farbliche Veränderungen während der Aufnahme können zu verfälschten Ergebnissen führen, wenn sie nicht bei der Auswertung berücksichtigt werden. So kann z. B. das Einschwenken eines Farbfilters die Helligkeit der Bilddaten in einer bestimmten Farbe reduzieren. Wird eine Auswertung vorgenommen, welche farbabhängig ist, könnte dies zu fehlerhaften Ergebnissen führen, würden die Metadaten nicht berücksichtigt.
-
Vorzugsweise werden Metadaten zusammen mit Einzelbildern der Bildfolge bzw. der Bildfolge selbst abgespeichert. Bei der Auswertung der Bilddaten sind die Metadaten damit bereits den zugehörigen Einzelbildern zugeordnet. Dadurch kann der Arbeitsschritt Zuordnung von Einzelbildern und Metadaten entfallen. Vorzugsweise sind die Metadaten im Datei-Header abgelegt.
-
In einer weiteren vorteilhaften Ausführungsform sind die Metadaten in einer von den Einzelbildern separierten Datei abgespeichert. Vorzugsweise können hierbei auch nur die Metadaten der Einzelbilder gespeichert werden, bei denen sich die Aufnahmebedingungen ändern. Dadurch kann Speicherplatz gespart werden. Bilddaten und Metadaten müssen bei der Auswertung nicht getrennt werden. Die Zuordnung von Metadaten und Einzelbildern kann über parallel abgespeicherte Zeitmarken oder Bildindizes erfolgen.
-
Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus den Unteransprüchen im Zusammenhang mit der Beschreibung eines Ausführungsbeispiels, das anhand der Zeichnungen eingehend erläutert wird.
-
Es zeigen:
-
1 schematisch eine Vorrichtung zur Aufnahme und Auswertung medizinischer Bildfolgen,
-
2 schematisch einen Ablauf eines erfindungsgemäßen Verfahrens zur Bestimmung des Blutflusses und
-
3 beispielhafte Helligkeitskurven mit und ohne Berücksichtigung der Änderung der Aufnahmebedingungen.
-
Die 1 zeigt schematisch die wesentlichen Bestandteile einer erfindungsgemäßen medizinischen Vorrichtung, wie sie beispielsweise in einem Operationssaal in Verbindung mit einem Operationsmikroskop zum Einsatz kommen kann. Eine Optik 1, eines Operationsmikroskops bildet ein, von einer Lichtquelle 2 des Operationsmikroskops beleuchtetes Objekt 3, wie bspw. einen für eine Operation geöffneten Schädel eines Patienten auf eine Kamera 4 ab. Die Kamera 4, kann ebenfalls Bestandteil des Operationsmikroskops sein. Die von der Kamera 4 aufgenommenen Bilddaten werden an eine Recheneinheit 5 gegeben, an der sie ausgewertet werden. Die bei der Auswertung abgeleiteten medizinischen Größen werden dann, evtl. zusammen mit dem aufgenommen Bild an dem Bildschirm 6 dargestellt. Der Bildschirm 6 kann Bestandteil einer zentralen OP-Steuerung sein, er kann aber auch Bestandteil des Operationsmikroskops sein. Eine Steuereinheit 7 steuert die Helligkeit der Lichtquelle 2 sowie Vergrößerungsfaktor und Blende der Optik 1 und den Verstärkungsfaktor der Kamera 4. Darüber hinaus generiert die Steuereinheit 7 Metadaten, welche Aufschluss über Änderungen der Aufnahmebedingungen geben, welche auftreten, sobald die Steuereinheit 7 eine der zu steuernden Größen variiert. Diese Metadaten werden von der Steuereinheit 7 an die Recheneinheit 5 übergeben, an der sie den Bilddaten, welche von der Kamera 4 zur Recheneinheit 5 gegeben werden, zugeordnet werden. Metadaten und Bilddaten werden an der Recheneinheit 5 zumindest zwischengespeichert und ausgewertet. Bei der Auswertung werden die Metadaten in die Bilddaten eingerechnet. Die Resultate der Auswertung werden dann evtl. zusammen mit den Bilddaten an der Anzeigeeinheit 6 dargestellt.
-
Ein konkretes Beispiel für ein Verfahren, welches an den in der 1 beschriebenen Geräten durchgeführt werden kann um den Blutfluss aus den aufgenommenen Bilddaten zu bestimmen, wird nun anhand den 1 und 2 beschrieben. Zur Bestimmung des Blutflusses wird in eine Gewebe- und Adernregionen jeweils ein Chromophor, wie z. B. Indocyaningrün appliziert. Der Fluoreszenzfarbstoff bzw. das von ihm abgegebene Infrarot-Signal wird dann bei seiner Verbreitung im Gewebe oder entlang der Adern mittels der Kamera 4 beobachtet. Sobald der Fluoreszenzfarbstoff bzw. das Blut das ihn enthält an einem zu betrachtenden Objekt 3, wie bspw. einem Gefäßabschnitt, angekommen ist, steigt das Infrarotsignal und damit die Intensität des aufgenommenen Bildsignals stark an. Der Anstieg der Intensität bzw. Helligkeit in diesem Gefäßabschnitt gibt Aufschluss über den Blutfluss an diesem Ort. Zur quantitativen Bestimmung des Blutflusses wird deshalb die Veränderung der Helligkeit über die Zeit betrachtet und in Form einer Helligkeitskurve festgehalten. Das erfindungsgemäße Verfahren ist jedoch nicht darauf beschränkt. Es ist prinzipiell bei der Auswertung aller medizinischen Bilddaten besonders vorteilhaft einsetzbar, bei der ortsabhängige Größen von Objekten 3 abgeleitet werden, deren Erscheinungsbild sich über die Zeit ändert. Beispiele sind Messungen an pulsierenden Blutgefäßen oder am Herzen.
-
Im Falle einer Bestimmung des Blutflusses anhand der Aufnahmen eines Operationsmikroskops geschieht die Aufnahme der Daten durch eine Videokamera 4 im Infrarotbereich, welche bspw. an einem hier nicht dargestellten Operationsmikroskop angeordnet ist, bzw. Bestandteil dessen ist. Die aufgezeichneten Infrarot-Videos werden über eine Datenleitung 8 übertragen und in einem Datenspeicher 9 der Recheneinheit 5 ab- oder zwischengespeichert und mit Hilfe eines Videoplayers 10 in Einzelbilder 11 zerlegt. Alternativ besteht auch die Möglichkeit, die Bilder der Videokamera 4 direkt als Einzelbilder 11 aufzunehmen. Hierbei erwies sich eine Frequenz von mindestens fünf Einzelbildern 11 pro Sekunde als sinnvoll. Diese werden anschließend in einer Einzelbildkorrektur 12 korrigiert. Dabei werden Korrekturen des Randabfalls, des Dunkeloffsets oder von Nichtlinearitäten der Videokamera 4 unter Berücksichtigung der hierfür notwendigen Korrekturdaten 16 vorgenommen. Die Korrekturdaten 16 werden von der in der 1 gezeigten Kamera 4 ebenfalls über die Datenleitung 8 an die Recheneinheit 5 übertragen. Dort werden sie in die Bilddaten der Einzelbilder 11 eingerechnet. Die Daten der korrigierten Einzelbilder 11 werden dann in Form von komprimierten Binärdaten (bspw. Motion JPEG2000 Daten (MJ2)) oder in Form von unkomprimierten Binärdaten (bspw. Bitmap) abgelegt. In Form von unkomprimierten Binärdaten sind die Zugriffszeiten kürzer, die Auswertung erfolgt schneller.
-
Zur Auswertung von Bildfolgen werden die Einzelbilder 11 an die Algorithmen für die Helligkeitskorrektur 13 und die Bewegungskompensation 14 übergeben. Bei der Helligkeitskorrektur 13 werden z. B. die unterschiedlichen Verstärkungsfaktoren berücksichtigt, welche an der Kamera 4 während der Aufnahme des Videos eingestellt wurden, um die Kamera 4 an unterschiedlich starke Fluoreszenz des aufzunehmenden Objekts 3, also des Gewebe- oder Aderngebietes anzupassen. Diese werden an der Steuereinheit 7 während der Aufnahmen mitprotokolliert und als Metadaten 17 von der Steuereinheit 7 aus, vorzugsweise ebenfalls über die Datenleitung 8 an die Recheneinheit 5 übertragen. In den Metadaten 17 sind neben den verwendeten Verstärkungsfaktoren auch die Zeitpunkte enthalten, an denen sie geändert wurden. Verstärkungsfaktoren und Zeitpunkte werden an der Recheneinheit als Metadaten 17 in einer Datei gemeinsam abgelegt. Die Bilddaten der Einzelbilder 11, welche ebenfalls an der Recheneinheit 5 weiterverarbeitet werden, enthalten ebenfalls Informationen über die Zeitpunkte ihrer Aufnahme. Über die Korrelation der Zeitpunkte der Aufnahme der Bilddaten und der Zeitpunkte der Änderung der Metadaten können also die Metadaten 17 den Bilddaten der Einzelbilder 11 zugeordnet und mit den Einzelbildern 11 verrechnet werden. Dadurch sind die Bilddaten aller Einzelbilder 11 vergleichbar, selbst wenn sie unter sehr unterschiedlichen Aufnahmebedingungen aufgenommen wurden. Ihre Kombination ergibt nunmehr sinnvolle Ergebnisse.
-
Dennoch ist eine weitere Korrektur notwendig. Bei der Bewegungskompensation 14 werden die Positionen der aufgenommenen Einzelbilder 11 zur Deckung gebracht. Diese können aufgrund von Bewegungen der Aufnahmeeinheit, also der Optik 2 oder der Kamera 4 oder Bewegungen des aufzunehmenden Objektes 3 gegeneinander verschoben sein. Um diese Verschiebung korrigieren zu können, muss ein Verschiebungsvektor bestimmt werden. Dies geschieht indem, mittels eines Kantendetektionsverfahrens, Kantenbilder der Einzelbilder 11 erzeugt werden und immer Kantenbilder zweier, möglichst aufeinander folgender Einzelbilder 11 miteinander korreliert werden.
-
Nach den Korrekturen 13 und 14 kann die Helligkeitsbestimmung 15 erfolgen. Hierfür wird in einer Messbereichsfestlegung 18 zuerst die Position des Messbereiches festgelegt, für den der Blutfluss bestimmt werden soll. Dies kann ein Adern- oder Gewebeabschnitt sein. Er wird ausgewählt, indem die untersuchende oder behandelnde Person mit einer Maus, der Berührung des Touchscreens oder anderen bekannten Positionierverfahren eine Bildposition anwählt. Der Messbereich, innerhalb dessen dann die Auswertung erfolgen soll, bzw. dessen Bildpunkte für die Auswertung herangezogen werden, wird in einer Messbereichsfestlegung 18 definiert. Für jeden Bildpunkt dieses Messbereichs wird dann die Helligkeit bestimmt und anschließend wird der Mittelwert der Helligkeiten gebildet. Dieser Mittelwert gilt dann als für diesen Messbereich abgeleiteter Helligkeitswert und kann Aufschluss über den Blutfluss in diesem Bereich geben. Die Festlegung dieses Messbereichs kann auf unterschiedliche Arten erfolgen. Es kann ein Rechteck vorgegebener Größe um die Bildposition gelegt werden oder manuell ein Bereich definiert werden oder adaptiv automatisch mittels Objekterkennungsalgorithmen oder Kantendetektionsverfahren ein Ausschnitt des Objektes 3 in der Nähe oder an der Stelle der Bildposition als Messbereich festgelegt werden. Eine derartige Helligkeitsbestimmung 15 wird nun für eine festgelegte Bildfolge von Einzelbildern 11 vorgenommen. Das Ergebnis der Helligkeitsbestimmung 15 für alle Einzelbilder 11 einer Bildfolge ist eine Helligkeitskurve 19 als Funktion der Zeit.
-
An dieser kann der Einfluss der Helligkeitskorrektur 13 besonders gut gezeigt werden. Die Helligkeitskurve 19 ergibt nur eine stetige Kurve, wenn die Bilddaten der Einzelbilder 11 unter vergleichbaren Aufnahmebedingungen aufgenommen wurden, oder die Auswirkungen unterschiedlicher Aufnahmebedingungen in einer Helligkeitskorrektur 13 korrigiert wurden. Ein Beispiel dafür, wie unterschiedlich die Ergebnisse der Helligkeitsbestimmung 15 mit und ohne Berücksichtigung unterschiedlicher Aufnahmebedingungen, also mit und ohne Einbeziehung der Metadaten 17 sein können, ist in der 3 zu sehen. Diese zeigt Helligkeitskurven 19, also die Helligkeit eines Messbereichs über mehrere Einzelbilder 11, also über die Zeit aufgetragen und gibt somit Aufschluss über den Blutfluss an dem, dem Messbereich zugeordneten Ort des Objektes 3. In dieser Darstellung ist die obere, durchgezogene Kurve eine Helligkeitskurve 19, welche von Bilddaten von Einzelbildern 11 abgeleitet wurde, welche vorher mit Metadaten 17 korrigiert wurden. Die untere durchgezogene Kurve entspricht dagegen einer Helligkeitskurve 19, welche von unkorrigierten Bilddaten von Einzelbildern 11, also bei solchen, an denen keine Helligkeitskorrektur 13 vorgenommen wurde, abgeleitet wurde. Die gestrichelte Kurve zeigt den Verlauf des Verstärkungsfaktors während der Aufnahme. Hier ist klar zu sehen, dass ohne Helligkeitskorrektur 13 mit den Metadaten 17 die Helligkeitskurve 19 in den Bereichen, in denen sich der Verstärkungsfaktor ändert, Sprünge aufweist. Eine derartige Kurve eignet sich nicht zur Auswertung bzw. Diagnose durch die behandelnde oder untersuchende Person. Um ihr ein verlässliches Werkzeug zu geben muss das Verfahren eine Helligkeitskorrektur 13 anhand von Metadaten 17 enthalten, da nur diese einen stetigen Verlauf der Helligkeitskurve 19 erlaubt, sobald Veränderungen der Aufnahmebedingungen vorkommen können.
-
Nur so können verschiedene Helligkeitskurven 19 und/oder Helligkeiten aus Einzelbildern 11 in einer Auswertung 20 eine Vielzahl von Darstellungen 21, umfassend auch Einzelergebnisse, liefern. Diese können anschließend zusammen mit den Einzelbildern 11 am Bildschirm 6 dargestellt werden.
-
Bezugszeichenliste
-
- 1
- Optik
- 2
- Lichtquelle
- 3
- Objekt
- 4
- Kamera
- 5
- Recheneinheit
- 6
- Bildschirm
- 7
- Steuereinheit
- 8
- Datenleitung
- 9
- Datenspeicher
- 10
- Videoplayer
- 11
- Einzelbilder
- 12
- Einzelbildkorrektur
- 13
- Helligkeitskorrektur
- 14
- Bewegungskompensation
- 15
- Helligkeitsbestimmung
- 16
- Daten für Einzelbildkorrektur
- 17
- Metadaten
- 18
- Messbereichsfestlegung
- 19
- Helligkeitskurve
- 20
- Auswertung
- 21
- Darstellungen
