DE102017221924B3

DE102017221924B3 - Verfahren zur Fusionierung eines Analysedatensatzes mit einem Bilddatensatz, Positionierungseinrichtung und Computerprogramm

Info

Publication number: DE102017221924B3
Application number: DE102017221924.6A
Authority: DE
Inventors: Sebastian Schmidt; Philipp Hölzer
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2017-12-05
Filing date: 2017-12-05
Publication date: 2019-05-02
Anticipated expiration: 2037-12-06
Also published as: CN110060746A; US10872401B2; CN110060746B; US20190172188A1

Abstract

Die Erfindung betrifft insbesondere ein Verfahren zur Fusionierung eines dreidimensionalen Analysedatensatzes (2) einer einem Patienten entnommenen Gewebeprobe mit einem dreidimensionalen Bilddatensatz (1) des Patienten, wobei der Bilddatensatz (1) den Entnahmebereich, aus dem die Gewebeprobe entnommen wurde, vor der Entnahme zeigt, dadurch gekennzeichnet, dass zur Registrierung des Analysedatensatzes (2) mit dem Bilddatensatz (1)- ein in seiner Auflösung dem Bilddatensatz (1) entsprechender, dreidimensionaler Zwischendatensatz (3) ermittelt wird, indem- jedem Voxel des Analyaedatensatzes (2) mittels Strukturanalyse ein Gewebedatum zugeordnet wird, das eine Gewebeeigenschaft, die auf die Modalität des Bilddatensatzes (1) bezogen ist, beschreibt- anhand der Gewebedaten der Zwischendatensatz (3) durch Simulation eines Bildgebungsvorgangs der Modalität ermittelt wird, und- wobei die Auflösung, insbesondere bereits im Analysedatensatz, auf eine dem Bilddatensatzes entsprechende Auflösung reduziert wird, und- der Zwischendatensatz (3) mit dem Bilddatensatz (1) registriert wird,- wobei die so erhaltene Registrierungsvorschrift zur Fusionierung des Analysedatensatzes (2) und des Bilddatensatzes (1) verwendet wird.

Description

Die Erfindung betrifft ein Verfahren zur Fusionierung eines dreidimensionalen Analysedatensatzes einer einem Patienten entnommenen Gewebeprobe eines Patienten mit einem dreidimensionalen, den Entnahmebereich, aus dem die Gewebeprobe entnommen wurde, vor der Entnahme zeigenden Bilddatensatz des Patienten. Daneben betrifft die Erfindung eine Fusionierungseinrichtung und ein Computerprogramm.
Zur Erlangung genauerer Informationen bei Läsionen im menschlichen Körper, beispielsweise bei Tumoren, ist es bekannt, Gewebeproben aus dem Körper des Patienten zu entnehmen. Beispielsweise kann im Rahmen einer Biopsie der Tumor oder ein Teil davon chirurgisch entnommen werden. Dies kann im Rahmen eines chirurgischen Eingriffs und/oder eines minimalinvasiven Eingriffs, beispielsweise mit einer Hohlnadel, geschehen. Die entnommene Gewebeprobe kann anschließend, beispielsweise unter Verwendung eines Mikroskops, genauer untersucht werden, wobei eine Vielzahl von Färbeverfahren zur Verfügung stehen, die eine genaue Beurteilung des Gewebes ermöglichen. Gewebeproben können insbesondere im Fall von Tumoren sehr heterogen sein. Beispielsweise kann innerhalb eines Tumors gesundes Gewebe neben Adenom, Karzinom und Nekrose parallel existieren.
Zwar erreichen bildgebende Verfahren, beispielsweise die Computertomographie, die Magnetresonanzbildgebung und/oder die Ultraschallbildgebung, immer bessere Auflösungen, beispielsweise bis deutlich unter 1 mm Voxelgröße. Gerade hinsichtlich der Computertomographie als Modalität werden auch immer höher auflösende Röntgendetektoren entwickelt, beispielsweise direkt konvertierende Detektoren (auch als Photonen zählende Detektoren bekannt). Dennoch liegt die Auflösung noch immer um einen Faktor im Bereich von 100 bis 1000 unter der Auflösung der Lichtmikroskopie, die bei Entnahme einer Gewebeprobe angewendet werden kann.
Für einen Radiologen und/oder einen sonstigen Arzt kann es dennoch wünschenswert sein, die Ergebnisse der Analyse der Gewebeprobe im Kontext der zuvor umgebenden Anatomie wahrnehmen zu können, um weitergehende Schlussfolgerungen, insbesondere im Rahmen der Diagnose, zu ziehen, beispielsweise sich fortsetzende Kalzifizierungen und dergleichen. Beispielsweise kann als Ergebnis der Analyse der Gewebeprobe mittels Lichtmikroskopie ein Analysedatensatz (histologischer Datensatz) resultieren, der mit einem Bilddatensatz (radiologischer Datensatz) gemeinsam ortsrichtig positioniert dargestellt werden soll, um festzustellen, aus welcher Stelle im Bilddatensatz der Läsion die Gewebeprobe stammt, welche Umgebung sich darstellt und dergleichen. Hierzu ist nur bekannt, meist zweidimensionale Bildaufnahmen heranzuziehen, die während der Entnahme der Gewebeprobe, insbesondere der Biopsie, aufgenommen wurden, um eine Bildunterstützung zu realisieren. Gerade im Hinblick auf die bei Röntgenbildgebung zu begrenzende Strahlung und/oder bei anderen Modalitäten gewünschte schnelle Aufnahme sind intraoperative Bildaufnahmen meist von so schlechter Qualität, dass keine diagnostische Relevanz gegeben ist.
Vorgeschlagen wurde auch, Gewebeproben selbst durch Bildgebung, beispielsweise Röntgenbildgebung, zu untersuchen, um bestimmte Merkmale, beispielsweise Verkalkungen, aus einer Voruntersuchung wiederzufinden, wie dies beispielsweise für Mammographien beschrieben ist. Allerdings ist auch hier der Kontext zu einem vor der Entnahme der Gewebeprobe aufgenommene Bilddatensatz meist nicht mehr sinnvoll herstellbar.
Ein vorgehen zur multimodalen Fusion wird durch einen Artikel von. Eileen Hwuang et al., „Spectral embedding-based registration (SERg) for multimodal fusion of prostrate histology and MR1", Medical Imaging 2014: Image Processing, Vol. 9034, International Society for optics and Photonics, 2014, vorgeschlagen, wobei spektrale Einbettung zur Registrierung verwendet wird.
Der Erfindung liegt daher die Aufgabe zugrunde, eine Möglichkeit zur genauen Registrierung eines Analyeedatensatzes mit einem Bilddatensatz und somit zur Fusionierung der Datensätze anzugeben.
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1, eine Fusionierungseinrichtung mit den Merkmalen des Anspruchs 12 und ein Computerprogramm mit den Merkmalen des Anspruchs 13 gelöst.
Der Analysedatensatz enthält die Informationen aus der Analyse der Gewebeprobe, insbesondere Informationen aus lichtmikroskopischen Aufnahmen, die einen Hinweis auf die jeweiligen Gewebe in Bereichen der Gewebeprobe geben oder diese explizit beschreiben. Erfindungsgemäß wird nun vorgeschlagen, den dreidimensionalen Analysedatensatz in ein pseudoradiologisches Bild umzurechnen, indem die Auflösung auf die des Bilddatensatzes reduziert wird und zu jedem Voxel bestimmt wird, welche Eigenschaften dieses im radiologischen Bild hätte. Je nach Vorgehensweise kann es zweckmäßig sein, die Auflösung vor oder nach einer Eigenschaftszuordnung zu reduzieren, mithin kleinere Voxel zu einem größeren Voxel susammenfassen, dessen Größe der der Voxel des Bilddatensatzes entspricht, nachdem der Analysedatensatz üblicherweise deutlich höher räumlich aufgelöst aufgenommen wird als der dreidimensionale Bilddatensatz. Den Voxeln des Analysedatensatzes werden mithin für die Bildgebung mit der Modalität des Bilddatensatzes relevante Eigenschaften beziehungsweise, falls möglich, unmittelbar entsprechende Bildwerte zugeordnet, so dass ein Zwischendatensatz entsteht, der als pseudo-radiologischer Datensatz bezeichnet werden kann, welcher mit grundsätzlich bekannten Registrierungsverfahren mit dem dreidimensionalen Bilddatensatz registriert werden kann. Zusammenfassend wird also ein Zwischendatensatz erzeugt, welcher wie ein mit der Modalität des Bilddatensatzes aufgenommenes Bild wirkt, welches mithin die unmittelbare, robuste und hochgenaue Anwendung von Registrierungsalgorithmen, wie sie im Stand der Technik bekannt sind, erlaubt. Auf diese Weise wird eine hochgenaue Registrierung und somit eine qualitativ hochwertige Fusionierung erlaubt, die ein äußerst nützliches Hilfsmittel im Rahmen einer Befundung/Beurteilung des Analyseergebnisses der Gewebeprobe darstellt.
Dabei ist das hier vorgeschlagene Verfahren immer besser anwendbar, je mehr Voxel der Auflösung des Bilddatensatzes sich aus der Analyse der Gewebeprobe generieren lassen, so dass eine zweckmäßige Ausgestaltung vorsieht, dass die Gewebeprobe in wenigstens einer Ausdehnungsrichtung wenigstens das Zehnfache der Größe eines Voxels des Bilddatensatzes aufweist. Allgemein gesagt sollte die Gewebeprobe mithin deutlich größer als die minimale Ortsauflösung der Modalität des Bilddatensatzes sein, beispielsweise also 10 × 10 × 10 mm bei einer Ortsauflösung von 0,5 mm. Auf diese Weise können eine Vielzahl von Voxeln des Zwischendatensatzes erhalten werden, was eine verlässliche und robuste Registrierung unterstützt.
In einer konkreten Variante zur Ermittlung des Analysedatensatzes kann vorgesehen sein, dass die Gewebeprobe in Schichten verteilt wird, welche mikroskopisch untersucht werden. Dabei kann vor oder nach der Verteilung in (physikalische) Schichten, insbesondere im gefrorenen Zustand, auch eine Färbung zur Unterscheidung von Gewebearten erfolgen, wobei eine Vielzahl von Färbungstechniken bekannt ist. Lediglich beispielhaft seien die Hämatoxylin-Eosin-Färbungen, oft abgekürzt als HE-Färbung, und/oder die Immunmarkierung, bei der Antikörper verwendet werden, genannt. Zur Erzeugung von Schichten aus der Gewebeprobe kann beispielsweise ein Mikrotom verwendet werden, wobei beispielsweise 10 µm dicke Schichten der insbesondere gefrorenen Gewebeprobe erzeugt werden können. Diese Schichten können danach mit einem Lichtmikroskop untersucht werden, so dass digitale Schichtaufnahmen entstehen, welche anschließend zu dem dreidimensionalen Analysedatensatz fusioniert werden, indem die einzelnen digitalen Schichtaufnahmen übereinander gelegt werden. Der Analysedatensatz enthält dann folglich die Informationen aus den lichtmikroskopischen Aufnahmen.
Erfindungsgemäß ist vorgesehen, dass jedem Voxel des in seiner Auflösung bereits reduzierten Analysedatensatzes mittels Strukturanalyse ein eine Gewebeeigenschaft, die auf die Modalität des Bilddatensatzes bezogen ist, beschreibendes Gewebedatum zugeordnet wird und anhand der Gewebedaten der Zwischendatensatz durch Simulation eines Bildgebungsvorgangs der Modalität ermittelt wird. Während es grundsätzlich in manchen Fällen denkbar sein mag, unmittelbar einen Bildwert aus den Analysedaten des Analysedatensatzes heerzuleiten, beispielsweise im Fall der Computertomographie einen HU-Wert, ist dies in der Praxis und insbesondere auch bei anderen Modalitäten der medizinischen Bildgebung nicht zwangsläufig der Fall. Beispielsweise kann durch die Präparation der Gewebeprobe vor der Analyse eine Veränderung der Materialstruktur entstehen. Durch das Auswaschen der Gewebeprobe kann beispielsweise Fett durch Vakuolen ersetzt werden, die als Luft detektiert werden, aber ursprünglich keine Luft enthielten. Hier können komplexere Zuordnungsalgorithmen, insbesondere solche der künstlichen Intelligenz, eingesetzt werden, welche die Vakuolen, die durch das Auswaschen entstanden sind, strukturell erkennen und eine Fettzuordnung treffen können. Allgemein gesagt kann ein Zuordnungsalgorithmus also aufgrund von Struktureigenschaften im Analysedatensatz eine Zuordnung von Gewebedaten und/oder Bilddaten vornehmen. Die Nutzung von Gewebedaten und eine nachfolgende Simulation der Bildgebung sind insbesondere bei Modalitäten wie Ultraschall und Magnetresonanz zweckmäßig- Beispielsweise werden durch die Ultraschallbildgebung Impedanzsprünge akustischen Impedanz abgebildet, welche zunächst innerhalb der durch den Analysedatensatz beschriebenen Gewebe aufgefunden werden müssen.
Insbesondere werden im Fall von Gewebedaten jedem Voxel je nach Modalität entsprechende physikalische Eigenschaften zugeordnet, beispielsweise Strahlendichte, Relaxationszeiten, akustische Impedanzen und dergleichen. Hierfür kann, wie bereits erwähnt, ein Zuordnungsalgorithmus eingesetzt werden. Aus diesen physikalischen Eigenschaften, also den Gewebedaten, wird ein pseudo-radiologischer Datensatz, also der Zwischendatensatz, berechnet, indem die Physik der Bildgebung der jeweiligen Modalität simuliert wird, beispielsweise die Ultraschallreflektion, das Magnetresonanzverhalten und/oder die Strahlenschwächung.
Dabei sieht eine besonders bevorzugte Ausgestaltung der Erfindung vor, dass bei der Simulation Aufnahmeparameter, die bei der Aufnahme des Bilddatensatzes verwendet wurden, eingesetzt werden. Besonders zweckmäßig und zur Verbreiterung der Basis für eine Registrierung kann dann, wenn der Bilddatensatz mehrere Bilder, die mit unterschiedlichen Aufnahmeparametern aufgenommen wurden, umfasst, Zwischenbilder des Zwischendatensatzes für alle Sätze von Aufnahmeparametern durch die Simulation ermittelt werden. Werden verschiedene, auch bei der Aufnahme des Bilddatensatzes herangezogene Aufnahmeparameter für die Simulation berücksichtigt, um verschiedene Zwischenbilder zu erhalten, existieren mehr Datenpunkte für die Registrierung, da die jeweils zusammengehörigen Zwischenbilder und Bilder des Bilddatensatzes miteinander registriert werden können. Unterschiedliche Aufnahmeparameter können bei der Magnetresonansbildgebung beispielsweise verschiedene Arten von Magnetresonanzsequenzen sein (T1-gewichtet, T2-gewichtet, etc.), bei der Computertomographie verschiedene spektrale Bilder (Dual Energy-CT, spektrale CT, ...) und dergleichen. Insgesamt führt die Berücksichtigung der Aufnahmeparameter, mit denen der Bilddatensatz aufgenommen wurde, dazu, dass eine besonders gute Vergleichbarkeit und somit Möglichkeit zur Registrierung besteht.
Eine weitere, besonders bevorzugte Ausführungsform in diesem Kontext sieht vor, dass die Zuordnung mittels eines Zuordnungsalgorithmus der künstlichen Intelligenz erfolgt, der mittels registrierter Analysedatensätze und Bilddatensätze durch maschinelles Lernen trainiert wurde. Die Zuordnung von Gewebedaten (oder auch Bilddaten) erfolgt mithin bevorzugt über einen trainierbaren Zuordnungsalgorithmus der künstlichen Intelligenz, beispielsweise ein neuronales Netz, welches vorher mit histologischen und radiologischen Daten von Gewebeproben trainiert wurde. In besonderem Hinblick auf strukturelle Veränderungen während der Präparation der Gewebeprobe hat sich die Verwendung derartiger, Zusammenhänge selbst erschließender Zuordnungsalgorithmen der künstlichen Intelligenz als nützlich erwiesen.
Eine vorteilhafte Weiterbildung sieht ferner vor, dass wenigstens ein Teil der Ermittlung des Zwischendatensatzes und/oder der Registrierung durch Texturanalyse erfolgt. Konkret kann in diesem Zusammenhang vorgesehen sein, dass durch Texturanalyse die Textur des insbesondere bereits auflösungsreduzierten Analysedatensatzes beschreibende Texturdaten ermittelt und bei der Zuordnung von Bilddaten und/oder Gewebedaten berücksichtigt werden und/oder die Registrierung durch Vergleich von Texturen des Bilddatensatzes mit der Textur des Zwischendatensatzes erfolgt. Typische Metriken innerhalb der Texturanalyse, die als Texturdaten herangezogen werden können, umfassen die mittlere Intensität, die maximale Intensität, die minimale Intensität, die Uniformität, die Entropie (Regularität der Graustufenverteilung), die Standardabweichung eines Histogramms der jeweiligen Daten, die „Skewness“ (Asymmetrie des Histogramms), die Kurtosis (Flachheit des Histogramms), die Entropie im Sinne der Zufälligkeit der Matrix, die Energie/das zweite Winkelmoment (Voxelwiederholung/Regelmäßigkeit und Maße der „Co-Occurrence Matrix“), Unähnlichkeitsmaße (Maß, wie unterschiedlich jedes Element in der Matrix ist), Korrelationsmaße (Messung linearer Abhängigkeiten in den jeweiligen Daten), Maße für die Textur in einer spezifischen Richtung („Run-Length-Matrix”), Nachbarschafts-Graustufen-Differenzmatrixen (räumliche Beziehung zwischen drei oder mehr Voxeln), Kontrastwerte (Zahl der lokalen Variationen innerhalb des Datensatzes), Körnigkeit (Maß für die Kantendichte), Maße der räumlichen Rate der Grauwertveränderung („Busyness“), Heterogenität (Maße der Anwesenheit von Kanten), Maße der nicht-Gleichförmigkeit („Neighboring Grey-Level Dependence Matrix“) und dergleichen. Solche Texturdaten erlauben eine hervorragende Charakterisierung der Textur, insbesondere im Hinblick auf die Zuordnung von Bilddaten und/oder Gewebedaten, sowie einen hervorragenden Vergleich von Texturen, beispielsweise, um eine vergleichbare Textur zu der Textur des Zwischendatensatzes in den Bilddatensatz auffinden zu können.
Dabei sei noch darauf hingewiesen, dass es im Rahmen der vorliegenden Erfindung auch möglich ist, die inhärente Rauschtextur sowohl des Mikroskops als auch der bildgebenden Modalität zu charakterisieren und zu berücksichtigen, insbesondere durch Entferne nder jeweiligen Rauschtexturen in dem Analysedatensatz und/oder dem Bilddatensatz.
Der Abgleich der Textur des Zwischendatensatzes mit den Texturen des Bilddatensatzes erfolgt bevorzugt patchweise. Dabei sei darauf hingewiesen, dass insbesondere zur Erkennung der Entnahmeposition, mithin, des Ortes im Bilddatensatz, an den die Gewebeprobe gehört, ebenso zweckmäßigerweise Registrierungsalgorithmen der künstlichen Intelligenz eingesetzt werden können, wobei insgesamt als Algorithmen der künstlichen Intelligenz im Rahmen der vorliegenden Erfindung Support Vector Machines, bayesische Klassifikatoren, Entscheidungsbäume, neuronale Netzwerke, Deep Belief Networks sowie sonstige Techniken der künstlichen Intelligenz und des maschinellen Lernens eingesetzt werden können, beispielsweise Deep Residual Learning, Reinforcement Learning, k-Means Clustering, Inductive Programming und dergleichen.
Zusammenfassend stellt also insbesondere hinsichtlich der Registrierung die Texturanalyse eine nützliche Erweiterung dar, wobei die Texturanalyse bevorzugt zusätzlich im noch nicht auflösungsreduzierten Analysedatensatz eingesetzt werden kann, um eine Zuordnung vorzunehmen, beispielsweise ehemals fettgefüllte Vakuolen zu erkennen und dergleichen. Bei der Nutzung der Texturdaten im Hinblick auf die Zuordnung von Bilddaten und/oder Gewebedaten wird mithin bevorzugt im ursprünglichen dreidimensionalen Analysedatensatz auf die ursprünglichen Voxel, die zu einem größeren Voxel zusammenzufassen sind, abgestellt.
Es sei an dieser Stelle noch angemerkt, dass bei der Auflösungsreduzierung grundsätzlich bekannte Möglichkeiten eingesetzt werden können, beispielsweise Mittelwertbildungen, sonstige statistische Analysen und/oder die Zuordnung des am meisten vorkommenden Gewebetyps zum großen Voxel.
In einer bevorzugten Ausgestaltung kann zur Registrierung zunächst eine Grobpositionierung des Analysedatensatzes zu dem Bilddatensatz unter Verwendung von bei der Entnahme der Gewebeprobe aufgenommenen, intraoperativen Zusatzbildern, die mit dem Bilddatensatz registriert sind, vorgenommen werden, wobei die Grobposition als Ausgangspunkt für die Registrierung verwendet wird. Mit besonderem Vorteil können also intraoperative Zusatzbilder, beispielsweise zweidimensionale Fluoroskopiebilder, die mit dem Bilddatensatz registriert sind, herangezogen werden, um die Entnahmeregion zunächst grob einzugrenzen, wonach die Feinregistrierung des Zwischendatensatzes mit dem Bilddatensatz durchgeführt wird. Dabei wird die Verlässlichkeit und Robustheit der Registrierung weiter erhöht.
Vorteilhaft ist es ferner, wenn bei Röntgenbildgebung, insbesondere Computertomographie, als Röntgendetektor zur Aufnahme des Bilddatensatzes ein direkt konvertierender Detektor und/oder ein in einem die Gewebeprobe enthaltenden Gebiet durch höhere Strahlendosis höhere Auflösung erlaubendes Aufnahmeprotokoll verwendet wird. Besonders vorteilhaft in der Computertomographie ist die Verwendung eines direkt konvertierenden Detektors, also eines Photonen zählenden Detektors. Dieser wirkt sich besonders günstig aus, weil zum einen die Auflösung höher ist, wovon die Registrierung profitiert, zum anderen aber eine spektrale Trennung zur Verfügung steht, die es ermöglicht, Grenzen unterschiedlicher Gewebetypen besser zu kontrastieren. Hierbei kann zweckmäßigerweise ein Aufnahmeprotokoll zum Einsatz kommen, welches lokal im Bereich der Läsion/Gewebeprobe eine höhere Strahlendosis verwendet, um eine höhere Auflösung zu erlauben; bei der Reduzierung der Auflösung des Analysedatensatzes ist hierbei selbstverständlich mit der Auflösung des Bilddatensatzes im Entnahmebereich bei unterschiedlichen Auflösungen über den Bilddatensatz zu arbeiten.
In einer Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass die Fusion durch Überlagerung erfolgt und/oder bei einer Darstellung des als Ergebnis der Fusionierung erhaltenen Fusionsdatensatzes eine Zoomfunktion bereitgestellt wird und/oder vor der Fusionierung eine Reformatierung des Analysedatensatzes zur Anpassung an eine Visualisierungsart, insbesondere eine Schnittebene, des Bilddatensatzes erfolgt. Der Fusionsdatensatz wird zweckmäßigerweise abschließend oder zu einem späteren Zeitpunkt dargestellt, wobei eine Überlagerung von histologischen Analysedaten mit den radiologischen Bilddaten besonders zweckmäßig ist, so dass dem Betrachter, insbesondere einem Befunder, beides gemeinsam dargestellt wird. Eine Zoomfunktion ist zweckmäßig, um in die Darstellung hineinzoomen zu können. Da das histologische Bild als dreidimensionaler Analysedatensatz vorliegt, kann es reformatiert werden, beispielsweise im Rahmen einer multiplanaren Reformation, um die Sichtlage dem dargestellten Bild des Bilddatensatzes anzupassen.
Neben dem Verfahren betrifft die Erfindung auch eine Fusionierungseinrichtung zur Fusionierung eines dreidimensionalen Analysedatensatzes einer einem Patienten entnommenen Gewebeprobe eines Patienten mit einem dreidimensionalen, den Entnahmebereich, aus dem die Gewebeprobe entnommen wurde, vor der Entnahme zeigenden Bilddatensatz des Patienten. Eine erfindungsgemäße Fusionierungseinrichtung weist eine Steuereinrichtung auf, die zur Durchführung eines Verfahrens der erfindungsgemäßen Art eingerichtet ist. Die Fusionierungseinrichtung kann dabei die Bildaufnahmeeinrichtung zur Aufnahme des Bilddatensatzes und/oder die Analysevorrichtung zur Aufnahme des Analysedatensatzes sein und/oder Teil von wenigstens einer dieser Vorrichtungen bilden. Die Steuereinrichtung weist zweckmäßig eine Zwischendatensatz-Ermittlungseinheit zur Ermittlung des Zwischendatensatzes aus dem Analysedatensatz, eine Registrierungseinheit zur Registrierung des Zwischendatensatzes mit dem Bilddatensatz und eine Fusionierungseinheit zur Fusionierung des Analysedatensatzes und des Bilddatensatzes aufgrund der ermittelten Registrierungsvorschrift auf. Zur Realisierung weiterer Ausgestaltungen des Verfahrens können selbstverständlich weitere Einheiten vorhanden sein, beispielsweise eine Darstellungseinheit und/oder als Subeinheiten der Zwischendatensatz-Ermittlungseinheit eine Zuordnungseinheit und/oder eine Auflösungsreduzierungseinheit und/oder eine Simulationseinheit.
Ein erfindungsgemäßes Computerprogramm ist beispielsweise direkt in einen Speicher einer Steuereinrichtung einer Fusionierungseinrichtung ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in der Steuereinrichtung der Fusionierungseinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, der mithin darauf gespeicherte elektronische Steuerinformationen umfasst, welche zumindest ein beschriebenes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Steuereinrichtung einer Fusionierungseinrichtung ein erfindungsgemäßes Verfahren durchführen. Bei dem erfindungsgemäßen Datenträger handelt es sich insbesondere um einen nicht transienten Datenträger, beispielsweise eine CD-ROM.
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:

1 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
2 eine mögliche Darstellung eines Fusionsdatensatzes, und
3 eine erfindungsgemäße Fusionierungseinrichtung.

1 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, bei dem ein Bilddatensatz 1, der hier ein Computertomographie-Datensatz (CT-Datensatz) ist und mit einer Computertomographieeinrichtung als Bildaufnahmeeinrichtung aufgenommen wurde, und ein Analysedatensatz 2 einer Gewebeprobe des Patienten, die nach der Aufnahme des Bilddatensatzes 1 entnommen wurde, fusioniert werden sollen. Der Bilddatensatz 1 wurde dabei unter Verwendung eines direkt konvertierenden Detektors als Röntgendetektor und eines Aufnahmeprotokolls, welches eine höhere Strahlungsstärke im Bereich der Läsion, zu der die Gewebeprobe gehört, erlaubt, aufgenommen wurde. Der Bilddatensatz 1 ist mithin wenigstens im Entnahmebereich, aus dem nachfolgend die Gewebeprobe entnommen wurde, hochauflösend, wobei die Auflösung dennoch deutlich niedriger ist als die des Analysedatensatzes 2, der beispielsweise durch Zerteilung der Gewebeprobe mittels eines Mikrotoms, Anwendung histologischer Färbeverfahren und Lichtmikroskopie mittels eines Mikroskops ermittelt wurde. Die Gewebeprobe ist dennoch deutlich größer als die Ausdehnung der Voxel des Bilddatensatzes 1, die die bestmögliche Ortsauflösung definieren. Der Analysedatensats 2 kann beispielsweise mittels einer Analysevorrichtung ermittelt worden sein, mit der das Zerteilen in unterschiedliche Schichten, das Färbeverfahren und die Lichtmikroskopie umgesetzt werden können, so dass der dreidimensionale Analysedatensatz 2 durch Übereinanderlegen. der Information aus der Mikroskopie der Schichten ermittelt wird.
Im Rahmen des hier beschriebenen Fusionierungsverfahrens soll nun zunächst ein Zwischendatensats 3 aus dem Analysedatensatz 2 ermittelt werden, dessen Zwischendaten mit der Modalität des Bilddatensatzes 1, hier also der Computertomographie, aufgenommenen Bilddaten entsprechen. Dazu erfolgt zunächst in einem Schritt S1 eine Auflösungsreduzierung des Analysedatensatzes 2 auf die Auflösung im Entnahmegebiet des Bilddatensatzes 1, wobei den so entstehenden größeren Voxeln jeweils Gewebedaten zugeordnet werden, die es in einem Schritt S2 erlauben, durch Simulation des Bildgebungsvorgangs der Computertomographie den Zwischendatensatz 3 zu ermitteln. Die Zuordnung der Gewebedaten erfolgt dabei mittels eines Zuordnungsalgorithmus der künstlichen Intelligenz, der aus den Analysedaten eines größeren, aus mehreren kleineren Voxeln des Analysedatensatzes 2 zusammengefassten Voxeln entsprechende Gewebedaten, die für die Modalität des Bilddatensatzes 1 relevant sind, zuordnet. Hierbei können insbesondere auch Texturdaten einer Texturanalyse, die vor der Auflösungsreduzierung vorgenommen wurde, in Betracht gezogen werden; in jedem Fall ist es zweckmäßig, wenn durch den Zuordirungsalgorithmus eine Strukturanalyse irgendeiner Art erfolgt, da dann beispielsweise durch Präparation der Gewebeprobe eingetretene Veränderungen, beispielsweise das Ersetzen von Fett durch luftgefüllte Vakuolen, erkannt und korrekt behandelt werden können. Die Strukturanalyse kann auch auf andere Art als eine Texturanalyse erfolgen, wobei letztere jedoch bevorzugt eingesetzt wird.
Bei der Auflösungsreduzierung werden grundsätzlich bekannte statistische Vorgehensweisen angewandt, in einer einfachen Ausführungsform beispielsweise eine Mittelwertbildung über enthaltene Gewebeklassen bzw. die Zuordnung der am häufigsten vorkommenden Gewebeklasse und der entsprechenden Gewebedaten.
Damit liegen im Schritt S2 die Informationen vor, die benötigt werden, um die Bildgebung zu simulieren, was im Fall der Computertomographiebildgebung bei bekannter Gewebeart in einem Voxel relativ unmittelbar erfolgen kann, da beispielsweise den Gewebearten, die durch die Gewebedaten beschrieben sein können, unmittelbar HU-Werte, mithin Bilddaten, zugeordnet sein können; selbstverständlich sind jedoch auch virtuelle Projektionen und dergleichen einsetzbar. Das hier beschriebene Verfahren lässt sich selbstverständlich auch auf Bilddatensätze 1 anderer Modalitäten, insbesondere der Magnetresonanz und/oder der Ultraschallbildgebung, anwenden, wobei hier gegebenenfalls aufwändigere Simulationen im Schritt S2 auftreten können.
In einem Schritt S3 erfolgt dann die Registrierung des Zwischendatensatzes 3 mit dem Bilddatensatz 1, wobei diese vorliegend in zwei Schritten erfolgt. Zunächst wird das Vorhandensein von Zusatzbildern, die zur Bildunterstützung der Entnahme der Gewebeprobe aufgenommen wurden, ausgenutzt, nachdem in diesen Zusatzbildern, die zudem mit den Bilddatensatz 1 registriert sind, grob zu erkennen ist, wo die Gewebeprobe entnommen wurde, so dass eine erste Grobpositionierung in einem ersten Subschritt des Schrittes S3 erfolgt. Ausgehend von dieser Grobpositionierung erfolgt dann die Feinregistrierung mit grundsätzlich bekannten Registrierungsalgorithmen.
Dabei sei an dieser Stelle noch darauf hingewiesen, dass die Aufnahmeparameter, die zur Aufnahme des wenigstens einen Bildes des Bilddatensatzes 1 verwendet wurden, auch im Schritt S2 bei der Simulation der Bildgebung zum Erhalt des Zwischendatensatzes 3 berücksichtigt wurden, so dass eine hervorragende Vergleichbarkeit des Zwischendatensatzes 3 und des Bilddatensatzes 1 vorliegt, die die Registrierung vereinfacht. Ferner liegt für jedes Bild des Bilddatensatzes 1, das mit unterschiedlichen Aufnahmeparametern aufgenommen wurde, auch ein entsprechendes Zwischenbild des Zwischendatensatzes 3 vor.
Eine konkrete Variante der Registrierung im Schritt S3 kann ebenso durch Texturanalyse realisiert werden. Hierbei wird die Textur des Zwischendatensatzes 3 durch Texturdaten beschrieben, wobei die entsprechende Textur des Zwischendatensatzes 3 patchweise mit Texturen des Bilddatensatzes 1 verglichen wird, um eine Übereinstimmung festzustellen. Auch hier kann ein Registrierungsalgorithmus der künstlichen Intelligenz eingesetzt werden, beispielsweise ein neuronales Netz.
Ergebnis des Schrittes S3 ist eine Registrierungsvorschrift, die im Schritt S4 verwendet wird, um den Analysedatensatz 2 und den Bilddatensatz 1 zu einen Fusionsdatensatz 4 zu fusionieren. Dabei erfolgt bevorzugt eine Überlagerung, so dass ein Betrachter die histologischen Informationen und die radiologischen Informationen gleichzeitig betrachten kann.
Eine mögliche Darstellung 5 ist in 2 schematisch dargestellt. An der Entnahmestelle 6, die durch die Registrierung im Schritt S3 aufgefunden wurde, sind in die radiologischen Informationen 7 des Bilddatensatzes 1 die histologischen Informationen 8 des Analysedatensatzes 2 eingefügt. Eine bereitgestellte Zoomfunktion ermöglicht ein näheres Betrachten der Entnahmestelle 6 und der dort überlagerten Informationen 7, 8. Nachdem der Analysedatensatz 2 dreidimensional ist, lässt sich durch entsprechende Reformationstechniken eine auf die entsprechenden Schichten des dreidimensionalen Bilddatensatzes 1 angepasste Darstellung erzeugen, beispielsweise durch multiplanare Reformation (MPR).
3 zeigt schließlich eine Prinzipskizze einer erfindungsgemäßen Fusionierungseinrichtung 9, die eine Steuereinrichtung 10 umfasst, welche zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Hierzu kann die Steuereinrichtung 10 unter anderem eine Zwischendatensatz-Ermittlungseinheit 11, eine Registrierungseinheit 12 und eine Fusionierungseinheit 13 zur Durchführung der jeweiligen Schritte aufweisen. Die Fusionierungseinrichtung 9 kann als Teil einer Bildaufnahmeeinrichtung und/oder einer Analyseeinrichtung realisiert sein.

Claims

Verfahren zur Fusionierung eines dreidimensionalen Analysedatensatzes (2) einer einem Patienten entnommenen Gewebeprobe mit einem dreidimensionalen Bilddatensatz (1) des Patienten, wobei der Bilddatensatz (1) den Entnahmebereich, aus dem die Gewebeprobe entnommen wurde, vor der Entnahme zeigt, dadurch gekennzeichnet, dass zur Registrierung des Analysedatensatzes (2) mit dem Bilddatensatz (1) ein in seiner Auflösung dem Bilddatensatz (1) entsprechender, dreidimensionaler Swischendatensatz (3) ermittelt wird, indem - jedem Voxel des Analysedatensatzes (2) mittels Strukturanalyse ein Gewebedatum zugeordnet wird, das eine Gewebeeigenschaft, die auf die Modalität des Bilddatensatzes (1) bezogen ist, beschreibt, anhand der Gewebedaten der Zwischendatensatz (3) durch Simulation eines Bildgebungsvorgangs der Modalität ermittelt wird, und - wobei die Auflösung, insbesondere bereits im Analysedatensatz, auf eine dem Bilddatensatzes entsprechende Auflösung reduziert wird, und der zwischendatensatz (3) mit de Bilddatensatz (1) registriert wird, - wobei die so erhaltene Registrierungsvorschrift zur Fusionierung des Analysedatensatzes (2) und des Bilddatensatzes (1) verwendet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Gewebeprobe in wenigstens einer Ausdehnungsrichtung wenigstens das Zehnfache der Größe eines Voxels des Bilddatensatzes (1) aufweist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Ermittlung des Analysedatensatzes (2) die Gewebeprobe in Schichten zerteilt wird, welche mikroskopisch untersucht werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Simulation Aufnahmeparameter des Bilddatensatzes (1) verwendet werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei einem mehrere Bilder, die mit unterschiedlichen Aufnahmeparametern aufgenommen wurden, umfassenden Bilddatensatz (1) Zwischenbilder des Zwischendatensatzes (3) für alle Sätze von Aufnahmeparametern ermittelt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Zuordnung mittels eines Zuordnungsalgorithmus der künstlichen Intelligenz erfolgt, der mittels registrierten Analysedatensätzen und Bilddatensätzen durch maschinelles Lernen trainiert wurde.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Teil der Ermittlung des Zwischendatensatzes (3) und/oder der Registrierung durch Texturanalyse erfolgt.
verfahren nach Anspruch 7, dadurch gekennzeichnet, dass durch Texturanalyse die Textur des Analysedatensatzes (2) beschreibende Texturdaten ermittelt und bei der Zuordnung von Bilddaten und/oder Gewebedaten berücksichtigt werden und/oder die Registrierung durch Vergleich von Texturen des Bilddatensatzes (1) mit der Textur des Zwischendatensatzes (3) erfolgt.
verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Registrierung zunächst eine Grobpositionierung des Analysedatensatzes (2) zu dem Bilddatensatz (1) unter Verwendung von bei der Entnahme der Gewebeprobe aufgenommenen, intraoperativen Zusatzbildern, die mit dem Bilddatensatz (1) registriert sind, vorgenommen wird, wobei die Grobposition als Ausgangspunkt für die Registrierung verwendet wird.
verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei Röntgenbildgebung, insbesondere Computertomographie, als Röntgendetektor zur Aufnahme des Bilddatensatzes (1) ein direkt konvertierender Detektor und/oder ein in einem die Gewebeprobe enthaltenden Gebiet durch höhere Strahlendosis höhere Auflösung erlaubendes Aufnahmeprotokoll verwendet wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Fusion durch Überlagerung erfolgt und/oder bei einer Darstellung (5) des als Ergebnis der Fusionierung erhaltenen Fusionsdatensatzes (4) eine Zoomfunktion bereitgestellt wird und/oder vor der Fusionierung eine Reformatierung des Analysedatensatzes (2) zur Anpassung an eine Visualisierungsart, insbesondere eine Schnittebene, des Bilddatensatzes (1) erfolgt.
Fusionierungseinrichtung (9), aufweisend eine zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche ausgebildete Steuereinrichtung (10).
Computerprogramm, welches die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 durchführt, wenn es auf einer Steuereinrichtung (10) einer Fusionierungseinrichtung (9) ausgeführt wird.