-
Die Erfindung betrifft ein Verfahren zur Ermittlung eines dreidimensionalen Modelldatensatzes eines wenigstens ein Gefäßsegment umfassenden Blutgefäßsystems eines Patienten.
-
Insbesondere zur Planung und Überwachung von Kathetereingriffen ist es vorteilhaft, ein dreidimensionales Modell eines Blutgefäßsystems eines Patienten zu nutzen. Eine solche dreidimensionale Darstellung soll meist aus mehreren zweidimensionalen Bildaufnahmen, insbesondere Röntgenaufnahmen, rekonstruiert werden. Prinzipiell wäre es dabei möglich, aus mehreren zweidimensionalen Projektionsbildern, die von Gefäßen, insbesondere bei Gabe von Kontrastmittel, aufgenommen sind, eine 3D-Darstellung zu berechnen. Im klinischen Alltag sind an eine Bildgebung des Blutgefäßsystems jedoch zusätzliche Anforderungen zu stellen. So sollen Bilder typischerweise innerhalb eines kleinen Rotationsbereichs eines C-Bogensystems aufgenommen werden, um den klinischen Arbeitsfluss nicht zu stören. Zur Dosisreduktion soll zudem die Anzahl der aufgenommenen Projektionsbilder soweit wie möglich eingeschränkt werden. Die Aufnahme des Blutgefäßsystems ist zudem dadurch erschwert, dass sich Gefäße im Herzbereich stark bewegen. Durch eine Auswahl von Projektionsbildern aus einer bestimmten Herzphase, das sogenannte EKG-Gating, kann die Bewegung zwar nahezu eingefroren werden, es bleiben jedoch kleinere Varianzen in der 3D-Position bestehen. Zudem wird durch ein solches EKG-Gating die Anzahl der für eine Rekonstruktion verfügbaren Projektionsbilder reduziert.
-
Unter den genannten Voraussetzungen ist eine tomographische Bildkonstruktion typischerweise nicht möglich. Als Alternative hierzu werden symbolische 3D-Rekonstruktionen genutzt. Zur Erstellung einer derartigen symbolischen 3D-Rekonstruktion werden durch einen Nutzer zunächst manuell geeignete 2D-Projektionsbilder ausgewählt und in den ausgewählten Projektionsbildern manuell einzelne Gefäße segmentiert. Nach einer Grobvorgabe einer geschätzten Gefäßmittellinie durch einen Benutzer, wird durch eine Recheneinrichtung eine exakte Mittellinie ermittelt. Danach werden mit Hilfe der Segmentierung die zugehörigen Gefäßkanten gefunden und Gefäßradien zu dieser Mittellinie berechnet.
-
Zur Bestimmung einer 3D-Mittellinie und eines 3D-Gefäßdurchmessers für ein einzelnes Gefäßsegment, also beispielsweise einen Abschnitt des Gefäßes zwischen zwei Abzweigungen bzw. Bifurkationen im Gefäßsystem, werden automatisch in den Projektionsbildern Landmarken detektiert, diese zwischen verschiedenen Projektionsbildern registriert und zusätzlich Informationen über die jeweiligen Aufnahmegeometrien der Projektionsbilder genutzt.
-
Die manuelle Segmentierung der Projektionsbilder sowie die Vorgabe einer ungefähren Gefäßmittellinie für ein relevantes Gefäß sind relativ aufwendig. Zudem sind der automatischen Detektion von Landmarken im beschriebenen Verfahren enge Grenzen gesetzt, so dass nur einzelne, kurze Gefäßsegmente rekonstruiert werden können.
-
Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren zur Ermittlung eines dreidimensionalen Modelldatensatzes eines Gefäßsystems anzugeben, das eine automatisierte Segmentierung des Gefäßsystems ermöglicht und mit dem insbesondere 3D-Modelldatensätze von Blutgefäßsystemen erstellt werden können, die mehrere Gefäßsegmente umfassen.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren der eingangs genannten Art gelöst, das die folgenden Schritte umfasst:
- a) Aufteilen der Projektionsbilder in jeweils wenigstens einen Bildpunkt umfassende Bildbereiche,
- b) Bestimmen eines Merkmalsvektors, der wenigstens Bilddaten wenigstens des dem Merkmalsvektor zugeordneten Bildbereichs und/oder in Abhängigkeit dieser Bilddaten berechnete Berechnungsdaten umfasst, für jeden der Bildbereiche,
- c) Bestimmen einer Klassifikationsinformation, die eine Zugehörigkeit des jeweiligen Bildbereichs zu einem gemäß anatomischer Vorgabedaten, insbesondere gemäß einem anatomischen Atlas, definierten Gefäßsegment des Blutgefäßsystems oder eine Nichtzugehörigkeit zu dem Blutgefäßsystem beschreibt, für jeden der Bildbereiche durch Anwenden einer Klassifikationsfunktion auf den dem Bildbereich zugeordneten Merkmalsvektor, wobei die Klassifikationsfunktion durch an wenigstens einer von dem Patienten unterschiedlichen Person gewonnene, mit Klassifikationsinformationen annotierte Trainingsdatensätze trainiert wurde,
- d) Segmentieren des Blutgefäßsystems in den Projektionsbildern durch Gruppieren von Bildbereichen mit gleicher Klassifikationsinformation,
- e) Berechnen des dreidimensionalen Modelldatensatzes in Abhängigkeit der segmentierten Projektionsbilder und der Klassifikationsinformationen.
-
Erfindungsgemäß wird vorgeschlagen, eine Segmentierung der Projektionsbilder durch Nutzung einer lernbasierten Klassifikationsfunktion durchzuführen. Es ist also vorgesehen, dass eine Klassifikationsfunktion durch maschinelles Lernen trainiert wird, um einzelnen Bildbereichen Klassifikationsinformationen zuzuweisen, die beschreiben, welches von mehreren vorgegebenen Gefäßsegmenten ein bestimmter Bildbereich zeigt, bzw. ob er überhaupt ein Gefäßsegment zeigt. Entgegen herkömmlichen Ansätzen zur automatischen Segmentierung von Bildaufnahmen erfolgt die Segmentierung also nicht ausschließlich aufgrund von lokalen Bildmerkmalen, beispielsweise eines besonders hohen Gradienten im Bild, sondern es wird zunächst eine Klassifikation einzelner Bildbereiche aufgrund von komplexen Merkmalskombinationen durchgeführt und eine Segmentierung erfolgt anschließend durch Auswertung, welcher von verschiedenen Klassifikationen ein bestimmter Bildbereich zugeordnet ist.
-
Mit diesem erfindungsgemäßen Vorgehen wird erreicht, dass eine Berechnung eines dreidimensionalen Modelldatensatzes ausgehend von zweidimensionalen Projektionsbildern im Wesentlichen vollautomatisch möglich ist.
-
Projektionsbilder können im erfindungsgemäßen Verfahren insbesondere Röntgenaufnahmen sein, die durch einen C-Bogen erfasst wurden. Zur Rekonstruktion eines dreidimensionalen Modelldatensatzes sind wenigstens zwei Projektionsbilder erforderlich, die vorteilhaft über einen Winkelbereich von wenigstens 30° aufgenommen worden sind. Um Störungen aufgrund einer Bewegung des Blutgefäßsystems zwischen den Bildaufnahmen zu minimieren, können die Projektionsbilder vorteilhaft während der gleichen Herzphase aufgenommen sein. Vorzugsweise können zusätzlich zu den Projektionsbildern EKG-Daten aufgenommen werden. Somit ist ein retrospektives Gating möglich, bei dem Projektionsbilder einer bestimmten Herzphase, insbesondere der Endsystole oder der Enddiastole, zur Weiterverarbeitung ausgewählt werden. Alternativ kann die Bildaufnahme über ein EKG getriggert werden. Alternativ ist es auch möglich, die Projektionsbilder zu beliebigen Herzphasen aufzunehmen und beispielsweise aufgrund von Kantenschärfen im Bild auf eine Bewegungsunschärfe und damit auf eine Herzphase zurückzuschließen.
-
Alternativ ließe sich das erfindungsgemäße Verfahren auch für andere medizinische Messverfahren nutzen, die Projektionsbilder eines Blutgefäßsystems bereitstellen. Beispielsweise können die Projektionsbilder in einem Emissionstomographiesystem mit einer Blende vor einem Detektor erfasst werden, so dass durch den Detektor ausschließlich nahezu senkrecht einfallende Strahlung erfasst wird.
-
Bei den Bildbereichen kann es sich insbesondere um jeweils einzelne Bildpunkte oder Gruppen von benachbarten Bildpunkten handeln. Insbesondere werden die Bildbereiche so gewählt, dass die Bildbereiche nicht überlappen. Vorteilhaft ist jeder Bildpunkt des Projektionsbildes Teil wenigstens eines Bildbereichs. Die verschiedenen Bildbereiche können insbesondere die gleiche Größe bzw. die gleiche Bildpunktzahl aufweisen. Alternativ ist es auch möglich, Bildbereiche in Abhängigkeit von Vorberechnungen zu bestimmen. Beispielsweise können durch eine Segmentierung vorangehend in Abhängigkeit eines Bildkonstrasts insbesondere konvexe Bildbereiche gewählt werden, für die anschließend Klassifikationsinformationen bestimmt werden.
-
Die Klassifikationsfunktion bildet im erfindungsgemäßen Verfahren insbesondere einen sogenannten Mehrklassenklassifikator aus, da die Klassifikationsfunktion bestimmt, ob ein jeweiliger Bildbereich zu einem von mehreren gemäß anatomischer Vorgabedaten, insbesondere gemäß einem anatomischen Atlas, definierten Gefäßsegmenten eines Blutgefäßsystems gehört bzw. ob er nicht zum Blutgefäßsystem gehört. Der Ausgabewert der Klassifikationsfunktion ist eine von mehreren, d. h. insbesondere mehr als zwei, Klassifikationsinformationen, d. h. die Klassifikationsinformation kann die Bildbereiche in, insbesondere mehr als zwei, Klassen unterteilen.
-
Ein Mehrklassenklassifikator kann durch mehrere binäre Klassifikatoren, die jeweils das Zutreffen der Aussage, ob ein bestimmter Bildbereich zu einem bestimmten Gefäßsegment des Blutgefäßsystems gehört oder nicht, überprüfen, gebildet sein. Insbesondere kann jeder der binären Klassifikatoren eine Wahrscheinlichkeit für ein Zutreffen der jeweiligen Klassifizierungsinformation, eine Signifikanz oder Ähnliches ausgeben, womit eine Mehrklassenklassifikation in Abhängigkeit der entsprechenden Informationen der mehreren binären Klassifikatoren erfolgen kann.
-
Die Klassifikationsfunktion kann eine Klassifizierung in Abhängigkeit einer Vielzahl schwacher Kriterien, die auch Basisklassifikatoren oder „weak learner“ genannt werden, bestimmen. Jedes dieser schwachen Kriterien wertet eines oder mehrere Merkmale aus, die im Merkmalsvektor enthalten sind oder aus diesem abgeleitet sind, und bestimmt, inwieweit dieses Merkmal dem schwachen Kriterium entspricht. Die verschiedenen schwachen Kriterien können im Rahmen der Klassifikationsfunktion auf vielfältige Weise kombiniert werden. Beispielsweise können Entscheidungsbäume aus schwachen Kriterien aufgebaut werden, es können die Auswertungen mehrerer schwacher Kriterien statistisch verknüpft werden, bestimmte Klassifikationsinformationen können in Abhängigkeit einer Untergruppe schwacher Kriterien bereits vor einer endgültigen Bestimmung der Klassifikationsinformation ausgeschlossen werden oder Ähnliches. In Abhängigkeit der konkreten Implementierung können sehr viele, beispielsweise einige Hundert oder gar einige Tausend schwache Kriterien ausgewertet werden und es ist eine Vielzahl von Verknüpfungen für die Auswertungsergebnisse möglich.
-
Ein Vorteil einer Klassifizierung durch Verfahren des Maschinenlernens ist es, dass auch schwache Kriterien im Rahmen der Zuordnung der Klassifikationsinformation zu dem Merkmalsvektor nutzbar sind, bei denen nicht intuitiv erkennbar ist, dass sie ein Kriterium bilden, mit dem Bildbereiche bestimmten Gefäßsegmenten zuordenbar sind.
-
Ein schwaches Kriterium kann das Kriterium der „vesselness“ sein, das vom A. F. Frangi eingeführt wurde (vgl. A. F. Frangi et al., „Multiscale vessel enhancement filtering", Medical Image Computing and Computer Assisted Intervention – MICCAI´98, Notes in computer science, vol. 1496, 1998, Seite 130 ff.). Eine hohe „vesselness“ beschreibt, dass in analysierten Bilddaten mit hoher Wahrscheinlichkeit ein röhrenförmiges Objekt dargestellt ist. Andere schwache Kriterien können Mittelwerte des Bildbereichs oder anderer Abschnitte der Bilddaten an einer vorgegebenen Position bezüglich des Bildbereichs, Gradienten entsprechender Bereiche, Varianzen von Gruppen von Bildpunkten, Intensitätsverteilungen, beispielsweise einer Wavelet-Transformation der Bilddaten, oder Ähnliches auswerten. Die auszuwertenden Merkmale können rotationsinvariant sein oder nicht. Die Merkmale können stark lokal sein, beispielsweise relative Intensitäten benachbarter Pixelgruppen beschreiben, oder es kann sich um globale Merkmale, beispielsweise um eine statistische Auswertung der Intensitätsverteilung im Gesamtbild oder das Ergebnis einer Transformation des Projektionsbildes, handeln.
-
Im Rahmen der Klassifikationsfunktion kann auch eine Lage des Bildbereichs bezüglich erkannter Organe oder weiterer Gefäßsegmente ausgewertet werden. Dies ist insbesondere vorteilhaft möglich, wenn die Klassifikationsfunktion mehrstufig ist, also zunächst beispielsweise eine erste Klassifizierung erfolgt, die durch eine weitere Klassifizierung bestätigt, verworfen oder angepasst wird.
-
Da die Klassifikationsfunktion explizit eine Zuordnung des Merkmalsvektors zu einer Klassifikationsinformation und damit zu einem bestimmten Gefäßsegment ausgibt, ist eine anschließende Segmentierung problemlos dadurch möglich, dass insbesondere zusammenhängende Bildbereiche, die die gleiche Klassifikationsinformation aufweisen, gruppiert und als ein Segment betrachtet werden.
-
Somit ermöglicht das erfindungsgemäße Verfahren eine Segmentierung des Blutgefäßsystems in den Projektionsbildern vollautomatisch durchzuführen. Die Klassifikationsinformation kann zusätzlich genutzt werden, um die Registrierung zwischen den verschiedenen Projektionsbildern zu verbessern und/oder um zu bestimmen, Bilddaten welcher Projektionsbilder zur Berechnung der Eigenschaften eines bestimmten Gefäßsegments herangezogen werden. Zudem ermöglicht sie die Nutzung von Vorwissen aus medizinischen Atlanten bei der Bestimmung von Parametern von Gefäßsegmenten. Beispielsweise kann berücksichtigt werden, dass der Durchmesser eines Gefäßsegments stets in Richtung ostial nach distal im Durchmesser abnimmt.
-
Vorteilhaft werden im erfindungsgemäßen Verfahren zusätzlich zu den Bilddaten des dem Merkmalsvektor zugeordneten Bildbereichs bzw. der in Abhängigkeit von diesen Bilddaten berechneten Berechnungsdaten weitere Informationen in den Merkmalsvektor aufgenommen, die durch die Klassifikationsfunktion auswertbar sind. Derartige für eine Klassifikation relevante Informationen können insbesondere das unmittelbare Umfeld des Bildbereichs bzw. die globale Umgebung des Bildbereichs in den Projektionsbildern betreffen. Es ist daher vorteilhaft, wenn der Merkmalsvektor zusätzlich zumindest Teile der Bilddaten wenigstens eines weiteren der Bildbereiche, der dem Merkmalsvektor nicht zugeordnet ist, und/oder in Abhängigkeit dieser Bilddaten berechnete weitere Berechnungsdaten umfasst. Insbesondere kann der Merkmalsvektor die gesamten Bilddaten jenes Projektionsbildes umfassen, das den dem Merkmalsvektor zugeordneten Bildbereich umfasst und/oder aus diesen Bilddaten berechnete Berechnungsdaten. Ergänzend oder alternativ können auch Bilddaten weiterer Projektionsbilder oder in Abhängigkeit dieser berechnete Berechnungsdaten in den Merkmalsvektor aufgenommen werden.
-
Die Zuverlässigkeit und Schnelligkeit der Zuordnung von Klassifikationsinformationen kann weiter verbessert werden, wenn der Merkmalsvektor zusätzlich das Blutgefäßsystem oder dessen Abbildung beschreibende Zusatzinformationen umfasst. Insbesondere kann die Zusatzinformation eine Aufnahmegeometrie wenigstens des Projektionsbildes beschreiben, das den dem Merkmalsvektor zugeordneten Bildbereich umfasst. Vorteilhaft werden Aufnahmegeometrien aller Projektionsbilder als Zusatzinformationen in den Merkmalsvektor aufgenommen, deren Daten der Merkmalsvektor zumindest teilweise umfasst bzw. aus deren Daten Werte berechnet wurden, die der Merkmalsvektor umfasst. Die Aufnahmegeometrie des Projektionsbildes beschreibt insbesondere den Aufnahmewinkel. Eine weitere Zusatzinformation zur Aufnahmegeometrie kann die Position des Patienten bezüglich der Aufnahmeeinrichtung sein.
-
Ergänzend oder alternativ kann die Zusatzinformation Patienteninformationen umfassen, die das Alter und/oder das Geschlecht und/oder ein das Blutgefäßsystem betreffendes Krankheitsbild und/oder eine Größe und/oder ein Gewicht des Patienten beschreiben. Durch entsprechende Patienteninformationen sind bereits Vorinformationen über eine wahrscheinliche Ausbildung des Blutgefäßsystems bekannt, die im Rahmen der Klassifikationsfunktion genutzt werden können.
-
Durch das erfindungsgemäße Verfahren kann insbesondere der Modelldatensatz eines Blutgefäßsystems mit wenigstens zwei Gefäßsegmenten berechnet werden, wobei den Gefäßsegmenten unterschiedliche Klassifikationsinformationen zugeordnet werden. Insbesondere können durch die Zuordnung bestimmter Bildbereiche zu bestimmten Gefäßsegmenten Blutgefäßsysteme mit einer oder mehreren Abzweigungen, d. h. Blutgefäßsysteme, die Bifurkationen umfassen, automatisch segmentiert und modelliert werden.
-
Als Modelldatensatz kann im erfindungsgemäßen Verfahren insbesondere ein Modelldatensatz bestimmt werden, der einen dreidimensionalen Verlauf wenigstens einer Mittellinie des Gefäßsegments und einen Gefäßdurchmesser an mehreren Punkten des Gefäßsegments beschreibt. Für Blutgefäßsysteme, die Bifurkationen aufweisen, kann für jedes Gefäßsegment eine Mittellinie berechnet werden und der Gefäßdurchmesser entlang der mehreren Mittellinien kann bestimmt werden.
-
Insbesondere kann zur Ermittlung des dreidimensionalen Verlaufs der Mittellinie in mehreren der Projektionsbilder jeweils wenigstens eine Projektionsmittellinie des jeweiligen Gefäßsegments ermittelt werden, wonach die Mittellinie aus den Projektionsmittellinien in Abhängigkeit von in den Projektionsbildern erkannten anatomischen Landmarken ermittelt wird. Zusätzlich oder alternativ kann im Rahmen der Ermittlung eine als Zusatzinformationen bereitgestellte Aufnahmegeometrie der Projektionsbilder berücksichtigt werden. Da die unterschiedlichen Bildbereiche der Projektionsbilder im erfindungsgemäßen Verfahren bestimmten Gefäßsegmenten zugeordnet sind, können Bifurkationen besonders leicht erkannt werden. Insbesondere können bereits in einem einzelnen Projektionsbild Bifurkationen von sich kreuzenden Gefäßsegmenten des Blutgefäßsystems unterschieden werden.
-
Durch die Zuordnung einer Klassifikationsinformation können für die Gefäßsegmente zudem Zusatzinformationen eines anatomischen Atlas genutzt werden. Durch diese zusätzlichen Informationen ist es insbesondere möglich, Mittellinien der Gefäßsegmente in den Projektionsbildern vollständig automatisch zu bestimmen. Aus den derart bestimmten Mittellinien der einzelnen Gefäßsegmente in den einzelnen Projektionsbildern kann anschließend eine dreidimensionale Mittellinie für das gesamte Blutgefäßsystem bestimmt werden.
-
Als Landmarken können insbesondere Verzweigungen des Blutgefäßsystems genutzt werden. Eine Zuordnung der Landmarken verschiedener Projektionsbilder zueinander kann in Abhängigkeit von der Klassifikationsinformation der im Bereich der Landmarken liegenden Bildbereiche erfolgen. Insbesondere können Bifurkationen durch die Zuordnung der verschiedenen Klassifikationsinformationen zu den unmittelbar an sie angrenzenden Bildbereichen in den verschiedenen Projektionsbildern jeweils eindeutig erkannt und die in den verschiedenen Projektionsbildern erkannten Bifurkationen können einander eindeutig zugeordnet werden. Somit liegen in jedem der Projektionsbilder vorteilhaft eine Vielzahl von Landmarken vor, womit eine besonders einfache und zuverlässige Registrierung der Projektionsbilder bzw. der in den einzelnen Projektionsbildern abgebildeten Gefäßsegmente zueinander möglich ist.
-
Die Klassifikationsfunktion kann im erfindungsgemäßen Verfahren wenigstens zwei Klassifikationsunterfunktionen umfassen, durch die in Abhängigkeit des Merkmalsvektors jeweils ein Zwischenergebnis bereitgestellt wird, wonach die Klassifikationsinformation aus dem Zwischenergebnis einer oder mehrerer der Klassifikationsunterfunktionen bestimmt wird. Die Klassifikationsunterfunktionen können insbesondere jeweils separat mit Trainingsdatensätzen trainiert werden. Die einzelnen Klassifikationsunterfunktionen können zusätzlich Konfidenzwerte ausgeben, die Wahrscheinlichkeiten, Signifikanzen oder Ähnliches für ein Zwischenergebnis beschreiben. Umfasst das Zwischenergebnis, aus dem die Klassifikationsinformation bestimmt wird, entsprechende statistische Informationen, so kann als Klassifikationsinformation das Zwischenergebnis mit dem höchsten Konfidenzwert ausgewählt werden. Alternativ können auch mehrere Zwischenergebnisse in Abhängigkeit der entsprechenden Werte gewichtet berücksichtigt werden, um die Klassifikationsinformation zu bestimmen.
-
Die Klassifikationsunterfunktionen können verschiedenartig zusammenwirken, um die Klassifikationsinformation bereitzustellen. So können Merkmale des Merkmalsvektors oder aus diesen Merkmalen abgeleitete Merkmale genutzt werden, um zu bestimmen, welche von mehreren Klassifikationsunterfunktionen ausgeführt wird, um die Klassifikationsinformation zu bestimmen. Beispielsweise können verschiedene Klassifikationsunterfunktionen für unterschiedliche Aufnahmewinkel, unterschiedliche Krankheitsbilder der Patienten, das Geschlecht der Patienten, unterschiedliche Größenbereiche der Patienten oder Ähnliches vorgesehen sein.
-
Wie bereits eingangs erläutert können auch mehrere binäre Klassifikatoren als Klassifikationsunterfunktionen herangezogen werden um gemeinsam einen Multiklassenklassifikator bereitzustellen.
-
Die Klassifikationsunterfunktionen können seriell abgearbeitet werden. Eine erste Klassifikationsunterfunktion kann einen Merkmalsvektor mit einem Zwischenergebnis anreichern, das innerhalb einer weiteren Klassifikationsunterfunktion berücksichtigt wird. Alternativ oder ergänzend kann eine zweite durchgeführte Klassifikationsunterfunktion in Abhängigkeit des Zwischenergebnisses einer ersten Klassifikationsunterfunktion gewählt werden.
-
Es ist auch möglich, dass eine erste Klassifikationsunterfunktion bereits gewisse Gruppen von Merkmalsvektoren aussortiert, denen eine bestimmte Klassifikationsinformation zugeordnet wird, wobei die weiteren Merkmalsvektoren von folgenden Klassifikationsunterfunktionen weiterverarbeitet werden. Beispielsweise kann eine erste Klassifikationsunterfunktion Bildbereiche erkennen, in denen sich künstliche Gegenstände wie Schläuche, Scheren oder Ähnliches befinden und den entsprechenden Bildbereichen die Klassifikationsinformation zuordnen, dass sie nicht zum Blutgefäßsystem gehören. Den folgenden Klassifikationsunterfunktionen werden nur noch Merkmalsvektoren bereitgestellt, die Bildbereichen zugeordnet sind, die keine derartigen Drittgegenstände abbilden. Somit können als derartige Klassifikationsunterfunktionen auch Klassifikatoren genutzt werden, die eine hohe Fehlerkennung von Drittgegenständen als Gefäßsegmente aufweisen, da entsprechende Merkmalsvektoren bereits vorher aussortiert sind.
-
Klassifikationsunterfunktionen können ergänzend oder alternativ auch parallel genutzt werden, wobei ein Merkmalsvektor mehreren der Klassifikationsunterfunktionen zugeführt wird und die jeweiligen Zwischenergebnisse anschließend zu einem gemeinsamen Zwischenergebnis zusammengefasst werden, indem beispielsweise das Ergebnis mit der höchsten Wahrscheinlichkeit bzw. Signifikanz ausgewählt wird oder die einzelnen Zwischenergebnisse statistisch verknüpft werden.
-
Die genannten Verknüpfungsmöglichkeiten der Klassifikationsunterfunktionen lassen sich offensichtlich vielfältig kombinieren. Insbesondere kann die Klassifikationsfunktion oder wenigstens eine der Klassifikationsunterfunktionen die Struktur eines oder mehrerer Entscheidungsbäume aufweisen. Die Klassifikationsfunktion oder wenigstens eine der Klassifikationsunterfunktionen kann beispielsweise einen Random Forest Algorithmus, seltener auch Zufallswaldalgorithmus genannt, nutzen, der mehrere unkorrelierte Entscheidungsbäume aufweist. Als Ergebnis der Klassifikationsfunktion bzw. Klassifikationsunterfunktion wird in diesem Fall die Klassifikationsinformation bzw. das Zwischenergebnis bereitgestellt, das von den meisten der unkorrelierten Entscheidungsbäume als Ergebnis bereitgestellt wurde.
-
Im erfindungsgemäßen Verfahren kann wenigstens ein Merkmalsvektor eines der Trainingsdatensätze Bilddaten einer zweidimensionalen Abbildung umfassen, die aus einem dreidimensionalen Bilddatensatz oder aus einem zwei- oder dreidimensionalen Simulationsdatensatz generiert wurde. Insbesondere können aus einem oder mehreren annotierten CT-Datensätzen annotierte 2D Projektionen berechnet werden. Es ist auch möglich, durch die Nutzung eines anatomischen Atlas und die Simulation einer Bildgebung simulierte Bilddatensätze zu generieren.
-
Für eine Bestimmung eines möglichst exakten Gefäßdurchmessers ist es vorteilhaft, wenn die Mittellinie eines Gefäßsegments im Wesentlichen in der Bildebene des Projektionsbildes liegt. Zudem sollten Verdeckungen des Gefäßsegments durch andere Gefäßsegmente oder andere überlagernde Objekte wie Knochen oder Ähnliches vermieden werden. Daher ist es vorteilhaft, wenn zumindest ein Teildatensatz des Modelldatensatzes ausschließlich aus einer Teilmenge der Projektionsbilder berechnet wird, die in Abhängigkeit der Klassifikationsinformation oder wenigstens einer der Klassifikationsinformationen, die jeweils wenigstens einem der Bildbereiche zugeordnet ist oder sind, ausgewählt wird. Somit können bestimmte Informationen des Modelldatensatzes, insbesondere der Verlauf einer Gefäßmittellinie und/oder der Gefäßdurchmesser nur aus jenen Projektionsbildern berechnet werden, für die, beispielsweise durch Nutzung von Vorinformationen eines anatomischen Atlas, bestimmt wurde, dass das Gefäßsegment bzw. der relevante Teil des Gefäßsegmentes nicht verdeckt ist und/oder dass die Mittellinie des Gefäßsegmentes im Wesentlichen in der Bildebene liegt. Vorteilhaft wird hierzu eine die Aufnahmegeometrie des jeweiligen Projektionsbilds beschreibende Zusatzinformation berücksichtigt.
-
Insbesondere kann der Modelldatensatz eines Blutgefäßsystems mit wenigstens zwei Gefäßsegmenten berechnet werden, wobei zur Berechnung der die jeweiligen Blutgefäßsegmente beschreibenden Teildatensätze unterschiedliche Teilmengen der Projektionsbilder verwendet werden. Die Teilmengen werden insbesondere in Abhängigkeit der anatomischen Vorgabedaten ausgewählt.
-
Es ist möglich, dass in einzelnen Projektionsbilder keine ausreichend klare und eindeutige Bestimmung von Klassifikationsinformationen möglich ist, womit diese Projektionsbilder das Berechnen des dreidimensionalen Modelldatensatzes stören können. Es ist daher möglich, dass für jeden der Bildbereiche zusätzlich ein Konfidenzwert bestimmt wird, der eine Zuverlässigkeit der Zuordnung der Klassifikationsinformation beschreibt, wonach aus den Konfidenzwerten ein Gesamtkonfidenzwert für das Projektionsbild bestimmt wird, wonach nur Bilddaten von Projektionsbildern bei der Berechnung des Modelldatensatzes berücksichtigt werden, für die der Gesamtkonfidenzwert einen vorgegebenen Grenzwert übersteigt. Alternativ oder ergänzend ist es möglich, Projektionsbilder oder Bildbereiche bereits dann nicht bei der Berechnung des Modelldatensatzes zu berücksichtigen, wenn der Konfidenzwert eines einzelnen Bildbereichs unterhalb eines vorgegebenen weiteren Grenzwertes liegt.
-
Im erfindungsgemäßen Verfahren kann der Merkmalsvektor zusätzlich jeweils wenigstens Bilddaten eines Projektionsbildes umfassen, die den dem Merkmalsvektor zugeordneten Bildbereich nicht umfassen. Insbesondere kann der Merkmalsvektor Bilddaten von Projektionsbildern umfassen, deren Aufnahmewinkel dem Aufnahmewinkel des Projektionsbildes, das den entsprechenden Bildbereich umfasst, unmittelbar benachbart ist. Alternativ oder ergänzend kann der Merkmalsvektor Bilddaten eines weiteren Projektionsbildes umfassen, das in einem im Wesentlichen senkrecht zum Aufnahmewinkel des entsprechenden Projektionsbildes aufgenommenen Aufnahmewinkel aufgenommen wurde. Durch Berücksichtigung dieser Bilddaten kann insbesondere besonders gut zwischen einer Bifurkation des Blutgefäßsystems und einem Überlappen von mehreren Gefäßsegmenten des Blutgefäßsystems im Projektionsbild unterschieden werden.
-
Neben dem Verfahren betrifft die Erfindung eine Recheneinrichtung, insbesondere eine Recheneinrichtung einer medizinischen Untersuchungseinrichtung, die zur Ausführung des erfindungsgemäßen Verfahrens ausgebildet ist.
-
Zudem betrifft die Erfindung ein Computersoftwareprodukt, das bei einer Ausführung auf einer Recheneinrichtung dazu ausgebildet ist, ein erfindungsgemäßes Verfahren durchzuführen.
-
Weitere Vorteile und Einzelheiten ergeben sich aus den folgenden Ausführungsbeispielen sowie den zugehörigen Zeichnungen. Dabei zeigen schematisch:
-
1 ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
-
2 ein Ablaufdiagramm des Trainierens einer Klassifikationsfunktion für das erfindungsgemäße Verfahren, und
-
3 ein Beispiel für die Struktur einer Klassifikationsfunktion im erfindungsgemäßen Verfahren.
-
1 zeigt ein Ausführungsbeispiel eines Verfahrens zur Ermittlung eines dreidimensionalen Modelldatensatzes eines wenigstens ein Gefäßsegment umfassenden Blutgefäßsystems eines Patienten. In Schritt S1 werden als vorbereitender Schritt mit einer bildgebenden Erfassungseinrichtung, nämlich einer Röntgeneinrichtung mit einem C-Bogen, mehrere Projektionsbilder eines Blutgefäßsystems eines Patienten aus verschiedenen Aufnahmewinkeln aufgenommen. Insbesondere wird ein Kontrastmittel während der Aufnahme des Blutgefäßsystems genutzt. Die Aufnahmewinkel der Projektionsbilder werden derart gewählt, dass ein Winkelbereich von wenigstens 30° durch die Projektionsbilder abgedeckt wird. Die Aufnahme wird durch eine Synchronisation der Aufnahmen zu einem EKG-Signal derart getriggert, dass alle Aufnahmen zu der gleichen Herzphase, insbesondere während der Endsystole oder der Enddiastole, erfolgen. Es wird eine Herzphase gewählt, in der eine geringe Bewegung im Blutgefäßsystem, auch im zum Herzen benachbarten Bereich, zu erwarten ist.
-
In Schritt S2 werden die im Verfahren genutzten Projektionsbilder ausgewählt. Im einfachsten Fall können im Verfahren alle in Schritt S1 aufgenommenen Projektionsbilder genutzt werden. Es ist jedoch auch möglich, in Schritt S2 Projektionsbilder, die einen geringen Kontrast oder eine große Bewegungsschärfe aufweisen, zu verwerfen. Die Auswahl einzelner Projektionsbilder zur Weiterverarbeitung ist insbesondere dann zweckmäßig, wenn in Schritt S1 keine Triggerung der Aufnahme durch ein EKG-Signal erfolgt ist. In diesem Fall können in Schritt S2 die Projektionsbilder einer gewissen Herzphase, zum Beispiel durch eine Auswertung der erfassten Bewegungsunschärfe, ausgewählt werden. Es kann also ein retrospektives Gating der Projektionsbilder erfolgen.
-
Die Projektionsbilder werden in Schritt S3 in Bildbereiche aufgeteilt. Im einfachsten Fall kann jeder Bildpunkt des jeweiligen Projektionsbildes einen separaten Bildbereich darstellen. Da die folgende Verarbeitung der Projektionsbilder jedoch relativ rechenaufwendig ist, ist es möglich, dass Bildbereiche auch mehrere Bildpunkte umfassen, so dass die folgende Klassifizierung und Segmentierung mit einer niedrigeren Auflösung erfolgt als die Bildpunktauflösung der Projektionsbilder.
-
In einer alternativen Ausführungsform des Verfahrens wäre es möglich, in Schritt S3 bereits eine Vorsegmentierung vorzusehen, die die einzelnen Projektionsbilder in Bereiche mit im Wesentlichen gleichen Kontrastwerten aufteilt. Zusätzlich können bei der Vorsegmentierung Zusatzbedingungen an die Form der Bildbereiche, beispielsweise dass diese konvex sind, berücksichtigt werden. Bei einer entsprechenden Vorsegmentierung ist es möglich, bereits Bereiche mehrerer zusammenhängender Bildpunkte zu bestimmen, bei denen davon auszugehen ist, dass sie voraussichtlich gleich klassifiziert werden.
-
Parallel zu den Schritten S1 bis S3 werden in Schritt S4 Rückschlüsse auf voraussichtliche Eigenschaften des Blutgefäßsystems und/oder von dessen Abbildung in den Projektionsbildern erlaubende Zusatzinformationen bereit gestellt. Diese umfassen Informationen zur Abbildungsgeometrie der Projektionsbilder, insbesondere einen Aufnahmewinkel, Informationen zur Position des Patienten bezüglich eines der Erfassungseinrichtung zugeordneten Koordinatensystems sowie Informationen über den Patienten selbst, die Prognosen über die Ausbildung des Blutgefäßsystems erlauben. Die Patienteninformationen können dabei insbesondere Informationen über das Geschlecht, das Alter, die Größe, das Gewicht und für das Blutgefäßsystem relevante Krankheitsbilder des Patienten sein. So kann beispielsweise ein Bluthochdruck zu Verformungen des Blutgefäßsystems führen. Eine spätere Klassifizierung kann anhand dieser Zusatzinformationen erleichtert sein.
-
In Schritt S5 wird für jeden der zu klassifizierenden Bildbereiche ein Merkmalsvektor generiert. Der Merkmalsvektor umfasst Informationen zur Zuordnung des Bildbereichs zu einem der Projektionsbilder, die Position des Bildbereichs innerhalb des Projektionsbildes, Bildinformationen des Projektionsbildes, Bildinformationen von Projektionsbildern mit benachbartem Aufnahmewinkeln sowie relevante Zusatzinformationen, insbesondere die Aufnahmegeometrie des jeweiligen Projektionsbildes sowie Patienteninformationen.
-
In Schritt S6 wird jedem der Merkmalsvektoren und somit jedem der Bildbereiche eine Klassifikationsinformation zugeordnet, die eine Zugehörigkeit des jeweiligen Bildbereichs zu einem gemäß eines anatomischen Atlas definierten Gefäßsegment des Blutgefäßsystems oder einer Nichtzugehörigkeit zu dem Blutgefäßsystem beschreibt. Hierzu wird der Merkmalsvektor durch eine Klassifikationsfunktion verarbeitet, die den Merkmalsvektor auf eine entsprechende Klassifikationsinformation abbildet.
-
Die Klassifikationsfunktion nutzt ein Maschinenlernen, das heißt, die Klassifikationsfunktion wird mit Hilfe von annotierten Trainingsdaten trainiert. Die Klassifikationsfunktion kann zahlreiche Klassifikationsunterfunktionen umfassen, die jeweils Zwischenergebnisse bereitstellen, in deren Abhängigkeit die Klassifikationsinformation ermittelt wird. Die Klassifikationsfunktion beziehungsweise die Klassifikationsunterfunktion stellen jeweils sogenannte „schwache Lerner“ bzw. „weak learner“ dar oder sind aus solchen zusammengesetzt. Unter einem „schwachen Lerner“ wird ein Klassifikator verstanden, der aufgrund eines relativ einfachen Kriteriums, beispielsweise der Varianz des Kontrasts in einem Bildausschnitt, dem Merkmalsvektor eine gewisse Klasse beziehungsweise eine Wahrscheinlichkeit dafür, dass der Merkmalsvektor dieser Klasse angehört, zuordnet. Einzelne „schwache Lerner“ können eine Klassifikation des Merkmalsvektors typischerweise nur mit sehr geringer Signifikanz durchführen. Daher werden, wie später noch mit Bezug auf 3 erläutert, typischerweise mehrere „schwache Lerner“ kombiniert, um zu einem Zwischenergebnis oder einer Klassifikationsinformation zu gelangen.
-
Die Nutzung von Klassifikationsfunktionen im Rahmen des maschinellen Lernens ist prinzipiell im Stand der Technik bekannt und soll nicht detailliert erläutert werden. Eine Übersicht über den Lernprozess zum Anlernen der Klassifikationsfunktion für das Verfahren wird im späteren Text mit Bezug auf 2 gegeben.
-
Nach Abschluss des Schrittes S6 ist jedem der Bildbereiche eine Klassifikationsinformation zugeordnet. Anhand der bekannten Klassifikationsinformation können Projektionsbilder in Schritt S7 segmentiert werden, indem jeweils zusammenhängende Gruppen von Bildpunkten, denen die gleiche Klassifikationsinformation zugeordnet ist, einem Segment des Projektionsbildes zugeordnet werden. Gegenüber einer rein kontrastbasierten Segmentierung wird insbesondere erreicht, dass einzelne Segmente stets einem definierten Gefäßsegment zugeordnet sind, auch dann, wenn die den verschiedenen Gefäßsegmenten zugehörigen Bildbereiche einen nahezu identischen Kontrast aufweisen.
-
Eine Segmentierung durch Maschinenlernen erlaubt zudem eine besonders zuverlässige Unterscheidung zwischen Bifurkationen, also Abzweigungen im Blutgefäßsystem, und einer Abbildung von sich in dem Projektionsbild kreuzenden Gefäßsegmenten.
-
In Schritt S8 erfolgt eine zweite Auswahl der im Weiteren genutzten Projektionsbilder beziehungsweise der im Weiteren genutzten Bildbereiche. Dabei wird ausgenutzt, dass die Klassifikationsfunktion zusätzlich zur Klassifikationsinformation einen Konfidenzwert bereitstellt, der angibt, wie zuverlässig die Zuordnung der Klassifikationsinformation zum entsprechenden Merkmalsvektor beziehungsweise Bildbereich ist. Ein Konfidenzwert kann beispielsweise eine Wahrscheinlichkeit der korrekten Zuordnung der Klassifikationsinformation sein. Projektionsbilder, für die ein Mittelwert des Konfidenzwertes über die Bildbereiche unterhalb eines vorgegebenen Grenzwertes liegt oder die einzelne Bildbereiche aufweisen, deren Konfidenzwert unterhalb eines weiteren Grenzwertes liegt, werden als zur Modellbildung nicht geeignet betrachtet und verworfen.
-
Neben dem Verwerfen einzelner Projektionsbilder erfolgt in Schritt S8 zusätzlich die Auswahl, welche der Projektionsbilder im Rahmen der Modellierung einzelner Gefäßsegmente jeweils herangezogen werden. Im Rahmen der Modellierung des Gefäßsystems sollen insbesondere Verläufe von Mittellinien von Gefäßsegmenten und Durchmesser von Gefäßsegmenten bestimmt werden. Um eine möglichst exakte Bestimmung dieser Informationen ermöglichen, ist es vorteilhaft, Projektionsbilder auszuwählen, für die das jeweilige zu modellierende Gefäßsegment im Wesentlichen in der Bildebene des Projektionsbildes liegt. Zudem sollten, soweit möglich, Projektionsbilder ausgewählt werden, in denen das jeweilige Gefäßsegment nicht durch weitere Gefäßsegmente oder andere Objekte, beispielsweise Knochen, verdeckt ist. Eine entsprechende Auswahl der Projektionsbilder kann durch Nutzung eines anatomischen Atlas erfolgen. Da bekannt ist, welches Gefäßsegment jeweils in welchem Bildbereich abgebildet ist, können anhand des anatomischen Atlas optimale Aufnahmewinkel bestimmt und somit optimale Projektionsbilder gewählt werden.
-
In Schritt S9 werden die einzelnen Gefäßsegmente in den für das jeweilige Gefäßsegment ausgewählten Projektionsbildern jeweils quantifiziert, das heißt, es wird für jedes der Gefäßsegmente in den entsprechenden Projektionsbildern eine Projektionsmittellinie des Gefäßsegments und ein Verlauf des Durchmessers des Gefäßsegments entlang der Projektionsmittellinie bestimmt. Bei der Quantifizierung wird das Vorwissen aus einem anatomischen Atlas genutzt. Beispielsweise ist bekannt, dass Blutgefäße in ihrem Verlauf von einer ostialen zu einer distalen Position im Durchmesser abnehmen. Eine derartige Nutzung von Vorwissen ist möglich, da jedes der Gefäßsegmente eindeutig einem im anatomischen Atlas definierten Gefäßsegment zugeordnet ist.
-
In Schritt S10 werden in den einzelnen Projektionsbildern Landmarken, insbesondere Bifurkationen im Blutgefäßsystem, erkannt. Alternativ oder ergänzend können auch innere Organe, Knochen oder Ähnliches als Landmarken erkannt werden. Eine Erkennung von Bifurkationen ist besonders einfach, da Bifurkationen als solche Punkte erkannt werden können, an denen sich Bildbereiche berühren, denen unterschiedliche Klassifikationsinformationen zugeordnet sind, die jeweils eine Zugehörigkeit zu einem definierten Gefäßsegment beschreiben. Neben der leichten Erkennung der Landmarken, hat dies zudem den Vorteil, dass Bifurkationen in den einzelnen Projektionsbildern eindeutig zueinander zuordenbar sind, da jeweils bekannt ist, welche Gefäßsegmente sich an der jeweiligen Bifurkationen treffen.
-
In Schritt S11 kann mit Hilfe der in Schritt S10 bestimmten Landmarken und der jeweils bekannter Zuordnung, welche der Landmarken in einem ersten Projektionsbild jeweils einer Landmarke in einem zweiten der Projektionsbilder entspricht, eine Registrierung der Projektionsbilder durchgeführt werden. In Abhängigkeit dieser Registrierung wird in Schritt S12 für jedes der Gefäßsegmente aus den jeweils bekannten Projektionsmittellinien eine dreidimensionale Mittellinie bestimmt. Zusätzlich sind zu jedem Punkt der dreidimensionalen Mittellinie auch die Gefäßdurchmesser aus unterschiedlichen Betrachtungswinkeln bekannt, so dass auch die lokale Form des Gefäßes modelliert werden kann. Aus den einzelnen modellierten Gefäßsegmenten wird ein Modelldatensatz des Blutgefäßsystems, das die Gefäßsegmente umfasst, erstellt. Der Übergang der einzelnen Gefäßsegmente zueinander ist jeweils einer Bifurkation und damit einer Landmarke zugeordnet. Eben diese Landmarken werden jedoch zur Registrierung der einzelnen Projektionsbilder genutzt, so dass die Bifurkationen bereits zueinander registriert sind.
-
2 zeigt schematisch ein Vorgehen zum Bereitstellen von Trainingsdaten zum Trainieren der Klassifikationsfunktion beziehungsweise von Klassifikationsunterfunktionen und den Trainingsvorgang selbst. In den Schritten S13 bis S17 werden annotierte Trainingsdatensätze, die annotierte Projektionsaufnahmen eines Blutgefäßsystems umfassen, bereitgestellt, wobei die Projektionsbilder in Bildbereiche aufgeteilt sind, denen jeweils eine Klassifikationsinformation zugeordnet ist. Es werden mehrere verschiedenartige Quellen für Trainingsdatensätze genutzt.
-
In Schritt S13 werden einzelne Projektionsbilder, die mit einem C-Bogen oder einem anderen Röntgengerät von anderen Personen als dem Patienten aufgenommen und insbesondere manuell annotiert sind, bereitgestellt. In Schritt S14 werden CT-Daten bereitgestellt, deren Volumendatensatz annotiert ist. Aus diesen werden in Schritt S15 Projektionsbilder berechnet, deren jeweilige Annotation aus der Annotation des Volumendatensatzes abgeleitet ist. In Schritt S16 sind einer oder mehrere anatomische Atlanten bereitgestellt, für die in Schritt S17 eine Abbildung des Gefäßsystems simuliert wird. Durch die simulierte Abbildung des Gefäßsystems werden ebenfalls mehrere annotierte Projektionsbilder bereitgestellt.
-
Die bereitgestellten Projektionsbilder werden in Schritt S18 und S19 auf zwei Gruppen verteilt. Die in Schritt S18 gebildete Gruppe stellt die Trainingsdatensätze dar, mit denen die Klassifikationsfunktion beziehungsweise die Klassifikationsunterfunktionen trainiert werden. In Schritt S19 wird eine Gruppe von Testdaten bereitgestellt, über die unabhängig von den Trainingsdatensätzen der Lernerfolg getestet werden kann.
-
In Schritt S20 wird die Klassifikationsfunktion beziehungsweise die Klassifikationsunterfunktionen trainiert. Im einfachsten Fall werden Klassifikationsunterfunktionen separat trainiert, die jeweils einen „schwachen Lerner“ bilden. Dies soll an einem einfachen Beispiel erläutert werden. Die Klassifikationsunterfunktion soll eine „vesselness“ auswerten, das heißt, eine Wahrscheinlichkeit dafür, dass eine röhrenförmige Struktur abgebildet wird. Die Klassifikationsunterfunktion soll als binärer Klassifikator dienen, der ausgibt, ob der jeweilige Bildbereich Teil eines Blutgefäßsystems ist. Um die „vesselness“ zu bestimmen, wird eine Funktion der zweiten Ableitungen der Bilddaten des jeweiligen Projektionsbildes an einer Position des jeweiligen Bildbereichs berechnet. Dabei wird davon ausgegangen, dass der Wert der Funktion damit korreliert, ob ein Bildbereich dem Blutgefäßsystem zugeordnet ist oder nicht. Da für jeden der Merkmalsvektoren eine Klassifikationsinformation bekannt ist, kann dem in Schritt S20 ermittelte Funktionswert, d. h. der „vesselness“, die jeweilige Klassifikationsinformation zugeordnet werden. Bei großen Mengen von Trainingsdaten ist es möglich, dass einem bestimmten Wert der „vesselness“ verschiedene Klassifikationsinformationen zugeordnet werden. Entsprechend kann der Zusammenhang zwischen „vesselness“ und Klassifikationsinformation statistisch ausgewertet werden, um eine wahrscheinlichste Zuordnung zu ermitteln.
-
In Schritt S21 wird die Klassifikationsfunktion beziehungsweise die jeweilige Klassifikationsunterfunktion entsprechend dieser Zuordnung parametrisiert, so dass sie bezüglich der Trainingsdatensätze eine Zuordnung der Klassifikationsinformationen erreicht, die möglichst gut der Zuordnung in den annotierten Trainingsdatensätzen entspricht.
-
In den Schritten S20 und S21 können selbstverständlich auch komplexere Klassifikationsfunktionen beziehungsweise Klassifikationsunterfunktionen trainiert werden. Im Stand der Technik sind eine Vielzahl von Klassifikationsfunktionen und Möglichkeiten des Trainierens von Klassifikationsfunktionen bekannt. Für die vorangehende Erläuterung wurde ein besonders einfaches Beispiel gewählt, es sind jedoch auch komplexere Trainingsvorgänge möglich, bei denen beispielsweise mehrere Klassifikationsunterfunktionen parallel parametrisiert beziehungsweise generiert werden.
-
In Schritt S22 wird die in Schritt S21 entsprechend parametrisierte Klassifikationsfunktion beziehungsweise Klassifikationsunterfunktion mit Hilfe der in Schritt S19 bereitgestellten Testdatensätze getestet. Dabei werden jeweils die durch die Klassifikationsfunktion beziehungsweise Klassifikationsunterfunktion aus den Testdaten ermittelten Klassifikationsinformationen mit den entsprechenden Annotationen der Testdaten verglichen, um Informationen über die Zuverlässigkeit der Klassifikation zu erhalten. Mit dem Testschritt S22 werden unabhängig vom eigentlichen Trainingsvorgang Informationen gewonnen, ob eine entsprechende Klassifikation signifikant ist, das heißt, ob ihre Anwendung zweckmäßig ist oder ob ein anderer Klassifikator genutzt werden sollte. Zusätzlich kann eine Wahrscheinlichkeit einer positiven oder negativen Fehlerkennung ermittelt werden und die trainierte Klassifikationsfunktion beziehungsweise Klassifikationsunterfunktion kann entsprechend dieser Werte genutzt werden.
-
3 zeigt eine mögliche Kombination einer Vielzahl von Klassifikationsunterfunktionen zu einer Klassifikationsfunktion. In Schritt S23 wird, wie bereits mit Bezug auf 1 erläutert, ein Merkmalsvektor bereitgestellt, dem eine Klassifikationsinformation zugeordnet werden soll. Für diesen Merkmalsvektor werden in den Schritten S24 bis S27 verschiedene Klassifikationsunterfunktionen ausgeführt, die als Zwischenergebnis jeweils wenigstens eine Klassifikationsinformation für den Merkmalsvektor und eine zugeordnete Wahrscheinlichkeit ausgeben. Die Zwischenergebnisse der in den Schritten S24 bis S27 ausgeführten Klassifikationsunterfunktionen werden im Schritt S28 zu einem gemeinsamen Zwischenergebnis zusammengeführt, in dem die durch die Klassifikationsunterfunktion gemeinsam als wahrscheinlichste Klassifikationsinformation bestimmte Klassifikationsinformation bereitgestellt wird.
-
Die Zusammenführung von Ergebnissen in Schritt S28 könnte in einer alternativen Ausführungsform der Klassifikationsfunktion unterschiedlich erfolgen. Beispielsweise könnte als Zwischenergebnis die Klassifikationsinformation ausgegeben werden, die von den meisten der Klassifikationsunterfunktionen als Klassifikationsinformation ausgegeben wurde. Die Klassifikationsunterfunktionen der Schritte S24 bis S27 können zudem beliebig komplex sein, also beispielsweise Entscheidungsbäume umfassen oder Ähnliches.
-
In Schritt S29 wird überprüft, ob Schritt S28 als Klassifikationsinformation bereitstellt, dass der durch den Merkmalsvektor beschriebene Bildbereich dem Blutgefäßsystem angehört. Falls dies nicht der Fall ist, wird in Schritt S30 als Ergebnis der Klassifikationsfunktion die Klassifikationsinformation ausgegeben, dass der durch den Merkmalsvektor beschriebene Bildbereich nicht dem Blutgefäßsystem zugehörig ist.
-
Falls in Schritt S29 ermittelt wurde, dass der Merkmalsvektor eine Zugehörigkeit des Bildbereichs zum Blutgefäßsystem beschreibt, so wird das Verfahren mit Schritt S31 fortgesetzt. In Schritt S31 wird eine weitere Klassifikationsunterfunktion auf den Merkmalsvektor angewandt. Diese kann wie zu den Schritten S24 bis S28 erläutert, wiederum mehrere parallele Klassifikationsunterfunktionen umfassen, als Entscheidungsbaum ausgebildet sein oder Ähnliches. Die weitere Klassifikationsunterfunktion stellt als Ergebnis von Schritt S31 die Klassifikationsinformation als Ergebnis der gesamten Klassifikationsfunktion bereit.
-
Eine serielle Verknüpfung von Klassifikationsunterfunktionen hat den Vorteil, dass die Klassifikationsunterfunktionen der Schritte S24 bis S28 andere Eigenschaften aufweisen können als die Klassifikationsunterfunktion in Schritt S31. Beispielsweise kann es durch die Klassifikationsunterfunktionen der Schritte S24 bis S28 sehr zuverlässig möglich sein, Fremdkörper, beispielsweise Schläuche, Scheren oder Ähnliches, in den Projektionsbildern zu erkennen und Bildbereiche, die derartige Objekte umfassen, als nicht zugehörig zum Blutgefäßsystem zu klassifizieren. Nachdem derartige Bereiche bereits durch die Schritte S24 bis S28 ausgesondert wurden, kann in Schritt S31 eine Klassifikationsunterfunktion genutzt werden, die Gefäßsegmente mit hoher Zuverlässigkeit korrekt zuordnet, das heißt korrekte Klassifikationsinformationen bestimmt, jedoch häufig Drittgegenstände dem Blutgefäßsystem zuordnet. Dieser Schwachpunkt der in Schritt S31 ausgeführten Klassifikationsunterfunktion kommt jedoch nicht zum Tragen, da entsprechende Datensätze bereits durch die Schritte S24 bis S31 aussortiert sind.
-
Eine automatische Klassifikation von Gefäßsegmenten und damit auch eine automatische Segmentierung ist somit durch eine entsprechende Wahl und Verknüpfung von Klassifikationsunterfunktionen mit hoher Zuverlässigkeit möglich. Vorteilhaft können alternativ jedoch Klassifikationsfunktionen beziehungsweise Klassifikationsunterfunktionen genutzt werden, die die Auswahl und Anordnung entsprechender „schwacher Lerner“ im Rahmen des Lernprozesses selbstständig durchführen. Dies wird beispielsweise durch sogenannte Random Forest Algorithmen erreicht.
-
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- A. F. Frangi et al., „Multiscale vessel enhancement filtering“, Medical Image Computing and Computer Assisted Intervention – MICCAI´98, Notes in computer science, vol. 1496, 1998, Seite 130 ff. [0017]
