DE102012215001A1

DE102012215001A1 - Verfahren zur 2D-3D-Registrierung eines Modells mit einem Röntgenbild

Info

Publication number: DE102012215001A1
Application number: DE201210215001
Authority: DE
Inventors: Matthias John; Markus Kaiser
Original assignee: Siemens AG
Current assignee: Siemens Healthineers Ag De
Priority date: 2012-08-23
Filing date: 2012-08-23
Publication date: 2014-02-27
Anticipated expiration: 2032-08-24
Also published as: DE102012215001B4

Abstract

Verfahren zur 2D-3D-Registrierung eines dreidimensionalen Modells (11) eines in einem zweidimensionalen, mit einer Röntgeneinrichtung (18) aufgenommenen Röntgenbild (4) sichtbaren Instruments (10), insbesondere eines in einen Patienten einzuführenden, eine Bildaufnahmeeinrichtung umfassenden Instruments (10), mit dem in einer Kegelstrahlgeometrie aufgenommenen Röntgenbild (4), wobei ausgehend von einer Startlage eine dem im Röntgenbild (4) sichtbaren Instrument (10) entsprechende Lage des Modells (11) in einem dreidimensionalen Koordinatensystem der Röntgeneinrichtung (18) bestimmt wird, wobei jeweils einem Teilschritt (8) zugeordnete Gruppen von auf das Instrument (10) im Modell (11) und/oder die Aufnahmegeometrie (5) des Röntgenbilds (4) bezogenen, durch jeweils genau einen Transformationsparameter beschriebenen, weniger als sechs Transformationen des Modells (11) verwendet werden, wobei in jedem Teilschritt (8) die Transformationsparameter der zugehörigen Gruppe iterativ durch Vergleich einer der Aufnahmegeometrie (5) des Röntgenbilds (4) entsprechenden Vorwärtsprojektion des Modells (11) in seiner aktuell betrachteten Lage mit dem Röntgenbild (4) optimiert werden.

Description

Die Erfindung betrifft ein Verfahren zur 2D-3D-Registrierung eines dreidimensionalen Modells eines in einem zweidimensionalen, mit einer Röntgeneinrichtung aufgenommenen Röntgenbild sichtbaren Instruments, insbesondere eines in einen Patienten einzuführenden, eine Bildaufnahmeeinrichtung umfassenden Instruments, mit dem in einer Kegelstrahlgeometrie aufgenommenen Röntgenbild, wobei ausgehend von einer Startlage eine dem im Röntgenbild sichtbaren Instrument entsprechende Lage des Modells in einem dreidimensionalen Koordinatensystem der Röntgeneinrichtung bestimmt wird. Daneben betrifft die Erfindung eine Registrierungsvorrichtung.
Die vorliegende Erfindung befasst sich mit der Problematik, ein dreidimensionales Modell auf eine zweidimensionale Röntgenprojektion, also ein Röntgenbild, zu registrieren, was im Allgemeinen als 2D-3D-Registrierung bezeichnet wird. 2D-3D-Registrierung bedeutet, dass die relative Position des dreidimensionalen Modells zu der Aufnahmegeometrie des Röntgenbildes aufgefunden wird, indem sechs relative Geometrieparameter für die jeweils möglichen Transformationen, also drei Translationen und drei Rotationen, bestimmt werden. Das bedeutet also, es wird ein Koordinatensystem, häufig ein Koordinatensystem der Röntgeneinrichtung, mit der das Röntgenbild aufgenommen wird, verwendet, in dem die Aufnahmegeometrie definiert ist und in dem nun die dreidimensionale Lage (also die Position und Orientierung) des in dem Röntgenbild sichtbaren Instruments unter Nutzung des Modells aufgefunden werden soll. Eine Anwendung für eine derartige 2D-3D-Registrierung ist die Fusion von Bildaufnahmen einer Bildaufnahmeeinrichtung des Instruments, beispielsweise von Ultraschallaufnahmen, mit Röntgenbildern.
Minimalinvasive Eingriffe, sei es zur Untersuchung oder zur Therapie, sind im Stand der Technik bereits bekannt. Auch im Bereich chirurgischer Eingriffe am Herzen wird immer häufiger minimalinvasiv vorgegangen. Dabei ist es bekannt, bei der Verwendung von Kathetern in der invasiven Herzchirurgie zwei Bildgebungsmodalitäten zur Unterstützung einzusetzen, nämlich zum einen fluoroskopische Röntgenbildgebung, insbesondere von C-Bogen-Röntgeneinrichtungen, und Ultraschall. Beide Bildgebungsmodalitäten haben ihre eigenen Vorteile und Nachteile. Für die Röntgenbildgebung gilt, dass Vorrichtungen, insbesondere der Katheter oder Herzprothesen, sehr genau im menschlichen Körper sichtbar sind, während der Weichgewebekontrast sehr schlecht ist. In der Ultraschallbildgebung sind die Weichgewebestrukturen, beispielsweise Gefäßwände oder Herzklappen, deutlich zu sehen. Nachteile des Ultraschalls sind das eingeschränkte Sichtfeld und Bildartefakte, die durch metallische Vorrichtungen ausgelöst werden können.
Es ist daher äußerst wichtig, die Bedeutung der Bilder der unterschiedlichen Modalitäten verstehen zu können. Dabei ist es oft schwierig, die in der Ultraschallbildgebung gezeigten Strukturen zu interpretieren, die Sichtbarkeit von Strukturen in der Röntgenbildgebung zu beurteilen und die Zuordnung der Bilder der Bildgebungsarten bzw. darin dargestellter Merkmale zu ermöglichen. Ein großer Kommunikationsaufwand kann notwendig sein, um Bildgebungsvorrichtungen korrekt zu navigieren und die Bedeutung ihrer Bilder zu verstehen.
Im Rahmen minimalinvasiver Eingriffe der Herzchirurgie wird häufig die transösophageale Echokardiographie (TEE – transesophageal echocardiogram) für die Ultraschallbildgebung verwendet. Eine TEE-Sonde kann als ein kleines Endoskop realisiert werden, welches einen eingebauten Ultraschalltransducer in seiner Spitze aufweist. Eine solche TEE-Sonde wird dann in die Speiseröhre (Ösophagus) des Patienten eingeführt. Die TEE-Sonde ist in Röntgenbildern des Patienten deutlich sichtbar. Eine Bildfusion der Ultraschallbilder und der fluoroskopischen Röntgenbildgebung wäre vorteilhaft für den gesamten Workflow der heutigen minimalinvasiven Herzchirurgie. Aufgenommene Bilder können besser interpretiert werden und es kann eine schnellere und genauere Navigation während des Eingriffs vorgenommen werden. So könnte die Sicherheit des Patienten erhöht werden und die Gesamtdauer des Eingriffs reduziert werden.
Eine solche Bildfusion kann durch die 2D-3D-Registrierung erreicht werden. Wie bereits dargelegt wurde, ist das Ziel der allgemeinen 2D-3D-Registrierung, die auf Bildern basiert, die dreidimensionale Position eines Objekts oder einer Struktur, hier konkret des Instruments, beispielsweise der TEE-Sonde, relativ zu einem gegebenen zweidimensionalen Röntgenbild bzw. dessen Aufnahmegeometrie, anzugeben, welches das Objekt oder die Struktur zeigt. In der Medizin wird die 2D-3D-Registrierung häufig verwendet, um präoperativ aufgenommene Volumen-Bilddatensätze, beispielsweise CT-, MR- und/oder PET-Bilddatensätze, mit während des Eingriffs aufgenommenen Projektions-Röntgenbildern überlagern zu können. Diese Technik kann auch genutzt werden, um im oben genannten Beispiel Ultraschallbilder und fluoroskopische Röntgenbilder miteinander zu fusionieren. Dabei kann im konkreten Beispiel ein dreidimensionales Modell einer TEE-Sonde verwendet und zu einem Röntgenbild der TEE-Sonde registriert werden. Auf inhärente Weise ist das Ergebnis auch eine Registrierung der mit der TEE-Sonde aufgenommenen TEE-Bilder zu Röntgenbildern.
Die 2D-3D-Registrierung ist ein iterativer Vorgang. Dabei wird zunächst eine Startposition des dreidimensionalen Modells, welches im vorliegenden Fall das Instrument wiedergibt, relativ zu der Aufnahmegeometrie des Röntgenbildes, also im Koordinatensystem der Röntgeneinrichtung, angenommen. Während jeder Iteration wird die aktuelle Lage des Modells optimiert, woraufhin die Qualität der neuen Lage durch Berechnung der Ähnlichkeit des zweidimensionalen Röntgenbildes mit einer simulierten Projektion des dreidimensionalen Modells unter derselben Aufnahmegeometrie (Vorwärtsprojektion) bestimmt wird. Die Bilder, die sich aus der simulierten Projektion ergeben, werden als digital rekonstruierte Radiographien (digitally reconstructed radiographs – DRR) bezeichnet.
Wie bereits erwähnt wurde, enthält das dreidimensionale Modell, welches auch als dreidimensionaler Datensatz aufgefasst werden kann, das interessierende Objekt, hier das Instrument, welches zu dem zweidimensionalen Röntgenbild registriert werden soll. Das Modell wird iterativ rotiert und translatiert, woraufhin die DRRs über die mit der Aufnahmegeometrie zusammenhängende Projektionsgeometrie ermittelt werden. Die Translations- und Rotationsparameter der DRR-Erzeugung werden solange modifiziert, bis die DRR mit dem Röntgenbild übereinstimmt, beispielsweise ein Ähnlichkeitsmaß zwischen den beiden Bildern ein Maximum erreicht. Die Richtung und die Schrittgröße für Parameteränderungen von Iteration zu Iteration werden durch einen Optimierungsalgorithmus bestimmt. Wenn der Algorithmus korrekt konvergiert, liegen alle sechs berechneten Registrierungsparameter nah an der wirklichen Lage (ground truth), sobald der Optimierungsprozess abgeschlossen ist.
Wie bereits erwähnt wurde, gibt es in der 2D-3D-Registrierung (im starren Fall, wie er hier betrachtet wird) sechs Freiheitsgrade, welche in den bekannten Verfahren gemeinsam optimiert werden, nämlich drei Translationsfreiheitsgrade und drei Rotationsfreiheitsgrade. Die simultane Optimierung aller dieser Parameter ist langsam und manchmal ungenau. Das bedeutet, es liegt ein massiver Rechenaufwand vor, der zu langen Berechnungszeiten führen kann und die Konvergenz der verwendeten Algorithmen ist nicht sichergestellt.
Der Erfindung liegt daher die Aufgabe zugrunde, eine Möglichkeit anzugeben, eine schnellere und genauere 2D-3D-Registrierung zu ermöglichen.
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass jeweils einem Teilschritt zugeordnete Gruppen von auf das Instrument im Modell und/oder die Aufnahmegeometrie des Röntgenbildes bezogenen, durch jeweils genau einen Transformationsparameter beschriebenen, weniger als sechs Transformationen des Modells verwendet werden, wobei in jedem Teilschritt die Transformationsparameter der zugehörigen Gruppe iterativ durch Vergleich einer der Aufnahmegeometrie des Röntgenbilds entsprechenden Vorwärtsprojektion des Modells in seiner aktuell betrachteten Lage mit dem Röntgenbild optimiert werden.
Erfindungsgemäß wird also vorgeschlagen, nicht länger alle sechs möglichen Parameter, die die drei Rotationen und Translationen als Grundtransformationen betrachten, zu optimieren, sondern in mehreren Teilschritten geschickt anhand der Kenntnis der Aufnahmegeometrie und des Instruments gewählte Transformationen mit weniger als sechs Parametern nacheinander in mehreren Teilschritten zu betrachten. Die hier beschriebene Lösung nutzt also die Tatsache aus, dass das durch das Modell beschriebene dreidimensionale Objekt als Instrument, beispielsweise TEE-Sonde, zur Zeit der Realisierung eines das Verfahren durchführenden Berechnungssystems schon bekannt sind, so dass der Optimierungsvorgang unter dieser Kenntnis in mehrere Schritte aufgeteilt werden kann, also eine schrittweise Optimierung in Subdimensionen durchgeführt werden kann. Die Teilschritte können dabei vorzugsweise für einen bis drei Transformationsparameter enthaltende Gruppen durchgeführt werden, so dass eine deutlich reduzierte Berechnungszeit für die Teilschritte gegeben ist. Die einparametrigen Transformationen bzw. die entsprechenden Transformationsparameter der Gruppen werden dabei so gewählt, dass spätere Optimierungen von Transformationsparametern keinen großen Einfluss auf bereits durchgeführte Parameteroptimierungen haben.
Im Rahmen der vorliegenden Erfindung wird dabei insbesondere zwischen Transformationen parallel zu der Bildebene des Röntgenbildes und Transformationen senkrecht zu der Bildebene des Röntgenbildes unterschieden, beispielsweise Verschiebungen entlang der optischen Achse der Aufnahmegeometrie. Transformationen parallel zur Bildebene des Röntgenbildes können dabei als sogenannte „in-plane-Transformationen“ bezeichnet werden, Transformationen, die Richtungen aus einer zur Bildebene des Röntgenbildes parallelen Ebene heraus enthalten, können als „out-of-plane-Transformationen“ bezeichnet werden. Im Beispiel von Translationen wurde dabei erkannt, dass eine Translation von beispielsweise einem Millimeter in einer bestimmten Aufnahmegeometrie einer Richtung parallel zur Bildebene des Röntgenbildes in einer Pixelverschiebung des vorwärtsprojizierten Vergleichsbildes (DRR) von ca. 3 Pixeln entspricht, während eine Verschiebung um einen Millimeter senkrecht zur Bildebene des Röntgenbildes (was letztlich eine Vergrößerung oder Verkleinerung, also eine Skalierung, des Instruments zur Folge hat) kaum sichtbar ist. Nachdem eine Kegelstrahlgeometrie (perspektivische Projektion) betrachtet wird, ist eine Bewegung senkrecht zur Bildebene des Röntgenbildes zwar sichtbar, doch die Unterschiede sind sehr klein. Auch derartige, auch auf die Aufnahmegeometrie bezogene Überlegungen werden bei der Wahl der Gruppen der Teilschritte, die letztlich eine Reihenfolge zu optimierender Transformationen angeben, berücksichtigt.
Um den Erfindungsgegenstand näher zu erläutern sei das Beispiel einer TEE-Sonde als Instrument kurz betrachtet. Dort ist beispielsweise bekannt, dass die out-of-plane-Transformationen während der Registrierung die sichtbare Projektion weniger beeinflussen als die in-plane-Transformationen, wenn das Koordinatensystem geeignet genutzt wird. Ein Beispiel für einen Optimierungs-Teilschritt für eine TEE-Sonde ist, dass man zunächst von dem Willen zur Optimierung einer Rotation um eine parallel zur Bildebene des Röntgenbildes liegende Achse ausgeht. Liegt die TEE-Sonde, was häufig der Fall ist, im Wesentlichen vertikal im fluoroskopischen Röntgenbild, und betrachtet man die Rotation um die Längsachse der Instrumentenspitze, ist es möglich, dass die Begrenzungen der TEE-Sonde in dem Röntgenbild und der Vorwärtsprojektion voneinander wegverschoben werden. Es ist mithin zweckmäßig, simultan die Translation in einer zur Rotationsachse senkrechten, parallel zur Bildebene des Röntgenbildes liegende Richtung zu optimieren. Um von der Lage der TEE-Sonde unabhängig zu sein, kann es sinnvoll sein, auch die Translation in Richtung der Rotationsachse in den Teilschritt mit aufzunehmen.
Das Wissen über das konkrete dreidimensionale Instrument wird also genutzt, um vorherzusagen, welche Transformationsparameter gemeinsam optimiert werden sollen und welche nicht.
Dabei sei an dieser Stelle noch angemerkt, dass das erfindungsgemäße Verfahren vollständig unter Verwendung nur eines einzigen Röntgenbildes einer bestimmten Aufnahmegeometrie durchgeführt werden kann. Für Verfahren des Standes der Technik, die sechs Registrierungsparameter, also drei für Translationen und drei für Rotationen, gleichzeitig zu optimieren streben, werden meist, um überhaupt eine Konvergenz in einer endlichen Zeit zu erzielen, unter verschiedenen Aufnahmegeometrien aufgenommene Röntgenbilder verwendet. Zum anderen sei an dieser Stelle noch angemerkt, dass unter dem Wort Transformationen, die durch einen Transformationsparameter beschrieben sind, vorliegend Verschiebungen (Translationen) in einer bestimmten Richtung und Rotationen um eine bestimmte Achse verstanden werden sollen.
In konkreter Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass als wenigstens eine Transformation eine Rotation des Modells um seine Längsachse und/oder eine Verschiebung des Modells in einer zur Bildebene des Röntgenbilds parallelen Richtung und/oder eine Verschiebung des Modells in einer zur Bildebene des Röntgenbilds senkrechten Richtung und/oder eine Rotation des Modells um eine zur Bildebene senkrechte Achse und/oder eine Rotation des Modells um eine in der Bildebene liegende Achse verwendet wird. Das bedeutet, es ist äußerst zweckmäßig, als mögliche Transformation in den verschiedenen Teilschritten zum einen die oben bereits erwähnten in-plane-Transformationen und die out-of-plane-Transformationen zu verwenden, zum anderen aber auch an dem Modell selbst orientiert eine Rotation des Modells um seine Längsachse in Betracht zu ziehen. Letztere hat den Vorteil, dass sie sich dann konkret auf eine Veränderung des Erscheinungsbildes des Instruments in dem Röntgenbild bzw. der Vorwärtsprojektion bezieht, ohne dass das Instrument auf der Bildebene verschoben wird. Mithin erweist sich die Betrachtung einer solchen Transformation als zweckmäßig. Dies gilt auch für die bereits motivierte Unterscheidung zwischen inplane-Transformation und out-of-plane-Transformationen, nachdem out-of-plane-Transformationen meist geringere Veränderungen zur Folge haben als in-plane-Transformationen.
Vorzugsweise können dabei die Rotationen um einen an der Spitze des Instruments im Modell angeordneten Drehpunkt erfolgen. Das bedeutet, die als Rotationen durchgeführten Transformationen werden gezielt so definiert, dass sich der Drehpunkt in der Spitze des Instruments im Modell befindet. Das hat den Vorteil, dass Veränderungen in der Vorwärtsprojektion auf die Bildebene zunächst auf die Richtung beschränkt werden, in der sich ausgehend vom Drehpunkt das im Modell abgebildete Instrument befindet. Auf diese Weise können zu erwartende Veränderungen klarer lokalisiert werden, so dass ein Algorithmus diesbezüglich gestrafft werden kann.
In zweckmäßiger Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, wie bereits angedeutet wurde, dass in einem Teilschritt betrachtete Transformationen in Abhängigkeit von wenigstens einer geometrischen Eigenschaft des Instruments gewählt werden. Sind beispielsweise bestimmte Symmetrieeigenschaften des Instruments bekannt, so können die Auswirkungen bestimmter Transformationen praktisch vorhergesagt werden, so dass ebenso abgeschätzt werden kann, wo mit diesen Transformationen einhergehende Änderungen in einer Projektion auftreten und welche Transformationen geeignet sind, diese Änderungen zu beschreiben, so dass eine insgesamt sinnvolle Kombination zu optimierender Transformationsparameter in einem Teilschritt gegeben ist. Es wird also ausgenutzt, dass das Instrument im Voraus bekannt ist und Symmetrieeigenschaften unter Projektionen, insbesondere Röntgenprojektionen, aufweist. Teilschritte werden schnell durchführbar und akkurater.
In bevorzugter Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Reihenfolge der Optimierung von Transformationsparametern in den Teilschritten wenigstens teilweise anhand der bei der entsprechenden Transformation auftretenden Änderung einer der Aufnahmegeometrie des Röntgenbildes entsprechenden Projektion auf die Bildebene derart gewählt wird, dass Parameter mit größeren Änderungen vor Parametern mit kleineren Änderungen optimiert werden. Das bedeutet also, es werden zunächst die Parameter, die größere Änderungen bewirken, optimiert. Es wird mithin zunächst eine Art „Grobeinstellung“ ermittelt, die dann in nachfolgenderen Schritten auch Parameter mit kleineren Auswirkungen mit einbezieht, um eine „Feinoptimierung“ zu erlauben. Dabei sei an dieser Stelle angemerkt, dass es selbstverständlich denkbar (und auch zweckmäßig) ist, Transformationen in mehreren Gruppen, mithin mehreren Teilschritten, zu betrachten, insbesondere auch in Kombination mit anderen Transformationen. So kann in späteren Teilschritten noch immer „nachkorrigiert“ werden.
Besonders zweckmäßig kann es dabei sein, wenn in wenigstens einem ersten Teilschritt als Transformationen Verschiebungen des Modells parallel zu der Bildebene des Röntgenbildes und/oder Rotationen des Modells um eine senkrecht zur Bildebene des Röntgenbildes liegende Achse verwendet werden. In diesem Fall werden also zunächst die in-plane-Transformationen betrachtet, da hier Änderungen der Transformationsparameter die größten Auswirkungen auf die Projektion haben, wie bereits dargelegt wurde.
Dann kann vorzugsweise vorgesehen sein, dass in wenigstens einem zweiten, dem ersten Teilschritt folgenden Teilschritt als Transformationen eine Verschiebung des Modells entlang einer senkrecht zur Bildebene des Röntgenbildes und/oder wenigstens eine Rotation des Modells um eine parallel zu der Bildebene des Röntgenbildes liegende Achse und/oder eine Rotation des Modells um die Längsachse des Instruments in dem Modell gemeinsam mit wenigstens einer Verschiebung des Modells parallel zu der Bildebene des Röntgenbildes und/oder einer Rotation des Modells um eine zur Bildebene des Röntgenbildes senkrechte Achse verwendet werden. Es kann mithin vorgesehen sein, nach einer reinen Optimierung von in-plane-Transformationen bzw. den zugeordneten in-plane-Parametern Kombinationen von in-plane-Transformationen und out-of-plane-Transformationen zu betrachten. Dabei werden durch die out-of-plane-Transformationen letztlich kleinere Änderungen herbeigeführt, die über entsprechend geschickt ausgewählte in-plane-Transformationen wieder optimierend ausgeglichen werden können.
Zweckmäßig kann es dann sein, wenn in wenigstens einem dritten, auf den zweiten Teilschritt folgenden Teilschritt als Transformationen nur eine Verschiebung des Modells entlang einer senkrecht zur Bildebene des Röntgenbildes und/oder wenigstens eine Rotation des Modells um eine parallel zu der Bildebene des Röntgenbildes liegende Achse betrachtet werden, mithin lediglich out-of-plane-Parameter. Dies kann ein letzter, Parameter mit geringen Auswirkungen zusammenfassender Teilschritt (bzw. mehrere solche letzten Teilschritte) sein, selbstverständlich ist es jedoch auch denkbar, noch weitere Teilschritte an das eben beschriebene Vorgehen anzuhängen, falls dies notwendig ist.
Im Folgenden wird nun eine konkrete Ausgestaltung beschrieben, die insbesondere auf endoskopische Ultraschalleinrichtungen, beispielsweise die bereits mehrfach erwähnte TEE-Sonde, sinnvoll anwendbar ist. Solche TEE-Sonden weisen meist auch die Eigenschaft auf, dass bei Drehungen des Instruments um seine Längsachse im Röntgenprofil deutliche Änderungen auftreten können, mithin Strukturen im Bereich der Spitze deutlich erkennbar und je nach Betrachtungsrichtung unterschiedlich sind. Bei solchen oder ähnlichen Instrumenten kann nun insbesondere vorgesehen sein, dass folgende Transformationen in aufeinanderfolgenden Teilschritten betrachtet werden:

– zueinander senkrechte Verschiebungen parallel zu der Bildebene des Röntgenbildes und eine Rotation um eine senkrecht zur Bildebene des Röntgenbildes stehende Achse,
– wenigstens eine insbesondere zur Projektion der Längsachse des Instruments im Modell auf die Bildebene des Röntgenbildes senkrechte Verschiebung parallel zu der Bildebene des Röntgenbildes und eine Rotation des Modells um seine Längsachse,
– zueinander senkrechte Verschiebungen parallel zu der Bildebene des Röntgenbildes und eine Verschiebung senkrecht zur Bildebene des Röntgenbildes,
– eine Rotation des Modells um seine Längsachse und eine insbesondere zur Projektion der Längsachse auf die Bildebene des Röntgenbildes senkrechte Verschiebung parallel zur Bildebene des Röntgenbildes,
– eine Rotation um eine zur Projektion der Längsachse des Modells auf die Bildebene des Röntgenbildes senkrechte, zur Bildebene des Röntgenbildes parallele Rotationsachse und eine Verschiebung senkrecht zur Bildebene des Röntgenbildes,
– eine Rotation um eine zur Projektion der Längsachse des Modells auf die Bildebene des Röntgenbildes senkrechte, zur Bildebene des Röntgenbildes parallele Rotationsachse und eine Verschiebung parallel zur Bildebene des Röntgenbildes.

Dabei werden mithin in einem ersten Teilschritt, wie oben bereits angedeutet wurde, auch in diesem speziellen Ausführungsbeispiel zunächst in-plane-Transformationen betrachtet, die deutliche Veränderungen mit sich bringen. Der zweite Teilschritt, der letztlich eine in-plane-Verschiebung und eine out-of-plane-Rotation um die Längsachse des Instruments enthält, wurde gewählt, nachdem Rotationen um die Längsachse des Instruments noch deutliche Auswirkungen im Röntgenbild bzw. in der Vorwärtsprojektion mit sich bringen, so dass es zweckmäßig ist, zunächst festzustellen, wie das Instrument gerade „verdreht“ ist. In Zusammenhang damit bietet sich, nachdem sich Begrenzungen verschieben können, die gleichzeitige Optimierung von in-plane-Verschiebungen an. In einem weiteren Teilschritt, in obiger Notation einem weiteren zweiten Teilschritt, wird eine erste Tiefenabschätzung, mithin eine erste Abschätzung der Position des Instruments senkrecht zur Bildebene des Röntgenbildes vorgenommen, indem Verschiebungen senkrecht zur Bildebene des Röntgenbildes und Verschiebungen parallel zur Bildebene des Röntgenbildes gemeinsam betrachtet werden. In einem nun folgenden, in diesem Ausführungsbeispiel insgesamt vierten Schritt wird eine weitere Optimierung im Hinblick auf die Rotation des Instruments um seine Längsachse vorgenommen, wobei hier nun zusätzlich zweckmäßig nur noch eine zusätzliche Transformation, nämlich die Verschiebung entlang einer zur Projektion der Längsachse des Instruments in dem Modell senkrechten Richtung parallel zur Bildebene betrachtet werden kann. Sodann erfolgt in einem insgesamt fünften Schritt dieses Ausführungsbeispiels eine Verkippungsabschätzung, indem die Rotation um eine insbesondere zur Projektion der Längsachse des Instruments in dem Modell senkrechte Achse parallel zur Bildebene des Röntgenbildes gemeinsamen mit einer Verschiebung senkrecht zur Bildebene des Röntgenbildes betrachtet wird. Schließlich erfolgt eine verfeinerte Tiefenabschätzung in einem insgesamt letzten Schritt, in dem wiederum eine Rotation um eine zur Bildebene des Röntgenbildes parallele, insbesondere zur Projektion der Längsachse des Instruments auf die Bildebene des Röntgenbildes senkrechte Achse gemeinsam mit einer in-plane-Verschiebung in einer Richtung, die idealerweise der Projektion der Längsachse des Instruments in dem Modell auf die Bildebene des Röntgenbildes entspricht, betrachtet wird.
Zur Ermittlung der Startlage, also der Startposition und Startorientierung des Instruments, kann vorgesehen sein, dass eine Grobregistrierung auf ein in seiner Auflösung reduziertes Röntgenbild vorgenommen wird. Um also die initialen Parameter, die die Startlage beschreiben, zu ermitteln, kann eine sehr niedrige Auflösung gemeinsam mit einem schnell auswertbaren Ähnlichkeitsmaß herangezogen werden. Ein derartiges Vorgehen ist im Stand der Technik bereits grundsätzlich bekannt.
Die Möglichkeit, mit verschiedenen Auflösungen zu arbeiten, kann jedoch auch im Rahmen des eigentlichen Optimierungsprozesses, mithin der Durchführung der erfindungsgemäß vorgesehenen Teilschritte, genutzt werden, um auch in diesem Sinne eine Iteration zu ermöglichen. So kann vorgesehen sein, dass die Optimierungen in den Teilschritten für mehrere höher werdende Auflösungen des Röntgenbildes und des Modells durchgeführt werden. Das bedeutet, es wird zunächst mit einer sehr geringen Auflösung begonnen, welche dann schließlich erhöht wird, bis die maximale (eigentliche) Auflösung des Röntgenbilds erreicht wird. Auf diese Weise werden die Robustheit und die Konvergenzfähigkeit des Gesamtverfahrens erhöht.
In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass für unterschiedliche Typen von Instrumenten unterschiedliche vorbestimmte Abläufe von Teilschritten mit Gruppen von Transformationen in einer Speichereinrichtung abgelegt sind und ein Ablauf für ein aktuell zu registrierendes Instrument abgerufen wird. Wie bereits erwähnt, sind die geometrischen Eigenschaften verschiedener Instrumente bereits im Voraus bekannt, so dass für verschiedene Instrumente bzw. für verschiedene Klassen von Instrumenten im Voraus festgestellt werden kann, welche Transformationen in welcher Reihenfolge und welche Transformationen gemeinsam in den Teilschritten sinnvollerweise betrachtet werden sollen. Denkbar ist es folglich, eine Art Datenbank aufzubauen, aus der für ein gerade aktuelles Instrument abgerufen werden kann, wie die Aufteilung von Transformationen für die Teilschritte für dieses Instrument optimal ist, so dass letztlich für verschiedenartige Instrumente Anweisungen vorhanden sind, die zu einer schnellen und akkuraten 2D-3D-Registrierung genutzt werden können.
Wie bereits erwähnt, lässt sich das erfindungsgemäße Verfahren besonders vorteilhaft im Rahmen einer Registrierung von mit einer Bildaufnahmeeinrichtung des Instruments aufgenommenen Bildern mit Röntgenbildern, insbesondere Fluoroskopiebildern, einsetzen. Denn ist erst die Lage des Instruments im Koordinatensystem der Röntgeneinrichtung bekannt, ergibt sich der Zusammenhang zwischen aufgenommenen Bildern einer Bildaufnahmeeinrichtung des Instruments und den Röntgenbildern folgerichtig auch. So kann vorgesehen sein, dass die ermittelte Lage des Modells zu einer Registrierung von mit einer Bildaufnahmeeinrichtung des Instruments aufgenommenen Bilddaten mit dem Röntgenbild und/oder weiteren Röntgenbildern verwendet wird. Aufgrund der verbesserten Qualität der 2D-3D-Registrierung lässt sich auch eine verbesserte Fusion von Bildern der verschiedenen Modalitäten, beispielsweise eines zweidimensionalen oder dreidimensionalen Ultraschallbildes mit Röntgenbildern, erreichen.
Neben dem Verfahren betrifft die Erfindung auch eine Registrierungsvorrichtung, welche insbesondere zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet sein kann. Eine derartige Registrierungsvorrichtung zur 2D-3D-Registrierung eines dreidimensionalen Modells eines in einem zweidimensionalen, mit einer Röntgeneinrichtung aufgenommenen Röntgenbild sichtbaren Instruments, insbesondere eines in einen Patienten einzuführenden, eine Bildaufnahmeeinrichtung umfassenden Instruments, mit dem in einer Kegelstrahlgeometrie aufgenommenen Röntgenbild weist dabei auf:

– eine Startlagenbestimmungseinheit zur Bestimmung einer Startlage des Modells,
– eine Endlagebestimmungseinheit zur Ermittlung einer dem
im Röntgenbild sichtbaren Instrument entsprechenden Lage des Modells in einem dreidimensionalen Koordinatensystem der Röntgeneinrichtung ausgehend von der Startlage, welche eine Optimierungseinheit aufweist, die unter Verwendung von jeweils einem Teilschritt zugeordneten Gruppen von auf das Instrument im Modell und/oder die Aufnahmegeometrie des Röntgenbildes bezogenen, durch jeweils einen Transformationsparameter beschriebenen Transformationen des Modells in jedem Teilschritt die Transformationsparameter der zugehörigen Gruppe iterativ durch Vergleich einer der Aufnahmegeometrie des Röntgenbilds entsprechenden Vorwärtsprojektion des Modells in seiner aktuell betrachteten Lage mit dem Röntgenbild optimiert.

Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Registrierungsvorrichtung übertragen, mit welcher mithin dieselben Vorteile erreicht werden können. Eine solche Registrierungsvorrichtung kann insbesondere auch in eine Röntgeneinrichtung integriert werden. Die verschiedenen beschriebenen Einheiten können durch Software- und/oder Hardwarekomponenten realisiert werden. Bevorzugt kann das erfindungsgemäße Verfahren als ein Computerprogramm bzw. Computerprogrammpaket realisiert werden, welches das erfindungsgemäße Verfahren ausführt, wenn es auf einer entsprechenden Recheneinrichtung, insbesondere der erfindungsgemäßen Registrierungsvorrichtung, abläuft.
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
1 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
2 mögliche Transformationen in einer Beispielanordnung, und
3 eine Röntgeneinrichtung mit einer erfindungsgemäßen Registrierungsvorrichtung.
1 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. In diesem Fall geht es darum, insbesondere unterstützend zu einem minimalinvasiven Eingriff, insbesondere am Herzen, Bilder einer Bildaufnahmeeinrichtung eines in den Patienten eingeführten Instruments mit fluoroskopischen Röntgenbildern einer Röntgeneinrichtung zu fusionieren. Dies soll über eine 2D-3D-Registrierung eines naturgetreuen Modells des Instruments mit einem zweidimensionalen Röntgenbild, in dem das Instrument zu sehen ist und das in Kegelstrahlgeometrie aufgenommen wurde, erfolgen.
In einem Schritt 1 wird jedoch zunächst, nachdem beispielsweise durch eine Bedienperson eingegeben wurde, welches Instrument verwendet werden soll, aus einer in einer Speichereinrichtung abgelegten Datenbank 2 ein dem Instrument zugeordneter Satz mit Teilschritten zugeordneten Gruppen von Transformationen abgerufen. In der Datenbank 2 sind derlei letztlich den Ablauf eines späteren Registrierungsvorgangs bestimmende Datensätze für verschiedene Instrumente gespeichert. Im vorliegenden Beispiel soll als Instrument eine TEE-Sonde, also ein Endoskop für die Speiseröhre, in dem eine Ultraschall-Bildaufnahmeeinrichtung vorgesehen ist, verwendet werden. Auch ein geeignetes, geometrisch exaktes Modell dieses Instruments kann im Übrigen gleich aus der Datenbank 2 abgerufen werden.
Nachdem das Instrument in den Patienten eingeführt wurde, wird in einem Schritt 3 das das Instrument zeigende zweidimensionale Röntgenbild 4 in einer bestimmten Aufnahmegeometrie 5 aufgenommen.
Sodann wird in einem Schritt 6 eine Startlage, das bedeutet, eine Startposition und eine Startorientierung, des Modells im Koordinatensystem der Röntgeneinrichtung, mit der das Röntgenbild 4 aufgenommen wurde, ermittelt. Hierzu wird eine stark vergrößerte, also in der Auflösung verringerte Version des Röntgenbilds 4 und eine entsprechend vergröberte Version des Modells des Instruments hergenommen, wobei anhand eines schnell auszuwertenden Ähnlichkeitsmaßes die Startlage in einem Optimierungsverfahren ermittelt wird, wie dies grundsätzlich bekannt ist.
Ausgehend von dieser Startlage erfolgt dann die eigentliche 2D-3D-Registrierung in einem Schritt 7, der, wie bereits bezüglich der Datenbank 2 diskutiert, in eine Mehrzahl von Teilschritten 8 aufgeteilt ist, wobei in jedem Teilschritt ein bis drei durch einen Transformationsparameter beschriebene Transformationen, also wenigstens eine Translation und/oder wenigstens eine Rotation, gemeinsam betrachtet werden, um die Transformationsparameter iterativ zu optimieren. Jedem Teilschritt 8 ist also eine eigene Gruppe mit ein bis drei Transformationen, insbesondere also ein bis drei Transformationsparametern, zugeordnet. Die Transformationsparameter werden iterativ optimiert, das bedeutet, in der aktuellen Lage des Modells wird eine Vorwärtsprojektion (digital rekonstruierte Radiographie – DRR) in der Aufnahmegeometrie 5 bestimmt. Das entstehende Vergleichsbild wird mit dem Röntgenbild 4 verglichen. Durch einen üblichen Optimierungsalgorithmus werden Transformationsparameter so bestimmt, dass ein Ähnlichkeitsmaß zwischen dem Röntgenbild 4 und der Vorwärtsprojektion maximiert wird. Dies erfolgt sukzessive für alle Gruppen, mithin alle Teilschritte 8, bis schließlich eine optimale Lage des Modells erhalten wird.
Auch in diesem Zusammenhang ist es im Übrigen möglich, schrittweise die Auflösung bis hin zur eigentlichen Auflösung des Röntgenbildes 4 zu erhöhen, so dass mithin in einem optionalen Schritt 9 überprüft werden kann, ob diese Auflösung bereits erreicht ist. Ist dies nicht der Fall, wird die Auflösung erhöht und der Schritt 7 mit der höheren Auflösung wiederholt, wobei die bestimmte optimale Lage als neue Startlage verwendet wird.
Die Gruppen und die Teilschritte 8 sind dabei, allgemein gesagt, nach mehreren Kriterien speziell für das tatsächlich verwendete Instrument gewählt. Dabei werden geometrische Eigenschaften des Instruments berücksichtigt, um festzustellen, welche Transformationen besonders große Auswirkungen haben und welche Transformationen idealerweise gemeinsam betrachtet werden sollten. Ein weiteres Kriterium, dass die Teilschritte 8 und die Auswahl der Gruppen bzw. der darin enthaltenen Transformationen bestimmt, ist, wie starke Änderungen die Transformationen in den Vorwärtsprojektionen auslösen, wobei solche Transformationen, die starke Änderungen hervorrufen, bevorzugt früher betrachtet werden, als solche, die eher schwache Änderungen hervorrufen.
Vorliegend wird dabei zwischen Transformationen ausgewählt, die auf die Aufnahmegeometrie 5 und/oder das Instrument selbst (bzw. dessen Modell) bezogen sind. Dabei wird zum einen unterschieden zwischen in-plane-Transformationen, also solchen, die Veränderungen in einer Ebene parallel zur Bildebene des Röntgenbildes 4 erzeugen, und out-of-plane-Transformationen, also solchen, bei denen auch oder nur Bewegungsanteile aus einer zur Bildebene des Röntgenbilds 4 parallelen Ebene heraus existieren. Als eine weitere, auf das Instrument bezogene Transformation wird eine Rotation um die Längsachse der starren Instrumentenspitze betrachtet.
Dies sei durch die beispielhafte Prinzipskizze der 2 näher erläutert. Dort ist allerdings, dies sei vorweggenommen, ein Sonderfall gezeigt, um eine einfachere Darstellung zu ermöglichen, nachdem das Instrument 10 des Modells 11 mit seiner Längsachse 12 parallel zur Bildebene 13, mithin senkrecht zur optischen Achse 14, steht. Die Position der Strahlungsquelle 15 ist in 2 ebenso schematisch angedeutet.
Mit den Bezeichnungen x, y und z sind in 2 verschiedene Richtungen bezeichnet. Die Richtung y liegt parallel zur optischen Achse 14, mithin senkrecht zur Bildebene 13, und gibt mithin eine „Tiefeninformation“ wieder. Die Richtung y entspricht einer „out-of-plane-Verschiebung“. Senkrecht zur Richtung y finden sich vorliegend die Richtungen x und z, welche mithin parallel zur Bildebene 13 stehen. Translationen entlang der Richtungen x und z entsprechen mithin in-plane-Verschiebungen.
Was Rotationen angeht, entspricht ersichtlich eine Rotation um die y-Achse einer Drehung des Instruments 10 in einer zur Bildebene 13 parallelen Ebene, so dass diese Rotation als inplane-Rotation bezeichnet werden kann. Entsprechend wird bei Rotationen um die z-Achse und die x-Achse das Instrument 10 aus einer zu der Bildebene 13 parallelen Ebene herausgedreht, so dass es sich um out-of-plane-Rotationen handelt. Dabei sei an dieser Stelle noch angemerkt, dass, wie durch die Drehungspfeile zu x und y angedeutet wird, der Drehpunkt 16 der Rotationen an die Spitze des Instruments 10 gelegt wurde.
Wie bereits angemerkt wurde, entspricht in diesem einfachen Beispiel die z-Richtung auch der Längsachse 12 des Instruments 10. Liegt die Längsachse 12 nicht in einer zur Bildebene 13 parallelen Ebene, so soll im Folgenden bezüglich der Rotation davon ausgegangen werden, dass mit der z-Richtung die Projektion der Längsachse 12 auf die Bildebene 13 bezeichnet wird.
Allerdings sei darauf hingewiesen, dass bei der Betrachtung von TEE-Sonden wie dem vorliegenden Instrument 10, welche bekanntlich in die Speiseröhre eines Patienten eingeführt sind, das Instrument 10 häufig ohnehin im Wesentlichen vertikal steht, so dass die Abweichung der Längsachse 10 von der Richtung z, wenn sie als Vertikale gewählt wurde, in der Praxis teilweise eher gering ist.
Wie in 2 bereits angedeutet ist, erzeugen verschiedene Rotationszustände des Instruments 10 um seine Längsachse 12 deutlich unterschiedliche Projektionen auf die Bildebene 13, was im Übrigen dadurch verstärkt wird, dass Teile der Instrumentenspitze röntgendurchlässiger sind, so dass Strukturen, beispielsweise einzelne Bauteile, in bestimmten Ausrichtungen ebenso erkennbar sind. Diese Erkenntnis liegt dem nun folgenden konkreten Ausführungsbeispiel für konkrete Teilschritte 8 und zugeordnete Gruppen als geometrische Eigenschaft des Instruments 10 mit zugrunde.
In einem ersten Teilschritt 8 werden dabei zunächst nur in-plane-Transformationen betrachtet, in der Prinzipskizze der 2 Translationen entlang der z- und der x-Richtung sowie Rotationen um die y-Richtung. Die entsprechenden drei Transformationsparameter werden gemeinsam optimiert. Sodann werden in einem zweiten Teilschritt 8 in einer anderen Gruppe andere Rotationen und somit andere Transformationsparameter betrachtet, nämlich zunächst, nachdem, wie dargelegt wurde, deutliche Veränderungen auftreten können, eine Rotation um die Längsachse 12 des Instruments 10. Nachdem dies zu Verschiebungen der Begrenzungen führen kann, werden gleichzeitig wiederum Translationen in-plane betrachtet, mithin am Beispiel der 2 Verschiebungen in x-Richtung und z-Richtung.
In einem dritten Teilschritt 8 erfolgt eine erste Tiefenabschätzung, so dass dort neben wiederum Verschiebungen in-plane, also parallel zur Bildebene 13, Richtungen x und z, Verschiebungen entlang der y-Richtung, also senkrecht zur Bildebene 13, betrachtet werden.
In einem vierten Teilschritt 8 erfolgt eine simultane Optimierung von hier nur zwei Transformationsparametern, nämlich eines solchen, der eine Rotation um die Längsachse 12 des Instruments 10 beschreibt gemeinsam mit einer Translation parallel zur Bildebene 13, jedoch senkrecht zur Projektion des Längsachse 12 auf die Bildebene 13, in 2 die x-Richtung. So wird die Rotation um die Längsachse 12 nochmals verbessert abgeschätzt.
In einem fünften Teilschritt 8 soll die Verkippung des Instruments 10 genauer betrachtet werden, wobei wiederum nur zwei Transformationsparameter gleichzeitig optimiert werden, wovon einer eine Verschiebung senkrecht zur Bildebene 13 (y-Richtung) betrifft, der andere eine Rotation um eine senkrecht zur Projektion der Längsachse 12 auf die Bildebene 13 liegende Achse (in 2 die x-Richtung).
Schließlich erfolgt eine verfeinerte Tiefenabschätzung, indem erneut eine out-of-plane-Rotation um eine zur Projektion der Längsachse 12 auf die Bildebene 13 senkrechte Achse (x-Richtung) betrachtet wird, diesmal gemeinsam mit einer in-plane-Verschiebung entlang der Richtung der Projektion der Längsachse 12 auf die Bildebene 13, mithin in 2 die z-Richtung.
Die Lage, in der sich das Modell 11 des Instruments 10 nach der Optimierung in den sechs Teilschritten 8, wie sie hier konkret beschrieben wurden, findet, ist dann die gesuchte optimale Lage des Instruments 10 relativ zur Aufnahmegeometrie 5. Dabei sei angemerkt, dass die Teilschritte 8 einzeln und/oder vollständig wiederholt werden können, um eine Verbesserung der ermittelten optimalen Lage zu erreichen.
Das soeben konkret beschriebene Ausführungsbeispiel wurde von den Erfindern mit einer Registrierung von sechs Registrierungsparametern gleichzeitig verglichen, indem verschiedene Testdatensätze klinischer Daten und Bilder von Tierexperimenten herangezogen wurden. Jeder Datensatz wurde von 1.500 verschiedenen Startlagen ausgehend registriert. Um den Registrierungsfehler zu bestimmen, wurde der Abstand von der realen Lage des Instruments (ground truth) zu der bestimmten optimalen Lage vermessen. Dabei wurde festgestellt, dass sich der Registrierungsfehler, insbesondere der kumulierte Registrierungsfehler, deutlich verringern ließ.
Nachdem die gleichzeitig optimierten Freiheitsgrade auf maximal drei beschränkt sind, kann ein solcher kleinerer Parameterraum schneller und effektiver durchsucht und mithin optimiert werden. Im Rahmen dieser Experimente wurde auch die Zeit gemessen, in der die 2D-3D-Registrierung abgeschlossen wird. Es hat sich gezeigt, dass sich beispielsweise bei den klinischen Datensätzen, die verwendet wurden, eine deutliche Zeitreduzierung von 20,4 auf 9,4 Sekunden im Durchschnitt ergibt. Auch für die Tier-Datensätze wurde eine Reduzierung der Registrierungszeit erzielt, dort von durchschnittlich 10,3 auf 6,1 Sekunden.
Ist die 2D-3D-Registrierung abgeschlossen, mithin eine am ehesten dem Röntgenbild 4 entsprechende Lage des Instruments 10 im Koordinatensystem der Röntgeneinrichtung gefunden, wird diese in einem Schritt 17, 1, genutzt, um mit der Bildaufnahmeeinrichtung des Instruments 10, hier der Ultraschall-Bildaufnahmeeinrichtung, aufgenommene Bilder, insbesondere auch dreidimensionale Bilddatensätze, mit weiteren aufgenommenen fluoroskopischen Röntgenbildern der Röntgeneinrichtung zu fusionieren und darzustellen, so dass eine verbesserte Unterstützung während des minimalinvasiven Eingriffs gegeben ist.
3 zeigt schließlich eine Röntgeneinrichtung 18 in einer Prinzipskizze, an der das erfindungsgemäße Verfahren realisiert ist. Dabei handelt es sich vorliegend um eine C-Bogen-Röntgeneinrichtung 18, welche, wie grundsätzlich bekannt, einen C-Bogen 19 aufweist, an dem sich gegenüberliegend die Strahlungsquelle 15 und ein Strahlungsdetektor 20 angeordnet sind, welcher die Bildebene 13 definiert. Gesteuert wird der Betrieb der Röntgeneinrichtung 18 von einer Steuereinrichtung 21, die vorliegend auch eine erfindungsgemäße Registrierungsvorrichtung 22 umfasst. Letztere ist zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet, das bedeutet, sie umfasst Hardware- und/oder Softwarekomponenten, um Einheiten 23, 24 und 25 sowie gegebenenfalls weitere Einheiten zu realisieren, die Schritte des erfindungsgemäßen Verfahrens durchführen.
Konkret umfasst die Registrierungsvorrichtung 22 eine Startlagenbestimmungseinheit 23, die wie bezüglich Schritt 6 beschrieben eine Startlage ermitteln kann. Ferner ist eine Endlagenbestimmungseinheit 24 für die Realisierung des Schrittes 7 mit den Teilschritten 8 und des Schrittes 9, falls vorhanden, vorgesehen, der eine Optimierungseinheit 25 für den Schritt 7 mit den Teilschritten 8 untergeordnet ist.
Die Steuereinrichtung 21 umfasst ferner eine Speichereinrichtung 26, die auch von der Registrierungsvorrichtung 22 genutzt wird, in der beispielsweise die Datenbank 2 für das Modell und verschiedene Datensätze für Teilschritte und Gruppen abgelegt werden kann. Auch sonstige Daten lassen sich in der Speichereinrichtung 26 abspeichern.
Auch weitere Einheiten sind denkbar, beispielsweise eine Auswahleinheit zur Auswahl eines geeigneten Modells (Schritt 1) und eine Fusionseinheit zur Fusion von mit einer Bildaufnahmeeinrichtung des Instruments 10 aufgenommenen Bildern mit Röntgenbildern (Schritt 17).
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
Bezugszeichenliste

1: Schritt
2: Datenbank
3: Schritt
4: Röntgenbild
5: Aufnahmegeometrie
6: Schritt
7: Schritt
8: Teilschritt
9: Schritt
10: Instrument
11: Modell
12: Längsachse
13: Bildebene
14: Optische Achse
15: Strahlungsquelle
16: Drehpunkt
17: Schritt
18: Röntgeneinrichtung
19: C-Bogen
20: Strahlungsdetektor
21: Steuereinrichtung
22: Registrierungsvorrichtung
23: Startlagenbestimmungseinheit
24: Endlagenbestimmungseinheit
25: Optimierungseinheit
26: Speichereinrichtung

Claims

Verfahren zur 2D-3D-Registrierung eines dreidimensionalen Modells (11) eines in einem zweidimensionalen, mit einer Röntgeneinrichtung (18) aufgenommenen Röntgenbild (4) sichtbaren Instruments (10), insbesondere eines in einen Patienten einzuführenden, eine Bildaufnahmeeinrichtung umfassenden Instruments (10), mit dem in einer Kegelstrahlgeometrie aufgenommenen Röntgenbild (4), wobei ausgehend von einer Startlage eine dem im Röntgenbild (4) sichtbaren Instrument (10) entsprechende Lage des Modells (11) in einem dreidimensionalen Koordinatensystem der Röntgeneinrichtung (18) bestimmt wird, dadurch gekennzeichnet, dass jeweils einem Teilschritt (8) zugeordnete Gruppen von auf das Instrument (10) im Modell (11) und/oder die Aufnahmegeometrie (5) des Röntgenbilds (4) bezogenen, durch jeweils genau einen Transformationsparameter beschriebenen, weniger als sechs Transformationen des Modells (11) verwendet werden, wobei in jedem Teilschritt (8) die Transformationsparameter der zugehörigen Gruppe iterativ durch Vergleich einer der Aufnahmegeometrie (5) des Röntgenbilds (4) entsprechenden Vorwärtsprojektion des Modells (11) in seiner aktuell betrachteten Lage mit dem Röntgenbild (4) optimiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als wenigstens eine Transformation eine Rotation des Modells (11) um seine Längsachse (12) und/oder eine Verschiebung des Modells (11) in einer zur Bildebene (13) des Röntgenbilds (4) parallelen Richtung und/oder eine Verschiebung des Modells (11) in einer zur Bildebene (13) des Röntgenbilds (4) senkrechten Richtung und/oder eine Rotation des Modells (11) um eine zur Bildebene (13) senkrechte Achse und/oder eine Rotation des Modells (11) um eine in der Bildebene (13) liegende Achse verwendet wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Rotationen um einen an der Spitze des Instruments (10) im Modell (11) angeordneten Drehpunkt (16) erfolgen.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass einen bis drei Transformationsparameter enthaltende Gruppen verwendet werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in einem Teilschritt betrachtete Transformationen in Abhängigkeit von wenigstens einer geometrischen Eigenschaft des Instruments gewählt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Reihenfolge der Optimierung von Transformationsparametern in den Teilschritten (8) wenigstens teilweise anhand der bei der entsprechenden Transformation auftretenden Änderung einer der Aufnahmegeometrie (5) des Röntgenbildes (4) entsprechenden Projektion auf die Bildebene (13) derart gewählt wird, dass Parameter mit größeren Änderungen vor Parametern mit kleineren Änderungen optimiert werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in wenigstens einem ersten Teilschritt (8) als Transformationen Verschiebungen des Modells (11) parallel zu der Bildebene (13) des Röntgenbildes (4) und/oder Rotationen des Modells (11) um eine senkrecht zur Bildebene (13) des Röntgenbildes (4) liegende Achse verwendet werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass in wenigstens einem zweiten, dem ersten Teilschritt (8) folgenden Teilschritt (8) als Transformationen eine Verschiebung des Modells (11) entlang einer senkrecht zur Bildebene (13) des Röntgenbildes (4) und/oder wenigstens eine Rotation des Modells (11) um eine parallel zu der Bildebene (13) des Röntgenbildes (4) liegende Achse und/oder eine Rotation des Modells (11) um die Längsachse (12) des Instruments (10) in dem Modell (11) gemeinsam mit wenigstens einer Verschiebung des Modells (11) parallel zu der Bildebene (13) des Röntgenbildes (4) und/oder einer Rotation des Modells (11) um eine zur Bildebene (13) des Röntgenbildes (4) senkrechte Achse verwendet werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in wenigstens einem dritten, auf den zweiten Teilschritt (8) folgenden Teilschritt (8) als Transformationen nur eine Verschiebung des Modells (11) entlang einer senkrecht zur Bildebene (13) des Röntgenbildes (4) und/oder wenigstens eine Rotation des Modells (11) um eine parallel zu der Bildebene (13) des Röntgenbildes (4) liegende Achse betrachtet werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass, insbesondere bei Verwendung einer endoskopischen Ultraschalleinrichtung und/oder bei einem bei Drehungen um seine Längsachse (12) in seinem Röntgenprofil deutliche Änderungen zeigenden Instrument (11), folgende Transformationen in aufeinanderfolgenden Teilschritten (8) betrachtet werden: – zueinander senkrechte Verschiebungen parallel zu der Bildebene (13) des Röntgenbildes (4) und eine Rotation um eine senkrecht zur Bildebene (13) des Röntgenbildes (4) stehende Achse, – wenigstens eine insbesondere zur Projektion der Längsachse (12) des Instruments (10) im Modell (11) auf die Bildebene (13) des Röntgenbildes (4) senkrechte Verschiebung parallel zu der Bildebene (13) des Röntgenbildes (4) und eine Rotation des Modells (11) um seine Längsachse (12), – zueinander senkrechte Verschiebungen parallel zu der Bildebene (13) des Röntgenbildes (4) und eine Verschiebung senkrecht zur Bildebene (13) des Röntgenbildes (4), – eine Rotation des Modells (11) um seine Längsachse (12) und eine insbesondere zur Projektion der Längsachse (12) auf die Bildebene (13) des Röntgenbildes (4) senkrechte Verschiebung parallel zur Bildebene (13) des Röntgenbildes (4), – eine Rotation um eine zur Projektion der Längsachse (12) des Modells (11) auf die Bildebene (13) des Röntgenbildes (4) senkrechte, zur Bildebene (13) des Röntgenbildes (4) parallele Rotationsachse und eine Verschiebung senkrecht zur Bildebene (13) des Röntgenbildes (4), – eine Rotation um eine zur Projektion der Längsachse (12) des Modells (11) auf die Bildebene (13) des Röntgenbildes (4) senkrechte, zur Bildebene (13) des Röntgenbildes (4) parallele Rotationsachse und eine Verschiebung parallel zur Bildebene (13) des Röntgenbildes (4).
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Startlage eine Grobregistrierung auf das in seiner Auflösung reduzierte Röntgenbild (4) vorgenommen wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Optimierung in den Teilschritten (8) für mehrere höher werdende Auflösungen des Röntgenbildes (4) und des Modells (11) durchgeführt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für unterschiedliche Typen von Instrumenten (10) unterschiedliche vorbestimmte Abläufe von Teilschritten (8) mit Gruppen von Transformationen in einer Speichereinrichtung (26) abgelegt sind und ein Ablauf für ein aktuell zu registrierendes Instrument (10) abgerufen wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die ermittelte Lage des Modells (11) zu einer Registrierung von mit einer Bildaufnahmeeinrichtung des Instruments (10) aufgenommenen Bilddaten mit dem Röntgenbild (4) und/oder wenigstens einem weiteren Röntgenbild verwendet wird.
Registrierungsvorrichtung (22), insbesondere ausgebildet zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche, zur 2D-3D-Registrierung eines dreidimensionalen Modells (11) eines in einem zweidimensionalen, mit einer Röntgeneinrichtung (18) aufgenommenen Röntgenbild (4) sichtbaren Instruments (10), insbesondere eines in einen Patienten einzuführenden, eine Bildaufnahmeeinrichtung umfassenden Instruments (10), mit dem in einer Kegelstrahlgeometrie aufgenommenen Röntgenbild (4), aufweisend: – eine Startlagenbestimmungseinheit (23) zur Bestimmung einer Startlage des Modells (11), – eine Endlagebestimmungseinheit (24) zur Ermittlung einer dem im Röntgenbild (4) sichtbaren Instrument (10) entsprechenden Lage des Modells (11) in einem dreidimensionalen Koordinatensystem der Röntgeneinrichtung (18) ausgehend von der Startlage, welche eine Optimierungseinheit (25) aufweist, die unter Verwendung von jeweils einem Teilschritt (8) zugeordneten Gruppen von auf das Instrument (10) im Modell (11) und/oder die Aufnahmegeometrie (5) des Röntgenbildes (4) bezogenen, durch jeweils einen Transformationsparameter beschriebenen Transformationen des Modells (11) in jedem Teilschritt (8) die Transformationsparameter der zugehörigen Gruppe iterativ durch Vergleich einer der Aufnahmegeometrie (5) des Röntgenbilds (4) entsprechenden Vorwärtsprojektion des Modells (11) in seiner aktuell betrachteten Lage mit dem Röntgenbild (4) optimiert.