DE102004032914A1

DE102004032914A1 - Verfahren zur Bestimmung einer Koordinatentransformation von Bildkoordinaten verschiedener Bilder eines Objekts

Info

Publication number: DE102004032914A1
Application number: DE102004032914A
Authority: DE
Inventors: Jan Dr. Boese; Martin Dr. Kleen; Norbert Rahn
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2004-07-07
Filing date: 2004-07-07
Publication date: 2006-02-02
Also published as: WO2006003203A1; US7844132B2; US20080044105A1

Abstract

Für die Registrierung von Bildern (2, 3) eines Objekts (1) wird ein Verfahren vorgeschlagen, bei dem zunächst eine den Bildern (2, 3) gemeinsame Landmarke (6) identifiziert wird und die Transformationen in Bezug auf die verbleibenden Freiheitsgrade (7, 8, 9) durch einen nicht auf die Landmarke (6) gestützten Lageabgleich bestimmt werden.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Koordinatentransformation von Bildkoordinaten verschiedener Bilder eines Objekts, bei dem einander zugeordnete Orientierungshilfen gesucht und die Koordinatentransformation mit Hilfe der Bildkoordinaten der Orientierungshilfen berechnet wird.

Derartige Verfahren sind in dem Bereich der Medizintechnik allgemein bekannt. Sie werden insbesondere dazu verwendet, Bilder, die mit unterschiedlichen Untersuchungsmethoden gewonnen wurden, zur Deckung zu bringen. Bei den Bildern kann es sich sowohl um Volumenbilder als auch um Projektionsbilder handeln. Beispielsweise kann das Bild eines Patienten, das mit einem Computer-Tomographiegerät aufgenommen worden ist, über ein weiteres Bild gelegt werden, das von einem Kernspin-Tomographen erzeugt wurde. Ein weiteres Beispiel stellt die Kombination eines Fluoreszenzbildes mit einem Bild dar, das mit Hilfe eines Computer-Tomographen aufgenommen worden ist.

Die Berechnung der dazu notwendigen Koordinatentransformation wird auch als Registrierung bezeichnet. Die Darstellung der registrierten Bilddaten wird auch Fusion genannt. Die Registrierung und die Fusion kann mit Bilddaten gleicher oder verschiedener Modalitäten durchgeführt werden. Unter Modalität wird dabei die Art der Datengewinnung verstanden. Bilddaten gleicher Modalität sind insbesondere mit der gleichen Diagnosevorrichtung aufgenommen worden.

Die Registrierung von Bilddaten gleicher oder verschiedener Modalitäten kann mit Hilfe von Orientierungshilfen (= landmarks) durchgeführt werden. Diese Orientierungshilfen, die auch als Landmarken bezeichnet werden, können leicht identi fizierbare Bereiche des abgebildeten Objekts oder am Objekt angebrachte zusätzliche Markierungen (= fiducials) sein.

Daneben gibt es Verfahren, die sich an der Gesamtstruktur des abgebildeten Objekts orientieren. Bei diesem Verfahren handelt es sich um Verfahren mit visuellem Lageabgleich und um Verfahren, die Korrelationen zwischen den Voxeln der zu registrierenden Bildern berechnen sowie um Verfahren, die sich an der Oberfläche des abgebildeten Objekts orientieren. Unter Voxel sind dabei Bildelemente eines Volumenbilds zu verstehen.

Bei der Registrierung von Bilddaten wird eine gewisse Anzahl von Freiheitsgraden einer Transformationsmatrix bestimmt, die jede Bildkoordinate des einen Bilds auf eine zugeordnete Bildkoordinate des anderen Bilds abbildet. Das eine Bild wird im Folgenden als Modellbild und das andere Bild als Referenzbild bezeichnet.

Wenn die Orientierungshilfen in den Bilddaten aufgefunden werden können, kann die Transformationsmatrix auf einfache Weise durch Lösen eines linearen Gleichungssystems berechnet werden. Insofern sind keine fehleranfälligen oder zeitaufwändigen Optimierungsprozesse notwendig. Außerdem kann die Transformationsmatrix innerhalb kurzer Zeit berechnet werden.

Ein Nachteil der auf Orientierungshilfen gestützten Berechnung der Transformationsmatrix ist, dass die Orientierungshilfen häufig in den Bildern nicht auffindbar sind. Dies führt zu Ungenauigkeiten bei der Registrierung.

Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein verbessertes Verfahren zur Registrierung von Bildern zu schaffen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.

Bei dem Verfahren wird zunächst wenigstens ein Paar von einander zugeordneten Orientierungshilfen gesucht. Anschließend wird die Lage des in den verschiedenen Bildern enthaltenen Objekts bezüglich der verbleibenden Freiheitsgrade mit Hilfe eines nicht auf die Orientierungshilfen gestützten Lageabgleichs bestimmt. Mit den dabei gewonnenen Informationen lässt sich schließlich die Koordinatentransformation berechnen.

Bei dem Verfahren wird die in den Orientierungshilfen enthaltene Information effektiv für den Lageabgleich genutzt. Im Vergleich zu herkömmlichen auf Orientierungshilfen gestützten Verfahren versagt das Verfahren allerdings auch dann nicht, wenn die Orientierungshilfen nicht vollständig aufgefunden werden können. Mit dem Verfahren werden somit die von den Orientierungshilfen gebotenen Informationen so weit wie möglich genutzt und die fehlenden Informationen durch ein Verfahren gewonnen, das nicht auf Orientierungshilfen angewiesen ist.

Das Verfahren ist nicht auf den Lageabgleich zwischen Volumenbildern beschränkt, sondern kann auch zum Lageabgleich von Projektionsbildern verwendet werden. Ferner ist es möglich, die Projektion eines Volumenbilds mit einem Projektionsbild abzugleichen.

Vorzugsweise wird der nicht auf die Orientierungshilfen gestützte Lageabgleich durchgeführt, indem ein Extremwert einer für die Korrelation zwischen den Bildern charakteristischen Maßzahl gesucht wird. In diesem Fall kann der nicht auf Orientierungshilfen gestützte Lageabgleich automatisiert werden.

Dieser Teil des Verfahrens kann aber auch durchgeführt werden, indem ein Benutzer anhand von auf einer Anzeigeeinheit dargestellten Bildern eine Koordinatentransformation sucht, die zu einer möglichst großen Übereinstimmung führt.

Weitere Vorteile und Einzelheiten gehen aus der nachfolgenden Beschreibung hervor, in der Ausführungsbeispiele der Erfindung anhand der Zeichnung im Einzelnen erläutert werden. Es zeigen:
1 zwei Bilder mit unterschiedlichen Ansichten eines Objekts, wobei zwischen den Bildern ein Lageabgleich durchgeführt werden soll;
2 eine Darstellung mit den bei einem ersten Ausführungsbeispiel des Verfahrens für den Lageabgleich ausgeführten Transformationen;
3 eine Darstellung mit den bei einem weiteren Ausführungsbeispiel der Erfindung für den Lageabgleich ausgeführten Transformationen; und
4 eine Darstellung einer weiteren Ausführungsform der Erfindung, bei der ein Lageabgleich zwischen der Projektion eines Volumenbilds und einem Projektionsbild durchgeführt wird.
1 zeigt ein Objekt 1, das in unterschiedlichen Volumenbildern 2 und 3 enthalten ist. Die Volumenbilder 2 und 3 sind auf Koordinatensysteme 4 und 5 bezogen. Die Lage des Objekts 1 in den Volumenbildern 2 und 3 kann in Bezug auf die Koordinatensysteme 4 und 5 unterschiedlich sein. Wenn daher die Volumenbilder 2 und 3 zur Deckung gebracht werden sollen, um dem medizinischen Personal die Diagnose zu erleichtern, muss eine Koordinatentransformation T gefunden werden, durch die die Bildkoordinaten des Objekts 1 im Volumenbild 2 auf die Bildkoordinaten des Objekts 1 im Volumenbild 3 umgerechnet werden können. In homogenen Koordinaten hat die Transformationsmatrix beispielsweise folgende Gestalt:
Die Elemente der Transformationsmatrix r₁₁ bis r₃₃ beschreiben eine Drehung des Objekts 1 bezüglich der Koordinatenachsen des Koordinatensystems 4 oder 5. Die Elemente der Transformationsmatrix t_x bis t_z beschreiben eine eventuell erforderliche Translation entlang den Koordinatenachsen des Koordinatensystems 4 oder 5.
Es sei angemerkt, dass die Volumenbilder 2 und 3 bei medizinischen Anwendungen üblicherweise im DICOM-Format abgespeichert sind. Das DICOM-Format schreibt einen einheitlichen Maßstab für die Volumenbilder 2 und 3 vor. Es ist daher im Allgemeinen nicht erforderlich, eine Streckung auszuführen, um das Volumenbild 2 mit dem Volumenbild 3 abzugleichen.
Zur Berechnung der Koordinatentransformation werden Informationen zu drei Freiheitsgraden der Translation und drei Freiheitsgraden der Rotation benötigt. Insgesamt stehen somit sechs Freiheitsgrade zur Verfügung.
Die Bestimmung der Transformationsmatrix T kann nun wie folgt vorgenommen werden. Wie in 2 dargestellt, kann sowohl im Volumenbild 2 als auch im Volumenbild 3 jeweils eine Landmarke 6 enthalten sein, die ohne weiteres sowohl im Volumenbild 2 als auch im Volumenbild 3 identifiziert werden kann. Die sowohl im Volumenbild 2 als auch im Volumenbild 3 auffindbare Landmarke 6 kann dann unmittelbar dazu verwendet werden, die Freiheitsgrade bezüglich der Translation zu eliminieren. Damit sind die drei translatorischen Elemente t_x bis t_z der Transformationsmatrix T bereits bekannt. Im weiteren Verlauf brauchen daher nur noch Informationen bezüglich der drei Freiheitsgrade der Rotation gewonnen zu werden, da mit die restlichen rotatorischen Elemente r₁₁ bis r₃₃ berechnet werden können.
Die drei rotatorischen Freiheitsgrade sind in 2 durch Drehungen 7, 8 und 9 um die x-Achse, y-Achse und die z-Achse des Koordinatensystems 5 veranschaulicht. Die Drehungen 7, 8 und 9 sind, diejenigen Drehungen, um die die Bilddaten des Volumenbilds 2 um die Achsen des Koordinatensystems 5 rotiert werden.
Das Volumenbild 2 wird auch als Modellvolumenbild und das Volumenbild 3 als Referenzvolumenbild bezeichnet. Der Vorgang, durch den die Transformationsmatrix T bestimmt wird, wird Registrierung genannt. Die Anwendung der Transformationsmatrix T auf die Bilddaten des Volumenbilds 2 heißt schließlich Fusion.
Für die Bestimmung der rotatorischen Elemente der Transformationsmatrix T können verschiedene Registrierungsverfahren verwendet werden, die nicht auf Landmarken angewiesen sind.
Beispielsweise kann die restliche Registrierung nach dem Auffinden der Landmarke 6 mit einem automatischen Registrierungsverfahren erfolgen, das die Voxel der Volumenbilder 2 und 3 auswertet. Typischerweise wird dabei eine für die Korrelation zwischen den Bilddaten der Volumenbilder 2 und 3 charakteristische Maßzahl verwendet. Dies kann beispielsweise ein Korrelationskoeffizienten sein, der anhand von Grauwerten berechnet worden ist.
Die Registrierung bezüglich der rotatorischen Elemente der Transformationsmatrix T kann auch durch ein Registrierungsverfahren erfolgen, das sich an der Oberfläche des Objekt 1 orientiert. Daneben kommen Registrierungsverfahren in Frage, bei denen ein Benutzer die an einem Bildschirm angezeigten Volumenbilder 2 und 3 so lange verändert, bis eine ausreichende Übereinstimmung erzielt ist.
Nach der Registrierung der rotatorischen Elemente der Transformationsmatrix T kann nochmals ein Registrierungsverfahren auf die Bilddaten angewendet werden, das nicht auf Landmarken gestützt ist und das ohne Verwendung des anfangs identifizierten Paares der Landmarken 6 auskommt. Durch das erneute Anwenden des nicht auf Landmarken gestützten Registrierungsverfahrens kann das vorhergehende Ergebnis optimiert oder verifiziert werden.
3 zeigt ein weiteres Registrierungsverfahren, bei dem nach der Identifizierung zweier Paare von Landmarken 10 und 11 die drei translatorischen Elemente t_x bis t_z bekannt sind. Auch die rotatorischen Elemente der Transformationsmatrix T sind weitgehend festgelegt, da nur noch ein Freiheitsgrad bezüglich der Rotation 7 um eine durch die Landmarkenpaare 10 und 11 festgelegten Drehachse 12 übrig bleibt. Der nach der Identifikation der Landmarkenpaare 10 und 11 noch unbekannte Drehwinkel um die Drehachse 12 wird durch ein Registrierungsverfahren ermittelt, das nicht auf Landmarken gestützt ist. Dies kann sowohl manuell als automatisch erfolgen. Ferner können oberflächenorientierte oder volumenorientierte Registrierungsverfahren verwendet werden. Ferner ist es möglich, das Ergebnis der Registrierung durch ein weiteres Registrierungsverfahren zu verbessern, das nicht auf Landmarken gestützt ist und die anfangs identifizierten Paare von Landmarken 10 und 11 nicht verwendet.
Das anhand der 2 und 3 beschriebene Verfahren kann auch auf Projektionsbilder oder auf eine Kombination von Projektionsbildern mit Projektion von Volumenbildern angewandt werden. Ein derartiges Registrierungsverfahren ist in 4 dargestellt. Bei dem in 4 dargestellten Registrierungsverfahren wird die Registrierung eines Volumenbilds 13 mit einem Projektionsbild 14 dargestellt. Die Transformationsmatrix P hat allgemein die Form:
Bei der Berechnung der Transformationsmatrix P sind 11 Freiheitsgrade zu berücksichtigen: sechs intrinsische und fünf extrinsische. Die extrinsischen Freiheitsgrade beziehen sich auf die Translation T1, T2 und T3 in Richtung einer x-Achse, eine y-Achse und einer z-Achse und um die Rotationen R1, R2 und R3 um die x-Achse, y-Achse und die z-Achse. Die intrisichen Freiheitsgrade sind die Freiheitsgrade der Projektion. Insbesondere werden die Quotienten f/d_x, f/d_y, das Produkt f·s sowie u₀ und v₀ als Freiheitsgrade bezeichnet. Die Größe f ist dabei der Abstand f zwischen dem einen Projektionszentrum 15 und dem Projektionsbild 14, d_x und d_y die Pixelgröße im Projektionsbild 14, s ein Streckungsfaktor und u₀ und v₀ die Koordinaten des so genannten Durchstoßpunktes.
Auch in diesem Fall wird die Aufgabe der Registrierung vereinfacht, wenn zunächst die von einer Landmarke 16 vermittelten Lageinformationen ausgewertet werden. Denn im Prinzip sind bei bekannten intrinsischen Parametern vier Paare von Landmarken erforderlich, um die Lage des Objekts 1 in Bezug auf die sechs extrinsischen Freiheitsgrade zu bestimmen. Im Falle unbekannter intrinsischer Parameter sind sechs Paare von Landmarken erforderlich um die elf Freiheitsgrade zu bestimmen. Auch wenn weniger als vier oder weniger als sechs Paar von Landmarken identifizierbar sind, können die identifizierten Landmarken dazu verwendet werden, die Zahl der Freiheitsgrade zu verringern, was die Registrierung erleichtert. Denn durch die Identifikation der Landmarke 16 kann der verbleibende Registrierungsvorgang einfacher von Hand an einer Anzeigeeinheit durchgeführt werden und der Optimierungsaufwand und damit die Rechenzeit und die Fehleranfälligkeit von optimierenden Registrierungsverfahren, die auf Voxel oder Oberflächen gestützt sind, sinkt mit der Reduktion der zu ermittelnden Freiheitsgrade.
Die hier beschriebenen Verfahren zeichnen sich somit dadurch aus, dass zunächst eine Anzahl von Landmarken in den zu registrierenden Bildern identifiziert wird. Die Anzahl der Landmarken reicht jedoch nicht aus, um ein Gleichungssystem zu bilden, dessen Lösung die gesuchte Transformationsmatrix ist. Im Anschluss an die Identifikation der Landmarken werden die restlichen zu ermittelnden Freiheitsgrade durch interaktive, semiautomatische oder vollautomatische Registrierungsverfahren bestimmt. Diese Registrierungsverfahren können ein visueller Lageabgleich (= visual position alignment), ein oberflächenorientierter Lageabgleich (= surface matching) oder ein vollautomatisches Registrierungsverfahren, zum Beispiel ein auf die Auswertung von Voxeln gestütztes Registrierungsverfahren sein.
In einem dritten Verfahrensschritt kann schließlich optional durch ein nicht auf Landmarken gestütztes Registrierungsverfahren, beispielsweise durch eine automatische auf Voxel gestützte Registrierung, das vorhergehende Ergebnis ohne die Verwendung der anfangs identifizierten Landmarken optimiert oder verifiziert werden. Bei einer Vorrichtung zur Ausführung des Verfahrens kann auch eine Funktion vorgesehen sein, die den letzten Verfahrensschritt rückgängig macht.

Claims

Verfahren zur Bestimmung einer Koordinatentransformation von Bildkoordinaten verschiedener Bilder (2, 3, 13, 14) eines Objekts (1), bei dem einander zugeordnete Orientierungshilfen (6, 10, 11, 16) gesucht und die Koordinatentransformation mit Hilfe der Bildkoordinaten der Orientierungshilfen (6, 10, 11, 16) berechnet wird, dadurch gekennzeichnet, dass zunächst wenigstens ein Paar von einander zugeordneten Orientierungshilfen (6, 10, 11, 16) gesucht wird und anschließend die Lage des Objekts (1) in den Bildern (2, 3, 13, 14) bezüglich der verbleibenden Freiheitsgrade mit Hilfe eines weiteren nicht auf die Orientierungshilfen (6, 10, 11, 16) gestützten Lageabgleichs bestimmt wird und dass die Koordinatentransformation mit Hilfe der Bildkoordinaten der Orientierungshilfen (6, 10, 11, 16) und der beim Lageabgleich gewonnenen Informationen berechnet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Lageabgleich an der Gesamtstruktur des Objekts (1) orientiert ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Lageabgleich an der Struktur des im Bild (2, 3, 13, 14) abgebildeten Volumens orientiert ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Lageabgleich an Oberflächen des im Bild (2, 3, 13, 14) abgebildeten Objekts (1) orientiert ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Koordinatentransformation zwischen Volumenbildern (2, 3) berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Koordinatentransformation zwischen Projektionsbildern (14) berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Koordinatentransformation zwischen der Projektion eines Volumenbilds (13) und einem Projektionsbilds (14) berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Lageabgleich durch die Berechnung einer Koordinatentransformation erfolgt, durch die eine für die Korrelation zwischen den Bildern (2, 3, 13, 14) charakteristischen Maßzahl optimiert wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Lageabgleich durch einen Benutzer durchgeführt wird, indem durch den Benutzer an eine Anzeigeeinheit die Bildlage des Objekts (1) in wenigstens einem Bild (2, 3, 13, 14) verändert wird.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Orientierungshilfen (6, 10, 11, 16) automatisch gesucht werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Orientierungshilfen (6, 10, 11, 16) von einem Benutzer an einer Anzeigeeinheit gesucht werden.