DE10049103B4

DE10049103B4 - Vorrichtung zur Überlagerung von Röntgen- und Videobildern

Info

Publication number: DE10049103B4
Application number: DE2000149103
Authority: DE
Inventors: Ali Bani-Hashemi; Nassir Navab; Matthias Mitschke
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Corp
Priority date: 1999-09-30
Filing date: 2000-09-27
Publication date: 2005-01-27
Anticipated expiration: 2020-09-28
Also published as: DE10049103A1

Abstract

Verfahren zum Korrelieren eines optischen Bildes mit einem Röntgenbild durch Überlagern eines Bildes mit dem anderen, welche folgende Schritte umfasst:
Richten einer Quelle von Röntgenstrahlenenergie von einem Punkt im Raum durch ein interessierendes Objekt auf eine Detektorebene, wodurch ein Röntgenbild auf der Detektorebene erzeugt wird;
Positionieren des optischen Zentrums einer optischen Kamera an einem Punkt im Raum, der dem Projektionszentrum der Röntgenquelle entspricht;
Erzielen eines optischen Bildes des interessierenden Objekts von diesem Punkt im Raum aus;
Überlagern des Röntgenbildes und des optischen Bildes und Drehen (Warping) eines der Bilder auf das andere, derart, dass die beiden Bilder in ihrer Vergrößerung übereinstimmen und dass die beiden Bilder eine gemeinsame Bildebene aufweisen.

Description

Hintergrund der Erfindung
Zusätzlich zu Röntgenbildern eines Objekts ist es oftmals nützlich, ein entsprechendes Videobild zu erhalten. Wenn diese beiden zu einem zusammengesetzten Bild kombiniert werden könnten, würde man unmittelbar sehen, wie die durch die Röntgenstrahlen enthüllten Merkmale auf die in einem Videobild dargestellten Oberflächenmerkmale bezogen sind.
Der Artikel von Maintz und Viergever, „A Survey of medical image registration", Medical Image Analysis, Volume 2, Issue 1, March 1998, Seiten 1–36 bietet einen Überblick über unterschiedliche Techniken der medizinischen Bildverarbeitung.

Die US 5 590 170 A sowie die US 5 923 727 A offenbaren Vorrichtungen, bei welcher die Aufnahme von optischen Bildern und Röntgenbildern kombiniert wird.

Der US 5 640 956 A ist eine Vorrichtung und ein Verfahren zum Korrelieren von Röntgen- und Ultraschallbildern zu ennehmen.

Der US 4 246 607 A ist eine Vorrichtung zu entnehmen, bei welcher mit einer Kamera der Ausschnitt eines Objekts, welcher von der Röntgenstrahlung erfasst wird, betrachtet wird.

Die US 5 388 143 A beschreibt eine Methode zum Ausrichten von Komponenten eines Röntgengeräts mit Hilfe eines Laserstrahls.

Das zu lösende Problem bei der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung zum Korrelieren eines optischen Bildes mit einem Röntgenbild bereitzustellen, welche die richtige Ausrichtung der optischen Kamera in Bezug auf die Röntgenquelle und somit die Ausrichtung der beiden aufgenommenen Bilder garantiert.

Kurze Beschreibung der Figuren
1 ist ein grundlegendes Diagramm des Systems;
2 und 3 sind Ablaufdiagramme von Verfahren zum Ausrichten der Videokamera; und
4 ist ein Diagramm eines Laser-Ausrichtsystems.
Beschreibung der Erfindung
Ein Verfahren zum Korrelieren eines Videobildes mit einem Röntgenbild des gleichen Objekts besteht darin, dass die jeweiligen Bilder vom gleichen Punkt im Raum aus gewonnen werden. Eine Video- oder optische Kamera kann an einem Punkt im Raum angeordnet werden, der demjenigen der Röntgenquelle entspricht, indem ein Teil des optischen Bildes durch einen für Röntgenstrahlen durchlässigen Spiegel abgelenkt wird. Die Kamera wird durch ein Ausrichtverfahren orientiert, um sicherzustellen, daß sie an einem Punkt angeordnet ist, der optisch der Stelle der Röntgenquelle entspricht.
In 1 liegt ein Patient 10 auf einer Plattform, unter der sich eine Röntgenstrahlen-Detektorebene 20 befindet. Eine oberhalb des Patienten angeordnete Röntgenquelle 30 sendet Röntgenstrahlungsenergie von einem Punkt im Raum, der als Projektionszentrum 32 bezeichnet wird. Die Energie tritt durch den Patienten zur Röntgenstrahlen-Detektorebene 20, um ein Röntgenbild zu erzeugen. Eine optische Kamera 40, wie eine Videokamera, ist ebenfalls angeordnet, um ein Bild zu erhalten, das mit dem Röntgenbild kombiniert werden kann, um ein zusammengesetztes visuelles und Röntgen-Bild zu erzeugen.
Um ein Videobild zu erhalten, das mit dem Röntgenbild kombiniert werden kann, ist das optische Zentrum 42 der Videokamera 40 an effektiv dem gleichen Punkt im Raum angeordnet wie das Projektionszentrum 32 der Röntgenquelle 30. Zusätzlich ist die optische Achse der Kamera 40 ebenfalls mit einer imaginären Linie ausgerichtet, die zwischen dem Röntgenquellen-Projektionszentrum 32 und der Mitte der Röntgenstrahlen-Detektorebene 20 verläuft. Da die Röntgenquelle 30 und die Videokamera 40 nicht körperlich den gleichen Raum einnehmen können, werden Spiegel verwendet, um der Videokamera 40 einen Blickpunkt oder Projektionspunkt zu erteilen, der effektiv der gleiche ist wie derjenige der Röntgenquelle 30.
Ein Spiegel M1, der für Röntgenstrahlen durchlässig, jedoch für sichtbare Wellenlängen reflektierend ist, wird im Weg der Röntgenquelle 30 unter einem bestimmten Winkel angeordnet, um ein optisches Bild an einen Punkt außerhalb des Röntgenstrahlenweges abzulenken. Ein zweiter Spiegel M2 kann in der Bahn des reflektierten Bildes wiederum unter einem Winkel angeordnet werden, um das optische Bild zur Videokamera 40 abzulenken. In 1 liegen beide Spiegel M1 und M2 unter 45° bezüglich des Weges der Röntgenquelle 30, obwohl auch andere Winkel angewendet werden können. So wird das visuelle Bild von der Oberfläche des Spiegels M1 reflektiert und wird wiederum vom Spiegel M2 reflektiert.
Der Ort der Spiegel kann so gewählt werden, daß die Länge des Abschnitts r1 zwischen den Spiegeln M1 und M2 plus der Länge des Abschnitts r2 zwischen dem Spiegel M2 und dem optischen Zentrum 42 der Videokamera 40 gleich dem Abstand vom Spiegel M1 zum Röntgenstrahlen-Projektionszentrum 32 der Röntgenquelle 30 ist.
Alternativ kann der zweite Spiegel M2 weggelassen werden, wenn die Videokamera 40 auf einer Seite des Röntgenstrahlenweges angeordnet wird. Statt der Verwendung von Spiegeln könnte auch eine Prismaanordnung oder ein anderer für Röntgenstrahlen durchlässiger Lichtablenkmechanismus angewendet werden, um die gewünschte optische Weglänge und den gewünschten Ablenkwinkel zu erhalten.
Auch bei sorgfältiger Ausrichtung der Spiegel M1 und M2 kann es schwierig sein, das Röntgenquellen-Produktionszentrum 32 und das optische Zentrum 42 der Kamera gemeinsam am entsprechenden Punkt im Raum mit einem gewissen Genauigkeitsgrad anzuordnen. So ist irgendeine Einrichtung zum genauen Positionieren der Kamera 40 bezüglich der Röntgenquelle 30 zweckmäßig.
Zwei Verfahren zum Korrelieren der beiden Bilder verwenden den Vorgang des Drehens eines zweidimensionalen Bildes auf einer ersten Ebene auf eine zweite Ebene. Die Röntgendetektorebene 20 ist mit einer Bezugseinrichtung, wie einem Muster von Markierungen 12 versehen, die in einem Quadrat oder einer anderen geeigneten Form angeordnet sind. Statt einer Markierung können die Begrenzungen des Röntgenbildes verwendet werden. Die Markierungen 12, die aus einem Material wie Stahl hergestellt sind, erscheinen als eine Reihe von dunklen Punktbildern im Röntgen- und Videobild. Auf der Basis des Auftretens des Musters der Markierungen 12 im Bild, das gedreht wird, kann die Transformation, die durchgeführt werden muß, um das Bild auf die zweite Ebene zu drehen, leicht festgelegt werden.
Das Drehen des Röntgenbildes aus der Röntgendetektorebene 20 auf das Videobild der Markierungen 12 wird durch Anwenden einer planaren Transformation H auf das Röntgenbild der Markierungen 12 erreicht, so daß es mit dem Aussehen und den Abmessungen des Musters der Markierungen 12 übereinstimmt, wie es im Videobild erscheint. Für jedes Pixel im Röntgenbild in der Röntgendetektorebene 20 wird die Matrix H, welche für die jeweilige Stelle der Röntgendetektorebene 20 berechnet wird, mit der Position dieses Pixels multipliziert, um die Position des entsprechenden Pixels im Videobild zu erzeugen.
Der Drehvorgang kann durch die folgende Gleichung dargestellt werden: miN = Hmi worin: m_iN die Pixels im Videobild sind;
H die planare Transformationsmatrix ist, welche die Pixels im Röntgenbild auf das Videobild abbildet; und
m_i die Pixels im Röntgenbild, sind.
Die Matrix H wird durch Anwendung von Verfahren berechnet, die im Stand der Technik bekannt sind. Solche Verfahren werden beschrieben in der US-Patentschrift Nr. 5 821 943 und US-Patentschrift Nr. 5 845 639, auf die hier Bezug genommen wird, sowie in Wolberg "Digital Image Warping" IEEE Computer Society Press, Los Alamitos, California 1990.
In den beiden eine Drehung verwendenden Verfahren werden wenigstens zwei zusätzliche Markierungen 80 außerhalb der Detektorebene 20 zwischen der Röntgenquelle 30 und der Röntgendetektorebene 20 angeordnet (siehe 1). Ein Weg zur Durchführung dieses Vorgangs besteht darin, die Markierungen 80 "außerhalb der Ebene" auf einem Stück Plexiglas oberhalb der Röntgendetektorebene 20 anzubringen.
Beim ersten dieser Verfahren, das im Ablaufdiagramm der 2 dargestellt ist, wird ein Röntgenbild von den Markierungen 80 außerhalb der Ebene sowie von den Markierungen 12 auf der Röntgendetektorebene 20 genommen. Sodann wird ein Videobild der Markierungen 80 außerhalb der Ebene und der Markierungen 12 auf der Röntgendetektorebene 20 genommen. Unter Verwendung des Videobildes der Markierungen 12 in der Röntgendetektorebene 20 wird ein Wert für H berechnet. Sodann wird das Röntgenbild auf das Videobild gedreht und die Stellen der projizierten und visuell erfaßten Markierungen 80 außerhalb der Ebene werden verglichen. Wenn diese Stellen zusammenfallen, befindet sich das optische Zentrum 42 der Videokamera 40 an einem Punkt im Raum, der demjenigen des Projektionszentrums 32 der Röntgenquelle 30 entspricht. Wenn jedoch diese Stellen nicht zusammenfallen, dann wird die Orientierung der Videokamera 40 eingestellt, um ihr optisches Zentrum 42 zum Projektionszentrum 32 der Röntgenquelle 30 zu bringen. Der Vorgang wird wiederholt, bis die Bilder zusammenfallen, und die Orientierung der Videokamera 40 wird sodann festgelegt.
Beim zweiten dieser Verfahren, das im Ablaufdiagramm der 3 dargestellt ist, wird ein Röntgenbild von den Markierungen 80 außerhalb der Ebene genommen. Sodann wird ein zweiter Satz von Markierungen 90, die als "Projektionsmarkierungen" bezeichnet werden, in der Röntgendetektorebene 20 an den Stellen angeordnet, auf welche die Markierungen 80 außerhalb der Ebene durch die Energie aus der Röntgenquelle 30 projiziert werden. Auf einem Röntgenbild erscheinen daher die Markierungen 80 außerhalb der Ebene und die entsprechenden Projektionsmarkierungen 90 innerhalb der Ebene als jeweils eine Markierung auf dem Röntgenbild.
Nunmehr wird ein Videobild der Röntgendetektorebene 20 aufgenommen. Da die Markierungen 80 außerhalb der Ebene über der Detektorebene 20 hängen, erscheinen sie auch im Videobild. Das Videobild wird geprüft, um zu bestimmen, ob die Videobilder der in der Ebene befindlichen Projektionsmarkierungen 90 mit den entsprechenden Markierungen 80 außerhalb der Ebene zusammenfallen. Wenn sie das tun, dann teilen das optische Zentrum 42 und das Projektionszentrum 32 tatsächlich den gleichen Punkt im Raum. Wenn jedoch die Bilder nicht zusammenfallen, dann wird die Orientierung der Videokamera 40 eingestellt, um die Bilder der Markierungen 80 außerhalb der Ebene und die auf der Ebene gelegenen Projektionsmarkierungen 90 zusammenzubringen, und es wird ein weiteres Videobild aufgenommen und ausgewertet, was wiederholt wird, bis die Bilder zusammenfallen, und an diesem Punkt wird die Orientierung der Kamera festgelegt. Schließlich wird unter Verwendung der auf der Ebene gelegenen Markierungen 12 ein Wert von H berechnet und das Röntgenbild wird auf das Videobild gedreht, um eine Überlagerung zu erhalten.
Ein drittes Verfahren zum Positionieren der Videokamera 40 verwendet einen Laser. Eine Quelle 70 von Laserlicht wird in der Mitte der Röntgendetektorebene 20 angeordnet und auf das Projektionszentrum 32 der Röntgenquelle 30 gerichtet, wie in 4 gezeigt.
Die Spiegel M1 und M2 reflektieren das Laserlicht und veranlassen dasselbe, zur Videokamera 40 zu laufen und an der Oberfläche der Linse 44 der Videokamera 40 reflektiert zu werden. Die Stellung der Videokamera 40 wird eingestellt, bis das Laserlicht, das zur Quelle 70 zurückkommt, mit dem von der Quelle 70 ausgehenden Licht zusammenfällt (oder nahezu zusammenfällt). Dies kann visuell bestätigt werden, indem beobachtet wird, wo das reflektierte Bündel auf der Röntgendetektorebene 20 auftrifft. Um die Bilder auszurichten und Überlagerung zu erzielen, kann sodann das Röntgenbild auf das Videobild gedreht werden.
Abänderungen des Obigen können vorgenommen werden, um die Anwendung anzupassen. Beispielsweise kann man zwei Röntgenquellen- und Videokamera-Kombinationen verwenden, um eine Stereodarstellung des interessierenden Objekts zu erreichen. Statt der Markierungen 80 außerhalb der Ebene kann man irgendein Objekt oder Objekte substituieren, die wenigstens zwei Bezugspunkte darbieten, die sowohl durch Röntgenstrahlen als auch optisch sichtbar sind. Statt des Drehens des Röntgenbildes auf das Videobild könnte man das Videobild auch auf das Röntgenbild drehen, um Überlagerung zu erreichen. Bei den oben erläuterten Ausführungsformen wird das optische Bild durch eine Videokamera erzielt. Tatsächlich kann irgendeine optische Kamera – Stehbild-, digitale, CCD- oder eine andere Kamera – bei Vorrichtung und Verfahren gemäß der obigen Beschreibung angewendet werden. Zusätzlich ist zu bemerken, daß Röntgenbilder sowohl Einzelröntgenaufnahmen als auch fluoroskopische Realzeit-Röntgenaufnahmen umfassen sollen. Schließlich wird bemerkt, daß die hier beschriebenen Verfahren in Realzeit ausgeführt werden können.

Claims

Verfahren zum Korrelieren eines optischen Bildes mit einem Röntgenbild durch Überlagern eines Bildes mit dem anderen, welche folgende Schritte umfasst: Richten einer Quelle von Röntgenstrahlenenergie von einem Punkt im Raum durch ein interessierendes Objekt auf eine Detektorebene, wodurch ein Röntgenbild auf der Detektorebene erzeugt wird; Positionieren des optischen Zentrums einer optischen Kamera an einem Punkt im Raum, der dem Projektionszentrum der Röntgenquelle entspricht; Erzielen eines optischen Bildes des interessierenden Objekts von diesem Punkt im Raum aus; Überlagern des Röntgenbildes und des optischen Bildes und Drehen (Warping) eines der Bilder auf das andere, derart, dass die beiden Bilder in ihrer Vergrößerung übereinstimmen und dass die beiden Bilder eine gemeinsame Bildebene aufweisen.
Verfahren nach Anspruch 1, bei welchem der Schritt des Überlagerns in Realzeit auftritt.
Verfahren nach Anspruch 1, bei welchem der Schritt des Positionierens des optischen Zentrums der optischen Kamera den Schritt des Positionierens wenigstens eines Spiegels umfasst, welcher für Röntgenstrahlen durchlässig ist und zwischen der Röntgenquelle und dem Objekt angeordnet ist.
Vorrichtung, welche aufweist: Eine Einrichtung zum Richten einer Quelle von Röntgenstrah lenenergie von einem Punkt im Raum durch ein interessierendes Objekt auf eine Detektorebene, wodurch ein Röntgenbild auf der Detektorebene erzeugt wird; Eine optische Einrichtung zum Erzielen eines optischen Bildes des interessierenden Objekts von einem optisch gleichwertigen Punkt im Raum, bestehend aus einer optischen Kamera und einer Einrichtung zum Positionieren des optischen Zentrums dieser optischen Kamera an diesem Punkt im Raum, der dem Projektionszentrum der Röntgenquelle entspricht; eine Einrichtung zum Überlagern des Röntgenbildes und des optischen Bildes und Eine Einrichtung zum Drehen (Warping) eines der Bilder auf das andere, derart, dass beide Bilder in ihrer Vergrößerung übereinstimmen und dass die Bilder eine gemeinsame Bildebene aufweisen.
Vorrichtung nach Anspruch 4, wobei die Einrichtung zum Überlagern die Überlagerung in Realzeit durchführt.
Vorrichtung nach Anspruch 4, bei welcher die Einrichtung zum Positionieren der optischen Kamera an einer Stelle im Raum, die dem Projektionszentrum der Röntgenquelle entspricht, wenigstens einen Spiegel enthält, der für Röntgenstrahlen durchlässig und zwischen der Röntgenquelle und dem Objekt angeordnet ist.
Verfahren zum Positionieren einer optischen Kamera bezüglich einer Röntgenquelle relativ zu einer Röntgendetektorebene, welches die folgenden Schritte umfasst: Anordnen von wenigstens zwei außerhalb der Ebene gelegenen Markierungen oberhalb der Röntgendetektorebene und wenigs tens vier auf der Ebene gelegenen Markierungen auf der Röntgendetektorebene; Erfassen eines Röntgenbildes der außerhalb der Ebene gelegenen Markierungen und der auf der Ebene gelegenen Markierungen; Erfassen eines optischen Bildes der außerhalb der Ebene und auf der Ebene gelegenen Markierungen; Drehen eines Bildes auf das andere bezüglich der vier auf der Ebene gelegenen Markierungen; und Bestimmen, ob die Röntgen- und optischen Bilder der außerhalb der Ebene gelegenen Markierungen zusammenfallen, und, wenn nicht, Einstellen der Orientierung der optischen Kamera und Neuerfassen und Drehen eines Bildes auf das andere, bis die Röntgen- und optischen Bilder der außerhalb der Ebene gelegenen Markierungen zusammenfallen.
Verfahren nach Anspruch 7, bei welchem die Kamera eine Videokamera ist und das Verfahren in Realzeit durchgeführt wird.
Vorrichtung zum Positionieren einer optischen Kamera bezüglich einer Röntgenquelle relativ zu einer Röntgendetektorebene, welche die folgenden Merkmale umfasst: Wenigstens zwei außerhalb der Ebene gelegene Markierungen, die oberhalb der Röntgendetektorebene angeordnet sind; Wenigstens vier auf der Ebene gelegene Markierungen, die auf der Röntgendetektorebene angeordnet sind; Eine Einrichtung zur Erfassung eines Röntgenbildes der außerhalb der Ebene gelegenen Markierungen und der auf der Ebene gelegenen Markierungen; Eine Einrichtung zur Erfassung eines optischen Bildes der außerhalb der Ebene gelegenen und der auf der Ebene gelegenen Markierungen; Eine Einrichtung zum Drehen eines Bildes auf das andere bezüglich der vier auf der Ebene gelegenen Markierungen; und Eine Einrichtung zur Bestimmung, ob die jeweiligen Röntgen- und optischen Bilder der außerhalb der Ebene gelegenen Markierungen zusammenfallen, und, wenn nicht, Einstellen der Orientierung der optischen Kamera und Neuerfassen und Drehen des einen Bildes auf das andere, bis die Röntgen- und optischen Bilder der außerhalb der Ebene gelegenen Markierungen zusammenfallen.
Verfahren zum Positionieren einer optischen Kamera bezüglich einer Röntgenquelle relativ zu einer Röntgendetektorebene, welches die folgenden Schritte umfasst: Positionieren von wenigstens zwei außerhalb der Ebene gelegenen Markierungen oberhalb der Röntgendetektorebene zwischen der Quelle und der Detektorebene; Erfassen eines Röntgenbildes der außerhalb der Ebene gelegenen Markierungen; Positionieren eines Satzes von auf der Ebene gelegenen Projektionsmarkierungen in der Röntgendetektorebene an den Stellen, auf die die außerhalb der Ebene gelegenen Markierungen durch die Röntgenquelle projiziert werden; Erfassen eines optischen Bildes der außerhalb der Ebene gelegenen Markierungen und der auf der Ebene gelegenen Projektionsmarkierungen; und Feststellen, ob die Stellen der außerhalb der Ebene gelegenen Markierungen und die auf der Ebene gelegenen Projektionsmarkierungen zusammenfallen, und, wenn nicht, Einstellen der Orientierung der optischen Kamera und Neuerfassen des optischen Bildes, bis die optischen. Bilder der außerhalb der Ebene und auf der Ebene gelegenen Projekti onsmarkierungen zusammenfallen.
Verfahren zum Positionieren nach Anspruch 10, welches weiter die Schritte umfasst: Positionieren von wenigstens, vier auf der Ebene gelegenen Markierungen auf der Röntgendetektorebene; Erfassen von Röntgen- und optischen Bildern der auf der Ebene gelegenen Markierungen; und Drehen eines Bildes auf das andere bezüglich der vier auf der Ebene gelegenen Markierungen.
Verfahren zum Positionieren einer optischen Kamera bezüglich einer Röntgenquelle mit einem Projektionszentrum relativ zu einer Röntgendetektorebene, wobei die optische Kamera die Detektorebene mittels wenigstens eines für Röntgenstrahlenenergie durchlässigen Spiegels betrachtet, der zwischen der Röntgenquelle und der Detektorebene angeordnet ist, wobei das Verfahren die folgenden Schritte umfasst: Richten eines Laserbündels aus einer Quelle, die im Bildzentrum der Röntgendetektorebene angeordnet ist, auf das Zentrum der Röntgenprojektion; und Ausrichten der optischen Kamera, bis das zur Quelle zurückkehrende Laserlicht mit dem von der Quelle ausgehenden Laserlicht zusammenfällt oder nahezu zusammenfällt.
Verfahren zum Positionieren nach Anspruch 12, welches ferner die Schritte umfasst: Positionieren von wenigstens vier auf der Ebene gelegenen Markierungen auf der Röntgendetektorebene; Erfassen von Röntgen- und optischen Bildern der auf der Ebene gelegenen Markierungen; und Drehen eines Bildes auf das andere bezüglich der vier auf der Ebene gelegenen Markierungen.