DE102005018943B4

DE102005018943B4 - Verfahren zur computerimplementierten Verknüpfung eines Bildes mit einem interessierenden Bereich in einem virtuellen dreidimensionalen Volumen

Info

Publication number: DE102005018943B4
Application number: DE102005018943A
Authority: DE
Inventors: Fred S. N.J. Azar
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Invandus De GmbH
Priority date: 2004-04-23
Filing date: 2005-04-22
Publication date: 2011-08-18
Anticipated expiration: 2025-04-23
Also published as: US9373166B2; US20050251017A1; JP2006051332A; DE102005018943A1

Abstract

Verfahren zur computerimplementierten Verknüpfung eines Bildes mit einem interessierenden Bereich in einem virtuellen dreidimensionalen Volumen, beinhaltend: Modellierung eines Raumes als virtuelles dreidimensionales Volumen; Speicherung von Positions- und Orientierungsinformationen einer innerhalb des Raumes geführten, als Endoroboter ausgeführten Bilderfassungseinheit zum Zeitpunkt wenn mindestens ein Bild erfasst worden ist; Ermittlung einer longitudinalen Strecke, welche die Bilderfassungseinheit zurückgelegt hat, zum Zeitpunkt wenn das mindestens eine Bild erfasst worden ist; Verzeichnung der Position, der Orientierung und der longitudinalen Strecke der Bilderfassungseinheit an einer entsprechenden Position innerhalb des dreidimensionalen virtuellen Volumens unter Ermittlung einer Anfangsposition der Bilderfassungseinheit im Raum und manueller Auswahl einer Position, die der Anfangsposition im virtuellen dreidimensionalen Volumen entspricht, wobei die longitudinale Strecke eine Entfernung der Bilderfassungseinheit von der Anfangsposition ist; Ermittlung eines interessierenden Bereichs innerhalb des virtuellen dreidimensionalen Volumens; und Ermittlung mindestens eines Bildes, welches als dem interessierenden Bereich entsprechend verzeichnet wurde, wobei das...

Description

1. Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf Endoskopie und insbesondere auf eine Anordnung und ein Verfahren für von außen geführte Video-Endoskopie unter Verwendung von Endorobotern in Kombination mit virtueller Endoskopie. Ein Beispiel für ein solches Verfahren ist aus der DE 10 2004 011 155 A1 bekannt.
2. Diskussion des Standes der Technik
Eine endoskopische Untersuchung ist ein medizinisches Verfahren, bei dem eine als Endoskop bezeichnete darstellende Einheit in ein lebendes Subjekt zum Zwecke der Diagnose und/oder der Behandlung eingebracht wird. Beispiele der Endoskopie sind die Kolonoskopie und die Bronchoskopie.
Diese Verfahren setzen voraus, dass das Instrument durch direkte, mechanische Interaktion eingebracht und gesteuert wird. Das bedeutet, dass ein Teil des Instrumentes innerhalb des Patienten ist, während der Rest desselben Instrumentes von außen betätigt wird. Aus Gestaltungsgründen haben die meisten Endoskopieeinrichtungen die Form eines langen, flexiblen oder festen Rohres, welches an einen Steuerkopf angeschlossen ist, der außerhalb des Körpers des Patienten verbleibt.
Eine Konsequenz dieser Ausführung ist, dass es gewöhnlich leicht zu schwerwiegenden Unannehmlichkeiten in Verbindung mit Endoskopie kommt, gekoppelt mit einem Risiko, interne Strukturen zu beschädigen, falls zu viel Kraft von außen an das Endoskop angewandt wird.
Virtuelle Endoskopie könnte in der Theorie verwendet werden, um die Körperstrukturen, die von Interesse sind, zu erkunden und um die Problemzonen, wie beispielsweise Knoten und Polypen, aufzuspüren. Jedoch kann diese Technik zur Erfassung von falschen, positiven Diagnosen oder Fehldiagnosen führen, was wiederum zu unnötigen invasiven Biopsien führen kann.
Die Aufgabe der Erfindung besteht darin, die Zuverlässigkeit von bekannten Verfahren zur Verknüpfung eines Bildes mit einem interessierenden Bereich in einem dreidimensionalen Volumen zu steigern.
Zusammenfassung der Erfindung
Diese Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Eine vorteilhafte Ausgestaltung des Verfahrens ist dem Unteranspruch zu entnehmen.
Gemäß der vorliegenden Erfindung beinhaltet ein computerimplementiertes Verfahren zur Verknüpfung eines Bildes mit einem interessierenden Bereich in einem virtuellen dreidimensionalen Volumen die Modellierung eines Raumes als virtuelles dreidimensionales Volumen, die Speicherung von Positions- und der Orientierungsinformationen einer als Endoroboter ausgeführten, innerhalb des Raumes geführten Bilderfassungseinheit zum Zeitpunkt wenn mindestens ein Bild erfasst worden ist und die Ermittlung einer longitudinalen Strecke, welche die Bilderfassungseinheit, zum Zeitpunkt wenn mindestens ein Bild erfasst worden ist, zurückgelegt hat. Das Verfahren beinhaltet erfindungsgemäß weiter die Verzeichnung der Position, der Orientierung und der longitudinalen Strecke der Bilderfassungseinheit zu einer dazugehörigen Position innerhalb des dreidimensionalen Volumens, die Ermittlung eines interessierenden Bereichs innerhalb des dreidimensionalen Volumens und die Ermittlung des mindestens einen Bildes, aufgezeichnet, um dem interessierenden Bereich zu entsprechen, wobei das mindestens eine Bild angezeigt und der interessierende Bereich charakterisiert wird.
Die Verzeichnung beinhaltet erfindungsgemäß weiter die Ermittlung einer Anfangsposition der Bilderfassungseinheit und die manuelle Auswahl einer Position, die mit der Anfangsposition in dem dreidimensionalen Raum übereinstimmt.
Die longitudinale Strecke ist ein Abstand der Bilderfassungseinheit von der Anfangsposition.
Die Ermittlung des mindestens einen Bildes beinhaltet optional die automatische Anzeige des mindestens einen Bildes in Verbindung mit der Anzeige der entsprechenden Position innerhalb des dreidimensionalen Volumens.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird eine Programmspeichereinheit, die von einer Maschine gelesen werden kann, bereitgestellt, welche ein Programm mit Anweisungen greifbar enthält, welche durch die Maschine ausführbar sind, um die erfindungsgemäßen Verfahrensschritte zur Verknüpfung eines Bildes mit einem interessierenden Bereich in einem dreidimensionalen Volumen durchzuführen.
Kurzbeschreibung der Zeichnungen
Nachstehend werden bevorzugte Ausführungsbeispiele der vorliegenden Erfindung detaillierter unter Bezugnahme der beiliegenden Zeichnungen beschrieben:
1 ist ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ist ein Schaubild eines Endoroboters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3A ist eine Darstellung eines Teils eines Virtuelle-Endoskopie-Volumens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3B ist eine Darstellung eines Magen-Darm-Trakts und zugehörigen Bildern gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 zeigt den Ablauf einer Verzeichnung gemäß einem Ausführungsbeispiel der Erfindung; und
5 ist ein Schaubild eines Computersystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Ausführliche Beschreibung der bevorzugten Ausführungsbeispiele
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung können durch einen Endoroboter erfasste Bilder zu einem rekonstruierten, dreidimensionalen (3D) Volumen aus Daten registriert werden. Das virtuelle Volumen wird basierend auf einer Abtastung eines Raumes 101 erzeugt, beispielsweise eines Kolons (vergleiche 1). Der Endoroboter wird innerhalb des Raumes geführt und die 3D Position und Orientierung jedes von dem Endoroboter erfassten Bildes festgestellt 102. Die in der interessierenden Struktur, wie beispielsweise eines Kolons, zurückgelegte, longitudinale Strecke wird bestimmt 103. Die Position, Orientierung und longitudinale Strecke werden verwendet, um die Position des Endoroboters zu seiner entsprechenden Position innerhalb des 3D Volumens aus Daten zu verzeichnen 104. Virtuelle Endoskopie kann verwendet werden, um interessierende Bereiche zu lokalisieren und klinische Befunde mit den Bildern der interessierenden Bereiche zu korrelieren 105. Die kombinierten klinischen Befunde können verwendet werden, um das Vertrauen in die Diagnose zu stärken, die Anzahl an falschen Positiven und die Anzahl an durchgeführten Biopsien zu verringern. Derartige Befunde können auch für verschiedenartige Anwendungen verwendet werden, beispielsweise für die Identifikation von Patienten mit prämalignen Dysplasien im Colorectum, beispielsweise unter Verwendung fluoreszenter Bildgebung, Ermöglichung der Identifikation von frühen neoplastischen Läsionen im Colorectum, beispielsweise unter Verwendung von hoch-auflösender Endoskopie.
Bezugnehmend auf 2 ist ein Endoroboter eine Kapsel 201, die verschluckt oder auf nicht-chirurgische Art in einen Patienten eingeführt werden kann. Beispiele für derartige Roboter sind die, welche auf dem Markt von derartigen Herstellern wie Given Imaging angeboten werden. Diese Kapseln beinhalten eine Kamera 202, eine Beleuchtungsquelle 203 und Hardware für die drahtlose Übertragung von Bildern 204 zu einer Konsole außerhalb des Patienten. Die Kamera 202 erfasst Bilder oder Videobilder, beispielsweise als makroskopische, Normal-Spektrum-Visualisierung, oder andere können fluoreszente Bildgebung, Vergrößerungs-Bildgebung oder Videoerfassung durchführen.
Die Position und Orientierung des Endoroboters kann unter Verwendung eines externen Führungssystems bestimmt werden. Die Führung wird kontinuierlich und in Echtzeit durchgeführt. Das System kann ein magnetisches System zur Führung der Position und der Orientierung des Endoroboters während der Patientenprüfung beinhalten. Verschieden Typen an magnetischer Führung können verwendet werden. Zum Beispiel kann ein Führungssystem ein oder mehrere Permanentmagnete 205 beinhalten, angeordnet an vorher festgelegten und bekannten Orten innerhalb des Endoroboters. Magnetische Ortung und Führung beinhaltet die Bestimmung eines Dipol-Magnets in einem 3D-Raum. Eine Anordnung von magnetischen Sensoren, die außerhalb des Patienten angeordnet sind, sammeln Daten, wie beispielsweise die Feldstärke des Magneten 205 an einem bekannten Ort, um sowohl die Lage, als auch die Orientierung des Magneten 205 und dadurch die Endoroboterkapsel 201, welche die Kamera 202 beinhaltet, zu ermitteln. Die Anordnung von Magnetfeldsensoren kann aus in Gruppen angeordneten magnetwiderstandsbeständigen Sensoren bestehen, die in Gruppen angeordnet sind, um 3D-Vektorensätze herauszubilden. Die Sensoren sammeln Richtungs- und Stärkedaten eines Magnetfeldes (beispielsweise als Vektor dargestellt) des Magneten 205. Der Vektor ändert die Richtung und die Stärke auf eine bekannte Art und Weise im Raum, welcher den Magneten umgibt. Beispielsweise weisen die Magnetfeldvektoren senkrecht von der Fläche des Nordpols des Magneten weg und in den Südpol des Magneten hinein und schaffen dazwischenliegende Winkel zur Achse des Magneten zwischen den Polen.
Ein anderes Beispiel für ein Führungssystem beinhaltet einen Endoroboter mit einer Punktelektrode, einer Ringelektrode und einem Lagesensor. Die Lage wird unter Verwendung von drei Spulen bestimmt, die außerhalb des Patienten an bekannten Orten im dreidimensionalen Raum angeordnet sind und Magnetfelder erzeugenden, welche als eine Funktion von der Entfernung abklingen. Der Lagesensor erfasst die Feldstärke eines kombinierten Feldes, was die Bemessung einer Entfernung zu jeder Spule ermöglicht. Die Lage des Sensors und folglich auch des Endoroboters wird durch die Schnittpunkte der Felder, deren Radien die Entfernungen zu den Spulen sind, die mit dem Sensor bemessen wurden, ermittelt.
Eine Stromquelle 206 des Endoroboters kann eine Batterie oder eine Induktionsspule und eine Batterie beinhalten. Ein externe Versorgung kann mittels induktivem Laden unter Verwendung der Induktionsspule realisiert werden. Für das induktive Laden ist die Stromquelle 206 eine Sekundärwicklung, die den Ladestrom von einer Primärwicklung eines induktiven Ladegerätes erhält. Innerhalb des Endoroboters wird der Strom von einer Spule empfangen und mittels einer Diode gleichgerichtet. Diese Gleichspannung (DC) wird verwendet, um eine Batterie zu laden. Externe, kabellose Energieversorgung erlauben dem Endoroboter ferner längere und mehr leistungsverbrauchende Arbeitsverfahren durchzuführen.
Die virtuelle Endoskopie simuliert eine endoskopische Intervention unter der Verwendung von Verfahren der virtuellen Realität und Computergrafiken. 3D-Volumen Daten von CT-Scans, MRIs, 3D-Ultraschall, Rotationsangiographie und andere Quellen können verwendet werden, um 3D-Ansichten vom Inneren der betreffenden Aufbauten zu generieren. 3D-Bilder können von zweidimensionalen (2D) Computertomographie-(CT) oder Magnetresonanz-(MR)Daten, beispielsweise durch Volume Rendering, erzeugt werden.
Die Verzeichnung kann unter Verwendung eines vorbestimmten Bezugsrahmens durchgeführt werden, oder einem oder mehreren benutzerdefinierten Übereinstimmungen zwischen erfassten Bildern und dem 3D-Volumen, welches die Basis zur Festlegung weiterer Übereinstimmungen bilden kann. Ein Beispiel für eine Überseinstimmung kann eine erkennbare Landmarke im 3D-Volumen sein und erfasste Bilder, wie beispielsweise die Flexura duodenojejunalis.
Die Position, Orientierung und die longitidinale Strecke, verbunden mit jedem erfassten Bild, werden verwendet, um jedes Bild zu einer entsprechenden Position innerhalb des 3D-Volumens zu verzeichnen. 3a stellt eine Position und eine Orientierung eines Endoroboters als eine XYZ Achse innerhalb eines virtuellen Volumens dar, wobei beispielsweise die Z-Achse eine Sichtlinie der Endoroboterkamera 202 darstellt. Die longitudinale Strecke wird ermittelt, beispielsweise durch die Positionsführung über die Zeit, und den Bildern 304 zugeordnet, wie in 3B bildlich dargestellt wird. Also kann für Teile des 3D-Voumens, die die Lage betreffend nah sind, beispielsweise Teile des Dünndarms, die übereinander gefaltet sind, die longitudinale Strecke verwendet werden, um zwischen diesen Teilen zu unterscheiden, wobei ein erster Teil 302 0,5 Meter von einem Anfangspunkt 303 und ein zweiter Teil 2,5 Meter von dem Anfangspunkt 303 sein kann. Ein geeignetes Bild, beispielsweise 305, wird ermittelt und gezeigt, entsprechend einem interessierenden Bereich 302.
Die Verzeichnung der Bilder zu dem virtuellen Volumen kann eine bekannte Startposition des Endoroboters und eine festgelegte Position in dem virtuellen Volumen nutzen. Beispielsweise beginnt die Führung im Mund eines Patienten, was eine identifizierbare Lage im virtuellen Volumen ist. Unter Bezugnahme von 4 beinhaltet die Verzeichnung die Ermittlung einer Anfangsposition des Endoroboters 401 und die Ermittlung einer Position im virtuellen Volumen, entsprechend der Anfangsposition des Endoroboters 402. Der Endoroboter wird durch einen Raum 403 geführt, welcher durch das virtuelle Volumen bildlich dargestellt wird. Eine Übereinstimmung des Pfades des Endoroboters wird für das virtuelle Volumen im 3D-Raum ermittelt 404. Bilder, die vom Endoroboter aufgezeichnet wurden und die bekannte Positionen und Orientierungen entlang des Pfades des Endoroboters haben, werden zu übereinstimmenden Positionen innerhalb des virtuellen Volumens verzeichnet 405. Die Übereinstimmung des Pfades und der geführten Bahn des Endoroboters (wie in 3B gezeigt) kann eine Mittellinie eines virtuellen Volumens, ermittelt durch einen Scan des Patienten, nutzen. Die Mittellinie wird automatisch als Teil von handelsüblichen CT- und MRT-Scans ermittelt, als ein Pfad, der bei einem virtuellen Durchflug des virtuellen Volumens verfolgt wird. Die geführte Bahn des Endoroboters und die ermittelte Mittellinie werden im dreidimensionalen Raum übereinstimmen und können manuell oder automatisch, basiert auf vergleichender Geometrie, verzeichnet werden.
Die Bilder, die vom Endoroboter aufgezeichnet wurden, werden zu den Volume Renderings des virtuellen Volumens verzeichnet. Weil jedes Bild, welches vom Endoroboter erfasst wurde, mit Raum Richtungs- und Längeninformationen innerhalb des virtuellen Volumens verbunden ist, können detaillierte Bilder von interessierenden Bereichen, die im Volume Rendering identifiziert worden sind, betrachtet werden. Verzeichnete Bilder können automatisch als Teil eines Durchflugs des virtuellen Volumens dargestellt werden, beispielsweise auf einer Split-Screen-Anordnung. Die verzeichneten Bilder können im Speicher gespeichert werden und durch eine virtuelle Renderinganwendung, die durch einen Computer ausgeführt wird, abgerufen werden, derart, dass ein virtuelles Volumen und reale Bilder zur selben Zeit dargestellt werden können, beispielsweise in zwei Fenstern einer Anwendung oder auf zwei Bildschirmen. Auf diese Weise kann eine Diagnose, eine Charakterisierung und/oder eine Bewertung auf einem virtuellen Volumen und einem detaillierten, verzeichneten Bild aufgebaut sein.
Es kann angenommen werden, dass die vorliegende Erfindung in verschiedenen Formen in Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination von diesen umgesetzt werden kann. In einem Ausführungsbeispiel kann die vorliegende Erfindung als Software als ein Anwendungsprogramm greifbar verkörpert auf einem Programmspeicherbauteil umgesetzt sein.
Das Anwendungsprogramm kann hochgeladen und ausgeführt werden auf einer Anlage, die eine geeignete Architektur beinhaltet.
Unter Bezugnahme von 5, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, kann ein Computersystem 501 zur Ausführung der vorliegenden Erfindung unter anderem beinhalten: einen Prozessor (CPU) 502, einen Speicher 503 und ein Eingangs/Ausgangs-(I/O-)Anschluss 504. Das Computersystem 501 ist üblicherweise über den I/O-Anschluss mit einem Bildschirm 505 und verschiedenen Eingabegeräten 506 wie beispielsweise einer Maus und einer Tastatur verbunden. Der Bildschirm 505 kann Ansichten des virtuellen Volumens und den verzeichneten Bilden darstellen. Die Unterstützungsschaltungen können Schaltungen beinhalten wie beispielsweise einen Puffer, Energieversorgungen, Taktschaltungen und einen Datenübertragungsbus. Der Speicher 503 kann einen Direktzugriffsspeicher (RAM) beinhalten, einen Festwertspeicher (ROM), ein Diskettenlaufwerk, ein Bandlaufwerk, etc. oder eine Kombination aus diesen. Die vorliegende Erfindung kann als Programm 507 ausgeführt sein, das im Speicher 503 gespeichert ist und durch die CPU 502 ausgeführt wird, um ein Signal von der Signalquelle 508 zu erzeugen. Also ist das Computersystem 501 ein Mehrzweckcomputersystem, welches durch die Ausführung des Programms 507 der vorliegenden Erfindung zu einem Spezialzweckcomputersystem wird.
Die Computerplattform 501 beinhaltet auch ein Betriebssystem und einen Mikrobefehlscode. Die verschiedenen Prozesse und Funktionen die hier beschrieben werden, können entweder Teil des Mikrobefehlscodes sein, oder Teil des Anwendungsprogramms (oder eine Kombination davon), das über das Betriebssystem ausgeführt wird. Zusätzlich können verschiedene andere Peripheriegeräte an die Computerplattform angeschlossen werden, wie zum Beispiel eine zusätzliche Datenspeichereinheit oder eine Druckeinheit.
Es kann weiter angenommen werden, dass einige der einzelnen Systemkomponenten und Verfahrensschritte, beschrieben in den beigefügten Figuren, als Software implementiert werden können, so dass die tatsächlichen Verbindungen zwischen den Systemkomponenten (oder den Verfahrensschritten) abweichen können, je nach Art und Weise wie die vorliegende Erfindung programmiert wurde.

Claims

Verfahren zur computerimplementierten Verknüpfung eines Bildes mit einem interessierenden Bereich in einem virtuellen dreidimensionalen Volumen, beinhaltend: Modellierung eines Raumes als virtuelles dreidimensionales Volumen; Speicherung von Positions- und Orientierungsinformationen einer innerhalb des Raumes geführten, als Endoroboter ausgeführten Bilderfassungseinheit zum Zeitpunkt wenn mindestens ein Bild erfasst worden ist; Ermittlung einer longitudinalen Strecke, welche die Bilderfassungseinheit zurückgelegt hat, zum Zeitpunkt wenn das mindestens eine Bild erfasst worden ist; Verzeichnung der Position, der Orientierung und der longitudinalen Strecke der Bilderfassungseinheit an einer entsprechenden Position innerhalb des dreidimensionalen virtuellen Volumens unter Ermittlung einer Anfangsposition der Bilderfassungseinheit im Raum und manueller Auswahl einer Position, die der Anfangsposition im virtuellen dreidimensionalen Volumen entspricht, wobei die longitudinale Strecke eine Entfernung der Bilderfassungseinheit von der Anfangsposition ist; Ermittlung eines interessierenden Bereichs innerhalb des virtuellen dreidimensionalen Volumens; und Ermittlung mindestens eines Bildes, welches als dem interessierenden Bereich entsprechend verzeichnet wurde, wobei das mindestens eine Bild dargestellt und der interessierende Bereich charakterisiert wird.
Verfahren nach Anspruch 1, wobei die Ermittlung des mindestens einen Bildes die automatische Darstellung des mindestens einen Bildes beinhaltet, in Verbindung mit der Darstellung der entsprechenden Position innerhalb des virtuellen dreidimensionalen Volumens.
Computerprogramm mit Programmcode zur Durchführung aller Verfahrensschritte nach Anspruch 1 oder 2, wenn das Programm in einem Computer ausgeführt wird.
Datenträger, auf dem der von einem Computer ausführbare Programmcode des Computerprogramms nach Anspruch 3 gespeichert ist.