DE10149795B4

DE10149795B4 - Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze

Info

Publication number: DE10149795B4
Application number: DE10149795A
Authority: DE
Inventors: Hendrik Dipl.-Inform. Ditt; Norbert Dipl.-Inform. Rahn; Siegfried Dipl.-Math. Wach
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-10-09
Filing date: 2001-10-09
Publication date: 2006-04-06
Anticipated expiration: 2021-10-10
Also published as: DE10149795A1; US20030083759A1; US6856310B2

Abstract

Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze durch eine manuelle Registrierbewegung und mit einer Rückmeldeeinrichtung zur Darstellung der gleichzeitig berechneten Güte der aktuellen Registrierung, dadurch gekennzeichnet,
dass die Rückmeldeeinrichtung ein 3-D-Eingabegerät zur Veränderung der einzelnen Freiheitsgrade der Registrierung mit einem Roboterarm mit entsprechend vielen Freiheitsgraden der Bewegung umfasst, wobei die Registriergüte eine automatische Rückkopplung für jeden Freiheitsgrad in dem Sinne erzeugt,
dass eine Registrierbewegung die zu einer Verschlechterung der Güte führt, den Handhebel des Eingabegeräts bremst oder in die Ausgangslage zurückzubewegen sucht.

Description

Die Erfindung betrifft eine semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze durch eine manuelle Registrierbewegung und mit einer Rückmeldeeinrichtung zur Darstellung der gleichzeitig berechneten Güte der aktuellen Registrierung.

Zur Darstellung mehrerer uni- oder multimodaler Datensätze wird eine Fusion benötigt, die die beiden Datensätze überlagert. Um mehrere Datensätze zu überlagern, muss eine Registrierung gefunden werden, die die Inhalte eines Datensatzes auf den anderen Datensatz abbildet. Eine solche Fusion kann zwischen zweidimensionalen Bildern, dreidimensionalen Volumen, aber auch zwischen einem Volumen und einem Bild stattfinden. Dabei kann es sich zum Beispiel um die Fusion eines zweidimensionalen Röntgenbildes mit der perspektivischen Projektion einer CD-Aufnahme handeln. Bei den heutigen Verfahren zur Registrierung kommen manuelle, semiautomatische und automatische Verfahren zum Einsatz. Zu unterscheiden sind dabei zusätzlich affine Registrierungen, bei denen die Freiheitsgrade der Translation, Rotation, Skalierung und Scherung berücksichtigt werden und deformierbare Registrierungen, bei denen einzelne Teilbereiche der Volumen unterschiedlich registriert und damit das Volumen deformiert wird.

Beispiele für manuelle Verfahren sind das Visual Alignment (dabei werden alle Freiheitsgrade der Registrierung unter visuelle Kontrolle manipuliert) und Landmarkregistrierung (hierbei werden mehrere künstliche oder anatomische Landmarken in beiden Datensätzen bestimmt und über deren Lage die Registrierungsmatrix berechnet).

Als semiautomatisches Verfahren kann zum Beispiel das Surface Matching verwendet werden. Hierbei werden Strukturen in beiden Volumendaten manuell segmentiert und anschließend wird versucht, eine Registrierung zu finden, bei der die Strukturen zueinander den geringsten Abstand aufweisen. Automatische Verfahren kommen ohne eine Interaktion mit dem Benutzer aus. Die Güte der Registrierung wird anhand einer Maßzahl bestimmt, die sich aus der verwendeten Metrik errechnet. Als Beispiele hierfür können die Kreuzkorrelation, Mutual Information und Normalized Mutual Information angesehen werden. Durch eine Verbesserung dieser Maßzahl wird eine Verbesserung der Registrierung erreicht.

Werden diese Verfahren singulär verwendet, so ergeben sich folgende technische Probleme:
Bei den manuellen Verfahren kann die Registrierungsgüte nur visuell beurteilt werden (siehe Carillo, A. u.a.: Semiautomatic 3-D Image Registration as Applied to Interventional MRI Liver Cancer Treatment. In: IEEE Transactions on Medical Imaging. Vol.19, No.3, March 2000, S. 175–185). In diesem Dokument wird zwischen manueller und automatischer Registrierung unterschieden. Bei der manuellen Registrierung kann der Benutzer interaktiv bestimmte Registrierungsparameter über ein grafisches Benutzerinterface modifizieren. Die Güte der Registrierung wird vom Benutzer visuell ausgewertet, dazu stehen mehrere Visualisierungstools zur Verfügung, die den Benutzer bei der Einstellung der Registrierungsparameter unterstütze. Als Beispiel für ein derartiges Visualisierungstool ist die Darstellung der „Isocontours" angegeben, dabei werden die Konturen der abgebildeten Objekte dargestellt, sodass der Benutzer die Güte der Registrierung selbst beurteilen kann. In dem gleichen Dokument werden auch automatische und semiautomatische Registrierungsverfahren angesprochen. Bei diesen Algorithmen erfolgen entweder überhaupt keine Benutzereingaben oder es werden bestimmte Anfangswerte für den Algorithmus zur Berechnung der Güte der Registrierung durch den Benutzer eingegeben, anschließend erfolgt die eigentliche Berechnung ohne Eingriffe des Benutzers.

Aus der US 6,246,390 B1 ist ein Ein- und Ausgabegerät für Computersysteme bekannt. Mit derartigen Geräten kann bei Anwendungen auf dem Gebiet der virtuellen Realität eine Kraftrückkopplung erfolgen, um bei dem Benutzer einen besonders realistischen Eindruck zu erzeugen.

In der DE 197 26 226 B1 wird ein Verfahren zum automatisierten Erkennen von Strukturen in einem Schnitt durch biologisches Material zum Einsatz in der medizinischen Diagnostik vorgeschlagen. Schnittbilder werden dabei mittels unterschiedlicher Algorithmen untersucht, um bisher von Personen durchgeführte diagnostische Tätigkeiten zu automatisieren.

In der Zeitschrift „Zahnärztliche Mitteilungen" (Hassfeld S. u. a.: Der Einsatz von Computer- und Robotertechnik in der Mund-, Kiefer- und Gesichtschirurgie, Internetausgabe der Zeitschrift zm, Heft 23/2000) wird eine automatische Registrierung und Fusion von medizinischen Bilddaten, die aus unterschiedlichen Quellen stammen, beschrieben. Weiterhin wird die Planung und Simulation von chirurgischen Eingriffen beschrieben, die anhand von präoperativen Bilddaten des Patienten erfolgt. Bei dieser computergestützten Operationsplanung kann der Tastsinn als Teil einer Mensch-Maschine-Schnittstelle einbezogen werden, indem ein Kraftrückkopplungs-Eingabegerät verwendet wird, mit dem dem planenden Chirurgen suggeriert wird, dass er direkt auf der Haut- oder Knochenoberfläche einen Schnitt setzen würde.

Aus der DE 44 00 790 A1 sind Eingabe- und Ausgabevorrichtungen bekannt, die an Datenverarbeitungsanlagen anschließbar sind, um Informationen ein- oder auszugeben. Unter anderem wird eine mehrgliedrige Ein- und Ausgabevorrichtung mit fingerhutförmigen Vorrichtungen vorgeschlagen, in die die Hand oder einzelne Finger einsteckbar sind, um durch die Bewegung einzelner Finger Eingaben vornehmen zu können. Daneben kann durch eine computergesteuerte Bewegung der gelenkigen Anordnung eine vom Benutzer spürbare Kraftrückkopplung erfolgen.

Bei den semi- und vollautomatischen Verfahren wird zwar die Registrierungsgüte anhand einer Maßzahl berechnet, diese Verfahren sind aber sehr rechenintensiv, da viele mögliche Verbesserungsschritte berechnet werden müssen (z. B. wird bei den meisten Verfahren in jedem Schritt über alle Freiheitsgrade iteriert, um eine größtmögliche Verbesserung zu finden). Aus diesem Grund erhält man ein Ergebnis erst nach längerer Rechenzeit. Des Weiteren ist nicht immer ein optimales Registrierungsergebnis garantiert. Bei diesen semi- und vollautomatischen Verfahren ist zudem kein manueller Eingriff möglich.

Diese Probleme werden umso gravierender, wenn von einer affinen (oder sogar rigiden) Registrierung dazu übergegangen wird, die beiden Datensätze deformierbar zu registrieren. Die Rechenzeit der automatischen Verfahren wächst dabei enorm an und ein manuelles Einstellen der Registrierung wird durch die große Anzahl der Freiheitsgrade fast unmöglich.

Eine nennenswerte Verbesserung ist auch bei den bisher üblichen Kombinationsverfahren nicht erreichbar, bei der zwei Datensätze zunächst mit manuellen Verfahren registriert werden, um gute Startbedingungen zu erhalten. Anschließend wird versucht diese Registrierung mit automatischen Verfahren unter großem Rechenaufwand zu verbessern. Dabei ergibt sich allerdings nur eine relativ geringe Reduzierung der hohen Rechenzeit der automatischen Verfahren.

Der Erfindung liegt daher die Aufgabe zugrunde, eine semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze zu schaffen, bei der eine bessere Erfassung der Registriergüte als durch rein visuelle Beurteilung möglich ist.

Zur Lösung dieser Aufgabe ist erfindungsgemäß vorgesehen, dass die Rückmeldeeinrichtung ein 3-D-Eingabegerät zur Veränderung der einzelnen Freiheitsgrade der Registrierung mit einem Roboterarm mit entsprechend vielen Freiheitsgraden der Bewegung umfasst, wobei die Registriergüte eine automatische Rückkopplung für jeden Freiheitsgrad in dem Sinne erzeugt, dass eine Registrierbewegung die zu einer Verschlechterung der Güte führt, den Handhebel des Eingabegeräts bremst oder in die Ausgangslage zurückzubewegen sucht.

Erfindungsgemäß werden manuelle und (semi)-automatische Registrierungsansätze miteinander in Verbindung gebracht, indem während einer manuellen Registrierung der Benutzer laufend eine als haptisches Feedback ausgebildete Rückmeldung über die Güte der aktuellen Registrierung bekommt, so dass er daraus die Güte interaktiv verbessern kann. Durch diese ständige Rückmeldung der Güte der aktuellen Registrierung, die wie bei automatischen Registrierverfahren ständig berechnet und dem die manuelle Registrierung durchführenden Benutzer als direktes Feedback signalisiert und angezeigt wird, wird die zur Registrierung benötigte Zeit bei gleichbleibender Registrierungsgüte erheblich verkürzt.

Besonders bei der deformierbaren Registrierung kann eine drastische Reduktion der Rechenzeit erzielt werden. Einzelne Teilbereiche eines Datensatzes lassen sich mit dem erfindungsgemäßen Ansatz verschieben und rotieren. Es ist zum Beispiel möglich zunächst einen Datensatz rigid zu registrieren. Stellt man fest, dass eine solche Registrierung nicht ausreicht, so kann der Datensatz unterteilt werden. Jeder Teilbereich wird anschließend einzeln registriert. An den Grenzgebieten treten dabei Deformationen auf, die durch unterschiedliche Registrierungen in Teilbereichen hervorgerufen werden. Da sich eine solche Registrierung eines Teilbereichs mit dem erfindungsgemäßen Registrierverfahren schneller berechnen lässt, kann man besonders in solchen Fällen eine Registrierung der Datensätze über die Einzelregistrierung von Teilbereichen die Gesamtzeit zur Berechnung der deformierbaren Registrierung ganz erheblich verkürzen.

Mit einem zweidimensionalen Eingabegerät kann eine Kontrolle jeweils in einem Bild erfolgen. Hierbei ist zum Beispiel eine Kontrolle in Schichtbildern möglich, einzelne Bilder können verschoben und gedreht werden, um damit die Registrierung (auch im 3-D) zu ändern. Ebenso ist eine Steuerung über externe Mechanismen möglich, zum Beispiel über Schieberegler, die jeweils einen Freiheitsgrad kontrollieren. Genauso ist eine Steuerung vorstellbar, bei der die Registrierung durch die Verwendung von Sprache gesteuert wird. Schließlich kann anstelle einer Rückmeldeeinrichtung, die die Registriergüte visuell anzeigt, oder einer Einrichtung mit haptischen Feedback selbstverständlich auch eine Rückmeldung mit akustischer Anzeige verwendet werden, bei der beispielsweise die Güte der Registrierung über verschiedene Tonhöhen angezeigt wird.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispiels sowie anhand der Zeichnung, die schematisch ein 3-D-Eingabegerät mit einem vereinfacht dargestellten Roboterarm darstellt.
Dieses 3-D-Eingabegerät ist in der Lage eine 3-D-Position durch einen Punkt 1 im Raum zu bestimmen. Dieser Punkt 1 wird zur Berechnung der Translation der Registrierung der beiden Datensätze verwendet. Die Stellung des Kugelgelenks 2 gibt die Rotation eines Datensatzes an. Dabei kann der Stift 3 zusätzlich gedreht werden, um die dritte Rotationsachse zu erfassen. Bei 4 erkennt man ein Drehgelenk um eine weitere Achse. Diese Freiheitsgrade des 3-D-Eingabegerätes erlauben eine exakte Bestimmung der Registrierungsparameter.
Die Rückkopplung erfolgt dabei bevorzugt über alle dargestellten Gelenke. Das Eingabegerät ist also in der Lage alle Gelenke ähnlich einem Roboter zu bewegen.
Zu der aktuell eingestellten Registrierung wird die Güte zum Beispiel mit Hilfe einer Metrik (z. B. Normalized Mutual Information NMI, oder durch Bestimmung des Abstands von Oberflächen) berechnet. Wird nun das in der Figur schematisch dargestellte 3-D-Eingabegerät in eine Richtung bewegt, so wird für eine jede neue Position jeweils wieder diese Metrik berechnet und mit der vorherigen verglichen. Wurde diese neue Metrik im Sinne einer guten Registrierung verbessert oder bleibt gleich, so verharrt das Eingabegerät an dieser Position. Tritt eine Verschlechterung ein, so versucht das Eingabegerät – mit Hilfe der eingebauten Motoren – an die alte Position zurückzukehren. Diese Rückstellkraft muss vom Benutzer überwunden werden, wenn dieser der Auffassung ist, dass die Registrierung sich zur Zeit in einem lokalen Extremum befindet und sich an einer anderen Position noch verbessert.
Alternativ lässt sich das Gerät auch so ausbilden, dass die einzelnen Geräte nicht wie ein Roboter selbst bewegt werden können, sondern den Benutzer nur darin hindern, den Arm in eine bestimmte Richtung zu bewegen. Der Benutzer spürt damit direkt in welche Richtungen er sich im Sinne einer Registrierungsverbesserung bewegen darf.

Claims

Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze durch eine manuelle Registrierbewegung und mit einer Rückmeldeeinrichtung zur Darstellung der gleichzeitig berechneten Güte der aktuellen Registrierung, dadurch gekennzeichnet, dass die Rückmeldeeinrichtung ein 3-D-Eingabegerät zur Veränderung der einzelnen Freiheitsgrade der Registrierung mit einem Roboterarm mit entsprechend vielen Freiheitsgraden der Bewegung umfasst, wobei die Registriergüte eine automatische Rückkopplung für jeden Freiheitsgrad in dem Sinne erzeugt, dass eine Registrierbewegung die zu einer Verschlechterung der Güte führt, den Handhebel des Eingabegeräts bremst oder in die Ausgangslage zurückzubewegen sucht.
Manuell geführte Registrierung nach Anspruch 1, dadurch gekennzeichnet, dass Teilbereiche eines Datensatzes manuell registriert werden und dass die Berechnung und Rückmeldung der Registriergüte speziell für die Grenzgebiete der Teilbereiche erfolgt.
Manuell geführte Registrierung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Freiheitsgrade des dreidimensionalen haptischen Eingabegerätes durch getrennte Motoren steuerbar sind.
Manuell geführte Registrierung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Güte der aktuell eingestellten Registrierung mit Hilfe von Normalized Mutual Information NMI berechnet wird.
Manuell geführte Registrierung nach einem der Ansprüceh 1 bis 4, dadurch gekennzeichnet, dass die Güte der aktuell eingestellten Registrierung über den Abstand von Oberflächen berechnet wird.