DE102016202512B3 - Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm - Google Patents

Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm Download PDF

Info

Publication number
DE102016202512B3
DE102016202512B3 DE102016202512.0A DE102016202512A DE102016202512B3 DE 102016202512 B3 DE102016202512 B3 DE 102016202512B3 DE 102016202512 A DE102016202512 A DE 102016202512A DE 102016202512 B3 DE102016202512 B3 DE 102016202512B3
Authority
DE
Germany
Prior art keywords
gradient
image
dimensional
point
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016202512.0A
Other languages
English (en)
Inventor
Jian Wang
Anja Borsdorf
Roman Schaffert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Friedrich Alexander Univeritaet Erlangen Nuernberg FAU, Siemens Healthcare GmbH filed Critical Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Priority to DE102016202512.0A priority Critical patent/DE102016202512B3/de
Priority to US15/436,808 priority patent/US10062174B2/en
Application granted granted Critical
Publication of DE102016202512B3 publication Critical patent/DE102016202512B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

Verfahren zur Registrierung eines dreidimensionalen Bilddatensatzes eines Zielgebiets eines Patienten mit einem zweidimensionalen, in einer Aufnahmegeometrie aufgenommenen Röntgenbild (2) des Zielgebiets, wobei – eine Ausgangstransformation als zur Registrierung zu optimierende Testtransformation vorgegeben wird, – ein zweidimensionales Gradientenröntgenbild (9) und ein dreidimensionaler Gradientendatensatz des Bilddatensatzes ermittelt werden, wonach aus dem Gradientendatensatz wenigstens ein in der Aufnahmegeometrie des Röntgenbildes (2) unter Verwendung der Testtransformation vorwärtsprojiziertes zweidimensionales Gradientenvergleichsbild (6) ermittelt wird, wobei in dem Gradientenvergleichsbild (6) den zweidimensional in der Bildebene (17) beschriebenen Gradienten eine die Tiefe in Strahlrichtung des Zentralstrahls der Aufnahmegeometrie beschreibende Tiefeninformation zugeordnet ist, – für jedes Bildelement des Gradientenvergleichsbildes (6) überprüft wird, ob der zweidimensional in der Bildebene (17) beschriebene Gradient ein das Vorliegen einer Kontur in dem Bildelement anzeigendes Auswahlkriterium erfüllt, wobei alle das Auswahlkriterium erfüllenden Bildelemente als Konturpunkte (7) ausgewählt werden, – für alle Konturpunkte (7) in dem wenigstens einen Gradientenvergleichsbild (6) eine einer lokalen Umgebung (8) des Konturpunktes (7) aufgrund eines Vergleichsmaßes am besten entsprechende, sich um einen Vergleichspunkt (15) erstreckende Umgebung (14) in dem Gradientenröntgenbild (9) aus mehreren sich um Testpunkte (11, 13) erstreckenden Umgebungen (14) aufgefunden wird, – lokale zweidimensionale Verschiebungsinformationen durch Vergleich der Konturpunkte (7) mit den zugeordneten Vergleichspunkten (15) ermittelt werden, und – eine Bewegung des Zielgebiets zwischen der Aufnahme des Bilddatensatzes und des Röntgenbildes (2) beschreibende Bewegungsparameter eines dreidimensionalen Bewegungsmodells aus den lokalen zweidimensionalen Verschiebungsinformationen ermittelt werden, wonach eine die Registrierung beschreibende Registrierungstransformation (5) durch Korrektur der Testtransformation anhand der Bewegungsparameter ermittelt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Registrierung eines dreidimensionalen Bilddatensatzes eines Zielgebiets eines Patienten mit einem zweidimensionalen, in einer Aufnahmegeometrie aufgenommenen Röntgenbild des Zielgebiets, eine Recheneinrichtung und ein Computerprogramm.
  • Bei vielen medizinischen Fragestellungen, sei es in der Diagnostik oder bei der Durchführung von insbesondere minimalinvasiven Eingriffen, liegen vom interessierenden Zielgebiet des Patienten sowohl dreidimensionale Bilddaten in Form eines Bilddatensatzes, beispielsweise eines Computertomographie-/oder Magnetresonanzdatensatzes, und zweidimensionale Durchleuchtungsbilder, üblicherweise also Röntgenbilder, vor. Dabei ist es gewünscht, sowohl den dreidimensionalen Bilddatensatz als auch das zweidimensionale Röntgenbild des Zielgebiets gemeinsam auswerten zu können, insbesondere in Form eines Fusionsbildes oder durch Integration von Merkmalen eines Bildes in das jeweils andere Bild. Hierzu müssen die Koordinatensysteme des dreidimensionalen Bilddatensatzes und des zweidimensionalen Röntgenbildes miteinander in Verbindung gebracht werden, welcher Vorgang üblicherweise als Registrierung bezeichnet wird, im vorliegenden Fall als 2D-3D-Registrierung.
  • Von besonderer Wichtigkeit ist die 2D-3D-Registrierung bei bildgeführten medizinischen Eingriffen. Hier werden häufig Röntgeneinrichtungen mit einem C-Bogen verwendet, an dem sich gegenüberliegend eine Röntgenquelle und ein Röntgendetektor angeordnet sind. Die Echtzeit-Überwachung medizinischer Eingriffe durch Röntgen wird üblicherweise als Fluoroskopie durchgeführt, weshalb die Röntgenbilder auch als Fluoroskopiebilder bezeichnet werden können. Bei der Echtzeit-Führung können präoperativ aufgenommene dreidimensionale Bilddatensätze (CT, Magnetresonanz, ...) auf die zweidimensionalen fluoroskopischen Röntgenbilder überlagert werden, wobei die Genauigkeit der Überlagerung kritisch für die klinische Anwendbarkeit ist.
  • Hierzu ist es zum Stand der Technik bekannt, zu Beginn des Eingriffs beziehungsweise der fluoroskopischen Überwachung eine 2D-3D-Registrierung durchzuführen, um die ursprüngliche Genauigkeit sicher zu stellen. Aufgrund von Bewegungen des Patienten, insbesondere also des Zielgebiets, kann es jedoch während des medizinischen Eingriffs dazu kommen, dass die 2D-3D-Registrieung ungültig wird, mithin Fehlüberlagerungen auftreten. Um dieses Problem zu beseitigen, ist es bekannt, dass die den Eingriff durchführende Person manuell eine neue Registrierungsprozedur anstoßen kann, wenn die fehlerhafte Überlagerung deutlich sichtbar wird und mithin den interventionellen Eingriff bereits beeinflussen kann. Dann wird das zuletzt aufgenommene Röntgenbild genutzt, um wiederum eine 2D-3D-Registrierung herbeizuführen. Nachteilhafterweise wird hierbei die den Eingriff durchführende Person durch die Bewegungskorrektur bei dem interventionellen Eingriff unterbrochen.
  • Ein anderer Ansatz, um die 2D-3D-Registrieung aktuell zu halten, sieht vor, dass der Patient oder zumindest das Zielgebiet während der Röntgenüberwachung automatisch nachverfolgt wird, mithin eine Bewegungskorrektur „on the fly” erfolgen kann. Betrachtet man die Bewegungsentwicklung über die Zeit, kann die Bewegung auch für zukünftige Röntgenbilder vorhergesagt werden. Allerdings wird auch für diese nachverfolgungsbasierten Zugänge eine gültige, akkurate 2D-3D-Registrierung zu Beginn benötigt, um Korrespondenzen für die Abschätzung der dreidimensionalen Bewegung zu erhalten. Nachteilhafterweise ist jedoch der in der Bewegungsabschätzung auftretende Fehler in den Fusions- bzw. Überlagerungsbildern erkennbar, nachdem sich der Nachverfolgungsfehler akkumuliert und 2D-3D-Korrespondenzen durch die Bewegung verloren gehen.
  • Allgemein gesagt können verschiedene zentrale Faktoren der 2D-3D-Registrierung identifiziert werden. Dabei ist zunächst als erster wichtiger Faktor das verwendete Ähnlichkeitsmaß (Vergleichsmaß) zu nennen, welches die Genauigkeit der 2D-3D-Registrierung beschreibt. Üblicherweise werden die Bildintensitäten (Grauwert) und Gradienten genutzt. Das hauptsächlich angewendete Verfahren zur 2D-3D-Registrierung gemäß dem Stand der Technik ist die Ermittlung eines digital rekonstruierten Radiografiebildes (digitally reconstructed radiograph – DRR), wobei es sich um ein simuliertes Röntgenbild für den dreidimensionalen Bilddatensatz handelt, das mithin durch Vorwärtsprojektion ermittelt wird, vergleiche hierzu beispielsweise den Artikel von A. Kubias et al., „Extended global optimization strategy for rigid 2D/3D image registration”, in: CAIP. LINCS. Volume 4673, Springer (2007), Seiten 759–767. Vergleichsmaße, die auf den Intensitätswerten des DRR-Bildes und des Röntgenbildes beruhen, können als Ähnlichkeitsmaß verwendet werden, beispielsweise die Summe der absoluten Differenzen (SAD), die Summe der quadrierten Differenzen (SSD) und die normalisierte Kreuzkorrelation (normalized cross correlation – NCC). Beispiele für gradientenbasierte Vergleichsmaße sind die Gradienten-Kreuzkorrelation, vergliche hierzu W. Wein et al., „2D/3D registration based an volume gradients”, in: Medical Imaging SPIE (2005), Seiten 144–150, und das normalisierte Gradientenfeld (NGF), vergleiche hierzu E. Haber und J. Modersitzki, „Intensity gradient based registration and fusion of multi-modal images”, MICCAI 2006. Diese Maße werden üblicherweise als robustere Alternative zu intensitätsbasierten Vergleichsmaßen gesehen.
  • Relevant, insbesondere im Hinblick auf im Zielgebiet auftretende Bewegungen, ist ferner das angesetzte Bewegungsmodell. Die Bildregistrierung ist im Allgemeinen als ein Optimierungsverfahren bekannt, in welchem Bewegung auf das bewegte Bild angewandt wird, um es mit dem festen Bild in Übereinstimmung zu bringen. Die Bewegung kann dabei für starre (rigide) Strukturen als starre Bewegung und artikulierte (teilweise starre) Bewegung angesetzt werden, jedoch auch als elastische Bewegung, bei welcher mithin auch Deformierungen auftreten können. Aus Sicht der Dimensionalität wird entweder dreidimensionale Bewegung auf den dreidimensionalen Bilddatensatz angewandt oder zweidimensionale auf das (projizierte) zweidimensionale Röntgenbild (beispielweise DRR). Für Beispiele hierzu sei auf den Review-Artikel R. Liao et al., „A review of recent advances in registration techniques applied to minimally invasive therapy”, in: IEEE Transactions an Multimedia, 15 (5), 2013, Seiten 983–1000.
  • Als dritter wichtiger Faktor ist die Optimierungsstrategie zu nennen. Basierend auf den gewählten Vergleichsmaß (Ähnlichkeitsmaß) und dem Bewegungsmodell wird ein numerisches Optimierungsverfahren durchgeführt, welches als zu optimierende Parameter Bewegungsparameter des Bewegungsmodels nutzt, um die Ähnlichkeit zu maximieren beziehungsweise den Unterschied zu minimieren. Dabei werden üblicherweise gradientenbasierte Optimierungsverfahren bezüglich des Vergleichsmaßes eingesetzt. Es können jedoch auch gradientenfreie Optimierungsverfahren eingesetzt werden. Beispielsweise schlagen A. Kubias et al. im bereits zitierten Artikel „Extended global optimization strategy for rigid 2D/3D image registration” vor, eine erweiterte globale Optimierungsstrategie zu verwenden, wo eine adaptive Zufallssuche in verschiedenen groben Auflösungsstufen verwendet wird und ein lokaler Optimierer auf einer höheren Auflösungsstufe angewandt wird, um die Registrierung zu verfeinern. In den Nachverfolgungs-basierten Ansätzen basiert die Optimierung oft auf mathematischen Zusammenhängen zwischen nachverfolgten Merkmalen und dem dreidimensionalen starren Bewegungsmodell.
  • Trotz all der bekannten Ansätze stellt die insbesondere in Echtzeit durchzuführende 2D-3D-Registrierung auch weiterhin eine Herausforderung dar. Eine Kategorie bekannter Verfahren versucht, die dreidimensionale Bewegung durch Vergleich der Projektion des dreidimensionalen Bilddatensatzes mit dem zweidimensionalen Röntgenbild zu ermöglichen, vergleiche hierzu die bereits genannten Veröffentlichungen von A. Kubias et al., W. Wein et al. und E. Haber et al. Allerdings wird die Optimierung hier durch den Verlust der Tiefeninformation, der durch die Projektion auftritt, erschwert. Eine andere Kategorie von bekannten Verfahren nutzt die Rückprojektion des Röntgenbildes und vergleicht mit dem dreidimensionalen Bilddatensatz, wobei diese Ansätze jedoch mehrere unter unterschiedlichen Projektionsrichtungen, also in unterschiedlichen Aufnahmegeometrien, aufgenommene zweidimensionale Röntgenbilder benötigt, was bei medizinischen Eingriffen häufig nicht der Fall ist.
  • Die auf der Nachverfolgung (tracking) basierenden Ansätze haben den Vorteil, die dreidimensionale Bewegung durch zweidimensionale Nachverfolgung zu ermitteln. Sie erfordern jedoch eine hochqualitative Initialisierung ebenso wie eine Reinitialisierung, um 2D-3D-Korrespondenzen ursprünglich herzustellen oder wieder aufzufinden. DE 10 2013 214 479 A1 schlägt ein Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung vor, indem Konturen in aufeinanderfolgend aufgenommenen Projektionsbildern nachverfolgt („getrackt”) werden. Für einen im zweidimensionalen Röntgenbild gegebenen Konturpunkt sowie einen zugeordneten Ausgangspunkt im dreidimensionalen Bilddatensatz kann eine Zielebene ermittelt werden, in der der aufgrund der Bewegung verschobene Konturpunkt, der aufgrund der Bewegung verschobene Ausgangspunkt und der Fokus, also letztlich die Strahlenquelle in der Aufnahmegeometrie, befindlich sind. Es lässt sich ein Zusammenhang aufstellen, der die beobachtbaren Bewegungsfreiheitsgrade senkrecht zum Verlauf der Kontur im dreidimensionalen Bilddatensatz mit allgemeinen, dreidimensionalen Beschreibungen der Bewegung, also Bewegungsparametern eines Bewegungsmodels, in Verbindung bringt. Für einen einzigen Konturpunkt wäre dieses Gleichungssystem unterbestimmt. Nachdem hier doch eine Vielzahl von Konturpunkten betrachtet wird, ergibt sich ein Gleichungssystem, das gelöst werden kann, um die Bewegungsparameter zu bestimmen und mithin die Bewegungsinformation zu aktualisieren. Dabei wird ausgenutzt, dass die Kontur einem starren Objekt zugeordnet werden kann, welches mithin durch gemeinsame, eine starre Bewegung beschreibende Bewegungsparameter abgebildet werden kann. Allerdings treten auch hier die Probleme sich akkumulierender Nachverfolgungsfehler genauso auf wie der mögliche Verlust von 2D-3D-Korrespondenzen. Bezüglich dieses Ansatzes sei auch auf den Artikel von J. Wang et al., „Gradient-Based Differential Approach for 3-D Motion Compensation in Interventional 2-D/3-D Image Fusion”, Proceedings of the 2014 International Conference an 3D Vision, Seiten 293–300, verwiesen.
  • Zur Verbesserung dieses Konzepts, und um eine robuste und akkurate Registrierung auch ausgehend von weniger exakten 2D-3D-Korrespondenzen und/oder insbesondere über eine längere Serie von aufgenommenen Röntgenbildern zu erlauben, wird in der nachveröffentlichten DE 10 2015 208 929 A1 vorgeschlagen, dass nach Vorgabe einer Ausgangstransformation als zu optimierende Testtransformation
    • – aus in einer Auswertung ermittelten, im Bilddatensatz enthaltenen anatomischen Strukturen wenigstens eine in dem Röntgenbild sichtbare, rigide Referenzstruktur mit einer zugeordneten Kontur ausgewählt wird,
    • – ein zweidimensionales Gradientenröntgenbild und ein dreidimensionaler Gradientendatensatz des Bilddatensatzes ermittelt werden, wonach aus dem Gradientendatensatz wenigstens ein in der Aufnahmegeometrie des Röntgenbildes unter Verwendung der Testtransformation vorwärts projiziertes, zweidimensionales Gradientenvergleichsbild ermittelt wird,
    • – für mehrere Ausgangspunkten auf der dreidimensionalen Kontur der wenigstens einen ausgewählten Referenzstruktur in der Aufnahmegeometrie des Röntgenbildes entsprechende Konturpunkte in dem Gradientenvergleichsbild eine einer lokalen Umgebung des Konturpunktes aufgrund eines Vergleichsmaßes am besten entsprechende, sich um einen Vergleichspunkt erstreckende Umgebung in dem Gradientenröntgenbild aus sich um Testpunkte erstreckenden Umgebungen im Gradientenröntgenbild aufgefunden wird,
    • – lokalen zweidimensionale Verschiebungsinformationen durch Vergleich der Konturpunkte mit den zugeordneten Vergleichspunkten ermittelt werden, und
    • – eine Bewegung des Zielgebiets zwischen der Aufnahme des Bilddatensatzes und des Röntgenbildes beschreibende Bewegungsparameter eines dreidimensionalen Bewegungsmodells aus den lokalen zweidimensionalen Verschiebungsinformationen und eine die Registrierung beschreibende Registrierungstransformation durch Korrektur der Testtransformation anhand der Bewegungsparameter ermittelt werden.
  • Der Registrierungsvorgang basiert im dortigen Verfahren also auf bestimmten Referenzstrukturen, mithin einer spärlichen Abbildung, anstatt der Verwendung des gesamten Bildes. Es wird ferner vorgeschlagen, statt der Bildintensität den räumlichen Bildgradienten im Vergleich zu nutzen, da starke Gradienten die meiste strukturelle Information enthalten. Die Suche nach Ausgangspunkten entsprechenden Vergleichspunkten wird lokal zweidimensional zwischen dem Gradientenröntgenbild und dem Gradientenvergleichsbild durchgeführt, nachdem die tatsächlich beobachtbare Bewegung lediglich projiziert wurde und mithin lokal innerhalb der Projektion unterschiedlich sein kann. Dennoch wird schließlich, wobei die starren Eigenschaften der Referenzstrukturen genutzt werden, ein Bewegungsmodell genutzt, welches sowohl die beobachtbare als auch die nichtbeobachtbare Bewegung enthält. Kurz zusammengefasst enthält das dortige Verfahren mithin folgende Schritte. Zunächst findet eine Initialisierung statt, bei der eine insbesondere nur grob benötigte Initialregistrierung als Ausgangstransformation vorgegeben wird. Sodann werden Referenzstrukturen ausgewählt, mithin Konturen im dreidimensionalen Bilddatensatz, die nachzuverfolgen sind. Durch ein gradientenkorreliertes Matching werden Vergleichspunkte zu den Konturpunkten im zweidimensionalen Röntgenbild aufgefunden, wonach die Bewegungsabschätzung durchgeführt werden kann, insbesondere basierend auf einer Punkt-zu-Ebene-Korrespondenz, wie sie in DE 10 2013 214 479 A1 vorgeschlagen wurde und gemäß DE 10 2015 208 929 A1 noch verfeinert werden kann.
  • Die in DE 10 2013 214 479 A1 und DE 10 2015 208 929 A1 beschriebenen Ansätze haben gemein, dass üblicherweise ein dichter Satz von Konturpunkten bzw. Ausgangspunkten verwendet wird, um die Oberfläche/Kontur der interessierenden Struktur zu repräsentieren. Dies ist für eine Echtzeit-Anwendung, wie sie angestrebt wird, rechnerisch nicht effizient. Zum anderen ist eine Volumenanalyse, beispielsweise 3D-Canny, erforderlich, um die dreidimensionalen Konturpunkte bzw. Ausgangspunkte zu bestimmen, wofür sowohl Berechnungsressourcen als auch Speicherressourcen in großer Menge benötigt werden. Der Erfindung liegt daher die Aufgabe zugrunde, eine gegenüber üblichen DRR-basierten Verfahren, wie sie z. B. in dem zitierten Artikel von A. Kubias beschrieben sind, effizientere Art der Registrierung anzugeben.
  • Zur Lösung dieser Aufgabe ist erfindungsgemäß ein Verfahren zur Registrierung eines dreidimensionalen Bilddatensatzes eines Zielgebiets eines Patienten mit einem zweidimensionalen, in einer Aufnahmegeometrie aufgenommenen Röntgenbild des Zielgebiets vorgesehen, wobei
    • – eine Ausgangstransformation als zur Registrierung zu optimierende Testtransformation vorgegeben wird,
    • – ein zweidimensionales Gradientenröntgenbild und ein dreidimensionaler Gradientendatensatz des Bilddatensatzes ermittelt werden, wonach aus dem Gradientendatensatz wenigstens ein in der Aufnahmegeometrie des Röntgenbildes unter Verwendung der Testtransformation vorwärtsprojiziertes zweidimensionales Gradientenvergleichsbild ermittelt wird, wobei in dem Gradientenvergleichsbild den zweidimensional in der Bildebene beschriebenen Gradienten eine die Tiefe in Strahlrichtung des Zentralstrahls der Aufnahmegeometrie beschreibende Tiefeninformation zugeordnet ist,
    • – für jedes Bildelement des Gradientenvergleichsbildes überprüft wird, ob der zweidimensional in der Bildebene beschriebene Gradient ein das Vorliegen einer Kontur in dem Bildelement anzeigendes Auswahlkriterium erfüllt, wobei alle das Auswahlkriterium erfüllenden Bildelemente als Konturpunkte ausgewählt werden,
    • – für alle Konturpunkte in dem wenigstens einen Gradientenvergleichsbild eine einer lokalen Umgebung des Konturpunktes aufgrund eines Vergleichsmaßes am besten entsprechende, sich um einen Vergleichspunkt erstreckende Umgebung in dem Gradientenröntgenbild aus mehreren sich um Testpunkte erstreckenden Umgebungen aufgefunden wird,
    • – lokale zweidimensionale Verschiebungsinformationen durch Vergleich der Konturpunkte mit den zugeordneten Vergleichspunkten ermittelt werden, und
    • – eine Bewegung des Zielgebiets zwischen der Aufnahme des Bilddatensatzes und des Röntgenbildes beschreibende Bewegungsparameter eines dreidimensionalen Bewegungsmodells aus den lokalen zweidimensionalen Verschiebungsinformationen ermittelt werden, wonach eine die Registrierung beschreibende Registrierungstransformation durch Korrektur der Testtransformation anhand der Bewegungsparameter ermittelt wird.
  • Erfindungsgemäß wird mithin eine Weiterentwicklung des durch DE 10 2015 208 929 A1 vorgeschlagenen Verfahrens angegeben. Denn in dem dort beschriebenen dynamischen Registrierungszugang war die Auswahl der Ausgangspunkte (und somit Konturpunkte) aus verschiedenen Gründen nicht trivial, zum einen, da die projizierten Konturpunkte üblicherweise die zweidimensional interessierenden Bereiche redundant abdecken, so dass unnötige Berechnungsvorgänge erforderlich werden, zum anderen, da eine ohne weiteres vorgenommene Auswahl der projizierten Konturpunkte nicht eine sinnvolle Verteilung der Konturpunkte sicherstellt, so dass eine vorbelastete Bewegungsabschätzung aufgrund von Informationsverlust auftreten kann. Mithin wird hier ein verbesserter dynamischer Registrierungsvorgang vorgeschlagen, bei dem die Auswahl von Ausgangspunkten im dreidimensionalen Bilddatensatz vermieden wird und stattdessen unmittelbar Konturpunkte im zweidimensionalen Gradientenvergleichsbild ausgewählt werden. Nachdem im Gradientenvergleichsbild – was im Folgenden noch näher erläutert wird – zumindest eine Tiefeninformation vorgesehen ist, ist es nach der Auswahl eines Konturpunkts problemlos möglich, den zugeordneten dreidimensionalen Ausgangspunkt im dreidimensionalen Bilddatensatz zumindest hinreichend genau abzuschätzen, um die notwendigen Berechnungen durchzuführen. Insbesondere wird gezeigt werden, dass eine Problemformulierung zur Berechnung der Bewegungsparameter möglich ist, die den Ausgangspunkt lediglich noch implizit benötigt.
  • Im Wesentlichen wird also zur Ermittlung von Konturpunkten zunächst eine tiefenbewusste Gradientenprojektion zur Ermittlung des Gradientenvergleichsbildes durchgeführt, woraufhin die Bildelemente als Konturpunkte ausgewählt werden, die herausragende, insbesondere also besonders starke, Gradienten aufweisen, da derartige starke Gradienten auf Kanten im Bild hindeuten. Die wenigstens abgeschätzten dreidimensionalen Positionen können unter Verwendung der entsprechenden Tiefeninformation ermittelt werden.
  • So dann kann letztlich weiter wie aus DE 10 2015 208 929 A1 bekannt weiter verfahren werden, was im Folgenden noch näher erläutert werden wird.
  • Nachdem bildbasiert in der 2D-Domäne gearbeitet wird, bietet sich das erfindungsgemäße Vorgehen besonders an, um ein Mehrfach-Auflösungs-Schema zu realisieren, in welchem sukzessive zu kleineren Auflösungen hin fortgeschritten wird. Das erfindungsgemäße Verfahren bietet insgesamt eine effizientere Möglichkeit, um Konturpunkte (und die zugehörigen dreidimensionalen Ausgangspunkte im dreidimensionalen Bilddatensatz) aufzufinden, die insbesondere im Zusammenhang mit dem bekannten, durch die genannten Druckschriften beschriebenen Punkt-zu-Ebene-Korrespondenzmodell eingesetzt werden können. Das vorgeschlagene Arbeiten auf den Gradientenvergleichsbildern vermeidet eine aufwendige Volumenanalyse. Wird ein Mehrfach-Auflösungs-Schema, wie bereits erwähnt, verwendet oder wird grundsätzlich von einer gröberen Auflösung ausgegangen, sind die ausgewählten Konturpunkte spärlich verteilt; überlagerte Konturpunkte und redundante Berechnungen werden vermieden. Mithin wird die Berechnungseffizienz fundamental erhöht und somit die Echtzeitfähigkeit der Registrierung deutlich verbessert.
  • Eine bevorzugte Weiterbildung der vorliegenden Erfindung sieht vor, dass mehrere Gradientenvergleichsbilder für unterschiedliche Tiefenintervalle des Bilddatensatzes in Strahlrichtung des Zentralstrahls der Aufnahmegeometrie ermittelt werden, wobei das jeweilige Tiefenintervall dem Gradientenvergleichsbild als Tiefeninformation zugeordnet ist. Mithin ist vorgesehen, dass das durch den dreidimensionalen Bilddatensatz abgedeckte Zielgebiet entlang der Richtung des Zentralstrahls der Aufnahmegeometrie in durch Tiefenintervalle beschriebene Teilbereiche unterteilt wird, wobei für jeden dieser Teilbereiche, mithin jedes Tiefenintervall, eigene Gradientenvergleichsbilder ermittelt werden. Das hat den besonderen Vorteil, dass ein Überlappen von in dem Bilddatensatz sichtbaren Strukturen aus unterschiedlichen Tiefen vermieden wird. Eine derartige Einteilung in Tiefenintervalle ist im Stand der Technik bereits grundsätzlich bekannt und wurde beispielsweise in dem Artikel von J. Wang et al. „Depth-Layer-Based Patient Motion Compensation for the Overlay of 3D Volumes onto X-Ray Sequences”, in: BVM (2013), Seiten 128 bis 133, beschrieben. Damit ergibt sich eine besonders bevorzugte Variante einer tiefenbewussten Gradientenprojektion (depth-aware gradient projection – DGP). Bei der DGP findet das Rendern der Gradientenvergleichsbilder getrennt für verschiedene Tiefenintervalle statt, so dass beispielsweise bei der Betrachtung von in verschiedenen Tiefenintervallen liegenden Knochenstrukturen durch deren Überlagerung keine ungewollten Berechnungsprobleme auftreten können; insbesondere werden Effekte bei der Überlagerung im Vergleich mit dem Gradientenröntgenbild, welches ja nicht tiefenaufgelöst ist, durch entsprechende Schwellwerte für Vergleichsmaße abgefangen.
  • Es sei angemerkt, dass es grundsätzlich auch denkbar wäre, eine andere Aufteilung des Zielgebiets vorzunehmen, beispielsweise in geeignet deutlich in Röntgenbildern abgebildeten Referenzstrukturen zugeordnete Teilbereiche, wodurch dann jedoch komplexere Berechnungen erforderlich wären, die vorliegend gerade vermieden werden sollen. Die Praxis hat gezeigt, dass eine Aufteilung in Tiefenintervalle einfach zu realisieren und in den meisten Fällen bereits ausreichend ist.
  • Werden derartige Tiefenintervalle verwendet, gibt das einem Gradientenröntgenbild zugeordnete Tiefenintervall bereits zumindest grob die Tiefe an, in der ein einem Konturpunkt zugeordneter Ausgangspunkt des dreidimensionalen Bilddatensatzes liegt. Beispielsweise kann hier angenommen werden, dass dieser in der Mitte des Tiefenintervalls liegt, welches üblicherweise nicht besonders groß gewählt werden sollte.
  • Jedoch kann auch vorgesehen sein, was zudem auch unabhängig von den Tiefenintervallen möglich ist, dass für jedes Gradientenvergleichsbild jedem zweidimensional in der Bildebene beschriebenen Gradienten die auf die Strahlrichtung des Zentralstrahls in der Aufnahmegeometrie bezogene Tiefenposition im durch das Gradientenvergleichsbild abgedeckten Tiefenintervall, an der ein maximaler Beitrag zu dem Gradienten bei der Vorwärtsprojektion auftrat, als Tiefeninformation zugeordnet wird. (Sollte keine DGP mit einer Aufteilung des Zielgebiets in Teilbereiche erfolgen, entspricht das Tiefenintervall selbstverständlich dem gesamten durch das Zielgebiet abgedeckten Bereich). Nachdem der größte Beitrag zum in die Bildebene durch Vorwärtsprojektion projizierten Gradienten der Kante entsprechen sollte, die für die sichtbare Kontur in der zweidimensionale Bildebene sorgt, kann auf diese Art und Weise also hervorragend die dritte Dimension einkodiert werden, die genutzt werden kann, um möglichst genau einen dreidimensionalen Ausgangspunkt im dreidimensionalen Bilddatensatz aufzufinden, der als Konturpunkt in die Bildebene projiziert wird. Gerade im Hinblick auf die Aufteilung des Zielgebiets in Teilbereiche mit verschiedenen Tiefenintervallen bietet sich dies zur genaueren Bestimmung von Ausgangspunkten zu aufgrund des Auswahlkriteriums bestimmten Konturpunkten an.
  • Eine besonders vorteilhafte Weiterbildung der vorliegenden Erfindung sieht vor, dass das Gradientenvergleichsbild durch Anwendung eines Renderalgorithmus auf den Gradientendatensatz ermittelt wird, wobei ein Ergebniskanal des Renderalgorithmus einen normierten Winkelwert als Richtungsangabe des Gradienten in der Bildebene und ein weiterer Ergebniskanal ein Maß für den Betrag des Gradienten in der Bildebene enthält. Mithin wird der Gradient in der Bildebene auch im vorliegenden Verfahren nicht aus aus dem dreidimensionalen Bilddatensatz vorwärtsprojizierten DRR-Bildern (DRR = digitally reconstructed radiograph) bestimmt, sondern direkt gerendert. Dies verhindert einen „falschen” Gradienten in der Bildebene durch direkte Manipulation des dreidimensionalen Gradienten des Gradientendatensatzes, während „falsche” Gradienten auftreten können, wenn zweidimensionale Bildgradienten aus DRR-Bildern bestimmt werden. Ein Beispiel hierfür ist das Auftreten von falschen Kanten, die durch künstlich entstehende Begrenzungen beim Aufteilen in Tiefenintervalle entstehen. Ein weiterer Vorteil des direkten Volumenrenderns aus dem Gradientendatensatz ist, dass der Rendervorgang in einem einzigen Schritt auf einer GPU (graphical processing unit) ausgeführt werden kann. Mithin ist es auch bevorzugt, den Renderalgorithmus durch eine GPU auszuführen. Hiermit ist eine äußerst schnelle und effiziente Berechnung möglich, nachdem Hardware eingesetzt wird, die speziell für solche Rendervorgänge ausgelegt ist.
  • Das Gradientenprojektions-Rendern wird dabei speziell auf das dynamische Registrierungs-Framework ausgelegt, wobei bei einer Aufteilung des Zielgebiets in Teilbereiche für jeden Teilbereich getrennt gerändert wird. Übliche Renderalgorithmen bzw. Programmiersprachen zur Anpassung derartiger Render-Algorithmen, beispielsweise GLSL, erwarten in den Ergebniskanälen (beispielsweise bis zu vier) Daten innerhalb eines normalisierten Intervalls [0, 1]. Mithin wird vorgeschlagen, einen Ergebniskanal zu nutzen, um den normalisierten Winkel der Gradientenrichtung in der Bildebene anzugeben, beispielsweise durch Division des tatsächlichen Winkels durch 2π. Ein weiterer Ergebniskanal wird genutzt, um die Gradientenmagnitude bzw. den Gradientenbetrag abzubilden, wobei beispielsweise
    Figure DE102016202512B3_0002
    verwendet werden kann.
  • Zweckmäßigerweise kann bei Ermittlung einer Tiefenposition als Tiefeninformation, wie oben beschrieben, ein dritter Ergebniskanal, der die durch die Ausdehnung des abgedeckten Tiefenintervalls normierte Tiefenposition enthält, verwendet werden. Ein dritter Ergebniskanal kann mithin die über die Maximaltiefe normierte Tiefenposition der Abtastposition mit maximalem Gradientenbeitrag enthalten. Auf diese Weise entsteht eine tiefenbewusste Gradientenprojektion (DGP), die neben der Gradientenprojektion in einem einzigen Renderschritt auch die Tiefenabschätzung produziert.
  • Das Auswahlkriterium kann einen Schwellwertvergleich für den Betrag des zweidimensional in der Bildebene beschriebenen Gradienten umfassen. In diesem Fall wird davon ausgegangen, dass dann, wenn der Betrag des zweidimensional in der Bildebene beschriebenen Gradienten, mithin des Gradienten des Gradientenvergleichsbilds, einen Schwellwert überschreitet, eine sichtbare Kante im zugeordneten Bildelement gegeben ist. Dabei sei darauf hingewiesen, dass selbstverständlich auch komplexere Betrachtungen angestellt werden können, beispielsweise Teilkriterien des Auswahlkriteriums formuliert werden können, die eine Umgebung des aktuell betrachteten Bildelements berücksichtigen.
  • In einer besonders bevorzugten Ausgestaltung des Verfahrens kann vorgesehen sein, dass das Gradientenröntgenbild und das Gradientenvergleichsbild zunächst in einer gröberen Auflösung mit größeren Bildelementen als das Röntgenbild ermittelt werden, wobei die Ermittlung der Bewegungsparameter und die Korrektur der Testtransformation sukzessive für wenigstens eine bessere Auflösung wiederholt wird, insbesondere bis hin zur Auflösung des Röntgenbildes. Wie bereits angedeutet wurde, bietet sich die durchgeführte bildbasierte Analyse zum Auffinden von Konturpunkten ihrer Natur nach besonders für ein solches Mehrfach-Auflösungs-Schema an, mit welchem zunächst größere Bildelemente, die kleinere Bildelemente der Größe der Bildelemente des Röntgenbilds zusammenfassen, betrachtet werden. Dies hat mehrere Vorteile. Zum einen kann auf diese Art und Weise der Bereich, in dem Bewegungen relativ zum dreidimensionalen Bilddatensatz erfasst werden, vergrößert werden, nachdem der Algorithmus zunächst unempfindlicher reagiert. Die Robustheit des Vorgehens wird also deutlich erhöht. Es ist mithin eine Art „Pyramidenrepräsentation” gegeben, wobei beispielsweise von Auflösungen von 64×64 Bildelementen über 128×128 und 256×256 Bildelemente auf 512×512 Bildelemente erhöht werden kann. So wird schrittweise die Genauigkeit der Bestimmung der Bewegungsparameter und mithin der Registrierungstransformation verbessert.
  • Sollen mehrere Bildelemente der Größe der Bildelemente des Röntgenbildes zusammengefasst werden, muss hinsichtlich der Gradienten ein Weg gefunden werden, einen sinnvollen Gradienten für das größere Bildelement anzugeben. Hier kann mit besonderem Vorteil vorgesehen sein, dass die Gradienten, insbesondere deren Richtung, eines durch mehrere Bildelemente der Größe der Bildelemente des Röntgenbilds gebildeten größeren Bildelemente wenigstens für das Gradientenröntgenbild aus dem Strukturtensor des größeren Bildelements ermittelt werden. Wird mithin eine Art „Feld” (patch) aus kleineren Bildelementen, beispielsweise ein 4×4-Feld, als größeres Bildelement betrachtet, kann beispielsweise das Zentrum des größeren Bildelements als Punktposition betrachtet werden. Für die Gradienten existieren verschiedene Möglichkeiten, einen Gradientenwert und eine Gradientenrichtung für ein derartiges „Feld”, welches beispielsweise durch ein über das 2D-Bild gelegtes Gitter definiert werden kann, festzulegen. Mit anderen Worten muss ein Verfahren ausgewählt werden, um die Gradientenrichtung und den Gradientenwert eines Bildelements in gröberer Auflösung festzulegen. Anstatt der Auswahl des Gradientenwerts in der Mitte des größeren Bildelements wird vorgeschlagen, den Strukturtensor an diesem Mittenpunkt innerhalb des Fensters, das das größere Bildelement definiert, heranzuziehen. Dies ist beispielsweise dann, wenn der Kanade-Lucas-Tomasi-Tracker (KLT-Tracker), vgl. B. Lucas „An Iterative Image Registration Technique with an Application to Stereo Vision”, IJCAI 81 (1981), 647–679, verwendet wird, von Vorteil, da der Strukturtensor eine bessere nummerische Bedingung zur Verfügung stellt. Im hier beschriebenen Ansatz werden die Eigenvektoren und die Eigenwerte des Strukturtensors genutzt, um die Gradientenrichtung eines größeren Bildelements als „Feld” kleinerer Bildelemente zu definieren. Eine Alternative, aber weniger bevorzugte Ausgestaltung ist die unmittelbare Berechnung eines mittleren Gradienten innerhalb des größeren Bildelements. In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung ist vorgesehen, dass das Verfahren iterativ mit der Registrierungstransformation als neue Testtransformation wiederholt wird, bis ein Abbruchkriterium, insbesondere das Unterschreiten eines Schwellwerts für eine Norm der Bewegungsparameter und/oder die Unterschreitung einer bestimmten Anzahl von Iterationsschritten, erfüllt ist. Wurde mithin eine Registrierungstransformation durch Korrektur der Testtransformation aufgefunden, kann ein Abbruchkriterium überprüft werden. Ist dieses nicht erfüllt, wird die Registrierungstransformation (statt der initialen Ausganstransformation) als Testtransformation angesetzt und die entsprechenden Schritte können erneut durchgeführt werden, wobei üblicherweise dieselben Ausgangspunkte, mithin Referenzstrukturen, beibehalten werden können (wobei zu überprüfen ist, ob die Konturpunkten der neuen Testtransformation entsprechenden Gradienten im Gradientenvergleichsbild das Auswahlkriterium auch erfüllen) und offensichtlich auch nur einmalig ermittelte, von der Testtransformation unabhängige Rechenobjekte wie Gradientenbilder/Gradientendatensätze beibehalten werden können. Mithin bezieht sich die Iteration hauptsächlich auf eine Wiederholung des 2D-3D-Tracking, bis Konvergenz erreicht ist.
  • Insgesamt reduziert das erfindungsgemäße Verfahren mithin den Rechenaufwand, indem die Referenzstrukturen als spärliche Repräsentation abgebildet werden und zweidimensional gearbeitet werden kann. Beim iterativen Vorgehen wird sich insbesondere auf die Ausgangspunkte und die diesen zugeordneten Konturpunkte fokussiert. Das Vergleichsverfahren im Weiteren wird lokal durchgeführt. Ist erst eine 2D-3D-Übereinstimmung lokal gefunden, wird sie in weiteren Iterationen üblicherweise nicht verloren gehen. Im vorgeschlagenen Ansatz wird ein Gradientenvergleichsbild unmittelbar aus dem dreidimensionalen Bilddatensatz erzeugt, wobei der Suchbereich für das 2D-3D-Tracking bevorzugt auf dem Bildinhalt basiert, nämlich, wie noch genauer dargelegt werden wird, auf der Gradientenrichtung. Auf diese Weise stellt das Verfahren gültige Registrierungen sowohl zu Beginn eines medizinischen Eingriffs als auch in dessen weiteren Verlauf zur Verfügung sowie bei Aufnahmepausen für die Röntgenbilder; nachdem grundsätzlich von dem dreidimensionalen Bilddatensatz ausgegangen wird, tritt auch keine weitere Akkumulation von Trackingfehlern auf, da immer eine akkurate Registrierung zwischen dem dreidimensionalen Bilddatensatz und dem zweidimensionalen Röntgenbild unmittelbar hergestellt wird. In gewisser Weise stellt das vorgeschlagene Verfahren also eine natürliche (Re-)Initialisierung für die differenzielle Bewegungskompensierung zur Verfügung, insbesondere dann, wenn die Ausgangstransformation auf der im vorherigen Zeitschritt hergestellten Registrierungstransformation beruht. Auf diese Weise wird das Bewegungskompensierungs-Framework verlässlicher, nachdem keine Fehler akkumulieren und eine Verfeinerung der Registrierung letztlich automatisch auftritt, wenn sie notwendig wird. Einen medizinischen Eingriff durchführende Personen können sich mehr auf den Interventionsvorgang konzentrieren, ohne durch Fehlüberlagerungen und dergleichen unterbrochen zu werden.
  • Wie bereits erwähnt wurde, ist im Rahmen der Initialisierung bereits ein äußert grober Ansatz für die Ausgangstransformation ausreichend, um verlässliche, gültige, 2D-3D-Registrierungsergebnisse zu erhalten. Beispielsweise kann vorgesehen sein, dass die insbesondere zuerst verwendete Ausgangstransformation eine Genauigkeit von < 20 mm, bevorzugt < 10 mm, hinsichtlich Translation und/oder < 10°, insbesondere < 5°, hinsichtlich Rotationen aufweisende Grobtransfomartion ist. Es hat sich gezeigt, dass bei Aufnahmen an Phantomen bei Voraussetzungen mit +/–5° für die Rotation und +/–11 mm für die Translation eine 100%ige Erfolgsrate (bei einem Erfolgskriterium, welches einen 3D-Registrierungsfehler kleiner als 2 mm fordert) erzielt wurde. Auch bei größeren Abweichungen wurden noch hervorragende Erfolgsraten von bis zu 96,5% für Kopfphantome erreicht. Üblicherweise werden hervorragende, akkurate 2D-3D-Registrierungen nach 5–10 Iterationen erreicht.
  • Es hat sich gezeigt, dass eine geeignete Ausgangstransformation bereits hinreichend genau aus einer bekannten Position des Patienten zu der das Röntgenbild aufnehmenden Röntgeneinrichtung ermittelt werden kann. Bei der Positionierung von Patienten innerhalb einer beispielsweise einen C-Bogen aufweisenden Röntgeneinrichtung, insbesondere für einen medizinischen Eingriff, ist die Position des Patienten und mithin die Lage des Zielgebiets meist bereits sehr genau bekannt, wobei ferner die Aufnahmegeometrie und die geometrischen Eigenschaften der Röntgeneinrichtung ebenso vorliegen, sodass bei bekannter Aufnahmegeometrie die Ausgangstransformation hinreichend genau abgeschätzt werden kann, um zu hinreichend sicherem Erfolg bei der 2D-3D-Registierung zu führen, insbesondere bei geeigneter Parametrisierung des hier vorgeschlagenen Registrierungsalgorithmus, insbesondere, was die Ausdehnung der Umgebungen und/oder den Suchbereich angeht.
  • Selbstverständlich können auch andere Registrierungsverfahren zur Ermittlung der initialen Ausgangstransformation eigesetzt werden, sodass beispielsweise eine aus einem insbesondere in gröberer Auflösung durchgeführten, vorwärtsprojizierte virtuelle Röntgenbilder (DRR) nutzenden Registrierungsvorgang ermittelte Grobtransformation als Ausgangstransformation eingesetzt werden kann. Dies ist insbesondere vor Beginn eines medizinischen Eingriffs, wenn noch Zeit zur Verfügung steht, denkbar.
  • Wie bereits erwähnt wurde, eignet sich das vorliegende Verfahren insbesondere bei der fluoroskopischen Röntgenüberwachung von insbesondere minimalinvasiven medizinischen Eingriffen. In diesem Kontext ist es besonders zweckmäßig, wenn eine zeitliche Serie von Röntgenbildern insbesondere zur Überwachung eines medizinischen Eingriffs, aufgenommen wird, wobei eine Registrierung für jedes Röntgenbild erfolgt und als Ausgangstransformation jeweils die für das unmittelbar zuvor aufgenommene Röntgenbild ermittelte Registrierungstransformation verwendet wird. Nachdem üblicherweise zwischen der Aufnahme zeitlich aufeinanderfolgender Röntgenbilder nur eine geringe Zeitspanne liegt, ist nicht mit besonders starken Bewegungen im Zielgebiet zu rechnen, sodass die auf das zuvor aufgenommene Röntgenbild bezogene, finale Registrierungstransformation hervorragend als Ausgangstransformation für den nächsten Registrierungsvorgang geeignet ist. Eine auf diese Art und Weise bekannte Qualität der Ausgangstransformation kann auch benutzt werden, um, wie bereits erwähnt, Parameter insbesondere hinsichtlich des beschrieben 3D-2D-Trackings anzupassen, sodass eine bevorzugte Ausgestaltung der Erfindung vorsieht, das bei einer für ein unmittelbar zuvor aufgenommenes Röntgenbild bestimmten Registrierungstransformation als Ausgangstransformation eine kleinere Umgebung und/oder eine geringere Anzahl von Testpunkten gewählt wird als bei einer sonstigen Ausgangstransformation. Hat das Röntgenbild beispielsweise eine Auflösung von 512·512 Pixel, kann bei einer großen angenommen Abweichung der Ausgangstransformation, insbesondere bei der ersten Bestimmung einer Registrierungstransformation aus einer Grobtransformation, also initial, eine Umgebung der Größe 20·20 Pixel bzw. Bildelemente angesetzt werden, wobei die zum Vergleich verwendete Umgebung bei der Verwendung von Registrierungstransformationen vorangehender Röntgenbilder auf 5·5 Pixel bzw. Bildelemente reduziert werden kann. Ähnlich kann die Anzahl der Testpunkte beziehungsweise der Suchbereich kleiner gewählt werden.
  • Wie bereits dargelegt wurde, wird im Allgemeinen als intuitivster Weg zur Durchführung einer Bildregistrierung die sichtbare Fehlübereinstimmung durch Transformation der eigentlichen Bilder angesehen. In der hier vorgeschlagenen 3D-2D-Registrierung wird bezüglich der Referenzstrukturen die Nichtübereinstimmung, mithin die Verschiebung, hauptsächlich durch Regionen deutlich erkennbarer Bildgradienten erkannt, weshalb ein aus dem Gradientendatensatz abgeleitetes Gradientenvergleichsbild durch Gradientenprojektion gewonnen wird.
  • Zur Ermittlung des Gradientenvergleichsbilds wird mit besonderem Vorteil das Gradientprojektionstheorem verwendet. Das Gradientenprojektionstheorem wurde in einem Artikel von H. Livyatan et al. „Gradient-based 2D/3D rigid registration of fluoroscopic X-ray to CT”, IEEE Transactions an Medical Imaging 22 (11) 2003, Seiten 1395–1406, vorgeschlagen. Dabei ergibt sich das hier mit ∇Iproj bezeichnete, projizierte Gradientenvergleichsbild an einem Punkt p in der Bildebene zu
    Figure DE102016202512B3_0003
    worin h und v die horizontale und die vertikale Richtung der Bildebene bezeichnen, r(p) der euklidische Abstand zwischen der Pixelposition p und dem Kamerazentrum C und p(λ) ein Punkt auf dem Strahl sind, der von p rückprojiziert wird und durch die Liniengleichung p(λ) = λp + (1 – λ)c gegeben ist.
  • Im Folgenden wird nun, allgemein gesagt, ein Vergleichsmaß zwischen mehreren Umgebungen (Testumgebungen) des Gradientenröntgenbilds und einer Umgebung des Konturpunkts in dem Gradientenvergleichsbild gebildet. Der Vergleich ist lokal, das bedeutet, die Größe der Testumgebungen und der Umgebung des Konturpunkts entspricht nicht der Größe des gesamten Gradientenvergleichsbilds, sondern ist üblicherweise deutlich kleiner, wie an den bereits genannten Beispielen (beispielsweise im Bereich vom 5·5 Pixel bis 20·20 Pixel bei einem 512·512-Bild) ersichtlich ist. Es wird mithin die Umgebung des Konturpunkts im Gradientenvergleichsbild herangezogen und mit Testumgebungen, die verschiedenen Testpunkten in dem Gradientenröntgenbild zugeordnet sind, verglichen, indem das Vergleichsmaß ermittelt wird. Dabei liegen selbstverständlich mehrere Testpunkte vor, die üblicherweise einen Basistestpunkt, der dem Konturpunkt entspricht, umfassen. Weitere Testpunkte sind dem Basistestpunkt benachbart, besonders bevorzugt in der Richtung des dreidimensionalen Gradienten, projiziert auf die Bildebene, wie er dem Gradientendatensatz aufgrund einer Abschätzung des dem Konturpunkts zugeordneten Ausgangspunkts oder aber abgeschätzt Gradientenvergleichsbild am Konturpunkt entnommen werden kann. Der letztere Ansatz ist insbesondere dann sinnvoll, wenn mit mehreren Tiefenintervallen über das Zielgebiet gearbeitet wird, da dann Einflüsse aus anderen Tiefenschichten (Teilbereichen) weitgehend entfernt sind und die Projektion in dem dem Tiefenintervall zugehörigen Gradientenvergleichsbild im Wesentlichen der des dreidimensionalen Gradienten am Ausgangspunkt entspricht. Auch kann für größere Bildelemente bei einem Mehrfachauflösungsansatz, wie beschrieben, beispielsweise anhand des Strukturtensors ein projizierter Gradient ermittelt werden kann.
  • Eine besonders bevorzugte Ausgestaltung der vorliegenden Erfindung sieht mithin vor, dass zusätzlich zu einem Basistestpunkt, der dem Konturpunkt entspricht, Testpunkte entlang der auf die Bildebene projizierten Richtung des Gradienten in dem dem Konturpunkt zugeordneten Ausgangspunkt gewählt werden. Wird mit mehreren Tiefenintervallen gearbeitet, kann hierfür die Richtung des Gradienten am Konturpunkt im Gradientenvergleichsbild unmittelbar herangezogen werden. Die dreidimensionalen Gradienten werden also wenigstens implizit berücksichtigt, wenn die Suchrichtung zum Auffinden von Korrespondenzen festgelegt wird. Dabei handelt es sich um eine intuitive Suchrichtung, nachdem diese Projektion des dreidimensionalen Gradienten letztlich genau die Richtung angibt, in die Bewegungen beobachtbar sind. Entsprechend kann auch hier eine gezielte Suche erfolgen, deren Aufwand deutlich reduziert ist und zur Echtzeitfähigkeit des beschriebenen Vorgehens beiträgt. Letztlich wird die Suchrichtung basierend auf dem Bildinhalt gewählt, anstatt, wie üblich, in einem Optimierungsverfahren auf Gradienten der zu optimierenden Parameter basierend.
  • Dabei sind verschiedene konkrete Herangehensweisen denkbar. So ist es zum einen möglich, dass für eine bestimmte Anzahl von insbesondere jeweils einem Bildelement entsprechenden Testpunkten Vergleichsmaße bestimmt werden und der dem eine größte Übereinstimmung anzeigenden Vergleichsmaß zugeordnete Testpunkt als Vergleichspunkt gewählt wird. In diesem Fall ist also ein bestimmter Suchraum, bevorzugt in der durch den dreidimensionalen Gradienten wenigstens implizit definierten Suchrichtung, festgelegt, beispielsweise ausgehend vom Basistestpunkt jeweils fünf in der auf die Bildebene projizierten Richtung des dreidimensionalen Gradienten im Ausgangspunkt liegende Nachbarpixel. Alternativ ist es jedoch auch möglich, die Testpunkte durch einen das Vergleichsmaß maximierenden, insbesondere entlang der Richtung des projizierten dreidimensionalen Gradienten in dem dem Konturpunkt zugeordneten Ausgangspunkt arbeitenden Optimierungsalgorithmus gewählt werden. In diesem Fall wird, wie bereits grundsätzlich bekannt, eine maximale Korrelation in Schritten gesucht, wobei allerdings bevorzugt die Suchrichtung weiterhin wie beschrieben vorgegeben ist.
  • In diesem Zusammenhang ist es besonders zweckmäßig, wenn die Testpunkte und/oder die Anzahl der zu verwendenden Testpunkte in Abhängigkeit einer den Grad der vorliegenden Abweichung der Testtransformation von der Realität insbesondere abgeschätzt beschreibenden Abweichungsinformation ermittelt werden. Ist also bekannt, dass die Testtransformation bereits eine sehr gute Abschätzung darstellt, kann selbstverständlich ein Suchbereich für die beste Korrelation reduziert werden, da nur die unmittelbare Nachbarschaft des Basistestpunkts durchsucht werden muss. Insbesondere kann vorgesehen sein, dass als Abweichungsinformation Bewegungsparameter wenigstens eines auf einen zu einem früheren Zeitpunkt aufgenommenes Röntgenbild bezogenen Registrierungsvorgangs und/oder eine daraus abgeleitete Prädiktionsinformation verwendet werden, wie dies bereits allgemein bezüglich der Größe der Umgebung ausführlich dargelegt wurde. Vorzugsweise wird bei unterschreiten eines Mindestwertes für das Vergleichsmaß am Vergleichspunkt die zugehörige Verschiebungsinformation verworfen. Das bedeutet, es wird eine bestimmte Mindestkorrelation vorausgesetzt, um überhaupt annehmen zu dürfen, dass der korrekte Vergleichspunkt aufgefunden wurde, der der dreidimensionalen Kontur, mithin dem dreidimensionalen Ausganspunkt, entspricht. Derartiges ist insbesondere dann zweckmäßig, wenn, wie bereits dargelegt wurde, mit Teilbereichen des dreidimensionalen Bilddatensatzes, die getrennt untersucht werden, gearbeitet wird, da dann beispielsweise von Effekten der Überlagerung eines Objekts aus einem anderen Teilbereich betroffene Konturabschnitte im Gradientenvergleichsbild der weiteren Betrachtung entzogen werden können.
  • Als besonders zweckmäßig hat es sich erwiesen, als Vergleichsmaße die Gradientenkorrelation zu verwenden. Diese Größe wurde als Vergleichsmaß bereits im oben zitierten Artikel von W. Wein et al. eingeführt und ist auch im Rahmen der vorliegenden Erfindung besonders vorteilhaft anwendbar.
  • Ein konkretes Ausführungsbeispiel der vorliegenden Erfindung zum Auffinden der besten Übereinstimmung der projizierten Konturpunkte im Gradientenröntgenbild kann also beispielsweise vorsehen, das für jeden Konturpunkt eine Umgebung ΩN(∇Iproj, pj) definiert wird, die die Nachbarschaft des Konturpunkts pj im Gradientenvergleichsbild darstellt. N beschreibt dabei die Größe der Umgebung. Entsprechend stellt ΩN(∇Ifluoro, p'j) die Umgebung eines Testpunkts p'j in dem Gradientenröntgenbild dar, wobei p'j auf der durch den dreidimensionalen Gradienten im Ausgangspunkt definierten Suchrichtung liegt. Wird die Gradientenkorrelation („gradient correlation” – GC) als Vergleichsmaß (Ähnlichkeitsmaß) verwendet, wird als die korrespondierende Umgebung im Röntgenbild, die also dem Vergleichspunkt zugeordnet ist, jene ausgewählt, die die Gradientenkorrelation als
    Figure DE102016202512B3_0004
    maximiert, wobei
    Figure DE102016202512B3_0005
    mit
    Figure DE102016202512B3_0006
    wobei σ die Standardabweichungen bezeichnet.
  • Nachdem somit nun das 3D-2D-Tracking abgeschlossen wurde, muss aus den Verschiebungsinformationen (also äquivalent der nun bekannten Lage der den Ausgangspunkten zuzuordnenden Vergleichspunkte) die den Fehler der Testtransformation beschreibende Bewegung bestimmt werden. Dabei ist es besonders zweckmäßig, wenn als Bewegungsmodell ein eine starre Bewegung aller durch Konturpunkten zugeordnete dreidimensionale Ausgangspunkte beschriebenen Referenzstrukturen gemeinsam und/oder ein eine starre Bewegung bezogen jeweils auf einzelne Referenzstrukturen bzw. Tiefenintervalle beschreibendes, eine Rotation und eine Translation erlaubendes Bewegungsmodell verwendet wird. Unter Annahme starrer, also rigider Referenzstrukturen bietet es sich an, auch das Bewegungsmodell zumindest auf einzelne Referenzstrukturen oder Tiefenintervalle bezogen rigide zu gestalten, mithin eine starre Registrierung anzustreben. Dies erlaubt es insbesondere und mit besonderem Vorteil, den bereits in DE 10 2013 214 479 A1 verfolgten Ansatz zur vollständigen Bewegungsermittlung aus in der Bildebene bekannten Verschiebungen wie in DE 10 2015 208 929 A1 beschrieben weiter zu entwickeln. Dabei weist die Nutzung dieses Verfahrens einen besonders synergistischen Effekt im erfindungsgemäßen Kontext daher auf, dass dort die anhand des dreidimensionalen Gradientendatensatzes und des Gradientenvergleichsbilds bekannten Gradienteninformationen eine große Rolle spielen und zudem mit dem Vergleichspunkt unmittelbar der aufgrund der Bewegung verschobene Konturpunkt bereits vorliegt, welcher unmittelbar für die Berechnungen eingesetzt werden kann, sodass die Verschiebungsinformation mithin implizit eingeht.
  • Konkret kann also in dieser besonders bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens vorgesehen sein, dass zur Ermittlung der Bewegungsparameter für jedes Paar von Konturpunkt und dem Konturpunkt zugehörigen Ausgangspunkt im dreidimensionalen Bilddatensatz, der unter Berücksichtigung der Tiefeninformation bestimmbar ist, unter Berücksichtigung der den beobachtbaren Anteil der Bewegung beschreibenden Verschiebungsinformation eine Zielebene ermittelt wird, in der sowohl der dreidimensional verschobene Ausgangspunkt, der Vergleichspunkt (als zweidimensional verschobener Konturpunkt) und die Position des Fokus der Strahlenquelle in der Aufnahmegeometrie, welcher insbesondere als Ursprungspunkt des Koordinatensystems gewählt wird, liegen, woraufhin ein durch die Skalarprodukte der Normalenvektoren der Zielebenen und eines den dreidimensionalen durch die Bewegung verschobenen Ausgangspunkt beschreibenden, die Bewegungsparameter beinhaltenden Vektors definiertes Gleichungssystem für die Bewegungsparameter gebildet und gelöst wird. Zum Zwecke der weiteren Erläuterung werden insbesondere die entsprechenden Anteile der DE 10 2013 214 479 A1 und der DE 10 2015 208 929 A1 als durch Bezugnahme in diese Offenbarung aufgenommen betrachtet.
  • Diese Ausgestaltung beruht demnach auf der Feststellung, dass ein Gleichungssystem hergeleitet werden kann, welches zwar für einen einzigen Konturpunkt nicht eindeutig lösbar wäre, für die Mehrzahl von erfindungsgemäß vorgesehenen Konturpunkten jedoch lösbar wird. Dies beruht auf der Annahme, dass die betrachtete Kontur einer starren (rigiden) Referenzstruktur im Zielgebiet zugeordnet ist, welche sich entsprechend nicht verformt und somit an jedem Ausgangspunkt gleich bewegt. Werden mithin Bewegungsparameter angesetzt, die diese Bewegung der starren Referenzstruktur (oder aller starren Referenzstrukturen gemeinsam) beschreiben, lässt sich das sich ergebende Gleichungssystem für diese lösen. Dabei ist im erfindungsgemäßen Kontext die Aufnahmegeometrie (Projektionsgeometrie) für die Röntgenbilder selbstverständlich bekannt. Insbesondere sei an dieser Stelle darauf hingewiesen, dass in der Praxis meist eine Fächerstrahl-Geometrie zur Aufnahme der Röntgenbilder eingesetzt wird.
  • In der lokalen Nachbarschaft eines Ausgangspunktes führt eine kleine Bewegung der rigiden Referenzstruktur nur dann zur einer Änderung der Grauwerte am selben Ort, wenn die Bewegung eine Komponente in der Richtung des dreidimensionalen Gradienten, beschrieben durch den Gradientenvektor g = ∇f(w), wo f die Bildfunktion (Funktion der Bildwerte) des dreidimensionalen Bilddatensatzes angibt und w den Vektor zu einem Ausgangspunkt W, aufweist. Alle Bewegungen, die senkrecht zu g verlaufen, ändern nicht die Grauwerte in der Nähe des Ausgangspunktes W. Entsprechend gilt jedoch, dass eine Bewegung dp des dem dreidimensionalen Ausgangspunkt W entsprechenden Konturpunkts P in der Bildebene nur dann bestimmt werden kann, wenn sie Komponenten in der Richtung des Röntgenbild-Gradientenvektors ∇Iproj(p) besitzt. Hierbei bezeichnet I die Funktion der Bildwerte (Bildfunktion) für das Röntgenbild. Anhand dieser Konstruktion ergibt sich bereits, dass die Vektoren dp und g koplanar sind, da beide aufgrund derselben Kontur miteinander verknüpft sind. Hieraus ergibt sich die zugrundeliegende Annahme, dass nur Bewegungen in den Richtungen des dreidimensionalen und des zweidimensionalen Bildgradienten beobachtbar sind. Da dies jedoch für jedes der Paare von Ausgangspunkt und Konturpunkt gilt und eine starre Referenzstruktur betrachtet wird, lassen sich hieraus dennoch Informationen über die vollständige dreidimensionale Bewegung ableiten.
  • Aus den soeben dargelegten Überlegungen ergibt sich, dass die zweidimensionalen und dreidimensionalen Bewegungen miteinander durch die Zielebene π verknüpft sind, die den Zielpunkt der Bewegung w + dw (also die neue dreidimensionale Position des Ausgangspunkts W nach der Bewegung), das Projektionszentrum C (also den Fokus der Strahlenquelle, der bevorzugt als Ursprung des Koordinatensystems gewählt wird) und den bewegten zweidimensionalen Konturpunkt p + dp, also den Vergleichspunkt p', enthält. Diese geometrischen Betrachtungen ergeben, dass ein Normalenvektor der Zielebene π bestimmt werden kann, welcher bevorzugt als Rechenmittel eingesetzt wird.
  • Wie auch bereits in DE 10 2013 214 479 A1 und DE 10 2015 208 929 A1 beschrieben, kann auch im Rahmen der vorliegenden Erfindung vorgesehen sein, dass der Normalenvektor der jeweiligen Zielebene als Kreuzprodukt eines Vektors, der als Kreuzprodukt des senkrecht auf dem Verlauf der Kontur im dreidimensionalen Bilddatensatz stehenden Gradientenvektors des Gradientendatensatzes am Ausgangspunkt mit dem die dreidimensionale Position des Ausgangspunkts im dreidimensionalen Bilddatensatz beschreibenden Vektor gebildet ist, mit dem die dreidimensionale Position des Vergleichspunkts beschreibenden Vektor gebildet wird. In Formeln und in den im vorangehenden Text bereits eingeführten Bezeichnungskonventionen ergibt sich mithin der Normalenvektor n der Zielebene π zu
    Figure DE102016202512B3_0007
    wobei g den dreidimensionalen Gradientenvektor im Ausgangspunkt beschreibt. Die auch als Korrespondenzebene bezeichenbare Zielebene wird interpretiert als aufgespannt von p' und w × g. Im Rahmen der Erfindung wird jedoch erkannt, dass der dreidimensionale Gradient g bei w äußerst empfindlich auf Rauschen ist.
  • Als robustere und somit bevorzugte Variante sieht eine Ausgestaltung der Erfindung mithin vor, dass der Normalenvektor der jeweiligen Zielebenen als Kreuzprodukt eines Vektors, der als Kreuzprodukt des Gradientenvektors des Gradientenvergleichsbildes am Konturpunkt mit dem die dreidimensionale Position des Konturpunkts beschreibenden Vektor gebildet ist, mit dem die dreidimensionale Position des Vergleichspunktes beschreibenden Vektors gebildet wird. Mithin wird vorgeschlagen, dass Kreuzprodukt w × g durch das Kreuzprodukt p × ∇Iproj(p) zu ersetzen. Damit wird letztlich vollständig in den zweidimensionalen Bildern gearbeitet, wobei der (dreidimensional definierte) Vektor des Konturpunktes p mittels der Tiefeninformation dennoch hervorragend bestimmbar ist. Ist die Konstruktion, wie erwähnt, so, dass sich das Projektionszentrum C im Ursprung befindet, kann für den (letztlich gesuchten) bewegten dreidimensionalen Konturpunkt d + dw geschrieben werden nT(w + dw) = 0, (6) das bedeutet also, das Gleichungssystem kann ausgehend von dem Setzen des Skalarprodukts des Normalenvektors mit einem Vektor, der die Summe des die dreidimensionale Position des Ausgangspunkts vor der Bewegung beschreibenden Vektors und des die dreidimensionale Verschiebung des Ausgangspunkt durch die Bewegung beschreibenden, gesuchten Vektors gebildet ist, auf Null ermittelt werden. Damit ist ein linearer Zusammenhang gegeben.
  • dw enthält die Bewegungsparameter des Bewegungsmodells. Gerade bei erwarteten größeren Abweichungen anzeigender Abweichungsinformation mag es in einzelnen Fällen zweckmäßig sein, bei einem starren Bewegungsmodell die Rotation vollständig, also nicht linear zu betrachten; in den meisten konkreten Anwendungsfällen ist es jedoch möglich, vorzusehen, dass ein Rotationsanteil der Bewegung zur Ermittlung eines linearen Gleichungssystems als linear angenommen wird. Das bedeutet also, dass die differenzielle, starre Bewegung dw des Konturpunkts W beschrieben werden kann als dw = δω × w + dt, (7) wobei δω = θ·r der Rotationsvektor ist, der die Rotation um den Winkel θ um den Einheitsvektor r beschreibt. dt beschreibt die differenzielle Translation. Unter Verwendung der Gleichungen (5), (6) und (7) ergibt sich eine lineare Gleichung des genäherten Transformationsvektors als
    Figure DE102016202512B3_0008
  • Würde nur ein Konturpunkt P mit Ausgangspunkt W betrachtet werden, wäre das Gleichungssystem in Formel (8) offensichtlich unterbestimmt. Es werden jedoch mehrere Konturpunkte W mit zugeordneten Ausgangspunkten W als dreidimensionale Konturpunkte betrachtet, deren Bewegung in jedem Fall durch δω und dt beschrieben werden kann, so das übliche Lösungsverfahren für lineare Gleichungssysteme eingesetzt werden können. Der aus δω und dt gebildete Vektor wird im Folgenden als δv bezeichnet.
  • So kann beispielsweise vorgesehen sein, dass zur Lösung des Gleichungssystems ein RANSAC-Algorithmus verwendet wird, um abweichende Eingangswerte beziehungsweise Lösungen („Ausreißer”, „outlier”) besser detektieren zu können. RANSAC-Algorithmen sind im Stand der Technik weitgehend bekannt, vergleiche beispielsweise das Buch von R. Hartley et al., „Multiple View Geometry in Computer Vision (Second Edition)”, Cambridge University Press (2003), Seiten 153–157, Seiten 161–162, oder den grundlegenden Artikel von N. Fischler et al. „Random Sample Consensus: A Paradigm for Model Fitting Applications to Image Analysis and Automated Cartography” Comm. of the ACM, 1981, Vol. 24, Seiten 381–395.
  • In einer besonders bevorzugten Ausgestaltung der vorliegenden Erfindung ist jedoch vorgesehen, dass das Gleichungssystem durch Anwendung eines iterativen, umgewichteten Optimierungsalgorithmus, der die Methode der kleinsten Quadrate einsetzt, gelöst wird, indem die Summe der jeweils mit einem Gewichtungsfaktor versehenen, Null ergebenden Terme der Gleichungen für jedes betrachtete Paar aus Konturpunkt und Ausgangspunkt minimiert wird. Derartige Verfahren sind im englischsprachigen als „iteratively re-weighted least square (IRLS) optimization scheme” bekannt, vergleiche hierzu beispielsweise den Artikel von J. A. Scales et al. „Robust methods in inverse theory”, in: Inverse Problems 4(4), 1988, Seite 1071. Es hat sich gezeigt, dass die Verwendung des IRLS-Schemas eine robustere Alternative zu unmittelbaren Ansätzen gleichgewichteter Lösungen des Gleichungssystems darstellt. Die IRLS-Optimierung wird formuliert als
    Figure DE102016202512B3_0009
    wobei
    Figure DE102016202512B3_0010
    und mit βi das Gewicht bezeichnet wird, das jeder Gleichung, mithin jedem Paar aus Konturpunkt und Ausgangspunkt, zugeordnet wird. In der IRLS-Optimierung wird die Lösung der Gleichung (9) iterativ unter Verwendung des Levenberg-Marquardt-Optimierers abgeschätzt.
  • Die Gewichtsfaktoren können dabei zweckmäßigerweise in Abhängigkeit des und/oder als das Vergleichsmaß für den jeweiligen Vergleichspunkt gewählt werden. Im Prinzip stellen die Gewichte somit eine Beobachtungskonfidenz dar, für die der Wert des Vergleichsmaßes, insbesondere also die Gradientenkorrelation, angesetzt werden kann. In einer Weiterbildung werden die Gewichtsfaktoren während der Iterationsschritte als Produkt des ursprünglichen Gewichtsfaktors mit einer Residuumskonfidenz aktualisiert. Das bedeutet, nach der erstmaligen Initialisierung der Gewichtsfaktoren als das oder in Anhängigkeit des Vergleichsmaßes, erfolgt im k-ten Iterationsschritt eine Aktualisierung zu βi k = βz,i·βr,i k, wobei die Residuumskonfidenz βr,i k durch das Residuum
    Figure DE102016202512B3_0011
    der vorherigen Iteration bestimmt wird.
  • Wird beispielsweise bei Verwendung des „Depth Layer”-Konzepts mit durch Tiefenintervalle definierten Teilbereichen des Zielgebiets gearbeitet, können aufgrund der Teilbereiche bekannte Tiefeninformationen neben der Nutzung zur Bestimmung/Abschätzung von Ausgangspunkten auch weitergehend im Rahmen des erfindungsgemäßen Verfahrens eingesetzt werden, sodass vorgesehen sein kann, dass eine aufgrund der Teilbereiche bekannte Tiefeninformation bei der Ermittlung der Bewegungsparameter und/oder der Formulierung des Bewegungsmodells berücksichtigt wird. Dies ist insbesondere dann zweckmäßig, wenn das Bewegungsmodell einzelne Tiefenintervalle oder einzelne Referenzstrukturen als getrennte, starr bewegte Objekte behandelt.
  • Neben dem Verfahren betrifft die Erfindung auch eine Recheneinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Bei der Recheneinrichtung kann es sich insbesondere um die Steuereinrichtung der Röntgeneinrichtung handeln, mit der das Röntgenbild (beziehungsweise die Serie an Röntgenbildern) aufgenommen wird. Bevorzugt handelt es sich bei einer derartigen Röntgeneinrichtung um eine Röntgeneinrichtung mit einem C-Bogen, an dem sich gegenüberliegend die Strahlenquelle und der Röntgendetektor angeordnet sind. Derartige C-Bogen-Röntgeneinrichtungen werden häufig zur fluoroskopischen Überwachung von medizinischen Eingriffen an Patienten eingesetzt, nachdem durch die Beweglichkeit des C-Bogens verschiedenste Projektionsrichtungen einstellbar sind.
  • Schließlich betrifft die Erfindung auch ein Computerprogramm, welches die Schritte des erfindungsgemäßen Verfahrens ausführt, wenn es auf einer Recheneinrichtung, insbesondere der erfindungsgemäßen Recheneinrichtung, ausgeführt wird. Auch für das Computerprogramm gelten die bisherigen Ausführungen zum Verfahren und zur Recheneinrichtung fort. Das Computerprogramm kann auf einem nichttransienten Datenträger, beispielsweise einer CD-Rom, abgespeichert sein.
  • Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenenden beschriebenen Ausführungsbeispielen, sowie anhand der Zeichnungen. Dabei zeigen:
  • 1 eine Prinzipskizze zur Überlagerung eines Röntgenbilds durch Daten eines präoperativen dreidimensionalen Datensatzes unter Verwendung einer Ausgangstransformation,
  • 2 eine Skizze zur Erläuterung des Ablaufs des erfindungsgemäßen Verfahrens,
  • 3 eine Skizze zur Definition von Umgebungen und Testpunkten beim 3D-2D-Tracking,
  • 4 eine Skizze zur Definition der Korrespondenzebene vorbereitend zur Aufstellung des Gleichungssystems,
  • 5 die Überlagerung der 1 mit der endgültig bestimmten Registrierungstransformation, und
  • 6 eine Röntgeneinrichtung.
  • 1 zeigt beispielhaft und prinzipiell ein Überlagerungsbild 1 aus einem dreidimensionalen Bilddatensatz und einem Röntgenbild, wobei das Röntgenbild 2 die Grundlage bildet, auf die Informationen 3 des dreidimensionalen Bilddatensatzes überlagert sind. Erkennbar im Röntgenbild 2 ist schattenartig und gering aufgelöst eine anatomische Struktur 4, hier ein Knochen. Die Information 3 betreffend dieselbe anatomische Struktur 4, wobei die Überlagerung unter Nutzung einer groben Ausgangstransformation, mithin einer groben 2D-3D-Registrierung, herbeigeführt wurde, wurde aus dem dreidimensionalen Bilddatensatz überlagert. Ersichtlich ist die anatomische Struktur gemäß den Informationen 3 leicht gegenüber der sichtbaren anatomischen Struktur 4 des Röntgenbilds 2 verdreht und translatiert. Das im Folgenden beschriebene Ausführungsbeispiel des erfindungsgemäßen Verfahrens zielt nun darauf ab, eine Registrierungstransformation zu ermitteln, die zu einer akkuraten Überlagerung dieser anatomischen Strukturen, mithin zu einer akkuraten 2D-3D-Regsitrierung, führt.
  • Dabei handelt es sich vorliegend bei dem Röntgenbild 2 um das erste einer Serie von Röntgenbildern, die zur fluoroskopischen Bildüberwachung eines medizinischen Eingriffs aufgenommen wurden. Die Informationen 3 stammen aus einem präoperativen dreidimensionalen Bilddatensatz, beispielsweise einem CT-Bilddatensatz und/oder einem Magnetresonanz-Bilddatensatz.
  • 2 zeigt einen grundsätzlichen Überblick über den Verfahrensablauf des erfindungsgemäßen Verfahrens. In einem einfachen Überblick symbolisiert der Schritt S1 die Auswahl von Konturpunkten in einem Gradientenvergleichsbild, die als dünn besetzte (spärliche) Eingangsdaten in die dann folgende Ermittlung der Registrierungstransformation eingehen. Aus den im Schritt S1 definierten Konturpunkten werden dann im dreidimensionalen Bilddatensatz auf einer Kontur insbesondere einer Referenzstruktur, die auch im Röntgenbild sichtbar ist, liegende Ausgangspunkte („dreidimensionale Konturpunkte”) ermittelt, wobei eine Tiefeninformation berücksichtigt wird. Der Schritt S1 kann mithin insgesamt als „sparse input selection” bezeichnet werden.
  • Sind die Konturpunkte ausgewählt und entsprechende Ausgangspunkte bestimmt, erfolgt in einem Schritt S2 ein 3D-2D-Tracking unter Verwendung von Gradientenkorrelation in bestimmten Umgebungen um in die in der Bildebene liegenden Konturpunkte. Zweidimensionale Verschiebungen werden bestimmt, indem im die räumlichen Gradienten des Röntgenbilds enthaltenden Gradientenröntgenbild einem Vergleichspunkt zugeordnete Umgebungen aufgefunden werden, die der Umgebung des Konturpunkts in einem vorwärtsprojizierten Gradientenvergleichsbild am besten entsprechen. Letztendlich kann der Schritt S2 als „2D-Verschiebungsmessung” bezeichnet werden.
  • Die im Schritt S2 ermittelte Lage der Vergleichspunkte, die mit der bekannten Lage der Konturpunkte die zweidimensionalen Verschiebungsinformationen wiedergibt, werden im Schritt S3 genutzt, um auf robuste Art und Weise die der Verschiebung der Konturpunkte zugrundeliegende dreidimensionale Bewegung zu bestimmen, wobei eine Punkt-zu-Ebene-Korrespondenz ausgenutzt wird und ein Gleichungssystem bestimmt und gelöst wird, mit dem auch die nicht beobachtbaren Komponenten der dreidimensionalen Bewegung ermittelt werden können. Beim ersten Durchlauf der Schritte S2 und S3 bieten derart ermittelte Bewegungsparameter mithin eine Korrekturmöglichkeit für die als Testtransformation hergenommene Ausgangstransformation. Die mit Hilfe der Bewegungsparameter, die sich auf ein bestimmtes Bewegungsmodell, hier ein starres Bewegungsmodell, beziehen, korrigierte Testtransformation bildet die ermittelte Registrierungstransformation. Dabei kann in einem Ausführungsbeispiel (zumindest bei einer Erstermittlung) auch mit mehreren, sich erhöhenden Auflösungen gearbeitet werden, die sukzessive genutzt werden, um die Registrierung zu verfeinern, was zur Robustheit des Verfahrens beiträgt.
  • Das Verfahren wird jedoch auch iterativ durchgeführt, um weitere Verbesserungen zu erreichen. Mithin wird in einem Schritt S4 ein Abbruchkriterium überprüft, beispielsweise eine maximale Anzahl von Iterationsvorgängen und/oder eine nur noch äußerst kleine Veränderung der Registrierungsinformation gegenüber der Testtransformation, mithin ein eine Konvergenz anzeigendes Abbruchkriterium. Ist ein bzw. das Abbruchkriterium erfüllt, gilt die zuletzt ermittelte Registrierungstransformation als endgültige Registrierungstransformation 5, sodass die 2D-3D-Registrierung dann abgeschlossen ist. Ist dies jedoch nicht der Fall, werden mit der bestimmten Registrierungstransformation als neue Testtransformation wiederum ein 3D-2D-Tracking im Schritt S2 und eine Bestimmung vom Bewegungsparametern im Schritt S3 durchgeführt, um eine genauere Registrierungstransformation aufzufinden. Es hat sich gezeigt, dass beim hier dargestellten Ausführungsbeispiel trotz einer nur äußerst grob abgeschätzten Ausgangstransformation, welche beispielsweise aus einer bekannten Position des Patienten zu der das Röntgenbild aufnehmenden Röntgeneinrichtung abgeleitet werden kann, in nur 5 bis 10 Iterationsschritten zu einer akkuraten, gültigen 3D-2D-Registrierung gefunden werden kann.
  • Die Schritte S1 bis S3 und somit der konkrete Ablauf des Ausführungsbeispiels des erfindungsgemäßen Verfahrens seien im Folgenden nun im Einzelnen erläutert.
  • Nach der Bestimmung der Ausgangstransformation müssen zunächst Konturpunkte ermittelt werden. Diese liegen auf Konturen, die auch im dreidimensionalen Bilddatensatz existieren, beispielsweise also Konturen von den im dreidimensionalen Bilddatensatz sichtbaren anatomischen Strukturen 4 entsprechen können.
  • Dafür wird zunächst ein räumlicher Gradientendatensatz des dreidimensionalen Bilddatensatzes ermittelt, mithin ein Datensatz, in dem jedem Voxel des dreidimensionalen Bilddatensatzes ein entsprechender dreidimensionaler Gradientenvektor zugeordnet ist. Während es grundsätzlich denkbar ist, nun durch Gradientenprojektion nach dem Gradientenprojektionstherorem (vergleiche den Artikel von W. Wein et al. beziehungsweise Formel (1), ein einziges Gradientenvergleichsbild zu ermittelt, ist in diesem Ausführungsbeispiel vorgesehen, um die Überlappung von Strukturen, insbesondere Referenzstrukturen, unterschiedlicher Tiefen entlang des Zentralstrahls der Aufnahmegeometrie zu vermeiden, Teilbereiche entlang des Zentralstrahls zu definieren, um eine tiefenbewusste Gradientenprojektion im Sinne des bekannten Konzepts der Tiefenintervalle durchzuführen (vergleiche den Artikel von J. Wang et al.) und mithin mehrere, jeweils einem Tiefenintervall entsprechende, projizierte Gradientenvergleichsbilder zu erzeugen. Der entstehende Stapel von Gradientenvergleichsbildern kann als {∇Id proj} bezeichnet werden, worin d der Tiefenindex ist und entsprechend ein Tiefenintervall bezeichnet. Der Tiefenindex ist dem Gradientenvergleichsbild als Tiefeninformation zugeordnet.
  • Vorliegend werden die Gradientenvergleichsbilder durch Verwendung eines Render-Algorithmus in einem einzigen Schritt mittels einer GPU (graphical processing unit) bestimmt. Dabei werden vorliegend drei normierte Ausgangskanäle verwendet, von denen der erste die Richtung des zweidimensional in der Bildebene beschriebenen Gradienten enthält, der zweite dessen Betrag und der dritte schließlich eine zusätzliche, weitere Tiefeninformation, nämlich die innerhalb des Tiefenintervalls normierte Tiefenposition, an der während der Vorwärtsprojektion des Gradientenbildes der größte Beitrag zu dem zweidimensional in der Bildebene beschriebenen Gradienten des Gradientenvergleichsbildes vorlag. Konkret kann also als Ergebnis des Rendervorgangs eine Ausgabetextur der Art fragr = α2π fragg = g||–1|| fragb = dm, worin sich der normalisierte Winkel der Gradientenrichtung als Rad-Angabe dividiert durch 2π ergibt, der inverse normalisierte Gradientenbetrag als
    Figure DE102016202512B3_0012
    ergibt und dm die über die Maximaltiefe normalisierte Tiefenposition ist. Dieser tiefenbewusste Gradientenrendervorgang erzeugt die Gradientenposition gemeinsam mit einer Tiefenabschätzung in einem einzigen Renderschritt auf einer GPU.
  • Die Konturpunkte werden nun in dem Gradientenvergleichsbild ausgewählt, indem ein Auswahlkriterium auf jedes Bildelement angewandt wird, um hervorstechende Gradienten aufzufinden, die einer Kontur entsprechen. Dabei kann das Auswahlkriterium in einer einfachen, aber praktikablen Möglichkeit einen Schwellwertvergleich umfassen, das bedeutet, dass die Gradienten das Auswahlkriterium erfüllen, deren Betrag einen Schwellwert übersteigt. Allerdings können weitere Aspekte des Auswahlkriteriums auch Betrachtungen der Umgebung betreffen, beispielsweise, um tatsächlich längere Kanten/Konturen zu identifizieren, die beispielsweise einer anatomischen Struktur 4 zugeordnet sind, die innerhalb des durch das Tiefenintervall definierten Teilbereichs liegt.
  • Sollten zunächst Betrachtungen bei einer gröberen Auflösung, in der letztlich mehrere kleinere Bildelemente der Auflösung des Röntgenbildes zu einem größeren Bildelement (Feld oder „patch”) zusammengefasst werden, verwendet werden, wird vorliegend die Definition der Gradientenrichtung und des Gradientenbetrags für ein derartiges „Feld” mittels des Strukturtensors für den Mittelpunkt, also das mittlere kleinere Bildelement, des größeren Bildelements für das größere Bildelement verwendet. Hierbei werden die Eigenvektoren und die Eigenwerte des Strukturtensors zur Ermittlung der Gradientenrichtung eingesetzt.
  • Aufgabe des Schritts S2 ist es nun, festzustellen, ob der dem Konturpunkt entsprechende Punkt im realen Röntgenbild tatsächlich an der Position des Konturpunkts liegt oder verschoben ist, und wenn ja, wie stark. Hierzu soll ein lokaler, gradientenbasierter Vergleich durchgeführt werden.
  • 3 zeigt beispielhaft ein Gradientenvergleichsbild 6 mit einem Konturpunkt 7, durch den angedeutet eine Kontur verläuft. Dem Konturpunkt ist ein Ausgangspunkt im dreidimensionalen Bilddatensatz (und somit dem Gradientendatensatz) zuordenbar, der über die Tiefeninformation – hier das Tiefenintervall und die Tiefenposition innerhalb des Intervalls – auch bestimmt werden kann. An diesem Ausgangspunkt kann davon ausgegangen werden, dass der dreidimensionale Gradient hier im Wesentlichen senkrecht auf der Strahlrichtung steht (da ja die Kontur in der Bildebene zu sehen ist).
  • Um den Konturpunkt 7 ist eine Umgebung 8 gezeichnet, deren Größe einen sinnvollen lokalen Vergleich erlaubt und zweckmäßigerweise in Abhängigkeit einer eine vermutete Abweichung des Testtransformation von der gültigen Registrierungstransformation beschreibenden Abweichungstransformation gewählt ist; beispielseiweise kann zwischen 5·5 Bildelementen und 20·20 Bildelementen bei einem 512·512-Bild variiert werden. In späteren Iterationsschritten, mithin Wiederholungen der Schritte S2 und S3, kann bei Konvergenz selbstverständlich ebenso von geringeren Abweichungen ausgegangen werden. Doch auch bezüglich der Ausgangstransformation kann gegebenenfalls eine Aussage getroffen werden, wie gut diese zutrifft. Handelt es sich beispielsweise lediglich um eine Grobabschätzung aufgrund der bekannten Position des Patienten in der Röntgeneinrichtung, ist mit einer größeren möglichen Abweichung zu rechnen als wenn bei einer Serie von Röntgenbildern die letztendlich bestimmte Registrierungstransformation 5 des zuletzt aufgenommenen Röntgenbilds aus Ausgangstransformation hergenommen wird. Nicht zuletzt kann auch die aktuelle Auflösungsstufe bei einem Mehrfach-Auflösungsschema einen Einfluss auf die Wahl der Größe der Umgebung 8 haben, da bei gröberer Auflösung ggf. kleinere Umgebungen gewählt werden können. Dies ist jedoch nicht zwangsläufig notwendig.
  • Der in seiner Position dem Konturpunkt 7 entsprechende Punkt im Gradientenröntgenbild 9, welches mithin für jedes Pixel des Röntgenbilds die dortigen räumlichen (hier zweidimensionalen) Gradienten enthält, soll im Folgenden als Basistestpunkt 11 bezeichnet werden, vergleiche Pfeil 10. Im Röntgenbild 9 wird ferner eine Suchrichtung 12 als projizierte Richtung des dreidimensionalen Gradienten im Ausgangspunkt definiert. Nachdem (enge) Tiefenintervalle eingesetzt werden und sich das Gradientenvergleichsbild 6 nur auf eines dieser Tiefenintervalle bezieht, gibt der zweidimensional in der Bildebene beschriebene Gradient, also der erste Ergebniskanal, diese Richtung hinreichend genau an und kann unmittelbar verwendet werden. In einem Testbereich bzw. Suchbereich entlang der Suchrichtung werden jeweils einem Pixel entsprechende Testpunkte 13 als Kandidatenpositionen bestimmt, deren Anzahl (und mithin der Suchbereich) ebenso von der bereits erwähnten Abweichungsinformation abhängig gemacht werden kann. Vorliegend sind beispielhaft vier weitere Testpunkte 13 zu beiden Seiten des Basistestpunkts 11 gezeigt; in der Realität können selbstverständlich andere Anzahlen eingesetzt werden.
  • Für jeden dieser Testpunkte 11, 13 kann nun ebenso eine in der Größe der Umgebung 8 entsprechende Umgebung 14 definiert werden.
  • Zwischen der Umgebung 8 und jeder der Umgebungen 14, von denen in 3 zur Verdeutlichung nur zwei gezeigt sind, wird nun als Vergleichsmaß die Gradientenkorrelation (vergleiche wiederum den Artikel von W. Wein et al.) sowie Gleichung (3)) bestimmt. Der Testpunkt 11 mit der maximalen Gradientenkorrelation wird als beste Korrespondenz angesehen, vergleiche Gleichung (2), und soll im Folgenden als Vergleichspunkt 15, vergleiche wiederum 3, bezeichnet werden. Dabei wird vorliegend ein Schwellwert für die Gradientenkorrelation eingesetzt, mithin eine bestimmte Grundkorrelation vorausgesetzt. Ist dieser Schwellwert nicht überschritten, wird der Vergleichspunkt 15 verworfen.
  • Ein gültiger Vergleichspunkt 15 entspricht dem unter dem Einfluss der nun zu bestimmenden, den Fehler in der Testtransformation beschreibenden Bewegung verschobenen Konturpunkt 7. Die Differenz zwischen dem Vergleichspunkt und dem Konturpunkt 7 gibt mithin die zweidimensionale beobachtbare Verschiebung aufgrund der Bewegung an.
  • Die den so durch 3D-2D-Tracking bestimmten Verschiebungen zugeordneten, die dreidimensionale Bewegung beschreibenden Bewegungsparameter in einem dreidimensionalen Bewegungsmodell, welches hier vereinfacht als starre, gemeinsame Bewegung aller Referenzstrukturen angenommen wird, sollen nun aufgrund einer Punkt-zu-Zielebene-Korrespondenz, wie sie durch die DE 10 2013 214 479 A1 vorgeschlagen wurde, so bestimmt werden, dass auch die in einzelnen Punkten nicht beobachtbaren Anteile der dreidimensionalen Bewegung rekonstruiert werden können.
  • Dies sei nun im Hinblick auf 4 näher erläutert, die zunächst ein im Fokuspunkt C der Strahlenquelle in der Aufnahmegeometrie seinen Ursprungspunkt habendes Koordinatensystem x, y beispielhaft zeigt. Ferner zu sehen ist eine rigide Referenzstruktur 16 im aufzunehmenden Zielgebiet, die bei Durchstrahlung eine Kontur, die vorliegend senkrecht zur Darstellungsebene der 4 verläuft, im entstehenden Röntgenbild aufweist. Teil dieser Kontur ist ein Konturpunkt 7 beziehungsweise P, der auch im dreidimensionalen Bilddatensatz entsprechend als Ausgangspunkt W enthalten ist. Der Konturpunkt W im dreidimensionalen Bilddatensatz liegt also auf einer Kontur und wird, zieht man die Aufnahmegeometrie und die Testtransformation heran, bei korrekter Testtransformation auf den Konturpunkt P im zweidimensionalen Projektionsbild (Röntgenbild), also in der Bildebene 17, projiziert, wie der Strahlverlauf 18 zeigt. Ersichtlich steht der dreidimensionale Gradientenvektor g senkrecht auf der Strahlrichtung.
  • Es sei an dieser Stelle darauf hingewiesen, dass zur Vereinfachung der Darstellung die Bildebene 17 hier beispielhaft als bei „1” in der entsprechenden Koordinate liegend gezeigt ist. Es muss nicht zwangsläufig ein Röntgendetektor beziehungsweise dessen tatsächliche Lage diese definieren, da eine Umskalierung problemlos möglich ist. Die Berechnungen vereinfachen sich dann deutlich, wie auch durch die Lage des Fokuspunkts C, nachdem dieser ja auch, wie bereits oben dargelegt wurde, Teil der Zielebene π ist.
  • Im tatsächlichen Röntgenbild entspricht dem Ausgangspunkt W der Vergleichspunkt 15 beziehungsweise P', das bedeutet, die den Fehler in der Testtransformation beschreibende Bewegung hat den Konturpunkt P um die soeben ermittelte Verschiebung dp zum Vergleichspunkt beziehungsweise verschobenen Konturpunkt P' verschoben.
  • Die dreidimensionale entsprechende Bewegung hat den Ausgangspunkt W gemäß dem Vektor dw zum verschobenen Ausgangspunkt W' verschoben. Bei Annahme einer starren Bewegung mit differenzieller Rotation ergibt sich dw gemäß Formel (7), wobei die darin enthaltenen Vektoren ebenso in 4 gezeigt sind. Hierbei ist jedoch zu beachten, dass die Vektoren dw, dω × w und dt nicht zwangsläufig innerhalb der Darstellungsebene der 4 liegen müssen, die durch C, W und den Gradientenvektor g beschrieben wird. Innerhalb einer lokalen Nachbarschaft des Ausgangspunktes W führt eine kleine Bewegung der Referenzstruktur 16 lediglich zu einer Veränderung der Grauwerte am selben Ort, wenn die Bewegung eine Komponente in der Richtung des Gradientenvektors g aufweist, welcher, wie in der allgemeinen Beschreibung schon dargelegt wurde, in dem dreidimensionalen Gradientendatensatz enthalten ist. Alle Bewegungen, die orthogonal zu g verlaufen, ändern nicht die Grauwerte in der Nähe des Punktes W. Entsprechend kann eine Bewegung dp des Punktes P im Röntgenbild nur dann festgestellt werden, wenn sie in Richtung des Röntgenbild-Gradientenvektors ∇Id proj(p) verläuft. Nachdem die Vektoren dp und g beide von derselben Kontur abgeleitet sind, sind sie koplanar. Es ergibt sich, dass nur Bewegungen in der Richtung des zweidimensionalen und dreidimensionalen Gradienten der Bilddaten überhaupt beobachtbar sind.
  • Die zweidimensionalen und die dreidimensionalen Bewegungen sind miteinander verknüpft durch die Zielebene π, die ebenso in 4 dargestellt ist und neben dem Zielpunkt der den Fehler der Testtransformation beschreibenden Bewegung, w + dw, den Fokuspunkt C als Position der Strahlenquelle und den bewegten Konturpunkt P' im Röntgenbild, p + dp, also einen Vergleichspunkt, enthält.
  • Auch der Normalenvektor n der Zielebene π ist in 4 entsprechend dargestellt und kann über die Formel (5) ermittelt werden, wobei das vorliegende Ausführungsbeispiel jedoch vorsieht, als robustere (und ohne explizite Nutzung des Ausgangspunktes auskommende) Variante statt des Kreuzprodukts w × g das Kreuzprodukt p × ∇Id proj(p) als robuste Alternative zu verwenden, was ebenso möglich ist, vergleiche 4.
  • Wie beschrieben hängen die im 3D-2D-Tracking ermittelten Verschiebungen und der durch die Bewegungsparameter beschriebene Fehler in der Testtransformation über die Formel (6) zusammen, die das Gleichungssystem ergibt. Mit dem durch Gleichung (6) gegebenen Punkt-zu-Ebene-Korrespondenzmodell müssen nun noch die Bewegungsparameter, also die Rotation δω und die Translation dt bestimmt werden, vergleiche hierzu auch die Formeln (7) und (8), was für das durch die Annahme der differenziellen Rotation lineare Gleichungssystem mit üblichen Methoden, beispielsweise einem RANSAC-Verfahren. gelöst werden könnte.
  • Vorliegend ist jedoch vorgesehen, das IRLS-Optimierungsschema, wie es im Hinblick auf Gleichung (9) beschrieben wurde, einzusetzen, wobei die Gewichte βi wie beschrieben, über die Gradientenkorrelation und in den verschiedenen Iterationsschritten durch die Residuumskonfidenz gegeben werden.
  • Sind die Bewegungsparamater erst ermittelt, kann im Schritt S3 die Registrierungstransformation als um die durch die Bewegungsparameter beschriebene Transformation korrigierte Testtransformation bestimmt werden, wobei dann iterativ weiter fortgeschritten wird, wie bereits im Hinblick auf 2 beschrieben wurde. Das Ergebnis der erfindungsgemäßen 2D-3D-Registierung zeigt 5, wo unter Anwendung der letztendlich resultierenden Registrierungstransformation 5 in dem Überlagerungsbild 1' die Information 3 akkurat dem anatomischen Merkmal 4 überlagert ist.
  • 6 zeigt schließlich eine Prinzipskizze einer Röntgeneinrichtung 19, mit der das dargestellte Ausführungsbeispiel des erfindungsgemäßen Verfahrens ausführbar ist. Die Röntgeneinrichtung 19 weist einen an einem Stativ 20 gehalterten C-Bogen 21 auf, an dem sich gegenüberliegend ein Röntgendetektor 22 und eine Röntgenquelle 23 (beziehungsweise Strahlungsquelle 23) angeordnet sind. Der C-Bogen 21 lässt sich relativ zu einer Patientenlagerungsplatte 24 bewegen, insbesondere verschwenken, um verschiedene Aufnahmegeometrien und Projektionswinkel einstellen zu können, die bei der medizinischen, insbesondere minimalinvasiven Behandlung eines Patienten geeignet sind.
  • Die Röntgeneinrichtung 19 weist ferner eine Steuereinrichtung 25 auf, die als Recheneinrichtung zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist.

Claims (28)

  1. Verfahren zur Registrierung eines dreidimensionalen Bilddatensatzes eines Zielgebiets eines Patienten mit einem zweidimensionalen, in einer Aufnahmegeometrie aufgenommenen Röntgenbild (2) des Zielgebiets, wobei – eine Ausgangstransformation als zur Registrierung zu optimierende Testtransformation vorgegeben wird, – ein zweidimensionales Gradientenröntgenbild (9) und ein dreidimensionaler Gradientendatensatz des Bilddatensatzes ermittelt werden, wonach aus dem Gradientendatensatz wenigstens ein in der Aufnahmegeometrie des Röntgenbildes (2) unter Verwendung der Testtransformation vorwärtsprojiziertes zweidimensionales Gradientenvergleichsbild (6) ermittelt wird, wobei in dem Gradientenvergleichsbild (6) den zweidimensional in der Bildebene (17) beschriebenen Gradienten eine die Tiefe in Strahlrichtung des Zentralstrahls der Aufnahmegeometrie beschreibende Tiefeninformation zugeordnet ist, – für jedes Bildelement des Gradientenvergleichsbildes (6) überprüft wird, ob der zweidimensional in der Bildebene (17) beschriebene Gradient ein das Vorliegen einer Kontur in dem Bildelement anzeigendes Auswahlkriterium erfüllt, wobei alle das Auswahlkriterium erfüllenden Bildelemente als Konturpunkte (7) ausgewählt werden, – für alle Konturpunkte (7) in dem wenigstens einen Gradientenvergleichsbild (6) eine einer lokalen Umgebung (8) des Konturpunktes (7) aufgrund eines Vergleichsmaßes am besten entsprechende, sich um einen Vergleichspunkt (15) erstreckende Umgebung (14) in dem Gradientenröntgenbild (9) aus mehreren sich um Testpunkte (11, 13) erstreckenden Umgebungen (14) aufgefunden wird, – lokale zweidimensionale Verschiebungsinformationen durch Vergleich der Konturpunkte (7) mit den zugeordneten Vergleichspunkten (15) ermittelt werden, und – eine Bewegung des Zielgebiets zwischen der Aufnahme des Bilddatensatzes und des Röntgenbildes (2) beschreibende Bewegungsparameter eines dreidimensionalen Bewegungsmodells aus den lokalen zweidimensionalen Verschiebungsinformationen ermittelt werden, wonach eine die Registrierung beschreibende Registrierungstransformation (5) durch Korrektur der Testtransformation anhand der Bewegungsparameter ermittelt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mehrere Gradientenvergleichsbilder (6) für unterschiedliche Tiefenintervalle des Bilddatensatzes in Strahlrichtung des Zentralstrahls der Aufnahmegeometrie ermittelt werden, wobei das jeweilige Tiefenintervall dem Gradientenvergleichsbild (6) als Tiefeninformation zugeordnet ist, und/oder für jedes Gradientenvergleichsbild (6) jedem zweidimensional in der Bildebene (17) beschriebenen Gradienten die auf die Strahlrichtung bezogene Tiefenposition im durch das Gradientenvergleichsbild (6) abgedeckten Tiefenintervall, an der ein maximaler Beitrag zu dem Gradienten bei der Vorwärtsprojektion auftrat, als Tiefeninformation zugeordnet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Gradientenvergleichsbild (6) durch Anwendung eines Renderalgorithmus auf den Gradientendatensatz ermittelt wird, wobei ein Ergebniskanal des Renderalgorithmus einen normierten Winkelwert als Richtungsangabe des Gradienten in der Bildebene (17) und ein weiterer Ergebniskanal ein Maß für den Betrag des Gradienten in der Bildebene (17) enthält.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass bei Ermittlung einer Tiefenposition als Tiefeninformation gemäß Anspruch 2 ein dritter Ergebniskanal, der die durch die Ausdehnung des abgedeckten Tiefenintervalls normierte Tiefenposition enthält, verwendet wird.
  5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der Renderalgorithmus durch eine GPU ausgeführt wird.
  6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Auswahlkriterium einen Schwellwertvergleich für den Betrag des zweidimensional in der Bildebene (17) beschriebenen Gradienten umfasst.
  7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Gradientenröntgenbild (9) und das Gradientenvergleichsbild (6) zunächst in einer gröberen Auflösung mit größeren Bildelementen als das Röntgenbild (2) ermittelt werden, wobei die Ermittlung der Bewegungsparameter und die Korrektur der Testtransformation sukzessive für wenigstens eine bessere Auflösung wiederholt wird, insbesondere bis hin zur Auflösung des Röntgenbildes (2).
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Gradienten, insbesondere deren Richtung, eines durch mehrere Bildelemente der Größe der Bildelemente des Röntgenbilds (2) gebildeten größeren Bildelements wenigstens für das Gradientenröntgenbild (9) aus dem Strukturtensor des größeren Bildelements ermittelt werden.
  9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren iterativ mit der Registrierungstransformation (5) als neue Testtransformation wiederholt wird, bis ein Abbruchkriterium, insbesondere das Unterschreiten eines Schwellwerts für eine Norm der Bewegungsparameter und/oder die Überschreitung einer vorbestimmten Anzahl von Iterationsschritten, erfüllt ist.
  10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als insbesondere zuerst verwendete Ausgangstransformation eine aus einer bekannten Position des Patienten zu der das Röntgenbild (2) aufnehmenden Röntgeneinrichtung (19) und/oder eine aus einem insbesondere in gröberer Auflösung durchgeführten, vorwärtsprojizierte virtuelle Röntgenbilder nutzenden Registrierungsvorgang ermittelte und/oder eine Genauigkeit von kleiner als 20 mm hinsichtlich Translationen und/oder kleiner als 10° hinsichtlich Rotationen aufweisende Grobtransformation verwendet wird.
  11. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine zeitliche Serie von Röntgenbildern (2), insbesondere zur Überwachung eines medizinischen Eingriffs, aufgenommen wird, wobei eine Registrierung für jedes Röntgenbild (2) erfolgt und als Ausgangstransformation jeweils die für das zuvor aufgenommene Röntgenbild (2) ermittelte Registrierungstransformation (5) verwendet wird.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass bei einer für ein unmittelbar zuvor aufgenommenes Röntgenbild (2) bestimmten Registrierungstransformation (5) als Ausgangstransformation eine kleinere Umgebung (8, 14) und/oder eine geringere Anzahl von Testpunkten (11, 13) gewählt wird als bei einer sonstigen Ausgangstransformation.
  13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu einem Basistestpunkt (11), der dem Konturpunkt (7) entspricht, Testpunkte (13) entlang der auf die Bildebene (17) projizierten Richtung (12) des Gradienten im dem Konturpunkt (7) zugeordneten Ausgangspunkt gewählt werden.
  14. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für eine bestimmte Anzahl von insbesondere jeweils einem Bildelement entsprechenden Testpunkten (11, 13) Vergleichsmaße bestimmt werden und der dem eine größte Übereinstimmung anzeigenden Vergleichsmaß zugeordnete Testpunkt (11, 13) als Vergleichspunkt (15) gewählt wird oder die Testpunkte durch einen das Vergleichsmaß maximierenden, insbesondere entlang der Richtung (12) des projizierten dreidimensionalen Gradienten in dem dem Konturpunkt (7) zugeordneten Ausgangspunkt arbeitenden Optimierungsalgorithmus gewählt werden.
  15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Testpunkte (11, 13) und/oder die Anzahl der zu verwendenden Testpunkte (11, 13) in Abhängigkeit einer den Grad der vorliegenden Abweichung der Testtransformation von der Realität insbesondere abgeschätzt beschreibenden Abweichungsinformation ermittelt werden.
  16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass als Abweichungsinformation Bewegungsparameter wenigstens eines auf ein zu einem früheren Zeitpunkt aufgenommenes Röntgenbild (2) bezogenen Registrierungsvorgangs und/oder eine daraus abgeleitete Prädiktionsinformation verwendet wird.
  17. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei Unterschreiten eines Mindestwertes für das Vergleichsmaß am Vergleichspunkt (15) die zugehörige Verschiebungsinformation verworfen wird.
  18. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Vergleichsmaß die Gradientenkorrelation verwendet wird.
  19. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Bewegungsmodell ein eine starre Bewegung aller durch Konturpunkten (7) zugeordnete dreidimensionale Ausgangspunkte beschriebenen Referenzstrukturen (16) und/oder bezogen auf einzelne Referenzstrukturen (16) und/oder Tiefenintervalle beschreibendes, eine Rotation und eine Translation erlaubendes Bewegungsmodell verwendet wird.
  20. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Bewegungsparameter für jedes Paar von Konturpunkt (7) und dem Konturpunkt (7) zugehörigen Ausgangspunkt im dreidimensionalen Bilddatensatz, der unter Berücksichtigung der Tiefeninformation bestimmbar ist, unter Berücksichtigung der den beobachtbaren Anteil der Bewegung beschreibenden Verschiebungsinformation eine Zielebene ermittelt wird, in der sowohl der dreidimensional verschobene Ausgangspunkt, der Vergleichspunkt (15) und der Fokuspunkt der Strahlenquelle (23) in der Aufnahmegeometrie, welcher insbesondere als Ursprungspunkt des Koordinatensystems gewählt wird, liegen, woraufhin ein durch Setzen der Skalarprodukte des jeweiligen Normalenvektores der Zielebenen und eines den dreidimensional durch die Bewegung verschobenen Ausgangspunkt beschreibenden, die Bewegungsparameter beinhaltenden Vektors auf Null gebildetes Gleichungssystem für die Bewegungsparameter gebildet und gelöst wird.
  21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass der Normalenvektor der jeweiligen Zielebenen als Kreuzprodukt eines Vektors, der als Kreuzprodukt des senkrecht auf dem Verlauf der Kontur im dreidimensionalen Bilddatensatz stehenden Gradientenvektors des Gradientendatensatzes am Ausgangspunkt mit dem die dreidimensionale Position des Ausgangspunkts im dreidimensionalen Bilddatensatz beschreibenden Vektor oder bevorzugt des Gradientenvektors des Gradientenvergleichsbildes (5) am Konturpunkt (7) mit dem die dreidimensionale Position des Konturpunkts (7) beschreibenden Vektor gebildet ist, mit dem die dreidimensionale Position des Vergleichspunkts (15) beschreibenden Vektor gebildet wird.
  22. Verfahren nach einem der Ansprüche 20 oder 21, dadurch gekennzeichnet, dass ein Rotationsanteil der Bewegung zur Ermittlung eines linearen Gleichungssystems als linear angenommen wird.
  23. Verfahren nach einem der Ansprüche 20 bis 22, dadurch gekennzeichnet, dass das Gleichungssystem durch Anwendung eines iterativen, umgewichteten Optimierungsalgorithmus, der die Methode der kleinsten Quadrate einsetzt, gelöst wird, indem die Summe der jeweils mit einem Gewichtungsfaktor versehenen, Null ergebenden Terme der Gleichungen für die Konturpunkte (7) minimiert wird.
  24. Verfahren nach Anspruch 23, dadurch gekennzeichnet, dass die Gewichtsfaktoren in Abhängigkeit des und/oder als das Vergleichsmaß für den jeweiligen Vergleichspunkt (15) ermittelt werden.
  25. Verfahren nach Anspruch 24, dadurch gekennzeichnet, dass die Gewichtsfaktoren während der Iterationsschritte als Produkt des ursprünglichen Gewichtsfaktors mit einer Residuumskonfidenz aktualisiert werden.
  26. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine aufgrund der Teilbereiche bekannte Tiefeninformation bei der Ermittlung der Bewegungsparameter und/oder der Formulierung des Bewegungsmodells berücksichtigt wird.
  27. Recheneinrichtung, insbesondere Steuereinrichtung (25) einer Röntgeneinrichtung (19), ausgebildet zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche.
  28. Computerprogramm, welches die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 26 durchführt, wenn es auf einer Recheneinrichtung ausgeführt wird.
DE102016202512.0A 2016-02-18 2016-02-18 Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm Active DE102016202512B3 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102016202512.0A DE102016202512B3 (de) 2016-02-18 2016-02-18 Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
US15/436,808 US10062174B2 (en) 2016-02-18 2017-02-18 2D/3D registration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016202512.0A DE102016202512B3 (de) 2016-02-18 2016-02-18 Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm

Publications (1)

Publication Number Publication Date
DE102016202512B3 true DE102016202512B3 (de) 2017-08-17

Family

ID=59410461

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016202512.0A Active DE102016202512B3 (de) 2016-02-18 2016-02-18 Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm

Country Status (2)

Country Link
US (1) US10062174B2 (de)
DE (1) DE102016202512B3 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3626176A1 (de) * 2018-09-19 2020-03-25 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
DE102020003366A1 (de) 2020-06-04 2021-12-23 Ziehm Imaging Gmbh Verfahren und Vorrichtung zur Bildüberwachung mittels eines Röntgengerätes während eines operativen Eingriffs
CN114596344A (zh) * 2020-12-04 2022-06-07 杭州三坛医疗科技有限公司 医学图像配准参数的确定方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10758315B2 (en) * 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
EP3444779B1 (de) * 2017-08-15 2022-09-28 Siemens Healthcare GmbH Verfahren zur bestimmung einer registrierung zwischen einem 3d-bild und einem satz von mindestens zwei 2d-bildern
US10706564B2 (en) * 2018-04-11 2020-07-07 Wisconsin Alumni Research Foundation Systems, methods, and media for determining object motion in three dimensions from light field image data
US10743943B2 (en) 2018-10-03 2020-08-18 Canon Medical Systems Corporation Medical image processing apparatus and method
CN113537231B (zh) * 2020-04-17 2024-02-13 西安邮电大学 一种联合梯度与随机信息的轮廓点云匹配方法
CN111667515B (zh) * 2020-04-22 2023-11-14 北京理工大学 基于流形正则化的血管3d/2d弹性配准方法及装置
US20210361250A1 (en) * 2020-05-19 2021-11-25 Konica Minolta, Inc. Dynamic analysis system, correction apparatus, storage medium, and dynamic imaging apparatus
CN112652056B (zh) * 2020-12-25 2023-09-05 北京奇艺世纪科技有限公司 一种3d信息展示方法及装置
CN113344830A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 基于多张单通道温度图片的融合方法和装置
US11893320B2 (en) 2021-11-18 2024-02-06 Dassault Systemes Solidworks Corporation Method for backshell components in 3D routing harness and flattening route harness
US20230153940A1 (en) * 2021-11-18 2023-05-18 Dassault Systemes Solidworks Corporation Method for Maintaining 3D Orientation of Route Segments and Components in Route Harness Flattening
CN115311335B (zh) * 2022-08-04 2024-02-13 如你所视(北京)科技有限公司 确定户型图相似性的方法和系统、电子设备和存储介质
CN117243627B (zh) * 2023-11-16 2024-02-09 有方（合肥）医疗科技有限公司 Cbct图像的处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013214479A1 (de) * 2013-07-24 2015-01-29 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung und Rechenvorrichtung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015208929B3 (de) 2015-05-13 2016-06-09 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013214479A1 (de) * 2013-07-24 2015-01-29 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung und Rechenvorrichtung

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. Wang, A. Borsdorf, J. Endres and J. Hornegger, "Depth-aware template tracking for robust patient motion compensation for interventional 2-D/3-D image fusion," 2013 IEEE Nuclear Science Symposium and Medical Imaging Conference (2013 NSS/MIC), Seoul, 2013, pp. 1-4. doi: 10.1109/NSSMIC.2013.6829056 *
Kubias, Alexander, et al. "Extended global optimization strategy for rigid 2D/3D image registration." International Conference on Computer Analysis of Images and Patterns. Springer Berlin Heidelberg, 2007 *
WANG, Jian; BORSDORF, Anja; HORNEGGER, Joachim. Depth-Layer-Based Patient Motion Compensation for the Overlay of 3D Volumes onto X-Ray Sequences. In: Bildverarbeitung für die Medizin 2013. Proceedings des Workshops vom 3. bis 5. März 2013, Springer Berlin Heidelberg, 2013. S. 128-133 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3626176A1 (de) * 2018-09-19 2020-03-25 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
US11576557B2 (en) 2018-09-19 2023-02-14 Siemens Healthcare Gmbh Method for supporting a user, computer program product, data medium and imaging system
DE102020003366A1 (de) 2020-06-04 2021-12-23 Ziehm Imaging Gmbh Verfahren und Vorrichtung zur Bildüberwachung mittels eines Röntgengerätes während eines operativen Eingriffs
CN114596344A (zh) * 2020-12-04 2022-06-07 杭州三坛医疗科技有限公司 医学图像配准参数的确定方法、装置、设备及存储介质
CN114596344B (zh) * 2020-12-04 2024-03-19 杭州三坛医疗科技有限公司 医学图像配准参数的确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20170243361A1 (en) 2017-08-24
US10062174B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
DE102016202512B3 (de) Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
DE102015208929B3 (de) Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
DE102013214479B4 (de) Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung und Rechenvorrichtung
US6999811B2 (en) Method and device for the registration of two 3D image data sets
Berger et al. Marker‐free motion correction in weight‐bearing cone‐beam CT of the knee joint
DE102006045423B4 (de) 07.09.07Verfahren zur Nachbearbeitung eines dreidimensionalen Bilddatensatzes einer Gefäßstruktur
EP0880109B1 (de) Verfahren zur Ermittlung der Transformation zwischen einem Objekt und seiner dreidimensionalen Darstellung und Anordnung zur Durchführung des Verfahrens
DE102015014908B4 (de) Vorrichtung, Verfahren und Programm zum Verarbeiten eines medizinischen Bildes, und Röntgentherapievorrichtung
DE112010001224T5 (de) Auf Bewegungskompensation basierende CT-Vorrichtung und CT-Verfahren
DE10048029A1 (de) Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation
DE102013218819B3 (de) Verfahren zur Reduzierung von Artefakten in einem Bilddatensatz und Röntgeneinrichtung
EP2044975B1 (de) Verfahren zum Registrieren von 2D-Bilddaten, Computerprogrammprodukt, Navigationsverfahren zum Navigieren eines Behandlungsgerätes im Bereich der Medizin und Recheneinrichtung zum Registrieren von 2D-Bilddaten
DE112015002802B4 (de) Verbesserte bildrekonstruktion für ein volumen basierend auf projektionsdatensätzen
DE102009031165A1 (de) Verfahren und Vorrichtung zur Aufnahme von Röntgenbildern für eine dreidimensionale Bildrekonstruktion
DE102020131786A1 (de) Method for metal artifact avoidance in x-ray imaging
DE102011087128B4 (de) Projektionswinkelbestimmung bei einer kontrastmittelgestützten Dual-Energy-Tomosynthese
DE10254907B4 (de) Verfahren zur Oberflächenkonturierung eines dreidimensionalen Abbildes
DE102010013498B4 (de) Verfahren zum Ermitteln von dreidimensionalen Volumendaten, Bildgebungsvorrichtung und Datenträger
DE102013200329B4 (de) Verfahren und Vorrichtung zur Dejustagekorrektur für Bildgebungsverfahren
DE102017203438A1 (de) Verfahren zur Bildunterstützung einer einen minimalinvasiven Eingriff mit einem Instrument in einem Eingriffsbereich eines Patienten durchführenden Person, Röntgeneinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102012200686A1 (de) Verfahren und Vorrichtung zur Positionierung einer Röntgenvorrichtung
DE102015218596A1 (de) Verbesserung der Bildqualität bei der Computertomographie unter Ausnutzung redundanter Information in Projektionsdatensätzen
DE112020004854T5 (de) Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsprogramm, medizinische Vorrichtung und Behandlungssystem
DE102009032060B4 (de) Verfahren und Einrichtung zum Ermitteln der räumlichen Position und/oder Orientierung eines Objektes bei der Durchführung einer bildunterstützten medizinischen Maßnahme
DE102019214932A1 (de) Tomosyntheseverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06T0007400000

Ipc: G06T0007380000

R018 Grant decision by examination section/examining division
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHCARE GMBH, DE

Free format text: FORMER OWNERS: FRIEDRICH-ALEXANDER-UNIVERSITAET ERLANGEN-NUERNBERG, 91054 ERLANGEN, DE; SIEMENS HEALTHCARE GMBH, 91052 ERLANGEN, DE

R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE