-
Die
vorliegende Erfindung betrifft die Rekonstitution von Bildern in
drei Dimensionen und näherhin
die Rekonstitution von Oberflächenkonturen
eines Bildes auf der Grundlage von gegebenenfalls auch unvollständigen Aufnahmen
bzw. Ansichten in zwei Dimensionen.
-
Ein
Anwendungsbeispiel der vorliegenden Erfindung ist die Rekonstitution
von Bildern, welche Knochengerüstelemente
betreffen, auf der Grundlage von beispielsweise mittels Röntgenstrahlung
aufgenommenen Bildern in zwei Dimensionen. Derartige Bilder können beispielsweise
zur Simulation eines chirurgischen Eingriffs dienen, indem sie dem
Praktiker die vorherige visuelle Darstellung der relativen Stellungen
der Knochen gestatten, beispielsweise im Bereich eines Gelenks im
Fall plastischer Ligamentchirurgie oder bei der Anbringung einer
Prothese.
-
Um
dem Praktiker die Visualisierung eines Bilds in drei Dimensionen,
ausgehend von zweidimensionalen Bildern, zu gestatten, ist man heute
gezwungen, einen Röntgenstrahl-Scanner
zur Durchführung
von Tomographien zu verwenden. Ausgehend von diesen Tomographien
kann man ein Bild in drei Dimensionen rekonstituieren. Entweder
handelt es sich um eine als Tomographien in drei Dimensionen bezeichnete
Technologie, bei welcher eine große Zahl von Aufnahmen (in der
Größenordnung von 200)
mit Hilfe eines Röntgenstrahl-Scanners
in unterschiedlichen Positionen gemacht werden und die Konturen
des Knochens dann durch Bildverarbeitung auf der Grundlage dieser
Scanneraufnahmen rekonstituiert werden. Oder es handelt sich um
eine als Tomographien in zwei Dimensionen bezeichnete Technologie,
bei welcher eine große
Anzahl von Schnittaufnahmen mittels eines Röntgenstrahl-Scanners quer zum
Knochen aufgenommen werden. Man kann dann den Verlauf und die Struktur
des Knochens rekonstituieren.
-
Die
Scanner-Technik erbringt gute Ergebnisse, ist jedoch in der Ausführung schwerfällig und kostspielig.
Tatsächlich
gestattet die Verwendung eines Scanners die Erzielung einer Gruppe
zweidimensionaler Bilder, die nicht nur Informationen über die Kontur,
sondern auch über
das Innere des Knochens geben. Nun ist jedoch in zahlreichen Anwendungsfällen nur
die Kenntnis der Oberflächenkontur
des Knochens oder des sonstigen Objekts erforderlich.
-
Der
Artikel 'Recovering
the position and orientation of freeform object from Image contours
using 3D distance maps' von
S. Lavallee, veröffentlicht
in IEEE Transactions on Pattern Analysis and Machine Intelligence,
Vol. 17, Nr. 4, April 1995, beschreibt ein Verfahren zur Rekonstitution
der Lage bzw. Stellung und der Orientierung bzw. Ausrichtung eines
Objekts, von dem man das 3D-Modell kennt. Diese Rekonstitution erfolgt
auf der Grundlage zweidimensionaler Bilder.
-
Ein
anderes Anwendungsbeispiel der vorliegenden Erfindung ist die Rekonstitution
unvollständiger
Knochen bzw. Skelette, beispielsweise in der Archäologie.
Eine Rekonstitution von Bildern in drei Dimensionen kann in nahezu
vollkommener Weise die Wiederherstellung der ursprünglichen
Form des Knochens ermöglichen,
selbst wenn dieser in unvollständiger
Form gefunden wird. In einem derartigen Anwendungsfall stellen sich ähnliche
Probleme, wie sie weiter oben mit Bezug auf die Simulation chirurgischer
Eingriffe dargelegt wurden. Insbesondere ist es oft nützlich,
die Form des Knochens zu kennen, ohne dass man sich mit seiner Innenstruktur
befassen muss.
-
Ein
anderer Nachteil der bekannten Verfahren und Techniken ist, dass
sie dem Patienten eine hohe Strahlungsdosis auferlegen, was nicht
erwünscht
ist. Wenn dieser Nachteil auch weniger fühlbar auf dem Gebiet der Archäologie ist,
wo der Kostengesichtspunkt überwiegt,
so ist er doch besonders störend
bei der Simulation chirurgischer Eingriffe.
-
Die
vorliegende Erfindung bezieht sich näherhin auf die Rekonstitution
von Bildern, welche identifizierte Objekte betreffen, d. h. von
denen man im voraus die allgemeine Form kennt. Beispielsweise muss
man für
einen Knochen vorab entscheiden, um welchen Knochen es sich handelt.
-
Die
vorliegende Erfindung bezweckt die Schaffung eines neuen Verfahrens
zur Rekonstitution von Bildern in drei Dimensionen, bei dem die Nachteile
der bekannten Verfahren und Techniken vermieden werden. Die Erfindung
bezweckt insbesondere die Schaffung einer Lösung, welche nicht die kostspielige
Verwendung eines Röntgenstrahl-Scanners
erfordert.
-
Die
vorliegende Erfindung bezweckt auch die Schaffung einer Lösung, die
mit minimaler Exposition gegenüber
Röntgenstrahlen
oder anderweitigen Äquivalenten
vereinbar ist.
-
Die
Erfindung bezweckt des weiteren eine Minimierung der Zahl zweidimensionaler
Aufnahmen, die zur Rekonstitution des Bildes in drei Dimensionen
erforderlich sind.
-
Zur
Erreichung dieser Ziele sieht die vorliegende Erfindung ein Verfahren
zur Rekonstitution eines die Oberflächenkonturen wenigstens eines
Objekts wiedergebenden Bildes in drei Dimensionen, ausgehend von
wenigstens einer mit Röntgenstrahlung
gemachten zweidimensionalen Aufnahme dieses Objekts, vor, wobei
dieses Verfahren dadurch gekennzeichnet ist, dass es umfasst:
- –Bestimmen
der Lage bzw. Stellung der Aufnahmestrahlungsquelle in einem Bezugs-Referentialsystem,
- – Wählen eines
eine mittlere durchschnittliche Form des Objekts darstellenden vorbestimmten Modells,
sowie
- – iterative
Durchführung
der folgenden Schritte, bis die Konturen des Modells solcherart
sind, dass die Abstände
zwischen den Rückprojektionsstrahlen
der Konturen des zweidimensionalen Bildes von der Strahlungsquelle
und der Oberfläche des
Modells minimiert sind:
- – Wählen einer
Ausrichtung bzw. Orientierung und einer Stellung bzw. Lage des Modells
in dem Bezugs-Referentialsystem, sodann
- – Wählen einer
Deformation bzw. Verformung des Modells zur Veränderung seiner Konturen in
drei Dimensionen.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung wird das Modell ausgehend von einer Population
bzw. Menge von Objekten erhalten, für welche man die sämtlichen
Objekten gemeinsame statistische Korrespondenzentsprechung sucht, zur
Bestimmung einer mittleren, durchschnittlichen Form und der hauptsächlichen
Deformationen bzw. Verformungen relativ be züglich dieser mittleren Form,
derart dass man über
wenigstens ein statistisches Modell verfügt.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung bestehen die iterativen Wählstufen darin,
dass man das statistische Modell aufeinanderfolgend einer seine
Lage bzw. Stellung und/oder seine Orientierung bzw. Ausrichtung
verändernden
starren Transformation und einer seine Oberflächenkonturen modifizierenden
nicht-starren Deformation unterzieht.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass die Konturen des
zweidimensionalen Bildes automatisch erhalten werden, indem man
das Modell in die Ebene des zweidimensionalen Bildes projiziert
und die projizierten Konturen so verformt, dass sie mit den Punkten von
starkem Grauwertgradient des zweidimensionalen Bildes zusammenfallen.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass die automatische
Bestimmung der Konturen des zweidimensionalen Bildes in iterativer
Form erfolgt, wobei jede Iteration jeweils zwischen zwei aufeinanderfolgenden Iterationen
der Wählverfahrensschritte
zwischengeschaltet wird.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass man im Referenz-Referentialsystem
dreidimensionale Koordinaten von Punkten des Objekts bestimmt, um über zusätzliche
Referenzpunkte für
die iterativen Verfahrensstufen der Wahl von Lage/Stellung, Orientierung/Ausrichtung
und Verformung zu verfügen.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass man mehrere zweidimensionale
Bilder verwen det, für
welche die jeweiligen Lagen/Stelluungen der Aufnahme-Strahlungsquelle
sämtlich
in dem Referenz-Referentialsystem bestimmt werden, sowie die iterativen
Wählschritte
unter Berücksichtigung
der Rückprojektionsstrahlen
der Konturen aller zweidimensionaler Bilder durchführt.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass die verwendete Bildzahl
eine Funktion der gewünschten
Genauigkeit ist.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass die Oberfläche des
Modells von Dreieckselementen gebildet wird, wobei die genannten
Abstände
relativ bezüglich Punkten
bestimmter Randkanten gemessen werden, welche Erzeugende der Kontur
in drei Dimensionen bilden.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass das Verfahren auf
die Rekonstitution der Oberflächenkonturen mehrerer
Objekte angewandt wird, die untereinander durch Relationen starrer
und/oder elastischer Transformation verbunden sind.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist vorgesehen, dass das Verfahren auf
die Rekonstitution von Knochenbildern angewandt wird.
-
Die
Erfindung betrifft auch ein System zur Bildbe- bzw. -verarbeitung,
welches Mittel zur Ausführung
des Verfahrens zur Rekonstitution von Bildern in drei Dimensionen
aufweist.
-
Diese
und weitere Ziele, Gegenstände, Merkmale,
Eigenschaften und Vorteile der vorliegenden Erfindung werden in
der nachfolgenden nicht-einschränkenden
Beschreibung spezieller Aus führungsbeispiele
im einzelnen auseinandergesetzt, unter Bezugnahme auf die beigefügten Zeichnungsfiguren;
in diesen zeigen:
-
1 eine Ausführungsform
eines Systems zur Rekonstitution von Bildern in drei Dimensionen, auf
der Grundlage einer Vorrichtung zur Herstellung zweidimensionaler
Aufnahmen, gemäß der vorliegenden
Erfindung,
-
2A die Herstellung einer
zweidimensionalen Aufnahme für
die Durchführung
des Verfahrens zur Rekonstitution von Bildern in drei Dimensionen,
gemäß der vorliegenden
Erfindung,
-
2B die Aufnahme von drei
Ansichten in zwei Dimensionen, für
die Ausführung
des Verfahrens zur Rekonstitution gemäß der vorliegenden Erfindung,
-
3A, 3B, 3C drei
charakteristische, kennzeichnende Stufen des Verfahrens gemäß einer
Ausführungsform
der vorliegenden Erfindung,
-
4 eine Weise der Bestimmung
von Erzeugenden der Kontur gemäß der vorliegenden
Erfindung, sowie
-
5 eine bevorzugte erfindungsgemäße Art der
Bestimmung des Abstands zwischen einem Modell in drei Dimensionen
und einer Aufnahme in zwei Dimensionen.
-
In
den verschiedenen Zeichnungsfiguren sind gleiche Elemente mit denselben
Bezugsziffern bezeichnet, wobei die verschiedenen Figuren nicht maßstabsgerecht
sind. Aus Gründen
der Übersichtlichkeit
sind nur die für
das Verständnis
der Erfindung erforderlichen Elemente in den Zeichnungsfiguren dar gestellt
und im folgenden beschrieben. Insbesondere sind die Mittel zur Bildbearbeitung
mit den Informatikrechnern nicht dargestellt und werden nicht im einzelnen
beschrieben, da ihre Ausführung
im Bereich des fachmännischen
Könnens
liegt, ausgehend von den im folgenden gegebenen funktionellen Hinweisen.
-
Ein
Merkmal der vorliegenden Erfindung ist es, die Lage bzw. Stellung
und die Orientierung bzw. Ausrichtung eines zu rekonstituierenden
Objekts aufzufinden, von dem man wenigstens eine Ansicht in zwei
Dimensionen kennt, ausgehend von einer Modelle dieses Objekts enthaltenden
Datenbasis. Werden mehrere zweidimensionale Ansichten bzw. Aufnahmen
verwendet, so sind diese Aufnahmen sämtlich auf dasselbe Bezugssystem
bezogen. Somit betrifft die Erfindung die Rekonstituierung eines
Bildes, das ein bereits identifiziertes Objekt darstellt und von dem
man über
Modelle unterschiedlicher Größe und/oder
unterschiedlicher Form verfügt.
-
Ein
Merkmal einer bevorzugten Ausführungsform
der vorliegenden Erfindung ist die Verwendung von wenigstens einem
verformbaren, ausgehend von der Datenbasis aufgestellten statistischen Modell,
zur Rekonstitution der dreidimensionalen Form des Objekts. Somit
ist gemäß der Erfindung
vor jeder Rekonstitution die Bestimmung einer Basis von Daten vorgesehen,
welche dreidimensionale Modelle des zu rekonstituierenden Objekts
enthält,
oder vorzugsweise ein oder mehrere verformbares) statistische (s)
Modell(e), auf der Grundlage dieser Datenbasis.
-
1 zeigt in schematischer
Ansicht ein System zur Rekonstitution von Bildern in drei Dimensionen,
gemäß einer
Ausführungsform
der vorliegenden Erfindung. Das Beispiel von 1 betrifft die Rekonstituierung des Bildes
eines Knochens 1, ausgehend von zweidimensionalen Röntgenaufnahmen (Radiographien).
In 1 ist in Teilansicht
und schematisch der Körper
eines Patienten p wiedergegeben, dessen Bein den Knochen 1 enthält, der
visualisiert werden soll. Das Bein des Patienten p (und damit der
Knochen 1) ist beispielsweise auf einen Tisch 2 gelegt.
Ein Gestell 3 trägt
eine Vorrichtung 4 zur dreidimensionalen Lokalisierung,
die optisch, magnetisch, mechanisch oder mit Ultraschall erfolgen kann
und welche die Lage bzw. Stellung und die Ausrichtung bzw. Orientierung
vielfacher Messfühler-Sender
ermittelt, die beispielsweise aus Infrarot-Dioden, Reflektoren, Magnetsendern,
Ultraschallsendern usw. bestehen können. Ein derartiger Lokalisator
ist durchaus bekannt und wird nicht weiter im einzelnen beschrieben.
Es sei nur angemerkt, dass, um eine korrekte Lokalisierung des Patienten
(d. h. des Knochens 1) zu gewährleisten, dieser im allgemeinen
ebenfalls mit einem Messfühler-Sender 18 ausgerüstet ist,
der durch den Lokalisator 4 detektierbar bzw. nachweisbar
ist. Tatsächlich
müssen
gemäß der Erfindung
sämtliche
Bilder bzw. Ansichten in ein und demselben Bezugs-Referentialsystem
ausgewertet werden können,
das dem Objekt, das rekonstituiert wird, zugeordnet ist.
-
Es
können
mehrere Messfühler-Sender
an dem Röntgenstrahlsystem,
bei der Strahlungsquelle 7 (Messfühler-Sender 19) oder
bei einem Bilddetektor 9 (Messfühler-Sender 5) befestigt
sein, zur Lokalisierung der Stellung des Röntgenstrahlsystems relativ
bezüglich
dem Bezugs-Referentialsystem des Messfühler-Senders 18.
-
In
bestimmten Fällen
bereitet die Ortsbestimmung der Messfühler-Sender 5 und 19 Schwierigkeiten
wegen ihrer entfernten Anordnung oder wegen der Gegenwart parasitärer Gegenstände in dem Messfeld
des Lokalisators 4. In diesem Fall kann ein Mess fühler-Sender 20 auf
dem Tisch 2 in dem Messfeld des Lokalisators 4 installiert
sein. Man positioniert dann das Röntgenstrahlsystem in guten
Messbedingungen und bestimmt die Lagen der Messfühler-Sender 5 und 19 relativ
bezüglich
dem Messfühler-Sender 20 ein
für alle
Mal (d. h. diese Verfahrensstufe wird nur wiederholt, wenn man das
Röntgenstrahlsystem
als Ganzes verschiebt).
-
Da
das Röntgenstrahlsystem
an seinen Achsen mit Winkel-Kodierern ausgerüstet ist, wie weiter unten
noch im einzelnen erläutert
wird, werden die Änderungen
der Relativstellung des Röntgenstrahlsystems
mit Hilfe dieser Kodierer gemessen und können so in das Bezugssystem
des Messfühler-Senders 20 übertragen
werden. Für
jede Aufnahme misst man die geometrische Beziehung zwischen den Messfühler-Sendern 20 und 18 und überträgt mit Hilfe
dieser Maßnahme
die Stellung des Röntgenstrahlsystems
in dem Bezugs-Referentialsystem des Messfühler-Senders 18. Somit sind sämtliche
Röntgenaufnahmen
in dem Bezugssystem des Messfühler-Senders 18 kalibriert,
der mobil sein kann.
-
Die
Vorrichtung 6 besteht beispielsweise aus einer Röntgenstrahlquelle 7,
die an einem ersten Ende eines halbkreisförmigen Arms 8 angebracht
ist, dessen anderes Ende zur Aufnahme des Röntgenaufnahmefilms 9 bestimmt
ist, oder eines äquivalenten
elektronischen Messwandlers, wie beispielsweise eines Helligkeitsverstärkers oder
eines Flachdetektors aus amorphem Silizium. Die räumliche
Beziehung zwischen dem Arm 8 und dem Tisch 2 ist
solcherart, dass der Tisch sich zwischen der Strahlungsquelle 7 und
dem Messfühler 9 befindet.
Der Tragarm 8 ist um eine Achse 10 drehbar gelagert,
und zwar motorisch oder mittels Handverstellung, und ist seinerseits
an einem Traggestell bzw. Ständer 11 gehaltert.
Das Gesamtaggregat zur Durchführung
zweidimensionaler Aufnahmen kann so um den Knochen 1 herum
verdreht werden, zur Durchführung
der gewünschten
Zahl von Röntgenstrahlaufnahmen
dieses Knochens. Erforderlichenfalls kann die optische Lokalisier-
bzw. Lagebestimmungsvorrichtung 4 einer Vorrichtung zur
Winkel-Kodierung der Stellung der Achse 10 zugeordnet sein.
-
Das
Gesamtaggregat wird durch ein Informatiksystem gesteuert, beispielsweise
einen Computer 12, der vorzugsweise einem Bildschirm 13 zugeordnet
ist. In 1 sind durch
Eindrahtverbindungen 14, 15, 16 und 17 die
Datenbusse zum Austausch elektrischer Steuersignale und Daten zwischen
dem Rechner 12 und der Lagebestimmungsvorrichtung 4,
der Strahlungsquelle 7, dem Motor oder dem optionellen
Kodierer der Achse 10 und dem Messfühler 9 symbolisiert.
-
Die 2A und 2B veranschaulichen zwei Arten der Aufnahmen
gemäß zwei Ausführungsformen
der vorliegenden Erfindung. In den 2A und 2B sind die zweidimensionalen
Aufnahmen durch die jeweiligen Ebenen wiedergegeben, in welchen
sie aufgenommen werden, d. h. durch den Verlauf der Oberfläche des
Messwertfühlers 9 (1) bei den Aufnahmen. Dies
entspricht den durch das Informatiksystem registrierten Röntgenstrahlbildern
in zwei Dimensionen.
-
2A zeigt den Fall einer
einzigen Aufnahme in einer Ebene P1, welche ein Bild I1 des Knochens 1 liefert.
Die Stellung der Strahlungsquelle 7 ist durch einen Punkt
symbolisiert, in welchem die Rückprojektionsstrahlen
r der vier Ecken der Ebene P1 konvergieren.
-
2B gibt den Fall einer dreifachen
Aufnahme in den Ebenen P1, P2 und P3 wieder, die drei zweidimensionale
Bilder I1, I2 und I3 des Knochens 1 liefern. In 2B ist die Lage bzw. Stellung
der Strahlungsquelle nicht konstant, sie ist für jede Aufnahme verschieden.
Jedoch sind dank der Lagebestimmungsvorrichtung 4 sämtliche
Stellungen der Strahlungsquelle in dem Bezugs-Referentialsystem bekannt.
Aus Gründen
der Übersichtlichkeit
sind nur die Strahlen r1 der vier Ecken der Ebene P1 in der Position
von Bild I1 wiedergegeben.
-
Es
sei darauf hingewiesen, dass die Strahlungsquelle für die Aufnahmen
zwischen zwei zweidimensionalen Bildern andere Bewegungen als in
ein und derselben Ebene, wie in den 1 und 2B veranschaulicht, erfahren
kann. Mit anderen Worten, der Tragarm 8 des Aufnahmesystems 6 kann
mehr als zwei Freiheitsgrade besitzen, von denen jeweils jeder mit
einer Vorrichtung zur Winkel-Kodierung ausgerüstet sein kann. Gemäß einer
bevorzugten Ausführungsform
ist der Arm 8 auf zwei Drehachsen, einer horizontalen und
einer vertikalen, und einer vertikalen Translationsachse gelagert.
-
Es
ist ferner darauf hinzuweisen, dass die Bilder in zwei Dimensionen
auch nur partiell sein können.
Beispielsweise können
bei der Anwendung auf Röntgenstrahlbilder
diese durch den Benutzer zur Bestätigung der für die Rekonstituierung
in Betracht zu ziehenden Konturen der zweidimensionalen Aufnahmen
interpretiert werden. Eine derartige Interpretation ist nicht beschwerlich
angesichts der geringen Anzahl zweidimensionaler Aufnahmen, die
gemäß der Erfindung
erforderlich sind (im allgemeinen weniger als zehn). Die Auswertung
bzw. Validierung der Konturen in dem Datenverarbeitungssystem kann beispielsweise
mittels einer Maus, eines Lichtgriffels, eines taktilen Bildschirms
oder ähnlichem
in herkömmlicher
Weise für
eine Konturaufzeichnung in einem Bild in Grautönen erfolgen.
-
Gemäß einer
anderen bevorzugten Ausführungsform
erfolgt die Bestimmung der Konturen in den Röntgenbildern automatisch mittels
Durchführung
eines sogenannten Nachstell- bzw. Justierverfahrens in zwei Dimensionen.
Ein derartiges Verfahren besteht in der automatischen Bestimmung
der Kontur durch Analyse der stärksten
Graupegel-Gradienten. Dieses Verfahren ist beispielsweise in der öffentlich
am 4. Dezember 1998 in der Universität Joseph Fourier von Grenoble
(Frankreich) vorgestellten Doktorarbeit von Gelu Ionescu beschrieben
unter dem Titel 'Segmentation
et recalage d'images
echographiques par utilisation de connaissances physiologiques et
morphologiques'.
Gemäß der Erfindung wird
dieses Nachstell- bzw.
Justierverfahren in zwei Dimensionen in Kombination mit einer Projektion
des verformbaren statistischen Modells des Objekts, dessen Oberflächenkonturen
in drei Dimensionen rekonstituiert werden sollen, auf das zweidimensionale
Bild ausgeführt.
Man führt
eine iterative Analyse einer auf das zweidimensionale Bild projizierten
Kontur des Modells durch, bis man nach mehreren Durchgängen (beispielsweise
3 bis 10 Durchgängen)
eine Identität erreicht
zwischen der Kontur des projizierten Modells, das weiter unten beschrieben
wird und dessen Orientierung bzw. Ausrichtung und Verformung nach dem
Verfahren der Erfindung adaptiert werden, und der durch Analyse
der stärksten
Grauton-Gradienten bestimmten Kontur. Diese Kombination wird im
weiteren Verlauf am besten in Verbindung mit 5 verständlich.
-
Zur
Vereinfachung der vorliegenden Beschreibung wird im folgenden angenommen,
dass die Konturen der zweidimensionalen Aufnahmen bzw. Ansichten
bekannt sind. In der Praxis werden die Stufen bzw. Schritte des
Verfahrens der Erfindung in Schleife ausgeführt, einschließlich der
Justierung bzw. der Darstellung in zwei Dimensionen, bis zur Erzielung
eines zufriedenstellenden Ergebnisses.
-
Gemäß der Erfindung
bleibt, nachdem einmal die Aufnahme(n) in zwei Dimensionen erhalten ist
bzw. sind, die Bestimmung mittels Korrespondenzrecherche in der
Datenbasis, der Form und der Abmessung des Objekts (hier des Knochens)
in drei Dimensionen.
-
Hierfür sieht
die Erfindung die Aufsuchung des Modells vor, für welches die Abstände, welche die
Konturen jeweils jeder zweidimensionalen Aufnahme und die Oberfläche des
Modells voneinander trennen, minimal werden.
-
In
der bevorzugten Ausführungsform,
bei der ein verformbares statistisches Modell (das also somit eine
ganze Familie von Modellen definiert) des zu rekonstituierenden
Objekts verwendet wird, sucht man sich durch iterative Verformung
dieses Modells so weit als möglich
an die Form anzunähern,
deren Konturen solcherart sind, dass, wie weiter unten in Verbindung
mit 5 ersichtlich, die
Rückprojektionsstrahlen,
welche von der Strahlungsquelle (oder den betreffenden Strahlungsquellen)
her durch die Punkte der Konturen des Bildes (oder der Bilder) in
zwei Dimensionen gehen, sämtlich
tangentiell bezüglich der
Oberfläche
des Modells sind; dabei sind selbstverständlich die verschiedenen Konturen
in zwei Dimensionen in dem Bezugs-Referentialsystem lokalisierbar.
-
Die
Verfertigung des verformbaren statistischen Modells als solches
ist nicht Gegenstand der vorliegenden Erfindung und ist ganz herkömmlich. Man
kann sich darauf beschränken,
daran zu erinnern, dass die Realisierung eines derartigen Modells allgemein
eine Aufsuchung einer mittleren Form einer Popu lation oder Menge
von Gegenständen
desselben Typs (beispielsweise Schenkelknochen) erfordert, welche
die Datenbasis bilden, mit anschließender Analyse hinsichtlich
Hauptkomponenten zur Bestimmung der hauptsächlichen (wesentlichen) Verformungen,
die an dieser mittleren Form vorzunehmen sind, und so das statistische
Modell zu erhalten.
-
Ein
Verfahren zur Bestimmung eines statistischen Modells ausgehend von
einer Familie bzw. Menge von Proben bzw. Mustern ist beispielsweise beschrieben
in dem Artikel 'Building
a Complete Surface Model from Sparse Data Using Statistical Shape Models:
Application to Computer Assisted Knee Surgery' von Markus Fleute und Stephane Lavallee,
erschienen in MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION
-MICCAI'98, Springer-Verlag
LNCS Series, pp. 880–887, Oktober
1999, dessen Inhalt hier im Wege der Inbezugnahme in die vorliegende
Beschreibung inkorporiert wird. Zu beachten ist, dass die Genauigkeit
der gemäß der Erfindung
vorgenommenen Rekonstruktion der Oberflächenkonturen von den für die Herstellung
der Datenbasis des statistischen Modells verwendeten Proben bzw.
Mustern abhängt.
Falls beispielsweise ein statistisches Modell eines Schenkelknochens
auf der Grundlage einer Population von Proben bzw. Mustern mit normalen
(d. h. nicht-pathologischen) Formen geschaffen wird, kann man dann mit
Genauigkeit normale Formen rekonstituieren, jedoch wird die Genauigkeit
begrenzt sein, wenn der röntgenographisch
aufgenommene Schenkelknochen eine pathologische Form hat. Falls
hingegen das statistische Modell auf der Grundlage einer großen Population
von Proben bzw. Mustern geschaffen wird, die sowohl normale wie
pathologische Formen enthält,
lassen sich dann mit Genauigkeit normale und pathologische Gegenstände rekonstituieren.
-
Wenn
man, bei dem erfindungsgemäßen Verfahren,
einmal über
die zweidimensionalen Bilder verfügt, ermittelt man erforderlichenfalls,
welchem in der Datenbasis enthaltenen Modell diese Bilder am nächsten kommen
(beispielsweise wenn mehrere Knochentypen oder wenn mehrere statistische
Modelle ein und desselben Knochens verfügbar sind), sodann wendet man
auf dieses Modell Transformationen zur weitestmöglichen Annäherung an ein dreidimensionales
Bild solcherart an, dass die Rückprojektionsstrahlen
der Bilder zu ihren entsprechenden Strahlungsquellen tangential
bezüglich
der Oberflächen
des dreidimensionalen Bildes sind, wenn man dieses Bild auf diese
Strahlengänge
legt, denen sie jeweils am nächsten
kommen.
-
Vorzugsweise
beginnt man damit, dass man das anfängliche Modell im Ruhezustand,
d. h. das der mittleren Form entsprechende Modell, einer sogenannten
starren Transformation unterzieht, d. h. einer Transformation, die
lediglich seine Orientierung und seine translatorische Lage im Raum
berührt. Wenn
man sodann die Stellung gefunden hat, für welche die Rückprojektionsstrahlungen
sämtlich
einen minimalen Abstand von den Konturen des Anfangsmodells besitzen,
unterwirft man das Modell einer nicht-starren Verformung, d. h.
dass man ohne Veränderung
seiner Orientierung seine Form modifiziert, ausgehend von den in
der statistischen Basis enthaltenen Daten, durch Änderung
der Koeffizienten der Hauptmodes des Modells, bis man die Form erhält, deren
Konturen den Rückprojektionsstrahlen am
nächsten
kommen. Falls erforderlich, wird das Modell durch den Benutzer sehr
approximativ vor-ausgerichtet, relativ bezüglich den am Bildschirm gezeigten
zweidimensionalen Bildern. Es sei darauf hingewiesen, dass die Informatikmittel
zur Bearbeitung verwendeter Bilder in ihrer Struktur herkömmlich sind
und daher nicht detailliert beschrieben zu werden brauchen.
-
Die 3A bis 3C veranschaulichen zwei Stufen des erfindungsgemäßen Verfahrens. 3A zeigt eine dreidimensionale
Ansicht eines Modells 21 vor jeder Verformung. Es handelt
sich beispielsweise um ein durch den Praktiker in einer approximativen Ausrichtung
positioniertes statistisches Modell der Erfindung. 3B zeigt das Modell 21' aus 3A am Ende der Orientierungsstufe
ohne Formmodifikation. 3C zeigt
das bei der Ausführung
der Erfindung erhaltene Bild 22 in drei Dimensionen, d.
h. entsprechend dem Modell 21' in solcher Verformung, dass die
Rückprojektionsstrahlen
(idealerweise) Tangenten bezüglich
seiner sämtlichen
Konturen sind.
-
Einfachheitshalber
ist in den 3A bis 3C nur eine einzige Gruppe
von Rückprojektionsstrahlen r
ausgehend von einer Strahlungsquelle 7 dargestellt und
der Projektionsschirm des entsprechenden Bildes ist nicht gezeigt.
Wie aus den 3A bis 3C hervorgeht, ist eine große Zahl
von Strahlen r der 3A nicht
tangential bezüglich
der Konturen des Modells 21. Die jeweils verwendete Zahl
von Rückprojektionsstrahlen
hängt von
der gewünschten
Genauigkeit und von den Eigenschaften des statistischen Modells
ab, im wesentlichen von der Zahl der Oberflächenpunkte, die als Referenzpunkte
bei der Definition dieses statistischen Modells gewählt wurde.
-
Von 3A zu 3B ist der Übergang bzw. die Transformation 'starr', d. h. dass das
Modell nicht verformt wird. Bei dieser Transformation erfährt das Modell 21 Translationen
und Rotationen, um minimale Abstandsmeßwerte zwischen jeweils jedem
Rückprojektionsstrahl
zu erhalten, der von Punkten der Kontur des Bildes und der Oberflächen des
Objekts in seiner laufenden Stellung ausgeht. Hierfür verwendet
man mathematische Verfahren zur Bestimmung des Minimums der Quadratsummen dieser
Abstände relativ
bezüglich
sechs Parametern (drei Rotations-Freiheitsgrade und drei Translationsfreiheitsgrade),
welche die gewünschte
starre Transformation definieren. Man erhält eine Konfiguration, wie
sie beispielhaft in 3B dargestellt
ist, in welcher das Modell 21' eine richtige Stellung bzw. Lage
und Orientierung bzw. Ausrichtung besitzt, jedoch noch eine unvollkommene
Form hat. Aus diesem Grund sind bestimmte Strahlen r' nicht tangential,
sondern sie durchsetzen das Modell.
-
Vorzugsweise
erhält
man die aus der starren Transformation (Rotation, Translation) resultierende Lage
nach einem als Verfahren des nächstgelegenen Punktes
bezeichneten Iterativ-Verfahren
(Algorithmus) (Iterative Closest Point, ICP). Ein Beispiel eines derartigen
Verfahrens ist beschrieben in dem Artikel 'A Method for Registration of 3-D Shapes' von Paul J. Best
und Neil D. McKay, erschienen in IEEE TRANSACTIONS ON PATTERN ANALYSIS
AND MACHINE INTELLIGENCE, vol. 14, Nr. 2, Februar 1992, dessen Inhalt
hier durch Inbezugnahme in die vorliegende Beschreibung inkorporiert
wird.
-
Die
Transformation von 3B zu 3C ist 'nicht-starr' (elastisch) und besteht in einer Verformung
des Modells 21' ohne Änderung
seiner Orientierung, bis zum Erreichen des Bilds 22 in
drei Dimensionen, für
welches sämtliche
Rückprojektionsstrahlen
r " einen minimalen
Abstand von den Konturen besitzen (idealerweise tangential). Diese
nicht-starre Transformation erfolgt beispielshalber und gemäß einer
ersten Ausführungsform
durch Berechnen der Verformungsparameter auf der Grundlage eines
unter der angelsächsischen
Bezeichnung 'Down
Hill Simplex' bekannten
Algorithmus. Dieser Algorithmus wurde beispielsweise 1965 durch
J. A. Nelder und R. Mead in COMPUTER JOURNAL, vol. 7, pp. 308–313, beschrieben;
der Inhalt dieser Veröffentlichung
wird hier durch Inbezugnahme in die vorliegende Beschreibung inkorporiert.
-
Gemäß einer
bevorzugten Ausführungsform der
Erfindung beruht der zur Bestimmung der nicht-starren Transformation
des statistischen Modells verwendete Algorithmus auf der Methode
Levenberg-Marquardt. Diese Methode beruht auf dem Prinzip der Bestimmung
des Minimums einer nicht-linearen multidimensionellen Funktion,
unter Verwendung der partiellen Ableitungen der Funktion bezüglich den
Verformungsparametern des Modells. Diese Methode wurde beispielsweise
1963 von D. W. Marquardt in JOURNAL 0F THE SOCIETY FOR INDUSTRIAL
AND APPLIED MATHEMATICS, vol. 11, pp. 431–441, beschrieben; der Inhalt
dieser Veröffentlichung
wird hier mittels Inbezugnahme inkorporiert. Die Funktion, deren
Minimum gesucht wird, ist hier die Summe der Quadrate der Abstände zwischen
einer Gruppe von Rückprojektionsstrahlen,
die sich auf den Konturpunkten und der Oberfläche des Modells abstützen. Die
Parameter des Minimierverfahrens sind die Koeffizienten, die man
jeweils bei jedem Verformungsmode des statistischen Modells anwendet, wie
dies in dem bereits zitierten Artikel 'Building a Complete Surface Model from
Sparse Data Using Statistical Shape Models: Application to Computer Assisted
Knee Surgery' von
Markus Fleute und Stephane Lavallee beschrieben ist.
-
Dieses
Verfahren wird auf jede Näherungsstellung
angewandt und so lange wiederholt, bis die Abstände nicht mehr weiter minimiert
werden können.
Man bildet so eine Kette aus einer starren Darstellung bzw. Justierung,
einer elastischen Justierung, einer starren Justierung, einer elastischen
Justierung usw. Sobald die Form in drei Dimensionen rekonstituiert
ist, ist die Größe ebenfalls
bekannt, insofern sämtliche
zweidimensionalen Ansichten bekannte Größen besitzen, ebenso wie die
Stellung bzw. Lage in dem Bezugs-Referentialsystem des Modells bezüglich den
Strahlungsquellen. Die Zahl von erforderlichen Durchgängen hängt im wesentlichen
von der Zahl von für
die Modellierung der Verformung verwendeten charakteristischen Parametern
ab.
-
Es
sei darauf hingewiesen, dass die Reihenfolge, in welcher die beiden
vorstehenden Stufen durchgeführt
werden, bedeutsam ist. Tatsächlich sucht
man, wenn man mit der Ausführung
einer nicht-starren Verformung beginnt, die Korrespondenz eines
Modells mit einer schlechten Orientierung bzw. Ausrichtung, die
wegen der erfahrenen Formveränderung
nur sehr schwierig zu gewinnen ist. Jedoch kann die Minimierung
der Abstände
global durchgeführt
werden, indem man die starren Parameter und die Verformungsparameter
gleichzeitig bei jeder Iteration des mathematischen Minimierungsverfahrens berücksichtigt.
-
Es
sei darauf hingewiesen, dass bei jeder Iterationsstufe des Verfahrens,
in welcher man die Abstände
zwischen den Konturen des Modells und den Rückprojektionsstrahlen berechnet,
neue in die Messung eingehende Punkte auf Seiten des Modells und/oder
auf Seiten der Projektionsstrahlen bestimmt werden. Dies stellt
einen bedeutsamen Unterschied gegenüber bekannten Verfahren zur
Rekonstituierung von Bildern in drei Dimensionen dar, in welchen die
Messpunkte für
sämtliche
Iterationsschritte dieselben sind.
-
Ein
anderes charakteristisches Merkmal der vorliegenden Erfindung ist,
dass die Auswertung bzw. Ermittlung der Minimalabstände nicht
notwendigerweise erschöpfend
für sämtliche
Elemente der Modelloberfläche
durchgeführt
wird. Tatsächlich
würde dies
gelegentlich zu allzu aufwendigen Berechnungen führen, selbst wenn die Zahl
von Oberflächenelementen
durch Verwendung von Dreieckselementen minimiert werden kann. Gemäß der Erfindung
erfolgen die Bewertungen bzw. Ermittlungen der Abstände bezüglich charakteristischer
Linien, welche Erzeugende der Modellkonturen darstellen. Dies verringert
die Zahl von Messpunkten. Beispielsweise ist ein durch ca. 5000
Ränder
von Dreiecksoberflächen
definierter Knochen vom Oberschenkelknochentyp durch ca. 300 Erzeugende
von Konturen definiert.
-
Vorzugsweise
betrifft die nach dem Verfahren gemäß der Erfindung durchgeführte Analyse
nur Konturerzeugende des Bildes in drei Dimensionen. So wird die
Oberfläche
des statistischen Modells vorzugsweise von Dreieckelementen gebildet,
von welchen gewisse Randkanten Erzeugende der Kontur bilden. Eine
Konturerzeugende wird durch die Randkanten der Dreiecke gebildet,
die bei Projektion auf eine Ebene die (innere oder äußere) Kontur
definieren. Der Rückgriff
auf Konturerzeugende gestattet eine beträchtliche Verringerung (beispielsweise
wenigstens um einen Faktor 10) der Zahl der Punkte, die in dem Modell
gefunden bzw. bestimmt werden müssen,
um die Korrespondenz mit dem rekonstituierten Bild zu verifizieren.
-
4 veranschaulicht die Definition
einer Konturerzeugenden eines Bildes (Modells) in drei Dimensionen,
dessen Oberfläche
von dreieckigen Oberflächenelementen
gebildet wird, wie sie beispielsweise in dem Artikel 'Anatomy-based registration
of ct-scan and intraoperative x-ray Images for guiding a surgical
robot' von A. Gueziec,
erschienen in IEEE TRANSACTIONS ON MEDICAL IMAGING, 17(5), pp. 715–728, Oktober
1998, beschrieben sind; der Inhalt dieses Artikels wird hier durch
Inbezugnahme inkorporiert.
-
4 zeigt in vereinfachter
Form zwei Dreiecke 30 und 31, welche einen Oberflächenbereich
eines dreidimensionalen Mo dells definieren und deren gemeinsame
Randkante eine Erzeugende 32 der Kontur darstellt. Die
Rechnung, die ausgeführt
werden muss, um zu bestimmen, ob eine Randkante eine Konturerzeugende
bildet oder nicht, besteht in der Berechnung der Winkel α bzw. β zwischen
den Senkrechten auf die Dreiecksoberflächen 30 bzw. 31 und
den Strahlen 33 bzw. 34, welche die Mitte dieser Oberflächen mit
dem Projektionszentrum 35 entsprechend der Stellung der
Röntgenstrahlquelle
verbinden. Wenn einer der Winkel kleiner als 90°, der andere jedoch größer als
90° ist,
so ist ihre gemeinsame Randkante 32 dann eine Konturerzeugende.
-
5 veranschaulicht die Art
von Messung, wie sie zur Bestimmung des Abstands e zwischen einem
Rückprojektionsstrahl
r und einem Punkt einer Konturerzeugenden ausgeführt wird. Diese Figur zeigt
in schematischer Form ein Bild I des Objekts in einer Ebene P und
eine Form 21 des statistischen Modells, die über den
Strahlengang der Rückprojektionsstrahlen
vom Bild I bis zur (nicht dargestellten) Strahlungsquelle gelegt
wird.
-
Für jeden
Rückprojektionsstrahl
r sucht man die entsprechenden Punkte 41 und 40 auf
dem Rückprojektionsstrahl
und auf einer Konturerzeugenden, die aus allen Erzeugenden so gewählt ist,
dass der Abstand e zwischen diesen Punkten minimal ist.
-
Ein
Vorteil der vorliegenden Erfindung ist, dass sie eine wesentlich
schnellere Rekonstitution eines Bilds in drei Dimensionen gestattet,
verglichen mit den bekannten Techniken.
-
Ein
weiterer Vorteil der vorliegenden Erfindung ist, dass sie eine richtige
Ausrichtung des Modells selbst in Zonen gestattet, in denen man über keine
Projektionsdaten durch die zwei dimensionalen Bilder verfügt (beispielsweise
bestimmten inneren Krümmungen).
-
Es
sei darauf hingewiesen, dass die Oberflächenkontur erforderlichenfalls
mit Hilfe einer mechanischen, optischen oder magnetischen Tastvorrichtung
verfeinert werden kann, welche räumliche
Koordinaten in demselben Bezugssystem wie die zweidimensionalen
Bilder liefert. Man erhält
dann zusätzliche
Punkte, die in der Auffindung des Bilds in drei Dimensionen verwendet
werden können.
Der Rückgriff auf
eine Tast- bzw. Fühlvorrichtung
kann beispielsweise dazu dienen, die Zahl der erforderlichen zweidimensionalen
Ansichten bzw. Aufnahmen zu verringern, indem eine Information in
drei Dimensionen gegeben wird.
-
Es
sei ferner darauf hingewiesen, dass das Verfahren der Erfindung
sich auf mehrere Oberflächenkonturen
in drei Dimensionen anwenden lässt, die
ein oder mehrere Objekt (e) bilden. Beispielsweise kann man so gleichzeitig
die Außenoberfläche und die
innere Cortical-Oberfläche
eines Knochens rekonstituieren. Man kann auch die Form mehrerer
an einem Gelenk beteiligter und in den Röntgenbildern gleichzeitig sichtbarer
Knochen rekonstituieren (beispielsweise Schienbein- und Oberschenkelknochen, wenn
das Knie interessiert) oder auch die Form mehrerer Knochenfragmente
ein und desselben Knochens. In diesem letztgenannten Fall muss das
gesuchte Modell die starren Transformationen zwischen jeder Oberflächenkontur
in drei Dimensionen enthalten. In anderen Fällen einer Anwendung auf mehrere
Objekte müssen
wohlgemerkt die verschiedenen statistischen Modelle und die eventuellen
starren oder elastischen Transformationen zwischen ihnen bekannt
sein.
-
Selbstverständlich ist
die vorliegende Erfindung verschiedenen Abwandlungen und Modifikationen
zugänglich,
die sich für
den Fachmann ergeben. Insbesondere hängt die Zahl der Aufnahmen
bzw. Abbildungen in zwei Dimensionen, die für die Rekonstitution verwendet
werden müssen,
von der gewünschten
Genauigkeit und der Komplexität
des Modells ab. In bestimmten Fällen
kann eine einzige zweidimensionale Ansicht bzw. Aufnahme ausreichen.
Des weiteren wurde die Erfindung zwar unter Bezugnahme auf eine
bewegliche Röntgenstrahlquelle
beschrieben, jedoch könnte
diese durch mehrere feststehende Quellen ersetzt werden, vorausgesetzt,
dass die Zwangsbedingung eingehalten wird, zweidimensionale Bilder
in ein und demselben Bezugssystem zu erlangen. Im übrigen beruht
die Durchführung
der Erfindung selbstverständlich
auf Verfahren digitaler Bildverarbeitung, deren praktische Ausführung im
Rahmen des fachmännischen Könnens liegt,
ausgehend von den weiter oben und in den durch Inbezugnahme zitierten
Veröffentlichungen
gegebenen funktionellen Hinweisen.