DE60106439T2

DE60106439T2 - Verfahren und anordnung zur mischung von bildern

Info

Publication number: DE60106439T2
Application number: DE60106439T
Authority: DE
Inventors: A. Rob BEUKER; Marcel Breeuwer
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-06-02
Filing date: 2001-05-11
Publication date: 2006-02-02
Anticipated expiration: 2021-05-12
Also published as: WO2001095109A3; US20020018589A1; EP1290557A2; US7123779B2; JP2003536134A; WO2001095109A2; DE60106439D1; ATE279759T1; EP1290557B1

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf Bildverarbeitung, insbesondere auf Verfahren und Geräte zur Registrierung und Zusammenführung einer Vielzahl von überlappenden zweidimensionalen (2D-)Bildern von dreidimensionalen (3D-)Szenen, insbesondere in Fällen, bei denen die 2D-Bilder mit 3D-Szenen über eine projektive (oder Kamera-)Transformation zusammenhängen. Die Erfindung betrifft auch Geräte zum Ausführen der offenbarten Bildverarbeitung.
2. Beschreibung des zugehörigen Standes der Technik
In vielen Gebieten der bisherigen Technik und Technologie ist Bildsynthese von Szenen wichtig, die zu groß sind, um in einem einzelnen Kamerabild aufgefangen zu werden. Zusammengesetzte Bilder solcher Szenen müssen aus einzelnen überlappenden Bildern mit begrenzteren Gesichtsfeldern zusammengeführt werden. Ein Beispiel dafür, wo Bildzusammensetzung nützlich ist, ist die Erstellung eines Bildes einer ausgedehnten Szene aus den begrenzten Gesichtsfeldern einer für einen PC geeigneten Digitalkamera. Ein anderes Beispiel ist die Erstellung eines Bildes einer ausgedehnten Region eines Patienten aus einzelnen Röntgenbildern, die gewöhnlich begrenztere Gesichtsfelder darstellen.
In vielen Fällen, wie in den vorherigen zwei Beispielen, hängen, da einzelne 2D-Bilder mit der 3D-Szene über projektive Transformationen zusammenhängen, Paare der einzelnen zusammenzuführenden Bilder auch über projektive Transformationen miteinander zusammen. Daher ist es als Teil des Bildzusammenführungsprozesses wichtig, die beste projektive Transformation zu identifizieren, die zwischen jedem Paar von überlappenden 2D-Bildern einen solchen Zusammenhang herstellt, dass die Bilder des Paares durch Verwendung dieser Transformation in Registrierung gebracht werden können.
Daher sind Verfahren entwickelt worden und sind bekannt, um solche projektiven Transformationen zu bestimmen. Typisch für diese Verfahren ist das bei Schultz et al., 1999, IEEE International Conference on Acoustic Speech and Signal Processing, Bd. 4, S. 2365–3268 offenbarte Verfahren. Darin wird dem automatischen Bestimmen einer Vielzahl von Paaren einander entsprechender Punkte viel Beachtung geschenkt, wobei ein Punkt jedes Paares in jedem Bild liegt, das typischerweise eingegeben worden ist, um die Parameter der projektiven Transformation zu finden, die einen Zusammenhang zwischen den Bildern herstellt. Sobald die Paare von einander entsprechenden Punkten in den zwei Bildern identifiziert worden sind, wird die tatsächliche Bestimmung der projektiven Transformation als Routine betrachtet.
Es ist jedoch entdeckt worden, dass rein routinemäßige Bestimmung einer projektiven Transformation aus einer Vielzahl von Paaren von einander entsprechenden Punkten häufig nicht genügend stabil oder genau ist. Die betreffenden Techniken benötigen ein einfaches und genaues Verfahren zum Bestimmen solcher projektiver Transformationen.
Das Zitieren einer Referenz hier oder in der ganzen Beschreibung soll nicht als ein Eingeständnis aufgefasst werden, dass eine solche Referenz zum Stand der Technik für die Erfindung der Anmelderin der nachfolgend beanspruchten Erfindung gehört.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Erfindung ist in dem angefügten Verfahrensanspruch 1 und den Geräteansprüchen 6 und 1 und dem Datenträgeranspruch 13 dargelegt. Aufgaben der vorliegenden Erfindung sind, Geräte und Verfahren zu verschaffen, die einfach und stabil eine genaue projektive Transformationen bestimmen, die zwischen zwei Bildern aus Paaren von einander entsprechenden Punkten, die in jedem Bild des Paares identifiziert worden sind, einen Zusammenhang herstellen.
Die Lösung dieser Aufgaben durch die vorliegende Erfindung hängt von der Entdeckung ab, dass projektive Transformation besser aus einer Vielzahl von Paaren von einander entsprechenden Punkten in beiden Bildern bestimmt werden kann, wenn die numerischen Bereiche der Koordinaten dieser einander entsprechenden Punkte minimiert werden. Mit minimalen numerischen Bereichen der Koordinaten werden Fehler, die aus nichtlinearen Termen in den Koordinaten auftreten, im Vergleich zu anderen Verfahren, die diese Entdeckung nicht kennen, verringert.
Die vorliegende Erfindung minimiert diese Koordinatenbereiche vor dem Bestimmen der projektiven Transformation, die zwischen einem Paar von Bildern einen Zusammenhang herstellt. Bei einer Alternative wird in jedem Bild vor dem Minimieren dieser Koordinatenbereiche ein ursprüngliches Koordinatensystem gewählt. Diese Wahl kann beispielsweise durch Finden eines Koordinatenursprungs getroffen werden, für den die Summe der Radiusvektoren zu den Punkten ein Minimum ist. Ein solcher Koordinatenursprung kann mit einer Suchtechnik gefunden werden. Bei dieser Alternative wird die projektive Transformation direkt im ursprünglichen Koordinatensystem bestimmt.
Bei einer anderen bevorzugten Alternative wird in jedem Bild ein willkürliches ursprüngliches Koordinatensystem gewählt. Später wird ein Translationsvektor bestimmt, sodass in einem translatierten Koordinatensystem die numerischen Koordinatenbereiche minimiert werden. Ein solcher Translationsvektor kann beispielsweise als der Mittelwert von Koordinaten aller einander entsprechenden Punkte in jedem Bild bestimmt werden. Bei dieser Alternative wird die projektive Transformation zuerst in dem translatierten Koordinatensystem bestimmt und dann so eingestellt, dass sie in dem ursprünglichen, nichttranslatierten Koordinatensystem Anwendung findet.
Bei jeder Alternative wird die projektive Transformation, die zwischen den zwei Bildern eines Paares von Bildern einen Zusammenhang herstellt, nachdem sie einmal bestimmt worden ist, angewendet, um das Paar von Bildern in räumliche Registrierung oder Ausrichtung zu bringen. Die räumlich registrierten oder ausgerichteten Bilder können dann mittels Überlagerung, Interpolation, erneutem Abtasten usw. in einfacher Weise zusammengeführt werden.
Das Gerät dieser Erfindung ist ausgebildet, um eine Vielzahl von Bildern zu gewinnen und die Bildzusammenführung gemäß den vorstehenden Verfahren auszuführen. Zunächst kann es ein Bildgewinnungsgerät enthalten, das mittels Projektion einer dreidimensionalen (3D-)Szene zweidimensionale (2D-)Digitalbilder erstellt. Solche Bildgewinnung enthält optische Kameras aller möglichen Arten. Es enthält beispielsweise auch Röntgengeräte, die ein Bild eines zu untersuchenden Objektes auf eine Röntgenbilddetektionseinrichtung projizieren. Auch können Bilder in einfacher Weise über eine Kommunikationsverbindung aus entfernt liegenden Bildgewinnungseinrichtungen oder Bildspeicherungseinrichtungen gewonnen werden.
Zweitens kann die tatsächliche Bildverarbeitung mit einem geeigneten programmierten Allzweckcomputer, wie z.B. einem PC ausgeführt werden. Auch kann sie mit spezialisierter, an Bildverarbeitung angepasster Hardware ausgeführt werden.
Im Einzelnen werden diese Aufgaben durch die folgenden Ausführungsformen dieser Erfindung gelöst. Bei einer ersten Ausführungsform enthält die vorliegende Erfindung ein Verfahren zum Zusammenführen eines Paares von überlappenden zweidimensionalen (2D-)Bildern, welche Bilder Projektionen einer einzelnen dreidimensionalen (3D-)Szene sind, wobei das genannte Verfahren umfasst: Selektieren von zumindest vier Merkmalpunkten in der 3D-Szene, Finden der den selektierten Merkmalpunkte entsprechenden 2D-Koordinaten der Punkte in beiden Bildern, wobei die 2D-Koordinaten in Bezug auf ursprüngliche Koordinatensysteme in den zwei Bildern gefunden werden, Translatieren der ursprünglichen Koordinatensysteme der zwei Bilder, um die mittleren Koordinatenbereiche der gefundenen 2D-Koordinaten wesentlich zu minimieren, Bestimmen der Parameter einer nahezu optimalen projektiven Transformation, die mit den entsprechenden translatierten Koordinaten in den zwei Bildern zusammenhängen, Bestimmen der Parameter der projektiven Transformation zur Anwendung in den nicht translatierten Koordinatensystemen der zwei Bilder und Zusammenführen der zwei Bilder durch Transformieren eines Bildes gemäß der projektiven Transformation und Kombinieren des transformierten Bildes mit dem anderen Bild.
Bei einer zweiten Ausführungsform enthält die Erfindung ein Gerät zum Zusammenführen eines Paares von überlappenden zweidimensionalen (2D-)Bildern, welche Bilder Projektionen einer einzelnen dreidimensionalen (3D-)Szene sind, wobei das Gerät umfasst: Mittel, um ein Paar von 2D-Bildern zu erhalten, einen Prozessor, der auf das Mittel zum Erhalten von Bildern anspricht und ausgebildet ist, um die Verfahren der ersten Ausführungsform auszuführen, ein Display zum Betrachten des von dem Prozessor zusammengeführten Paares von Bildern.
Bei einer dritten Ausführungsform enthält die Erfindung ein Röntgengerät zum Zusammenführen eines Paares von überlappenden zweidimensionalen (2D-)Bildern, welche Bilder Projektionen einer einzelnen dreidimensionalen (3D-)Szene sind, wobei das Gerät umfasst: eine Röntgenquelle zum Projizieren eines Bündels von Röntgenstrahlen durch ein zu untersuchendes Objekt hindurch, einen Röntgendetektor zum Erhalten von digitalen Röntgenbildern, die Projektionen des Objektes sind, einen Prozessor, der auf von dem Röntgendetektor erhaltene Paare von überlappenden Röntgenbildern anspricht und ausgebildet ist, um die Verfahren der ersten Ausführungsform auszuführen, ein Display zum Betrachten des von dem Prozessor zusammengeführten Paares von Bildern.
Bei einer vierten Ausführungsform enthält die Erfindung ein computerlesbares Medium, das codiere Programmbefehle umfasst, um einen Prozessor die Verfahren der ersten Ausführungsform ausführen zu lassen.
KURZE BESCHREIBUNG DER ZEICHNUNG
Weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Weiteren näher beschrieben. Es zeigen:
1 ein System um die Erfindung praktisch auszuführen;
2 eine optische Einrichtung zum Erhalten von erfindungsgemäß zu verarbeitenden Bildern;
3 eine diagnostische Röntgeneinrichtung zum Erhalten von erfindungsgemäß zu verarbeitenden Bildern;
4 Bildregistrierung und Zusammenführung für eine Vielzahl von diagnostischen Röntgenbildern und
5 eine Ausführungsform des erfindungsgemäßen Verfahrens.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Im Folgenden werden zuerst Ausführungsbeispiele von Geräten zur praktischen Ausführung der vorliegenden Erfindung beschrieben, gefolgt durch detaillierte Beschreibungen von bevorzugten Ausführungsformen der Verfahren der vorliegenden Erfindung.
Bevorzugte Geräte der Erfindung
Die vorliegende Erfindung wird vorzugsweise in Geräten praktisch verwendet, die zweidimensionale digitale (2D-)Bilder gut verarbeiten können. 1 erläutert als Beispiel das PC-artige Computergerät 29, das für geeignete Bildverarbeitung ausgerüstet ist. Dieses Gerät enthält den PC-artigen Computer 27 mit einem Mikroprozessor zum Berechnen und zur Bildverarbeitung. PC 27 kann optional auch eine spezielle Bildverarbeitungskarte 28 oder andere gleichartige Hardware enthalten, um gewisse Bildverarbeitungsfunktionen zu unterstützen oder vollständig auszuführen. Ein Benutzer verwendet die Tastatur 25 und andere Eingabeeinrichtungen, um die Bildverarbeitung erfindungsgemäß zu steuern. Ursprüngliche und verarbeitete Bilder können auf dem Monitor 20 dargestellt wer den oder auf einer Hardcopy-Ausgabeeinrichtung 24 ausgedruckt werden. Ursprüngliche und verarbeitete Bilder können auch über eine Netzwerkverbindung 26 übertragen werden.
Digitale 2D-Bilder von 3D-Szenen können zur Eingabe in die Geräte dieser Erfindung zur Verarbeitung mit Hilfe der Verfahren der vorliegenden Erfindung mit jedem beliebigen nach dem Stand der Technik bekannten Mittel erhalten werden. Ein Beispielsmittel ist einfach, Standardfotografien mit einem digitalen Scanner zu scannen. 1 erläutert ein anderes Beispielsmittel, eine digitale PC-Kamera 21, die ein Linsensystem 23 zur optischen Bildgebung und ein CCD-Feld 22 zur Umwandlung eines optischen Bildes in Digitalsignale zur Eingabe in den PC 28 enthält. Wie erläutert, wird ein Bild einer 3D-Szene, das den Pfeil 31 enthält, mittels eines Linsensystems 23 auf ein CCD-Feld 22 projiziert.
2 erläutert die Verwendung der Digitalkamera 32, mit vielleicht größerer Fähigkeit als die PC-Kamera 21, welche Digitalkamera zum Drehen um Achsen 33 und 35 auf einem Stativ 33 montiert ist, um über die erweiterte Szene 37 zu schwenken. Da die Kamera 32 Bilder nur von einem begrenzten Teil der 3D-Szene gleichzeitig erstellen kann, beispielsweise von Objekten in dem Kegel 36, der auf einen digitalen Aufnehmer in der Kamera 32 projiziert wird, erfordert das Erstellen eines Bildes der gesamten erweiterten Szene 37, dass mehrfache einzelne Bilder mit Hilfe des Bildverarbeitungsgeräts gemäß der vorliegenden Erfindung zu einem zusammengesetzten Bild zusammengeführt werden. Die Digitalkamera 32 kann auf selektierte Bänder von elektromagnetischer Strahlung ansprechen, beispielsweise auf infrarotes oder auf sichtbares Licht.
Die Notwendigkeit, mehrfache überlappende Bilder zu einem einzelnen zusammengesetzten Bild zusammenzuführen, tritt in zahlreichen Feldern der Technik und Technologie auf, beispielsweise bei der medizinischen Diagnose. 3 erläutert ein Röntgenbildgebungsgerät 14, das 2D-Projektionsbilder eines dreidimensionalen Patienten 12 oder von anderen zu untersuchenden Objekten erstellt. Dieses Gerät projiziert das Röntgenbündel 15 von einem Brennpunkt innerhalb der Röntgenquelle 1 durch die Blende 1a, dann durch den Patienten 12 und schließlich auf den Röntgendetektor 2, der ein digitales Bildsignal zur Eingabe in einen Bildprozessor ausgibt, der gemäß der vorliegenden Erfindung ausgebildet ist. Die Parameter der Röntgenbildprojektion ändern sich bei Bewegungen der Röntgenquelle und des Röntgendetektors entlang den verschiedenen veranschaulichten Freiheitsgaden.
Beispielsweise kann der Patient 12 auf einem Patiententisch 8 mit Hilfe von Motormitteln 9 in Längsrichtung entlang Richtung 11 verlagert werden. Die Röntgenquelle und der Röntgendetektor, die auf einem C-Bogen 3 montiert sind, der seinerseits mittels der Manschette 4 auf dem Träger 5 montiert ist, sind zu koordinierter Rotation um zwei senkrecht zueinander stehende horizontale Achsen 12' und 12" fähig. Schließlich kann der Träger 5 entlang Schienen 7 in Längsrichtung translatiert oder um eine vertikale Achse 6 rotiert werden. Die vorliegende Erfindung ist auch auf ein Röntgenbild anwendbar, das andere Mittel aufweist, um die Röntgenquelle und den Röntgendetektor zur Drehung oder Translation gemeinsam zu bewegen.
Um ein zusammengesetztes Bild einer ausgedehnten Region des Patienten zu erhalten, beispielsweise der Beine des Patienten, muss eine Vielzahl von einzelnen Bildern zusammengeführt werden, die während des Schwenkens des Röntgengerätes um ein oder mehr dieser Freiheitsgrade erstellt worden sind. 4 erläutert schematisch die Bildung begrenzter Bilder und die Zusammenführung von aufeinander folgenden und überlappenden Bildern zu einem zusammengesetzten ausgedehnten Bild. Das Bein 16 eines Patienten wird auf einem Patiententisch dargestellt. Der vertikale Träger 5 wird entlang Schienen 7 bewegt, sodass die Röntgenquelle in Richtung des Pfeils 14 bewegt wird. Da die Röntgenquelle bewegt wird, ist das Röntgenbündel 15 mit Unterbrechungen auf das Bein des Patienten gerichtet. Zusammen mit der Röntgenquelle wird auch der Röntgendetektor bewegt, sodass er der Röntgenquelle zugewandt ist, wenn der Patient bestrahlt wird. Immer wenn das Bein des Patienten bestrahlt wird, wird auf dem Eingangsschirm des Bildverstärkers ein begrenztes Röntgenbild erstellt. So wird eine Sammlung 40 aus aufeinander folgenden Bildern 41₁ bis 41_n gebildet, die einander bis zu verschiedenen Graden überlappen. Die Überlappung zwischen Teilbildern hängt von der Verlagerung zwischen Positionen der Röntgenquelle bei der Bestrahlung zur Bildung der genannten Teilbilder ab.
Ein gemäß der vorliegenden Erfindung ausgebildetes Gerät führt die Teilbilder der Sammlung 40 genau zu einem zusammengesetzten Bild 42 zusammen, das ein Schattenbild der vollständigen Beine des Patienten enthält. Beispielsweise müssen die Bilder 41_n-1 und 41_n vor der Zusammenführung in räumliche Registrierung gebracht werden, wobei Fehlregistrierung beispielsweise auf geplante oder versehentliche Änderungen der Orientierung des Röntgenbündels 15 beim Erstellen der beiden Projektionsbilder zurückzuführen ist. Fehlregistrierung zeigt sich im Gebiet 40 der Überlappung, wo beispielsweise Punkt 43_n-1 auf einer anderen Stelle liegt als Punkt 43_n , obwohl beide Punkte das gleiche Merkmal im Bein 16 des Patienten repräsentieren. Fehlregistrierung wird durch Bestimmung einer projektiven Transformation korrigiert, die zwischen den Bildern 41_n-1 und 41_n einen solchen Zusammenhang herstellt, dass die Punkte 43_n-1 und 43_n in gleicher räumlicher Position liegen. Bilder in räumlicher Registrierung können ohne Unschärfeerzeugung zusammengeführt werden.
Bevorzugte Verfahren der Erfindung
Nachdem es eine Vielzahl von überlappenden 2D-Bildern als Projektionen einer 3D-Szene mittels einer geeigneten Bildgewinnungseinrichtung, beispielsweise durch die oben beschriebenen Einrichtungen, erhalten hat, führt ein geeignetes Bildverarbeitungsgerät, beispielsweise Gerät 29, das zum Ausführen der Verfahren dieser Erfindung programmiert ist, die überlappenden einzelnen Bilder zu einem zusammengesetzten 2D-Bild der 3D-Szene zusammen.
Bezugnehmend auf 5 führen diese Verfahren für ein Paar von überlappenden 2D-Bildern, die bei Schritt 51 erhalten worden sind, im Allgemeinen die folgenden Schritte aus: erstens bei Schritt 52 eine Selektion von Merkmalpunkten in dem überlappenden 2D-Gebiet in jedem Bild, das dem gleichen Merkmal in der 3D-Szene entspricht; zweitens bei den Schritten 53, 54 und 55 eine Bestimmung einer im Wesentlichen optimalen projektiven Transformation, die zwischen den zwei einzelnen Bildern von den Merkmalkoordinaten aus einen Zusammenhang herstellt; drittens bei Schritt 56 Transformation eines Bildes des Paars durch die projektive Transformation; und viertens bei Schritt 57 Zusammenführung der zwei Bilder zu einem zusammengesetzten Bild. Bei der vorliegenden Erfindung ist eine im Wesentlichen optimale projektive Transformation eine solche, deren Fehler auf Ungewissheiten bei den Eingangskoordinatendaten und auf eventuelle numerische Fehler zurückzuführen sind, die in dem Verfahren auftreten, mit dem die Transformierte bestimmt worden ist.
Wenn drei oder mehr Bilder zusammengeführt werden müssen, können Paare von Bildern selektiert werden und gemäß den erfindungsgemäßen Verfahren paarweise zusammengeführt werden, indem eine geeignete Reihenfolge beachtet wird, unter der Annahme dass die notwendigen Bildüberlappungen vorliegen. Beispielsweise können die Bilder sequentiell durch anfängliche Zusammenführung der ersten zwei Bilder, dann anschließend Zusammenführung des dritten Bildes mit dem Ergebnis der Zusammenführung der ersten zwei Bilder usw. zusammengeführt werden. Alternativ können die Bilder hierar chisch zusammengeführt werden, indem anfänglich die ersten zwei Bilder zusammengeführt werden, dann anschließend die zweiten zwei Bilder, dann die vorhergehenden zwei Ergebnisse usw. Andere geeignete Reihenfolgen der Zusammenführung können gewählt werden, um sich der Struktur der ursprünglichen 3D-Szene anzupassen.
Geht man zu einer detaillierteren Beschreibung der einzelnen Schritte des Verfahrens über, so kann die Selektion von Merkmalpunkten in dem überlappenden Gebiet eines Paares von überlappenden 2D-Bildern bei Schritt 52 beispielsweise manuell erfolgen. Hierbei wählt ein Benutzer beispielsweise beim Gerät 29N leicht voneinander unterscheidbare Punkte in der 3D-Szene, die in beiden Bildern auftreten. Dann werden diese Merkmalpunkte in beiden Bildern identifiziert und ihre Koordinaten werden in beiden Bildern gemessen. Dies führt zu N Paaren von 2D-Koordinaten, wobei jedes Paar die einander entsprechenden Koordinaten eines Merkmalpunktes darstellt. Diese werden durch die folgenden Paare repräsentiert: ui = (u1,i u2,i)T, vi = (v1,i v2,i), i = 1,..., N (1)
Hierin sind u_i die Koordinaten von Punkten in einem Bild und v_i die Koordinaten der einander entsprechenden Punkte in dem anderen Bild.
Die Merkmalpunkte können auch von dem Bildverarbeitungsgerät automatisch selektiert werden. Ein automatisches Verfahren läuft ab, indem zuerst Punkte in dem überlappenden Gebiet des Bildes sparsam abgetastet werden, dann Matching oder Korrelation von lokal umgebenden Blöcken von Punkten verwendet werden, um Kandidatenpaare oder abgetastete Punkte zu bestimmen, die dem gleichen 3D-Szenepunkt entsprechen sollten und schließlich durch Festhalten nur solcher Kandidatenpaare, die für genaues Blockmatching oder Korrelation genügend umgebende Struktur aufweisen. Siehe z.B. Schultz et al, 1999, IEEE International Conference on Acoustics, Speech and Signal Processing, Bd. 4, S. 3265–3268.
Ein anderes automatisches Verfahren läuft ab, indem zuerst Multiresolutionszerlegung der Bilder durch selbstähnliche diskrete Wavelet-Transformationen ausgearbeitet wird, dann Kandidatenbildpunkte mit lokalen Maxima des Pixelwertgradienten, der größer ist als eine Schwelle, bei der der Pixelwertgradient bei allen Auflösungen vorherrscht, ausgewählt werden und schließlich nur diejenigen Paare von Kandidatenpunkten festgehalten werden, die genügend viele kreuzkorrelierte lokal umgebende Blöcke von Punkten haben und dadurch diejenigen, die dem gleichen Merkmal in 3D-Szenen entsprechen sollten. Diese dem Pixelwertgradienten auferlegten Bedingungen dienen dazu, zu ge währleisten, dass es eine genügende Bildstruktur gibt, die die Kandidatenpunkte für eine genaue Kreuzkorrelation umgibt.
Die nächsten Schritte bestimmen eine einzelne im Wesentlichen optimale projektive Transformation, die zwischen den Paaren von einander entsprechenden Punkten in dem überlappenden Gebiet von zwei Bildern einen Zusammenhang herstellt. Eine projektive Transformation modelliert die Beziehung zwischen den Paaren von überlappenden Bildern am besten, weil, wie oben detailliert dargestellt, die Bilder von Einrichtungen erhalten werden, die eine 3D-Szene auf die 2D-Bilder projizieren. Eine projektive Transformation, die Paare von einander entsprechenden Punkten miteinander verbindet, wird im Folgenden durch die folgende Matrixgleichung repräsentiert.
Diese Transformation hat die folgenden Matrixparameter, die durch ihre acht Matrixelemente bestimmt werden.
Diese Transformation ist so gewählt, dass sie für alle N Paare von einander entsprechenden 2D-Koordinaten gilt, die zuvor selektiert worden sind.
In den folgenden Umordnungen wird eine alternative, kompaktere Repräsentation dieser N Beziehungen entwickelt. Zuerst führt das Multiplizieren mit C^T ·u_i + 1 zu den folgenden linearen Beziehungen für die Matrixelemente. a11u1,i + a12u2,i – c1u1,iv1,i – c2u2,iv1,i + t1 = v1,i (4a) a21u1,i + a22u2,i – c1u1,iv2,i – c2u2,iv2,i + t2 = v2,i (4b)
Die folgende Matrixform ist diesen Beziehungen äquivalent.
Lässt man P die 8×1-Matrix von Transformationsparametern repräsentieren und lässt man U_i und V_i die übrigen Matrizen in Gleichung 5 repräsentieren, dann sind die folgenden kompakten linearen Repräsentationen möglich, die die Parametermatrix P bestimmen.
Mit Bezug auf 5 im Licht der Gleichungen 6 und 7 wird als nächstes bei Schritt 53 der Ursprung des Koordinatensystems in den zwei Bildern translatiert oder mittels Vektoren u₀ bzw. v₀ verschoben, sodass die folgende Koordinatentransformation erhalten wird. u'i = ui – u0, v'i = vi–v0 (8)
Eine wichtige Entdeckung, auf der diese Erfindung gegründet ist, ist, dass die Stabilität und Genauigkeit der Lösung für die Parametermatrix P erheblich verbessert wird, wenn die Koordinatentranslationen so gewählt werden, dass sie im Mittel den numerischen Bereich aller Koordinatenwerte der einander entsprechenden Markmalpunkte in jedem Bild minimieren. Solche Minimierung ist effektiv, weil sie Computerfehler in den Gliedern reduziert, die die Produkte von in den Matrizen U; auftretenden Merkmalpunktkoordinaten enthalten, wobei diese Produkte in den Gleichungen 4A, 4B und 5 erkennbar sind.
Eine solche Minimierungstranslation kann mit allen Mitteln, die für den Fachkundigen offensichtlich sind, bestimmt werden. Die folgenden drei Beziehungen definieren in einfacher Weise berechenbare minimierende Translationsvektoren u₀ und v₀, u0 = min(ui), v0 = min(vi) (9a)
Beim Wählen einer der Gleichungen 9a, 9b oder 9c, die zu dem kleinsten mittleren Bereich aller Koordinatenwerte der einander entsprechenden Merkmalpunkte führen oder alternativ beim Wählen einer anderen Translation, die zu einem noch kleineren mittleren Koordinatenbereich führt, werden alle N Koordinatenpaare durch die gewählte Translation verschoben.
Bei einer alternativen Ausführungsform kann diese Translation vermieden werden, wenn die ursprünglichen Koordinatensystemen in den zwei gewählten Bildern so gewählt werden, dass die numerischen Bereiche der Merkmalpunktkoordinaten anfänglich minimiert werden. Diese Wahl kann erfolgen, indem eine optimale Platzierung der Ursprünge der Koordinatensysteme in den zwei Bildern gesucht wird. Bei dieser Suche nach dem Koordinatenursprung kann man versuchen, eine der Gleichungen 9a, 9b oder 9c oder eine andere Metrik wie den mittleren quadratischen Abstand der Merkmalpunkte vom Koordinatenursprung zu minimieren. Wenn die Koordinatensysteme so gewählt werden, kann die projektive Transformation direkt bestimmt werden.
Kehrt man zu der bevorzugten Ausführungsform zurück, so werden nach der Koordinatentranslation die Matrizen U_i und V_i für die Gleichungen 6 oder 7 in Schritt 54 gemäß der Vorschrift von Gleichung 5 bestimmt. Da es acht Einträge in der Parametermatrix P zu bestimmen gibt und da zwei Gleichungen aus jedem Koordinatenpaar resultieren (siehe Gleichungen 4a und 4b), werden zum Bestimmen von P aus Gleichung 6 oder 7 zumindest vier Koordinatenpaare für vier Merkmalpunkte benötigt. Wenn es mehr als vier Merkmalpunkte gibt, was vorzuziehen ist, sind die Gleichungen 6 oder 7 überbestimmt. In beiden Fällen können diese Gleichungen durch bekannte Verfahren der numerischen Analyse gelöst werden, um die im Wesentlichen optimale projektive Transformation in Schritt 55 zu bestimmen. Siehe z.B. Press et al., 1993, Numerical Recipes in C: The Art of Scientific Computing, Cambridge University Press. Ein alternatives Lösungsverfahren ist, ein Standardverfahren der kleinsten Quadrate zu verwenden. In diesem Verfahren sind die Parametermatrixeinträge diejenigen, die folgende quadratische Fehlerfunktion minimieren.
Im Detail können tatsächliche Matrixeinträge durch Differenzieren der Gleichung 10, Setzen der Ableitung auf Null und Lösen der resultierenden linearen Gleichungen bestimmt werden.
Ein anderes und bevorzugtes alternatives Lösungsverfahren ist, eine Singulärwertzerlegung (SVD) auf die Matrix ⌊U₁ U₂ ··· U_N/2⌋^T anzuwenden. Dies führt zu der folgenden wohl bekannten Zerlegung ⌊U1 U2 ··· UN/2 T = RT·D·Q (11)
Hierin sind R und Q orthonormale Matrizen und D ist die folgende diagonale Matrix
Bei Verwendung dieser Matrizen kann die Parametermatrix P direkt durch die folgende Lösung bestimmt werden
Wenn in Schritt 55 die projektiven Transformationsparameter in dem translatierten Koordinatensystem bestimmt worden sind, müssen sie in Schritt 56 geändert werden, sodass die projektive Transformation in dem ursprünglichen, nichttranslatierten Koordinatensystem angewendet werden kann. Diese Änderung kann unmittelbar gemäß den folgenden Gleichungen ausgeführt werden, wobei A, T und C die projektiven Transformationsparameter in dem ursprünglichen Koordinatensystem sind, A', T' und C' die projektiven Parameter in dem translatierten Koordinatensystem sind und zwischen den Koordinaten (u v)^T in den zwei Koordinatensystemen durch die Translationsvektoren (u₀ v₀)^T ein Zusammenhang hergestellt wird.
Diese Beziehungen sorgen dafür, dass die folgende Beziehung, die die Äquivalenz der ursprünglichen und translatierten projektiven Transformationen repräsentiert, wahr ist.
Schließlich werden in dem endgültigen Schritt, Schritt 57 des Verfahrens die zwei Bilder zu einem zusammengesetzten Bild zusammengeführt, wobei die projektive Transformation in dem ursprünglichen, nicht translatierten Koordinatensystem ausgedrückt ist. In diesem Schritt wird erstens eines der Bilder durch die bestimmte projektive Trans formation transformiert, um die zwei Bilder in räumliche Registrierung zu bringen. Danach wird das zusammengesetzte Bild in den nicht überlappenden Gebieten aus dem transformierten Bild und dem anderen Bild gesondert erstellt, eventuell mit erneutem Abtasten auf einem neuen Raster, das das zusammengesetzte Bild definiert. In dem überlappenden Gebiet wird das zusammengesetzte Bild durch eine Kombination aus dem transformierten Bild und dem anderen Bild erstellt, beispielsweise durch Interpolieren der Werte der Punkte dieser Bilder und erneutes Abtasten auf dem neuen Raster des zusammengesetzten Bildes.
Die Verfahren dieser Erfindung werden in einfacher Weise auf einem Bildverarbeitungsgerät, beispielsweise Gerät 29 durch Programmieren der obigen Schritte in einer geeigneten Programmiersprache, beispielsweise C oder FORTRAN implementiert. Initialisierung und Beendigung solcher Programme erfolgen in den Schritten 50 bzw. 58. Optional können numerische Algebrapakete, wie z.B. LINPACK verwendet werden, um verschiedene der obigen Schritte routinemäßig auszuführen, wie z.B. notwendige Matrixmultiplikation, Finden der SVD usw. Der Fachkundige kann in einfacher Weise und routinemäßig anhand der obigen Beschreibung eine solche Programmierung ausführen.
Computerbefehle zum Steuern eines Mikroprozessors oder eines Bildprozessors, die aus den resultierenden Programmen erzeugt werden, können auf computerlesbaren Medien gespeichert werden, damit sie in einen Speicher geladen werden, um den Mikroprozessor des Bildprozessors für das Ausführen der Verfahren der vorliegenden Erfindung zu steuern. Solche computerlesbaren Medien enthalten magnetische Medien, optische Medien und sogar Übertragung über Netzwerkverbindungen.
Beispiel
Das folgende Beispiel demonstriert die verbesserte Stabilität und Genauigkeit, die mit den Verfahren dieser Erfindung erhalten werden.
Zuerst wurden zwei 2D-Testbilder erzeugt, die überlappende Projektionen einer 3D-Testszene repräsentieren. Diese Testbilder wurden so erzeugt, dass sie durch eine projektive Transformation im Zusammenhang stehen, die die folgenden Parameter hat.
Als nächstes wurden 27 Merkmalpunkte und ihre Koordinaten in dem überlappenden Gebiet der Testbilder bestimmt. Die Koordinatenwerte sind in der folgenden Tabelle aufgezeichnet.
TESTMERKMALPUNKTKOORDINATEN
Als nächstes wurden diese Paare von einander entsprechenden Koordinaten verwendet, um eine im Wesentlichen optimale projektive Transformation mit Hilfe der oben beschriebenen Verfahren zu bestimmen, aber ohne den Schritt des Translatierens des Koordinatensystems, um im Mittel die numerischen Koordinatenbereiche der einander entsprechenden Punkte zu minimieren. Dies führte zu einer projektiven Transformation mit den folgenden Parametern
Zweifellos haben die Matrizen A und T beträchtliche Fehler. Dieses Verfahren, das den direkten bekannten Verfahren ähnlich ist, ist von zweifelhafter Genauigkeit.
Schließlich wurde eine im Wesentlichen optimale projektive Transformation so wie oben bestimmt, die den Schritt des Translatierens des Koordinatensystems enthielt, um im Mittel die numerischen Koordinatenbereiche der einander entsprechenden Punkte zu minimieren. Dies führt zu einer projektiven Transformation mit den folgenden Parametern
Zweifellos sind die Matrizen A und T, wie sie entsprechend der vorliegenden Erfindung bestimmt worden sind, von wesentlich verbesserter Genauigkeit. Die Verfahren der vorliegenden Erfindung sind sicherlich relativ besser als die bekannten direkten Verfahren.
Dieser Vergleich demonstriert die Verbesserungen, die mit der vorliegenden Erfindung erhalten worden sind.

Claims

Verfahren zum Zusammenführen eines Paares von überlappenden zweidimensionalen (2D-)Bildern, welche Bilder Projektionen einer einzelnen dreidimensionalen (3D-)Szene sind, wobei das genannte Verfahren umfasst: Selektieren von zumindest vier Merkmalpunkten in der 3D-Szene, Finden der den selektierten Merkmalpunkten entsprechenden 2D-Koordinaten der Punkte in beiden Bildern, wobei die 2D-Koordinaten in Bezug auf ursprüngliche Koordinatensysteme in den zwei Bildern gefunden werden, Translatieren der ursprünglichen Koordinatensysteme der zwei Bilder, um die mittleren Koordinatenbereiche der gefundenen 2D-Koordinaten wesentlich zu minimieren, Bestimmen der Parameter einer nahezu optimalen projektiven Transformation, die zwischen den entsprechenden translatierten Koordinaten in den zwei Bildern einen Zusammenhang herstellt, Bestimmen der Parameter der projektiven Transformation zur Anwendung in den nicht translatierten Koordinatensystemen der zwei Bilder und Zusammenführen der zwei Bilder durch Transformieren eines Bildes gemäß der projektiven Transformation und Kombinieren des transformierten Bildes mit dem anderen Bild.
Verfahren nach Anspruch 1, bei dem der Selektionsschritt weiterhin automatische Selektion von Merkmalpunkten mit ausreichender Umgebungsstruktur für ein genaues Matching der entsprechenden 2D-Koordinaten in den zwei Bildern umfasst.
Verfahren nach Anspruch 1, bei dem der Translationsschritt weiterhin das Bestimmen der Translation für jedes Bild als den Mittelwert der 2D-Koordinaten in eben diesem Bild umfasst.
Verfahren nach Anspruch 1, bei dem der Schritt des Bestimmens der projektiven Translationsparameter weiterhin das Ausführen einer Singulärwertzerlegung umfasst.
Verfahren nach Anspruch 1, bei dem der Schritt des Bestimmens der projektiven Translationsparameter weiterhin das Ausführen einer Minimierung einer Fehlerfunktion umfasst.
Gerät zum Zusammenführen eines Paares von überlappenden zweidimensionalen (2D-)Bildern, welche Bilder Projektionen einer einzelnen dreidimensionalen (3D-)Szene sind, wobei das Gerät umfasst: Mittel, um ein Paar von 2D-Bildern zu erhalten, einen Prozessor, der auf das Mittel zum Erhalten von Bildern anspricht und ausgebildet ist, um jeden der Schritte des Verfahrens nach Anspruch 1 auszuführen, ein Display zum Betrachten des von dem Prozessor zusammengeführten Paares von Bildern.
Gerät nach Anspruch 6, in dem das Mittel zum Erhalten von Bildern weiterhin eine Digitalkamera umfasst.
Gerät nach Anspruch 6, in dem das Mittel zum Erhalten von Bildern weiterhin ein Röntgengerät umfasst.
Gerät nach Anspruch 6, in dem das Mittel zum Erhalten von Bildern weiterhin eine Netzwerkverbindung umfasst, über die die Bilder empfangen werden.
Gerät nach Anspruch 6, in dem der Prozessor weiterhin Mittel zum Lesen eines computerlesbaren Mediums umfasst.
Röntgengerät zum Zusammenführen eines Paares von überlappenden zweidimensionalen (2D-)Bildern, welche Bilder Projektionen einer einzelnen dreidimensionalen (3D-)Szene sind, wobei das Gerät umfasst: eine Röntgenquelle zum Projizieren eines Bündels von Röntgenstrahlen durch ein zu untersuchendes Objekt hindurch, einen Röntgendetektor zum Erhalten von digitalen Röntgenbildern, die Projektionen des Objektes sind, einen Prozessor, der auf von dem Röntgendetektor erhaltene Paare von überlappenden Röntgenbildern anspricht und ausgebildet ist, um jeden der Schritte des Verfahrens nach Anspruch 1 auszuführen, ein Display zum Betrachten des von dem Prozessor zusammengeführten Paares von Bildern.
Gerät nach Anspruch 10, weiterhin mit Mitteln, um die Röntgenquelle und den Röntgendetektor zur Drehung um zumindest eine Achse oder zur Bewegung entlang zumindest einer Richtung gemeinsam zu bewegen.
Computerlesbares Medium, das codierte Programmbefehle umfasst, um einen Prozessor jeden der Schritte des Verfahrens nach Anspruch 1 ausführen zu lassen. INSCHRIFT DER ZEICHNUNG: Fig. 2 IMAGE PROCESSING BILDVERARBEITUNG

Fig. 3 X-RAY SOURCE RÖNTGENQUELLE IMAGE PROCESSING BILDVERARBEITUNG X-RAY DETECTOR RÖNTGENDETEKTOR

5 50: START 51 ERHALTE PAAR VON BILDERN MIT ÜBERLAPPENDEM GEBIET 52 SELEKTIERE MERKMALPUNKTE IM ÜBERLAPPENDEN GEBIET UND FINDE IHRE KOORDINATEN 53 TRANSLATIERE KOORDINATENSYTEM 54 FINDE PROJEKTIVE PARAMETER IN TRANSLATIERTEM KOORDINATENSYTEM 55 TRANSFORMIERE PROJEKTIVE PARAMETER IN URSPRÜNGLICHES KOORDINATENSYSTEM 56 TRANSFORMIERE EIN BILD MITTELS GEFUNDENER PROJEKTIVER TRANSFOMIERTER 57 FÜHRE TRANSFORMIERTES BILD MIT ANDEREM BILD ZUSAMMEN 58 ENDE