DE69409554T2

DE69409554T2 - Von 3D-Bildsystem abgeleitete visuelle Darstellung von Information

Info

Publication number: DE69409554T2
Application number: DE69409554T
Authority: DE
Inventors: Max Nottingham Ng7 1Qj Robinson
Original assignee: Nottingham Trent University
Current assignee: Nottingham Trent University
Priority date: 1993-02-05
Filing date: 1994-02-04
Publication date: 1998-12-10
Anticipated expiration: 2014-02-05
Also published as: EP0610084B1; EP0610084A3; GB9302271D0; US6438260B1; DE69409554D1; EP0610084A2

Description

Die Erfindung betrifft die von einem stereoskopischen (3D-) Bildsystem abgeleitete visuelle Darstellung von Informationen.
Unter normalen Umständen würde diese Information unter Verwendung einer beliebigen bekannten Technik zur stereoskopischen Betrachtung betrachtet werden. Viele dieser Techniken sind insbesondere zur Verwendung mit Video-Anzeigemonitoren geeignet.
Alternative Anzeigen, die als 2½D-Darstellungen bekannt sind, haben im Bereich der Computergraphik und des CAD Anwendung gefunden. Diese 2½D-Darstellungen (die unter Computergraphikern als 3D bezeichnet werden) sind tatsächlich eine zweidimensionale Darstellung und enthalten nur psychologische Hinweise auf die Tiefe wie die Linearperspektive, Interposition, Schraffuren und Schattierungen, statt dem starken psychologischen Tiefenhinweis, der als binokulare Parallaxe oder Stereoskopie bekannt ist, also einem wirklichen 3D-Bild.
Durch die Verwendung dieser 2½D-Darstellungen ist es möglich, die Bildinformation in einer Reihe von Arten zu manipulieren, die alternative Ansichten des gleichen Objekts ermöglichen. Beispiele hierfür sind die Bildrotation und das Entfernen von Layern. Diese Anzeigetechniken haben sich für die Betrachtung von Bildern, die durch Computer-Tomographie (CT) und aus Magnetresonanz-(MR)- Scannern erhalten wurden, welche nun in der Medizin ein breites Anwendungsgebiet finden, als besonders vorteilhaft erwiesen. Diese beiden Arten von Scannern erzeugen Informationen in Schnitten, und es wurde bereits sehr viel Software entwickelt, um diese Information aus mehreren Schnitten in die 2½D-Darstellung umzuwandeln.
Stereoskopische Bildpaare können auf verschiedene Arten erzielt werden. Tatsächlich sind sie linke und rechte zweidimensionale Perspektiven einer Szene oder eines Objekts, die analog zu den beiden Perspektiven sind, die ein menschliches Auge sieht. Die Bilder können als Photographien, Röntgenbilder, Video-Bilder usw. dargestellt werden.
Das grundlegende Element eines stereoskopischen Bildpaares ist, dass generell der Bildpunkt eines Objekts beispielsweise in der linken Perspektive einen entsprechenden bzw. zugeordneten Punkt in der rechten Perspektive hat. Die Parallaxe, die zwischen dem gleichen Bildpunkt in jeder Perspektive existiert, ist ein Maß für die z-Koordinate, d.h. der Tiefe dieses Punktes.
Folglich gibt es eine Anzahl auf lösbarer Tiefenebenen oder -schnitte in einer stereoskopischen Anzeige, die durch einen Betrag voneinander getrennt sind, der mit der kleinsten erfassbaren Parallaxe in der Anzeige in Beziehung steht. So wird beispielsweise in einer stereoskopischen Videoanzeige die kleinste auflösbare Parallaxe durch die Pixel-Auflösung in dem System definiert, welche wiederum die Dichte der Tiefenebenen in der Anzeige definiert. Diese kleinste erfassbare Parallaxe hängt von den Parametern einer bestimmten Anzeige ab; so hängt sie beispielsweise in einer Situation, in der die Bilder optische Bilder sind, die von einem Betrachter anzusehen sind, von der minimalen Auflösung des Auges ab. Wenn die Bilder beispielsweise auf einem Videomonitor dargestellt werden sollen, wird die kleinste erfassbare Parallaxe durch die minimale Pixel-Auflösung im Gesamtsystem festgelegt, was beispielsweise die Auflösung des Monitors sein kann.
Die Veröffentlichung UK-A-2 134 742 beschreibt die Untersuchung einer visuellen Oberflächentopographie aus Stereobildern. Einzelne Punkte auf einer Oberfläche, d.h. in einem dreidimensionalen Raum mit x-, y- und z-Achse, werden identifiziert, indem der beste Schätzwert der Höhe gefunden wird, d.h. die drei Dimensionen für alle Punkte mit den gleichen Koordinaten für die x- und y-Dimensionen.
Der Erfindung liegt daher die Aufgabe zugrunde, das benötigte 2½D-Bild aus einem stereoskopischen Paar aufzubauen.
Gemäß der Erfindung wird für das Betrachten eines Objekts ein Verfahren zur Schaffung einer zweidimensionalen Körpermodell- Darstellung eines Objekts mit psychologischen Hinweisen auf die Tiefe geschaffen, bekannt als 2½D-Körpermodell-Darstellung, bei dem ein von einem stereoskopischen Paar von Röntgenbildern des Objekts abgeleitetes Stereoskopbild in eine Reihe von Tiefenschnitten aufgelöst wird, indem für jeden Tiefenschnitt einander zugeordnete Punkte des Paars in dieser Tiefe ausgewählt werden, und bei dem die resultierenden Tiefenschnitt-Daten dazu verwendet werden, eine 2½D-Körpermodell-Darstellung aufzubauen, mit einer Software, die die Tiefenschnitt-Daten transformiert.
Außerdem wird für das Betrachten eines Objekts gemäß der Erfindung ein Verfahren zur Schaffung einer zweidimensionalen Körpermodell-Darstellung eines Objekts mit psychologischen Hinweisen auf die Tiefe, bekannt als 2½D-Körpermodell-Darstellung, bestehend aus folgenden Schritten:
a) Vergleichen eines stereoskopischen Paars von Röntgenbildern des Objekts an einer relativen lateralen Position des Paars und Identifizieren von Koinzidenzpunkten zur Darstellung eines Schnitts des Objekts in einer Tiefe, die genau dieser relativen lateralen Position entspricht;
b) laterales Bewegen des Paars relativ zueinander um einen Betrag, der der kleinsten erfassbaren Parallaxe des stereoskopischen Paars entspricht, und Wiederholung des Schritts a;
c) Wiederholung des Schritts b so oft wie erforderlich, um Komzidenzpunkte bei allen Parallaxentiefen oder -schnitten des stereoskopischen Paars zu identifizieren; und
d) Aufbau des 2½D-Körpermodell-Bilds unter Verwendung von Software, die die so erhaltenen Schnitt-Daten transformiert.
Nachdem die erforderliche Tiefeninformation in einer einer Anzahl von Schnitten entsprechenden Form erhalten wurde, kann Software eingesetzt werden - eine geeignete Software ist bereits erhältlich -, die diese Schnitt-Daten in 2½D-Körpermodelle umwandeln kann. Daher kann man 2½D-Modelle aus diesen ursprünglichen stereoskopischen Bildern aufbauen.
Gemäß der Erfindung wurde daher festgestellt, dass ein stereoskopisches Bild als eine Reihe von Tiefenebenen oder -schnitten angesehen werden kann und dass, wenn die Schnitt-Daten identifiziert werden können, eine Software - beispielsweise bereits existierende Software - zum Aufbau des 2½D-Modells verwendet werden kann.
Es gibt eine Reihe von Techniken, die angewandt werden können, um aufeinanderfolgende Tiefenebenen-Informationen aus dem stereoskopischen Paar zu erhalten.
Bisher erfolgte das Auffinden einander zugeordneter Punkte in stereoskopischen Bildern durch Mustererkennungstechniken, die eine Vielzahl von Routinearbeiten einschließt, wie das Extrahieren von Merkmalen wie beispielsweise Ecken und Kanten. Diese Verfahren sind Lösungen für ein Problem, das als Zuordnungsproblem bekannt ist. Jedes dieser traditionellen Verfahren könnte angewandt werden, um einander zugeordnete Punkte zu bestimmen und damit Tiefenebenen zu identifizieren, die zum Aufbau der Körpermodelle verwendet werden können. Diese traditionellen Techniken werden jedoch für jede perspektivische Ansicht separat und in dem Zustand ausgeübt, in dem die Ansichten erhalten wurden, d.h. sie sind eigentlich statisch und nicht interaktiv. Es ist jedoch möglich, zu versuchen, das Zuordnungsproblem zu lösen und die Tiefenebeneninformation unter Verwendung von Techniken zu isolieren, die wie folgt als dynamisch und interaktiv beschrieben werden könnten.
Damit ein Mensch ein stereoskopisches Bild betrachten kann, müssen einige Mittel geschaffen werden, um die rechte und die linke Bildinformation korrekt dem entsprechenden Auge zuzuleiten. Eine dieser Methoden besteht darin, die Zeitmultiplextechnik für die Video-Anzeige der Information zu verwenden. Diese Methode umfasst ein Multiplexen der linken und rechten TV-Kamera-Information, so dass beispielsweise das ungerade Feld des TV-Rahmens von einer Kamera abgenommen wird und das gerade Feld von der anderen Kamera. Der Betrachter muss Augengläser tragen, die so geschaltet werden, dass sie synchron mit dem angezeigten Bild abwechselnd transparent und undurchsichtig werden. Dieses Bild ist nun eine dynamische Mischung von Information aus dem stereoskopischen Sensor. Es existiert ein weiteres, ähnliches Bild, das aus den jeweils anderen geraden und ungeraden Feldern besteht, die nicht verwendet werden.
Ein Merkmal dieser gemultiplexten Bilder ist, dass, wenn sie ohne die schaltbaren Augengläser direkt betrachtet werden, die Objekte, die am Konvergenzpunkt des stereoskopischen Sensors sind, fest und statisch auf dem Schirm erscheinen, während die gesamte restliche Bildinformation flimmtert und undeutlich ist. Diese statischen überlagerten Bildpunkte liegen alle auf der Tiefenebene, die durch den Konvergenzpunkt definiert ist. Derartige Bildpunkte liegen alle auf dem gleichen Schnitt, und zur Entnahme der Schnitt-Daten könnten viele verschiedene Verfahren eingesetzt werden. Die einfachste Methode bestünde darin, unter Verwendung bekannter Techniken einfach die Umrisslinien zu zeichnen, doch es könnten auch andere Bild- oder Mustererkennungsverfahren angewandt werden.
Um die nächste Schnitt-Daten-Information zu erhalten, müssen dann die linke und die rechte Perspektive, die das stereoskopische Bild formen, seitlich (horizontal) zueinander um einen Betrag bewegt werden, der der kleinsten auf lösbaren Parallaxe in der Anzeige entspricht. Diese Bewegung entspräche wahrscheinlich einem Pixel und stellt ein Vorgang dar, der in einem Video-Anzeigen- oder Bildverarbeitungssystem leicht zu erreichen ist. Dies hat den Effekt einer Neudefinierung der Konvergenzebene, und der gesamte vorhergehende Vorgang kann nun wiederholt werden. Alle Tiefenschnitte in dem Bild können auf diese Weise behandelt werden. Das Verfahren kann als dynamisch angesehen werden, da die linke und die rechte Bildinformation durch Multiplexen zusammen gebracht werden, bzw. als interaktiv, da sie in seitlicher Weise progressiv zueinander bewegt werden.
Ein alternatives stereoskopisches Betrachtungsverfahren, welches als Anaglyphenbildtechnik bekannt ist, kann ebenfalls angewandt werden. Bei diesem Verfahren werden linke und rechte Bilder unter Verwendung von Farbe - für gewöhnlich rot und grün oder rot und blau - codiert. Daher könnte eine Konvergenz-Tiefenebeneninformation durch die Verwendung von Farbe identifiziert werden, welche charakteristisch für Bilder war, die überlagert wurden. Eine progressive seitliche Versetzung würde wiederum stattfinden.
Eine alternative Möglichkeit, aufeinanderfolgende Tiefenebeneninformationen zu erhalten, bestünde darin, nacheinander ein Bild vom anderen zu subtrahieren. Diese aufeinanderfolgenden Tiefenebeneninformationen können aus einem stereoskopischen Paar erhalten werden, indem nacheinander die Bildinformation eines Elements des Paars vom anderen Element des Paars subtrahiert wird, wenn das Paar an einer relativen lateralen Überlagerung überlagert wird und damit eine erste Tiefenebeneninformation liefert, indem das Paar relativ zueinander um einen Betrag bewegt wird, der der kleinsten erfassbaren Parallaxe in einer Anzeige für die Bilder entspricht, indem wiederum die Bildinformation eines Elements des Paars vom anderen Element des Paars bei dieser späteren Überlagerung subtrahiert wird, womit eine zweite Tiefenebeneninformation geliefert wird, und indem darüber hinaus die erste Tiefenebeneninformation von der zweiten Tiefenebeneninformation subtrahiert wird, um die eindeutige Tiefenebeneninformation für die bestimmte relative laterale Überlagerung zu liefern, wobei die Bewegung und die Subtraktionen so durchgeführt werden, wie erforderlich, um eine eindeutige Tiefenebeneninformation für so viele Ebenen wie nötig zu liefern, wobei die zweite Tiefenebeneninformation in einem nachfolgenden Schritt als die erste Tiefenebeneninformation verwendet wird und eine neue zweite Tiefenebeneninformation nach der Bewegung des Paars zueinander um einen Betrag, der der kleinsten erfassbaren Parallaxe in einer Anzeige für die Bilder entspricht, erhalten werden kann.
Sobald diese Tiefenanzeigeinformation auf die eine oder andere Art und Weise erzielt wurde, kann sie verwendet werden, um mit einer Software verarbeitet zu werden, die für die Rekonstruktion von Schnitt-Daten aus CT- oder MR-Scanner-Systemen zur Reproduktion von 2½D-Modellen zur Verfügung steht, obwohl diese Rekonstruktion und die verschiedenen Subtraktionen gegebenenfalls manuell durchgeführt werden könnten.
Ein Vorteil der Erfindung liegt darin, dass, obwohl mit einem stereoskopischen Bild und nicht mit einem Bild aus mehreren Schnitten begonnen wird, eine Rekonstruktion immer noch automatisch in einer Software gemacht werden kann, die eine 2½D-Anzeige mit all ihren üblichen Merkmalen ermöglicht. Das Endergebnis ist sowohl ein vollständiges binokulares stereoskopisches Bild (3D) als auch eine davon abgeleitete 2½D-Festkörperrekonstruktion.
Die Erfindung erstreckt sich auch auf das 2½D-Festkörpermodell- Bild, das durch das erfindungsgemäße Verfahren aus einem stereoskopischen Paar von Bildern erzielt wird.
Das erfindungsgemäße Verfahren ermöglicht es, einzelne Tiefenebenen in einem stereoskopischen Bild zu identifizieren. Das Verfahren kann auf Bildsubtraktion basieren und unter Verwendung von digitalen Bildverarbeitungstechniken ausgeführt werden. Wird beispielsweise die linke Perspektive des stereoskopischen Bildpaars von der rechten subtrahiert, dann können alle einander zugeordneten Bildpunkte, die überlagert sind (d.h. am effektiven Konvergenzpunkt der Anzeige), entfernt werden. Das bedeutet, dass die Tiefenebene am Konvergenzpunkt entfernt und die verbleibende dreidimensionale Parallaxen-Information auf ein zweidimensionales Muster reduziert wurde.
Wenn nun die beiden Perspektiven um einen Betrag, der der kleinsten auf lösbaren Parallaxe (d.h. einem Pixel) entspricht, seitlich zueinander bewegt werden und dann eine weitere Subtraktion stattfindet, hat die Entfernung einer Tiefenebene neben der ersten Tiefenebene stattgefunden. Bezeichnenderweise ist jedoch die Tiefenebene, die ursprünglich entfernt wurde, nun in einem 2- D-Parallaxenmuster erschienen. Eine weitere Subtraktion des ersten 2-D-Musters vom zweiten enthält daher nur die einzige Tiefenebeneninformation aus dem ersten Konvergenzpunkt.
Die Sammlung all dieser Tiefenebeneninformationen wird von der Rekonstruktionssoftware benötigt, um das 2½D-Modell aufzubauen, obwohl die Erfindung gegebenenfalls auch das Erhalten von Tiefenebeneninformationen für eine einzige Tiefenebene betrifft.
Alle Tiefenebenen können auf diese Weise durch seitliches Versetzen immer eines Pixels durch das stereoskopische Bild automatisch isoliert werden.
Eine Computersoftware kann diesen automatischen Arbeitsgang ausführen und so angelegt sein, dass sie mit der Art von Software kombiniert werden kann, die gerade für die Rekonstruktion von Schnitt-Daten aus CT- oder MR-Scanner-Systemen erhältlich ist. Daher kann der gesamte Vorgang automatisch ablaufen.
Das Hauptanwendungsgebiet der Technik liegt in der Ableitung von Objektmodellen aus stereoskopischen Bildern, die mit Linear- Array-Röntgensystemen erhalten wurden. Die gleiche Technik könnte auch für stereoskopische Bilder angewandt werden, die mit anderen stereoskopischen Sensor-Systemen erhalten wurden.
Die Erfindung kann insbesondere für binokulare stereoskopische Röntgenuntersuchungssysteme angewandt werden, wie sie in der europäischen Patentanmeldung Nr. 87308517.9 (Veröffentlichungsnummer 261984) des Anmelders beschrieben sind; auf diese Anmeldung wird beispielsweise Bezug genommen, und der Inhalt dieser Anmeldung ist hier mit aufgenommen, um darzustellen, wie stereoskopische Röntgenpaare erzielt werden können, und um die Verwendungsmöglichkeiten von 2½D-Bildern aufzuzeigen.
Die Erfindung wird beispielhaft durch die anliegenden Ablaufdiagramme dargestellt.
Fig. 1 ist ein Blockdiagramm, das ein Gesamtsystem zur Erzeugung eines 2½D-Bilds zeigt. Der Block "Durchführen der Perspektiven- Schnitt-Transformation" zeigt erfindungsgemäße Schritte im Allgemeinen; ein Beispiel dieser Schritte ist genauer in dem Ablaufdiagramm von Fig. 2 dargestellt.
Fig. 3 ist ein Diagramm, das mögliche Schritte für den Block "2½D-Manipulation" gemäß Fig. 1 zeigt.
Fig. 4 ist ein Fließdiagramm, das eine alternative Ausführungsform gemäß der Erfindung zeigt, bei welcher das linke und das rechte Bild durch Multiplexen behandelt werden.

Claims

1. Verfahren zur Schaffung einer zweidimensionalen Körpermodell- Darstellung eines Objekts mit psychologischen Hinweisen auf die Tiefe, bekannt als 2½D-Körpermodell-Darstellung zur Betrachtung, bei dem ein von einem stereoskopischen Paar von Röntgenbildern des Objekts abgeleitetes Stereoskopbild in eine Reihe von Tiefenschnitten aufgelöst wird, indem für jeden Tiefenschnitt einander zugeordnete Punkte des Paars in dieser Tiefe ausgewählt werden, und bei dem die resultierenden Tiefenschnitt-Daten dazu verwendet werden, eine 2½D-Körpermodell- Darstellung aufzubauen, mit einer Software, die die Tiefenschnitt-Daten umformt.

2. Verfahren zur Schaffung einer zweidimensionalen Körpermodell- Darstellung eines Objekts mit psychologischen Hinweisen auf die Tiefe, bekannt als 2½D-Körpermodell-Darstellung zur Betrachtung, bestehend aus folgenden Schritten:

a) Vergleichen eines stereoskopischen Paars von Röntgenbildern des Objekts an einer relativen lateralen Position des Paars und Identifizieren von Koinzidenzpunkten zur Darstellung eines Schnitts des Objekts in einer Tiefe, die genau dieser relativen lateralen Position entspricht;

b) laterales Bewegen des Paars relativ zueinander um einen Betrag, der der kleinsten erfassbaren Parallaxe des stereoskopischen Paars entspricht, und Wiederholung des Schritts a;

c) Wiederholung des Schritts b so oft wie erforderlich, um Koinzidenzpunkte bei allen Parallaxentiefen oder -schnitten des stereoskopischen Paars zu identifizieren; und

d) Aufbau der 2½D-Körpermodell-Darstellung unter Verwendung von Software, die die so erhaltenen Schnitt-Daten umformt.

3. Verfahren nach Anspruch 1 oder 2, bei dem ein abwechselndes Multiplexen des stereoskopischen Paars in einer Ebene an einer relativen lateralen Position erfolgt und Punkte, die fest, statisch und flimmerfrei erscheinen, ausgewählt werden, um den Tiefenschnitt darzustellen, und bei dem das Paar dann lateral zueinander um einen Betrag bewegt wird, der der kleinsten erfassbaren Parallaxe des Paars enspricht, um einen weiteren Tiefenschnitt zu erhalten.

4. Verfahren nach Anspruch 1 oder 2, bei dem das stereoskopische Paar unterschiedliche Farben hat, ein abwechselndes Multiplexen des Paars in einer Ebene an einer relativen lateralen Position erfolgt, und Punkte, die als die Farbe identifizert werden, die charakteristisch für die überlagerten farbigen Bilder ist, ausgewählt werden, um den Tiefenschnitt darzustellen, worauf dann das Paar lateral zueinander um einen Betrag bewegt wird, der der kleinsten erfassbaren Parallaxe des Paars entspricht, um einen weiteren Tiefenschnitt zu erhalten.

5. Verfahren nach Anspruch 1 oder 2, bei dem das stereoskopische Paar verglichen wird, indem ein Bild des Paars dem anderen überlagert wird und Koinzidenzpunkte skizziert werden.

6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das stereoskopische Paar verglichen wird durch Subtraktion der Bildinformation eines Elements des Paars vom anderen, an einer relativen lateralen Position, um eine erste Tiefenebeneninformation zu liefern, laterale Bewegung des Paars zueinander um den Betrag, der der kleinsten erfassbaren Parallaxe entspricht, und erneute Subtraktion der Bildinformation eines Elements des Paars vom anderen, um eine zweite Tiefenebeneninformation zu liefern, und durch weitere Subtraktion der ersten Tiefenebeneninformation von der zweiten Tiefenebeneninformation.

7. Verfahren zur Schaffung einer zweidimensionalen Körpermodell- Darstellung eines Objekts mit psychologischen Hinweisen auf die Tiefe, bekannt als 2½D-Körpermodell-Darstellung zur Betrachtung, bei dem aufeinanderfolgende Tiefenebeneninformationen von einem stereoskopischen Paar von Röntgenbildern des Objekts erhalten werden, indem nacheinander die Bildinformation eines Elements des Paars vom anderen Element des Paars subtrahiert wird, wenn das Paar an einer relativen lateralen Überlagerung überlagert wird und damit eine erste Tiefenebeneninformation liefert, indem das Paar zueinander um einen Betrag bewegt wird, der der kleinsten erfassbaren Parallaxe in einer Anzeige für die Bilder entspricht, indem wiederum die Bildinformation eines Elements des Paars vom anderen Element des Paars bei dieser späteren Überlagerung subtrahiert wird, womit eine zweite Tiefenebeneninformation geliefert wird, und indem weiterhin die erste Tiefenebeneninformation von der zweiten Tiefenebeneninformation subtrahiert wird, um die eindeutige Tiefenebeneninformation für die bestimmte relative laterale Überlagerung zu liefern, wobei die Bewegung und die Subtraktionen so durchgeführt werden, wie erforderlich, um eine eindeutige Tiefenebeneninformation für so viele Ebenen wie nötig zu liefern, wobei die zweite Tiefenebeneninformation in einem nachfolgenden Schritt als die erste Tiefenebeneninformation verwendet wird und eine neue zweite Tiefenebeneninformation nach der Bewegung des Paars zueinander um einen Betrag, der der kleinsten erfassbaren Parallaxe in einer Anzeige für die Bilder entspricht, erhalten werden kann, worauf dann die 2½D-Körpermodell-Darstellung unter Verwendung der Software, die die erhaltene Tiefenebeneninformation umformt, aufgebaut wird.