-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung bezieht sich auf eine Objektvisualisierungsvorrichtung, ein System zur Objektvisualisierung und ein Verfahren zum Visualisieren eines Objekts von Interesse sowie ein Computerprogramm und ein computerlesbares Medium.
-
HINTERGRUND DER ERFINDUNG
-
Für medizinische Verfahren, wie Eingriffe, werden verschiedene Bildgebungstechniken eingesetzt, um dem Benutzer zusätzlich zu seiner eigenen Ansicht objektbezogene Informationen bereitzustellen. Zum Beispiel wird Röntgenbildgebung zur Visualisierung von Bereichen von Interesse im Inneren eines Patienten eingesetzt, wie zur Visualisierung einer Gefäßstruktur. Röntgenbasierte erfasste Bilddaten können auch zur Erzeugung eines 3D-Modells für die weitere Visualisierung, wie für eine räumliche Darstellung, verwendet werden. Als ein Beispiel bezieht sich
US 2018/0310907 A1 auf das Bereitstellen von Visualisierungen eines Objekts. Gemäß der Zusammenfassung wird ein Computersystem beschrieben, das ein simuliertes 2D-Fluoroskopiebild bereitstellt. Während des Betriebs kann das Computersystem das simulierte 2D-Fluoroskopiebild basierend auf Daten in einem vorbestimmten 3D-Bild erzeugen, das dem Körper einer Person zugeordnet ist. Zum Beispiel kann das Erzeugen des simulierten 2D-Fluoroskopiebildes eine Vorwärtsprojektion beinhalten. Darüber hinaus kann die Vorwärtsprojektion das Berechnen der akkumulierten Absorption beinhalten, die der Dichte entlang der Röntgenlinien durch Pixel in dem vorbestimmten 3D-Bild entspricht. Dann kann das Computersystem das simulierte 2D-Fluoroskopiebild mit einem 3D-Kontext versehen, der einer vordefinierten Schnittebene im Körper der Person zugeordnet ist. Es hat sich jedoch gezeigt, dass der Aufbau ziemlich komplex ist.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Es kann somit ein Bedarf an einer erleichterten Visualisierung einer inneren Struktur eines Patienten bestehen.
-
Die Aufgabe der vorliegenden Erfindung wird durch den Gegenstand der unabhängigen Ansprüche gelöst; weitere Ausführungsformen sind in den abhängigen Ansprüchen aufgenommen. Es ist zu beachten, dass die nachfolgend beschriebenen Gesichtspunkte der Erfindung auch für die Objektvisualisierungsvorrichtung, für das System zur Objektvisualisierung und für das Verfahren zum Visualisieren eines Objekts von Interesse gelten.
-
Gemäß der vorliegenden Erfindung wird eine Objektvisualisierungsvorrichtung bereitgestellt, die eine Bildversorgung, einen Datenprozessor und einen Ausgang umfasst. Die Bildversorgung ist konfiguriert, um ein 2D-Röntgenbild des Objekts bereitzustellen. Die Bildversorgung ist auch konfiguriert, um 3D-Bilddaten des Objekts bereitzustellen. Der Datenprozessor ist konfiguriert, um die 3D-Bilddaten mit dem 2D-Röntgenbild zu registrieren. Der Datenprozessor ist auch konfiguriert, um eine Blickrichtung zu erkennen, die zum Erzeugen des 2D-Röntgenbildes verwendet wird. Der Datenprozessor ist ferner konfiguriert, um eine Blickrichtung für die Projektion der 3D-Bilddaten zu bestimmen, um eine übereinstimmende Ansicht der 3D-Bilddaten basierend auf der Blickrichtung zu erzeugen, die für die Erzeugung des 2D-Röntgenbildes verwendet wurde. Der Datenprozessor ist weiterhin konfiguriert, um ein Paar stereoskopischer Bilder der 3D-Bilddaten für die bestimmte Blickrichtung zu erzeugen und das 2D-Röntgenbild mit einem der Bilder des Paares stereoskopischer Bilder zu kombinieren, was zu einem erweiterten ersten stereoskopischen Bild führt, während das andere des Paares stereoskopischer Bilder als ein erzeugtes zweites stereoskopisches Bild verbleibt. Der Ausgang ist konfiguriert, um das erweiterte erste stereoskopische Bild und das erzeugte zweite stereoskopische Bild als ein angereichertes Paar stereoskopischer Bilder bereitzustellen, das eine erweiterte 3D-Ansicht des Objekts bereitstellt.
-
Als Vorteil werden dem Benutzer sowohl die räumlichen, d. h. dreidimensionalen Informationen als auch der Inhalt des Röntgenbildes bereitgestellt, während nur eines der stereoskopischen Bilder verändert wird.
-
Der Begriff „registrieren“ bezieht sich auf das Verknüpfen der 3D-Bilddaten des Objekts mit dem 2D-Röntgenbild auf eine solche Weise, dass das 2D-Röntgenbild und die 3D-Bilddaten des Objekts in der Betrachtungsperspektive zueinander ausgerichtet sind. Zum Beispiel wird das 2D-Röntgenbild mit einer bestimmten Bildgebungsperspektive aufgenommen, d. h. einer bestimmten Bilderfassungsgeometrie, die zu dem jeweiligen 2D-Röntgenbild mit einer Bildebene, d. h. die Ebene des Detektors, die den projizierten und somit abgeschwächten Röntgenstrahl auffängt, und der Röntgenstrahlungsrichtung des erzeugten Röntgenstrahls führt. Als ein Beispiel sind die 3D-Bilddaten in Bezug auf das 2D-Röntgenbild so angeordnet, dass eine Bilderzeugung unter Verwendung der 3D-Bilddaten ein ähnliches Röntgenbild ergeben würde, wenn es mit der gleichen Geometrie erfasst wird.
-
Zum Beispiel beziehen sich die 3D-Daten des Objekts auf 3D-Bilddaten des Objekts. Der Begriff „registrieren“ kann sich somit auf das Registrieren der 3D-Bilddaten des Objekts mit dem 2D-Röntgenbild auf eine solche Weise beziehen, dass das 2D-Röntgenbild und die 3D-Bilddaten des Objekts innerhalb derselben räumlichen Referenz ausgerichtet sind, d. h. sie werden in dasselbe Koordinatensystem registriert.
-
Der Ausdruck „Erkennen einer Blickrichtung des 2D-Röntgenbildes“ bezieht sich auf das Erkennen der Bildgebungsrichtung eines Röntgenbildgebungssystems mit einer die Röntgenstrahlung erzeugenden Röntgenquelle und einem Röntgendetektor, der die erzeugte Röntgenstrahlung erkennt, die durch das Objekt beim Durchqueren des Objekts abgeschwächt wird.
-
Zum Beispiel wird die Blickrichtung des Röntgenbildgebungssystems erkannt, die zum Erzeugen des 2D-Röntgenbildes verwendet wurde.
-
Der Ausdruck „Bestimmen einer Blickrichtung für eine übereinstimmende Ansicht der 3D-Daten basierend auf der Blickrichtung des 2D-Röntgenbildes“ bezieht sich auf das Bestimmen einer Projektionsrichtung, die auf die 3D-Daten, z. B. die 3D-Bilddaten des Objekts, anzuwenden ist, um eine Projektion in einer Bildebene zu erzeugen, die ein ähnliches Bildergebnis wie das 2D-Röntgenbild zeigen würde.
-
Zum Beispiel wird die Blickrichtung für eine simulierte Projektion eines Röntgenbildgebungssystems bestimmt, die zu einem Bild führen würde, das mit dem 2D-Röntgenbild übereinstimmt. Zum Beispiel bezieht sich die „übereinstimmende Ansicht“ auf ein „übereinstimmendes Bild“ oder ein vergleichbares Bildergebnis.
-
Als Beispiel wird eine Objektvisualisierungsvorrichtung bereitgestellt, die eine Bildversorgung, einen Datenprozessor und einen Ausgang umfasst. Die Bildversorgung ist konfiguriert, um ein 2D-Röntgenbild des Objekts bereitzustellen und 3D-Daten des Objekts bereitzustellen. Der Datenprozessor ist konfiguriert, um die 3D-Daten mit dem 2D-Röntgenbild zu registrieren; um eine Blickrichtung des 2D-Röntgenbildes zu erkennen; um eine Blickrichtung für eine übereinstimmende Ansicht der 3D-Daten basierend auf der Blickrichtung des 2D-Röntgenbildes zu bestimmen; um ein Paar stereoskopischer Bilder der 3D-Daten für die bestimmte Blickrichtung zu erzeugen; und um das 2D-Röntgenbild mit einem der Bilder des Paares stereoskopischer Bilder zu kombinieren, was zu einem erweiterten ersten stereoskopischen Bild führt, während das andere des Paares stereoskopischer Bilder als ein erzeugtes zweites stereoskopisches Bild verbleibt. Der Ausgang ist konfiguriert, um das erweiterte erste stereoskopische Bild und das erzeugte zweite stereoskopische Bild als ein angereichertes Paar stereoskopischer Bilder bereitzustellen, das eine erweiterte 3D-Ansicht des Objekts bereitstellt.
-
In einem Beispiel wird die Augmented-Reality-Technologie (AR-Technologie) oder Mixed-Reality-Technologie (MR-Technologie) zum Anzeigen des kombinierten Bildsatzes bereitgestellt.
-
Dies bewirkt, dass die Informationen dem Sichtfeld eines Benutzers in jeder Arbeitsposition dieses Benutzers bereitgestellt werden. Durch Bereitstellen des stereoskopischen 3D-Datensatzes ist es möglich, dem Sichtfeld des Benutzers in jeder Arbeitsposition dieses Benutzers stereoskopische Informationen hinzuzufügen. Als ein Beispiel wird eine kopfmontierte Anzeige (head-mounted display, HMD) wie Google Glass oder oder Microsoft HoloLens bereitgestellt.
-
Für interventionellen Gebrauch ermöglicht diese Technologie Anwendungen zum Rendern anatomischer 3D-Modelle und (Live-)Röntgen-Streams im Raum. Eine solche Funktionalität trägt zum besseren Verständnis der klinischen Anatomie bei, um z. B. in vaskulären Fällen zu navigieren. Dies unterstützt zum Beispiel Fälle, in denen die Chirurgen in der Lage sein müssen, die Vorrichtungen beim Vorschieben in Blutgefäßen zu visusalisieren oder zu verfolgen.
-
Durch Bereitstellen des herkömmlichen Röntgenbildes zusätzlich zu dem erzeugten 3D-Bildpaar werden Vorrichtungen in zwei Dimensionen visualisiert, aber es wird auch ein Gefühl dafür vermittelt, wie sich Vorrichtungen, Gefäße, Organe und andere Gewebe in 3D zueinander beziehen.
-
Der Vorteil besteht darin, dass, obwohl das Röntgenbild, das über stereoskopische Bilder gelegt wird, nur ein 2D-Bild aus einer einzigen Perspektive bereitstellt, das stereoskopische Rendern einer Szene, die zwei Perspektiven (eine für jedes Auge des Betrachters) erfordert, ermöglicht.
-
In einem Beispiel wird eine Visualisierungsmaschine für das stereoskopische Rendern einer Szene bereitgestellt.
-
In einem Beispiel werden zwei versetzte Ansichten des darzustellenden 3D-Volumens für das linke bzw. das rechte Auge des Betrachters basierend auf den Sichtlinien von jedem Auge zum Volumen erstellt. Das Röntgenbild wird nur für eine dieser Ansichten überlagert.
-
Da es sich um ein einziges 2D-Röntgenbild handelt, wird durch die binokulare Parallaxe keine Tiefe impliziert. Durch die Überblendung mit dem 3D-Modell (das für die beiden perspektivischen Ansichten dargestellt wird und die korrekte binokulare Parallaxe aufweist) kombiniert der Benutzer ferner die beiden versetzten Ansichten, d. h. eine mit 2D-Röntgenüberlagerung und die andere ohne Überlagerung, ohne dass es visuell störend wirkt. In einem Beispiel wird ein kleines Objekt in Einzelansicht bereitgestellt, um dem Benutzer die Wahrnehmung zu erleichtern.
-
Es ist zu beachten, dass das Röntgenbild zum Bestimmen der Blickrichtung für die Projektion der stereoskopischen Bilder verwendet wird. Das Röntgenbild ist der Ausgangspunkt für den räumlichen Berechnungsaufbau und bestimmt somit weitere Bilderzeugungsschritte.
-
Gemäß einem Beispiel handelt es sich bei dem erweiterten ersten stereoskopischen Bild um ein Doppelbildquellenbild und bei dem erzeugten zweiten stereoskopischen Bild um ein Einzelbildquellenbild.
-
Der Begriff Doppelbildquelle bezieht sich auf zwei verschiedene Quellen, die zwei unterschiedliche Arten von Bildern bereitstellen, die dann als erweitertes erstes stereoskopisches Bild kombiniert werden. Der Begriff Einzelbildquelle bezieht sich auf eine einzelne Quelle, die eine einzige Art von Bild bereitstellt, das als das zweite stereoskopische Bild bereitgestellt wird.
-
In einem Beispiel ist das erweiterte erste stereoskopische Bild ein Bild, das Bilddaten von zwei verschiedenen Bildquellen umfasst, und das erzeugte zweite stereoskopische Bild umfasst Bilddaten von einer einzigen Bildquelle.
-
In einem Beispiel ist das erweiterte erste stereoskopische Bild ein Bild, das ein Bild aus einer ersten Bildquelle und ein Bild aus einer zweiten Bildquelle, die sich von der ersten Bildquelle unterscheidet, umfasst. Das erzeugte zweite stereoskopische Bild umfasst nur ein Bild aus der ersten Bildquelle.
-
In einem Beispiel ist das erweiterte erste stereoskopische Bild ein Bild, das durch Kombinieren eines Bildes aus einer ersten Bildquelle und eines Bildes aus einer zweiten Bildquelle, die sich von der ersten Bildquelle unterscheidet, erstellt wird. Das Kombinieren wird als eine Überlagerung der beiden unterschiedlichen Bilder bereitgestellt. Das erzeugte zweite stereoskopische Bild umfasst nur ein Bild aus der ersten Bildquelle.
-
Gemäß einem Beispiel ist der Datenprozessor so konfiguriert, dass die Kombination des 2D-Röntgenbildes mit einem der Bilder des Paares stereoskopischer Bilder darin besteht, das 2D-Röntgenbild über das eine der Bilder des Paares stereoskopischer Bilder zu legen.
-
In einem anderen Beispiel ist der Datenprozessor so konfiguriert, dass die Kombination des 2D-Röntgenbildes mit einem der Bilder des Paares stereoskopischer Bilder darin besteht, das eine der Bilder des Paares stereoskopischer Bilder über das 2D-Röntgenbild zu legen.
-
Gemäß einem Beispiel ist der Datenprozessor konfiguriert, um die Kombination derart bereitzustellen, dass in dem erweiterten ersten stereoskopischen Bild i) ein von dem 2D-Röntgenbild abgedeckter Bildabschnitt kleiner ist als ein von dem erzeugten stereoskopischen Bild abgedeckter Abschnitt. Als zusätzliche oder alternative Option ist der Datenprozessor konfiguriert, um die Kombination derart bereitzustellen, dass in dem erweiterten ersten stereoskopischen Bild ii) das 2D-Röntgenbild mit einer Transparenz bereitgestellt wird, die größer ist als eine Transparenz des erzeugten stereoskopischen Bildes.
-
Gemäß der vorliegenden Erfindung wird auch ein System zur Objektvisualisierung bereitgestellt. Das System umfasst eine erste Bildanzeige, eine zweite Bildanzeige und eine Objektvisualisierungsvorrichtung nach einem der vorstehenden Ansprüche. Eine von der ersten Bildanzeige und der zweiten Bildanzeige ist konfiguriert, um das erweiterte erste stereoskopische Bild einem der beiden Augen des Benutzers zu präsentieren. Die andere von der ersten Bildanzeige und der zweiten Bildanzeige ist konfiguriert, um das erzeugte zweite stereoskopische Bild dem anderen der beiden Augen des Benutzers zu präsentieren.
-
In einem Beispiel umfasst das System eine erste Bildanzeige, eine zweite Bildanzeige und eine Objektvisualisierungsvorrichtung nach einem der vorstehenden Ansprüche. Eine von der ersten Bildanzeige und der zweiten Bildanzeige ist konfiguriert, um dem Benutzer das erweiterte erste stereoskopische Bild zu präsentieren. Die andere von der ersten Bildanzeige und der zweiten Bildanzeige ist konfiguriert, um dem Benutzer das erzeugte zweite stereoskopische Bild zu präsentieren.
-
Gemäß einem Beispiel wird eine Anzeigevorrichtung bereitgestellt, die die erste Bildanzeige und die zweite Bildanzeige umfasst. In einer Option ist die Anzeigevorrichtung eine kopfmontierte Anzeige, die für jedes der Augen des Benutzers eine Darstellung bereitstellt, und das erweiterte erste stereoskopische Bild wird einem der Augen des Benutzers bereitgestellt und das erzeugte zweite stereoskopische Bild wird dem anderen der Augen des Benutzers bereitgestellt.
-
Gemäß einem Beispiel ist die Anzeigevorrichtung ein Augmented-Reality-Display, das das angereicherte Paar stereoskopischer Bilder als erweiterte 3D-Ansicht des Objekts bereitstellt, die einer Ansicht einer aktuellen Live-Situation überlagert ist.
-
Gemäß der vorliegenden Erfindung wird auch ein Verfahren zum Visualisieren eines Objekts von Interesse bereitgestellt. Das Verfahren umfasst die folgenden Schritte:
- - Bereitstellen eines 2D-Röntgenbildes des Objekts;
- - Bereitstellen von 3D-Daten des Objekts, z. B. 3D-Bilddaten;
- - Registrieren der 3D-Bilddaten mit dem 2D-Röntgenbild;
- - Erkennen einer Blickrichtung, die zum Erzeugen des 2D-Röntgenbildes verwendet wird;
- - Bestimmen einer Blickrichtung für die Projektion der 3D-Bilddaten, um eine übereinstimmende Ansicht der 3D-Bilddaten basierend auf der Blickrichtung zu erzeugen, die für die Erzeugung des 2D-Röntgenbildes verwendet wurde;
- - Erzeugen eines Paares stereoskopischer Bilder der 3D-Bilddaten für die bestimmte Blickrichtung;
- - Kombinieren des 2D-Röntgenbildes mit einem der Bilder des Paares stereoskopischer Bilder, was zu einem erweiterten ersten stereoskopischen Bild führt, während das andere des Paares stereoskopischer Bilder als ein erzeugtes zweites stereoskopisches Bild verbleibt; und
- - Bereitstellen des erweiterten ersten stereoskopischen Bildes und des erzeugten zweiten stereoskopischen Bildes als eine angereicherte 3D-Ansicht des Objekts.
-
Gemäß einem Beispiel berücksichtigt das Registrieren der 3D-Bilddaten mit dem 2D-Röntgenbild eine inverse Perspektive des 2D-Röntgenbildes, die einen Brennpunkt und konvergierende Strahlen in Bezug auf das Objekt und die Blickrichtung der Röntgenstrahlung umfasst.
-
Der Begriff „inverse Perspektive“ bezieht sich auf die Tatsache, dass ein 2D-Röntgenbild, wenn es durch einen Röntgenstrahl erzeugt wird, auf einem fächer- oder kegelförmigen Strahl basiert, der an seinem Anfang einen Brennpunkt aufweist und der zum Detektor hin divergiert. Da die Strahlungsrichtung von Quelle zum Detektor verläuft, d. h. vom Brennpunkt zum breiteren Strahl, ist, ist die „Blickrichtung“ eines solchen Röntgenstrahls ebenfalls divergierend. Bei visuellen Perspektiven ist in gewisser Weise das Gegenteil gegeben: Die Blickrichtung geht in Richtung eines Brennpunktes, d. h. in Blickrichtung konvergierend.
-
In einem Beispiel berücksichtigt das Registrieren der 3D-Daten mit dem 2D-Röntgenbild eine inverse Perspektive des 2D-Röntgenbildes, das Registrieren der 3D-Daten mit dem 2D-Röntgenbild berücksichtigt eine inverse Perspektive des 2D-Röntgenbildes. Gemäß einem Gesichtspunkt wird ein einzelnes 2D-Röntgenbild nur für eine der versetzten Ansichten überlagert, die verwendet werden, um die stereoskopische Ansicht eines 3D-Volumens zu erstellen. Die versetzten Ansichten stellen visuelle Tiefeninformationen, auch als räumliche Informationen bezeichnet, des Objekts bereit und der einzelne 2D-Röntgenstrahl stellt zusätzliche Informationen über einen interessierenden Bereich des Objekts bereit. Durch Bereitstellen dieses 2D-Röntgenbildes im Kontext einer der stereoskopischen Ansichten werden die Informationen des 2D-Röntgenstrahls aus der zweidimensionalen Welt des Röntgenbildes in die dreidimensionale Welt der stereoskopischen Ansicht übertragen.
-
Gemäß einem Gesichtspunkt wird ein erstes Anzeigebild (für eines der Augen) erzeugt, das ein 3D-Modell mit einem (live) 2D-Röntgenbild überblendet. Ferner wird ein zweites Anzeigebild (für das andere Auge) erzeugt, das nur das 3D-Modell anzeigt, aber aus einer anderen Perspektive gerendert. Ferner erfolgt eine Anpassung an die Ausrichtung dieses anderen Auges.
-
Gemäß einem Gesichtspunkt wird eine Objektvisualisierungsvorrichtung bereitgestellt, die eine Bildversorgung, einen Datenprozessor und einen Ausgang umfasst. Die Bildversorgung stellt ein 2D-Röntgenbild des Objekts und auch 3D-Daten des Objekts bereit. Der Datenprozessor registriert die 3D-Daten mit dem 2D-Röntgenbild und erkennt eine Blickrichtung des 2D-Röntgenbildes. Der Datenprozessor bestimmt auch eine Blickrichtung für eine übereinstimmende Ansicht der 3D-Daten basierend auf der Blickrichtung des 2D-Röntgenbildes. Der Datenprozessor erzeugt ein Paar stereoskopischer Bilder der 3D-Daten für die bestimmte Blickrichtung und kombiniert das 2D-Röntgenbild mit einem der Bilder des Paares stereoskopischer Bilder, was zu einem erweiterten ersten stereoskopischen Bild führt, während das andere des Paares stereoskopischer Bilder als ein erzeugtes zweites stereoskopisches Bild verbleibt. Der Ausgang stellt das erweiterte erste stereoskopische Bild und das erzeugte zweite stereoskopische Bild als ein angereichertes Paar stereoskopischer Bilder bereit, das eine erweiterte 3D-Ansicht des Objekts bereitstellt. Obwohl nur eines der stereoskopischen Bilder mit den zusätzlichen Röntgenbild-Inhaltsinformationen versehen ist, werden bei der kombinierten Betrachtung durch beide Augen die Röntgeninformationen auch auf das andere, nicht veränderte Bild übertragen. Somit werden die Röntgeninformationen auf den räumlichen Inhalt ausgedehnt. Als Vorteil wird nur ein Röntgenbild benötigt, was eine geringere Röntgenexposition für den Patienten bedeutet.
-
Diese und andere Gesichtspunkte der vorliegenden Erfindung werden aus den nachstehend beschriebenen Ausführungsformen ersichtlich und unter Bezugnahme darauf erläutert.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Ausführungsbeispiele der Erfindung werden im Folgenden unter Bezugnahme auf die folgenden Zeichnungen beschrieben:
- 1 zeigt schematisch ein Beispiel einer Objektvisualisierungsvorrichtung.
- 2 zeigt schematisch ein Beispiel eines Systems zur Objektvisualisierung.
- 3 zeigt ein Beispiel eines Paares stereoskopischer Bilder, wie es dem Benutzer präsentiert wird.
- 4 zeigt ein Beispiel für das System zur Objektvisualisierung im Kontext eines OP-Saals mit einem Röntgenbildgebungssystem.
- 5 zeigt ein Beispiel einer kopfmontierten Vorrichtung zum Anzeigen eines erweiterten ersten stereoskopischen Bildes und des erzeugten zweiten stereoskopischen Bildes als eine angereicherte 3D-Ansicht des Objekts.
- 6 zeigt grundlegende Schritte eines Beispiels eines Verfahrens zum Visualisieren eines Objekts von Interesse.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Bestimmte Ausführungsformen werden nun unter Bezugnahme auf die beigefügten Zeichnungen ausführlicher beschrieben. In der folgenden Beschreibung werden gleiche Zeichnungsbezugszeichen für gleiche Elemente verwendet, auch in unterschiedlichen Zeichnungen. Die in der Beschreibung definierten Punkte, wie der detaillierte Aufbau und die Elemente, werden bereitgestellt, um ein umfassendes Verständnis der beispielhaften Ausführungsformen zu ermöglichen. Auch wohlbekannte Funktionen oder Konstruktionen werden nicht detailliert beschrieben, da sie die Ausführungsformen mit unnötigen Details verdecken würden. Außerdem verändern Ausdrücke wie „mindestens eines von“, wenn sie einer Liste von Elementen vorangestellt werden, die gesamte Liste von Elementen und nicht die einzelnen Elemente der Liste.
-
1 zeigt schematisch ein Beispiel einer Objektvisualisierungsvorrichtung 10, die eine Bildversorgung 12, einen Datenprozessor 14 und einen Ausgang 16 umfasst.
-
Die Bildversorgung 12, der Datenprozessor 14 und der Ausgang 16 können in einer gemeinsamen Struktur wie einem Gehäuse integriert bereitgestellt sein, wie mit einem Rahmen 18 angedeutet. Alternativ können sie auch getrennt bereitgestellt sein, wobei die Daten miteinander verbunden werden.
-
Die Bildversorgung 12 ist konfiguriert, um ein 2D-Röntgenbild des Objekts bereitzustellen, das mit einer ersten gestrichelten Linie 20 angegeben ist. Die Bildversorgung 12 ist auch konfiguriert, um 3D-Daten des Objekts bereitzustellen, die mit einer zweiten gestrichelten Linie 22 angegeben sind. In einem Beispiel werden die 3D-Daten des Objekts als 3D-Bilddaten des Objekts bereitgestellt
-
Der Datenprozessor 14 ist konfiguriert, um die 3D-Daten, z. B. die 3D-Bilddaten, mit dem 2D-Röntgenbild zu registrieren. Der Datenprozessor 14 ist auch konfiguriert, um eine Blickrichtung zu erkennen, die zum Erzeugen des 2D-Röntgenbildes verwendet wird, und um eine Blickrichtung für die Projektion der 3D-Bilddaten zu bestimmen, um eine übereinstimmende Ansicht der 3D-Bilddaten basierend auf der Blickrichtung zu erzeugen, die für die Erzeugung des 2D-Röntgenbildes verwendet wurde. Der Datenprozessor 14 ist ferner konfiguriert, um ein Paar stereoskopischer Bilder 24 der 3D-Bilddaten für die bestimmte Blickrichtung zu erzeugen und das 2D-Röntgenbild mit einem der Bilder des Paares stereoskopischer Bilder zu kombinieren, was zu einem erweiterten ersten stereoskopischen Bild 26 führt, während das andere des Paares stereoskopischer Bilder als ein erzeugtes zweites stereoskopisches Bild 28 verbleibt.
-
Der Ausgang 16 ist konfiguriert, um das erweiterte erste stereoskopische Bild 26 und das erzeugte zweite stereoskopische Bild 28 als ein angereichertes Paar 30 stereoskopischer Bilder bereitzustellen, das eine erweiterte 3D-Ansicht des Objekts bereitstellt.
-
Der Begriff „Objektvisualisierung“ bezieht sich auf das Bereitstellen einer Darstellung (oder eines Bildes) eines Objekts. Das Objekt wird durch diese für den Benutzer sichtbare Darstellung visualisiert. Die erweiterte 3D-Ansicht des Objekts kann auch als Objektvisualisierung bezeichnet werden. Die Bildversorgung 12 kann auch als Bilddatenversorgung, als Bildeingabe, als Eingabe oder als Eingabeeinheit bezeichnet werden.
-
In einem Beispiel ist die Bildversorgung 12 mit einer Bildgebungsquellenanordnung wie einer Röntgenbildgebungseinrichtung, die das 2D-Röntgenbild des Objekts bereitstellt, datenverbindbar. In einem Beispiel ist die Bildversorgung mit einem Datenspeicher, der das 2D-Röntgenbild des Objekts gespeichert hat, datenverbindbar.
-
In einem Beispiel ist die Bildversorgung mit einer Bildgebungsquellenanordnung wie einer CT-Röntgenbildgebungseinrichtung, die die 3D-Daten des Objekts bereitstellt, datenverbindbar. In einem Beispiel ist die Bildversorgung mit einem Datenspeicher, der die 3D-Daten des Objekts gespeichert hat, datenverbindbar.
-
Der Datenprozessor 14 kann auch als Datenverarbeitungsanordnung, als Prozessoreinheit oder als Prozessor bezeichnet werden. In einem Beispiel ist der Datenprozessor mit der Bildversorgung und dem Ausgang datenverbunden. Der Datenprozessor 14 ist als Visualisierungsmaschine bereitgestellt, die die beiden Ansichten des 3D-Modells für die beiden stereoskopischen Ansichten aus der Perspektive, die der erfassten Röntgenorientierung entspricht, rendert.
-
Der Ausgang 16 kann auch als Ausgabeeinheit bezeichnet werden. In einem Beispiel ist der Ausgang 16 mit einer Anzeigeanordnung datenverbunden. In einem anderen Beispiel ist der Ausgang 16 mit einer Anzeigeanordnung datenverbindbar. Zum Beispiel ist der Ausgang 16 konfiguriert, um einem Arzt ein angereichertes Paar stereoskopischer Bilder bereitzustellen, wodurch eine erweiterte 3D-Ansicht des Objekts bereitgestellt wird.
-
Der Datenprozessor 14 ist konfiguriert, um das 2D-Röntgenbild mit nur einem der Bilder des Paares stereoskopischer Bilder zu kombinieren.
-
Der Begriff „Paar stereoskopischer Bilder“ bezieht sich auf zwei separate Bilder, die eine Ansicht für das linke Auge und für das rechte Auge desselben Objekts darstellen. Obwohl als Bild auf einer 2D-Oberfläche dargestellt, stellt die Differenz zwischen den resultierenden Ansichten aufgrund von Parallaxe dem Benutzer Tiefeninformationen, d. h. räumliche Informationen, bereit. Das angereicherte Paar stereoskopischer Bilder umfasst ein erstes Bild mit einer ersten erzeugten Ansicht der 3D-Daten und eines zweiten Bildes mit einer zweiten erzeugten Ansicht der 3D-Daten.
-
In einem Beispiel ist der Datenprozessor 14 konfiguriert, um das Paar der erzeugten stereoskopischen Bilder zu nehmen und ein Bild des Bildpaares mit dem 2D-Röntgenbild zu kombinieren und das andere Bild des Bildpaares beizubehalten, wodurch somit ein Bildpaar bereitgestellt wird, das mit Röntgeninformationen angereicherte Bilddaten und ein rein erzeugtes stereoskopisches Bild umfasst.
-
In einem Beispiel ist der Datenprozessor 14 konfiguriert, um das Paar der erzeugten stereoskopischen Bilder, die eine Ansicht für das linke Auge und eine Ansicht für das rechte Auge desselben Objekts darstellen, zu nehmen und um eine von der Ansicht für das linke Auge und der Ansicht für das rechte Auge mit dem 2D-Röntgenbild zu kombinieren und die andere von der Ansicht für das linke Auge und der Ansicht für das rechte Auge beizubehalten, wodurch somit ein Paar von Augenansichten bereitgestellt wird, das eine mit Röntgeninformationen angereichterte Augenansicht und eine rein auf 3D-Daten basierende erzeugte Augenansicht umfasst.
-
Das angereicherte Paar stereoskopischer Bilder stellt eine teilweise erweiterte 3D-Ansicht des Objekts bereit, indem die räumlichen Informationen in Form der stereoskopischen Ansicht des Bildpaares bereitgestellt werden und indem die zusätzlichen Röntgeninformationen in nur einem der Bilder bereitgestellt werden.
-
In einem Beispiel ist der Datenprozessor 14 konfiguriert, um ein stereoskopisches Bildpaar mit einem ersten und einem zweiten stereoskopischen Bild der 3D-Daten für die bestimmte Blickrichtung zu erzeugen; um das 2D-Röntgenbild mit einem von dem ersten und dem zweiten stereoskopischen Bild zu kombinieren, was zu einem erweiterten ersten stereoskopischen Bild führt, und um das andere von dem ersten und dem zweiten stereoskopischen Bild als ein erzeugtes zweites stereoskopisches Bild beizubehalten.
-
In einem Beispiel ist der Datenprozessor 14 konfiguriert, um ein stereoskopisches Bildpaar mit einem ersten und einem zweiten stereoskopischen Bild der 3D-Daten für die bestimmte Blickrichtung zu erzeugen und das 2D-Röntgenbild mit einem von dem ersten und dem zweiten stereoskopischen Bild zu kombinieren. Das resultierende stereoskopische Bildpaar umfasst ein erstes und ein zweites Bild, wobei das erste und das zweite Bild unterschiedliche Bildinhalte umfassen. Eines der beiden Bilder umfasst zusätzlichen Röntgenbildinhalt. Als ein Beispiel umfasst das eine der beiden Bilder zusätzlichen Röntgenfluoroskopiebildinhalt kombiniert mit der erzeugten Ansicht der 3D-Daten. Beide Bilder zeigen dieselbe Option mit leicht verschobenem Blickpunkt, um dem Benutzer eine stereoskopische Ansicht bereitzustellen. Das zweite von dem ersten und dem zweiten stereoskopischen Bild wird somit als rein erzeugtes zweites stereoskopisches Bild bereitgestellt.
-
In einem Beispiel wird das zweite von dem ersten und dem zweiten stereoskopischen Bild als ein kombinationsfreies zweites Bild bereitgestellt und das erste von dem ersten und dem zweiten stereoskopischen Bild wird als ein erstes Kombinationsbild, auch als kombiniertes erstes Bild bezeichnet, bereitgestellt. Das kombinationsfreie zweite Bild kann auch als Einzelquellenbild bezeichnet werden, und das erste Kombinationsbild kann auch als Doppelquellenbild oder Mehrfachquellenbild bezeichnet werden.
-
In einem Beispiel wird das zweite von dem ersten und dem zweiten stereoskopischen Bild als ein überlagerungsfreies zweites Bild bereitgestellt und das erste von dem ersten und dem zweiten stereoskopischen Bild wird als ein erstes Überlagerungsbild, auch als überlagertes erstes Bild bezeichnet, bereitgestellt.
-
In einem Beispiel wird das erste von dem ersten und dem zweiten stereoskopischen Bild als Doppeldatenquellenbild bereitgestellt, wobei die Doppeldatenquelle Daten aus dem 2D-Röntgenbild des Objekts und die 3D-Daten des Objekts umfasst. Das zweite von dem ersten und dem zweiten stereoskopischen Bild wird als ein Einzeldatenquellenbild bereitgestellt, wobei die Einzeldatenquelle die 3D-Daten des Objekts ist.
-
Es wird darauf hingewiesen, dass die Begriffe „erste“ und „zweite“ bereitgestellt werden, um zwischen den beiden Bildern des jeweiligen Bildpaares für die stereoskopische Ansicht zu unterscheiden. Die Begriffe implizieren keine chronologische Reihenfolge oder andere Präferenz.
-
Es wird ferner darauf hingewiesen, dass die Begriffe „rechts“ und „links“ bereitgestellt sind, um zu definieren, dass die beiden Bilder für zwei verschobene Augen eines Benutzers bereitgestellt werden, wobei die Verschiebung somit die Grundlage für eine stereoskopische, d. h. räumliche Betrachtung bereitstellt. Die Begriffe sehen keine Beschränkung auf eine tatsächliche linke oder rechte Ansicht eines Benutzers vor. Anstelle von „links und rechts“ können auch „erste und zweite“ oder „eine und eine andere“ verwendet werden.
-
Optional werden die 3D-Daten als präoperativ erzeugte Bilddaten des Objekts bereitgestellt. Als weitere Option wird das 2D-Röntgenbild als interoperatives, aktuelles oder Live-Bild bereitgestellt, das z. B. während einer Untersuchung, eines Eingriffs oder eines anderen medizinischen Verfahrens aufgenommen wird.
-
Zum Beispiel basieren die 3D-Daten auf CT-Röntgenbildern. Alternativ oder zusätzlich zur Röntgenbildgebung werden andere Bildgebungsquellen wie Ultraschallbildgebung oder MRT verwendet, um die 3D-Daten zu erzeugen.
-
In einem nicht näher dargestellten Beispiel ist das erweiterte erste stereoskopische Bild ein Doppelbildquellenbild und das erzeugte zweite stereoskopische Bild ist ein Einzelbildquellenbild.
-
In einem nicht näher dargestellten Beispiel ist der Datenprozessor 14 so konfiguriert, dass die Kombination des 2D-Röntgenbildes mit einem der Bilder des Paares stereoskopischer Bilder darin besteht, das 2D-Röntgenbild über das eine der Bilder des Paares stereoskopischer Bilder zu legen.
-
In einem ebenfalls nicht näher dargestellten Beispiel ist der Datenprozessor 14 konfiguriert, um die Kombination derart bereitzustellen, dass in dem erweiterten ersten stereoskopischen Bild ein von dem 2D-Röntgenbild abgedeckter Bildabschnitt kleiner ist als ein von dem erzeugten stereoskopischen Bild abgedeckter Abschnitt.
-
Zusätzlich oder alternativ wird das 2D-Röntgenbild mit einer Transparenz bereitgestellt, die größer ist als eine Transparenz des erzeugten stereoskopischen Bildes.
-
Das Bereitstellen des Röntgenbildinhalts auf reduzierte Weise, z. B. durch einen kleineren Abschnitt oder eine erhöhte Transparenz, führt dazu, dass der stereoskopische Effekt durch die Kombination mit der Röntgeninformation in nur einer der Ansichten nicht wesentlich beeinträchtigt wird.
-
In einem nicht näher dargestellten Beispiel ist der Datenprozessor 14 konfiguriert, um den Bildabschnitt des erzeugten stereoskopischen Bildes, der durch das 2D-Röntgenbild abgedeckt ist, auf maximal 75 % einzustellen.
-
Der Bildabschnitt des erzeugten stereoskopischen Bildes, der durch das 2D-Röntgenbild abgedeckt ist, beträgt somit maximal 75 % der (Bild-)Oberfläche des ersten stereoskopischen Bildes, das dem Benutzer tatsächlich bereitgestellt wird. Die anderen mindestens 25 % der (Bild-)Oberfläche des ersten stereoskopischen Bildes, das dem Benutzer tatsächlich bereitgestellt wird, bleiben vom 2D-Röntgenbild unbedeckt.
-
Somit umfasst das erweiterte erste stereoskopische Bild einen Bildbereich oder eine Bildoberfläche, die mindestens einen Teil des ersten stereoskopischen Bildes zeigt, der nicht vom Röntgenbild überlagert wird, der aber von der Kombination der zwei Bilder sozusagen unbeeinflusst ist. Somit umfasst das erweiterte erste stereoskopische Bild einen primären Teil, der eine Überlagerung des 2D-Röntgenbildes mit dem ersten stereoskopischen Bild aufweist, und einen sekundären Teil, der keine Überlagerung des 2D-Röntgenbildes mit dem ersten stereoskopischen Bild aufweist, sondern lediglich das erste stereoskopische Bild.
-
In einem Beispiel ist der Bildabschnitt, der durch das 2D-Röntgenbild abgedeckt ist, mindestens kleiner als die Hälfte des Abschnitts, der durch das erzeugte stereoskopische Bild abgedeckt ist.
-
In einem Beispiel ist der Datenprozessor konfiguriert, um die Transparenz des 2D-Röntgenbildes größer, z. B. mindestens 25 % größer, als die Transparenz des erzeugten stereoskopischen Bildes einzustellen, wenn das 2D-Röntgenbild auf das eine der Bilder des Paares stereoskopischer Bilder projiziert wird.
-
In einem alternativen Beispiel ist der Datenprozessor 14 somit konfiguriert, um die Transparenz des erzeugten stereoskopischen Bildes größer, z. B. mindestens 25 % oder ein Drittel größer, als die Transparenz des 2D-Röntgenbildes einzustellen, wenn das eine der Bilder des Paares stereoskopischer Bilder auf das 2D-Röntgenbild projiziert wird.
-
In einem nicht näher dargestellten Beispiel umfasst das Registrieren eine räumliche Registrierung des 2D-Röntgenbildes in Bezug auf die 3D-Bilddaten. Der Begriff „räumliche“ Registrierung bezieht sich auf das Verknüpfen des 2D-Röntgenbildes mit dem Referenzrahmen oder dem räumlichen Koordinatensystem der 3D-Bilddaten.
-
2 zeigt schematisch ein Beispiel eines Systems 50 zur Objektvisualisierung. Das System 50 umfasst eine erste Bildanzeige 52, eine zweite Bildanzeige 54 und ein Beispiel einer Objektvisualisierungsvorrichtung 10 von einem der vorstehenden Beispiele. Eine von der ersten Bildanzeige 52 und der zweiten Bildanzeige 54 ist konfiguriert, um das erweiterte erste stereoskopische Bild einem der beiden Augen des Benutzers zu präsentieren. Die andere von der ersten Bildanzeige 52 und der zweiten Bildanzeige 54 ist konfiguriert, um das erzeugte zweite stereoskopische Bild dem anderen der beiden Augen des Benutzers zu präsentieren.
-
In einem in 2 als Option angegebenen Beispiel ist eine Anzeigevorrichtung 56 (angegeben mit einem Rahmen) bereitgestellt, die die erste Bildanzeige 52 und die zweite Bildanzeige 54 umfasst.
-
In einer Option ist die Anzeigevorrichtung 56 eine kopfmontierte Anzeige (siehe unten), die eine Präsentation für jedes der Augen des Benutzers bereitstellt. Das erweiterte erste stereoskopische Bild wird dem einen der Augen des Benutzers bereitgestellt und das erzeugte zweite stereoskopische Bild wird dem anderen der Augen des Benutzers bereitgestellt.
-
3 zeigt ein Beispiel eines Paares stereoskopischer Bilder, wie es dem Benutzer präsentiert wird. In 3 ist ein Paar 80 von erzeugten Bildern gezeigt, das ein erstes Bild 82 oder einen ersten Bildabschnitt und ein zweites Bild 84 oder einen zweiten Bildabschnitt umfasst, d. h. versetzte Ansichten, die verwendet werden, um die stereoskopische Ansicht eines 3D-Volumens zu erzeugen. Das erste Bild 82 und das zweite Bild 84 zeigen jeweils eine Projektion eines erzeugten 3D-Modells der Gefäßstruktur. Die Projektionen weisen leicht unterschiedliche Blickrichtungen auf, um den stereoskopischen Effekt für den Benutzer zu erreichen. Ein einzelnes 2D-Röntgenbild 86 wird nur für eine der versetzten Ansichten überlagert. Das 2D-Röntgenbild 86 zeigt die Gefäßstruktur, z. B. sichtbar aufgrund von Kontrastmittelinjektion. Das erste Bild 82 kann als Bild für das linke Auge bereitgestellt werden und das zweite Bild 84 kann als Bild für das rechte Auge bereitgestellt werden.
-
4 zeigt ein Beispiel des Systems 50 zur Objektvisualisierung im Kontext eines OP-Saals 100 mit einem Röntgenbildgebungssystem 102, das einen C-Bogen 104 mit einer Röntgenquelle 106 und einem Röntgendetektor 108 umfasst. Ein interessierendes Objekt, z. B. ein Patient 110, ist auf einer Patientenliege 112 angeordnet. Eine Anzeige- und Beleuchtungsanordnung 114 ist ebenfalls angegeben. Im Vordergrund ist eine Konsole 116 gezeigt, die die Objektvisualisierungsvorrichtung 10 umfasst und zusammen mit der Anzeigevorrichtung 56, die die erste Bildanzeige 52 und die zweite Bildanzeige 54 aufweist, das System 50 zur Objektvisualisierung bildet. Die Konsole kann auch konfiguriert sein, um den Betrieb der verschiedenen Ausrüstungen im OP-Saal 100 zu steuern. Als ein Beispiel stellt das Röntgenbildgebungssystem 102 aktuelle, d. h. Live-Bilder für die Konsole 116 bereit, wie mit einer ersten Datenverbindungsleitung 118 angegeben. Eine zweite Datenverbindungsleitung 120 gibt die Datenversorgung von der Visualisierungsvorrichtung 10 zur Anzeigevorrichtung 56 an. Zum Beispiel ist die Anzeigevorrichtung 56 als eine kopfmontierte Vorrichtung bereitgestellt, wie in 5 gezeigt.
-
5 zeigt schematisch ein Beispiel der Anzeigevorrichtung 56 als eine kopfmontierte Anzeige 58, die eine Darstellung für jedes der Augen des Benutzers bereitstellt. Die kopfmontierte Anzeige 58 ist konfiguriert, um das erweiterte erste stereoskopische Bild 26 und das erzeugte zweite stereoskopische Bild 28 als eine angereicherte 3D-Ansicht des Objekts anzuzeigen. Das erweiterte erste stereoskopische Bild 26 wird dem einen der Augen des Benutzers bereitgestellt und das erzeugte zweite stereoskopische Bild 28 wird dem anderen der Augen des Benutzers bereitgestellt. Ein solches virtuelles Bild, das dem Benutzer präsentiert wird, ist mit einer Projektion 59 angegeben, die dem Benutzer die räumlichen Informationen in Form des Paares der zwei stereoskopischen Bilder, eines für jedes Auge, bereitstellt. Die Projektion 59 stellt dem Benutzer auch die zusätzlichen Informationen in Form des überlagerten Röntgenbildes bereit, das für das rechte oder linke Auge des Benutzers sichtbar ist.
-
Als Beispiel ist ein Benutzer 60 wie ein Chirurg neben einem Patienten 62 auf einer Patientenliege gezeigt. Weitere Mitarbeiter sind ebenfalls angegeben. Im Hintergrund ist eine Anzeige 64 zu sehen, und im rechten Teil der Abbildung ist ein C-Bogen-Röntgenbildgebungssystem 66 dargestellt.
-
Zum Beispiel umfasst die kopfmontierte Anzeige zwei separate Anzeigen.
-
Ein Beispiel für die kopfmontierte Anzeige sind die als Hololens bekannten Brillen von Microsoft oder die Magic Lead.
-
Alternativ umfasst die Anzeigevorrichtung eine einzelne Anzeige, jedoch mit unterschiedlichen Projektionen für die beiden Augen des Benutzers. Beispielsweise können dem Benutzer Filter oder optische Elemente bereitgestellt werden, um zu ermöglichen, dass jedem Auge nur der bezeichnete Bildinhalt bereitgestellt wird.
-
In einer Option ist die Anzeigevorrichtung ein Augmented-Reality-Display, das das angereicherte Paar stereoskopischer Bilder als erweiterte 3D-Ansicht des Objekts bereitstellt, die einer Ansicht einer aktuellen Live-Situation überlagert ist.
-
In einer alternativen Option ist die Anzeigevorrichtung eine Virtual-Reality-Anzeige, die das angereicherte Paar stereoskopischer Bilder als erweiterte 3D-Ansicht des Objekts bereitstellt.
-
6 zeigt grundlegende Schritte eines Beispiels eines Verfahrens 200 zum Visualisieren eines Objekts von Interesse. Das Verfahren 200 umfasst die folgenden Schritte: In einem ersten Schritt 202 wird ein 2D-Röntgenbild des Objekts bereitgestellt. In einem zweiten Schritt 204 werden 3D-Daten des Objekts bereitgestellt. Der erste Schritt 202 und der zweite Schritt 204 können in dieser Reihenfolge, in umgekehrter Reihenfolge oder zur gleichen Zeit erfolgen. In einem dritten Schritt 206 werden die 3D-Daten mit dem 2D-Röntgenbild registriert. In einem vierten Schritt 208 wird eine Blickrichtung des 2D-Röntgenbildes erkannt. In einem fünften Schritt 210 wird eine Blickrichtung für eine übereinstimmende Ansicht der 3D-Daten basierend auf der Blickrichtung des 2D-Röntgenbildes bestimmt. In einem sechsten Schritt 212 wird ein Paar stereoskopischer Bilder der 3D-Daten für die bestimmteBlickrichtung erzeugt. In einem siebten Schritt 214 wird das 2D-Röntgenbild mit einem der Bilder des Paares stereoskopischer Bilder kombiniert, was zu einem erweiterten ersten stereoskopischen Bild führt, während das andere des Paares stereoskopischer Bilder als ein erzeugtes zweites stereoskopisches Bild verbleibt. In einem achten Schritt 216 werden das erweiterte erste stereoskopische Bild und das erzeugte zweite stereoskopische Bild als eine angereicherte 3D-Ansicht des Objekts bereitgestellt.
-
Das eine der Bilder des Paares stereoskopischer Bilder wird auch als erstes stereoskopisches Bild bezeichnet und das andere des Paares stereoskopischer Bilder wird als zweites stereoskopisches Bild bezeichnet. Das erste und das zweite stereoskopische Bild werden auch als linkes und rechtes stereoskopisches Bild (oder rechtes und linkes stereoskopisches Bild) bezeichnet.
-
Das Paar stereoskopischer Bilder umfasst ein Sichtbild des linken Auges und ein Sichtbild des rechten Auges.
-
In einem Beispiel umfasst das Kombinieren des 2D-Röntgenbildes mit einem der Bilder des Paares stereoskopischer Bilder das Projizieren des einen der Bilder des Paares stereoskopischer Bilder auf das 2D-Röntgenbild.
-
In einem Beispiel umfasst das eine der Bilder des Paares stereoskopischer Bilder aktive Bildpixel auf einem klaren/transparenten Hintergrund. Zum Beispiel umfassen die aktiven Bildpixel Pixel in Schwarz oder in Farbe.
-
In einem Beispiel umfasst das Registrieren eine räumliche Registrierung des 2D-Röntgenbildes in Bezug auf die 3D-Daten.
-
In einem Beispiel berücksichtigt das Registrieren der 3D-Daten mit dem 2D-Röntgenbild eine inverse Perspektive des 2D-Röntgenbildes.
-
In einer Option umfasst die inverse Perspektive einen Brennpunkt und konvergierende Strahlen in Bezug auf das Objekt und die Blickrichtung der Röntgenstrahlung.
-
In einem Beispiel ist in dem erweiterten ersten stereoskopischen Bild ein Bildabschnitt, der durch das 2D-Röntgenbild abgedeckt ist, kleiner als ein Abschnitt, der durch das erzeugte stereoskopische Bild abgedeckt ist. In einem Beispiel, das alternativ oder zusätzlich bereitgestellt wird, ist in dem erweiterten ersten stereoskopischen Bild das 2D-Röntgenbild mit einer Transparenz bereitgestellt, die größer ist als eine Transparenz des erzeugten stereoskopischen Bildes.
-
In einem Beispiel ist der Bildabschnitt, der durch das 2D-Röntgenbild abgedeckt ist, mindestens ungefähr 30 % kleiner als der Abschnitt, der durch das erzeugte stereoskopische Bild abgedeckt ist. Zum Beispiel ist der Bildabschnitt, der durch das 2D-Röntgenbild abgedeckt ist, um etwa 50 % kleiner. Der Begriff „etwa“ bezieht sich auf eine Abweichung von bis zu +/- 10 % des jeweiligen Anteilsprozentwertes.
-
In einem Beispiel ist die Transparenz des 2D-Röntgenbildes mindestens etwa 30 % höher als die Transparenz des erzeugten stereoskopischen Bildes. Zum Beispiel ist die Transparenz des 2D-Röntgenbildes etwa 50 % höher. Der Begriff „etwa“ bezieht sich auf eine Abweichung von bis zu +/- 10 % des jeweiligen Transparenzprozentwerts.
-
In einem Beispiel des Verfahrens wird das erweiterte erste stereoskopische Bild einem ersten Auge eines Benutzers präsentiert und das erzeugte zweite stereoskopische Bild wird einem zweiten Auge des Benutzers präsentiert.
-
In einem Beispiel des Verfahrens werden das erweiterte erste stereoskopische Bild und das erzeugte zweite stereoskopische Bild als virtuelle Bildschirme bereitgestellt, die auf eine kopfmontierte Betrachtungsvorrichtung projiziert werden.
-
In einem Beispiel wird eine Visualisierungsmaschine verwendet, um das 3D-Modell aus der Perspektive zu rendern, die der Röntgenausrichtung entspricht. Für eines der Augen wird eine Szene erstellt, die dieses 3D-Modell mit dem (live) 2D-Röntgenbild überblendet. Für das andere Auge wird eine Szene mit nur dem 3D-Modell erstellt, aber aus einer anderen Perspektive gerendert, die der Ausrichtung dieses Auges entspricht.
-
In einem Beispiel wird eine Art der Überlagerung von Röntgenbildern bereitgestellt, die keine Tiefe impliziert: keine Tiefe der Ebene, in der das Bild platziert ist, und keine Tiefe innerhalb des Bildes (z. B. Gefäße, die in unterschiedlichen Tiefen verlaufen).
-
Dies eignet sich sowohl für Augmented-Reality-Konzepte als auch für Virtual-Reality-Konzepte und andere Varianten, die eine stereoskopische Darstellung verwenden. Die Idee, dass ein Objekt für ein einzelnes Auge gerendert werden kann, solange ausreichend stereoskopisch korrekte Daten vorhanden sind, kann für andere medizinische und nichtmedizinische Zwecke genutzt werden. So kann zum Beispiel ein View Pointer in einer 3D-Szene unter Verwendung eines einzelnen Auges projiziert werden.
-
In einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung wird ein Computerprogramm oder ein Computerprogrammelement bereitgestellt, das dadurch gekennzeichnet ist, dass es dafür angepasst ist, die Verfahrensschritte des Verfahrens nach einer der vorstehenden Ausführungsformen auf einem geeigneten System auszuführen.
-
In einem Beispiel wird ein Computerprogramm oder -programmelement zum Steuern einer Einrichtung gemäß einem der der obigen Beispiele bereitgestellt, wobei das Programm oder Programmelement, wenn es durch eine Verarbeitungseinheit ausgeführt wird, dafür angepasst ist, die Verfahrensschritte von einem der obigen Verfahrensbeispiele durchzuführen.
-
Das Computerprogrammelement könnte daher auf einer Computereinheit gespeichert sein oder über mehr als eine Computereinheiten verteilt sein, die auch Teil einer Ausführungsform der vorliegenden Erfindung sein könnte(n). Diese Recheneinheit kann dafür angepasst sein, die Schritte des oben beschriebenen Verfahrens durchzuführen oder deren Durchführung zu veranlassen. Außerdem kann sie angepasst sein, die Komponenten der oben beschriebenen Vorrichtung zu betreiben. Die Recheneinheit dafür angepasst sein, automatisch zu arbeiten und/oder die Befehle eines Benutzers auszuführen. Ein Computerprogramm kann in einen Arbeitsspeicher eines Datenprozessors geladen werden. Der Datenprozessor kann somit zur Durchführung des erfindungsgemäßen Verfahrens ausgestattet sein.
-
Gesichtspunkte der Erfindung können in einem Computerprogrammprodukt implementiert sein, das eine Sammlung von Computerprogrammanweisungen sein kann, die auf einer computerlesbaren Speichervorrichtung gespeichert sind, die von einem Computer ausgeführt werden kann. Die Anweisungen der vorliegenden Erfindung können in jedem interpretierbaren oder ausführbaren Codemechanismus vorliegen, einschließlich, aber nicht beschränkt auf Skripte, interpretierbare Programme, dynamische Link-Bibliotheken (DLLs) oder Java-Klassen. Die Anweisungen können als vollständige ausführbare Programme, teilweise ausführbare Programme, als Modifikationen bestehender Programme (z. B. Updates) oder Erweiterungen bestehender Programme (z. b. Plugins) bereitgestellt werden. Darüber hinaus können Teile der Verarbeitung der vorliegenden Erfindung auf mehrere Computer oder Prozessoren verteilt sein.
-
Wie oben erläutert, implementiert die Verarbeitungseinheit, zum Beispiel eine Steuerung, das Steuerverfahren. Die Steuereinheit kann auf zahlreiche Arten implementiert werden, mit Software und/oder Hardware, um die verschiedenen erforderlichen Funktionen auszuführen. Ein Prozessor ist ein Beispiel einer Steuereinheit, der eine oder mehrere Mikroprozessoren verwendet, die unter Verwendung von Software (z. B. Mikrocode) zur Durchführung der erforderlichen Funktionen programmiert werden können. Eine Steuereinheit kann jedoch mit oder ohne die Verwendung eines Prozessors implementiert sein und kann auch als eine Kombination aus dedizierter Hardware zum Ausführen einiger Funktionen und einem Prozessor (z. B. einem oder mehreren programmierten Mikroprozessoren und zugehörigen Schaltungen) zum Ausführen anderer Funktionen implementiert werden.
-
Beispiele von Steuerkomponenten, die in verschiedenen Ausführungsformen der vorliegenden Offenbarung verwendet werden können, schließen herkömmliche Mikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) und Field Programmable Gate Arrays (FPGAs) ein, ohne darauf beschränkt zu sein.
-
Diese beispielhafte Ausführungsform der Erfindung deckt sowohl ein Computerprogramm, das von Anfang an die Erfindung verwendet, als auch ein Computerprogramm, das mittels eines Updates ein bestehendes Programm in ein Programm umwandelt, das die Erfindung verwendet, ab.
-
Weiterhin könnte das Computerprogrammelement in der Lage sein, alle notwendigen Schritte bereitzustellen, um die Prozedur einer beispielhaften Ausführungsform des oben beschriebenen Verfahrens zu erfüllen.
-
Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung wird ein computerlesbares Medium, wie eine CD-ROM, präsentiert, wobei auf dem computerlesbaren Medium ein Computerprogrammelement gespeichert ist, wobei das Computerprogrammelement durch den vorhergehenden Abschnitt beschrieben ist. Ein Computerprogramm kann auf einem geeigneten Medium, wie einem optischen Speichermedium oder einem Festkörpermedium, das zusammen mit oder als Teil anderer Hardware geliefert wird, gespeichert und/oder verteilt werden, kann jedoch auch in anderen Formen verteilt werden, wie über das Internet oder andere drahtgebundene oder drahtlose Telekommunikationssysteme.
-
Das Computerprogramm kann jedoch auch über ein Netzwerk, wie das World Wide Web, präsentiert werden und kann von einem solchen Netzwerk in den Arbeitsspeicher eines Datenprozessors heruntergeladen werden. Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung wird ein Medium zum Bereitstellen eines Computerprogrammelements zum Herunterladen bereitgestellt, wobei das Computerprogrammelement angeordnet ist, um ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen der Erfindung durchzuführen.
-
Es ist zu beachten, dass Ausführungsformen der Erfindung unter Bezugnahme auf verschiedene Gegenstände beschrieben werden. Insbesondere werden einige Ausführungsformen unter Bezugnahme auf Verfahrenstypansprüche beschrieben, während andere Ausführungsformen unter Bezugnahme auf die Einrichtungstypansprüche beschrieben werden. Der Fachmann wird jedoch aus der vorstehenden und der folgenden Beschreibung entnehmen, dass, sofern nicht anders angegeben, neben jeder Kombination von Merkmalen, die zu einer Art von Gegenstand gehören, auch jede Kombination zwischen Merkmalen, die sich auf verschiedene Gegenstände beziehen, als mit dieser Anmeldung offenbart gilt. Jedoch können alle Merkmale kombiniert werden, wodurch synergetische Effekte bereitgestellt werden, die größer sind als die einfache Summierung der Merkmale.
-
Während die Erfindung in den Zeichnungen und der vorangehenden Beschreibung veranschaulicht und ausführlich beschrieben worden ist, sind eine solche Veranschaulichung und Beschreibung als veranschaulichend oder beispielhaft und nicht einschränkend zu betrachten. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Variationen der offenbarten Ausführungsformen können vom Fachmann beim Ausüben einer beanspruchten Erfindung, aus einem Studium der Zeichnungen, der Offenbarung und der abhängigen Ansprüche verstanden und bewirkt werden.
-
In den Ansprüchen schließt das Wort „umfassen“ andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel „ein“ oder „eine“ schließt eine Mehrzahl nicht aus. Ein einzelner Prozessor oder eine andere Einheit kann die Funktionen mehrerer in den Ansprüchen genannter Elemente erfüllen. Die bloße Tatsache, dass bestimmte Maßnahmen in voneinander verschiedenen abhängigen Ansprüchen erneut genannt werden, bedeutet nicht, dass eine Kombination dieser Maßnahmen nicht vorteilhaft verwendet werden kann. Jegliche Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen des Schutzumfangs auszulegen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2018/0310907 A1 [0002]
