DE102015112411A1

DE102015112411A1 - System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops

Info

Publication number: DE102015112411A1
Application number: DE102015112411.4A
Authority: DE
Inventors: Matthias Triebel
Original assignee: Universal Consulting GmbH
Current assignee: Universal Consulting GmbH
Priority date: 2015-07-29
Filing date: 2015-07-29
Publication date: 2017-02-02
Also published as: WO2017017103A1

Abstract

Die Erfindung betrifft ein System und ein Verfahren zur stereoskopischen Darstellung von Aufnahmen einer Kamera, wobei aus einer Hardware zur Generierung eines 2-dimensionalen Bildes ein 3-dimensionales Bild errechnet und angezeigt wird.

Description

Die Erfindung betrifft ein System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops gemäß dem Oberbegriff des Anspruchs 1, sowie ein Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops gemäß dem Oberbegriff des Anspruchs 15.
Bei minimalinvasiven Eingriffen in der Medizin und bei Untersuchungen und Bearbeitung von Strukturen in Hohlräumen von Untersuchungsobjekten werden zur Erzeugung von Darstellungen und zur Kontrolle von Werkzeugbewegungen häufig Endoskope mit einer Aufnahmeoptik und einer Beleuchtungsoptik eingesetzt. Insbesondere zur visuellen Kontrolle manueller Eingriffe, ist es zur Verbesserung der Qualität der Eingriffsbewegungen wünschenswert, in Echtzeit eine Information über die Lage und Orientierung eines Instruments in der jeweiligen Untersuchungsumgebung zu erhalten. Im Stand der Technik ist es bekannt, dies zu gewährleisten, indem der Bedienperson des Endoskops ein stereoskopisches Bild des Instruments und der Untersuchungsumgebung angeboten wird.
Dazu ist die Information über die Abstände einzelner Bildpunkte von der Kameraoptik des Endoskops erforderlich. Die jedem Bildpunkt zugeordnete Tiefe wird in einer Tiefenkarte zusammengefasst, aus der zusammen mit dem Kamerabild ein 3D-Bild dargestellt werden kann. Die Tiefenkarte wird dabei vorzugsweise aus wenigstens zwei Bildern einer Stereo-Kamera oder aus wenigstens zwei Bildern einer Kamera bei unterschiedlichen Beleuchtungsanordnungen oder in unterschiedlichen Aufnahmegeometrien errechnet, wie dies beispielsweise in den Dokumenten CN 203458365 , CN 202801551 oder EP 2522271 B1 beschrieben ist.
Aus Kostengründen stehen jedoch oft Stereoendoskope oder -kameras für eine Untersuchung nicht zur Verfügung; es besteht jedoch der Wunsch, auch in diesen Fällen eine 3D-Darstellung von einzelnen Aufnahmen zu erzeugen.
Die Erstellung einer Tiefenkarte aus einem von einer monokularen Kamera aufgenommenen zweidimensionalen Bild, ist jedoch mit vielfältigen Schwierigkeiten verbunden.
Es sind im Stand der Technik verschiedene Verfahren bekannt, bei denen aus einem einzigen Bild einer Kamera eine Tiefenkarte erzeugt wird, wobei bei diesen Verfahren bestimmte Annahmen über das Bild in die Berechnung der Tiefenkarte einfließen. Eine einfache Annahme ist beispielsweise die, dass die Helligkeit einzelner Bildbereiche mit der Tiefeninformation derart zusammenhängt, dass helle Bildteile im Vordergrund und dunklere Bildteile im Hintergrund angeordnet sind und dass alle Bildteile gleicher Helligkeit in einer Tiefenebene des Bildes liegen ("shape from shading").
Es ist bekannt, als Erweiterung dieses Grundprinzips Formen oder Farben im Bild zu analysieren und in die Berechnung der Tiefenkarte einfließen zu lassen. Des Weiteren ist bekannt, eine erste errechnete Tiefenkarte durch Filterung oder Pixelmittelung in eine zweite Tiefenkarte mit weichen Übergängen zwischen den Tiefenebenen zu erzeugen.
Aus der Veröffentlichung von Takayuki Okatani et al.: "Restructuring Shape from Shading with a Point Light Source an the Projection Center: Shape Reconstruction from an Endoscope Image", Proceedings ofICPR'96, IEEE (1996)830–834 ist ein Verfahren zur Erzeugung einer Tiefenkarte einer Szene bekannt, bei dem eine Punktlichtquelle auf der optischen Achse eines Endoskops vorgesehen ist.
Aus dem Dokument DE 60014420 T2 ist ein Verfahren zur Umwandlung eines zweidimensionalen Videos in ein dreidimensionales Video bekannt, wobei verschiedene Verfahren zur Tiefenschätzung kombiniert werden, die beispielsweise auf der Auswertung von Kontrast, Chrominanz, Luminanz oder Bewegung beruhen. Aus der US-Anmeldung US 20110128352 A1 ist ein Verfahren zur schnellen 2D-3D-Registrierung zur Anwendung bei einem kontinuierlich geführten Endoskop bekannt. Dabei wird eine Tiefenkarte durch Vergleich eines Videobildes mit einer Rückprojektion eines 3D-Datensatzes aus einer Computertomografie ermittelt. Aus der deutschen Patentschrift DE 10 2006 021 118 B4 ist ein Verfahren zum Rendern von anatomischen Strukturen aus 3D-Daten bekannt, wobei die Tiefenkarte bezüglich eines definierten Betrachtungspunktes ermittelt wird. Aus der deutschen Offenlegungsschrift DE 10109880 A1 ist ein Verfahren zur Erzeugung einer Tiefenkarte zu einem zweidimensionalen Bild und zur Übertragung von räumlichen Bildinformationen bekannt, bei dem das Ausgangsbild in ein Format konvertiert wird, bei welchem jedes Bildelement entsprechend der Rot-, Grün-, Blauinformationen quantifiziert ist und aus den Informationen der Farbkanäle die Tiefenkarte für jeden Bildpunkt errechnet wird. Aus der deutschen Patentschrift DE 10348618 B4 ist ein Verfahren zur Erzeugung einer Tiefenkarte bekannt, bei der ein auf einer vermutungsbasierten räumlichen Bildtiefenabstufung beruhendes virtuelles dreidimensionales Bildgerüst durch Kantenerkennung erzeugt wird.
Diese Vorgehen weisen jedoch verschiedene Nachteile, insbesondere eine relativ große Ungenauigkeit auf. Darüber hinaus besteht das Problem, dass es bei Aufnahmen mit der monokularen Kamera eines Standard-Endoskops, bei der eine punktförmige Lichtquelle in der Nähe der optischen Achse des Kameraobjektivs zur Beleuchtung der aufzunehmenden Szene verwendet wird, zu Spiegelungen im Bild kommt, wenn spiegelnde Flächen geeigneter Orientierung in der Aufnahmeumgebung vorliegen. Diese Spiegelungen führen dazu, dass in den zugehörigen Bildbereichen alle Bildinformationen verloren gehen. Darüber hinaus führen Spiegelungen bei der Erzeugung einer Tiefenkarte aus Luminanz- oder Chrominanzinformationen regelmäßig dazu, dass die Bereiche mit Spiegelungen in der stereoskopischen Darstellung so dargestellt werden, als ob sie näher am Betrachter lägen.
Hiervon ausgehend, liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein System und ein Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops zur Verfügung zu stellen, welche eine stereoskopische Darstellung von Aufnahmen eines monokularen Endoskops ermöglichen und dabei Bildbereiche mit Spiegelungen zu identifizieren und die stereoskopische Darstellung in diesen Bereichen zu verbessern.
Dies wird durch ein System mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 17 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Die Erfindung wird im Folgenden mit einem Endoskop als Erfassungseinheit für Bilder beschrieben. Bei der Erfassungseinheit handelt es sich vorzugsweise um eine Kamera eines Endoskopes. Die Erfindung umfasst jedoch auch die Verwendung jedes anderen geeigneten Sensors.
Der wesentliche Gedanke der Erfindung besteht darin, ein System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops mit einem Endoskop mit einer Lichtquelle, die dazu eingerichtet und vorgesehen ist, einen Raumbereich zu beleuchten und einer Erfassungseinheit, die dazu eingerichtet und vorgesehen ist, durch die Lichtquelle emittiertes Licht zu empfangen und in ein das empfangene Licht repräsentierendes Signal umzuwandeln, einem ersten Speichermittel, welches dazu eingerichtet und vorgesehen ist, die durch die Erfassungseinheit erzeugten Signale als zweidimensionales Bild des Raumbereiches zu speichern, einem zweiten Speichermittel, welches dazu eingerichtet und vorgesehen ist, ein dreidimensionales Modell des Raumbereichs zu speichern, einem Registrierungsmittel, welches dazu eingerichtet und vorgesehen ist, das zweidimensionale Bild des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches zu registrieren, einem Berechnungsmittel, welches dazu eingerichtet und vorgesehen ist, aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten zu berechnen und einem Anzeigemittel, welches dazu eingerichtet und vorgesehen ist, die berechneten stereoskopischen Bilddaten für eine Person sichtbar anzuzeigen. Erfindungsgemäß sind ein Erkennungsmittel, welches dazu eingerichtet ist, überstrahlte Bereiche in dem zweidimensionalen Bild des Raumbereiches zu erkennen und ein Analysemittel, welches dazu eingerichtet ist, anhand des dreidimensionalen Modells des Raumbereiches zu überprüfen, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt, vorgesehen.
Bei der Erfassungseinheit handelt es sich vorzugsweise um eine Kamera. Es ist aber auch die Verwendung jedes anderen geeigneten Sensors denkbar.
Vorzugsweise handelt es sich bei dem ersten und dem zweiten Speichermittel um einen permanenten (z. B. ROM, PROM) oder semipermanenten Speicher (z. B. EPROM, Flash-EEPROM), da dieser die gespeicherten Daten auch ohne andauernde Stromversorgung sichert. Allerdings ist auch die Verwendung jedes anderen geeigneten Speichers möglich, solange dieser die dauerhafte Speicherung der Daten gewährleistet. Bei dem dreidimensionalen Modell kann es sich bevorzugt um einen Konstruktions-/CAD-Datensatz, ein Datensatz aus einem 3D-Atlas, oder einen 3D-Datensatz aus einem bildgebenden Verfahren, wie z. B. Computertomografie, Kernspinresonanz oder Ultraschall handeln. Vorzugsweise wird das zweidimensionale Bild mit dem dreidimensionalen Modell in einem automatischen Iterationsprozess registriert.
Bevorzugt handelt es sich bei dem Berechnungsmittel um einen Mikroprozessor. Es ist aber auch jede andere Vorrichtung denkbar, die aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten berechnen kann. In einer vorteilhaften Ausgestaltung handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D-Bildschirm. Um eine stereoskopische Anzeige zu berechnen, wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt und mittels des Anzeigemittels dargestellt.
Vorzugsweise handelt es sich bei dem Erkennungsmittel und dem Analysemittel ebenfalls um Mikroprozessoren. Vorteilhaft wird zur Erkennung der überstrahlten Bereiche überprüft, ob deren Helligkeit über einem vorher festgelegten Schwellenwert liegt.
Für jeden der als überstrahlt erkannten Bereiche wird bevorzugt für einen virtuellen Spiegel, der auf dem dreidimensionalen Modell an dem durch die Aufnahmegeometrie festgelegten Punkt angeordnet ist, die Orientierung errechnet, für die die Reflexionsbedingung (Einfallswinkel zur Austrittswinkel) für einen Strahl der Punktlichtquelle erfüllt ist und mit der Tangentialebene des dreidimensionalen Modells in dem festgelegten Punkt verglichen. Ist die Ebene des virtuellen Spiegels annähernd parallel zu der Tangentialebene des dreidimensionalen Modells, so wird der überstrahlte Bereich als Spiegelung auf der Oberfläche des angepassten 3D-Modells angenommen.
Weiterhin vorteilhaft findet die Erkennung der überstrahlten Bereiche und die Analyse, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt, zeitgleich mit der Bestimmung der Tiefenkarte – beispielsweise mittels eines Parallelprozessors – statt.
Vorzugsweise ist zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen. Dabei werden vorteilhaft für verschiedene Aufnahmepositionen und Aufnahmerichtungen eines virtuellen, auf das dreidimensionale Modell gerichteten Objektivs virtuelle zweidimensionale Aufnahmen des dreidimensionalen Modells errechnet.
Weiterhin vorzugsweise wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert (Score) zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Dabei ist der Ähnlichkeitswert vorzugsweise umso höher, je ähnlicher sich die beiden Bilder sind. Neben der Aufnahmeposition und -richtung der virtuellen Aufnahme werden vorteilhaft Größenparameter und eine eventuelle elastische Verformung des dreidimensionalen Modells als charakterisierende Parameter bei der Ermittlung des Ähnlichkeitswertes variiert.
In einer weiteren vorteilhaften Ausgestaltung ist ein Vergleichsmittel vorgesehen, welches dazu ausgebildet ist, die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder zu vergleichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert zu erkennen. Vorteilhaft handelt es sich bei dem Vergleichsmittel um einen Differenzfilter. Jedes der berechneten zweidimensionalen Bilder wird so mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild wird ein Ähnlichkeitswert zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist.
Für das berechnete zweidimensionale Bild, das den höchsten Ähnlichkeitswert aufweist, wird vorzugsweise die Tiefenkarte für die jeweilige Aufnahmeposition und -richtung ermittelt und diese Tiefenkarte dem zweidimensionalen Bild zugeordnet, indem jedem Pixelwert ein Tiefenwert der Tiefenkarte zugeordnet wird. Diese Tiefenwerte entsprechen z. B. dem Abstand des in der Aufnahme abgebildeten Punktes der dargestellten Oberfläche des Kameraobjektivs des Endoskops, wobei aus der Abbildungsgeometrie der Aufnahme die Richtung festgelegt ist, unter der sich der abgebildete Punkt auf der Oberfläche des dreidimensionalen Modells in Bezug auf das Koordinatensystem der Erfassungseinheit des Endoskops befindet. Die am Endoskop angeordnete punktförmige Lichtquelle ist bezüglich ihrer Lage im Koordinatensystem der Erfassungseinheit festgelegt.
Bevorzugt erfolgt die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms. Als Luminanz wird dabei ein Maß für die Helligkeit von Bildpunkten bezeichnet. Physikalisch entspricht die Luminanz der Leuchtdichte mit der Einheit cd/m². Als Chrominanz wird die Farbigkeit der Bildpunkte bezeichnet.
Vorteilhaft ist ein erstes Bearbeitungsmittel vorgesehen, welches dazu ausgebildet ist, eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich in Helligkeit und/oder Farbe der Umgebung der Spiegelung angepasst wird. Das heißt, die überstrahlten Bereiche werden im Falle einer erkannten Spiegelung in der ursprünglichen Aufnahme durch benachbarte Bildstrukturen ersetzt und in der stereoskopischen Darstellung gemäß der ermittelten Tiefenkarte angezeigt.
Weiter vorteilhaft ist ein zweites Bearbeitungsmittel vorgesehen, welches dazu eingerichtet ist, eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich durch eine definierte Bildstruktur ersetzt wird. Dabei wird der ursprünglich überstrahlte Bereich vorzugsweise durch eine Bildstruktur ersetzt, die der beobachtenden Person signalisiert, dass an dieser Stelle der Aufnahme eine Diskrepanz der Messwerte mit der angenommenen Tiefenkarte besteht. Diese Bildstruktur für Diskrepanzbereiche kann vorteilhaft aus einem Muster oder einer Bildfarbe bestehen, die in der natürlichen Bildumgebung nicht auftritt. Jedem Diskrepanzbereich wird ein vorher festgelegter, beliebiger Tiefenwert in der für die stereoskopische Darstellung verwendeten Tiefenkarte zugewiesen. Wird das Verfahren bei einem medizinischen Eingriff angewandt, so signalisiert das Auftreten einer Bildstruktur für Diskrepanzbereiche dem Operateur vorteilhaft, dass an dieser Stelle der Aufnahme die Tiefeninformation aus der Auswertung der Aufnahme nicht mit dem dreidimensionalen Modell übereinstimmt.
Vorzugsweise können das erste und das zweite Bearbeitungsmittel sowohl als Software, als auch als Hardware ausgebildet sein. Ebenso ist es denkbar, dass beide Bearbeitungsmittel in einem Gerät realisiert sind.
Vorteilhaft sind das Speichermittel und/oder das Registrierungsmittel und/oder das Berechnungsmittel und/oder das Anzeigemittel und/oder das Erkennungsmittel und/oder das Analysemittel und/oder das zweite Berechnungsmittel und/oder das Vergleichsmittel und/oder das Zuordnungsmittel und/oder das erste Bearbeitungsmittel und/oder das zweite Bearbeitungsmittel in einem Gerät angeordnet. Bei diesem Gerät kann es sich vorzugsweise um eine Set Top Box, also ein Gerät, welches sich an ein anderes Gerät anschließen lässt und dem anderen Gerät zusätzliche Funktionen ermöglicht, handeln. Diese Set Top Box weist vorzugsweise einen Adapter auf, mit dessen Hilfe sich vorteilhaft eine Verbindung zu bekannten bildgebenden Geräten, wie zum Beispiel Röntgengeräte, Kernspintomographen, Computertomographen, Ultraschallgeräten, Positronen-Emissionstomographen oder Endoskopen herstellen lässt. Diese Verbindungen können über Kabel, drahtlos oder auf sonstige Weise ausgeführt sein. Für die Übertragung der Daten sind zum Beispiel eine Funkübertragung eine Infrarotkommunikation oder eine Kommunikation per Glasfaser geeignet.
Bevorzugt ist ein Steuermittel vorgesehen, welches dazu eingerichtet ist, das Anzeigemittel derart zu steuern, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert. Dabei handelt es sich vorzugsweise um die Möglichkeit einer stufenlosen Einstellung, so dass die Darstellung den Sehgewohnheiten des jeweiligen Benutzers angepasst werden kann. Bei dem Steuermittel kann es sich entweder um Software oder um Hardware, beispielsweise einen Drehknopf handeln.
Vorzugsweise ist ein Render-Mittel vorgesehen, welches dazu eingerichtet ist, ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendern in die stereoskopischen Bilddaten einzupassen. Bei den Werkzeugen kann es sich z. B. umchirurgische Instrumente bekannter Form handeln. Um die Werkzeuge in das dreidimensionale Modell einpassen zu können, sollte im Laufe der Untersuchung oder des Eingriffs wenigstens einmal eine Tiefenreferenzierung zwischen dem Instrument und einem Punkt des dreidimensionalen Modells vorgenommen werden.
Vorteilhaft ist ein drittes Speichermittel vorgesehen, welches dazu ausgebildet ist, die stereoskopischen Bilddaten zu speichern. Dieses Speichern ermöglicht vorzugsweise eine Nachbearbeitung und/oder ein Ausdrucken der Bilddaten. In einer weiteren vorteilhaften Ausgestaltung erfolgen die Errechnung der Tiefenkarte und die Erkennung der spiegelnden Bildbereiche im Bildverarbeitungsprozessor einer Grafikkarte.
Vorzugsweise ist ein Eingabemittel vorgesehen, welches dazu eingerichtet ist, einer Person die Markierung einer Bildstruktur zu ermöglichen, wobei das Anzeigemittel dazu ausgebildet ist, diese Markierung anzuzeigen. Bei dem Eingabemittel kann es sich beispielsweise um eine Computermaus, eine Tastatur oder ein Touchpad handeln. Auch ist eine Eingabe mittels Gesten oder mittels Spracherkennung denkbar. Die Anzeige der Markierung durch das Anzeigemittel erfolgt vorteilhaft durch eine Einfärbung des markierten Bereichs in den stereoskopischen Bilddaten.
Weiterhin ist ein Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops, insbesondere unter Verwendung eines Systems gemäß den Ansprüchen 1 bis 14 vorgesehen, wobei ein Raumbereich mit einer Lichtquelle eines Endoskops beleuchtet wird, das durch die Lichtquelle emittierte Licht durch eine Erfassungseinheit empfangen und in ein, das empfangene Licht repräsentierendes, Signal umgewandelt wird, die von der Erfassungseinheit erzeugten Signale mittels eines ersten Speichermittels als zweidimensionales Bild des Raumbereiches gespeichert werden, ein dreidimensionales Modell des Raumbereichs mittels eines zweiten Speichermittels gespeichert wird, das zweidimensionale Bild des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines Registrierungsmittels registriert wird, stereoskopische Bilddaten aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches berechnet werden, die berechneten stereoskopischen Bilddaten mittels eines Anzeigemittels angezeigt werden, überstrahlte Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels eines Erkennungsmittels erkannt werden und mittels eines Analysemittels überprüft wird, ob es sich bei einer erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt. Vorzugsweise findet diese Überprüfung anhand des dreidimensionalen Modells statt.
Bei der Erfassungseinheit handelt es sich vorzugsweise um eine Kamera. Es ist aber auch die Verwendung jedes anderen geeigneten Sensors denkbar. Vorzugsweise handelt es sich bei dem ersten und dem zweiten Speichermittel um einen permanenten (z. B. ROM, PROM) oder semipermanenten Speicher (z. B. EPROM, Flash-EEPROM), da dieser die gespeicherten Daten auch ohne andauernde Stromversorgung sichert. Allerdings ist auch die Verwendung jedes anderen geeigneten Speichers möglich, solange dieser die dauerhafte Speicherung der Daten gewährleistet. Bei dem dreidimensionalen Modell kann es sich bevorzugt um einen Konstruktions-/CAD-Datensatz, ein Datensatz aus einem 3D-Atlas, oder einen 3D-Datensatz aus einem bildgebenden Verfahren, wie z. B. Computertomografie, Kernspinresonanz oder Ultraschall handeln.
Vorzugsweise wird das zweidimensionale Bild mit dem dreidimensionalen Modell in einem automatischen Iterationsprozess registriert. Bevorzugt handelt es sich bei dem Berechnungsmittel um einen Mikroprozessor. Es ist aber auch jede andere Vorrichtung denkbar, die aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten berechnen kann. In einer vorteilhaften Ausgestaltung handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D-Bildschirm. Um eine stereoskopische Anzeige zu berechnen, wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt und mittels des Anzeigemittels dargestellt.
Vorzugsweise handelt es sich bei dem Erkennungsmittel und dem Analysemittel ebenfalls um Mikroprozessoren. Vorteilhaft wird zur Erkennung der überstrahlten Bereiche überprüft, ob deren Helligkeit über einem vorher festgelegten Schwellenwert liegt. Sofern dies der Fall ist, werden sie als überstrahlter Bereich erkannt.
Für jeden der als überstrahlt erkannten Bereiche wird bevorzugt für einen virtuellen Spiegel, der auf dem dreidimensionalen Modell an dem durch die Aufnahmegeometrie festgelegten Punkt angeordnet ist, die Orientierung errechnet, für die die Reflexionsbedingung (Einfallswinkel zur Austrittswinkel) für einen Strahl der Punktlichtquelle erfüllt ist und mit der Tangentialebene des dreidimensionalen Modells in dem festgelegten Punkt verglichen. Ist die Ebene des virtuellen Spiegels annähernd parallel zu der Tangentialebene des dreidimensionalen Modells, so wird der überstrahlte Bereich als Spiegelung auf der Oberfläche des angepassten dreidimensionalen Modells angenommen.
Weiterhin vorteilhaft findet die Erkennung der überstrahlten Bereiche und die Analyse, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt, zeitgleich mit der Bestimmung der Tiefenkarte – beispielsweise mittels eines Parallelprozessors – statt.
Bevorzugt wird zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines zweiten Berechnungsmittels eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs berechnet. Weiterhin vorteilhaft wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. In einer weiteren vorteilhaften Ausgestaltung werden die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder mittels eines Vergleichsmittels verglichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert wird erkannt und dem zweidimensionalen Bild des Raumbereiches wird mittels eines Zuordnungsmittels eine Tiefenkarte zugeordnet, wobei die Tiefenkarte mittels des berechneten zweidimensionalen Bildes mit dem höchsten Ähnlichkeitswert errechnet wird.
Vorzugsweise ist zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen. Dabei werden vorteilhaft für verschiedene Aufnahmepositionen und -richtungen eines virtuellen, auf das dreidimensionale Modell gerichteten Objektivs virtuelle zweidimensionale Aufnahmen des dreidimensionalen Modells errechnet.
Weiterhin vorzugsweise wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert (Score) zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Dabei ist der Ähnlichkeitswert vorzugsweise desto höher, je ähnlicher sich die beiden Bilder sind. Neben der Aufnahmeposition und -richtung der virtuellen Aufnahme werden vorteilhaft Größenparameter und eine eventuelle elastische Verformung des dreidimensionalen Modells als charakterisierende Parameter bei der Ermittlung des Ähnlichkeitswertes variiert.
In einer weiteren vorteilhaften Ausgestaltung ist ein Vergleichsmittel vorgesehen, welches dazu ausgebildet ist, die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder zu vergleichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert zu erkennen. Vorteilhaft handelt es sich bei dem Vergleichsmittel um einen Differenzfilter.
Für das zweidimensionale Bild, das den höchsten Ähnlichkeitswert aufweist, wird vorzugsweise die Tiefenkarte für die jeweilige Aufnahmeposition und -richtung ermittelt und diese Tiefenkarte dem zweidimensionalen Bild zugeordnet, indem jedem Pixelwert ein Tiefenwert der Tiefenkarte zugeordnet wird. Diese Tiefenwerte entsprechen z. B. dem Abstand des in der Aufnahme abgebildeten Punktes der dargestellten Oberfläche des Kameraobjektivs des Endoskops, wobei aus der Abbildungsgeometrie der Aufnahme die Richtung festgelegt ist, unter der sich der abgebildete Punkt auf der Oberfläche des dreidimensionalen Modells in Bezug auf das Koordinatensystem der Erfassungseinheit des Endoskops befindet.
Die am Endoskop angeordnete punktförmige Lichtquelle ist bezüglich ihrer Lage im Koordinatensystem der Erfassungseinheit festgelegt.
Bevorzugt erfolgt die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms. Als Luminanz wird dabei ein Maß für die Helligkeit von Bildpunkten bezeichnet. Physikalisch entspricht die Luminanz der Leuchtdichte mit der Einheit cd/m². Als Chrominanz wird die Farbigkeit der Bildpunkte bezeichnet.
Vorzugsweise werden mittels eines ersten Bearbeitungsmittels eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine Bildstruktur ersetzt, wobei es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt und mittels eines zweiten Bearbeitungsmittels eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine definierte Bildstruktur ersetzt.
Das heißt, die überstrahlten Bereiche werden im Falle einer erkannten Spiegelung in der ursprünglichen Aufnahme durch benachbarte Bildstrukturen ersetzt und in der stereoskopischen Darstellung gemäß der ermittelten Tiefenkarte angezeigt. Weiter vorteilhaft wird, wenn eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung erkannt wird, der ursprünglich überstrahlte Bereich vorzugsweise durch eine Bildstruktur ersetzt, die der beobachtenden Person signalisiert, dass an dieser Stelle der Aufnahme eine Diskrepanz der Messwerte mit der angenommenen Tiefenkarte besteht. Diese Bildstruktur für Diskrepanzbereiche kann vorteilhaft aus einem Muster oder einer Bildfarbe bestehen, die in der natürlichen Bildumgebung nicht auftritt. Jedem Diskrepanzbereich wird ein vorher festgelegter, beliebiger Tiefenwert in der für die stereoskopische Darstellung verwendeten Tiefenkarte zugewiesen. Wird das Verfahren bei einem medizinischen Eingriff angewandt, so signalisiert das Auftreten einer Bildstruktur für Diskrepanzbereiche dem Operateur vorteilhaft, dass an dieser Stelle der Aufnahme die Tiefeninformation aus der Auswertung der Aufnahme nicht mit dem dreidimensionalen Modell übereinstimmt.
Vorzugsweise können das erste und das zweite Bearbeitungsmittel sowohl als Software, als auch als Hardware ausgebildet sein. Ebenso ist es denkbar, dass beide Bearbeitungsmittel in einem Gerät realisiert sind.
In einer weiteren voreilhaften Ausgestaltung wird das Anzeigemittel mittels eines Steuermittels derart gesteuert, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert. Dabei handelt es sich vorzugsweise um die Möglichkeit einer stufenlosen Einstellung, so dass die Darstellung den Sehgewohnheiten des jeweiligen Benutzers angepasst werden kann. Bei dem Steuermittel kann es sich entweder um Software oder um Hardware, beispielsweise einen Drehknopf handeln.
Bevorzugt wird mittels eines Render-Mittels ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendern in die stereoskopischen Bilddaten eingepasst. Bei den Werkzeugen kann es sich z. B. um chirurgische Instrumente bekannter Form handeln. Um die Werkzeuge in das dreidimensionale Modell einpassen zu können sollte im Laufe der Untersuchung oder des Eingriffs wenigstens einmal eine Tiefenreferenzierung zwischen dem Instrument und einem Punkt des dreidimensionalen Modells vorgenommen werden.
Vorteilhaft werden die stereoskopischen Bilddaten mittels eines dritten Speichermittels gespeichert. Vorteilhaft ist ein drittes Speichermittel vorgesehen, welches dazu ausgebildet ist, die stereoskopischen Bilddaten zu speichern. Dieses Speichern ermöglicht vorzugsweise eine Nachbearbeitung und/oder ein Ausdrucken der Bilddaten. Selbstverständlich ist es auch möglich, die stereoskopischen Bilddaten auf dem ersten und/oder dem zweiten Speichermittel zu speichern. Vorzugsweise handelt es sich bei dem dritten Speichermittel um einen permanenten (z. B. ROM, PROM) oder semipermanenten Speicher (z. B. EPROM, Flash-EEPROM), da dieser die gespeicherten Daten auch ohne andauernde Stromversorgung sichert. Allerdings ist auch die Verwendung jedes anderen geeigneten Speichers möglich, solange dieser die dauerhafte Speicherung der Daten gewährleistet.
Vorzugsweise wird durch eine Person mittels eines Eingabemittels eine Bildstruktur markiert, wobei das Anzeigemittel dazu ausgebildet ist, diese Markierung anzuzeigen. Bei dem Eingabemittel kann es sich beispielsweise um eine Computermaus, eine Tastatur oder ein Touchpad handeln. Auch ist eine Eingabe mittels Gesten oder mittels Spracherkennung denkbar. Die Anzeige der Markierung durch das Anzeigemittel erfolgt vorteilhaft durch eine Einfärbung des markierten Bereichs in den stereoskopischen Bilddaten.
Im Folgenden wird die Erfindung anhand von Figuren näher erläutert. Dabei zeigen:
1 die schematische Darstellung einer bevorzugten Ausführungsform des Systems zur stereoskopischen Darstellung von Aufnahmen eines Endoskops, und
2 ein Flussdiagramm zur Darstellung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.
In 1 ist die schematische Übersicht einer bevorzugten Ausführungsform des Systems zur stereoskopischen Darstellung von Aufnahmen eines Endoskops dargestellt, deren zentrale Bestandteile ein Endoskop 1, eine Lichtquelle 2, eine Erfassungseinheit 3, ein erstes Speichermittel 4, ein zweites Speichermittel 5, ein Registrierungsmittel 6, ein Berechnungsmittel 7, ein Anzeigemittel 9, ein Erkennungsmittel 8 sowie ein Analysemittel 10 sind.
Das Endoskop 1 umfasst eine Lichtquelle 2 und eine Erfassungseinheit 3. Die Erfassungseinheit 3 kann beispielsweise als Kamera ausgebildet sein. Das Endoskop 1 ist mit einer Set Top Box 11 verbunden, in welcher das erste Speichermittel 4, das zweite Speichermittel 5, das Registrierungsmittel 6, das Berechnungsmittel 7, das Erkennungsmittel 8 sowie das Analysemittel 10 angeordnet sind.
Selbstverständlich lässt sich die Set Top Box 11 auch an andere Geräte, wie zum Beispiel Röntgengeräte, Kernspintomographen, Computertomographen, Ultraschallgeräten, Positronen-Emissionstomographen oder Endoskopen, anschließen. Diese Verbindung kann über Kabel, drahtlos oder auf sonstige Weise ausgeführt sein. Für die Übertragung der Daten sind zum Beispiel eine Funkübertragung eine Infrarotkommunikation oder eine Kommunikation per Glasfaser geeignet.
Die Set Top Box 11 ist ebenfalls mit dem Anzeigemittel 9, verbunden. Vorteilhaft handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D-Bildschirm. Um zu eine stereoskopische Anzeige zu berechnen, wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt und mittels des Anzeigemittels 9 dargestellt.
Das Flussdiagramm nach 2 beginnt mit Block 21, in welchem das Beleuchten eines Raumbereiches mit einer Lichtquelle 2 eines Endoskops 1 dargestellt ist. Im folgenden Block 22 wird das durch die Lichtquelle 2 emittierte Licht von der Erfassungseinheit 3 empfangen und in ein das empfangene Licht repräsentierendes Signal umgewandelt. Im folgenden Block 23 werden die von der Erfassungseinheit 3 erzeugten Signale als zweidimensionales Bild in einem ersten Speichermittel 4 gespeichert. Es folgt Block 24, in welchem das zweidimensionale Bild mittels eines Registrierungsmittels 6 mit dem dreidimensionalen Modell registriert wird.
Vorzugsweise ist zum Registrieren des zweidimensionalen Bildes mit dem dreidimensionalen Modell ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen. Dabei werden vorteilhaft für verschiedene Aufnahmepositionen und -richtungen eines virtuellen, auf das dreidimensionale Modell gerichteten Objektivs virtuelle zweidimensionale Aufnahmen des dreidimensionalen Modells errechnet.
Weiterhin vorzugsweise wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert (Score) zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Neben der Aufnahmeposition und -richtung der virtuellen Aufnahme werden vorteilhaft Größenparameter und eine eventuelle elastische Verformung des dreidimensionalen Modells als charakterisierende Parameter bei der Ermittlung des Ähnlichkeitswertes variiert.
Im folgenden Block 25 werden überstrahlte Bereiche erkannt. Bevorzugt erfolgt die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms. Im folgenden Block 26 wird ausgewertet, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle 2 emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt. Wenn dies der Fall ist 27, wird der überstrahlte Bereich durch eine Bildstruktur ersetzt wird, wobei es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt. Das heißt, die überstrahlten Bereiche werden im Falle einer erkannten Spiegelung in der ursprünglichen Aufnahme durch benachbarte Bildstrukturen ersetzt und in der stereoskopischen Darstellung gemäß der ermittelten Tiefenkarte angezeigt.
Ansonsten 28 wird der überstrahlte Bereich in dem zweidimensionalen Bild des Raumbereiches durch eine definierte Bildstruktur ersetzt. Diese Bildstruktur für Diskrepanzbereiche kann vorteilhaft aus einem Muster oder einer Bildfarbe bestehen, die in der natürlichen Bildumgebung nicht auftritt. Gleichzeitig findet in Block 29 die Berechnung der stereoskopischen Bilddaten statt. Dazu wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt. Im folgenden Block 30 werden die stereoskopischen Bilddaten schließlich mittels eines Anzeigemittels 9 angezeigt. In einer vorteilhaften Ausgestaltung handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D-Bildschirm. Bevorzugt ist auch ein Steuermittel vorgesehen, welches dazu eingerichtet ist, das Anzeigemittel 9 derart zu steuern, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert. Dadurch besteht die Möglichkeit einer stufenlosen Einstellung, so dass die Darstellung den Sehgewohnheiten des jeweiligen Benutzers angepasst werden kann. Bei dem Steuermittel kann es sich entweder um Software oder um Hardware, beispielsweise einen Drehknopf handeln.
Bezugszeichenliste

1: Endoskop
2: Lichtquelle
3: Erfassungseinheit
4: erstes Speichermittel
5: zweites Speichermittel
6: Registrierungsmittel
7: Berechnungsmittel
8: Erkennungsmittel
9: Anzeigemittel
10: Analysemittel
11: Set Top Box
21: Beleuchten
22: Empfangen des Lichts
23: Speichern der erzeugten Signale als zweidimensionales Bild
24: Registrieren des zweidimensionalen Bildes
25: Erkennung von überstrahlten Bereichen
26: Auswertung, ob es sich um eine Spiegelung handelt
27: Ersetzen durch eine Umgebungs-Bildstruktur
28: Ersetzen durch eine definierte Bildstruktur
29: Berechnen der stereoskopischen Bilddaten
30: Anzeigen der stereoskopischen Bilddaten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 203458365 [0003]
CN 202801551 [0003]
EP 2522271 B1 [0003]
DE 60014420 T2 [0009]
US 20110128352 A1 [0009]
DE 102006021118 B4 [0009]
DE 10109880 A1 [0009]
DE 10348618 B4 [0009]

Zitierte Nicht-Patentliteratur

Takayuki Okatani et al.: "Restructuring Shape from Shading with a Point Light Source an the Projection Center: Shape Reconstruction from an Endoscope Image", Proceedings ofICPR'96, IEEE (1996)830–834 [0008]

Claims

System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops (1), umfassend: – ein Endoskop (1) mit einer Lichtquelle (2), die dazu eingerichtet und vorgesehen ist, einen Raumbereich zu beleuchten und mit einer Erfassungseinheit (3), die dazu eingerichtet und vorgesehen ist, durch die Lichtquelle (2) emittiertes Licht zu empfangen und in ein das empfangene Licht repräsentierendes Signal umzuwandeln, – ein erstes Speichermittel (4), welches dazu eingerichtet und vorgesehen ist, die durch die Erfassungseinheit (3) erzeugten Signale als zweidimensionales Bild des Raumbereiches zu speichern, – ein zweites Speichermittel (5), welches dazu eingerichtet und vorgesehen ist, ein dreidimensionales Modell des Raumbereichs zu speichern, – ein Registrierungsmittel (6), welches dazu eingerichtet und vorgesehen ist, das zweidimensionale Bild des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches zu registrieren, – ein Berechnungsmittel (7), welches dazu eingerichtet und vorgesehen ist, aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten zu berechnen, – ein Anzeigemittel (9), welches dazu eingerichtet und vorgesehen ist, die berechneten stereoskopischen Bilddaten für eine Person sichtbar anzuzeigen, dadurch gekennzeichnet, dass ein Erkennungsmittel (8) vorgesehen ist, welches dazu eingerichtet ist, überstrahlte Bereiche in dem zweidimensionalen Bild des Raumbereiches zu erkennen und ein Analysemittel (10) vorgesehen ist, welches dazu eingerichtet ist, anhand des dreidimensionalen Modells des Raumbereiches zu überprüfen, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle (2) emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt.
System gemäß Anspruch 1, dadurch gekennzeichnet, dass zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen.
System gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Vergleichsmittel vorgesehen ist, welches dazu ausgebildet ist, die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder zu vergleichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert zu erkennen.
System gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Zuordnungsmittel vorgesehen ist, welches dazu ausgebildet ist, dem zweidimensionalen Bild des Raumbereiches eine Tiefenkarte zuzuordnen.
System gemäß Anspruch 3 und 4, wobei die Tiefenkarte mittels des berechneten zweidimensionalen Bildes mit dem höchsten Ähnlichkeitswert errechnet wird.
System gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein erstes Bearbeitungsmittel vorgesehen ist, welches dazu ausgebildet ist, eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich durch eine Bildstruktur ersetzt wird.
System gemäß Anspruch 6, dadurch gekennzeichnet, dass es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt.
System gemäß Anspruch 7, dadurch gekennzeichnet, dass ein zweites Bearbeitungsmittel vorgesehen ist, welches dazu eingerichtet ist, eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich durch eine zuvor definierte Bildstruktur ersetzt wird.
System gemäß einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Speichermittel und/oder das Registrierungsmittel und/oder das Berechnungsmittel und/oder das Anzeigemittel und/oder das Erkennungsmittel und/oder das Analysemittel und/oder das zweite Berechnungsmittel und/oder das Vergleichsmittel und/oder das Zuordnungsmittel und/oder das erste Bearbeitungsmittel und/oder das zweite Bearbeitungsmittel in einem Gerät angeordnet sind.
System gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass ein Steuermittel vorgesehen ist, welches dazu eingerichtet ist, das Anzeigemittel 9 derart zu steuern, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert.
System gemäß einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass ein Render-Mittel vorgesehen ist, welches dazu eingerichtet ist, ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendern in die stereoskopischen Bilddaten einzupassen.
System gemäß einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass ein drittes Speichermittel vorgesehen ist, welches dazu ausgebildet ist, die stereoskopischen Bilddaten zu speichern.
System gemäß einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Errechnung der Tiefenkarte und die Erkennung der spiegelnden Bildbereiche im Bildverarbeitungsprozessor einer Grafikkarte erfolgen.
System gemäß einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass ein Eingabemittel vorgesehen ist, welches dazu eingerichtet ist, einer Person die Markierung einer Bildstruktur zu ermöglichen, wobei das Anzeigemittel dazu ausgebildet ist, diese Markierung anzuzeigen.
Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops (1), insbesondere unter Verwendung eines Systems gemäß den Ansprüchen 1 bis 14, aufweisend die Schritte: – Beleuchten eines Raumbereiches mit einer Lichtquelle (2) eines Endoskops (1), – Empfangen von durch die Lichtquelle (2) emittiertem Licht durch eine Erfassungseinheit (3) und Umwandeln des Lichts in ein das empfangene Licht repräsentierendes Signal, – Speichern der von der Erfassungseinheit (3) erzeugten Signale als zweidimensionales Bild des Raumbereiches mittels eines ersten Speichermittels (4), – Speichern eines dreidimensionalen Modells des Raumbereichs mittels eines zweiten Speichermittels (5), – Registrieren, des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines Registrierungsmittels (6), – Berechnen von stereoskopischen Bilddaten aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches, Anzeigen der berechneten stereoskopischen Bilddaten mittels eines Anzeigemittels (9), – Erkennen von überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels eines Erkennungsmittels (8), – Überprüfung ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle (2) emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt mittels eines Analysemittels (10).
Verfahren gemäß Anspruch 16, dadurch gekennzeichnet, dass – zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines zweiten Berechnungsmittels eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs berechnet wird, – jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen wird und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert zugeordnet wird, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist, – die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder mittels eines Vergleichsmittels verglichen werden und dass das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert erkannt wird, – dem zweidimensionalen Bild des Raumbereiches mittels eines Zuordnungsmittels eine Tiefenkarte zugeordnet wird, wobei die Tiefenkarte mittels des berechneten zweidimensionalen Bildes mit dem höchsten Ähnlichkeitswert errechnet wird.
Verfahren gemäß Anspruch 16, dadurch gekennzeichnet, dass die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms erfolgt.
Verfahren gemäß einem der Ansprüche 16 oder 17, dadurch gekennzeichnet, dass – mittels eines ersten Bearbeitungsmittels eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine Bildstruktur ersetzt wird, wobei es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt, – mittels eines zweiten Bearbeitungsmittels eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine zuvor definierte Bildstruktur ersetzt wird.
Verfahren gemäß einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass das Anzeigemittel (9) mittels eines Steuermittels derart gesteuert wird, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert.
Verfahren gemäß einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, dass mittels eines Render-Mittels ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendem in die stereoskopischen Bilddaten eingepasst wird.