DE102011114146A1

DE102011114146A1 - Verfahren und Vorrichtung zum Darstellen eins Objektes

Info

Publication number: DE102011114146A1
Application number: DE102011114146A
Authority: DE
Inventors: Bartosz Kosmecki; Andreas Reutter; Dr. Özbek Christopher
Original assignee: Scopis GmbH
Current assignee: Stryker European Operations Ltd
Priority date: 2011-09-23
Filing date: 2011-09-23
Publication date: 2013-03-28

Abstract

Die Erfindung betrifft Verfahren und eine Vorrichtung zum Darstellen eines Objektes unter Verwendung eines optischen Systems, wobei das Verfahren die Schritte umfasst: a) Bestimmen einer Abbildung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einer Bildebene des optischen Systems zugeordnet ist; b) Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert; und c) Abbilden der Koordinaten der Punkte der Punktmenge in das zweite Koordinatensystem mit Hilfe der in Schritt a) bestimmten Abbildung.

Description

Die Erfindung betrifft Verfahren zum Darstellen eines Objektes unter Verwendung eines optischen Systems gemäß den Ansprüchen 1 und 14 sowie eine Vorrichtung zum Darstellen eines Objektes gemäß Anspruch 15.
Aus dem Stand der Technik ist bekannt, zur Prüfung und/oder zur Veränderung eines Objektes optische Systeme zu verwenden, die ein Bild des Objektes erzeugen, das z. B. mit einer Kamera aufgenommen wird. Beispielsweise werden im medizinischen Bereich optische Systeme in Form von Endoskopen oder Mikroskopen eingesetzt, um Objekte z. B. in Form einer biologischen Struktur oder eines Gewebes darzustellen. Ein derartiges medizinisches Endoskop ist beispielsweise in der EP 0 403 399 B1 beschrieben.
Das von der Erfindung zu lösende Problem besteht darin, ein Verfahren und eine Vorrichtung zum Darstellen eines Objektes zur Verfügung zu stellen, die eine möglichst gute Beurteilung des Objektes ermöglichen.
Dieses Problem wird durch die Verfahren mit den Merkmalen des Anspruchs 1 und 14 sowie durch die Vorrichtung mit den Merkmalen des Anspruchs 15 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Danach wird ein Verfahren zum Darstellen eines Objektes unter Verwendung eines optischen Systems bereitgestellt, mit den Schritten

a) Bestimmen einer Abbildung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einer Bildebene des optischen Systems zugeordnet ist;
b) Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert; und
c) Abbilden der Koordinaten der Punkte der Punktmenge in das zweite Koordinatensystem mit Hilfe der in Schritt a) bestimmten Abbildung.

Beispielsweise handelte es sich bei dem ersten Koordinatensystem um das Koordinatensystem eines (z. B. klinischen) Navigationssystems, mit dem die räumliche Position (d. h. den Ort und die Ausrichtung) des optischen Systems im ersten Koordinatensystem („Weltkoordinatensystem”) bestimmt werden kann. Ein derartiges Navigationssystem weist insbesondere eine Messkamera auf, die am optischen System vorhandene Markierungselemente (z. B. Markierungskugeln) erfasst und durch Ermitteln der räumlichen Positionen der Markierungselemente die Position des optischen Systems bestimmt. Derartige Navigationssysteme sind jedoch im Prinzip bekannt, so dass an dieser Stelle nicht weiter auf darauf eingegangen wird.
Das zweite Koordinatensystem ist insbesondere einer Kamera des optischen Systems, mit der z. B. ein Echtzeitbild des zu untersuchenden Objektes erzeugt werden kann, zugeordnet. Beispielsweise ist das zweite Koordinatensystem ein 2-D-Koordinatensystem, das sich entlang der Bildebene der Kamera des optischen Systems erstreckt. So weist die Kamera in ihrer Bildebene (entsprechend der Bildebene des optischen Systems) einen CCD-Chip auf, wobei sich der Ursprung des zweiten Koordinatensystems z. B. in der Ebene des CCD-Chips befindet.
Bei dem darzustellenden Objekt handelt es sich insbesondere um ein biologisches Gewebe (z. B. ein Weichgewebe), wobei das optische System zusammen mit dem erfindungsgemäßen Verfahren zur Kontrolle einer Operation des Gewebes (z. B. einem Entfernen eines Tumors) verwendet werden kann, d. h. intraoperativ. Es ist jedoch auch denkbar, dass das erfindungsgemäße Verfahren in nichtmedizinischen Anwendungen eingesetzt wird, z. B. zur Kontrolle einer Reparatur an einem Bauteil.
Das Bestimmen der (mathematischen) Abbildung gemäß Schritt a) erfolgt insbesondere durch Kalibrieren des optischen Systems, wobei z. B. ein (mathematisches) Modell des optischen Systems zugrunde gelegt und durch die Kalibrierung Parameter dieses Modells bestimmt werden. Beispielsweise wird ein Kalibriermuster bereitgestellt und mit dem optischen System dargestellt, d. h. ein Bild des Kalibriermusters in der Bildebene des optischen Systems erzeugt und mit einer Kamera des optischen Systems aufgezeichnet, wobei zum einen die räumlichen Koordinaten des Kalibriermusters (z. B. relativ zum optischen System) in dem ersten Koordinatensystem ermittelt werden (insbesondere mit Hilfe des erwähnten Navigationssystems) und zum anderen die Koordinaten des Bildes des Kalibriermusters in der Bildebene des optischen Systems (d. h. in dem zweiten Koordinatensystem) bestimmt und den ersten Koordinaten zugeordnet werden.
Beispielsweise handelt es sich bei den im ersten Koordinatensystem bereitgestellten Kalibriermuster um ein Muster aus Lichtpunkten, die z. B. per Laser erzeugt werden. Ein geeignetes Kalibrierverfahren, das insbesondere für ein optisches System in Form eines Endoskops oder auch zur Kalibrierung einer Abstandsbestimmungsvorrichtung eines Endoskops verwendet werden kann, ist in der deutschen Patentanmeldung DE 10 2010 042 540.0 vom 15.10.2010 beschrieben, auf die insofern ausdrücklich Bezug genommen wird.
Durch das Kalibrieren des optischen Systems (d. h. dem Bestimmen der Abbildung zwischen dem ersten und dem zweiten Koordinatensystem) werden auch Abbildungsfehler, insbesondere eine Verzerrung des Objektes, durch das optische System erfasst, d. h. es werden insbesondere auch Verzerrungsparameter des erwähnten Modells des optischen Systems ermittelt, so dass die Abbildung der Punktmenge in das zweite Koordinatensystem (in die Bildebene des optischen Systems) unter Verwendung dieser Verzerrparameter, d. h. einer Verzerrfunktion, erfolgt. Ein geeignetes Kalibrierverfahren bzw. Modell eines optischen Systems, das eine Verzerrfunktion enthält, ist z. B. in der Publikation „Calibration of 3D surface profilometry using digital fringe projection", L. Chen et al., Mess. Sci. Technol. 16 (2005) 1554–1566 beschrieben, auf die ebenfalls ausdrücklich Bezug genommen wird.
Bei der gemäß Schritt b) des erfindungsgemäßen Verfahrens erzeugten Punktmenge handelt es sich um eine virtuelle Punktmenge, die in dem ersten Koordinatensystem erzeugt und dann mit Hilfe der in Schritt a) bestimmten mathematischen Abbildung in das zweite Koordinatensystem transformiert wird. Beispielsweise repräsentiert die Punktmenge einen Maßstab, mit dem Abmessungen des Objektes bestimmt werden können. Da die in Schritt a) bestimmte Abbildung, wie erwähnt, insbesondere auch eine Verzerrung durch das optische System berücksichtigt, wird der Maßstab bei der Transformation (der mathematischen Abbildung mit der in Schritt a) bestimmten Abbildung) in das zweite Koordinatensystem entsprechend der Verzerrung, die das Objekt bei der Abbildung in die Bildebene erfährt, verzerrt, so dass die Punktmenge verzerrt (und insbesondere auch lagerichtig) in die von dem optischen Objekt erzeugte Darstellung (z. B. Kamerabild) des Objektes eingeblendet werden kann. Das Einblenden der in das zweite Koordinatensystem transformierten Punktmenge erfolgt insbesondere dadurch, dass Bildpunkte des Kamerabildes des optischen Systems durch die Punkte der transformierten Punktmenge ersetzt oder überblendet werden.
Beispielsweise wird mit Hilfe einer Abstandsbestimmungsvorrichtung des optischen Systems (z. B. mit einem Laser der Abstandsbestimmungsvorrichtung) ein Lichtpunkt auf dem Objekt erzeugt und die räumlichen Koordinaten des Lichtpunktes in dem ersten Koordinatensystem bestimmt. Der Lichtpunkt dient dann z. B. als Aufpunkt für die Punktmenge. Falls es sich bei der Punktmenge um den erwähnten Maßstab handelt, wird dieser z. B. (virtuell) so in dem ersten Koordinatensystem platziert, dass er den Lichtpunkt, d. h. einen den Lichtpunkt im ersten Koordinatensystem repräsentierenden Punkt, schneidet. Die räumlichen Koordinaten des Lichtpunktes im ersten Koordinatensystem werden beispielsweise mit dem oben erwähnten Navigationssystem bestimmt.
Anstelle einer Markierung des Objektes mit einem Lichtpunkt kann der Aufpunkt auch durch Auswählen eines Punktes des Objektes mit Hilfe einer Auswahlvorrichtung bestimmt werden. Dazu wird (insbesondere mittels eines Navigationssystems) z. B. die Position eines Auswahlabschnitts der Auswahlvorrichtung bestimmt und als Position des Aufpunktes die Position des Auswahlabschnitts verwendet oder die Position des Aufpunktes zumindest in Abhängigkeit von der Position des Auswahlabschnittes bestimmt. Geeignete Auswahlvorrichtungen werden weiter unten beschrieben.
Denkbar ist darüber hinaus, dass der Maßstab eine Orientierung im ersten Koordinatensystem aufweist, die in bestimmter Art und Weise zur Ausrichtung des optischen Systems verläuft. Beispielsweise erstreckt sich der Maßstab geradlinig und senkrecht zu einer Verbindungslinie zwischen dem optischen System und dem auf dem Objekt erzeugten Lichtpunkt.
Insbesondere ist auch möglich, dass der Maßstab im ersten Koordinatensystem so orientiert ist, dass sein mit Hilfe der in Schritt a) bestimmten (mathematischen) Abbildung erzeugtes Bild im zweiten Koordinatensystem parallel zu einer optischen Horizontalen einer Kamera des optischen Systems verläuft, d. h. der Maßstab wird horizontal in das Kamerabild des Objektes eingeblendet, wobei der Maßstab insbesondere, wie erwähnt, entsprechend der durch das optische System erzeugten Verzerrung verzerrt dargestellt ist.
Die im ersten Koordinatensystem erzeugte Punktmenge kann zusätzlich oder alternativ auch eine Information bezüglich eines Weges hin zu einem interessierenden Bereich des Objektes repräsentieren. Beispielsweise stellt die Punktmenge eine Linie dar, die einen Weg zu dem interessierenden Bereich kennzeichnet. Denkbar ist, dass das Objekt ein Bereich eines menschlichen (oder tierischen) Körpers ist und der interessierende Bereich des Objektes ein Operationsgebiet. Die Punktmenge kann dann einen Weg (Pfad) zu dem Operationsgebiet bzw. durch das Operationsgebiet hindurch weisen, der verzerrungs- und lagerichtig in das Bild des hier als Endoskop ausgebildeten optischen Systems eingeblendet wird. Der Pfad kann z. B. als (räumliche) Linie, hervorgehobenes Volumensegment (z. B. eine Röhre), mit Pfeilen und/oder mit Piktogrammen gekennzeichnet sein. Beispielsweise ist das Objekt der Nasenbereich, wobei der Pfad dem Operateur einen Weg über die Nase zu Kammern des hinteren Nasenbereichs weist.
Möglich ist auch, dass die Punktmenge einen interessierenden Bereich des Objektes repräsentiert, beispielsweise das erwähnte Operationsgebiet. Beispielsweise verläuft die Punktmenge in einer Ebene. Möglich ist natürlich auch, dass die Punktmenge eine im Raum verlaufende Linie oder Fläche ist, die eine äußere Kontur des interessierenden Bereiches repräsentiert. Die Punktmenge kann auch durch ein Volumensegment gebildet sein.
Gemäß einer anderen Weiterbildung der Erfindung wird von dem Körperbereich (z. B. der Kopf- oder Bauchbereich eines Menschen) eine bildliche Darstellung (z. B. eine CT- oder MRT-Bild) oder ein mathematisches Modell (z. B. in Form einer 3D-Rekonstruktion) bereitgestellt, wobei in einem der Bilddarstellung oder dem mathematischen Modell zugeordneten Koordinatensystem eine Ausgangspunktmenge erzeugt wird, die den Weg zu dem Operationsgebiet und/oder eine sonstige Information repräsentiert. Beispielsweise wird der Weg in Vorbereitung einer Operation am Computer in die Bilddarstellung des Körperbereichs eingezeichnet und auf diese Weise die Ausgangspunktmenge definiert. Ist die Ausgangspunktmenge festgelegt, werden die Koordinaten der Punkte der Ausgangspunktmenge in das erste Koordinatensystem (das z. B. das Weltkoordinatensystem eines klinischen Navigationssystems ist) transformiert, wobei die transformierte Ausgangspunktmenge, die in das zweite Koordinatensystems abzubildende Punktmenge darstellt. Mit Hilfe der gemäß Schritt a) des erfindungsgemäßen Verfahrens bestimmten Abbildung zwischen dem ersten und dem zweiten Koordinatensystem wird die transformierte Ausgangspunktmenge dann schließlich in das zweite Koordinatensystem überführt und in das Bild des optischen Systems eingeblendet.
Denkbar ist natürlich auch, dass das erste Koordinatensystem bereits der Bilddarstellung oder dem mathematischen Modell des Körperbereichs zugeordnet ist, so dass gemäß Schritt a) des erfindungsgemäßen Verfahrens eine unmittelbare Abbildung zwischen dem Koordinatensystem der Bilddarstellung oder des mathematischen Modells des Objektes (das dann das erste Koordinatensystem ist) in das Koordinatensystem der Bildebene des optischen Systems (das zweite Koordinatensystem) erzeugt wird. Entsprechend stellt ein in der Bilddarstellung oder dem mathematischen Modell eingezeichneter Weg (oder eine sonstige Information) die gemäß Schritt e) des erfindungsgemäßen Verfahrens erzeugte Punktmenge dar.
Gemäß einer weiteren Variante der Erfindung ist das erste Koordinatensystem einem Raum zugeordnet, in dem sich das Objekt befindet (d. h. das erste Koordinatensystem ist das bereits erwähnte „Weltkoordinatensystem”), wobei ein Bereich des Objektes mit einer (insbesondere relativ zu dem Objekt bewegbaren) Auswahlvorrichtung ausgewählt, die Position des ausgewählten Bereiches in dem ersten Koordinatensystem ermittelt und die Punktmenge in Abhängigkeit von der Position des ausgewählten Bereiches erzeugt wird. Auf diese Weise kann eine Punktmenge erzeugt werden, die einen interessierenden Bereich des Objektes repräsentiert (markiert) und die mit Hilfe des erfindungsgemäßen Verfahrens in das Bild des optischen Systems eingeblendet wird. Beispielsweise erfolgt eine derartige Markierung während einer Operation, d. h. der Operateur kann z. B. zu einer vor der Operation erzeugten Markierung des Operationsgebietes weitere Markierungen hinzufügen, die ebenfalls lagerichtig in das Bild des optischen Systems (z. B. eines Endoskops) eingeblendet werden.
Beispielweise handelt es sich bei der Auswahlvorrichtung um ein (z. B. längliches) Instrument, das Markierungselemente aufweist (s. o.), deren räumliche Position mit einem Navigationssystem bestimmbar ist. Über die Position der Markierungselemente kann auch die Position eines Auswahlabschnitts (z. B. der Spitze) des Instrumentes bestimmt werden, wobei im Bereich der Position des Auswahlabschnitts die markierende Punktmenge erzeugt wird.
Insbesondere ist der Auswahlabschnitt die Spitze des Instrumentes, wobei auf ein vom Benutzer des Instrumentes erzeugtes Signal eine Punktmenge in dem ersten Koordinatensystem erzeugt wird, die die Koordinaten der Spitze des Instrumentes einschließt oder in einer vorgebbaren Entfernung zu der Position der Spitze erzeugt wird. Das Signal, das das Erzeugen der Punktmenge auslöst, ist insbesondere ein elektrisches Signal, das mit einem Auslösegerät (z. B. einem Fußpedal) ausgelöst werden kann, wenn der Auswahlabschnitt des Instrumentes an die gewünschte Position gebracht wurde. Beispielsweise wird der Auswahlabschnitt in Kontakt mit dem Objekt gebracht und dann das Erzeugen der Punktmenge ausgelöst. Insbesondere wird die Punktmenge durch einen Punkt an der Position des Auswahlabschnitts oder durch eine rotationssymmetrische Punktmenge um diesen Punkt gebildet.
Natürlich können auf diese Weise auch mehrere interessierende Bereiche des Objektes ausgewählt und jeweils eine den interessierenden Bereich repräsentierende Punktemenge erzeugt werden (dynamische Erzeugung der Punktmenge). Möglich ist auch, dass eine erzeugte Punktmenge durch eine neue Punktmenge ersetzt wird.
Denkbar ist auch, dass der Auswahlabschnitt durch eine räumliche Kontur (die z. B. kugelförmig ausgebildet) des Instrumentes gebildet ist, wobei z. B. die Position eines Punktes dieser räumlichen Kontur (z. B. deren Mittelpunkt) ein Zentrum der zu erzeugenden Punktmenge bildet.
Gemäß einer anderen Variante ist das optische System ein Endoskop, das gleichzeitig als Auswahlvorrichtung fungiert, wobei z. B. ein Schnittpunkt der Achse der Endoskopieoptik (oder einer anderen Geraden, die in einem vorgebbaren Abstand parallel zur Achse der Endoskopieoptik verläuft) mit dem Objekt ermittelt, wobei der Schnittpunkt den ausgewählten Bereich darstellt, an dem die Punktmenge erzeugt wird. Ist das optische System ein Mikroskop, kann die Auswahl des interessierenden Bereiches analog erfolgen.
Denkbar ist auch, dass zur Auswahl des interessierenden Bereiches des Objektes eine Lichtstruktur auf dem Objekt erzeugt wird, d. h. die Auswahlvorrichtung ist zum Erzeugen einer derartigen Lichtstruktur ausgebildet. Beispielsweise wird die Lichtstruktur als Laserfleck über den Laser einer Abstandsbestimmungsvorrichtung eines Endoskopes (oder eines Mikroskopes) erzeugt, wie oben bereits angesprochen. Da die Position des Endoskops mit Hilfe eines Navigationssystems und der Abstand des Laserflecks vom Endoskop ermittelbar ist, ist auch möglich, die räumliche Position des Laserflecks im ersten Koordinatensystem zu bestimmen. In Abhängigkeit von dieser Position wird dann die Punktmenge erzeugt.
In einem zweiten Aspekt betrifft die Erfindung ein Verfahren zum Darstellen eines, mit den Schritten:

a) Bestimmen einer Abbildung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einem Raum, in dem sich das Objekt befindet, zugeordnet ist;
b) Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert;
c) Abbilden der Koordinaten der Punkte der Punktmenge in das zweite Koordinatensystem mit Hilfe der in Schritt a) bestimmten Abbildung; und
d) Ermitteln eines Abstandes zwischen mindestens einem Punkt der gemäß Schritt c) abgebildeten Punktmenge und einem ausgewählten Punkt des zweiten Koordinatensystems.

Gemäß diesem Erfindungsaspekt wird eine Entfernung zwischen der Punktmenge (die insbesondere einen interessierenden Bereich des Objektes markiert) und der Auswahlvorrichtung berechnet und als Information einem Nutzer zur Verfügung gestellt. Als Auswahlvorrichtung kann wie oben erwähnt auch das optische System selber gelten, so dass auch ein Abstand zwischen dem optischen System und der Punktmenge (z. B. einem Punkt der Punktmenge) berechnet werden kann. Denkbar ist auch der oben erwähnte Fall, dass mehrere (beabstandete) Punktmengen erzeugt wurden, wobei z. B. für jede der Punktmengen, die letzte erzeugte oder für eine vom Benutzer ausgewählte Punktmenge ein Abstand berechnet wird. Der Abstand kann auch grafisch in das Bild des optischen Systems eingeblendet werden.
Das erste Koordinatensystem ist, wie oben ebenfalls bereits erläutert, insbesondere einer Bilddarstellung oder einem mathematischen Modell (3D-Rekonstruktion) des Objektes zugeordnet. Das zweite Koordinatensystem hingegen ist hier nicht der Bildebene des optischen Systems, sondern dem Weltkoordinatensystem, in dem sich das Objekt befindet, zugeordnet. Selbstverständlich kann dieses Verfahren auch mit der lagerichtigen Einblendung der im ersten Koordinatensystem erzeugten Punktmenge in das Bild eines optischen Systems kombiniert werden (d. h. mit dem ersten Erfindungsaspekt).
Die Erfindung betrifft auch eine Vorrichtung zum Darstellen eines Objektes, insbesondere zum Durchführen eines wie oben beschriebenen Verfahrens, mit

– einem optischen System;
– einer Abbildungseinrichtung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einer Bildebene des optischen Systems zugeordnet ist; und
– einer Erzeugungseinrichtung zum Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert.

Die Abbildungseinrichtung ist insbesondere in Form einer programmierten Einrichtung oder einer Software realisiert. Analog kann auch die Erzeugungseinrichtung, insbesondere gemeinsam mit der Abbildungseinrichtung, in einer programmierten Einrichtung oder einer Software realisiert sein.
Wie oben bereits erwähnt, handelt es sich bei dem optischen System zum Beispiel um ein Endoskop. Denkbar ist natürlich auch, dass die Erfindung mit einem anderen optischen System verwendet wird, z. B. mit einem Mikroskop.
Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die Figuren näher erläutert. Es zeigen:
1 ein unter Verwendung des erfindungsgemäßen Verfahrens erzeugtes Endoskopbild;
2 ein weiteres unter Verwendung des erfindungsgemäßen Verfahrens erzeugtes Endoskopbild;
3A eine in eine CT-Aufnahme eingezeichnete Punktmenge zur Markierung eines Gewebebereichs;
3B eine in ein 3D-Modell eines Körperbereichs eingezeichnete Punktmenge;
4A eine CT-Aufnahme mit eingeblendetem optischen System;
4B ein Endoskopiebild mit lagerichtig eingeblendeter Punktmenge;
5A ein in eine CT-Aufnahme eingezeichneter Markierungspunkt;
5B eine in ein 3D-Modell eingezeichneter Markierungspunkt;
6A eine CT-Aufnahme mit eingeblendetem Markierungspunkt und optischen System;
6B ein Endoskopiebild mit lagerichtig eingeblendetem Markierungspunkt;
7A eine CT-Aufnahme mit mehreren eingeblendeten Markierungspunkten und eingeblendetem optischen System;
7B ein Endoskopiebild mit mehreren lagerichtig eingeblendeter Punktmengen;
8A eine weitere CT-Aufnahme eines Körperbereichs mit einem eingeblendeten Markierungspunkt und eingeblendetem optischen System; und
8B ein Endoskopiebild des Körperbereichs der 8A.
Das in 1 gezeigte Endoskopbild 1 stellt ein Objekt in Form eines Bereiches eines Modells eines menschlichen Kopfes dar, wobei das Endoskopbild 1 von einer Kamera des Endoskops aufgenommen wurde.
Das Endoskop, mit dem das in 1 dargestellte Bild des Modellkopfes erzeugt wurde, besitzt eine Abstandsbestimmungsvorrichtung, mit der der Abstand zwischen dem Endoskop (insbesondere der Endoskopspitze) und dem Objekt bestimmt werden kann. Hierfür umfasst die Abstandsbestimmungsvorrichtung einen Laser, mit dem ein Lichtpunkt 2 auf dem Objekt erzeugt wurde. Ein Endoskop mit einer Abstandsbestimmungsvorrichtungsvorrichtung, das zusammen mit dem erfindungsgemäßen Verfahren verwendet werden kann, ist in der bereits angesprochenen DE 10 2010 042 540.0 beschrieben, auf die auch insofern ausdrücklich Bezug genommen wird.
Mit Hilfe des erfindungsgemäßen Verfahrens (bzw. der erfindungsgemäßen Vorrichtung) wurde im Koordinatensystem des Objektes (d. h. im „ersten” Koordinatensystem) ein Maßstab erzeugt, der (virtuell) so positioniert wurde, dass er durch den auf dem Objekt erzeugten Lichtpunkt 2 hindurchgeht. Darüber hinaus wurden, wie oben beschrieben, Verzerrparameter der Optik des Endoskops bestimmt, d. h. es wurde eine Abbildung ermittelt, die es erlaubt, Punkte im räumlichen Koordinatensystem des Objektes unter Berücksichtigung etwaiger Verzerrungen durch die Endoskopoptik in das Koordinatensystem der Bildebene der Endoskopkamera abzubilden.
Mit Hilfe dieser Abbildung wurde der (virtuell) im Koordinatensystem des Objektes erzeugte Maßstab in das Koordinatensystem der Endoskopkamera (d. h. in das „weite” Koordinatensystem) transferiert und in das Endoskopbild als Maßstab 3 eingeblendet. Der eingeblendete Maßstab 3 ist analog zum Objekt verzerrt, so dass an ihm unmittelbar Entfernungen am Objekt abgelesen werden können.
Der Maßstab wurde zudem so im Endoskopbild platziert, dass er durch das von der Endoskopkamera erzeugte Bild des Laserlichtpunktes 2 (d. h. durch die Koordinaten des Laserpunktes im zweiten Koordinatensystem) hindurch verläuft. Hierfür werden beispielsweise die Koordinaten im zweiten Koordinatensystem (d. h. im Koordinatensystem der Kamera) des Lichtpunktes (z. B. per Bildbearbeitungsoftware) ermittelt. Denkbar ist auch, dass die Abbildung, die eine Transformation von Koordinaten im Koordinatensystem des Objektes in das Koordinatensystem der Endoskopkamera erlaubt, lediglich eine Verzerrfunktion umfasst, die z. B. eine Verzerrung in nur einer Richtung erzeugt, z. B. in Richtung der Kamera-Horizontalen (entsprechend der Horizontalen in 1), und der Maßstab dann so im Endoskopbild platziert wird, dass er durch das Bild des Laserpunktes hindurchgeht.
2 zeigt ähnlich wie 1 ein Endoskopbild eines Objektes, in das ein Maßstab 3 eingeblendet ist. Das Objekt weist zum Vergleich mit dem berechneten und in das Endoskopbild eingeblendeten Maßstab 3 selber einen Maßstab (in Form eines Lineals) auf, wobei zu erkennen ist, dass durch Anwenden des erfindungsgemäßen Verfahrens der in das Endoskopbild 1 eingeblendete Maßstab 3 so verzerrt und lagerichtig positioniert ist, dass sich die Maßstriche des mit dem Endoskop erzeugten Bildes 4 des Maßstabes auf dem Objekt mit den Maßstrichen des eingeblendeten Maßstabs 3 decken. Der eingeblendete Maßstab 3 ist im Vergleich mit dem Bild 4 des Objekt-Maßstabes mit dickeren Strichen dargestellt.
Anstelle oder zusätzlich zu dem Maßstab 3 können weitere Information (nicht dargestellt) bezüglich des Objektes verzerr- und lagerichtig in das Endoskopbild eingeblendet werden, z. B. eine Richtungsinformation, die einen Weg zu einem Operationsgebiet angibt, wie weiter oben bereits erläutert.
3A zeigt eine CT-Aufnahme (Sagittalschnitt) eines Objektes in Form eines Körperbereichs (Nasenbereich), In die CT-Aufnahme ist eine geschlossene Linie 5 eingezeichnet, um einen Operationsbereich (oder einen sonstigen interessierenden Bereich) des Körperbereiches zu markieren. Die Linie 5 wird insbesondere mit einem Eingabegerät (z. B. einer Computermaus) in die elektronisch vorliegende CT-Aufnahme eingezeichnet, wobei mit dem Einzeichnen der Linie 5 in der CT-Aufnahme eine die Linie 5 repräsentierende Punktmenge in einem der CT-Aufnahme zugeordneten (ersten) Koordinatensystem erzeugt wird.
Der Körperbereich kann auch als 3D-Rekonstruktion dargestellt werden, wie in 3B gezeigt. Hier kann der interessierende Operationsbereich mit Hilfe einer sich räumlich erstreckenden Fläche 6 oder einem Volumensegment markiert werden.
Während einer Operation wird die Lage eines optischen Systems in Form eines Endoskops unter Verwendung eines klinischen Navigationssystems in das (vor der Operation aufgenommene) CT-Bild eingeblendet (4A, wobei Endoskopeinblendung 7). Darüber hinaus wird mit Hilfe des erfindungsgemäßen Verfahrens die in der CT-Aufnahme eingezeichnete Markierung (die 3A dargestellte Linie 5) als Markierung 50 lagerichtig in das Endoskopiebild eingeblendet, wie in 4B gezeigt. Das Einblenden besteht insbesondere in einer Transformation der die Markierung 5 repräsentierenden Punktmenge in das Koordinatensystem der Endoskopkamera. Der Operateur ist mit Hilfe der eingeblendeten Markierung in der Lage, bereits anhand des Endoskopiebildes schnell und sicher das Operationsgebiet zu indentifizieren.
Die 5A und 5B beziehen sich auf eine Variante der Erfindung, wonach das Operationsgebiet nicht von einer geschlossenen Linie umgeben ist, sondern lediglich mit einer punktförmigen Markierung 5' bzw. 6' versehen wird.
Die punktförmige Markierung 5' ist auch in der während der Operation verwendeten CT-Aufnahme eingeblendet (6A). Analog zu 4B wird unter Verwendung des erfindungsgemäßen Verfahrens die Markierung 5' bzw. 5'' als Markierung 50' lagerichtig in das Endoskopbild eingeblendet (6B). Die Form der eingeblendeten Markierung kann hierbei durchaus von der im CT-Bild bzw. der 3D-Rekonstruktion eingezeichneten Markierung abweichen, z. B. einen vergrößerten Durchmesser aufweisen, um ihre Sichtbarkeit zu erhöhen.
Darüber hinaus können selbstverständlich auch mehrere Markierungen des Körperbereiches erzeugt werden, die dann ebenfalls in das während der Operation benutzte CT-Bild und das Endoskopiebild eingeblendet werden (7A, 7B, eingeblendete Markierungen 50a, 50b).
Mit Hilfe des erfindungsgemäßen Verfahrens gemäß dem zweiten Erfindungsaspekt wird ein Abstand zwischen einem Punkt des Koordinatensystems, in dem sich der Körperbereich befindet, und der Markierung 5' (nach Transformation in das Koordinatensystem des Objektes) bestimmt. Der Punkt, zu dem der Abstand bestimmt werden soll, wird insbesondere mit einer Auswahlvorrichtung ausgewählt, wie weiter oben beschrieben. Beispielsweise wird die Auswahlvorrichtung durch das Endoskop 7 selber realisiert und z. B. ein Abstand zwischen der Endoskopspitze und der Markierung 5 (d. h. mindestens einem Punkt der Markierung) ermittelt.
Möglich ist auch, dass der Abstand nicht zwischen der Endoskopspitze und der Markierung, sondern zwischen einem mit der erwähnten Auswahlvorrichtung (als gestrichelte Linie angedeutet) 100 erzeugten Aufpunkt 8 und der Markierung 5' ermittelt wird. Die Auswahlvorrichtung weist insbesondere eine Lichtquelle (z. B. einen Laser) auf, mit dem der Aufpunkt 8 in Form einer Lichtflecks auf dem Körperbereich erzeugt wird.
Bezugszeichenliste

1: Endoskopbild
2: Laserpunkt
3: eingeblendeter Maßstab
4: Maßstab am Objekt
5, 5', 5'': linienartige Markierung
6, 6': flächige Markierung
7: Endoskopeinblendung
50, 50a, 50b, 50': eingeblendete Markierung
100: Auswahlvorrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 0403399 B1 [0002]
DE 102010042540 [0010]
DE 20100425400 [0050]

Zitierte Nicht-Patentliteratur

Publikation „Calibration of 3D surface profilometry using digital fringe projection”, L. Chen et al., Mess. Sci. Technol. 16 (2005) 1554–1566 [0011]

Claims

Verfahren zum Darstellen eines Objektes unter Verwendung eines optischen Systems, mit den Schritten: a) Bestimmen einer Abbildung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einer Bildebene des optischen Systems zugeordnet ist; b) Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert; und c) Abbilden der Koordinaten der Punkte der Punktmenge in das zweite Koordinatensystem mit Hilfe der in Schritt a) bestimmten Abbildung.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bestimmen der Abbildung das Bereitstellen eines Modells des optischen Systems umfasst, wobei durch eine Kalibrierung des optischen Systems Verzerrparameter des Modells des optischen Systems bestimmt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Punktmenge einen Maßstab repräsentiert.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass mit Hilfe einer Auswahlvorrichtung ein Punkt (2) auf dem Objekt markiert und die räumlichen Koordinaten des ausgewählten Punktes (2) in dem ersten Koordinatensystem bestimmt werden, wobei der Maßstab so in dem ersten Koordinatensystem platziert wird, dass er einen den ausgewählten Punkt Punkt (2) im ersten Koordinatensystem repräsentierenden Punkt schneidet.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Lichtpunkt (2) mit Hilfe einer Abstandbestimmungsvorrichtung des optischen Systems erzeugt wird.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass der Maßstab senkrecht zu einer Verbindungslinie zwischen dem optischen System und dem Lichtpunkt (2) verläuft.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass der Maßstab so orientiert wird, dass sein mit Hilfe der Abbildung erzeugtes Bild (3) im zweiten Koordinatensystem parallel zu einer optischen Horizontalen einer Kamera des optischen Systems verläuft.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Punktmenge einen interessierenden Bereich des Objektes repräsentiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Punktmenge eine Information bezüglich eines Weges hin zu einem interessierenden Bereich des Objektes repräsentiert.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Objekt ein Körperbereich ist und der interessierende Bereich ein Teilabschnitt des Körperbereiches, insbesondere ein Operationsgebiet.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass von dem Körperbereich eine Bilddarstellung oder ein mathematisches Modell bereitgestellt wird, wobei das erste Koordinatensystem, in dem die Punktmenge erzeugt wird, der Bilddarstellung oder dem mathematischen Modell zugeordnet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite Koordinatensystem einer Kamera des optischen Systems zugeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste Koordinatensystem einem Raum zugeordnet ist, in dem sich das Objekt befindet, wobei unter Verwendung eines Registrierelementes ein Bereich des Objektes ausgewählt, die Position des ausgewählten Bereiches in dem ersten Koordinatensystem ermittelt und die Punktmenge in Abhängigkeit von der Position des ausgewählten Bereiches erzeugt wird.
Verfahren zum Darstellen eines Objektes, mit den Schritten: a) Bestimmen einer Abbildung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einem Raum, in dem sich das Objekt befindet, zugeordnet ist; b) Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert; c) Abbilden der Koordinaten der Punkte der Punktmenge in das zweite Koordinatensystem mit Hilfe der in Schritt a) bestimmten Abbildung; und d) Ermitteln eines Abstandes zwischen mindestens einem Punkt der gemäß Schritt c) abgebildeten Punktmenge und einem ausgewählten Punkt des zweiten Koordinatensystems.
Vorrichtung zum Darstellen eines Objektes, insbesondere zum Durchführen eines Verfahrens gemäß einem der vorhergehenden Ansprüche, mit – einem optischen System; – einer Abbildungseinrichtung zum Abbilden von Koordinaten in einem ersten Koordinatensystem auf Koordinaten in einem zweiten Koordinatensystem, wobei das zweite Koordinatensystem einer Bildebene des optischen Systems zugeordnet ist; und – einer Erzeugungseinrichtung zum Erzeugen einer Punktmenge in dem ersten Koordinatensystem, die eine in ein mit dem optischen System zu erzeugendes Bild einzublendende Information repräsentiert.
Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass es sich bei dem optischen System um ein Endoskop oder ein Mikroskop handelt.