DE19944516A1

DE19944516A1 - Dreidimensionale Formerfassung mit Kamerabildern

Info

Publication number: DE19944516A1
Application number: DE19944516A
Authority: DE
Inventors: Stefan Vilsmeier; Rainer Birkenbach
Original assignee: Brainlab Medizinische Computersysteme GmbH
Current assignee: Brainlab AG
Priority date: 1999-09-16
Filing date: 1999-09-16
Publication date: 2001-04-12
Anticipated expiration: 2019-09-17
Also published as: DE19944516B4; US6947582B1

Abstract

Die Erfindung betrifft ein Verfahren zur Erfassung einer Objektform mit den folgenden Schritten: a) ein Kamerabild des Objektes wird erstellt; b) ein Umriß des Objektes in einer ersten Ebene, der in dem Kamerabild scharf erscheint, wird durch eine mit der Kamera verbundene Auswertungseinheit erfaßt; c) der Fokussierungsabstand der Kamera wird verändert; d) ein scharfer Umriß des Objektes in einer zweiten Ebene wird durch die Auswertungseinheit erfaßt; e) die Schritte b) bis d) werden wiederholt, bis eine ausreichende Zahl von Umrissen erfaßt ist, so daß die räumliche Form des Objektes festgestellt werden kann. Sie betrifft ferner eine Vorrichtung zur Durchführung dieses Verfahrens.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Erfassung einer Objektform.

Es gibt verschiedene Anwendungen, bei denen es von Wichtigkeit ist, die äußere Form eines Objektes genau zu kennen. Eine solche Anwendung liegt beispielsweise auf dem Gebiet der Medizintechnik. So werden Patienten vor chirurgischen oder strahlentherapeutischen Maßnahmen z. B. mittels einer Computertomographie gescannt, um die Lage einer Gewebsveränderung im Körper oder in einem Körperteil festzustellen. Dabei werden auch Marker oder hervorgehobene Punkte am Körperteil mitgescannt, deren Positionsdaten später in einem chirurgischen Navigationssystem, das den Behandlungsraum interoperativ überwacht, um als Hilfestellung für den Chirurgen oder Strahlentherapeuten zu dienen, verwertet werden.

Bei solchen Verfahren muß nachteiligerweise vor der Behandlung mit Hilfe des Navigationssystems eine aufwendige Zuordnung der Lagedaten aus dem CT-Scan zu den tatsächlichen Raumdaten im Operationsraum erfolgen. Diese Zuordnung ist einerseits aufwendig, da entsprechende Marker auf der Haut per Hand mit einem Referenzierungsgerät angefahren und identifiziert werden müssen; andererseits ist sie des öfteren ungenau, da sich beispielsweise Hautmarker beim Referenzierungsvorgang sehr leicht verschieben können. Automatische Referenzierungen mit Markern oder anhand von natürlichen Landmarken sind sehr rechenaufwendig.

Ein weiterer Nachteil solcher Lage- und Formzuordnungsverfahren besteht darin, daß sie zum Zeitpunkt der Behandlung oder Operation nicht unbedingt die genauen tatsächlichen Lagedaten für die Außenform oder eine Innenform wiedergeben. Diese Formdaten stammen nämlich beispielsweise aus einer Computertomographie, die zeitlich vor dem Eingriff durchgeführt wurde und lediglich die Markerpositionen werden aktuell erfaßt. Es kann nun vorkommen, daß sich durch Verschiebungen die Position von Gewebepunkten zu den Markern ändert, und zwar schon beim Transport vom Computertomographen in den Behandlungssaal. Dadurch wird die Form- und Lageerfassung im Navigationssystem unkorrekt und kann zu Fehlbehandlungen führen.

Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren sowie eine Vorrichtung zur Erfassung einer Objektform bereitzustellen, welche dazu in der Lage sind, die oben genannten Nachteile des Standes der Technik zu überwinden. Insbesondere soll eine schnelle und aktuell genaue Objektformerfassung ermöglicht werden.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Erfassung einer Objektform mit den folgenden Schritten gelöst:

a) ein Kamerabild des Objektes wird erstellt;
b) ein Umriß des Objektes in einer ersten Ebene, der in dem Kamerabild scharf erscheint, wird durch eine mit der Kamera verbundene Auswertungseinheit erfaßt;
c) der Fokussierungsabstand der Kamera wird verändert;
d) ein scharfer Umriß des Objektes in einer zweiten Ebene wird durch die Auswertungseinheit erfaßt;
e) die Schritte b) bis d) werden wiederholt, bis eine ausreichende Zahl von Umrissen erfaßt ist, so daß die räumliche Form des Objektes festgestellt werden kann.

Dieses erfindungsgemäße Verfahren hat den großen Vorteil, daß es automatisch und sehr schnell erfolgen kann. Nach der Durchführung des Verfahrens steht die äußere Form des Objektes genau und vor allen Dingen aktuell fest, so daß hierauf folgende Referenzierungen ebenfalls mit einer hohen Genauigkeit durchgeführt werden können. Dies verkürzt insbesondere auf dem Gebiet der chirurgischen und strahlentherapeutischen Behandlungen die Vorbereitungszeit für den Eingriff, macht diese Eingriffsvorbereitung einfacher und unterstützt die Genauigkeit der Behandlung, wodurch Fehlbehandlungen vermieden werden können.

Bei einer bevorzugten Ausführungsform der Erfindung wird durch eine Erfassung von Kontrastunterschieden festgestellt, welcher Umriß in dem Kamerabild scharf erscheint. Wenn in der Auswertungseinheit nunmehr bekannt ist, welcher Fokussierungsabstand vorliegt, werden in diesem Bereich, nämlich in dem Bereich der größten Schärfe des Bildes, auch die höchsten Kontrastunterschiede vorhanden sein. Demnach ist der gesuchte Umriß derjenige, bei dem die Kontrastunterschiede am höchsten sind, und sein Abstand, das heißt die Lage der Ebene, in der er von der Kamera entfernt liegt, ist bekannt, so daß auf dieser Ebene eine eindeutige Umrißzuordnung stattfinden kann. Es ist hierbei beispielsweise auch möglich, den Fokussierungsabstand bei der Erfassung eines Umrisses an einer Ebene vorübergehend zu variieren, um durch Mittelwertbildung die stärksten Kontrastunterschiede und damit die genaue Lage der gesuchten Ebene zu ermitteln.

Wenn dies für eine genügende Anzahl von Ebenen und Umrissen in diesen Ebenen erfolgt, kann damit eine äußerst genaue Erfassung der Objektform stattfinden.

Eine besonders genaue Umrißerfassung läßt sich erreichen, wenn eine Videokamera verwendet wird, deren Schärfentiefe sehr gering ist. Eine solche sehr geringe Schärfentiefe sorgt dafür, daß ein scharfer Umriß nur in einem sehr kleinen Abstandsbereich um den Fokussierungsabstand der Kamera herum erscheint. Mit einer Schärfentiefe, die gegen Null geht, könnte deshalb theoretisch der exakte Abstand der Ebene, in welcher der erfaßte Umriß liegt, erfaßt werden. Mit sehr geringen Schärfentiefen lassen sich deshalb sehr genaue Erfassungen vornehmen.

Grundsätzlich können gemäß der Erfindung an dem zu erfassenden Objekt Markierungen angebracht werden, um bestimmte Objektpunkte eindeutig erfaßbar zu machen. Es kann sich hierbei um Lichtmarkierungen, aufgesetzte Marker oder aufgeklebte Muster handeln, welche beispielsweise die Erfassung des schärfsten Bildes bzw. der höchsten Kontrastunterschiede vereinfachen.

Die Auswertungseinheit, die beim erfindungsgemäßen Verfahren verwendet wird, ist vorzugsweise ein Computer mit einem Bildverarbeitungsprogramm, wobei analoge Bildsignale (durch einen Analog-/Digitalwandler), die von der Kamera erfaßt werden, digitalisiert und dann verarbeitet werden.

Eine besonders vorteilhafte Ausführungsform des erfindungsgemäßen Verfahrens wird dann erzielt, wenn die Kamera eine Kamera eines chirurgischen Mikroskops ist. Bei hohen Vergrößerungen wird nämlich die Schärfentiefe geringer, so daß die oben in diesem Zusammenhang schon angesprochenen Vorteile erzielt werden können. Im medizinischen Bereich und in Kombination mit einem Navigationssystem kann die vorliegende Erfindung grundsätzlich in zweierlei Art und Weise Anwendung finden. Einerseits kann die Form eines zu behandelnden Körperteils eines Patienten als Objekt erfaßt werden, wobei die erfaßte Form durch ein das Behandlungsgebiet überwachendes Navigationssystem verarbeitet wird, um so die äußere Form des Körperteils bei der Navigation einbeziehen zu können. Andererseits besteht die Möglichkeit, am Objekt mindestens einen durch das Navigationssystem erfaßbaren Marker anzubringen, um die auch die von der Kamera erfaßte Markerposition zu verwenden, um die Lage und Form des Objekts dem Navigationssystem zuzuordnen.

Natürlich können für die Zuordnung im Navigationssystem auch natürliche Landmarken und künstliche Marker in Kombination verwendet werden.

Wenn eine natürliche Landmarke zur Zuordnung verwendet wird, wird gemäß dem erfindungsgemäßen Verfahren am Objekt mindestens ein durch das Navigationssystem erfaßbarer Punkt ausgewählt (beispielsweise die Nasenwurzel eines Patienten), um über die auch von der Kamera erfaßte Position dieses Punktes bzw. mehrerer dieser Punkte die Lage und Form des Objekts dem Navigationssystem zuzuordnen.

Das erfindungsgemäße Verfahren kann zur Verifizierung und Aktualisierung der gewünschten Positionsdaten zusammen mit einem Navigationssystem zur Lagereferenzierung verwendet werden, und zwar vorzugsweise bei einem Strahlentherapieverfahren oder bei einem chirurgischen Eingriff. Dies erhöht die Behandlungsgenauigkeit.

Vorteilhafterweise wird hierbei die erfaßte Form eines Körperteils derjenigen zugeordnet, welche durch ein präoperatives Scanverfahren, z. B. eine Computertomographie oder eine Kernspintomographie, bestimmt wurde. Hierdurch kann, auch wenn sich während des Patiententransportes eine Lageveränderung ergeben hat, also die CT- oder Kernspintomographie-Positionsdaten nicht mehr vollständig korrekt sind, ein Abgleich und eine Lagekorrektur durchgeführt werden, wodurch wiederum Fehlbehandlungen vermieden werden können. Ein großer Vorteil ist hierbei, daß der erfindungsgemäße Erfassungsvorgang durchaus auch während einer Operation, das heißt während eines chirurgischen Eingriffs, am offenen Körperteil vorgenommen werden kann. Dabei können natürlich auch die Umrisse in der geschaffenen Körperöffnung erfaßt und zur Abgleichung des gescannten Bildes verwendet werden. Die schon entfernten Teile können dann auch in dem vom Navigationssystem gelieferten Bild ausgeschnitten werden, um dem behandelnden Chirurgen eine bessere und aktuellere Behandlungsunterstützung zu gewähren. Dabei werden jeweils beispielsweise Dichtewerte erstellt, die genau der neuen Oberfläche entsprechen.

Des weiteren kann das erfindungsgemäße Verfahren natürlich auch dazu verwendet werden, einen intelligenten Autofokus zur Verfügung zu stellen. Hierzu wird die erfaßte Objektform, die in der Auswertungseinheit schon vorliegt, dazu verwendet, um automatisch durch den Benutzer vorgegebene Objektpunkte bzw. -ebenen zu fokussieren. Der Benutzer kann also beispielsweise in sein Navigationssystem eingeben, in welcher Umrißebene er ein scharfes Bild erhalten möchte, und zwar z. B. durch Koordinateneingabe oder durch die Verwendung eines taktilen Bildschirms. Die Kamera kann dann exakt diese Umrißebene fokussieren.

Ferner ist es durch die vorliegende Erfindung möglich, ein "superscharfes Bild" bzw. ein "unendlich scharfes Bild" zu erhalten. Die erfaßte Objektform kann nämlich auch dazu verwendet werden, ein in jeder Tiefe scharfes Bild zu erstellen. Hierzu wird jeweils der scharfe Bereich (Kontur) - z. B. ein Ring von 2 mm bis 3 mm Breite - aus jedem Bild extrahiert und mit den anderen scharfen Bereichen aus anderen Fokussierungsebenen zu einem Gesamtbild zusammengesetzt.

Ganz allgemein soll hier noch hinzugefügt werden, daß Objekte gemäß dem erfindungsgemäßen Verfahren durchaus von verschiedenen Seiten her aufgenommen werden können, wobei entweder über eine genau bekannte neue Kameraposition oder durch die Zuordnung von künstlichen Markern oder natürlichen Landmarken rechnerisch eine Zuordnung der beiden Erfassungen erfolgt, so daß ein Gesamtbild entsteht. Dadurch können auch Probleme vermieden werden, die durch Hinterschneidungen am Objekt entstehen und die Erfassung kann vervollständigt werden.

Die erfindungsgemäße Vorrichtung zur Erfassung einer Objektform weist eine Kamera auf, die eine Einrichtung zur automatisch oder manuell ansteuerbaren Änderung des Fokussierungsabstandes hat. Ferner umfaßt sie eine Auswertungseinheit, die mit der Kamera verbunden ist und die in verschiedenen Fokussierungsabständen bzw. -ebenen scharf erscheinende Umrisse des Objektes nacheinander erfaßt, bis eine ausreichende Zahl von Umrissen erfaßt ist, so daß die räumliche Form des Objektes festgestellt werden kann.

Wie schon oben erwähnt, ist es hierbei von Vorteil, wenn die Kamera eine Videokamera (digital oder analog) ist, deren Schärfentiefe sehr gering ist. Wie ebenfalls schon bei der Beschreibung des erfindungsgemäßen Verfahrens erläutert wurde, ist die Auswertungseinheit vorzugsweise ein Computer mit einem Bildverarbeitungsprogramm, wobei digitale Bildsignale verarbeitet werden bzw. analoge Bildsignale, die von der Kamera erfaßt werden, digitalisiert und dann verarbeitet werden, und wobei das Bildverarbeitungsprogramm insbesondere durch eine Erfassung von Kontrastunter schieden feststellt, welcher Umriß in dem Kamerabild scharf erscheint. Die Kamera ist bevorzugt diejenige an einem chirurgischen Mikroskop.

Die Erfindung wird nun im weiteren anhand einer bevorzugten Ausführungsform und unter Bezugnahme auf die beiliegende Zeichnung näher erläutert.

In der Zeichnung ist schematisch eine erfindungsgemäße Vorrichtung zur Erfassung der Form eines Objektes dargestellt. In dem dargestellten Beispiel trägt das vereinfacht dargestellte Mikroskop 3 eine Kamera 1, und zwar in diesem Fall eine Videokamera mit einer sehr geringen Schärfentiefe.

Die Videokamera 1 erstellt ein Kamerabild des Objektes 2 in dem gestrichelt dargestellten Aufnahmebereich.

Das Objekt 2 hat eine unregelmäßige Außenform. Zur Erfassung der Form des Objektes 2 wird nunmehr beispielsweise von oben herab eine Ebene nach der anderen durch die Veränderung, insbesondere automatische Veränderung des Fokussierungsabstandes der Kamera 1 scharf gestellt. In der Zeichnung sind als Beispiel drei Ebenen 4, 5 und 6 gezeigt, die nacheinander angefahren werden. Tatsächlich wird bei der Formerfassung natürlich eine sehr viel größere Anzahl von Ebenen angefahren, und zwar so viele, wie zur genauen Erfassung der Objektform notwendig sind. Bei sehr komplizierten Objektformen kann auch automatisch in bestimmten Abstandsbereichen die Anzahl der Fokussierungsebenen erhöht werden.

Beim Anfahren der Ebenen 4, 5 und 6, wie sie in der Figur dargestellt sind, wird jeweils ein Umriß des Objektes 2 scharf erscheinen, der in der Zeichnung für die jeweiligen Ebenen gepunktet in Projektion dargestellt ist. Die äußersten Punkte sind für die jeweiligen Ebenen linksseitig mit 7, 8 und 9 bezeichnet und etwas verstärkt dargestellt. Wenn die Kamera 1 automatisch ihren Fokussierungsabstand beispielsweise auf die Ebene 4 einstellt, werden alle Punkte 7 am Objekt 2 in dieser Ebene scharf erscheinen und aus diesen scharfen Punkten kann nunmehr der Umriß des Objekts 2 in der Ebene 4 ermittelt werden. Dazu werden die Bilddaten aus der Kamera 1 über eine Datenleitung 10 zu einem Computer C übertragen, der die analogen Bildsignale digitalisiert und mittels eines Bildverarbeitungsprogramms die Umrißdaten feststellt.

Wenn dieser Vorgang dann für weitere Ebenen, z. B. die Ebenen 5 und 6, in den meisten Fällen jedoch auch für viele dazwischenliegende Ebenen, wiederholt wird, läßt sich damit die Form des Objektes 2 genau und aktuell erfassen.

Claims

1. Verfahren zur Erfassung einer Objektform mit den folgenden Schritten:

2. Verfahren nach Anspruch 1, bei dem durch eine Erfassung von Kontrastunterschieden festgestellt wird, welcher Umriß in dem Kamerabild scharf erscheint.

3. Verfahren nach Anspruch 1 oder 2, bei dem als Kamera eine Videokamera verwendet wird, deren Schärfentiefe sehr gering ist.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem an dem Objekt Markierungen angebracht werden, um bestimmte Objektpunkte eindeutig erfaßbar zu machen.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Auswertungseinheit ein Computer mit einem Bildverarbeitungsprogramm ist, wobei digitale Bildsignale verarbeitet werden bzw. analoge Bildsignale, die von der Kamera erfaßt werden, digitalisiert und dann verarbeitet werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem eine Kamera an einem chirurgischen Mikroskop verwendet wird.

7. Verfahren nach einem der Ansprüche 1 bis 7, bei dem die Form eines zu behandelnden Körperteils eines Patienten als Objekt erfaßt wird, wobei die erfaßte Form durch ein das Behandlungsgebiet überwachendes Navigationssystem verarbeitet wird, um so die äußere Form des Körperteils bei der Navigation einbeziehen zu können.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß am Objekt mindestens ein durch das Navigationssystem erfaßbarer Marker angebracht wird, um über die auch von der Kamera erfaßte Markerposition(en) die Lage und Form des Objektes im Navigationssystem zuzuordnen.

9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß am Objekt mindestens ein durch das Navigationssystem erfaßbarer fester Punkt ausgewählt wird, um über die auch von der Kamera erfaßte Position dieses Punktes bzw. dieser Punkte die Lage und Form des Objektes im Navigationssystem zuzuordnen.

10. Verfahren nach einem der Ansprüche 7 bis 9, welches zusammen mit einem Navigationssystem zur Lagereferenzierung bei einem Strahlentherapieverfahren oder bei einem chirurgischen Eingriff verwendet wird.

11. Verfahren nach einem der Ansprüche 7 bis 10, bei dem die erfaßte Form eines Körperteil derjenigen zugeordnet wird, welche durch ein präoperatives oder intraoperatives Scanverfahren, z. B. eine Computertomographie oder eine Kernspintomographie bestimmt wurde, um einen Abgleich bzw. eine Lagekorrektur durchzuführen.

12. Verfahren nach einem der Ansprüche 1 bis 6, bei dem die erfaßte Objektform dazu verwendet wird, automatisch durch den Benutzer vorgegebene Objektpunkte bzw. -ebenen zu fokussieren.

13. Verfahren nach einem der Ansprüche 1 bis 6, bei dem die erfaßte Objektform dazu verwendet wird, ein in jeder Tiefe scharfes Bild zu erstellen.

14. Vorrichtung zur Erfassung einer Objektform mit einer Kamera (1), die eine Einrichtung zur automatisch oder manuell ansteuerbaren Änderung des Fokussierungsabstand aufweist, sowie eine Auswertungseinheit, die mit der Kamera (1) verbunden ist und die in verschiedenen Fokussierungsabständen bzw. ebenen (4, 5, 6) scharf erscheinenden Umrisse des Objektes (2) nacheinander erfaßt, bis eine ausreichende Zahl von Umrissen erfaßt ist, so daß die räumliche Form des Objektes (2) festgestellt werden kann.

15. Vorrichtung nach Anspruch 14, bei der die Kamera eine Videokamera ist, deren Schärfentiefe sehr gering ist.

16. Vorrichtung nach Anspruch 14 oder 15, bei der die Auswertungseinheit ein Computer mit einem Bildverarbeitungsprogramm ist, wobei analoge Bildsignale, die von der Kamera erfaßt werden, digitalisiert und dann verarbeitet werden, wobei das Bildverarbeitungsprogramm durch eine Erfassung von Kontrastunterschieden feststellt, welcher Umriß in dem Kamerabild scharf erscheint.

17. Vorrichtung nach einem der Ansprüche 14 bis 16, bei der die Kamera an einem chirurgischen Mikroskop angebracht ist.