-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft eine Inzisionsfolie, ein System, das die Inzisionsfolie und eine Erfassungsvorrichtung zur Erfassung eines auf der Inzisionsfolie vorhandenen Musters umfasst, und ein computerimplementiertes Verfahren zur Bestimmung der Geometrie einer anatomischen Oberfläche, ein entsprechendes Computerprogramm, ein computerlesbares Speichermedium, das ein solches Programm speichert, und einen Computer, der das Programm ausführt.
-
TECHNISCHER HINTERGRUND
-
Die Erfindung unterstützt die Erfassung eines präzisen digitalen Oberflächenmodells eines Patienten oder einer bestimmten Patientenanatomie, beispielsweise vor einem chirurgischen Eingriff in einem Operationssaal. Ein solches Oberflächenmodell ist eine digitale Darstellung der Topographie der Haut des Patienten zum Zeitpunkt der Erfassung des Modells. Ein präzises Oberflächenmodell kann im medizinischen Bereich und insbesondere während eines chirurgischen Eingriffs mehrere Zwecke erfüllen:
- a) Registrieren digitaler Patientendaten, bei denen dieselbe Anatomie erfasst und erkannt wurde, mit dem realen Patienten im Rahmen des Oberflächenabgleichs, z. B. für die bildgestützte Chirurgie. Bei diesen Patientendaten könnte es sich um einen volumetrischen Datensatz handeln, der mit MRI/CT/anderen Bildgebungsmodalitäten erfasst wurde.
- b) Visualisierung: Die Kenntnis der Topographie der Haut des Patienten ist oft entscheidend für die korrekte Visualisierung medizinischer Datensätze und die Erstellung von Visualisierungen, die je nach medizinischem Anwendungsfall bestimmte Details zeigen. Insbesondere bei Augmented-Reality- oder Mixed-Reality-Visualisierungsszenarien ist es wichtig zu wissen, wo die reale Patientenoberfläche liegt, damit virtuelle Inhalte innerhalb und außerhalb des Patienten korrekt mit der Realität überblendet werden können. Fortschrittliche Visualisierungen mit tiefenabhängiger Überblendung und Okklusion von virtuellen und realen Objekten sind für eine gute Tiefenwahrnehmung des Nutzers unerlässlich.
- c) Aktualisieren von zuvor erfassten Patientendaten oder Modellen auf die aktuelle Körperhaltung. Zum Beispiel Aktualisierung eines präoperativen Bilddatensatzes, z. B. eines CT-Scans, oder von Modellen eines Organs oder anderer anatomischer Strukturen, z. B. eines Modells der Wirbelsäule des Patienten, die aus solchen präoperativen Bilddaten erstellt wurden, auf die tatsächliche Haltung und Wirbelsäulenkrümmung, die der Patient einnimmt, wenn er auf dem OP-Tisch liegt.
-
Je nach Anwendungsfall wurden verschiedene Techniken eingesetzt, um die oben beschriebenen Ziele zu erreichen:
- a) Registrierung: Es gibt verschiedene Methoden, um Patientendaten der tatsächlichen Anatomie des Patienten zuzuordnen
- 1. gepaarte Punktregistrierung
- 2. Oberflächenanpassung unter Verwendung einer Punktwolke, die mit einem verfolgten Instrument (z. B. Brainlab Softouch®) oder einem Laserstrahl (z. B. Brainlab z-Touch®) erfasst wurde
- 3. intraoperativer Registrierungsscan (z. B. Universal AIR) mit verschiedenen Bildgebungsmodalitäten
- 4. Oberflächenanpassung mit strukturiertem Licht
- b) Visualisierung/Augmented/Mixed Reality:
- 1. Hautoberfläche wird aus den Bilddaten (CT) durch Schwellenwertbildung rekonstruiert
- 2. Tiefensensor / TOF (Time of flight)
- 3. Oberflächenrekonstruktion mit Mono-/Stereo-Photogrammetrie
- c) Aktualisierung der Körperhaltung / Korrektur der Wirbelsäulenverkrümmung: Intraoperativer Scan und elastische Bildfusion (z. B. Brainlab Spine Curvature Correction)
-
Je nach Anwendungsfall (siehe vorheriger Abschnitt):
- a) Registrierung, z. B. durch Punktpaarregistrierung (kann jedoch invasiv sein und erfordert den Zugang zu anatomischen Landmarken) oder durch einen umständlichen manuellen Prozess (der Zeit in Anspruch nimmt und zusätzliche Ausrüstung erfordert, z. B. für die Verfolgung eines Zeigegeräts) oder durch Oberflächenabgleich (dies kann jedoch einen intraoperativen Scan für die Registrierung erfordern, ist mit hohem Aufwand verbunden und führt zu einer Strahlenbelastung des Patienten und des Personals) oder durch Anwendung einer Strukturlichtbildgebungsmodalität (die jedoch ebenfalls zusätzliche Ausrüstung wie einen Projektor und eine Kamera erfordert).
- b) Visualisierung/Augmented/Mixed Reality:
- 1. Hautrekonstruktion aus Bilddaten (die Patientenanatomie in den präoperativen Bilddaten entspricht jedoch möglicherweise nicht der intraoperativen Position des Patienten (z. B. bei Wirbelsäulenoperationen haben auch die intraoperativen Bilddaten oft ein sehr kleines Sichtfeld, das nur wenig oder gar keine Hautoberfläche enthält
- 2. Verwenden eines Tiefensensors (TOF) (was mit einer groben Auflösung und einer gewissen Ungenauigkeit verbunden ist)
- 3. Verwenden von Photogrammetrie (die jedoch mit Genauigkeitsproblemen verbunden und rechenintensiv ist und sich daher wenig für die Echtzeitverarbeitung eignet)
- c) Haltungs- und Krümmungsaktualisierung (die allerdings mit einem intraoperativen Scan verbunden ist, der mit Aufwand und Strahlenbelastung für Patient und Personal verbunden ist)
-
Die vorliegende Erfindung hat den Zweck, ein effizientes und sicheres Verfahren zur Bestimmung eines aktualisierten Oberflächenmodells eines anatomischen Körperteils eines Patienten bereitzustellen.
-
Die vorliegende Erfindung kann für medizinische Verfahren eingesetzt werden, z.B. in Verbindung mit einem System zur bildgesteuerten Strahlentherapie wie VERO® und ExacTrac®, beides Produkte der Brainlab AG, oder den folgenden Produkten der Brainlab AG: Wirbelsäulennavigation, Schädelnavigation, auch orthopädische oder HNO-Navigation (auf verschiedenen Plattformen, Curve, Buzz, Kick), Brainlab Mixed Reality.
-
Im Folgenden werden Aspekte der vorliegenden Erfindung, Beispiele und beispielhafte Schritte und deren Ausführungsformen offenbart. Verschiedene beispielhafte Merkmale der Erfindung können erfindungsgemäß kombiniert werden, wo immer dies technisch sinnvoll und machbar ist.
-
BEISPIELHAFTE KURZBESCHREIBUNG DER ERFINDUNG
-
Nachfolgend wird eine kurze Beschreibung der spezifischen Merkmale der vorliegenden Erfindung gegeben, die nicht so zu verstehen ist, dass die Erfindung nur auf die in diesem Abschnitt beschriebenen Merkmale oder eine Kombination der Merkmale beschränkt ist.
-
Die vorliegende Offenbarung umfasst eine Inzisionsfolie aus einem sterilen, dünnen, klebenden Kunststofffilm mit einem aufgedruckten, definierten Muster (z.B. einem feinen Gittermuster), die z.B. auf die Hautoberfläche eines Patienten geklebt werden kann und die den interessierenden anatomischen Bereich markiert. Mit einer Kamera werden Bilder von der aufgeklebten Folie aufgenommen und die Verformung des Musters digitalisiert. Mit einem Computerbildgebungsalgorithmus wird die Oberfläche des Patienten, die der Oberfläche der Folie entspricht, aus den detektierten Mustermerkmalen in den Bildern im Vergleich zu dem bekannten ursprünglichen unverformten Muster rekonstruiert. Die vorliegende Offenlegung bezieht sich auch auf ein Verfahren zur Bestimmung der Geometrie der Oberfläche des Patienten unter Verwendung der Inzisionsfolie.
-
ALLGEMEINE BESCHREIBUNG DER ERFINDUNG
-
In diesem Abschnitt werden die allgemeinen Merkmale der vorliegenden Erfindung beschrieben, indem beispielsweise auf mögliche Ausführungsformen der Erfindung Bezug genommen wird.
-
Im Allgemeinen erreicht die Erfindung das vorgenannte Ziel, indem sie in einem ersten Aspekt eine Inzisionsfolie (z. B. eine medizinische oder chirurgische Inzisionsfolie) bereitstellt, die eine erste Seite mit einem klebenden Teil aufweist. Die Inzisionsfolie hat auch eine nicht klebende zweite Seite gegenüber der ersten Seite (d.h. auf der anderen Seite der Inzisionsfolie). Der klebende Teil ist zum Beispiel selbstklebend. Die Folie besteht z. B. aus einem Kunststoffmaterial, das z. B. zu einem dünnen Film geformt ist und z. B. sterilisiert werden kann. Die Inzisionsfolie kann auf einen anatomischen Körperteil gelegt werden, an dem ein chirurgischer Eingriff durchgeführt werden soll, und als sterile Abdeckung des Bereichs um den Operationsort dienen. Die Inzisionsfolie ist beispielsweise ein chirurgisches Abdecktuch oder ein Teil eines chirurgischen Abdecktuchs. Die Inzisionsfolie wird z. B. mit der Klebeseite auf den anatomischen Körperteil gelegt, so dass die Position der Inzisionsfolie auf dem anatomischen Körperteil fixiert wird. Die Inzisionsfolie kann z. B. mit einem Skalpell eingeschnitten werden, um den Zugang zum Situs durch den Schnitt zu ermöglichen. Auf der Inzisionsfolie ist ein Muster angebracht. Das Muster ist beispielsweise mit einer elektronischen Erfassungsvorrichtung, z. B. einer Kamera wie einer monoskopischen oder stereoskopischen Kamera, optisch erkennbar. Das Muster bildet zum Beispiel einen optischen Kontrast zu dem Teil der nicht klebenden Seite. Das Muster, z. B. ein grafisches Muster, wird auf einem Teil der nicht klebenden Seite an einer dem klebenden Teil gegenüberliegenden Stelle angebracht. Das Muster wird z. B. auf die Inzisionsfolie gedruckt oder gemalt.
-
In einem Beispiel des ersten Aspekts ändert sich das Erscheinungsbild des Musters, z. B. ist es so konfiguriert, dass es sich ändert, wenn die Inzisionsfolie verformt wird. Beispielsweise ändert sich die Topographie, beispielsweise die makroskopische Topographie, der Folie, wenn die Inzisionsfolie verformt wird, beispielsweise ist sie so konfiguriert, dass sie sich ändert. Beispielsweise kann die Folie nicht zumindest im Wesentlichen gedehnt oder gestaucht werden, so dass die Oberfläche der Folie während der Verformung zumindest im Wesentlichen konstant bleibt. Das Muster ist zum Beispiel regelmäßig, zum Beispiel symmetrisch oder periodisch, zum Beispiel hinsichtlich seiner räumlichen Anordnung. In einem anderen Beispiel des ersten Aspekts ist das Muster unregelmäßig, z.B. unsymmetrisch oder aperiodisch, z.B. hinsichtlich seiner räumlichen Anordnung. In Beispielen des ersten Aspekts ist das Muster mindestens eines der folgenden: kariert, gestreift, gepunktet, ein gitterförmiges Muster, ein Muster, das in verschiedenen Graustufen wiedergegeben wird, das in verschiedenen Linienstärken wiedergegeben wird oder das in verschiedenen Punktgrößen wiedergegeben wird. Das Muster besteht zum Beispiel aus einem Streifenindexcode oder einem Gitterindexcode, zum Beispiel einem Strichcode oder einem QR-Code. Ein räumliches Frequenzspektrum des Musters hat beispielsweise eine Spitze bei einem Wert, der für die Erfassung durch eine Kamera geeignet ist, z. B. in Übereinstimmung mit der räumlichen Auflösung einer Kamera.
-
In einem zweiten Aspekt ist die Erfindung auf ein System gerichtet, das die Inzisionsfolie gemäß dem ersten Aspekt umfasst. Das System umfasst auch eine Erfassungsvorrichtung zum Erfassen des Musters und einen Computer, der betriebsfähig mit der Erfassungsvorrichtung gekoppelt ist, um von der Erfassungsvorrichtung elektronische Signale zu empfangen, die das Erscheinungsbild des von der Erfassungsvorrichtung erfassten Musters beschreiben, und der so konfiguriert ist, dass er die Geometrie der Inzisionsfolie auf der Grundlage der von der Erfassungsvorrichtung empfangenen elektronischen Signale bestimmt.
-
In einem Beispiel des zweiten Aspekts umfasst das System ferner eine elektronische Datenspeichervorrichtung, die Musterschablonendaten speichert, die ein vorbestimmtes Muster in einer bekannten Geometrie der Inzisionsfolie darstellen. Der Computer ist funktionsfähig mit der Erfassungsvorrichtung gekoppelt, um von der Erfassungsvorrichtung Mustererfassungsdaten zu empfangen, die das Aussehen des von der Erfassungsvorrichtung erfassten Musters beschreiben, und mit der elektronischen Datenspeichereinrichtung, um von der elektronischen Datenspeichereinrichtung die Musterschablonendaten zu empfangen. Darüber hinaus ist der Computer so konfiguriert, dass er auf der Grundlage der Mustererfassungsdaten und der Musterschablonendaten Oberflächengeometriedaten bestimmt, die eine Geometrie der Inzisionsfolie beschreiben.
-
In einem Beispiel besteht das System gemäß dem zweiten Aspekt aus der Inzisionsfolie und die Detektionsvorrichtung ist eine Kamera, zum Beispiel eine monoskopische oder stereoskopische Kamera.
-
In einem dritten Aspekt ist die Erfindung auf ein computerimplementiertes medizinisches Verfahren zur Bestimmung der Geometrie einer anatomischen Oberfläche eines anatomischen Körperteils gerichtet. Das Verfahren gemäß dem dritten Aspekt umfasst das Ausführen der folgenden beispielhaften Schritte, die von dem mindestens einen Prozessor ausgeführt werden, auf mindestens einem Prozessor mindestens eines Computers (beispielsweise mindestens eines Computers, der Teil eines Navigationssystems ist).
-
In einem (z.B. ersten) beispielhaften Schritt werden Mustererkennungsdaten erfasst, die das Aussehen des auf der Inzisionsfolie gemäß dem ersten Aspekt vorgesehenen Musters beschreiben, wobei der klebende Teil der Inzisionsfolie auf der anatomischen Oberfläche angebracht ist.
-
In einem (z. B. zweiten) beispielhaften Schritt werden auf der Grundlage der Mustererkennungsdaten Oberflächengeometriedaten ermittelt, wobei die Oberflächengeometriedaten die Geometrie der anatomischen Oberfläche beschreiben. Die Oberflächengeometriedaten wurden beispielsweise durch Oberflächenrekonstruktion mittels Mono- oder Stereophotogrammetrie ermittelt.
-
In einem Beispiel umfasst das Verfahren gemäß dem dritten Aspekt das Erfassen von Musterschablonendaten, die ein vorbestimmtes, beispielsweise bekanntes, Aussehen des Musters in einer vorbestimmten, beispielsweise bekannten, Geometrie der Inzisionsfolie beschreiben. In diesem Beispiel umfasst das Verfahren ferner die Bestimmung von Oberflächengeometriedaten, die eine Geometrie der anatomischen Oberfläche beschreiben, basierend auf den Mustererkennungsdaten und den Musterschablonendaten.
-
In einem Beispiel umfasst das Verfahren gemäß dem dritten Aspekt die Erfassung von Planungsbilddaten, die ein medizinisches Bild beschreiben, das eine Geometrie des anatomischen Körperteils definiert. In diesem Beispiel umfasst das Verfahren ferner das Ermitteln von Körperteildeformationsdaten auf der Grundlage der Planungsbilddaten und der Oberflächengeometriedaten, die eine Deformation der Geometrie des anatomischen Körperteils beschreiben, die durch das medizinische Bild definiert ist. Die Oberflächengeometriedaten beschreiben beispielsweise eine Abweichung zwischen der Geometrie der anatomischen Oberfläche, wie sie von der Erfassungsvorrichtung erfasst wird, und dem vorgegebenen Aussehen des Musters. Die Information über die Abweichung kann verwendet werden, um beispielsweise einen auf der Grundlage der Planungsbilddaten erstellten Behandlungsplan an die tatsächliche Geometrie des anatomischen Körperteils anzupassen, die aus den Oberflächengeometriedaten ermittelt werden kann, da die Inzisionsfolie an der anatomischen Oberfläche des anatomischen Körperteils angebracht ist.
-
In einem vierten Aspekt ist die Erfindung auf ein Computerprogramm gerichtet, das Anweisungen umfasst, die, wenn das Programm von mindestens einem Computer ausgeführt wird, den mindestens einen Computer veranlassen, ein Verfahren gemäß dem dritten Aspekt auszuführen. Die Erfindung kann sich alternativ oder zusätzlich auf eine (physikalische, z.B. elektrische, z.B. technisch erzeugte) Signalwelle, z.B. eine digitale Signalwelle, wie z.B. eine elektromagnetische Trägerwelle beziehen, die Informationen trägt, die das Programm, z.B. das vorgenannte Programm, repräsentieren, das z.B. Codemittel umfasst, die geeignet sind, einzelne oder alle Schritte des Verfahrens gemäß dem ersten Aspekt durchzuführen. Die Signalwelle ist in einem Beispiel ein Datenträgersignal, das das vorgenannte Computerprogramm trägt. Ein auf einer Platte gespeichertes Computerprogramm ist eine Datendatei, und wenn die Datei ausgelesen und übertragen wird, wird sie zu einem Datenstrom, beispielsweise in Form eines (physikalischen, beispielsweise elektrischen, beispielsweise technisch erzeugten) Signals. Das Signal kann als Signalwelle, z. B. als die hier beschriebene elektromagnetische Trägerwelle, realisiert werden. Das Signal, z.B. die Signalwelle, ist z.B. so beschaffen, dass es über ein Computernetzwerk, z.B. LAN, WLAN, WAN, mobiles Netzwerk, z.B. das Internet, übertragen werden kann. Beispielsweise ist das Signal, beispielsweise die Signalwelle, zur Übertragung mittels optischer oder akustischer Datenübertragung ausgebildet. Die Erfindung gemäß dem vierten Aspekt kann sich daher alternativ oder zusätzlich auf einen Datenstrom beziehen, der das vorgenannte Programm repräsentiert, d.h. das Programm umfasst.
-
In einem fünften Aspekt ist die Erfindung auf ein computerlesbares Speichermedium gerichtet, auf dem das Programm gemäß dem zweiten Aspekt gespeichert ist. Das Programmspeichermedium ist beispielsweise nicht-übertragbar.
-
In einem sechsten Aspekt ist die Erfindung auf mindestens einen Computer (z. B. einen Rechner) gerichtet, der mindestens einen Prozessor (z. B. einen Prozessor) umfasst, wobei das Programm gemäß dem zweiten Aspekt von dem Prozessor ausgeführt wird, oder wobei der mindestens eine Computer das computerlesbare Speichermedium gemäß dem dritten Aspekt umfasst.
-
Der Rechner des Systems nach dem zweiten Aspekt ist beispielsweise der Rechner nach dem sechsten Aspekt.
-
Alternativ oder zusätzlich ist die Erfindung gemäß dem fünften Aspekt auf ein beispielsweise nichtflüchtiges computerlesbares Programmspeichermedium gerichtet, das ein Programm speichert, um den Computer gemäß dem vierten Aspekt zu veranlassen, die Datenverarbeitungsschritte des Verfahrens gemäß dem dritten Aspekt auszuführen.
-
So beinhaltet oder umfasst die Erfindung beispielsweise keinen invasiven Schritt, der einen erheblichen physischen Eingriff in den Körper darstellt, dessen Durchführung professionelle medizinische Fachkenntnisse erfordert und selbst bei Durchführung mit der erforderlichen professionellen Sorgfalt und Fachkenntnis ein erhebliches Gesundheitsrisiko mit sich bringen würde.
-
So umfasst die Erfindung beispielsweise keinen Schritt zur Durchführung eines chirurgischen Eingriffs an dem anatomischen Körperteil, an dem die Inzisionsfolie angebracht wurde. Insbesondere beinhaltet oder umfasst die Erfindung keine chirurgische oder therapeutische Tätigkeit. Die Erfindung bezieht sich vielmehr auf die Geometrie einer anatomischen Oberfläche unter Verwendung einer selbstklebenden Inzisionsfolie. Schon aus diesem Grund ist keine chirurgische oder therapeutische Tätigkeit und insbesondere kein chirurgischer oder therapeutischer Schritt bei der Ausführung der Erfindung erforderlich oder impliziert.
-
Die vorliegende Erfindung bezieht sich auch auf die Verwendung des Systems gemäß dem zweiten Aspekt oder einer beliebigen Ausführungsform davon, zum Beispiel zur Bestimmung einer Verformung der Inzisionsfolie. Auch bei der Mikroskopnavigation könnte die Erfindung genutzt werden, indem die Kamera des Mikroskops zur Erfassung der Folie verwendet wird.
-
DEFINITIONEN
-
In diesem Abschnitt werden Definitionen für bestimmte, in dieser Offenbarung verwendete Begriffe angeboten, die ebenfalls Teil der vorliegenden Offenbarung sind.
-
Das erfindungsgemäße Verfahren ist zum Beispiel ein computerimplementiertes Verfahren. Beispielsweise können alle Schritte oder nur einige der Schritte (d.h. weniger als die Gesamtzahl der Schritte) des erfindungsgemäßen Verfahrens von einem Computer (z.B. mindestens einem Computer) ausgeführt werden. Eine Ausführungsform des computerimplementierten Verfahrens ist eine Verwendung des Computers zur Durchführung eines Datenverarbeitungsverfahrens. Eine Ausführungsform des computerimplementierten Verfahrens ist ein Verfahren, das den Betrieb des Computers betrifft, so dass der Computer betrieben wird, um einen, mehrere oder alle Schritte des Verfahrens durchzuführen.
-
Der Computer umfasst zum Beispiel mindestens einen Prozessor und zum Beispiel mindestens einen Speicher, um die Daten (technisch) zu verarbeiten, zum Beispiel elektronisch und/oder optisch. Der Prozessor besteht beispielsweise aus einem Stoff oder einer Zusammensetzung, der/die ein Halbleiter ist, zum Beispiel zumindest teilweise n- und/oder p-dotierter Halbleiter, zum Beispiel mindestens ein II-, III-, IV-, V-, VI-Halbleitermaterial, zum Beispiel (dotiertes) Silizium und/oder Galliumarsenid. Die beschriebenen Rechen- oder Bestimmungsschritte werden z.B. von einem Computer durchgeführt. Bestimmungsschritte oder Berechnungsschritte sind beispielsweise Schritte zur Ermittlung von Daten im Rahmen des technischen Verfahrens, beispielsweise im Rahmen eines Programms. Ein Computer ist z.B. jede Art von Datenverarbeitungsgerät, z.B. elektronisches Datenverarbeitungsgerät. Ein Computer kann ein Gerät sein, das allgemein als solches angesehen wird, z. B. Desktop-PCs, Notebooks, Netbooks usw., kann aber auch ein beliebiges programmierbares Gerät sein, wie z. B. ein Mobiltelefon oder ein eingebetteter Prozessor. Ein Computer kann beispielsweise aus einem System (Netzwerk) von „Sub-Computern“ bestehen, wobei jeder Sub-Computer einen eigenen Computer darstellt. Der Begriff „Computer“ umfasst auch einen Cloud-Computer, z. B. einen Cloud-Server. Der Begriff „Computer“ schließt eine Server-Ressource ein. Der Begriff „Cloud-Computer“ schließt ein Cloud-Computersystem ein, das beispielsweise ein System aus mindestens einem Cloud-Computer und beispielsweise einer Vielzahl von operativ miteinander verbundenen Cloud-Computern wie einer Serverfarm umfasst. Ein solcher Cloud-Computer ist vorzugsweise an ein Weitverkehrsnetz wie das World Wide Web (WWW) angeschlossen und befindet sich in einer sogenannten Wolke von Computern, die alle mit dem World Wide Web verbunden sind. Eine solche Infrastruktur wird für das „Cloud Computing“ verwendet, das Berechnungs-, Software-, Datenzugangs- und Speicherdienste beschreibt, bei denen der Endnutzer den physischen Standort und/oder die Konfiguration des Computers, der einen bestimmten Dienst bereitstellt, nicht kennen muss. Der Begriff „Cloud“ wird in diesem Zusammenhang beispielsweise als Metapher für das Internet (World Wide Web) verwendet. Die Wolke bietet zum Beispiel Recheninfrastruktur als Dienstleistung (IaaS) an. Der Cloud-Computer kann als virtueller Host für ein Betriebssystem und/oder eine Datenverarbeitungsanwendung fungieren, die zur Ausführung des erfindungsgemäßen Verfahrens verwendet wird. Der Cloud-Computer ist zum Beispiel eine Elastic Compute Cloud (EC2), wie sie von Amazon Web Services™ bereitgestellt wird. Ein Computer umfasst beispielsweise Schnittstellen, um Daten zu empfangen oder auszugeben und/oder eine Analog-Digital-Wandlung durchzuführen. Bei den Daten handelt es sich beispielsweise um Daten, die physikalische Eigenschaften repräsentieren und/oder die aus technischen Signalen erzeugt werden. Die technischen Signale werden z.B. mittels (technischer) Detektionsgeräte (wie z.B. Geräte zur Detektion von Markierungsgeräten) und/oder (technischer) Analysegeräte (wie z.B. Geräte zur Durchführung von (medizinischen) Bildgebungsverfahren) erzeugt, wobei die technischen Signale z.B. elektrische oder optische Signale sind. Die technischen Signale stellen beispielsweise die vom Computer empfangenen oder ausgegebenen Daten dar. Der Computer ist vorzugsweise operativ mit einer Anzeigevorrichtung gekoppelt, die es ermöglicht, die vom Computer ausgegebenen Informationen anzuzeigen, beispielsweise für einen Benutzer. Ein Beispiel für eine Anzeigevorrichtung ist eine Virtual-Reality-Vorrichtung oder eine Augmented-Reality-Vorrichtung (auch als Virtual-Reality-Brille oder Augmented-Reality-Brille bezeichnet), die als „Brille“ zum Navigieren verwendet werden kann. Ein konkretes Beispiel für eine solche Augmented-Reality-Brille ist Google Glass (eine Marke von Google, Inc.). Ein Augmented-Reality-Gerät oder ein Virtual-Reality-Gerät kann sowohl zur Eingabe von Informationen in den Computer durch Benutzerinteraktion als auch zur Anzeige von Informationen, die der Computer ausgibt, verwendet werden. Ein weiteres Beispiel für eine Anzeigevorrichtung wäre ein Standard-Computermonitor, der beispielsweise eine Flüssigkristallanzeige umfasst, die operativ mit dem Computer gekoppelt ist, um Anzeigesteuerdaten vom Computer zu empfangen und Signale zu erzeugen, die zur Anzeige von Bildinformationsinhalten auf der Anzeigevorrichtung verwendet werden. Eine besondere Ausführungsform eines solchen Computermonitors ist ein digitaler Leuchtkasten. Ein Beispiel für einen solchen digitalen Leuchtkasten ist Buzz®, ein Produkt der Brainlab AG. Bei dem Monitor kann es sich auch um den Monitor eines tragbaren Geräts, z. B. eines Smartphones, eines persönlichen digitalen Assistenten oder eines digitalen Medienabspielgeräts, handeln.
-
Die Erfindung bezieht sich auch auf ein Computerprogramm, das Anweisungen enthält, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, das Verfahren oder die Verfahren, zum Beispiel die Schritte des Verfahrens oder der Verfahren, die hierin beschrieben sind, auszuführen, und/oder auf ein computerlesbares Speichermedium (zum Beispiel ein nicht-transitorisches computerlesbares Speichermedium), auf dem das Programm gespeichert ist, und/oder auf einen Computer, der das Programmspeichermedium enthält, und/oder auf eine (physikalische, z.B. elektrische, z.B. technisch erzeugte) Signalwelle, z.B. eine digitale Signalwelle, wie z.B. eine elektromagnetische Trägerwelle, die Informationen trägt, die das Programm, z.B. das vorgenannte Programm, darstellen, das z.B. Codemittel umfasst, die geeignet sind, einen oder alle der hierin beschriebenen Verfahrensschritte durchzuführen. Die Signalwelle ist in einem Beispiel ein Datenträgersignal, das das vorgenannte Computerprogramm trägt. Die Erfindung bezieht sich auch auf einen Computer, der mindestens einen Prozessor und/oder das vorgenannte computerlesbare Speichermedium und beispielsweise einen Speicher umfasst, wobei das Programm von dem Prozessor ausgeführt wird.
-
Im Rahmen der Erfindung können Computerprogrammelemente durch Hardware und/oder Software verkörpert werden (dazu gehören Firmware, residente Software, Mikrocode usw.). Im Rahmen der Erfindung können Computerprogrammelemente die Form eines Computerprogrammprodukts annehmen, das durch einen computerverwendbaren, beispielsweise computerlesbaren Datenträger verkörpert werden kann, der computerverwendbare, beispielsweise computerlesbare Programmanweisungen, „Code“ oder ein „Computerprogramm“ enthält, die in dem genannten Datenträger zur Verwendung auf oder in Verbindung mit dem anweisungsausführenden System verkörpert sind. Ein solches System kann ein Computer sein; ein Computer kann eine Datenverarbeitungsvorrichtung sein, die Mittel zum Ausführen der Computerprogrammelemente und/oder des erfindungsgemäßen Programms umfasst, beispielsweise eine Datenverarbeitungsvorrichtung, die einen digitalen Prozessor (Zentraleinheit oder CPU), der die Computerprogrammelemente ausführt, und optional einen flüchtigen Speicher (beispielsweise einen Speicher mit wahlfreiem Zugriff oder RAM) zum Speichern von Daten umfasst, die für die Ausführung der Computerprogrammelemente verwendet und/oder durch diese erzeugt werden. Im Rahmen der vorliegenden Erfindung kann ein computerverwendbares, z. B. computerlesbares Datenspeichermedium ein beliebiges Datenspeichermedium sein, das das Programm zur Verwendung auf dem oder in Verbindung mit dem befehlsausführenden System, Gerät oder der befehlsausführenden Vorrichtung enthalten, speichern, kommunizieren, verbreiten oder transportieren kann. Das computernutzbare, z. B. computerlesbare Datenspeichermedium kann z. B. ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, ein Gerät oder eine Vorrichtung oder ein Verbreitungsmedium wie z. B. das Internet sein, ist aber nicht darauf beschränkt. Der computerverwendbare oder computerlesbare Datenträger könnte sogar beispielsweise Papier oder ein anderes geeignetes Medium sein, auf das das Programm gedruckt wird, da das Programm elektronisch erfasst werden könnte, beispielsweise durch optisches Scannen des Papiers oder eines anderen geeigneten Mediums, und dann in geeigneter Weise kompiliert, interpretiert oder anderweitig verarbeitet wird. Das Datenspeichermedium ist vorzugsweise ein nichtflüchtiges Datenspeichermedium. Das Computerprogrammprodukt und die hier beschriebene Software und/oder Hardware bilden die verschiedenen Mittel zur Ausführung der Funktionen der Erfindung in den Ausführungsbeispielen. Die Computer- und/oder Datenverarbeitungseinrichtung kann beispielsweise eine Führungsinformationseinrichtung umfassen, die Mittel zur Ausgabe von Führungsinformationen aufweist. Die Führungsinformation kann z. B. an einen Benutzer visuell durch ein visuelles Anzeigemittel (z. B. einen Monitor und/oder eine Lampe) und/oder akustisch durch ein akustisches Anzeigemittel (z. B. einen Lautsprecher und/oder ein digitales Sprachausgabegerät) und/oder taktil durch ein taktiles Anzeigemittel (z. B. ein vibrierendes Element oder ein in ein Instrument eingebautes Vibrationselement) ausgegeben werden. Im Sinne dieses Dokuments ist ein Computer ein technischer Rechner, der z. B. technische, z. B. materielle, z. B. mechanische und/oder elektronische Komponenten umfasst. Jedes Gerät, das in diesem Dokument als solches bezeichnet wird, ist ein technisches, z. B. materielles Gerät.
-
Der Ausdruck „Erfassen von Daten“ umfasst zum Beispiel (im Rahmen eines computerimplementierten Verfahrens) das Szenario, in dem die Daten durch das computerimplementierte Verfahren oder Programm ermittelt werden. Das Ermitteln von Daten umfasst beispielsweise das Messen physikalischer Größen und das Umwandeln der Messwerte in Daten, beispielsweise digitale Daten, und/oder das Berechnen (und z.B. Ausgeben) der Daten mittels eines Computers und beispielsweise im Rahmen des erfindungsgemäßen Verfahrens. Ein Schritt des „Bestimmens“, wie er hierin beschrieben ist, umfasst oder besteht zum Beispiel aus der Ausgabe eines Befehls zur Durchführung der hierin beschriebenen Bestimmung. Der Schritt umfasst oder besteht beispielsweise darin, einen Befehl auszugeben, um einen Computer, beispielsweise einen entfernten Computer, beispielsweise einen entfernten Server, beispielsweise in der Cloud, zu veranlassen, die Bestimmung durchzuführen. Alternativ oder zusätzlich umfasst oder besteht ein Schritt der „Bestimmung“, wie hierin beschrieben, beispielsweise das Empfangen der Daten, die aus der hierin beschriebenen Bestimmung resultieren, beispielsweise das Empfangen der resultierenden Daten von dem entfernten Computer, beispielsweise von dem entfernten Computer, der veranlasst wurde, die Bestimmung durchzuführen. Die Bedeutung des Begriffs „Datenerfassung“ umfasst beispielsweise auch das Szenario, in dem die Daten von dem computerimplementierten Verfahren oder Programm empfangen oder abgerufen werden (z. B. Eingabe in das Programm), beispielsweise von einem anderen Programm, einem früheren Verfahrensschritt oder einem Datenspeichermedium, beispielsweise zur weiteren Verarbeitung durch das computerimplementierte Verfahren oder Programm. Die Erzeugung der zu erfassenden Daten kann, muss aber nicht Teil des erfindungsgemäßen Verfahrens sein. Der Ausdruck „Erfassen von Daten“ kann daher beispielsweise auch das Warten auf den Empfang von Daten und/oder den Empfang der Daten bedeuten. Die empfangenen Daten können beispielsweise über eine Schnittstelle eingespeist werden. Der Ausdruck „Erfassen von Daten“ kann auch bedeuten, dass das computerimplementierte Verfahren oder Programm Schritte durchführt, um die Daten (aktiv) von einer Datenquelle, beispielsweise einem Datenspeichermedium (wie beispielsweise einem ROM, RAM, einer Datenbank, einer Festplatte usw.), oder über die Schnittstelle (beispielsweise von einem anderen Computer oder einem Netzwerk) zu empfangen oder abzurufen. Die durch das beschriebene Verfahren bzw. die beschriebene Vorrichtung erfassten Daten können von einer Datenbank erfasst werden, die sich in einem Datenspeicher befindet, der mit einem Computer verbunden ist, um Daten zwischen der Datenbank und dem Computer, z. B. von der Datenbank zum Computer, zu übertragen. Der Computer erfasst die Daten, um sie als Eingabe für Schritte der Datenbestimmung zu verwenden. Die ermittelten Daten können wieder an dieselbe oder eine andere Datenbank ausgegeben werden, um sie zur späteren Verwendung zu speichern. Die Datenbank oder die Datenbank, die zur Durchführung des offengelegten Verfahrens verwendet wird, kann sich auf einem Netzwerkdatenspeicher oder einem Netzwerkserver (z. B. einem Cloud-Datenspeicher oder einem Cloud-Server) oder einem lokalen Datenspeicher (z. B. einem Massenspeicher, der funktionell mit mindestens einem Computer verbunden ist, der das offengelegte Verfahren ausführt) befinden. Die Daten können „gebrauchsfertig“ gemacht werden, indem ein zusätzlicher Schritt vor dem Erfassungsschritt durchgeführt wird. Gemäß diesem zusätzlichen Schritt werden die Daten erzeugt, um erfasst zu werden. Die Daten werden z.B. detektiert oder erfasst (z.B. durch ein Analysegerät). Alternativ oder zusätzlich werden die Daten nach dem zusätzlichen Schritt eingegeben, zum Beispiel über Schnittstellen. Die erzeugten Daten können z.B. eingegeben werden (z.B. in den Computer). Gemäß dem zusätzlichen Schritt (der dem Schritt des Erfassens vorausgeht) können die Daten auch dadurch bereitgestellt werden, dass der zusätzliche Schritt des Speicherns der Daten in einem Datenträger (wie z.B. ROM, RAM, CD und/oder Festplatte) durchgeführt wird, so dass sie im Rahmen des erfindungsgemäßen Verfahrens oder Programms zur Verwendung bereitstehen. Der Schritt des „Erfassens von Daten“ kann daher auch darin bestehen, einer Vorrichtung den Befehl zu erteilen, die zu erfassenden Daten zu beschaffen und/oder bereitzustellen. Insbesondere handelt es sich bei dem Schritt des Erfassens nicht um einen invasiven Schritt, der einen erheblichen körperlichen Eingriff in den Körper darstellt, dessen Durchführung medizinisches Fachwissen erfordert und selbst bei fachgerechter Durchführung ein erhebliches Gesundheitsrisiko birgt. Insbesondere beinhaltet der Schritt der Datenerfassung, z. B. der Datenbestimmung, keinen chirurgischen Schritt und insbesondere keinen Schritt der chirurgischen oder therapeutischen Behandlung eines menschlichen oder tierischen Körpers. Zur Unterscheidung der verschiedenen Daten, die im Rahmen des vorliegenden Verfahrens verwendet werden, werden die Daten als „XY-Daten“ und dergleichen bezeichnet (d. h. genannt) und in Bezug auf die Informationen definiert, die sie beschreiben, die dann vorzugsweise als „XY-Informationen“ und dergleichen bezeichnet werden.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Im Folgenden wird die Erfindung unter Bezugnahme auf die beigefügten Figuren beschrieben, die Hintergrunderklärungen geben und spezifische Ausführungsformen der Erfindung darstellen. Der Umfang der Erfindung ist jedoch nicht auf die im Zusammenhang mit den Figuren offenbarten spezifischen Merkmale beschränkt, wobei
- 1 zeigt ein gepunktetes Muster, das auf der Inzisionsfolie verwendet werden kann;
- 2 zeigt ein rechteckiges Muster, das auf der Inzisionsfolie verwendet werden kann;
- 3 zeigt ein gepunktetes Muster mit eingebetteten Indexcodes;
- 4 zeigt ein rechteckiges Muster mit eingebetteten Indexcodes;
- 5 veranschaulicht eine Verformung des Musters;
- 6 zeigt eine erste Art von unregelmäßigem Muster;
- 7 veranschaulicht eine zweite Art von unregelmäßigem Muster;
- 8 veranschaulicht eine Anwendung der an einem anatomischen Körperteil angebrachten Inzisionsfolie;
- 9 veranschaulicht die grundlegenden Schritte des Verfahrens gemäß dem ersten Aspekt; und
- 10 ist eine schematische Darstellung des Systems gemäß dem zweiten Aspekt; und
- 11 zeigt eine Ausführungsform der vorliegenden Erfindung, insbesondere das Verfahren gemäß dem ersten Aspekt.
-
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Die 1 und 2 veranschaulichen Arten von regelmäßigen, insbesondere periodischen Mustern, die auf der Inzisionsfolie gemäß dem ersten Aspekt verwendet werden können. 1 zeigt ein Muster endlicher Größe, das aus einer kontinuierlichen Anordnung von Punkten gleicher Größe mit konstantem Abstand zueinander besteht. 2 zeigt ein Muster, das aus Linien besteht, die eine kontinuierliche Anordnung quadratischer Rechtecke endlicher Größe definieren, wobei die Rechtecke alle die gleiche Größe haben.
-
Die 3 und 4 zeigen die Muster der 1 bzw. 2, wobei zusätzlich ein Indexcode, z. B. ein Gitterindexcode wie ein QR-Code, in die Punkte bzw. Rechtecke eingebettet ist. In diesen Beispielen enthält das Muster Markierungen mit bekannter Eins-zu-eins-Entsprechung ihrer Position und/oder Ausrichtung relativ zum Muster, was eine korrekte Ausrichtung des Musters in Kamerakoordinaten und die Identifizierung des Musters selbst dann ermöglicht, wenn Teile des Musters in Gräben verborgen sind (wie in 5 dargestellt).
-
5 zeigt die Verformung der Inzisionsfolie und damit des darauf befindlichen Musters, wenn z. B. die anatomische Oberfläche, auf der die Inzisionsfolie angebracht wurde, verformt wird. Die Punkte 5 des Musters ändern ihre Position in der Richtung senkrecht zur Ebene des unverformten Musters, behalten aber ihren Abstand zueinander bei, da die Folie nicht gedehnt werden kann. Die Erfassungseinrichtung 6, z. B. eine Kamera, empfängt also ein anderes Bild des Musters als im unverformten Zustand. Das empfangene Bild kann mit einem bekannten Algorithmus analysiert werden, um die Geometrie, z. B. die Form, der verformten Inzisionsfolie zu bestimmen. Dies kann anhand des charakteristischen Abstands geschehen, der aus dem Bild der verformten Inzisionsfolie berechnet wird. Wenn der unverformte Zustand bekannt ist, kann die Änderung der Geometrie des Musters zwischen dem unverformten und dem verformten Zustand dazu verwendet werden, die Änderung der Geometrie der darunter liegenden anatomischen Oberfläche und damit des anatomischen Körperteils, zu dem die anatomische Oberfläche gehört, zu bestimmen. 5 zeigt auch ein Beispiel, das auf der Identifizierung einzelner Merkmale beruht (wie in den 3 und 4), da einige Merkmale auf der verformten Oberfläche aus der gezeigten Perspektive der Kamera nicht sichtbar sind. Eine korrekte Eins-zu-eins-Zuordnung von Merkmalen ist daher nur möglich, wenn jedes Merkmal im Kamerabild einzeln identifiziert werden kann. Wenn es keine Merkmalsindizierung gibt, kann man sich nur auf das Zählen von Merkmalen im Kamerabild verlassen, was in diesem Fall fehlschlagen würde.
-
Die 6 und 7 verdeutlichen, dass das Muster 7, 11 beispielsweise einen charakteristischen Abstand zwischen seinen bestimmenden Bestandteilen aufweist. Es kann z. B. amorph, quasi-kristallin, periodisch oder quadratisch sein. Eine Änderung des charakteristischen Abstands in dem von der Erfassungseinrichtung aufgenommenen Bild kann zur Bestimmung einer Änderung der Geometrie der Inzisionsfolie verwendet werden.
-
8 zeigt eine Inzisionsfolie mit einem Muster 7 auf ihrer sichtbaren Oberfläche, wenn sie an einem anatomischen Körperteil 9 eines Patienten 10 angebracht ist. Das Muster 7 wird von einer Stereokamera erfasst, die aus zwei Bildgebungseinheiten 8 besteht, in deren Sichtfeld sich der anatomische Körperteil 9 befindet.
-
9 zeigt die grundlegenden Schritte des Verfahrens gemäß dem dritten Aspekt, wobei Schritt S11 die Erfassung der Mustererkennungsdaten und Schritt S12 die Bestimmung der Oberflächengeometriedaten umfasst.
-
10 ist eine schematische Darstellung des medizinischen Systems 12 gemäß dem zweiten Aspekt. Das System ist in seiner Gesamtheit mit dem Bezugszeichen 12 gekennzeichnet und umfasst einen Computer 13, einen elektronischen Datenspeicher (z. B. eine Festplatte) 14 zur Speicherung zumindest der Patientendaten und die Erfassungseinrichtung 8 (z. B. eine Kamera). Die Komponenten des medizinischen Systems 12 haben die oben im Hinblick auf den zweiten Aspekt dieser Offenbarung erläuterten Funktionalitäten und Eigenschaften.
-
11 zeigt eine Ausführungsform der vorliegenden Erfindung, die alle wesentlichen Merkmale der Erfindung enthält. In dieser Ausführungsform wird die gesamte Datenverarbeitung, die Teil des Verfahrens nach dem ersten Aspekt ist, von einem Computer durchgeführt. Das Bezugszeichen 15 bezeichnet die Eingabe der durch das Verfahren nach dem ersten Aspekt gewonnenen Daten in den Rechner 16 und das Bezugszeichen 17 die Ausgabe der durch das Verfahren nach dem dritten Aspekt ermittelten Daten.
-
Eine kurze Beschreibung der vorliegenden Erfindung kann wie folgt formuliert werden:
- 1. Die Inzisionsfolie wird auf die interessierende Anatomie des Patienten (Hautoberfläche, Oberfläche eines Organs, Höhle) gelegt. Sie ist steril, so dass sie während eines chirurgischen Eingriffs verwendet werden kann und auch dann am Patienten verbleibt, wenn Schnitte durch sie hindurch vorgenommen werden. Die Inzisionsfolie kann als chirurgische Inzisionsabdeckung (Inzisionsfolie) konzipiert und verwendet werden, die in vielen chirurgischen Bereichen zum Standard gehört. Die Inzisionsfolie ist selbstklebend, weich und glatt, so dass sie sich der anatomischen Oberfläche des Patienten so genau wie möglich anpasst und diese modelliert.
- 2. Eine digitale Videokamera (Mono, Stereo oder mehrere aufeinander abgestimmte Kameras) nimmt ein Bild der angebrachten Inzisionsfolie auf. Bei der Kamera handelt es sich beispielsweise um eine Standard-Computer-Vision-Kamera eines kopfgetragenen Mixed-Reality-Headsets, eine Videokamera eines Operationsmikroskops, eine in eine OP-Lampe integrierte Videokamera oder eine andere Bildquelle, die die Szene aufnimmt.
-
Die Bilder werden in Echtzeit direkt auf dem Gerät verarbeitet, an dem die Kamera angebracht ist (z. B. Mixed-Reality-Headset), oder zur Verarbeitung an einen entfernten Computer (z. B. in der Cloud) gesendet.
-
4. Bekannte Merkmale des Musters werden im Bild erkannt (z. B. Gitterlinien, Ecken, Schnittpunkte) und Entsprechungen zum Originalmuster werden ermittelt. Das Muster kann so kodiert werden, dass Entsprechungen zwischen Bildpunkten und Punkten des gedruckten Musters schnell gefunden und 3D-Informationen leicht abgerufen werden können.
-
5. Aus den berechneten Punktkorrespondenzen wird eine Punktwolke oder ein Oberflächennetz rekonstruiert.
-
6. Die Prozedur kann kontinuierlich wiederholt werden, um die aufgenommenen Bilder zu bewerten:
- a. Verfeinerung eines Modells der anatomischen Oberfläche durch Auswertung von Bildern, die aus verschiedenen Blickwinkeln aufgenommen wurden, oder durch Verbesserung der Auflösung (z. B. werden die Ergebnisse aller ausgewerteten Kamerabilder integriert und in einem verfeinerten Modell zusammengeführt); und/oder
- b. Veränderungen des Aussehens der Oberfläche im Bild, z. B. aufgrund von Hautbewegungen und/oder Gewebeverschiebungen, in Echtzeit erkennen.