DE102021115214A1

DE102021115214A1 - Verzerrungskorrektur für elektromagnetische Felder mit Inside-Out-Tracking

Info

Publication number: DE102021115214A1
Application number: DE102021115214.3A
Authority: DE
Inventors: Mark Robert Schneider; Alec Duling; Syamprasad Karyattuparambil Rajagopalan
Original assignee: Ascension Technology Corp
Current assignee: Northern Digital Inc
Priority date: 2020-06-12
Filing date: 2021-06-11
Publication date: 2021-12-16
Also published as: US20210386485A1; CN113796958A; CA3121670A1

Abstract

Eine magnetische Tracking-Vorrichtung ist so konfiguriert, dass sie ein Objekt in einer Umgebung verfolgt, indem sie eine Messung des nichtmagnetischen Signals und eine entsprechende Messung des magnetischen Signals für einen Standort der magnetischen Tracking-Vorrichtung in der Umgebung empfängt. Die magnetische Tracking-Vorrichtung schätzt, basierend auf der Messung des nichtmagnetischen Signals, eine nichtmagnetische Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort. Die Vorrichtung schätzt, basierend auf der Messung des magnetischen Signals, eine magnetische Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Standort. Das Gerät ermittelt eine Differenz zwischen der Schätzung der magnetischen Lage und der Schätzung der nicht-magnetischen Lage für den Ort. Das Gerät bestimmt einen magnetischen Verzerrungskorrekturwert für den Ort basierend auf der Differenz. Die magnetische Tracking-Vorrichtung erzeugt ein Verzerrungskorrekturmodell, das den Verzerrungswert enthält, und gibt eine Darstellung des Verzerrungskorrekturmodells aus.

Description

TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf die Verfolgung eines oder mehrerer Objekte in einem Magnetfeld, insbesondere auf ein System zur Verfolgung eines chirurgischen Instruments unter Verwendung elektromagnetischer (EM) Signale.
HINTERGRUND
Elektromagnetische Tracking-Systeme (EMT) werden zur Unterstützung der Lokalisierung von Instrumenten und Anatomie bei medizinischen Eingriffen eingesetzt. Solche Systeme können eine Position eines Empfängers anhand gemessener Feldlinien eines übertragenen Magnetfeldes bestimmen.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein elektromagnetisches Tracking (EMT)-System (auch als magnetisches Tracking-System bezeichnet) kann zur Verfolgung eines Geräts für eine Reihe von Anwendungen verwendet werden, z. B. für medizinische Anwendungen während der Endoskopie oder anderen Arten von Operationen. Das EMT-System (auch magnetisches Tracking-System genannt) umfasst mindestens einen Sender und mindestens einen Empfänger. Der Sender sendet z. B. ein magnetisches Signal aus, und der Empfänger empfängt das magnetische Signal und misst das magnetische Signal. Das gemessene magnetische Signal liefert Informationen, die das magnetische Ortungssystem verwendet, um die relative Position des Senders in Bezug auf den Empfänger (oder umgekehrt) zu bestimmen. Wenn der Sender oder Empfänger an einem anderen Gerät (z. B. einem verfolgten Gerät) befestigt ist, kann das magnetische Tracking-System die relative Position des verfolgten Geräts in der Umgebung des magnetischen Tracking-Systems bestimmen. In einigen Implementierungen kann das magnetische Verfolgungssystem Verzerrungen im magnetischen Signal aufgrund von metallischen Objekten in der Umgebung erkennen. Zahlreiche weitere Anwendungen zur Verfolgung eines Objekts sind bekannt.
Ein in diesem Dokument beschriebenes magnetisches Tracking-System umfasst eine magnetische Tracking-Vorrichtung mit einem magnetischen Signalempfänger und einem nichtmagnetischen Signalempfänger. Die nichtmagnetische Tracking-Vorrichtung kann eine visuelle Tracking-Vorrichtung, wie z. B. eine Kamera, enthalten. Die nichtmagnetische Tracking-Vorrichtung ist so konfiguriert, dass sie zusätzlich zu dem von der magnetischen Tracking-Vorrichtung gemessenen magnetischen Signal weitere Daten misst. Das magnetische Verfolgungssystem ist so konfiguriert, dass es die zusätzlichen Daten (wie z. B. visuelle Daten) verwendet, um zu bestimmen, wie das magnetische Signal in einer Umgebung des magnetischen Verfolgungssystems verzerrt wird. Genauer gesagt ist das magnetische Verfolgungssystem so konfiguriert, dass es diese Verzerrungen auf Orte in der Umgebung abbildet und dabei die zusätzlichen Daten an diesen Orten als Grundwahrheitssignal verwendet.
Im Allgemeinen ist das magnetische Verfolgungssystem so konfiguriert, dass es eine Position von einem oder mehreren verfolgten Objekten in Bezug auf eine Senderbaugruppe bestimmt, z. B. durch Erfassen des von der Senderbaugruppe ausgesendeten magnetischen Signals. Oft verursachen Objekte in der Umgebung des magnetischen Verfolgungssystems, dass das vom Sender ausgesendete Magnetfeld in einem oder mehreren Bereichen der Umgebung verzerrt wird. Diese Verzerrungen können zu Fehlern bei der Schätzung der Position eines verfolgten Objekts führen. Es ist sinnvoll, diese Verzerrungen an möglichst vielen Stellen in der Umgebung des magnetischen Trackingsystems zu ermitteln und die Verzerrungen bei der Verfolgung des getrackten Objekts zu kompensieren.
Um die Verzerrungen zu ermitteln, führt das magnetische Trackingsystem einen Kalibrierungsprozess durch. Das magnetische Tracking-System bildet ein magnetisches Signal, das von einem Empfänger gemessen wird, an verschiedenen Orten in der Umgebung ab und vergleicht das gemessene magnetische Signal mit einem erwarteten, unverzerrten Signal für diese Orte. Die genauen Orte, an denen das magnetische Signal gemessen wird, werden durch eine oder mehrere nichtmagnetische Techniken bestimmt, z. B. durch eine visuelle Technik, Ultraschallsignale, ein Funksignal usw. Sobald die Orte, an denen der Empfänger das magnetische Signal gemessen hat, bekannt sind, kann das magnetische Verfolgungssystem die Verzerrungen des magnetischen Signals für jeden Ort bestimmen.
Im Allgemeinen kann das magnetische Verfolgungssystem visuelle Symbole verwenden, die in der Umgebung platziert sind, um den Standort des Empfängers an verschiedenen Stellen zu bestimmen. In einigen Implementierungen kann der Sender mit der Kamera gekoppelt werden und der Standort des Empfängers ist fest. Die visuellen Symbole können an bekannten Stellen in der Umgebung platziert werden, und eine Kamera, die mit dem magnetischen Empfänger gekoppelt ist, ist so konfiguriert, dass sie die Symbole betrachtet, wenn der Empfänger in der Umgebung bewegt wird. Das visuelle Verfolgungssystem liefert eine Standortschätzung für den Empfänger. Das magnetische Verfolgungssystem bestimmt eine Differenz zwischen dem gemessenen magnetischen Signal an der geschätzten Position und einem erwarteten magnetischen Signal an der Position, als ob das magnetische Signal des Senders unverzerrt wäre. Dieses unverzerrte, erwartete magnetische Signal kann für jeden Standort des Empfängers in der Umgebung bekannt sein. In einigen Implementierungen kann das erwartete magnetische Signal basierend auf dem Empfang einer Eingabe bestimmt werden, die den Standort des Senders des magnetischen Signals in der Umgebung angibt.
Die hier beschriebenen Techniken beinhalten einen oder mehrere der folgenden Vorteile. Das magnetische Tracking-System ist so konfiguriert, dass die Position des verfolgten Geräts genauer bestimmt werden kann, indem Verzerrungen des magnetischen Signals kompensiert werden. Das Anbringen von visuellen Markierungen in der Umgebung des magnetischen Verfolgungssystems zur Erstellung eines visuellen Referenzrahmens ist eine relativ kostengünstige Lösung zur Kompensation von magnetischen Verzerrungen.
In einem allgemeinen Aspekt ist ein magnetisches Verfolgungssystem zum Bestimmen einer Objektlage eines verfolgten Objekts in einer Umgebung des magnetischen Verfolgungssystems konfiguriert. Das magnetische Verfolgungssystem umfasst einen Detektor für nichtmagnetische Signale, der so konfiguriert ist, dass er ein nichtmagnetisches Signal in der Umgebung misst. Das magnetische Verfolgungssystem umfasst einen magnetischen Signaldetektor, der so konfiguriert ist, dass er ein magnetisches Signal in der Umgebung misst, wobei der magnetische Signaldetektor mit dem nicht-magnetischen Signaldetektor gekoppelt ist. Das magnetische Tracking-Vorrichtung enthält eine Rechenvorrichtung, die konfiguriert ist, um die folgenden Operationen durchzuführen. Die Rechenvorrichtung des magnetischen Tracking-Systems empfängt eine Messung des nicht-magnetischen Signals und eine entsprechende Messung des magnetischen Signals für eine Position der magnetischen Tracking-Vorrichtung in der Umgebung. Die Rechenvorrichtung schätzt, basierend auf der Messung des nicht-magnetischen Signals, eine nicht-magnetische Position der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort. Die Rechenvorrichtung schätzt, basierend auf der Messung des magnetischen Signals, eine magnetische Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Standort. Die Rechenvorrichtung bestimmt eine Differenz zwischen der Schätzung der magnetischen Lage und der Schätzung der nichtmagnetischen Lage für den Ort. Die Rechenvorrichtung bestimmt einen magnetischen Verzerrungskorrekturwert für den Ort basierend auf der Differenz. Die Berechnungsvorrichtung erzeugt ein Verzerrungskorrekturmodell, das den Verzerrungswert enthält. Die Berechnungsvorrichtung gibt eine Darstellung des Verzerrungskorrekturmodells aus.
In einigen Implementierungen wird das nicht-magnetische Signal unter Verwendung eines visuellen Markers erzeugt. In einigen Implementierungen umfasst der Detektor für das nichtmagnetische Signal eine Kamera. In einigen Implementierungen umfasst der Marker eine äußere Form der Senderbaugruppe, wobei sich die äußere Form von anderen äußeren Formen anderer Marker aus einer Vielzahl von Markern in der Umgebung unterscheidet. In einigen Implementierungen umfasst der Marker einen Klebstoff, der so konfiguriert ist, dass er den Marker abnehmbar an einer anderen Oberfläche in der Umgebung befestigt. In einigen Ausführungsformen umfasst der Marker einen Infrarot-Retroreflektor, und wobei der nichtmagnetische Signaldetektor eine Infrarotquelle umfasst.
In einigen Implementierungen umfasst das nicht-magnetische Signal eines von einem ArUco-Muster, einem ChArUco-Muster, einer Lichtquelle, einer Ultraschallquelle, einer Funksignalquelle oder einer äußeren Form der Senderanordnung. In einigen Implementierungen wird das magnetische Signal von einer Senderbaugruppe erzeugt, die Folgendes umfasst: einen Speicher, der so konfiguriert ist, dass er Kalibrierungsdaten in Bezug auf die Senderbaugruppe speichert, eine Verarbeitungsvorrichtung, die so konfiguriert ist, dass sie die Übertragung des magnetischen Signals von der Senderbaugruppe steuert, eine Kommunikationsschnittstelle zum Senden und Empfangen von Daten von der Rechenvorrichtung und eine Stromquelle, die so konfiguriert ist, dass sie den Speicher, die Verarbeitungsvorrichtung und die Kommunikationsschnittstelle mit elektrischem Strom versorgt.
In einigen Implementierungen ist das magnetische Tracking-System zum Verfolgen eines verfolgten Objekts konfiguriert, indem es Operationen durchführt, die das Empfangen einer Messung des magnetischen Signals an einem bestimmten Ort in der Umgebung, das Abrufen des Verzerrungskorrekturmodells aus einem mit der Rechenvorrichtung kommunizierenden Speicher, das Bestimmen einer bestimmten Lageschätzung für das verfolgte Objekt, das Korrigieren der bestimmten Lageschätzung basierend auf einem Wert des Verzerrungskorrekturmodells entsprechend dem bestimmten Ort und das Ausgeben einer Darstellung der korrigierten bestimmten Lageschätzung umfassen.
In einigen Implementierungen umfasst das verfolgte Objekt eines von einem Katheter, einem Endoskop oder einem chirurgischen Instrument.
In einigen Implementierungen ist das magnetische Verfolgungssystem konfiguriert, um eine Vielzahl von Messungen des magnetischen Signals zu empfangen, die einer bekannten ebenen Oberfläche der Umgebung entsprechen, wobei die ebene Oberfläche einem Gerüst zugeordnet ist, das an einer bekannten Stelle in der Umgebung positioniert ist, um für jede Messung der Vielzahl von Messungen des magnetischen Signals einen vorbestimmten Korrekturwert abzurufen, der einer Stelle der Messung in der Umgebung zugeordnet ist, um einen Verzerrungskorrekturwert für jede Messung zu bestimmen, und um den Verzerrungskorrekturwert für jede Messung in das Verzerrungskorrekturmodell aufzunehmen.
In einem allgemeinen Aspekt umfasst ein Verfahren zum Bestimmen einer Objektlage eines verfolgten Objekts in einer Umgebung eines magnetischen Verfolgungssystems das Messen eines nichtmagnetischen Signals in der Umgebung durch einen nichtmagnetischen Signaldetektor. Das Verfahren umfasst das Messen eines magnetischen Signals in der Umgebung durch einen magnetischen Signaldetektor, wobei der magnetische Signaldetektor mit dem nicht-magnetischen Signaldetektor gekoppelt ist. Das Verfahren umfasst das Empfangen einer Messung des nichtmagnetischen Signals und einer entsprechenden Messung des magnetischen Signals für einen Ort der magnetischen Tracking-Vorrichtung in der Umgebung. Das Verfahren umfasst das Schätzen einer nicht-magnetischen Position der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort, basierend auf der Messung des nicht-magnetischen Signals. Das Verfahren umfasst das Schätzen einer magnetischen Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Standort, basierend auf der Messung des magnetischen Signals. Das Verfahren umfasst das Bestimmen einer Differenz zwischen der Schätzung der magnetischen Lage und der Schätzung der nichtmagnetischen Lage für den Ort. Der Prozess beinhaltet das Bestimmen eines magnetischen Verzerrungskorrekturwertes für den Ort basierend auf der Differenz. Der Prozess umfasst das Erzeugen eines Verzerrungskorrekturmodells, das den Verzerrungswert enthält. Der Prozess beinhaltet die Ausgabe einer Darstellung der Verzerrungskorrektur, wie z.B. einer Verzerrungskarte.
In einigen Implementierungen wird das nichtmagnetische Signal unter Verwendung eines visuellen Markers erzeugt. In einigen Implementierungen umfasst der Detektor für das nichtmagnetische Signal eine Kamera. In einigen Implementierungen umfasst der Marker eine äußere Form der Senderbaugruppe, wobei sich die äußere Form von anderen äußeren Formen anderer Marker aus einer Vielzahl von Markern in der Umgebung unterscheidet. In einigen Implementierungen umfasst der Marker einen Klebstoff, der so konfiguriert ist, dass er den Marker abnehmbar an einer anderen Oberfläche in der Umgebung befestigt. In einigen Ausführungsformen umfasst der Marker einen Infrarot-Retroreflektor, und wobei der nichtmagnetische Signaldetektor eine Infrarotquelle umfasst.
In einigen Implementierungen umfasst das nicht-magnetische Signal eines von einem ArUco-Muster, einem ChArUco-Muster, einer Lichtquelle, einer Ultraschallquelle, einer Funksignalquelle oder einer äußeren Form der Senderanordnung. In einigen Implementierungen wird das magnetische Signal von einer Senderbaugruppe erzeugt, die Folgendes umfasst: einen Speicher, der so konfiguriert ist, dass er Kalibrierungsdaten in Bezug auf die Senderbaugruppe speichert, eine Verarbeitungsvorrichtung, die so konfiguriert ist, dass sie die Übertragung des magnetischen Signals von der Senderbaugruppe steuert, eine Kommunikationsschnittstelle zum Senden und Empfangen von Daten von der Rechenvorrichtung und eine Stromquelle, die so konfiguriert ist, dass sie den Speicher, die Verarbeitungsvorrichtung und die Kommunikationsschnittstelle mit elektrischem Strom versorgt.
In einigen Implementierungen ist das magnetische Tracking-System zum Verfolgen eines verfolgten Objekts konfiguriert, indem es Operationen durchführt, die das Empfangen einer Messung des magnetischen Signals an einem bestimmten Ort in der Umgebung, das Abrufen des Verzerrungskorrekturmodells aus einem mit der Rechenvorrichtung kommunizierenden Speicher (z. B. eine Berechnung der Verzerrungskompensation), das Bestimmen einer bestimmten Lageschätzung für das verfolgte Objekt, das Korrigieren der bestimmten Lageschätzung auf der Grundlage eines Werts des Verzerrungskorrekturmodells entsprechend dem bestimmten Ort und das Ausgeben einer Darstellung der korrigierten bestimmten Lageschätzung umfassen.
In einigen Implementierungen umfasst das verfolgte Objekt eines von einem Katheter, einem Endoskop oder einem chirurgischen Instrument.
In einigen Implementierungen ist das magnetische Verfolgungssystem so konfiguriert, dass es eine Vielzahl von Messungen des magnetischen Signals empfängt, die einer bekannten ebenen Oberfläche der Umgebung entsprechen, wobei die ebene Oberfläche einem Gerüst zugeordnet ist, das an einem bekannten Ort in der Umgebung positioniert ist, für jede Messung der Vielzahl von Messungen des magnetischen Signals einen vorbestimmten Korrekturwert abruft, der einem Ort der Messung in der Umgebung zugeordnet ist, einen Verzerrungskorrekturwert für jede Messung bestimmt und den Verzerrungskorrekturwert für jede Messung in das Verzerrungskorrekturmodell aufnimmt.
Die Details einer oder mehrerer Ausführungsformen des hierin beschriebenen Gegenstands sind in den beigefügten Zeichnungen und der nachfolgenden Beschreibung dargelegt. Weitere Merkmale, Objekte und Vorteile des Gegenstands werden aus der Beschreibung und den Zeichnungen sowie aus den Ansprüchen ersichtlich.
Figurenliste

1A zeigt ein Diagramm einer Umgebung, die ein Beispiel eines magnetischen Verfolgungssystems zum Kalibrieren des magnetischen Verfolgungssystems enthält.
1B zeigt ein Diagramm einer Umgebung mit einem Beispiel eines magnetischen Verfolgungssystems zur Verfolgung eines verfolgten Objekts.
2 zeigt ein Blockdiagramm des beispielhaften magnetischen Verfolgungssystems von 1.
3 zeigt ein Diagramm einer Umgebung, die ein Beispiel für ein magnetisches Verfolgungssystem enthält.
4A, 4B und 5 zeigen Beispielgerüste für die Kalibrierung der magnetischen Verfolgungssysteme von 1-3.
6A-6C sind Flussdiagramme von Prozessen zur Durchführung der magnetischen Verfolgung mit den magnetischen Verfolgungssystemen der 1-5.
7 ist ein Blockdiagramm eines beispielhaften Computersystems.

Gleiche Referenzsymbole in den verschiedenen Zeichnungen bezeichnen gleiche Elemente.
DETAILIERTE BSCHREIBUNG
Ein elektromagnetisches Tracking (EMT)-System (auch magnetisches Tracking-System genannt) kann in verschiedenen Umgebungen, wie z. B. in der Medizin, zur Verfolgung eines Objekts (z. B. eines verfolgten Objekts) verwendet werden. In einer chirurgischen Umgebung kann das EMT-System beispielsweise verwendet werden, um medizinische Geräte (z. B. ein chirurgisches Werkzeug) für einen oder mehrere Zwecke (z. B. endoskopische Eingriffe) zu verfolgen, wodurch die dreidimensionale Position (z. B. Standort) und die Ausrichtung des Objekts einem medizinischen Fachmann (z. B. einem Chirurgen) während eines medizinischen Eingriffs bekannt ist. Im Allgemeinen ist das magnetische Verfolgungssystem so konfiguriert, dass es Objekte im Inneren eines Körpers verfolgt, um die medizinische Fachkraft bei einer Operation zu unterstützen, die von der medizinischen Fachkraft durchgeführt wird.
1A zeigt ein Diagramm einer Umgebung, die ein Beispiel für ein magnetisches Tracking-System 100 zur Kalibrierung des magnetischen Tracking-Systems unter Verwendung einer Kalibrierungsvorrichtung 140 enthält. 1B zeigt ein Diagramm einer Umgebung, die ein Beispiel eines magnetischen Verfolgungssystems 100 zur Verfolgung eines verfolgten Objekts 142 enthält. Das magnetische Tracking-System 100 umfasst einen magnetischen Signaldetektor 130 (auch Empfänger 130 genannt), der mit einem nichtmagnetischen Signaldetektor 110 (z. B. einer Kamera) in einer Kalibrierungsvorrichtung 140 gekoppelt ist. Das magnetische Verfolgungssystem 100 ist so konfiguriert, dass es einen Standort von einem oder mehreren Objekten 142 (auch verfolgte Objekte genannt) bestimmt, wie in 1B gezeigt. Der Standort ist relativ zu einer Senderbaugruppe 112, die so konfiguriert ist, dass sie ein magnetisches Signal 132 in einer Umgebung des magnetischen Verfolgungssystems aussendet.
Im Allgemeinen ist die Kalibrierungsvorrichtung 140 so konfiguriert, dass sie das von der Senderbaugruppe 112 ausgesendete magnetische Signal 132 erfasst und eine Position und Ausrichtung (als Lage bezeichnet) der Kalibrierungsvorrichtung 140 in der Umgebung bestimmt. Basierend auf der Position und Ausrichtung der Kalibrierungsvorrichtung 140 in der Umgebung können Verzerrungen des magnetischen Signals in der Umgebung für die anschließende Verfolgung des verfolgten Objekts 142 abgebildet werden. Die Kalibrierungsvorrichtung 140 bestimmt unter Verwendung von nichtmagnetischen Signalen eine Position in der Umgebung für die Kalibrierungsvorrichtung und ermittelt für diese Position eine Verzerrung des vom Sender 112 erzeugten magnetischen Signals. Auf der Grundlage der gemessenen Verzerrungen an einer Reihe von Orten in der Umgebung wird eine Verzerrungskarte erstellt.
Im Allgemeinen kann das magnetische Signal in der Umgebung durch andere Objekte (so genannte nicht geortete Objekte 120) in der Umgebung als die georteten Objekte verzerrt werden. Die nicht verfolgten Objekte 120 können Objekte wie Operationstische, Stühle, Regale oder jedes andere metallische oder magnetisch ansprechende Objekt in der Umgebung sein. Im Allgemeinen wird das magnetische Tracking-System 100 kalibriert, um die ermittelte Position der Kalibrierungsvorrichtung 140 basierend auf den Verzerrungen des magnetischen Signals 132 zu aktualisieren, von denen bekannt ist, dass sie durch die nicht getrackten Objekte 120 verursacht werden. Die Kalibrierung kann vor dem Betrieb des magnetischen Verfolgungssystems 100 zur Verfolgung der verfolgten Objekte 142 durchgeführt werden. Die Kalibrierung erzeugt ein Verzerrungskorrekturmodell, das für jeden Ort in der Umgebung eine Verzerrung des magnetischen Signals 132 anzeigt, die durch die nicht verfolgten Objekte 120 verursacht wird.
Zur Korrektur der Verzerrungen des magnetischen Signals 132, die durch die nicht verfolgten Objekte 120 verursacht werden, verwendet das magnetische Tracking-System 100 ein nicht-magnetisches Signal, das Teil der Kalibrierungsvorrichtung 140 ist. Das magnetische Tracking-Vorrichtung 100 verwendet das nichtmagnetische Signal (z. B. ein visuelles Signal), um eine Position der Kalibrierungsvorrichtung 140 in der Umgebung zu bestimmen. Das magnetische Tracking-System 100 ermittelt unter Verwendung des während der Kalibrierung des magnetischen Tracking-Systems 100 erzeugten Verzerrungskorrekturmodells eine Verzerrung des magnetischen Signals 132, die durch die nicht getrackten Objekte 120 am Ort der Kalibrierungsvorrichtung 140 verursacht wird. Das magnetische Verfolgungssystem 100 führt eine Verzerrungskorrektur durch, um die durch die nicht verfolgten Objekte 120 verursachte Verzerrung zu entfernen, um Daten zu erzeugen, die ein korrigiertes magnetisches Signal darstellen. Das magnetische Verfolgungssystem 100 bestimmt eine Position des verfolgten Objekts 142 unter Verwendung des korrigierten magnetischen Signals.
Das magnetische Tracking-System 100 verwendet eine nicht-magnetische Vorrichtung, um eine Lage der Kalibrierungsvorrichtung 140 in der Umgebung zu bestimmen. Die nicht-magnetische Vorrichtung (z. B. der nicht-magnetische Signaldetektor 110) wird zur Kalibrierung des magnetischen Tracking-Systems 100 verwendet, indem das Verzerrungskorrekturmodell wie zuvor beschrieben erzeugt wird. Der nichtmagnetische Signaldetektor 110 empfängt das nichtmagnetische Signal (z. B. ein optisches Signal). Die Kalibrierungsvorrichtung 140 empfängt ein magnetisches Signal 132 vom Sender 112 für denselben Ort in der Umgebung wie für das visuelle Signal. Die Rechenvorrichtung 102 schätzt auf der Grundlage des visuellen Signals (z. B. einschließlich Darstellungen von Markern 108) und des entsprechenden magnetischen Signals 132 für diesen Ort eine Lage der Kalibrierungsvorrichtung 140. Das magnetische Tracking-System 100 verwendet eine erste Lage-Schätzung aus dem nicht-magnetischen Signal (z.B. visuelles Signal, das von einer Kamera 110 erfasst werden kann) und eine zweite Lage-Schätzung aus dem magnetischen Signal 132 zusammen, um eine endgültige Lage-Schätzung für die magnetische Tracking-Vorrichtung 140 zu erzeugen. Wenn dies in Echtzeit durchgeführt wird, kann es als verschmolzene Lageabschätzung bezeichnet werden, da das magnetische Verfolgungssystem 100 die Lageabschätzungen von den magnetischen und nichtmagnetischen Signalen kombiniert. Dies wird typischerweise mit einem auf Kalman-Filter basierenden SLAM-Prozess (Simultaneous Localization and Mapping) durchgeführt, um die Fusion durchzuführen. Ein Beispiel hierfür findet sich in der US-Patentanmeldung Pub. Nr. 2019/0242952 , die am 8. Februar 2019 eingereicht wurde und in diesem Dokument vollständig durch Verweis einbezogen ist.
Ein anderer Ansatz besteht darin, entweder 1) eine Lageabschätzung aus dem nicht-magnetischen Signal (z.B. ein visuelles Signal von der Kamera 110) und eine zweite Lageabschätzung aus dem empfangenen magnetischen Signal 132 zusammen zu sammeln oder 2) die Lageabschätzung aus dem nicht-magnetischen Signal (z.B. von der Kamera 110) und die durch die nicht-verfolgten Objekte 120 verursachten Verzerrungen im magnetischen Signal 132. Wenn die Lagen sowohl für nicht-magnetische als auch für magnetische Signale erfasst werden, kann ein Kompensationsverfahren durchgeführt werden, das die verzerrte magnetische Lage in nicht-magnetische Lageinformationen korrigiert. Diese Korrektur wird offline berechnet, aber in Echtzeit auf die Schätzung der magnetischen Lage angewendet, um eine verbesserte EM-Verfolgung durchzuführen. Wenn die nicht-magnetische Lage und die magnetischen Signale gesammelt werden, wird die nicht-magnetische Lage in virtuelle magnetische Signale umgewandelt, und die Differenz zwischen diesen und den magnetischen Signalen wird verwendet, um verzerrte magnetische Signale auf die virtuellen nicht-magnetischen Signale abzubilden. Dieses Mapping wird offline berechnet, aber in Echtzeit auf die magnetischen Signale angewendet, um eine verbesserte EM-Verfolgung durchzuführen.
Um das nicht-magnetische Signal zu erfassen, wird der Detektor für nicht-magnetische Signale 110 in der Umgebung 200 an verschiedene Stellen bewegt. In 1A ist ein Beispiel für den nicht-magnetischen Signaldetektor 110 eine Kamera. Es können jedoch auch andere nichtmagnetische Signale verwendet werden, um eine wahre Position der Kalibriervorrichtung 140 in der Umgebung zu bestimmen. Die Kamera (und andere Komponenten des magnetischen Verfolgungssystems 100) werden in Bezug auf 2 ausführlicher beschrieben. Andere Beispiele für nichtmagnetische Signaldetektoren 110 können eine Ultraschallvorrichtung, eine Funkvorrichtung, eine Infrarotvorrichtung, eine akustische Vorrichtung usw. umfassen, die so konfiguriert sind, dass sie ein Signal empfangen und den nichtmagnetischen Signaldetektor 110 anhand des empfangenen nichtmagnetischen Signals lokalisieren.
Der nichtmagnetische Signaldetektor 110 kann eine Kamera enthalten. Die Kamera kann so konfiguriert sein, dass sie die in der Umgebung positionierten Marker 106a-e, insgesamt die Marker 106, und das Marker-Array 108 betrachtet, um die Lage der Kalibriervorrichtung 140 (die die Kamera enthält) in der Umgebung zu bestimmen. Die Marker 106 und das Marker-Array 108 können optische Marker sein. Wenn das magnetische Verfolgungssystem 100 (und die Kamera) in der Umgebung bewegt werden, läuft das Sichtfeld 144 der Kamera über die Marker 106a-e und/oder das Marker-Array 108. Die Ausrichtung der Marker in Bezug zueinander und zur Kamera liefert Informationen darüber, wo sich die Kamera in der Umgebung befindet. Zum Beispiel sind die Positionen der einzelnen Marker 106a, 106b, 106c und 106d, 106e und des Markerarrays 108 in der Umgebung bekannt. Wenn das Kameragesichtsfeld 144 einen der Marker 106a-e oder das Markerarray 108 in einem Bild oder Video aufnimmt, sind die Position und die Ausrichtung des Markers relativ zur Kamera aus den von der Kamera aufgenommenen Bildern oder Videos erkennbar. Die absolute Lage der Kamera kann unter Verwendung von Daten bezüglich der Positionen jedes der Marker 106a-e oder des Markerarrays 108 in der Umgebung und der relativen Lage der Kamera relativ zu den Markern erkannt werden.
In einigen Implementierungen wird das Marker-Array 108 an oder in der Nähe des Ortes platziert, an dem sich das verfolgte Objekt während des Betriebs des magnetischen Verfolgungssystems 100 befinden wird. Zum Beispiel kann das Marker-Array auf einem Operationstisch, einem Operationsstuhl, einem Boden unter dem verfolgten Objekt 142, einer Decke über dem verfolgten Objekt 142 usw. platziert werden. In einigen Ausführungsformen können die Marker des Markerarrays 108 in einem regelmäßigen Muster angeordnet werden, wie in 1 A gezeigt. In einigen Implementierungen können die Marker des Arrays 108 in unregelmäßigen Mustern angeordnet sein, die anzeigen können, wo in dem Array die Kamera gerade schaut, wenn nur ein Teil des Arrays sichtbar ist. In einigen Implementierungen sind die Marker des Arrays 108 jeweils einzigartig in einem oder mehreren Aspekten, wie dem Muster, der Form, der Größe oder in einem anderen Aspekt.
Das magnetische Verfolgungssystem 100 kann verschiedene Lokalisierungsverfahren zur Bestimmung der Lage der Kamera relativ zu den Markern 106a-e und/oder dem Marker-Array 108 verwenden. Zum Beispiel kann das magnetische Verfolgungssystem 100 ein SLAM-Verfahren (Simultaneous Localization and Mapping) verwenden. Der SLAM-Prozess kann die Marker 106a-e und das Marker-Array 108 als Landmarken verwenden. In einigen Implementierungen ist jeder der Marker 106a-e und Marker des Markerarrays 108 eindeutig, so dass jeder von den anderen Markern unterscheidbar ist.
Sobald das magnetische Tracking-System 100 eine Lageschätzung unter Verwendung des nicht-magnetischen Signals hat, kann der magnetische Signalempfänger 130 verwendet werden, um das magnetische Signal 132 in der gleichen Lage der Kalibrierungsvorrichtung 140 zu messen, für die diese Lageschätzung erzeugt wurde. Das magnetische Verfolgungssystem 100 erzeugt eine weitere Schätzung der Lage unter Verwendung des magnetischen Signals 132. Die aus dem magnetischen Signal 132 erzeugte Lageabschätzung wird mit der Lageabschätzung aus dem nichtmagnetischen Signal korrigiert. Dieser Vorgang kann wiederholt werden, wenn die Kalibrierungsvorrichtung 140 in der Umgebung bewegt wird.
Wie in 1A und 1B gezeigt, können die Marker 106a-e und das Marker-Array 108 in einem Muster in der Nähe der Stelle platziert werden, an der das verfolgte Objekt 142 in der Umgebung verfolgt werden soll. Die Kalibrierungsvorrichtung 140 kann die Marker 106a-e und/oder das Marker-Array 108 betrachten. In einigen Implementierungen können die Marker 106a-d auf und um das nicht verfolgte Objekt 120 in der Umgebung platziert werden. In einigen Implementierungen können ein oder mehrere Marker, wie z. B. Marker 106e, auf dem Sender 112 positioniert werden. Die Kalibrierungsvorrichtung 140 kann eine relative Lage in Bezug auf den Sender 112 bestimmen, indem sie die Markierung(en) 106e auf der Senderbaugruppe 112 betrachtet.
In einigen Implementierungen kann die Kalibrierungsvorrichtung 140 einen Sender (wie den Sender 112) umfassen und der Empfänger 130 kann in der Umgebung fixiert werden, während die Kalibrierungsvorrichtung 140 in der Umgebung bewegt wird. Dies ermöglicht es der Kalibriervorrichtung 140 auch, ihre Position und Orientierung in der Umgebung durch magnetische Mittel zu bestimmen.
In einigen Implementierungen kann das magnetische Signal 132 direkt in Lagedaten umgewandelt werden, aus denen eine Lagekompensation (z. B. eine Verzerrungskompensation) durchgeführt wird. Die Lage-Daten aus dem magnetischen Signal 134 werden mit der optisch ermittelten Lage der Kalibriervorrichtung 140 verglichen, um die Verzerrungskorrekturkarte für die Umgebung zu erzeugen.
Der Einfachheit halber wird in dieser Offenbarung ein nichtmagnetischer Signaldetektor 110 mit einer Kamera als Beispielsausführungsform detailliert beschrieben. Es sind jedoch auch andere Konfigurationen des nichtmagnetischen Signaldetektors 110 möglich. Zum Beispiel kann der nichtmagnetische Signaldetektor 110 einen Funksignalempfänger enthalten. Funkbaken (oder andere Funksignalgeber) können in der Umgebung platziert werden, um Signale auszusenden, die zur Lokalisierung des nichtmagnetischen Signaldetektors 110 in der Umgebung verwendet werden können. Andere Frequenzen im elektromagnetischen Spektrum sind ebenfalls möglich.
Die Verarbeitung des magnetischen Signals 132 und des nicht-magnetischen Signals kann von einer Rechenvorrichtung 102 durchgeführt werden. Die Rechenvorrichtung 102 kann einen oder mehrere Prozessoren umfassen, wie nachfolgend in Bezug auf 7 beschrieben. Beispielsweise ist die Rechenvorrichtung 102 so konfiguriert, dass sie Daten empfängt, die das magnetische Signal 132 und das nichtmagnetische Signal repräsentieren, und die Verzerrungskorrekturverarbeitung zur Bestimmung der Lage der Kalibrierungsvorrichtung 140 und des verfolgten Objekts 142 durchführt.
Eine Benutzerschnittstelle 104 ist so konfiguriert, dass sie mit der Computervorrichtung 102 in Verbindung steht. Die Benutzerschnittstelle 104 ist so konfiguriert, dass sie eine Darstellung der Lage der Kalibrierungsvorrichtung 140, des verfolgten Objekts 142 usw. anzeigt. Die Benutzerschnittstelle 104 kann so konfiguriert sein, dass sie eine dreidimensionale Darstellung der Kalibrierungsvorrichtung 140 und der verfolgten Vorrichtung 142 in der Umgebung anzeigt. Andere derartige Darstellungen der Kalibrierungsvorrichtung 140 und des verfolgten Objekts 142 sowie anderer Komponenten des magnetischen Trackingsystems 100 sind möglich. Beispielsweise kann die Benutzerschnittstelle 104 eine Textdarstellung der Lage der Kalibriervorrichtung 140 oder anderer Objekte in der Umgebung gemäß einem Koordinatensystem (wie einem kartesischen System, Polarkoordinatensystem usw.) anzeigen.
Die Benutzeroberfläche 104 kann so konfiguriert sein, dass sie eine Darstellung des von der Rechenvorrichtung 102 für die Umgebung ermittelten Verzerrungskorrekturmodells präsentiert. Zum Beispiel kann ein Wärmekarten-Overlay zeigen, welche Regionen in der Umgebung größere Verzerrungen aufweisen (z. B. mit größeren Wärmekartenwerten).
Die Benutzerschnittstelle 104 kann eine Anzeige zur Meldung der Position und Orientierung des verfolgten Objekts an einen Benutzer des magnetischen Verfolgungssystems 100 enthalten. Die Position und Orientierung, die dem Benutzer gemeldet werden, können nützlich sein, um den Benutzer bei einer oder mehreren Anwendungen zu unterstützen, z. B. bei der Durchführung einer medizinischen Operation. Zum Beispiel kann die Benutzerschnittstelle die Position und Orientierung als visuelle Darstellung des verfolgten Objekts in Bezug auf einen Teil des magnetischen Verfolgungssystems 100 melden, Koordinaten des verfolgten Objekts melden, das verfolgte Objekt in Bildern überlagern, die von der Kamera 110 erfasst wurden, und so weiter.
Die Benutzerschnittstelle 104 kann so konfiguriert sein, dass sie den Betrieb der Senderbaugruppe 112 steuert. Die Benutzerschnittstelle 104 kann eine oder mehrere Steuerungen (Software-Steuerungen, Hardware-Steuerungen usw.) enthalten. Die Bedienelemente können so konfiguriert sein, dass der Benutzer die Senderbaugruppe 112 aus- oder einschalten, die Betriebsfrequenz einer oder mehrerer Senderbaugruppen ändern, eine Senderbaugruppe zum Hochladen von Kalibrierungsdaten veranlassen kann usw.
In einigen Implementierungen ist das Computergerät 102 so konfiguriert, dass es Verzerrungskorrekturdaten an ein oder mehrere andere Geräte sendet oder überträgt. In einer medizinischen Umgebung kann die Rechenvorrichtung 102 beispielsweise so konfiguriert sein, dass sie Verzerrungskorrekturdaten an ein oder mehrere andere chirurgische Instrumente, magnetische Tracking-Vorrichtungen, Geräte zur Erzeugung von Visualisierungen usw. sendet.
In 1B ist das magnetische Verfolgungssystem 100 während der Verfolgung des verfolgten Objekts 142 dargestellt. Das verfolgte Objekt 142 wird in der Umgebung des magnetischen Verfolgungssystems 100 bewegt. Die Rechenvorrichtung 102 kartiert die Verzerrungen basierend auf den von der Kalibrierungsvorrichtung 140 gemessenen Daten. Die Position des verfolgten Objekts 142 relativ zum Sender 112 wird bestimmt, wobei die Verzerrungseffekte von den nicht verfolgten Objekten 120 entfernt werden, um die Genauigkeit der Bestimmung zu verbessern, wo sich das verfolgte Objekt 142 in der Umgebung befindet. Das verfolgte Objekt 142 umfasst Gegenstände wie z. B. chirurgische Werkzeuge oder Werkzeugspitzen, die in der Umgebung verfolgt werden.
Im Allgemeinen muss die Kalibrierungsvorrichtung 140 während der Verfolgung des verfolgten Objekts 142 nicht anwesend sein. Die Marker 108 können zwar noch in der Umgebung vorhanden sein, die Verzerrungen wurden jedoch bereits von der Kalibrierungsvorrichtung 140 abgebildet. Die Marker können bei Bedarf aus der Umgebung entfernt werden, z. B. von einem Operationstisch oder Operationsbereich, wenn die Marker eine oder mehrere Aufgaben stören, die während der Verfolgung durch das magnetische Verfolgungssystem 100 ausgeführt werden.
In 2 ist ein Beispiel für das magnetische Verfolgungssystem 200 dargestellt. In einigen Implementierungen kann das magnetische Verfolgungssystem 200 dem magnetischen Verfolgungssystem 100 von 1A und 1B ähnlich sein. Wie zuvor beschrieben, umfasst das magnetische Tracking-System 200 eine Rechenvorrichtung 202 (die der Rechenvorrichtung 102 von 1A und 1B ähnlich sein kann), eine Benutzerschnittstelle 204 (ähnlich der Benutzerschnittstelle 104), eine Kameravorrichtung 210 (ähnlich der Kameravorrichtung 110) und eine Senderbaugruppe 212, ähnlich dem Sender 112. Das magnetische Verfolgungssystem 200 umfasst auch Verstärker 232a-b und den magnetischen Empfänger 230 (auch Empfängerbaugruppe 230 oder Empfänger 230 genannt). Es werden nun verschiedene Ausführungsformen der Komponenten des magnetischen Verfolgungssystems 200 beschrieben.
Das magnetische Verfolgungssystem 200 ist so konfiguriert, dass es die Position(en) und Orientierung(en) eines oder mehrerer verfolgter Objekte (nicht dargestellt) verfolgt, die sich in der Umgebung des magnetischen Verfolgungssystems 200 befinden. In medizinischen Kontexten umfasst das verfolgte Objekt im Allgemeinen ein medizinisches Gerät oder einen Teil eines medizinischen Geräts. Zum Beispiel kann das magnetische Verfolgungssystem 200 verwendet werden, um Gegenstände wie chirurgische Instrumente, Sonden, Endoskope, Katheter usw. zu verfolgen, wenn sie sich im Inneren eines menschlichen Körpers befinden. In einigen Implementierungen ist die magnetische Tracking-Vorrichtung 240 (ähnlich der Kalibrierungsvorrichtung 140 von 1A) das verfolgte Objekt. In einigen Implementierungen ist das verfolgte Objekt ein anderes Objekt, und die magnetische Tracking-Vorrichtung 240 wird nur zur Verzerrungskorrektur verwendet. Die magnetische Tracking-Vorrichtung 240 umfasst den Empfänger 130, der das magnetische Signal 132 von der Senderbaugruppe 212 erfasst. Das magnetische Verfolgungssystem 200 kann die Position des Empfängers 230 des verfolgten Objekts basierend auf diesen Signalen bestimmen, wie nachfolgend ausführlicher beschrieben.
Das magnetische Verfolgungssystem 200 ist so konfiguriert, dass es ein magnetisches Signal (z. B. ein Magnetfeld) von der Senderbaugruppe 212 aussendet. Der Empfänger 230 ist so konfiguriert, dass er das Magnetfeld misst und das gemessene Signal an das Computergerät 102 sendet. In einigen Implementierungen ist ein Verstärker 232 enthalten, um das vom Empfänger 230 gemessene Signal zu verstärken. Der Verstärker 232 hat im Allgemeinen eine positive Verstärkung, die so konfiguriert ist, dass er alle vom Empfänger 230 empfangenen analogen Signale verstärkt, so dass die Rechenvorrichtung 202 das verstärkte Signal als Eingang empfangen kann. Der Empfänger 230 kann ein oder mehrere Elemente zur Messung des von der Senderbaugruppe 212 ausgesendeten magnetischen Signals enthalten, wie z. B. ein Magnetometer, Spulen usw. Zur Durchführung der Verfolgung des verfolgten Objekts wird die Position und Ausrichtung des Empfängers 230 von der Rechenvorrichtung 202 unter Verwendung von Messungen der Felder von der Senderbaugruppe 212 berechnet. Die Position und Ausrichtung der Senderbaugruppe 212 sind durch Beobachtung der Senderbaugruppe 212 mit Kameras 210a-b oder einem gleichwertigen nichtmagnetischen Sensor bekannt.
Die Senderbaugruppe 212 umfasst ein Sendeelement, das so konfiguriert ist, dass es ein magnetisches Signal erzeugt, wie z. B. eine Sendespule. In einigen Implementierungen können mehrere unterschiedliche Senderbaugruppen verwendet werden. Die Senderbaugruppen können sich geringfügig von einer oder mehreren der anderen Senderbaugruppen unterscheiden (oder sogar einzigartig sein). Zum Beispiel kann die Senderbaugruppe 212 so konfiguriert sein, dass sie ein magnetisches Signal mit einer anderen Modulationsfrequenz sendet. In einigen Implementierungen hat jede Spule leicht unterschiedliche magnetische Eigenschaften. Die Rechenvorrichtung 202 kann Informationen speichern, die die magnetischen Eigenschaften der Senderbaugruppe 212 für Kalibrierungszwecke charakterisieren. In einigen Implementierungen enthält die Senderbaugruppe 212 Markierungen 226 (ähnlich wie die Markierungen 206), die zur optischen Bestimmung der Position der Senderbaugruppe relativ zur Kamera 210 oder zum Ortungsgerät 240 verwendet werden können.
Während des Betriebs des magnetischen Verfolgungssystems 200 ist die Senderbaugruppe 212 so konfiguriert, dass sie ein magnetisches Signal aussendet, das von dem Empfänger 230 gemessen werden kann.
In einigen Implementierungen ist die Senderbaugruppe 212 so konfiguriert, dass sie durch ein nicht-magnetisches Mittel identifizierbar ist, um die Position und Orientierung der Senderbaugruppe in Bezug auf die magnetische Tracking-Vorrichtung 240 zu bestimmen. Das nicht-magnetische Mittel kann ein oder mehrere optische Mittel, ein Ultraschallmittel, ein Funkmittel, ein akustisches Mittel, ein Infrarotmittel und so weiter umfassen. Im Allgemeinen kann eine oder mehrere der Markierungen 206a-b (die ähnlich wie die Markierungen 106a-e und/oder das Markierungsfeld 108 sein können), wie eine optische oder treuhänderische Markierung, auf oder in der Nähe der Senderanordnung 212 enthalten sein. Die Rechenvorrichtung 202 ist so konfiguriert, dass sie den Marker erkennt, den Marker von anderen Markern unterscheidet und eine Position und Ausrichtung des Markers (und damit die Position und Ausrichtung einer Senderbaugruppe) aus Bildern des Markers bestimmt. Während die Marker 206a und 206b in 2 als Gruppen von Markern erscheinen, kann jeder Marker 206a und 206b ein einzelner Marker sein.
Die Markierungen 206a-b können auf dem Sender selbst platziert werden, sie können aber auch in der gesamten Umgebung platziert werden. Eine oder mehrere der Markierungen 206a-b können einzigartige Muster aufweisen, so dass sich jede Markierung von anderen Markierungen in der Umgebung unterscheidet. Im Allgemeinen werden die Marker 206a-b so positioniert, dass in jeder gegebenen Lage, die für die Verzerrungskorrektur verwendet wird, das Sichtfeld der Kamera 210a-b mindestens einen Marker enthält. Das magnetische Tracking-System 200 ist so konfiguriert, dass es die Lage der magnetischen Tracking-Vorrichtung 240 (die die Kamera 210, die Rechenvorrichtung 202 und den Empfänger 230 umfasst) optisch bestimmt. Die optisch bestimmte Lage wird verwendet, um die Verzerrungen zu bestimmen, die in dem vom Empfänger empfangenen magnetischen Signal 132 vorhanden sind, wie zuvor beschrieben. In einem medizinischen Kontext wird beispielsweise die Kamera 210 über dem Patienten platziert und die Marker 206a-b (z. B. einschließlich 106a-e und/oder Marker-Array 108) werden um den Bereich herum platziert, in dem der Patient operiert wird (z. B. ein Bereich, in dem die Verzerrungen abgebildet werden). Die Kamera 110 ist so konfiguriert, dass sie Bilder der Marker 206a-b (z. B. einschließlich der Marker 106a-e und/oder des Marker-Arrays 108) erfasst, um für jede Lage der magnetischen Tracking-Vorrichtung 240 ein entsprechendes magnetisches Signal 132 zu messen. Dieses gemessene magnetische Signal 132 kann mit einem idealen magnetischen Signal verglichen werden, das ohne Verzerrungen vorhanden wäre. Aus der Differenz der Magnetsignale kann für jede Lage in der Region ein Verzerrungswert erzeugt werden. Die Verzerrungswerte werden für jede Lage in der Region mit einer Auflösung bestimmt, die für die durchzuführende Anwendung (z. B. eine Operation) akzeptabel ist. Die magnetische Tracking-Vorrichtung 240 kann z. B. zwischen den Messungen um einen Zoll, zwei Zoll, fünf Zoll usw. bewegt werden. Die magnetische Tracking-Vorrichtung 240 kann z. B. zwischen den Messungen um 1 Grad, 2 Grad, 5 Grad usw. gedreht werden.
In einigen Implementierungen wird die Kamera 210 für die Durchführung der magnetischen Tracking-Vorrichtung 240 während des Betriebs entfernt (oder ist nicht enthalten). Zum Beispiel kann die Kamera 210 während einer Operation von der magnetischen Tracking-Vorrichtung 240 getrennt werden.
In einigen Implementierungen kann die Kamera 210 eine stereoskopische Kamera sein, die zwei Kameras, wie z. B. Kamera 210a und Kamera 210b, umfasst, die zueinander versetzt sind. Die Kameras 210a, 210b sind so konfiguriert, dass sie Bilder aus verschiedenen Winkeln in Bezug auf die Marker 206a-b aufnehmen. Die Bilder der stereoskopischen Kameras 210a, 210b können verwendet werden, um nicht nur die planaren „x, y“-Positionsdaten und das Gieren der magnetischen Tracking-Vorrichtung 240 zu bestimmen, sondern auch die Tiefen-„z“-Position der magnetischen Tracking-Vorrichtung 240 und die Verrollung und Neigung der magnetischen Tracking-Vorrichtung in Bezug auf die Markierungen 206a-b. In einigen Implementierungen wird eine einzelne Kamera verwendet, um Tiefendaten unter Verwendung mehrerer Marker 206 auf demselben Objekt zu bestimmen (z. B. in einem bekannten Abstand zueinander).
Die Daten, die die relativen Positionen und Ausrichtungen der magnetischen Tracking-Vorrichtung 240 darstellen, werden von der Rechenvorrichtung 202 verwendet, um zu bestimmen, wie die vom Empfänger 230 empfangenen magnetischen Signale zu interpretieren sind. Die magnetischen Signale zeigen eine Position und Orientierung des verfolgten Geräts relativ zur Senderbaugruppe 212 an. Um die absolute Position und Ausrichtung des verfolgten Geräts zu bestimmen, werden die Positionen und Ausrichtungen der Marker ermittelt. Im Allgemeinen hat jeder der Marker eine bekannte Position und Ausrichtung in Bezug auf die Senderbaugruppe 212. Das durch diese Marker festgelegte Koordinatensystem ist das globale Koordinatensystem (z. B. die in 1A und 1B dargestellten kartesischen Koordinatenachsen).
Der Empfänger 230 ist so konfiguriert, dass er die von der Senderbaugruppe 212 gesendeten magnetischen Signale misst, um die Position und Orientierung des verfolgten Objekts in Bezug auf die Senderbaugruppen zu bestimmen. Die Position des verfolgten Objekts kann relativ zu einem beliebigen globalen Bezugspunkt, wie z. B. der Senderbaugruppe 212, gemessen werden. Die Rechenvorrichtung 202 ist so konfiguriert, dass sie die gemessenen magnetischen Signale in Positions- und Orientierungsdaten umwandelt. In einigen Implementierungen können die Positionsdaten als ein Positionsvektor von Positionskoordinaten (z. B. x-, y-, z-Koordinaten) ausgedrückt werden. In diesem Beispiel verwendet der Empfänger 230 ein kartesisches Koordinatensystem (mit x-, y- und z-Koordinaten), um eine Position im Raum darzustellen; es können jedoch auch andere Arten von Koordinatensystemen (z. B. zylindrische, sphärische usw.) verwendet werden.
Die Ausrichtung des verfolgten Objekts bezieht sich auf eine Richtung, in die das verfolgte Gerät in Bezug auf den globalen Referenzpunkt (z. B. die Senderbaugruppe 212) ausgerichtet ist, und kann in ähnlicher Weise durch Verwendung eines Koordinatensystems ausgedrückt und beispielsweise als ein Vektor von Ausrichtungskoordinaten (z. B. Azimut- (ψ), Höhen- (θ) und Roll- (φ) Winkel) dargestellt werden. Das magnetische Verfolgungssystem 200 arbeitet als Messsystem mit bis zu sechs Freiheitsgraden (6DoF), das so konfiguriert ist, dass es die Messung von Positions- und Orientierungsinformationen in Bezug auf eine Vorwärts-/Rückwärtsposition, Aufwärts-/Abwärtsposition, Links-/Rechtsposition, Azimut, Höhe und Verrollung ermöglicht. Wenn der Empfänger 230 beispielsweise eine einzelne Empfangsspule enthält, kann ein Satz von mindestens fünf Senderbaugruppen 212 fünf Freiheitsgrade bereitstellen (z. B. ohne Verrollung). Wenn der Empfänger 230 beispielsweise mindestens zwei Empfangsspulen enthält, kann ein Satz von mindestens sechs Senderbaugruppen 212 genügend Daten liefern, um alle sechs Freiheitsgrade zu bestimmen. Zusätzliche Senderbaugruppen oder Empfangsspulen können hinzugefügt werden, um die Verfolgungsgenauigkeit zu erhöhen oder ein größeres Verfolgungsvolumen zu ermöglichen.
Die Rechenvorrichtung 202 umfasst einen oder mehrere Prozessoren und ist so konfiguriert, dass sie Daten empfängt, die das magnetische Signal 132 und das nichtmagnetische Signal darstellen, um die Verzerrung des magnetischen Signals in der Umgebung abzuschätzen. Die Rechenvorrichtung 202 empfängt das magnetische Signal von dem Empfänger 230 und wandelt das magnetische Signal in Positionsdaten und Orientierungsdaten der magnetischen Tracking-Vorrichtung 240 um. Die Rechenvorrichtung 202 kann Eingangs- und Ausgangsports zum Senden und Empfangen von analogen und digitalen Daten enthalten. Die Rechenvorrichtung 202 kann einen Wellenformgenerator (nicht dargestellt) zur Ansteuerung der Senderbaugruppe 212 enthalten. Aspekte und Beispiele der Rechenvorrichtung 102 werden in Bezug auf 7 weiter beschrieben.
Die Rechenvorrichtung 202 kann eine Schaltung zur Ansteuerung der Senderbaugruppe 212 und zur Steuerung des Betriebs der Senderbaugruppe 212 enthalten. Zum Beispiel kann die Rechenvorrichtung 202 einen Controller enthalten, der so konfiguriert ist, dass er die Senderbaugruppe 212 steuert. Die Senderbaugruppe 212 kann so konfiguriert sein, dass sie magnetische Signale zu verschiedenen Zeiten oder Frequenzen in einem Messzyklus aussendet. Zum Beispiel kann die Rechenvorrichtung 202 so konfiguriert sein, dass sie die Senderbaugruppe 212 so steuert, dass sie ein magnetisches Signal zu einem bestimmten Zeitpunkt in einem Messzyklus sendet, ein magnetisches Signal in einer bestimmten Reihenfolge sendet usw. Der Empfänger 230 misst jedes der Magnetsignale. Wenn ein Zeitregime verwendet wird, kann die Rechenvorrichtung 202 das empfangene Magnetsignal einer bestimmten Senderbaugruppe zuordnen, basierend darauf, wann das Magnetsignal von der Rechenvorrichtung 202 vom Empfänger 230 empfangen wird. Die Steuerung kann die Senderbaugruppe 212 mit Zeitscheibenmultiplexing, Frequenzmultiplexing usw. steuern.
Die Senderbaugruppe 212 kann individuell kalibriert werden. In einigen Implementierungen hat die Senderbaugruppe 212 eine oder mehrere physikalische Eigenschaften, die sich unterscheiden. Beispielsweise kann die Senderbaugruppe 212 mit modellierten Parametern, der Abbildung von Magnetfeldern aus den Magnetsignalen, sphärischen Oberschwingungen, Lösungen in geschlossener Form und so weiter kalibriert werden. Die Kalibrierungsdaten können von der Rechenvorrichtung 202 gespeichert werden. Die Kalibrierungsdaten für eine Senderbaugruppe können lokal mit dieser jeweiligen Senderbaugruppe auf einem lokalen Speicher gespeichert werden. In einem Aspekt können die Kalibrierungsdaten (z. B. drahtgebunden oder drahtlos) an das Computergerät 202 gesendet werden, um das Computergerät 202 bei der Bestimmung der Position und Ausrichtung der Senderbaugruppe zu unterstützen. Wie bereits erwähnt, kann die Senderbaugruppe 212 so konfiguriert werden, dass sie auf einer anderen Frequenz arbeitet, sich zu unterschiedlichen Zeiten einschaltet usw.
Eine Sendespule (nicht dargestellt) ist so konfiguriert, dass sie ein magnetisches Signal erzeugt, das vom Empfänger 230 empfangen wird. Die Spule kann ein Signal (z. B. ein Magnetfeld) aussenden, das für die jeweilige Senderbaugruppe 212 einzigartig ist. Zum Beispiel kann die Senderbaugruppe 212 das magnetische Signal mit einer bestimmten Frequenz modulieren. Die Spule kann eine ein- oder mehrwindige Spule sein. Die Spule kann jede geometrische Form aufweisen, die in der Lage ist, ein Magnetfeld zu erzeugen, wenn sie mit einem elektrischen Strom versorgt wird. Die Spule kann ein Teil der Schaltung der Senderbaugruppe 212 sein (z. B. eine Leiterplatte (PCB)), oder die Spule kann separat an der Senderbaugruppe angebracht sein.
Die Senderbaugruppe 212 darf keine aktive Schaltung enthalten. Die Spule kann von einer entfernten Quelle, wie z. B. einem Wellenformgenerator des Rechengeräts 202, angesteuert werden. Die Senderbaugruppe 212 kann so konfiguriert sein, dass sie in das Computergerät 102 (oder ein anderes Gerät) eingesteckt wird, um das magnetische Signal zu steuern. In einigen Implementierungen kann die Senderbaugruppe 212 so konfiguriert sein, dass sie mit einer oder mehreren anderen Senderbaugruppen verbunden werden kann, z. B. in einer Daisy-Chain-Formation. In einem anderen Beispiel kann die Senderbaugruppe 212 mit einer oder mehreren anderen Senderbaugruppen parallel geschaltet werden.
Die Rechenvorrichtung 202 kann so konfiguriert werden, dass sie die Position und Ausrichtung des verfolgten Objekts auf verschiedene Weise bestimmt. Zum Beispiel kann eine Kleinste-Quadrate-Lösung verwendet werden, um die Position und Orientierung des Empfängers 230 in Bezug auf die Senderbaugruppe 212 zu bestimmen. In einem anderen Beispiel können ein Kalman-Filter oder eine oder mehrere andere numerische Methoden verwendet werden, um die Positionen und Ausrichtungen des Empfängers 230 in Bezug auf die Senderbaugruppe 212 zu bestimmen.
Das Computergerät 202, die Senderbaugruppe 212, die Kamera 210 und die Benutzerschnittstelle 204 können entweder über drahtgebundene oder drahtlose Verbindungen miteinander kommunizieren. Zum Beispiel kann die Senderbaugruppe 212 mit Anschlüssen des Computergeräts 202 verdrahtet werden. In einer solchen Konfiguration kann das Computergerät 202 ein Stromsignal bereitstellen, um die Senderbaugruppe 212 zu betreiben, und die Senderbaugruppen können jeweils passive Elektronik enthalten. In einem anderen Beispiel kann die Senderbaugruppe 212 mit einem Datentransceiver ausgestattet sein, der so konfiguriert ist, dass er drahtlos Daten (z. B. Kalibrierungsinformationen) an das Computergerät sendet und Daten (z. B. Steuersignale) vom Computergerät 202 empfängt.
Die Marker 206a-b können während der Verzerrungskorrektur für das magnetische Tracking-System 200 neu angeordnet werden, und die neuen Positionen und Ausrichtungen jedes der Marker können von der Rechenvorrichtung 202 unter Verwendung von Daten der Kamera 210 bestimmt werden. Zum Beispiel können die Marker 206a-b (z.B. einschließlich 106a-e und/oder Marker-Array 108 von 1A) während der Kalibrierung umherbewegt werden, um sicherzustellen, dass einer oder mehrere der Marker sich innerhalb von einigen Zentimetern von der Stelle befindet, an der sich das verfolgte Objekt (z.B. ein Katheter) befinden wird, während das verfolgte Objekt in der Umgebung (z.B. innerhalb des Patienten) bewegt wird. Sobald die Marker 206a-b in der Umgebung platziert sind, wird die Kalibrierungsvorrichtung 140 in der Umgebung bewegt, um das Verzerrungskorrekturmodell für die Region zu kalibrieren.
In einigen Implementierungen umfassen die Marker 206a-b jeweils Klebepflaster, die an einer oder mehreren Oberflächen der Umgebung des magnetischen Trackingsystems 200 befestigt werden können. Zum Beispiel können die Marker 206a-b an einem Subjekt (z. B. einem Patienten) einer medizinischen Operation angebracht werden.
Die Kombination aus dem Empfänger 230 und dem Sender 212 kann ein Verzerrungsindikator oder ein System zur Korrektur von Verzerrungen in der Umgebung sein. Das magnetische Trackingsystem 200 kann eine ermittelte Differenz zwischen der optischen Bestimmung der Lage der einzelnen Baugruppen und der EM-Bestimmung der Lage als Hinweis auf eine in der Umgebung vorhandene Verzerrung verwenden. Das magnetische Trackingsystem 200 kann somit eine Verzerrungskompensation durchführen. Beispielsweise können die von der Empfängerbaugruppe 230 gesammelten Daten, einschließlich der Messungen des Magnetfelds und der Lage, der verzerrten Daten, der optischen Daten (Wahrheit) und der Gradientendaten (geschätzt durch die Unterschiede in den Feldern bei der Bewegung des Sensors) verwendet werden, um Korrekturen für die Verzerrung vorzunehmen. Die Verzerrung kann mit physikalischen Modellen modelliert werden. Diese Modelle können Kurvenanpassung (z. B. für magnetische Signale und für Lösungen für die Lage), Splines, Triangulationen, radiale Basisfunktionen und maschinelle Lernverfahren umfassen.
In 3 ist ein Beispiel für eine Umgebung 300 zur Verzerrungskorrektur des magnetischen Signals 132 dargestellt. In der gesamten Umgebung 300 sind Marker 306ag (zusammenfassend Marker 306) angeordnet. Die Marker 306 können in Abhängigkeit davon, in welcher Umgebung 300 die Verzerrungskorrektur durchgeführt wird, angeordnet oder umgeordnet werden, ähnlich wie die zuvor beschriebenen Marker 106 und 206. Im Allgemeinen werden die Marker 306 so platziert, dass mindestens einer für die Kamera 310 (die der Kamera 110 von 1A und/oder der Kamera 210 von 2 ähnlich sein kann) einer magnetischen Tracking-Vorrichtung 340 (ähnlich den magnetischen Tracking-Vorrichtungen 140 und/oder 240) in jeder Lage der magnetischen Tracking-Vorrichtung sichtbar ist.
In einem Aspekt können die eine oder mehreren Markierungen 306 einen beliebigen visuellen Mechanismus zur Unterscheidung der Markierungen voneinander umfassen. Die Markierungen 306 sind jeweils voneinander unterscheidbar, so dass die Rechenvorrichtung 302 (die den zuvor beschriebenen Rechenvorrichtungen 102 und 202 ähnlich sein kann) zwischen den Markierungen unterscheiden kann, wenn sie die Lage der magnetischen Tracking-Vorrichtung 340 visuell bestimmt. Die Positionen der Markierungen 306 relativ zueinander zeigen der Rechenvorrichtung 302 an, welche Position und Ausrichtung die Senderbaugruppe 312 relativ zur Kamera 310, zum Empfänger 330 (z. B. ähnlich wie Empfänger 130 und/oder Empfänger 230, zuvor beschrieben) oder zu einem anderen Teil des magnetischen Tracking-Systems 300 hat. Wenn beispielsweise die Markierung 306b in einer positiven Richtung entlang einer x-Achse in Bezug auf das Symbol 306c erscheint, kann das Computersystem bestimmen, dass die Senderbaugruppe 300 mit einem bestimmten Gierwert gedreht wird (z. B. eine planare Drehung in Bezug auf die Kamera 310). Alternativ können Computer-Vision- oder maschinelle Lernmethoden verwendet werden, um die Senderbaugruppe 300 zu verfolgen, wie es in der Technik bekannt ist. Jeder der Marker 306 kann aus einer Bibliothek von Symbolen ausgewählt werden, die die Rechenvorrichtung 302 so konfiguriert ist, dass sie verschiedene Orte in der Umgebung 300 erkennt und zuordnet. Die Rechenvorrichtung 302 ordnet ein empfangenes magnetisches Signal einer Position zu, die auf der Grundlage des gesehenen Markers 306 und seiner Orientierung bestimmt wird. Dies hilft bei der Berechnung von Position und Orientierung. Mit anderen Worten, die Rechenvorrichtung 302 verwendet die Marker 306, um zu wissen, welche magnetische Lage mit welcher visuellen Lage verbunden ist. Die Rechenvorrichtung 302 kann dann bestimmen, wie das ideale magnetische Signal am Ort der Bodenwahrheit aussehen würde, und einen magnetischen Verzerrungswert bestimmen.
In einem Aspekt kann die Kameravorrichtung 310 stereoskopische Kameras umfassen, die Abstandsinformationen an die Rechenvorrichtung 302 liefern. Die Rechenvorrichtung 302 kann die Abstandsinformationen (ob an der Kameravorrichtung 310 ermittelt oder an der Rechenvorrichtung 302 berechnet) verwenden, um die Position der Senderbaugruppe 300 in drei Dimensionen zu bestimmen. Die Kameravorrichtung 310 kann eine einzelne Kamera enthalten, die den Abstand basierend auf der Verwendung mehrerer Marker 306a-h und deren bekannter Geometrie bestimmen kann.
Wie bereits erwähnt, sind die Marker 306a-h im Allgemeinen so konfiguriert, dass sie für die Computer-Vision-Erkennung erkannt werden (ähnlich wie die Marker 106 und 206 und das Marker-Array 108). Die Marker können beliebige Bilder enthalten, wie z. B. Barcodes, QR-Codes, Symbole, Icons usw. Im Beispiel des magnetischen Verfolgungssystems 300 sind die Marker 306a-h verpixelte Symbole. Während in diesem Beispiel weniger als 8 Symbole für jeden Marker 306 enthalten sind, können zusätzliche Symbole zur Bestimmung der Lage hinzugefügt werden. Zusätzlich zu den Symbolen kann eine Markierung einen Retroreflektor enthalten, der für Infrarotanregung konfiguriert ist, oder eine andere Art von Landmarke, die durch ein nicht-magnetisches Mittel detektierbar ist.
In einigen Implementierungen können die Marker 306a-h variieren, solange die Konfiguration in der Lage ist, genügend Informationen für das magnetische Verfolgungssystem 300 zu liefern, um eine Schätzung der visuellen Lage zu erzeugen. Zum Beispiel können die Marker ArUco- oder ChArUco-Muster enthalten. Die Marker können z. B. passive Retroreflektoren enthalten, die auf Infrarot (IR)-Anregung von einer IR-Quelle in der Nähe der Kameraöffnung(en) 110a und 110b reagieren. Die Marker 306a-f können aktive Baken enthalten, die Lichtsignale, Hochfrequenzdaten, Ultraschallsignale oder andere Informationen über die Lage übertragen. In einigen Implementierungen können die Formen der Marker 306a selbst zur Bestimmung der Lage verwendet werden.
In einem Aspekt kann jeder Marker 306a-f eine Klebeschicht enthalten, die auf einer Seite angebracht ist. Die Klebeschicht ist so konfiguriert, dass der Marker 306 an einer anderen Oberfläche, wie z. B. einer Wand, einer Decke, einem nicht verfolgten Objekt usw., haftet. Die Oberfläche muss nicht flach oder regelmäßig sein. Die Klebeschicht kann ein Klebegel, Klebstoff, Saugnäpfe oder eine andere Klebefläche umfassen. Die Klebeschicht ist im Allgemeinen so konfiguriert, dass sie abnehmbar ist und wiederholt auf eine Oberfläche aufgebracht werden kann. Die Klebeschicht verdeckt nicht die Seite der Markierung 306, die die Symbole enthält.
In den 4A-4B ist eine Kalibrierungsumgebung mit einem Gerüst 400 dargestellt. Das Gerüst ermöglicht es der magnetischen Tracking-Vorrichtung 440 (z. B. ähnlich den magnetischen Tracking-Vorrichtungen 140, 240 und/oder 340), sich in einem bekannten Bereich der Umgebung in Bezug auf die Marker 406 (ähnlich den Markern 106, 206 und 306, die zuvor beschrieben wurden) zu bewegen. Beispielsweise ermöglicht das Gerüst 400 eine planare Bewegung der magnetischen Tracking-Vorrichtung 440 in Bezug auf die Marker 406. Eine Anzahl von Ebenen P1, P2, P3, P4, P5 (und so weiter) kann im Gerüst 400 vorgesehen werden. In jeder Ebene kann die magnetische Tracking-Vorrichtung 440 positioniert und ein magnetisches Signal 132 gemessen werden. Die Lage der magnetischen Tracking-Vorrichtung 440 ist aufgrund der festen Beschaffenheit des Gerüsts 400 mit hoher Genauigkeit bekannt. Es können Ablagen (oder andere Stützmittel) hinzugefügt oder entfernt werden, damit sich die magnetische Tracking-Vorrichtung 440 relativ zu den Markern 406 bewegen kann. Verschiedene Messungen des magnetischen Signals 132 können in jeder der Ebenen vorgenommen werden. Ein Verzerrungskorrekturmodell kann dann wie zuvor beschrieben erzeugt werden. In 4A befindet sich die magnetische Tracking-Vorrichtung 440 beispielsweise an der Position P1. In 4B befindet sich die magnetische Tracking-Vorrichtung 440 an der Position P2. Die Ebenen können nahe beieinander positioniert werden, um die Auflösung des Verzerrungskorrekturmodells nach Bedarf zu erhöhen. Die magnetische Tracking-Vorrichtung 440 kann um die Ebene herum bewegt werden, um eine große Anzahl von magnetischen Signalmessungen an der Ebene zu erfassen.
In 5 ist eine Kalibrierungsumgebung mit einem Gerüst 500 dargestellt. Das Gerüst enthält stapelbare Schichten 504, die schnell auf- oder abgebaut werden können, z. B. über einem Patienten auf einem Operationstisch. Das Gerüst 500 ist tragbar und ermöglicht es der magnetischen Tracking-Vorrichtung 502 (z. B. ähnlich den magnetischen Tracking-Vorrichtungen 200, 300), sich in einem bekannten Bereich der Umgebung in Bezug auf den Sender 112 zu bewegen. Beispielsweise ermöglicht das Gerüst 500 eine planare Bewegung der magnetischen Tracking-Vorrichtung 502 in der Umgebung. Anstelle von Markierungen kann das Gerüst mit präzisen Abmessungen ausgebildet werden, so dass die absolute Position der magnetischen Tracking-Vorrichtung 502 in einer Längsrichtung bekannt ist. Ein Encoder (z. B. ein laserbasierter Encoder) kann verwendet werden, um zu verfolgen, wo sich die magnetische Tracking-Vorrichtung 502 auf der Ebene bewegt. Zum Beispiel kann eine Computermaus, die mit einem Empfänger gekoppelt ist (ähnlich den Empfängern 130, 230 und/oder 330), verwendet werden, um das magnetische Signal 132 an jeder Stelle der Ebene zu messen. Für jede Ebene kann die magnetische Tracking-Vorrichtung 502 iterativ über verschiedene Punkte auf der Ebene positioniert werden, und das magnetische Signal 132 wird an jedem Punkt gemessen. Die Lage der magnetischen Tracking-Vorrichtung 502 ist aufgrund der festen Beschaffenheit des Gerüsts 500 mit hoher Präzision bekannt. Um die magnetische Tracking-Vorrichtung 502 in zusätzlichen Dimensionen bewegen zu können, können Regale (oder andere Stützmittel) hinzugefügt oder entfernt werden. Ein Verzerrungskorrekturmodell kann dann wie zuvor beschrieben erstellt werden. Die magnetische Tracking-Vorrichtung 502 kann um die Ebene herum bewegt werden, um eine große Anzahl von magnetischen Signalmessungen in der Ebene zu erfassen.
In 6A ist ein Flussdiagramm eines Prozesses 600 zur Durchführung der magnetischen Verfolgung mit den magnetischen Verfolgungssystemen und Senderbaugruppen der 1-5 dargestellt. Der Prozess 600 stellt dar, wie ein magnetisches Verfolgungssystem (z. B. die magnetischen Verfolgungssysteme der 1-5) zur Bestimmung einer Objektlage eines verfolgten Objekts in einer Umgebung des magnetischen Verfolgungssystems konfiguriert ist.
Ein Rechensystem ist so konfiguriert, dass es von einer magnetischen Tracking-Vorrichtung eine Messung eines nichtmagnetischen Signals und eine entsprechende Messung des magnetischen Signals empfängt (602). Das nicht-magnetische Signal kann ein visuelles Signal, wie z. B. ein Bild oder Video, enthalten. Das Rechensystem schätzt (604), basierend auf der Messung des nichtmagnetischen Signals, eine nichtmagnetische Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Standort. Das Rechensystem ist so konfiguriert, dass es auf der Grundlage der Messung des magnetischen Signals eine magnetische Lage der magnetischen Tracking-Vorrichtung in der Umgebung für denselben Ort in der Umgebung schätzt (606). In einigen Implementierungen werden die magnetische Lage und die visuelle Lage parallel geschätzt. In einigen Implementierungen können die geschätzten Lagen in Puffern gespeichert werden, um die Erzeugung des Verzerrungskorrekturmodells zu pipelining. Zum Beispiel bestimmt (608) das Rechensystem eine Differenz zwischen der Schätzung der magnetischen Lage und der Schätzung der nichtmagnetischen Lage, um einen Fehlerwert zu erzeugen. Während die Differenz bestimmt wird, kann das Rechensystem konfiguriert werden, um eine nächste Iteration von magnetischen Signalen und nicht-magnetischen Signalen zu messen, um eine zweite magnetische Lage und eine zweite nicht-magnetische Lage zu schätzen.
Das Rechensystem ist so konfiguriert, dass es einen magnetischen Verzerrungskorrekturwert für die Zuordnung zu der bestimmten Position in der Umgebung auf der Grundlage der ermittelten Differenz der Lagewerte bestimmt (610). Sobald die Verzerrungswerte für eine Vielzahl von Orten berechnet sind, kann das Rechensystem ein Verzerrungskorrekturmodell aufbauen oder generieren (612), das mit Verzerrungsmodellen, sphärischen Harmonischen, mathematischen Funktionen und dergleichen gebildet werden kann und unter Verwendung einer vorberechneten Korrektur oder als Auswertung eines Modells in Echtzeit durchgeführt werden kann, einschließlich der Verzerrungswerte und Ausgabe einer Darstellung des Verzerrungskorrekturmodells. Das Verzerrungskorrekturmodell kann in einem Speicher gespeichert werden, so dass, wenn das magnetische Verfolgungssystem in einer Umgebung bewegt wird, die Verzerrungskorrektur abgerufen werden kann, um eine magnetische Lage zu korrigieren, die durch das magnetische Verfolgungssystem bestimmt wird. Mit anderen Worten, da der Verzerrungswert für einen bestimmten Ort in der Umgebung bekannt ist, kann das magnetische Verfolgungssystem die Schätzung der magnetischen Lage des verfolgten Objekts verfeinern, sobald die Objektverfolgung durchgeführt wird. Während der Verfolgung ist die Rechenvorrichtung so konfiguriert, dass sie eine Darstellung der verfolgten Objektlage ausgibt, z. B. an eine Benutzerschnittstelle.
In einigen Implementierungen umfasst die Markierung eines von einem ArUco-Muster, einem ChArUco-Muster, einem Infrarot-Retroreflektor, einer Lichtquelle, einer Ultraschallquelle, einer Funksignalquelle und einer äußeren Form der Senderanordnung.
6B zeigt einen Prozess 620 zur Verzerrungskorrektur für elektromagnetische Felder mit Inside-Out-Tracking. Prozess 620 veranschaulicht einen Funktionsanpassungsprozess, bei dem ein nichtmagnetisches Signal eine Funktion des magnetischen Signals ist. Zum Beispiel kann die x-Position des magnetischen Signals durch ein Polynom kompensiert werden, das aus Potenzen des magnetischen Signals besteht, so dass es gleich dem nicht-magnetischen Signal ist. Diese Funktionen können viele Formen annehmen, wie z. B. Polynome, radiale Basisfunktionen, sphärische Harmonische, Kriging, neuronale Netze, Splines usw. Der Prozess der Funktionsanpassung wird normalerweise offline durchgeführt, nachdem alle Signaldaten erfasst wurden. Das magnetische Signal kann in der Messdomäne (die Magnetfelder) und/oder in der Tacking-Domäne (Lösung oder Lage) liegen.
Eine Rechnereinrichtung (wie die Rechnereinrichtungen 102, 202 oder 302 der 1-3) ist so konfiguriert, dass sie eine Messung des nichtmagnetischen Signals und eine entsprechende Messung des magnetischen Signals empfängt (622). Die Rechenvorrichtung ist so konfiguriert, dass sie eine Abbildungsfunktion erzeugt (624), die das magnetische Signal mit dem entsprechenden nichtmagnetischen Signal in Beziehung setzt. Die Rechenvorrichtung ist so konfiguriert, dass sie die Abbildungsfunktion zur Verwendung bei der magnetischen Verfolgung speichert (626).
6C zeigt einen Prozess 630 zur Verzerrungskorrektur für elektromagnetische Felder unter Verwendung von Inside-Out-Tracking. Prozess 630 veranschaulicht den Prozess der Verwendung der durch Prozess 620 erzeugten Funktion während der reinen EM-Nachführung. Ein magnetisches Signal wird empfangen, und dieses Signal wird in der Funktion verwendet, um ein korrigiertes magnetisches Signal zu erzeugen. Das korrigierte Magnetsignal kann in der Messdomäne (die Magnetfelder) und/oder der Tacking-Domäne (z. B. Lösung oder Lage) liegen. Wenn das korrigierte Magnetsignal im Messbereich liegt, wird das korrigierte Magnetsignal dann durch den Standardverfolgungsalgorithmus geleitet, um Lagedaten zu erzeugen.
Eine Rechenvorrichtung (wie die Rechenvorrichtungen 102, 202 oder 302 der 1-3) ist so konfiguriert, dass sie eine Messung des magnetischen Signals während eines Verfolgungsprozesses empfängt (632). Die Rechenvorrichtung ist so konfiguriert, dass sie eine aus einem Kalibrierungsprozess von 6B erzeugte Abbildungsfunktion auf das empfangene Signal anwendet (634). Die Rechenvorrichtung ist so konfiguriert, dass sie ein korrigiertes magnetisches Signal ausgibt (636), das den wahren Ort und die wahre Ausrichtung der verfolgten Vorrichtung anzeigt.
7 ist ein Blockdiagramm eines Beispiel-Computersystems 700. Die Rechenvorrichtung 102 der 1A-1B kann ein Beispiel für das hier beschriebene Computersystem 700 sein. Das System 700 kann einen Prozessor 710, einen Speicher 720, ein Speichergerät 730 und ein Eingabe-/Ausgabegerät 740 umfassen. Jede der Komponenten 710, 720, 730 und 740 kann z. B. über einen Systembus 750 miteinander verbunden sein. Der Prozessor 710 ist in der Lage, Anweisungen zur Ausführung innerhalb des Systems 700 zu verarbeiten. Der Prozessor 710 kann ein Single-Thread-Prozessor, ein Multi-Thread-Prozessor oder ein Quantencomputer sein. Der Prozessor 710 ist in der Lage, Anweisungen zu verarbeiten, die im Speicher 720 oder auf dem Speichergerät 730 gespeichert sind. Der Prozessor 710 kann Operationen ausführen, wie z. B. das EMT-System 100 zu veranlassen, die Position und/oder die Ausrichtung des verfolgten Geräts 102 zu bestimmen.
Der Speicher 720 speichert Informationen innerhalb des Systems 700. In einigen Implementierungen ist der Speicher 720 ein computerlesbares Medium. Der Speicher 720 kann z. B. eine flüchtige Speichereinheit oder eine nichtflüchtige Speichereinheit sein.
Die Speichervorrichtung 730 ist in der Lage, Massenspeicher für das System 700 bereitzustellen. In einem Aspekt ist die Speichervorrichtung 730 ein nicht-transitorisches computerlesbares Medium. Die Speichervorrichtung 730 kann z. B. eine Festplattenvorrichtung, eine optische Plattenvorrichtung, ein Solid-Date-Laufwerk, ein Flash-Laufwerk, ein Magnetband oder eine andere Speichervorrichtung mit großer Kapazität umfassen. Das Speichergerät 730 kann alternativ ein Cloud-Speichergerät sein, z. B. ein logisches Speichergerät mit mehreren physischen Speichergeräten, die über ein Netzwerk verteilt sind und auf die über ein Netzwerk zugegriffen wird. In einigen Implementierungen können die im Speicher 720 gespeicherten Informationen auch oder stattdessen auf dem Speichergerät 730 gespeichert werden.
Die Eingabe-/Ausgabevorrichtung 740 bietet Eingabe-/Ausgabeoperationen für das System 700. In einigen Beispielen umfasst die Eingabe-/Ausgabevorrichtung 740 eine oder mehrere Netzwerkschnittstellenvorrichtungen (z. B. eine Ethernet-Karte), eine serielle Kommunikationsvorrichtung (z. B. eine RS-232 10-Schnittstelle) und/oder eine drahtlose Schnittstellenvorrichtung (z. B. eine drahtlose Kurzstrecken-Kommunikationsvorrichtung, eine 602.11-Karte, ein 3G-Funkmodem oder ein 4G-Funkmodem). Im Allgemeinen umfasst das Eingabe-/Ausgabegerät 740 Treibergeräte, die so konfiguriert sind, dass sie Eingabedaten empfangen und Ausgabedaten an andere Eingabe-/Ausgabegeräte senden, z. B. eine Tastatur, einen Drucker und Anzeigegeräte. In einigen Implementierungen werden mobile Computergeräte, mobile Kommunikationsgeräte und andere Geräte verwendet.
Das System 700 kann einen Mikrocontroller enthalten. Ein Mikrocontroller ist ein Gerät, das mehrere Elemente eines Computersystems in einem einzigen Elektronikpaket enthält. Beispielsweise könnte das einzelne Elektronikpaket den Prozessor 710, den Speicher 720, das Speichergerät 730 und die Eingabe-/Ausgabegeräte 740 enthalten.
Obwohl in 7 ein Beispiel-Computersystem beschrieben wurde, können Implementierungen des Gegenstands und der oben beschriebenen Funktionsabläufe in anderen Arten von digitalen elektronischen Schaltungen oder in Computersoftware, Firmware oder Hardware implementiert werden, einschließlich der in dieser Spezifikation offengelegten Strukturen und ihrer strukturellen Äquivalente oder in Kombinationen von einem oder mehreren davon. Implementierungen des in dieser Spezifikation beschriebenen Gegenstands können als ein oder mehrere Computerprogrammprodukte implementiert werden, d. h. als ein oder mehrere Module von Computerprogrammanweisungen, die auf einem greifbaren Programmträger, z. B. einem computerlesbaren Medium, kodiert sind, zur Ausführung durch ein Verarbeitungssystem oder zur Steuerung des Betriebs eines solchen. Das computerlesbare Medium kann eine maschinenlesbare Speichervorrichtung, ein maschinenlesbares Speichersubstrat, eine Speichervorrichtung, eine Materiezusammensetzung, die ein maschinenlesbares propagiertes Signal bewirkt, oder eine Kombination aus einem oder mehreren von ihnen sein.
Der Begriff „Computersystem“ kann alle Geräte, Vorrichtungen und Maschinen zur Verarbeitung von Daten umfassen, einschließlich, als Beispiel, eines programmierbaren Prozessors, eines Computers oder mehrerer Prozessoren oder Computer. Ein Verarbeitungssystem kann neben der Hardware auch Code enthalten, der eine Ausführungsumgebung für das betreffende Computerprogramm schafft, z. B. Code, der eine Prozessor-Firmware, einen Protokollstapel, ein Datenbankmanagementsystem, ein Betriebssystem oder eine Kombination aus einem oder mehreren davon darstellt.
Ein Computerprogramm (auch als Programm, Software, Softwareanwendung, Skript, ausführbare Logik oder Code bezeichnet) kann in jeder Form von Programmiersprache geschrieben sein, einschließlich kompilierter oder interpretierter Sprachen oder deklarativer oder prozeduraler Sprachen, und es kann in jeder Form eingesetzt werden, einschließlich als eigenständiges Programm oder als Modul, Komponente, Unterprogramm oder andere Einheit, die zur Verwendung in einer Computerumgebung geeignet ist. Ein Computerprogramm entspricht nicht unbedingt einer Datei in einem Dateisystem. Ein Programm kann in einem Teil einer Datei gespeichert sein, die auch andere Programme oder Daten enthält (z. B. ein oder mehrere Skripte, die in einem Markup-Sprachdokument gespeichert sind), in einer einzelnen Datei, die dem betreffenden Programm gewidmet ist, oder in mehreren koordinierten Dateien (z. B. Dateien, die ein oder mehrere Module, Unterprogramme oder Teile von Code speichern). Ein Computerprogramm kann zur Ausführung auf einem Computer oder auf mehreren Computern bereitgestellt werden, die sich an einem Standort befinden oder über mehrere Standorte verteilt und durch ein Kommunikationsnetzwerk miteinander verbunden sind.
Zu den computerlesbaren Medien, die zum Speichern von Computerprogrammanweisungen und -daten geeignet sind, gehören alle Formen von nichtflüchtigen oder flüchtigen Speichern, Medien und Speichervorrichtungen, einschließlich beispielhaft Halbleiterspeichervorrichtungen, z. B. EPROM-, EEPROM- und Flash-Speichervorrichtungen; Magnetplatten, z. B. interne Festplatten oder Wechselplatten oder Magnetbänder; magnetooptische Platten und CD-ROM- und DVD-ROM-Platten. Der Prozessor und der Speicher können durch spezielle Logikschaltungen ergänzt werden oder in diese integriert sein. Die Komponenten des Systems können durch jede Form oder jedes Medium der digitalen Datenkommunikation miteinander verbunden werden, z. B. durch ein Kommunikationsnetzwerk. Beispiele für Kommunikationsnetzwerke sind ein lokales Netzwerk („LAN“) und ein Weitverkehrsnetzwerk („WAN“), z. B. das Internet.
Es wurde eine Reihe von Ausführungsformen beschrieben. Es versteht sich jedoch von selbst, dass verschiedene Modifikationen vorgenommen werden können, ohne vom Geist und Umfang des hier beschriebenen Gegenstands abzuweichen. Andere derartige Ausführungsformen fallen in den Anwendungsbereich der folgenden Ansprüche.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019/0242952 [0028]

Claims

Ein magnetisches Verfolgungssystem zum Bestimmen einer Objektlage eines verfolgten Objekts in einer Umgebung des magnetischen Verfolgungssystems, wobei das magnetische Verfolgungssystem umfasst eine magnetische Tracking-Vorrichtung, umfassend: einen nicht-magnetischen Signaldetektor, der konfiguriert ist, um ein nicht-magnetisches Signal in der Umgebung zu messen; und einen magnetischen Signaldetektor, der so konfiguriert ist, dass er ein magnetisches Signal in der Umgebung misst, wobei der magnetische Signaldetektor mit dem nichtmagnetischen Signaldetektor gekoppelt ist; eine Rechenvorrichtung, die konfiguriert ist, um Operationen auszuführen, die umfassen: Empfangen einer Messung des nichtmagnetischen Signals und einer entsprechenden Messung des magnetischen Signals für einen Ort der magnetischen Tracking-Vorrichtung in der Umgebung; Schätzen, basierend auf der Messung des nicht-magnetischen Signals, einer nicht-magnetischen Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort, Schätzen, basierend auf der Messung des magnetischen Signals, einer magnetischen Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort, Bestimmen einer Differenz zwischen der Schätzung der magnetischen Lage und der Schätzung der nichtmagnetischen Lage für den Ort; Bestimmen eines magnetischen Verzerrungskorrekturwerts für den Ort basierend auf der Differenz; Erzeugen eines Verzerrungskorrekturmodells einschließlich des magnetischen Verzerrungskorrekturwerts; und Ausgeben einer Darstellung des Verzerrungskorrekturmodells.
Magnetisches Verfolgungssystem nach Anspruch 1, wobei das nicht-magnetische Signal unter Verwendung eines Markers erzeugt wird und wobei der Detektor für das nicht-magnetische Signal eine Kamera umfasst.
Magnetisches Verfolgungssystem nach Anspruch 2, wobei der Marker eine äußere Form aufweist, wobei sich die äußere Form von anderen äußeren Formen anderer Marker einer Vielzahl von Markern in der Umgebung unterscheidet.
Magnetisches Verfolgungssystem nach Anspruch 2, wobei der Marker einen Klebstoff umfasst, der so konfiguriert ist, dass er den Marker abnehmbar an einer anderen Oberfläche in der Umgebung befestigt.
Magnetisches Verfolgungssystem nach Anspruch 2, wobei die Markierung einen Infrarot-Retroreflektor umfasst, und wobei der nichtmagnetische Signaldetektor eine Infrarotquelle umfasst.
Das magnetische Verfolgungssystem nach Anspruch 1, wobei das nichtmagnetische Signal eines von einem ArUco-Muster, einem ChArUco-Muster, einer Lichtquelle, einer Ultraschallquelle, einer Funksignalquelle oder einer äußeren Form einer Senderanordnung umfasst.
Magnetisches Spurverfolgungssystem nach Anspruch 1, wobei das magnetische Signal von einer Senderbaugruppe erzeugt wird, die umfasst: einen Speicher, der konfiguriert ist, um Kalibrierungsdaten zu speichern, die sich auf die Senderbaugruppe beziehen eine Verarbeitungsvorrichtung, die so konfiguriert ist, dass sie die Übertragung des magnetischen Signals von der Senderbaugruppe steuert eine Kommunikationsschnittstelle zum Senden und Empfangen von Daten von der Rechenvorrichtung; und eine Energiequelle, die so konfiguriert ist, dass sie den Speicher, die Verarbeitungsvorrichtung und die Kommunikationsschnittstelle mit elektrischer Energie versorgt.
Das magnetische Verfolgungssystem nach Anspruch 1, wobei die Operationen ferner Folgendes umfassen Verfolgen eines verfolgten Objekts durch Ausführen von Operationen, die umfassen: Empfangen einer Messung des magnetischen Signals an einem bestimmten Ort in der Umgebung; Abrufen des Verzerrungskorrekturmodells aus einem Speicher in Kommunikation mit der Rechenvorrichtung Bestimmen einer bestimmten Lage-Schätzung für das verfolgte Objekt; Korrigieren der bestimmten Lageschätzung auf der Grundlage eines Wertes des Verzerrungskorrekturmodells, der der bestimmten Lage entspricht; und Ausgeben einer Darstellung der korrigierten bestimmten Lageschätzung.
Das magnetische Verfolgungssystem nach Anspruch 8, wobei das verfolgte Objekt einen Katheter, ein Endoskop oder ein chirurgisches Instrument umfasst.
Das magnetische Verfolgungssystem nach Anspruch 1, wobei die Operationen weiterhin umfassen: Empfangen einer Vielzahl von Messungen des magnetischen Signals, das einer ebenen Oberfläche der Umgebung entspricht, wobei die ebene Oberfläche mit einem Gerüst verbunden ist, das an einer bekannten Stelle in der Umgebung positioniert ist; für jede Messung der Vielzahl von Messungen des magnetischen Signals, Abrufen eines vorbestimmten Korrekturwertes, der mit einem Ort der Messung in der Umgebung verbunden ist, Bestimmen eines Verzerrungskorrekturwerts für jede Messung; und Einfügen des Verzerrungskorrekturwertes für jede Messung in das Verzerrungskorrekturmodell.
Verfahren zum Bestimmen einer Objektlage eines verfolgten Objekts in einer Umgebung eines magnetischen Verfolgungssystems, wobei das Verfahren umfasst: Messen, durch einen nicht-magnetischen Signaldetektor, eines nicht-magnetischen Signals in der Umgebung; Messen, durch einen magnetischen Signaldetektor, eines magnetischen Signals in der Umgebung, wobei der magnetische Signaldetektor mit dem nicht-magnetischen Signaldetektor gekoppelt ist; Empfangen einer Messung des nichtmagnetischen Signals und einer entsprechenden Messung des magnetischen Signals für einen Ort der magnetischen Tracking-Vorrichtung in der Umgebung; Schätzen einer nicht-magnetischen Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort, basierend auf der Messung des nicht-magnetischen Signals, Schätzen, basierend auf der Messung des magnetischen Signals, einer magnetischen Lage der magnetischen Tracking-Vorrichtung in der Umgebung für den Ort, Bestimmen einer Differenz zwischen der Schätzung der magnetischen Lage und der Schätzung der nichtmagnetischen Lage für den Ort; Bestimmen eines magnetischen Verzerrungskorrekturwerts für den Ort basierend auf der Differenz; Erzeugen eines Verzerrungskorrekturmodells, das den Verzerrungswert enthält; und Ausgeben einer Darstellung des Verzerrungskorrekturmodells.
Verfahren nach Anspruch 11, wobei das nicht-magnetische Signal unter Verwendung eines visuellen Markers erzeugt wird und wobei der Detektor für das nicht-magnetische Signal eine Kamera umfasst.
Verfahren nach Anspruch 12, wobei der Marker eine äußere Form einer Senderanordnung umfasst, wobei sich die äußere Form von anderen äußeren Formen anderer Marker einer Vielzahl von Markern in der Umgebung unterscheidet.
Verfahren nach Anspruch 12, wobei der Marker einen Klebstoff umfasst, der so konfiguriert ist, dass er den Marker abnehmbar an einer anderen Oberfläche in der Umgebung befestigt.
Verfahren nach Anspruch 12, wobei die Markierung einen Infrarot-Retroreflektor umfasst, und wobei der nichtmagnetische Signaldetektor eine Infrarotquelle umfasst.
Verfahren nach Anspruch 11, wobei das nichtmagnetische Signal eines von einem ArUco-Muster, einem ChArUco-Muster, einer Lichtquelle, einer Ultraschallquelle, einer Funksignalquelle oder einer äußeren Form einer Senderanordnung umfasst.
Verfahren nach Anspruch 11, wobei das magnetische Signal durch eine Senderbaugruppe erzeugt wird, indem: Speichern von Kalibrierungsdaten, die sich auf die Senderbaugruppe beziehen; und Steuern der Übertragung des magnetischen Signals von der Senderbaugruppe basierend auf den Kalibrierungsdaten.
Das Verfahren nach Anspruch 11, ferner umfassend Verfolgen eines verfolgten Objekts durch Ausführen von Operationen, die umfassen: Empfangen einer Messung des magnetischen Signals an einer bestimmten Stelle in der Umgebung; Abrufen des Verzerrungskorrekturmodells aus einer Speichervorrichtung Bestimmen einer bestimmten Lage-Schätzung für das verfolgte Objekt; Korrigieren der bestimmten Lageschätzung auf der Grundlage eines Wertes des Verzerrungskorrekturmodells, der der bestimmten Lage entspricht; und Ausgeben einer Darstellung der korrigierten bestimmten Lageschätzung.
Verfahren nach Anspruch 18, wobei das verfolgte Objekt eines von einem Katheter, einem Endoskop oder einem chirurgischen Instrument umfasst.
Das Verfahren nach Anspruch 11, ferner umfassend: Empfangen einer Vielzahl von Messungen des magnetischen Signals, das einer ebenen Fläche der Umgebung entspricht, wobei die ebene Fläche einem Gerüst zugeordnet ist, das an einer bekannten Stelle in der Umgebung positioniert ist; für jede Messung der Vielzahl von Messungen des magnetischen Signals, Abrufen eines vorbestimmten Korrekturwertes, der mit einem Ort der Messung in der Umgebung verbunden ist, Bestimmen eines Verzerrungskorrekturwerts für jede Messung; und Einfügen des Verzerrungskorrekturwertes für jede Messung in das Verzerrungskorrekturmodell.