-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft im Allgemeinen die Erleichterung der bildbasierten Positionierung einer Sonde.
-
HINTERGRUND
-
Bei der Echokardiographie kommen Ultraschallwellen zum Aufnehmen von Bildern von Strukturen im Herzinneren zur Anwendung. Das intrakardiale Echokardiogramm (ICE) ist eine katheterbasierte Form der Echokardiographie, die Bilder aus dem Herzinneren aufnimmt, statt Bilder des Herzens durch Aussenden von Schallwellen durch die Brustwand zu erfassen. Beispielsweise wird für ICE der ACUSON AcuNav™ Ultraschallbildgebungskatheter von Siemens Healthineers Global verwendet. Ein Echokardiogramm funktioniert, indem es medizinisch gefahrlose Schallwellen von einem Wandler aussendet. Wenn die Schallwellen von Strukturen im Herzen zum Wandler zurück reflektiert werden, empfängt das Echokardiographiegerät die reflektierten Schallwellen und erzeugt ein Bewegtbild der inneren Herzstrukturen. Der Echowandler befindet sich in der Regel an der Spitze eines Katheters, bei dem es sich um ein dünnes flexibles Rohr handelt, das durch eine Punktion im Blutgefäß bis zum Herz eingeführt wird.
-
Die Benutzer von ICE benötigen gegebenenfalls Navigationshilfe während der Manipulation des Katheters im Herzinneren. ICE-Katheterführung innerhalb des Herzens erfolgt in der Regel unter Verwendung elektromagnetisch basierter Positionssensoren. Ein Fremdsystem (z.B. CARTO® Kartierungssystem) empfängt und interpretiert die Daten dieser Sensoren zum Bestimmen von Positionen. Wenn keine Sensoren verfügbar sind, wird die Katheterposition häufig mit einer zweiten ergänzenden Bildgebungsmodalität, wie etwa Fluoroskopie bestimmt. Alternativ kann ein klinischer Ultraschallspezialisiert manuell eine Schritt-für-Schritt-Anleitung geben.
-
Bei der Benutzung dieser Systeme gibt es jedoch verschiedene Nachteile. Beispielsweise sind Führungssysteme auf Sensorbasis in der Regel teurer und umständlicher, weil sie in der Regel eine längere unflexible distale Katheterspitze umfassen, die dadurch die Manövrierbarkeit verringert und das Risiko einer Herzwandperforation erhöht. Zusätzlich können die Sensoren potentiell in der Nähe befindliche biomedizinische Vorrichtungen und Instrumente stören. Ferner besteht ein erhöhtes Risiko für ein Versagen bei der Katheterherstellung mit einer geringeren Ausbeute sowie höheren Material- und Arbeitskosten. Navigationssysteme auf Basis von Fluoroskopie setzen Ärzte, Patienten oder Krankenhauspersonal zusätzlicher Röntgenstrahlung aus, was zu unerwünschten Nebenwirkungen führen kann. Im Hinblick auf manuelle Führung wird dafür die Anwesenheit eines geschulten ICE-Sonographers benötigt und es entstehen zusätzliche Kosten im Zusammenhang mit Logistik, Planung und Verfahren.
-
ZUSAMMENFASSUNG
-
Hierin wird ein Rahmenwerk für die bildbasierte Sondenpositionierung beschrieben. Das Rahmenwerk empfängt ein aktuelles Bild von einer Sonde. Das aktuelle Bild wird von der Sonde in einer interessierenden Struktur aufgenommen. Das Rahmenwerk sagt eine Position der Sonde vorher und erzeugt eine Empfehlung für ein nächstes mit der Sonde durchzuführendes Manöver durch Anwenden des aktuellen Bildes auf einen trainierten Klassifikator. Das Rahmenwerk gibt dann die vorhergesagte Position und die Empfehlung des nächsten Manövers aus.
-
Figurenliste
-
Eine vollständigere Anerkennung der vorliegenden Offenbarung und vieler der damit zusammenhängenden Aspekte wird leicht erhalten, wenn sie mit Bezug auf die folgende detaillierte Beschreibung in Verbindung mit den beiliegenden Zeichnungen verständlicher wird.
- 1 ist ein Blockdiagramm, das ein beispielhaftes System zeigt;
- 2 zeigt ein beispielhaftes Sondenpositionierungsverfahren;
- 3 zeigt ein beispielhaftes intrakardiales Echokardiographie- (ICE) Bild;
- 4 zeigt eine beispielhafte Eingabe und Ausgabe des trainierten neuronalen Netzwerks; und
- 5 zeigt eine beispielhafte Benutzeroberfläche.
-
DETAILLIERTE BESCHREIBUNG
-
In der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten aufgeführt, wie etwa Beispiele bestimmter Komponenten, Vorrichtungen, Verfahren usw. um ein gründliches Verständnis für Implementierungen des vorliegenden Rahmenwerks bereitzustellen. Für einen Fachmann auf dem Gebiet wird es aber offensichtlich sein, dass diese spezifischen Einzelheiten zur praktischen Umsetzung von Implementierungen des vorliegenden Rahmenwerks nicht verwendet werden müssen. In anderen Fällen wurden weithin bekannte Materialien oder Verfahren nicht detailliert beschrieben, um unnötige Verschleierung von Implementierungen des vorliegenden Rahmenwerks zu vermeiden. Während das vorliegende Rahmenwerk auf verschiedene Weisen modifiziert werden und alternative Formen annehmen kann, sind in den Zeichnungen bestimmte Ausführungsformen davon als Beispiele gezeigt und werden hierin ausführlich beschrieben. Es versteht sich jedoch, dass nicht beabsichtigt ist, die Erfindung auf die bestimmten offenbarten Formen zu beschränken, sondern dass im Gegenteil die Erfindung alle Modifikationen, Äquivalente und Alternativen abdecken soll, die in den Geist und Umfang der Erfindung fallen. Ferner werden für ein leichteres Verständnis bestimmte Verfahrensschritte als separate Schritte umrissen; diese separat umrissenen Schritte sollten aber nicht so ausgelegt werden, als sei ihre Durchführung notwendigerweise von der Reihenfolge abhängig.
-
Der Begriff „Röntgenbild“, wie er hierin verwendet wird, kann ein sichtbares Röntgenbild (das z.B. auf einem Videobildschirm angezeigt wird) oder eine digitale Darstellung eines Röntgenbildes (z.B. eine Datei, die der Pixelausgabe eines Röntgendetektors entspricht) bedeuten. Der Begriff „Röntgenbild während der Behandlung“, wie er hierin verwendet wird, kann sich auf Bilder beziehen, die an einem beliebigen Zeitpunkt während einer Behandlungsverabreichungsphase eines interventionellen oder therapeutischen Verfahrens aufgenommen werden, wozu auch Zeiten zählen können, in denen die Strahlenquelle entweder ein- oder ausgeschaltet ist. Von Zeit zu Zeit können zur zweckmäßigeren Beschreibung CT-Bildgebungsdaten (z.B. Konusstrahl-CT-Bildgebungsdaten) als beispielhafte Bildgebungsmodalität hierin verwendet werden. Es versteht sich jedoch, dass in verschiedenen Implementierungen auch Daten von jeder beliebigen Art von Bildgebungsmodalität verwendet werden können, einschließlich ohne Einschränkung Röntgenaufnahmen, MRT, PET (Positronen-Emissions-Tomographie), PET-CT, SPECT, SPECT-CT, MR-PET, 3D-Ultraschallbilder oder dergleichen.
-
Sofern nichts anderes angegeben ist, wie es aus der folgenden Erörterung hervorgeht, versteht es sich, dass sich Begriffe wie „Segmentieren“, „Erzeugen/Generieren“, „Registrieren“, „Bestimmen“, „Ausrichten“, „Positionieren“, „Verarbeiten“, „Berechnen“, „Auswählen“, „Schätzen“, „Nachweisen/Erkennen“, „Verfolgen“ oder dergleichen auf die Aktionen und Prozesse eines Computersystems oder einer ähnlichen elektronischen Computervorrichtung beziehen können, die Daten, die als physikalische (z.B. elektronische) Mengen innerhalb der Register und Speicher des Computersystems dargestellt werden, manipuliert und in andere Daten umwandelt, die ähnlich als physikalische Mengen in den Speichern oder Registern des Computersystems oder anderer solcher Informationsspeicher-, Ubertragungs- oder Anzeigevorrichtungen dargestellt werden. Ausführungsformen der hierin beschriebenen Verfahren können unter Verwendung von Computersoftware implementiert werden. Wenn sie in einer Programmiersprache geschrieben sind, die einem anerkannten Standard entspricht, können Sequenzen von Anweisungen zur Implementierung der Verfahren zur Ausführung auf einer Vielzahl von Hardwareplattformen und zur Verbindung mit einer Vielzahl von Betriebssystemen kompiliert werden. Darüber hinaus werden Implementierungen des vorliegenden Rahmenwerks nicht mit Bezug auf eine bestimmte Programmiersprache beschrieben. Es versteht sich, dass eine Vielzahl von Programmiersprachen verwendet werden kann.
-
Wie hierin verwendet bezieht sich der Begriff „Bild“ auf multidimensionale Daten, die aus diskreten Bildelementen bestehen (z.B. Pixel für 2D-Bilder, Voxel für 3D-Bilder, Doxel für 4D-Datensätze). Das Bild kann beispielsweise eine medizinische Aufnahme eines Individuums sein, die mittels Computertomographie, Magnetresonanztomographie, Ultraschall oder mit einem beliebigen anderen medizinischen Bildgebungssystem, das einem Fachmann auf dem Gebiet bekannt ist, erfasst wurde. Das Bild kann auch für nichtmedizinische Zusammenhänge bereitgestellt werden, beispielsweise für Fernmesssysteme, Elektronenmikroskopie usw. Obwohl ein Bild als eine Funktion von R3 zu R2 oder eine Zuordnung zu R3 angesehen werden kann, sind die vorliegenden Verfahren nicht auf solche Bilder beschränkt und können auch auf Bilder jeder beliebigen Dimension angewendet werden, z.B. ein 2D-Bild, ein 3D-Volumen oder einen 4D-Datensatz. Für ein 2- oder 3-dimensionales Bild ist die Domäne des Bildes in der Regel eine 2- oder 3-dimensionale rechteckige Anordnung, wobei jedes Pixel oder Voxel mit Bezug auf einen Satz von 2 oder 3 gegenseitig orthogonalen Achsen angesprochen werden kann. Die Begriffe „digital“ und „digitalisiert“, wie hierin verwendet, beziehen sich auf Bilder bzw. Volumen in einem digitalen oder digitalisierten Format, die mit einem digitalen Erfassungssystem oder durch Umwandlung von einem Analogbild erfasst wurden.
-
Die Begriffe „Pixel“ für Bildelemente, die herkömmlich mit Bezug auf die 2D-Bildgebung und Bildanzeige verwendet werden, „Voxel“ für Volumenbildelemente, die häufig mit Bezug auf die 3D-Bildgebung verwendet werden, und „Doxel“ für 4D-Datensätze können untereinander austauschbar verwendet werden. Es sei angemerkt, dass das 3D-Volumenbild selbst aus Bilddaten synthetisiert wird, die als Pixel auf einer 2D-Sensoranordnung erhalten wurden, und als ein 2D-Bild aus irgendeinem Blickwinkel angezeigt wird. Folglich können 2D-Bildverarbeitungs- und Bildanalysetechniken auf die 3D-Volumenbilddaten angewendet werden. In der folgenden Beschreibung können Techniken, von denen beschrieben wird, dass sie Doxel bearbeiten, alternativ als 3D-Voxeldaten, die zur Anzeige in Form von 2D-Pixeldaten gespeichert und dargestellt werden, bearbeitend beschrieben werden. Analog können Techniken, die Voxeldaten bearbeiten, auch als Pixel bearbeitend beschrieben werden. In der folgenden Beschreibung wird die Variable x als Hinweis auf ein Gegenstands-Bildelement an einer bestimmten räumlichen Position oder alternativ ein Gegenstands-Pixel verwendet. Die Begriffe „Gegenstands-Pixel“, „Gegenstands-Voxel“ und „Gegenstands-Doxel“ werden als Hinweis auf ein bestimmtes Bildelement verwendet, das unter Verwendung der hierin beschriebenen Techniken bearbeitet wird.
-
Ein Aspekt des vorliegenden Rahmenwerks verwendet Bilder, die in einen maschinell erlernten Klassifikator eingegeben wurden, um die Position (z.B. Lage und Orientierung) einer Sonde innerhalb einer interessierenden Struktur, wie etwa im Herzinneren eines Patienten, vorherzusagen. Die vorhergesagte Position kann mit einem Behandlungs- oder Navigationsprotokoll zum Erzeugen einer Führung in Echtzeit für einen Benutzer verwendet werden, damit dieser die Sonde zur Visualisierung der Anatomie beispielsweise zu einer gewünschten Position steuern (z.B. drehen, rotieren und/oder verschieben) kann.
-
Das Rahmenwerk vertraut auf Bilder, die von der Sonde erfasst wurde, und es vermeidet die Verwendung von Sensoren und zusätzlichen sekundären Bildgebungsmodalitäten. Die Positionierungs- (oder Navigations-) Führung, die vom vorliegenden bildbasierten Rahmenwerk erzeugt wird, stellt mehrere Vorteile bereit. Beispielsweise können ICE-Benutzer weniger auf Fluoroskopie, andere vor Ort befindliche Experten oder Rückmeldung von Positionssensoren angewiesen sein. Die ICE-Bildgebung ist eine spezialisierte Aufgabe und viele Ärzte zögerten bisher, diese anzuwenden, weil es für sie sehr schwierig ist, genau zu wissen, wo sich der Katheter befindet. Selbst für erfahrene Ärzte kann die ICE-Positionierung schwierig sein. Sie vertrauen oftmals auf ICE-Sonographer, oder sie benötigen mehr Zeit für die Navigation zu Standard-ICE-Ansichten zur Neuorientierung während eines Verfahrens. Das vorliegende Rahmenwerk ermöglicht es ICE-Benutzern nicht nur, besser über die Position ihrer Vorrichtung informiert zu sein, sondern es kann auch eine Schritt-für-Schritt-Anleitung zum Vollenden des Verfahrens bereitstellen. Ein solches Rahmenwerk kann das Vertrauen der Benutzer stärken, die Benutzerschulung erleichtern, die Anwendung von Fluoroskopie verringern und die Akzeptanz von ICE erweitern. Darüber hinaus werden durch den Wegfall der Verwendung von Positionssensoren die Kosten im Zusammenhang mit der Benutzung von Kathetern zur einmaligen Anwendung auf vorteilhafte Weise gesenkt. Das vorliegende Rahmenwerk erfordert keine zusätzliche Hardware auf dem ICE-Katheter, es erhöht nicht die Kosten und es verringert nicht die Manövrierbarkeit. Es rationalisiert auch auf vorteilhafte Weise die Arbeitsabläufe, erhöht das Vertrauen in die Anwendung von ICE und erhöht somit die Akzeptanz von ICE.
-
Es versteht sich, dass hierin zwar eine bestimmte Anwendung, die die Navigation eines ICE-Katheters betrifft, gezeigt werden kann, die Technologie aber nicht auf die spezifischen gezeigten Implementierungen beschränkt ist. Die Technologie kann auch auf die Führung anderer Arten von Sonden (z.B. Nadel, Stent, Endoskop, Angioplastieballon usw.) im Inneren eines interessierenden Objekts oder einer Struktur, beispielsweise im Körperinneren eines Patienten angewendet werden.
-
1 ist ein Blockdiagramm, das ein beispielhaftes System 100 zeigt. Das System 100 weist ein Computersystem 101 zur Implementierung des hierin beschriebenen Rahmenwerks auf. Das Computersystem 101 kann ein Desktop-Personalcomputer, ein tragbarer Laptop-Computer, eine andere tragbare Vorrichtung, ein Minicomputer, ein Großrechner, ein Server, eine Cloud-Infrastruktur, ein Speichersystem, ein dediziertes digitales Gerät, eine Kommunikationsvorrichtung oder eine andere Vorrichtung mit einem Speicheruntersystem sein, das zum Speichern einer Sammlung von digitalen Datenelementen ausgelegt ist. In einigen Implementierungen arbeitet das Computersystem 101 als eigenständige Vorrichtung. In anderen Implementierungen kann das Computersystem 101 (z.B. über ein Netzwerk) mit anderen Maschinen verbunden sein, beispielsweise mit einer Bildgebungsvorrichtung 102 und einer Arbeitsstation 103. In einer vernetzten Anwendung kann das Computersystem 101 in der Kapazität eines Servers (z.B. Thin-Client-Server, wie etwa syngo®.via von Siemens Healthcare), in einem Client-Benutzer-Rechner in einer Server-Client-Benutzernetzwerkumgebung, oder als Peer-Gerät in einer Peer-to-Peer- (oder verteilten) Netzwerkumgebung arbeiten.
-
Das Computersystem 101 kann eine Prozessorvorrichtung oder eine Zentraleinheit (CPU) 104, die mit einem oder mehreren nichtflüchtigen computerlesbaren Medien 105 (z.B. Computerspeicherung oder Speicher) verbunden ist, eine Anzeigevorrichtung 108 (z.B. Bildschirm) und verschiedene Eingabevorrichtungen 110 (z.B. Maus oder Tastatur) über eine Eingabe-Ausgabe-Schnittstelle 121 aufweisen. Das Computersystem 101 kann ferner unterstützende Schaltungen, wie Cache, Stromversorgung, Taktschaltungen und einen Kommunikationsbus aufweisen. Verschiedene andere periphere Vorrichtungen, wie zusätzliche Datenspeichervorrichtungen und Druckvorrichtungen, können ebenfalls mit dem Computersystem 101 verbunden sein.
-
Die vorliegende Technologie kann in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder eine Kombination davon implementiert werden, entweder als Teil des Mikroanweisungscodes oder als Teil eines Anwendungsprogramms oder Softwareprodukts, oder einer Kombination davon, das über ein Betriebssystem ausgeführt wird. In einer Implementierung werden die hierin beschriebenen Techniken als computerlesbarer Programmcode implementiert, der in einem oder mehreren nichtflüchtigen computerlesbaren Medien 105 greifbar verkörpert ist. Insbesondere können die vorliegenden Techniken mit einer Maschinenlerneinheit 106 und einer Prozessoreinheit 107 implementiert werden. Das nichtflüchtige computerlesbare Medium 105 kann ferner einen Arbeitsspeicher (RAM), einen Festwertspeicher (ROM), eine flexible Magnetplatte, einen Flash-Speicher und andere Arten von Speichern, oder eine Kombination davon aufweisen. Der computerlesbare Programmcode wird von einer Prozessorvorrichtung 104 zum Bearbeiten von Bildern oder Bilddaten, die beispielsweise von der Bildgebungsvorrichtung 102 erfasst wurden, ausgeführt. Somit ist das Computersystem 101 ein Allzweck-Computersystem, das zu einem Computersystem für einen bestimmten Zweck wird, wenn es den computerlesbaren Programmcode ausführt. Es ist nicht beabsichtigt, dass der computerlesbare Programmcode auf eine bestimmte Programmiersprache und deren Implementierung beschränkt ist. Es versteht sich, dass zur Umsetzung der hierin enthaltenen Lehren der Offenbarung eine Vielzahl von Programmiersprachen und Codes verwendet werden kann.
-
Zum Speichern von Bilddatensätzen, Patientenakten, Wissensdatenbank und so weiter können die gleichen oder andere computerlesbare Medien 105 verwendet werden. Diese Daten können auch in einem externen Speicher oder anderen Speichern gespeichert werden. Der externe Speicher kann mit einem Datenbank-Management-System (DBMS) implementiert werden, das von der Prozessorvorrichtung 104 verwaltet wird und sich auf einem Speicher, wie etwa einer Festplatte, RAM oder einem entfernbaren Medium befindet. Der externe Speicher kann auf einem oder mehreren zusätzlichen Computersystemen implementiert werden. Beispielsweise kann der externe Speicher ein Daten-Warehouse-System, das sich auf einem gesonderten Computersystem befindet, ein Bildarchivierungs- und Kommunikationssystem (PACS) oder ein beliebiges anderes, heute bekanntes oder später entwickeltes System eines Krankenhauses, einer medizinischen Einrichtung, einer Praxis, einer Testeinrichtung, einer Apotheke, oder ein anderes medizinischen Patientenaktenspeichersystem aufweisen.
-
Die Sonde 111 ist eine steuerbare Vorrichtung, die in eine interessierende Struktur in einem Objekt, beispielsweise in den Körper eines Patienten eingeführt wird. Beispielsweise wird die Sonde 111 in einer Öffnung des Patienten platziert, beispielsweise durch den Mund und in die Speiseröhre. Alternativ wird die Sonde 111 durch chirurgische Einführung durch die Haut des Patienten, wie etwa in der minimalinvasiven Chirurgie, in Position gebracht. In anderen Implementierungen wird die Sonde 111 in eine Öffnung eingeführt, die als Teil einer Operation erzeugt wurde, beispielsweise eine intraoperative Sonde.
-
Die Sonde 111 kann eine intraoperative Sonde, eine Sonde für Körperhöhlen, ein Katheter oder eine andere medizinische Vorrichtung sein. In einigen Implementierungen ist die Sonde 111 ein beliebiger Katheter zur Intervention oder anderen Anwendung in einem Patienten. Der Katheter kann eine Größe und Form zur Verwendung im Kreislaufsystem aufweisen, beispielsweise einen Durchmesser von 10 French oder weniger und eine Länge von einem Fuß oder mehr. Alternativ kann der Katheter eine Größe und Form zur Verwendung an anderen Stellen im Körper aufweisen. Der Katheter ist zur Einführung in den Patienten angepasst, beispielsweise durch ein Gefäß oder eine Vene zum Erstrecken in eine Herzkammer, Körperhöhle oder eine andere Stelle im Patienten. Der Katheter kann Führungsdrähte aufweisen oder durch einen anderen zuvor platzierten Führungskatheter eingeführt werden. Der Katheter kann eine Elektrode, ein Skalpell, einen Ballon, einen Stent, eine Bildgebungsanordnung, einen Schlauch zur Injektion oder eine andere Vorrichtung zur Behandlung des Patienten aufweisen.
-
In einigen Implementierungen weist die Sonde 111 eine Bildgebungsquelle 112 auf. Die Bildgebungsquelle 112 ist eine Anordnung, ein Sensor, ein Objektiv, ein Wandler oder ein anderes Element zur Bildgebung oder Untersuchung des Patienten mit der Sonde 111. Beispielsweise ist die Bildgebungsquelle 112 im Katheter ein Ultraschallwandlerelement oder eine Anordnung eines intrakardialen Echokardiographie- (ICE) Katheters, ein Ultraschallwandlerelement eines intravaskulären Ultraschall- (IVUS) Katheters, ein Objektiv oder eine Kamera eines optischen Kohärenztomographie- (OCT) Katheters, ein Objektiv oder eine Kamera eines optischen Bildgebungskatheters oder eine Ultraschallwandleranordnung eines transösophagealen Echokardiogramm- (TEE) Ultraschallwandlers.
-
Die Bildgebungsvorrichtung 102 befindet sich außerhalb oder innerhalb der Sonde 111. Beispielsweise ist die Bildgebungsvorrichtung 102 ein Ultraschallsystem mit einem Strahlformer, Detektor und/oder Bildprozessor, der mit der Bildgebungsquelle 112 verbunden ist, aber außerhalb des Patienten angeordnet ist. Das externe Ultraschallsystem wird für die Untersuchung mit der Bildgebungsquelle 112 verbunden. Als weiteres Beispiel ist die Bildgebungsvorrichtung 102 eine Kamera oder Videovorrichtung zur optischen Bildgebung. Die Kamera oder Videovorrichtung wird mit der Bildgebungsquelle 112 verbunden, um den Patienten von der Sonde 111 zu betrachten. In einem weiteren Beispiel ist die Bildgebungsvorrichtung 102 ein optisches Kohärenzbildgebungsgerät. In einem anderen Beispiel ist die Bildgebungsvorrichtung 102 ein Magnetresonanzsystem (MR). Das MR-System wird mit einer Lokalspule als Bildgebungsquelle 112 in der Sonde 111 verbunden. Die Bildgebungsvorrichtung 102 verwendet die Bildgebungsquelle 112 zum Betrachten oder Scannen des Patienten von der Sonde 111. Alternativ ist die Bildgebungsvorrichtung 102 eine beliebige Modalität zum Scannen eines Patienten von einer inneren oder äußeren Stelle, wie etwa ein Magnetresonanz-, Computertomographie-, Positronen-Emissions-Tomographie- oder Einzelphotonen-Emissionstomographiesystem.
-
Als Ultraschallwandlerelement oder -anordnung kann die Bildgebungsquelle 112 zum Scannen einer ein-, zwei- oder dreidimensionalen Region eines Patienten von der Sonde 111 verwendet werden. Ein piezoelektrisches oder mikroelektromechanisches (z.B. kapazitiver Membran-Ultraschallwandler) Element oder Elemente wandeln zum Scannen des Patienten zwischen elektrischen und akustischen Energien. Eine Anordnung solcher Elemente kann zum elektronischen Abtasten oder Steuern in zwei oder drei Dimensionen verwendet werden. Ein einzelnes Element oder eine Anordnung von Elementen kann zum mechanischen Abtasten in einer oder zwei Dimensionen verwendet werden. Beispielsweise wird ein Element oder werden Elemente mit einer Antriebswelle verbunden und in der Sonde 111 gedreht. Die Drehung verursacht Scannen mit Ultraschall an verschiedenen Stellen um die Sonde 111. Es können auch andere Anordnungen bereitgestellt werden.
-
Die Arbeitsstation 103 kann einen Computer und angemessene Peripheriegeräte aufweisen, wie etwa eine Tastatur und eine Anzeigevorrichtung, und sie kann in Verbindung mit dem gesamten System 100 bedient werden. Beispielsweise kann die Arbeitsstation 103 mit der Bildgebungsvorrichtung 102 kommunizieren, so dass die von der Bildgebungsvorrichtung 102 gesammelten Bilddaten an der Arbeitsstation 103 ausgeführt und auf einer Anzeigevorrichtung betrachtet werden können.
-
Die Arbeitsstation 103 kann direkt mit dem Computersystem 101 kommunizieren, um bearbeitete Bilddaten anzuzeigen und/oder Bildbearbeitungsergebnisse über eine graphische Benutzeroberfläche auszugeben. Alternativ kann das Computersystem 101 selbst bearbeitete Bilddaten anzeigen und/oder Bildbearbeitungsergebnisse über eine graphische Benutzeroberfläche auf der Anzeigevorrichtung 108 ohne Arbeitsstation 103 ausgeben. Die Arbeitsstation 103 kann eine graphische Benutzeroberfläche zum Empfangen von Benutzereingaben über eine Eingabevorrichtung (z.B. Tastatur, Maus, Touchscreen, Sprach- oder Videoerkennungsschnittstelle usw.) zum Manipulieren der Visualisierung und/oder Bearbeitung der Bilddaten aufweisen. Beispielsweise kann der Benutzer die bearbeiteten Bilddaten ansehen und eine oder mehrere Ansichtsanpassungen oder Präferenzen (z.B. Zoomen, Zuschneiden, Schwenken, Rotieren, Kontrast verändern, Farbe verändern, Blickwinkel verändern, Ansichtstiefe verändern, Ausführungs- oder Rekonstruktionstechnik ändern usw.) vorgeben.
-
Da einige der in den beiliegenden Figuren abgebildeten einzelnen Systemkomponenten und Verfahrensschritte in Software implementiert werden können, versteht es sich ferner, dass sich die tatsächlichen Verbindungen zwischen den Systemkomponenten (oder den Verfahrensschritten) je nach Art der Programmierung des vorliegenden Rahmenwerks unterscheiden können. Angesichts der hierin bereitgestellten Lehren wird ein gewöhnlicher Fachmann auf dem relevanten Gebiet in der Lage sein, diese und ähnliche Implementierungen oder Konfigurationen des vorliegenden Rahmenwerks ins Auge zu fassen.
-
2 zeigt ein beispielhaftes Sondenpositionierungsverfahren 200, das von einem Computersystem durchgeführt wird. Es versteht sich, dass die Schritte des Verfahrens 200 in der gezeigten Reihenfolge oder in einer anderen Reihenfolge durchgeführt werden können. Zusätzlich können andere oder weniger Schritte bereitgestellt werden. Ferner kann das Verfahren 200 mit dem System 100 aus 1, einem anderen System oder einer Kombination davon implementiert werden.
-
Bei 202 empfängt die Maschinenlerneinheit 106 Trainingsbilder einer interessierenden Struktur. Es kann auch eine Zuordnungskarte zwischen den Trainingsbildern und den jeweiligen Sondenpositionen, von denen die Trainingsbilder erfasst wurden, empfangen werden. Die Trainingsbilder werden von einer Sonde an bestimmten Positionen innerhalb einer interessierenden Struktur von verschiedenen Patienten erfasst. Die Trainingsbilder können beispielsweise ICE-Bilder sein, bei denen es sich um Ultraschallbilder benachbarter Gewebe handelt, die von der distalen Spitze steuerbarer ICE-Katheter erfasst wurden. Die interessierende Struktur ist eine beliebige anatomische Struktur, die zur Studie identifiziert wurde. Die interessierende Struktur kann beispielsweise ein Teil eines Herzens oder kardialen Systems (z.B. Klappe, Gefäß, Arterie, Herzkammer) oder das gesamte Herz oder kardiale System sein. Die Trainingsbilder können alternativ oder zusätzlich alle Organe, Knochen oder andere interessierenden Strukturen im Patienten, oder Teile davon, darstellen.
-
Jedes Trainingsbild stellt Positionen dar, die auf einer zweidimensionalen (2D) Ansicht oder Ebene verteilt sind. Jede Ansicht kann einer relativen Position (z.B. Lage und Orientierung) der Sonde zugeordnet werden. Eine Ansicht ist eine Visualisierung eines vorher festgelegten Satzes von einem oder mehrere anatomischen Orientierungspunkten. Beispielsweise kann die Home-Ansicht einer Ausgangsposition des ICE-Katheters zugeordnet werden. Die Home-Ansicht kann als Visualisierung des rechten Vorhofs (RA), rechten Ventrikels (RV) und der Trikuspidalklappe (TV) des Herzens vorher festgelegt werden. 3 zeigt ein beispielhaftes ICE-Bild 301, das die Home-Ansicht darstellt. Die Home-Ansicht wurde erfasst, als der ICE-Katheter in der Mitte des RA in einer nicht arretierten oder neutralen Position (d.h. „Ausgangsposition“) platziert war, was bedeutet, dass keine Steuerung stattfindet und die Spannungssperre gelöst ist. Diese Home-Ansicht kann als „Basispunkt der Navigation“ verwendet werden, von der andere Ansichten abgeleitet werden können.
-
Die Position der Sonde kann im Verhältnis zu dieser Ausgangsposition festgelegt werden, die als Startposition in einem typischen Navigationsprotokoll angesehen wird. Das Navigationsverfahren ähnelt einer menschlichen Navigation in einem Auto auf Basis von Verkehrsschildern und Orientierungspunkten anstelle der Verwendung eines globalen Positionsbestimmungssystems (GPS). Durch Drehen des ICE-Katheters im Uhrzeigersinn im Verhältnis zu dieser Ausgangsposition liegen die Aortenklappe, die linksventrikulären und rechtsventrikulären Ausflusstrakte im Blickfeld, bevor die Mitralklappe und der linke Vorhof (LA) mit dem linken Vorhofanhang in der Bildansicht erscheinen. Bei weiterer Drehung des ICE-Katheters im Uhrzeigersinn werden die linke obere Lungenvene (LSPV) und die linke untere Lungenvene (LIPV) in der Bildansicht visualisiert. Wenn sich der ICE-Katheter in einer weiter posterioren Richtung befindet, erscheinen die Speiseröhre, die absteigende Aorta und die rechten Lungenvenen (PVs) in der Bildansicht. Die Zuordnung zwischen der Bildansicht und der relativen Position der Sonde, von der das Bild erfasst wurde, kann beispielsweise von einem Sonographer-Experten bereitgestellt werden, der eine große Anzahl von Bildern beobachtet hat und die wahrscheinlichste Position der Sonde ermittelt hat. Diese von einem Experten abgeleitete Zuordnung auf Basis der Vielzahl von Bildern kann dann zum Trainieren eines Maschinenlernklassifikators verwendet werden, wie später noch beschrieben wird.
-
Wieder bezugnehmend auf 2 verwendet bei 204 eine Maschinenlerneinheit 106 die Trainingsbilder zum Trainieren eines Klassifikators zur Vorhersage einer relativen Position (z.B. einer Lage innerhalb einer Herzstruktur, Orientierung einer Bildgebungsebene, Katheterbiegung) der Sonde basierend auf einem Eingabebild. Die Zuordnung zwischen der Bildansicht und der relativen Position der Sonde wird als Bodenwahrheit für das Training verwendet. In einigen Implementierungen wird der Klassifikator weiter trainiert, um eine Empfehlung für das nächste eine oder die nächsten mehreren Manöver zum Steuern der Sonde zur nächsten Position, wie es von einem Navigationsprotokoll verlangt wird, bereitzustellen. Das eine oder die mehreren Manöver kann bzw. können mittels Navigationsanweisungen dargestellt werden. Die Navigationsanweisungen können zum Führen eines menschlichen Benutzers zum Steuern (z.B. Vorschieben, Zurückziehen, Drehen oder Biegen) der Sonde in eine bestimmte Position, wie es von einem Navigationsprotokoll verlangt wird, angezeigt werden. Alternativ können die Navigationsanweisungen die Form von Maschinenanweisungen aufweisen, die von einer Robotersteuerung ausführbar sind, um die Sonde automatisch in eine gewünschte Position zu steuern.
-
In einigen Implementierungen wird der Klassifikator zur Korrektor eines eventuellen Fehlers in der vorhergesagten Position der Sonde unter Verwendung eines zeitlichen Verlaufs von Positionsvorhersagen weiter trainiert. Beispielsweise sei eine Situation angemerkt, in welcher der trainierte Klassifikator zuerst die Home-Ansicht vorhersagt und dann die nächste Ansicht vorhersagt, die eine transseptale Ansicht des linken Vorhofs (LA) sein soll. Diese Sequenz von Positionsvorhersagen zum Erfassen von Ansichten in einer solchen Reihenfolge ist nicht möglich. Der Klassifikator kann zum Einfangen einer solchen Ausnahme und zum Bestimmen der nächsten wahrscheinlichsten Position (oder Ansicht) angesichts des zeitlichen Verlaufs von Positionsvorhersagen weiter trainiert werden.
-
Der Klassifikator kann ein beliebiger oder mehrere beliebige Klassifikator/en sein. Ein Einzelklassen- oder binärer Klassifikator, eine Sammlung verschiedener Klassifikatoren, kaskadierte Klassifikatoren, hierarchische Klassifikatoren, Mehrklassen-Klassifikatoren, modelbasierte Klassifikatoren, Klassifikatoren auf Basis maschinellen Lernens oder Kombinationen davon können verwendet werden. Mehrklassen-Klassifikatoren umfassen CART, K-nächste Nachbarn, neuronales Netzwerk (z.B. Mehrschicht-Perzeptron), Mischmodelle oder andere. In einigen Implementierungen ist der Klassifikator ein neuronales Netzwerk. Das neuronale Netzwerk kann beispielsweise ein fünflagiges faltendes neuronales Netzwerk (CNN) sein. Die Gewichtungen des Klassifikators werden mit fortschreitendem Training angepasst, bis der Klassifikator angemessene Leistung erbringt.
-
Bei 206 empfängt die Prozessoreinheit 107 ein aktuelles Bild von der Sonde 111. Das aktuelle Bild wird von der Sonde 111 erfasst, wenn diese in die interessierende Struktur (z.B. Herzsystem) eingeführt wird. Zum Erfassen des aktuellen Bildes kann die Sonde 111 unter Verwendung von Lenkdrähten und/oder einer zuvor platzierten Führung geführt und in der interessierenden Struktur platziert werden. Das aktuelle Bild ist von der gleichen Art und für die gleiche oder eine ähnliche interessierende Struktur wie die Trainingsbilder (z.B. ICE-Bilder des Herzens).
-
Bei 208 wendet die Prozessoreinheit 107 das aktuelle Bild auf den trainierten Klassifikator an, um eine Position der Sonde 111 vorherzusagen und eine Empfehlung für das nächste eine oder die nächsten mehreren Manöver zum Steuern der Sonde zur nächsten Position, wie es vom Navigationsprotokoll verlangt wird, zu generieren. In einigen Implementierungen wird die Robustheit der Positionsvorhersagen durch Verwendung eines zeitlichen Verlaufs von Positionsvorhersagen zusätzlich zu dem aktuellen Bild zur Vorhersage der Position der Sonde 111 erhöht. Der zeitliche Verlauf von Positionsvorhersagen ist eine aktuelle Sequenz einer vorbestimmten Anzahl von Positionen, die zuvor vom trainierten Klassifikator vorhergesagt wurden. Der zeitliche Verlauf von Positionsvorhersagen kann vom trainierten Klassifikator zum Erkennen und Korrigieren eines eventuellen Fehlers (oder einer Ausnahme) in der vorhergesagten Position verwendet werden.
-
Bei 210 gibt die Prozessoreinheit 107 die vorhergesagte Position und eine Empfehlung für das nächste eine oder die nächsten mehreren Manöver aus. In einigen Implementierungen zeigt die Prozessoreinheit 107 die Sonde 111 an der vorhergesagten Position in einer graphischen Darstellung der interessierenden Struktur an. Die graphische Darstellung kann über eine graphische Benutzeroberfläche, beispielsweise an der Arbeitsstation 103 angezeigt werden. Die graphische Darstellung kann beispielsweise eine auf einer Ebenenprojektion einer dreidimensionalen Ausführung der interessierenden Struktur oder eines von einem Bild abgeleiteten Modells der interessierenden Struktur überlagerte Katheterspitze sein. Die graphische Darstellung stellt eine visuelle Führung bereit, die zeigt, wo die Sonde 111 sich der Vorhersage nach aktuell befindet.
-
In einigen Implementierungen werden das vorhergesagte eine oder die mehreren Manöver von Navigationsanweisungen zum Führen eines menschlichen Benutzers beim Steuern (z.B. Vorschieben, Zurückziehen, Drehen oder Biegen) der Sonde 111 zu einer bestimmten Position als Teil eines ausgewählten Behandlungs- oder Navigationsprotokolls dargestellt. Die Navigationsanweisungen können in einem Kästchen neben (z.B. unter oder über) der graphischen Darstellung der vorhergesagten Position angezeigt werden. Alternativ können die Navigationsanweisungen die Form von Maschinenanweisungen aufweisen, die von einer Robotersteuerung (oder einem Prozessor) ausführbar sind, um die Sonde 111 automatisch in die gewünschte Position zu steuern.
-
Folglich kann die Sonde 111 in eine neue Position umgesetzt werden. Ein anderes aktuelles Bild kann von der Sonde 111 an der neuen Position erfasst werden. Die Schritte 206, 208 und 210 können wiederholt werden, um die graphische Darstellung im Wesentlichen in Echtzeit zu aktualisieren, wenn die Sonde innerhalb der interessierenden Struktur navigiert wird und neue aktuelle Bilder erfasst.
-
4 zeigt eine beispielhafte Eingabe und Ausgabe des trainierten neuronalen Netzwerks 404. Das neuronale Netzwerk 404 kann unter Verwendung des oben erwähnten Verfahrens 200 trainiert werden. Wenn das trainierte neuronale Netzwerk 404 ein neues ICE-Bild 402a-c als Eingabe empfängt, sagt es die wahrscheinlichste Position des Katheters 406a-c vorher. Der Katheter 406a-c kann an der vorhergesagten Position innerhalb einer graphischen Darstellung 408a-c des Herzens auf dem Bildgebungsbildschirm angezeigt werden. Die graphische Darstellung 408a-c kann eine generische 3D-Ausführung des Herzens oder ein von einem Computertomographie- (CT) Bild abgeleitetes Herzmodell des Patienten sein. Die graphische Darstellung 408a-c kann in Echtzeit basierend auf dem eingegebenen ICE-Bild 402a-c aktualisiert werden, während der Benutzer den Katheter 406a-c im Herz navigiert.
-
5 zeigt eine beispielhafte Benutzeroberfläche 501. Die beispielhafte Benutzeroberfläche 501 kann beispielsweise an der Arbeitsstation 103 angezeigt werden, um den Benutzer bei der Navigation eines ICE-Katheters im Herzen des Patienten zu führen. Die Benutzeroberfläche 501 zeigt ein aktuelles 2D-Ultraschallbild 502, das vom ICE-Katheter an seiner aktuellen Position erfasst wurde. Basierend auf dem aktuellen Bild 502 sagt der von der Maschinenlerneinheit 106 trainierte Klassifikator die wahrscheinlichste Position des Katheters vorher. Der Katheter wird an der vorhergesagten Position in einer graphischen Darstellung 504 des Herzens angezeigt. Die graphische Darstellung 504 kann neben dem aktuellen Bild angezeigt werden.
-
In einigen Implementierungen ist ein Kästchen 506 unter (oder neben) dem aktuellen Bild 502 angeordnet. Das Kästchen 506 kann Navigationsanweisungen des vorhergesagten nächsten Manövers anzeigen. Die Navigationsanweisungen können beispielsweise durch Text, Diagramm, Cartoon, Pfeile, die auf durchzuführende Aktion(en) oder Manöver hinweisen, oder eine Kombination davon dargestellt werden. Die Navigationsanweisungen können den Benutzer beim Steuern und/oder Drehen des Katheters zur nächsten Position führen, um die nächste Ansicht gemäß einem Navigationsprotokoll zu erhalten. Die graphische Darstellung 504 und die Navigationsanweisungen im Kästchen 506 können in Echtzeit aktualisiert werden, während sich der Katheter bewegt und neue aktuelle Ultraschallbilder 502 erfasst.
-
Während das vorliegende Rahmenwerk mit Bezug auf beispielshafte Ausführungsformen ausführlich beschrieben wurde, wird der Fachmann auf dem Gebiet verstehen, dass verschiedene Abwandlungen und Substitutionen erfolgen können, ohne vom Geist und Umfang der Erfindung, wie er in den anhängenden Ansprüchen aufgeführt wird, abzuweichen. Beispielsweise können innerhalb des Umfangs dieser Offenbarung und der anhängenden Ansprüche Elemente und/oder Merkmale verschiedener beispielhafter Ausführungsformen miteinander kombiniert und/oder gegeneinander ausgetauscht werden.
