-
Die Erfindung betrifft ein Verfahren und ein System zum Erzeugen eines angereicherten, also augmentierten oder um zusätzliche Daten oder Informationen ergänzten, Bildes eines Zielobjekts. Die Erfindung betrifft weiter ein entsprechendes Computerprogramm und ein computerlesbares Speichermedium, auf dem ein derartiges Computerprogramm gespeichert ist.
-
Bildgebende Verfahren sind in vielen technischen und industriellen Anwendungsbereichen heutzutage ein verbreitetes und wertvolles Werkzeug. Insbesondere in der Medizin oder Medizintechnik haben sich verschiedene bildgebende Verfahren zur Unterstützung von Diagnosen und Behandlungen etabliert. Da hier weitere Verbesserungen direkt dem Patientenwohl zugutekommen können, ist eine Weiterentwicklung aber nach wie vor stets von besonderem Interesse.
-
Es gibt bereits Ansätze, bei denen Bilder aus unterschiedlichen Quellen einander überlagert werden oder im Rahmen der augmentierten Realität virtuelle Objekte in ein medizinisches Bild eingeblendet werden. Beispielsweise beschreiben Peter Mountney und Johannes Fallert et al. in „An Augmented Reality Framework for Soft Tissue Surgery“ (PMID: 25333146) eine Methodik für eine intra-operative Planung. Dabei soll ein präoperatives CT-Bild mit Stereo-Laparoskopbildern coregistriert werden, wobei CBCT (cone beam CT) und Fluoroskopie als Brückenmodalitäten verwendet werden.
-
Aufgabe der vorliegenden Erfindung ist es, einen weiter verbesserten Behandlungserfolg in der bildunterstützten Medizin zu ermöglichen. Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben.
-
Ein erfindungsgemäßes Verfahren dient zum Erzeugen eines angereicherten Bildes oder Bilddatensatzes eines Zielobjekts. Ein Zielobjekt in diesem Sinne kann beispielsweise ein Untersuchungsobjekt, ein Patient, ein Teil eines Patienten, ein Gewebe- oder Organbereich, eine Gewebeprobe oder dergleichen mehr sein. Wie eingangs bereits erläutert, ist ein angereichertes Bild im Sinne der vorliegenden Erfindung ein kombiniertes Bild oder ein kombinierter Bilddatensatz, das beziehungsweise der nicht nur unmittelbar das jeweilige Zielobjekts abbildet, sondern zudem weitere Daten oder Informationen enthält oder repräsentiert, insbesondere also augmentiert ist. Das angereicherte Bild kann ein Einzelbild sein, ebenso kann das Verfahren aber in entsprechender Weise für eine Serie von Einzelbildern oder ein Video durchgeführt werden, sodass dann entsprechend eine Serie von angereicherten Einzelbildern oder ein angereichertes Video erzeugt werden kann.
-
In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden mittels einer, insbesondere medizinischen, Bildgebungsmodalität aufgenommene Bilddaten des Zielobjekts erfasst. Diese Bilddaten können also beispielsweise ein Röntgenbild, einen Fluoroskopiebild, ein CT-Bild oder CT-Datensatz, ein Magnetresonanzbild oder -Datensatz, ein Ultraschallbild, ein optisches Bild oder Kamerabild, wie etwa ein Laparoskopbild oder -video, und/oder dergleichen mehr sein oder umfassen, die jeweils das Zielobjekt abbilden. Die Bildgebungsmodalität kann hier also eine entsprechende Aufnahmeart oder ein dazu verwendetes Aufnahmegerät bezeichnen.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden taktile Daten für das Zielobjekt erfasst, die einen mechanischen Widerstand oder eine mechanische Eigenschaft, beispielsweise eine Festigkeit, Steifigkeit und/oder Elastizität oder dergleichen, zumindest eines Teilbereiches oder Punktes des Zielobjekts gegen eine auf das Zielobjekt aufgebrachte oder wirkende Kraft, insbesondere eine Druck-/oder Zugkraft, charakterisieren oder angeben. Die taktilen Daten können dabei unterschiedlicher Art sein, beispielsweise entsprechende Mess- oder Sensordaten oder daraus abgeleitete oder berechnete Daten sein.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird durch Fusionieren der erfassten Bilddaten und der erfassten taktilen Daten und/oder einer aus diesen abgeleiteten Klassifikation des Teilbereiches oder Punktes des Zielobjekts das angereicherte Bild erzeugt. Vorliegend bilden also die taktilen Daten und/oder die daraus abgeleitete Klassifikation die genannten zusätzlichen Daten, um die das angereicherte Bild gegenüber den reinen aufgenommenen Bilddaten ergänzt oder augmentiert ist, wobei vorliegend durch diese zusätzlichen Daten zumindest eine taktile Eigenschaft des Zielobjekts beschrieben oder sichtbar gemacht wird. Das Fusionieren der verschiedenen Daten kann beispielsweise ein direktes Einblenden oder Überlagern oder ein Annotieren beispielsweise von Datenpunkte der Bilddaten mit den zusätzlichen Daten bedeuten, aber ebenso einen oder mehrere Zwischen- oder Verarbeitungsschritte der Bilddaten und/oder der zusätzlichen Daten, also der taktilen Daten und/oder der daraus abgeleiteten Klassifikation, umfassen. Derartige Schritte können beispielsweise ein Filtern oder Umwandeln, also ein Bringen der jeweiligen Daten in eine andere Form, ein Registrieren der verschiedenen Daten oder Datensätze beziehungsweise von deren Koordinatensystemen miteinander oder mit beziehungsweise in einem gemeinsamen Koordinatensystem und/oder dergleichen mehr sein oder umfassen.
-
Die taktilen Daten können bevorzugt Ortskoordinaten, also Positionsdaten, umfassen oder enthalten, die jeweils angeben, an welchem Punkt oder an welcher Stelle die jeweiligen taktilen Daten oder diesen zugrunde liegende Mess- oder Sensordaten aufgenommen, also gemessen wurden. Dazu kann ein zum Aufnehmen der taktilen Daten oder diesen zugrundeliegender Mess- oder Sensordaten verwendeter Sensor hinsichtlich seiner Position oder räumlichen Lage nachverfolgt werden, beispielsweise mittels eines herkömmlichen Nachverfolgungs- oder Trackingsystems. Zusätzlich oder alternativ kann beispielsweise eine jeweilige Nutzereingabe erfasst werden, die angibt, an welchem Punkt oder welchen Punkten oder Teilbereichen die jeweiligen Daten aufgenommen oder gemessen wurden. Ebenso kann automatisch oder manuell, beispielsweise in oder an den Bilddaten, jeweils ein Punkt oder Teilbereich markiert oder vorgegeben werden, für den dann die taktilen Daten oder diesen zugrunde liegenden Mess- oder Sensordaten erfasst oder gemessen und erfasst werden. Zum Aufnehmen oder Messen der taktilen Daten oder der diesem zugrunde liegenden Mess- oder Sensordaten kann das Zielobjekt beispielsweise mittels des entsprechenden Sensors berührt und mit einer Kraft beaufschlagt werden.
-
Das Erfassen der Bilddaten und/oder der taktilen Daten kann deren Aufnehmen oder Messen bedeuten oder umfassen. Zusätzlich oder alternativ kann das Erfassen dieser Daten im Sinne der vorliegenden Erfindung aber ein Empfangen oder Abrufen der - dann bereits aufgenommenen oder gemessenen - Bilddaten und/oder taktilen Daten über eine elektronische Software- oder Hardware-Datenschnittstelle oder von einem Datenspeicher bedeuten oder umfassen. Damit kann das vorliegende Verfahren also ohne vorliegend zur Verdeutlichung der Erfindung genannte oder angedeutete chirurgische Schritte oder Maßnahmen, die explizit nicht Teil der vorliegend beanspruchten Erfindung, insbesondere nicht Teil des erfindungsgemäßen Verfahrens, sind, ausgeführt werden. Die vorliegende Erfindung, insbesondere das erfindungsgemäße Verfahren, wird also lediglich insoweit beansprucht, als die Erfindung beziehungsweise das Verfahren keinen chirurgischen Schritt umfasst. Dies steht einer Ausführbarkeit oder Anwendbarkeit der vorliegenden Erfindung jedoch nicht entgegen, da insbesondere die verwendeten Daten wie erläutert von einem Datenspeicher abgerufen werden können, das erfindungsgemäße Verfahren lediglich als Betriebsverfahren einer entsprechend eingerichteten Datenverarbeitungseinrichtung oder eines entsprechend eingerichteten Systems verstanden werden kann und/oder die taktilen Daten beispielsweise durch äußerliche mechanische Kontaktierung des Zielobjekts ohne chirurgischen Schritt oder Eingriff aufgenommen werden können. Dementsprechend kann das erfindungsgemäße Verfahren ganz oder teilweise computerimplementiert sein.
-
In der vorliegenden Erfindung wird durch die taktilen Daten und/oder die daraus abgeleitete Klassifikation in dem angereicherten Bild vorteilhaft eine weitere Dimension von Daten oder Informationen über das jeweilige Zielobjekt zur Verfügung gestellt. Dadurch wird einem jeweiligen Betrachter, beispielsweise einem planenden oder behandelnden Arzt oder sonstigem medizinischem oder technischem Personal, eine verbesserte oder umfangreichere Erkenntnis über Eigenschaften oder einen Zustand des jeweiligen Zielobjekts ermöglicht. Da das angereicherte Bild gegenüber den reinen Bilddaten somit eine höhere Informationsdichte aufweisen kann, können entsprechende Daten oder Erkenntnisse durch das angereicherte Bild besonders schnell, effizient und ablenkungsarm vermittelt werden, da beispielsweise von einem Betrachter nicht mehrere voneinander unabhängige Datenquellen herangezogen werden müssen.
-
Die vorliegende Erfindung beruht auf der Erkenntnis, dass taktile Daten oder entsprechende taktile oder mechanische Eigenschaften des jeweiligen Zielobjekts eine wichtige Dimension oder Komponente für eine vollständige, zuverlässige und genaue Bewertung oder Beurteilung des jeweiligen Zielobjekts oder dessen Zustands sowie letztlich für einen Diagnose- und/oder Behandlungserfolg sein können. Beispielsweise kann sich erkranktes Gewebe, wie beispielsweise ein Tumor, fühl- und/oder messbar in seinen mechanischen Eigenschaften von gesundem Gewebe unterscheiden, insbesondere unabhängig von einer sonstigen Unterscheidbarkeit, also beispielsweise unabhängig davon, ob das krankhafte Gewebe und das umgebende gesunde Gewebe unterschiedlich aussehen. Beispielsweise kann ein erfahrener Arzt oder sonstiges Personal mechanische Eigenschaften des Zielobjekts ertasten und dadurch beispielsweise einen Tumor, ein Organ oder eine Organgrenze, ein, gegebenenfalls pulsierendes, Gefäß, unterschiedliche Gewebearten und/oder -zustände oder dergleichen mehr erkennen. Derartige taktilen Daten und darauf beruhende Erkenntnisse stehen jedoch bisher lediglich der jeweiligen abtastenden Person als subjektiver Sinneseindruck zur Verfügung. Zudem gibt es Situationen, beispielsweise bei robotisch assistierten Verfahren oder im Rahmen der Telemedizin, in denen selbst ein erfahrener Arzt die taktilen Daten bisher nicht gewinnen kann, da er von dem jeweiligen Zielobjekt entkoppelt ist, einen jeweils untersuchten oder zu behandelnden Teilbereich also nur mittelbar erfährt. Dies macht oftmals zusätzliche Maßnahmen, wie beispielsweise eine Markierung mit Klammern oder Markern oder einem Farbstoff notwendig, was eine zusätzliche Belastung des Zielobjekts sowie zusätzliches Fehlerpotenzial bedeuten kann.
-
Durch die vorliegende Erfindung werden die taktilen Daten demgegenüber situationsunabhängig verfügbar gemacht und stehen somit auch Personen zur Verfügung, die jeweils keinen direkten Kontakt zu oder mit dem jeweiligen Zielobjekts haben. Die vorliegende Erfindung sieht also einen Transfer oder ein Einbinden taktiler Daten in beispielsweise einem jeweiligen Arzt und/oder zur Eingriffsplanung bereitgestellte Daten und Informationen vor. Dadurch kann vorteilhaft eine Diagnose, eine Behandlungsplanung und letztendlich auch eine eigentliche Behandlung unterstützt werden.
-
In vorteilhafter Ausgestaltung der vorliegenden Erfindung wird als die Bilddaten oder als Teil der Bilddaten ein Livebild des Zielobjekts erfasst. Dieses Livebild kann ein Einzelbild sein. Ebenso können aber mehrere Einzelbilder oder eine Serie oder ein Strom von Einzelbildern oder ein Video oder Videosignal (Videostream) als die Bilddaten oder als Teil der Bilddaten erfasst werden. Besonders bevorzugt kann das wenigstens eine Livebild oder Livevideo mittels eines Laparoskops oder als Angiografie oder Fluoroskopie aufgenommen werden. Das angereicherte Bild kann dann durch Einblenden der taktilen Daten und/oder der daraus abgeleiteten Klassifikation oder einer entsprechenden Repräsentation in das Livebild oder Livevideo erzeugt werden. Dazu kann ein Sensor oder eine Sensorik zum Aufnehmen der taktilen Daten direkt mit einer zum Aufnehmen der Bilddaten verwendeten Bildgebungsmodalität registriert werden beziehungsweise registriert sein und/oder es können taktile Daten für einen oder mehrere vorgegebene Punkte des Zielobjekts aufgenommen werden, beispielsweise durch Berühren dieses Punktes oder dieser Punkte mittels des Senders beziehungsweise den Sensorik. So kann ebenso ein gemeinsames Koordinatensystem bestimmt oder etabliert werden, wodurch eine nachfolgende, insbesondere automatische, Registrierung der taktilen Daten mit den Bilddaten ermöglicht oder vereinfacht wird.
-
Durch die Verwendung des Livebildes oder Livevideos als Bilddaten, also als Basis für das angereicherte Bild, können die taktilen Daten vorteilhaft zur Planungs- oder Behandlungsunterstützung auch dann bereitgestellt werden, wenn der planende oder behandelnde Arzt das Zielobjekt beispielsweise nicht unmittelbar selbst abtasten kann. Zudem können die taktilen Daten vorteilhaft auch anderem Personal, beispielsweise einem OP-Team oder einem externen Berater oder dergleichen, sichtbar gemacht werden, wodurch eine zusätzliche Absicherung und damit eine Verringerung einer Wahrscheinlichkeit von Planungs- oder Behandlungsfehlern erreicht werden kann.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird als die Bilddaten oder als Teil der Bilddaten ein, insbesondere dreidimensionaler, prä-operativer Bilddatensatz des Zielobjekts erfasst. Der prä-operative Bilddatensatz kann beispielsweise ein vor Beginn eines Eingriffs aufgenommener CT-, MRT- oder Ultraschall-Bilddatensatz oder dergleichen sein. Das angereicherte Bild kann dann vorteilhaft also vor Beginn eines eventuellen Eingriffs, beispielsweise vor einer Resektion, zur Verfügung stehen und somit eine besonders genaue und zuverlässige Eingriffsplanung und - durchführung ermöglichen.
-
Insbesondere stehen die taktilen Daten hier objektiv überprüfbar zur Verfügung, sodass sich beispielsweise der zuständige Arzt oder sonstiges Personal nicht auf eine, gegebenenfalls unzuverlässige oder sich mit der Zeit ändernde, Erinnerung oder subjektive Einschätzung einer Person verlassen müssen. Dies kann vorteilhaft ebenfalls zu einem verbesserten Behandlungserfolg und einer Reduzierung einer Fehlerwahrscheinlichkeit beitragen. Der in der vorliegenden Ausgestaltung der Erfindung dann erzeugte angereicherte prä-operative Bilddatensatz kann seinerseits einem Livebild oder Livevideo des Zielobjekts überlagert oder mit diesem fusioniert werden. Dadurch kann sich vorteilhaft eine weiter vergrößerte Informationsdichte und somit ein vollständigeres Bild des Zielobjekts oder dessen Zustands für jeweiliges Personal ergeben.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird eine zum Aufnehmen der taktilen Daten oder diesen zugrunde liegenden Mess- oder Sensordaten verwendete Sensorik während des Aufnehmens der taktilen Daten automatisch räumlich nachverfolgt. Darauf basierend wird den taktilen Daten ihr jeweiliger Aufnahme- oder Messort automatisch zugeordnet. Mit anderen Worten können die taktilen Daten also mit einer jeweiligen Position und jeweiligen Koordinaten annotiert werden. Ebenso können aber die eigentlichen Mess- oder Sensordaten und die zugehörigen Positionen oder Koordinaten als zwei Datensätze vorliegen, die jeweils mit Zeitstempeln versehen sind, sodass eine Zuordnung zwischen jeweils einem Mess- oder Sensordatum und der Position oder den Koordinaten, an denen es aufgenommen wurde, über die Zeitstempel erfolgen kann. Je nach Implementierung der Erfindung kann die Zuordnung oder Verknüpfung aber ebenso auf andere Arten und Weisen möglich sein.
-
Durch das hier vorgesehene automatische Zuordnen des jeweiligen Aufnahmeorts zu den aufgenommenen oder gemessenen Mess- oder Sensordaten wird vorteilhaft eine automatische Registrierung der taktilen Daten mit den Bilddaten ermöglicht oder vereinfacht. Dabei kann beispielsweise ein Koordinatensystem der Bilddaten oder einer zu deren Aufnehmen verwendeten Bildgebungsmodalität, ein Koordinatensystem der Sensorik oder einer zum Nachverfolgen der Sensorik verwendeten Nachverfolgungseinrichtung oder ein gemeinsames Koordinatensystem verwendet werden.
-
Zum Nachverfolgen der Sensorik kann beispielsweise eine externe Nachverfolgungseinrichtung verwendet werden, die dazu ausgebildet ist, die Sensorik, beispielsweise optisch, elektromagnetisch oder röntgenbasiert, nachzuverfolgen. Zusätzlich oder alternativ kann die Sensorik eine eigene Positionsbestimmungs- beziehungsweise Positions- oder Bewegungsbachverfolgungseinrichtung aufweisen. Diese Einrichtung kann beispielsweise einer Inertiale Messeinheit (IMU, englisch: Inertial Measurement Unit) oder ein Trägheitsnavigationssystem (INS, englisch: Inertial Navigation System) sein oder umfassen.
-
Zum Aufnehmen der eigentlichen taktilen Daten oder der diesen zugrunde liegenden Mess- oder Sensordaten kann die Sensorik beispielsweise wenigstens einen Kraft-/oder Drucksensor aufweisen. Insgesamt kann damit beispielsweise detektiert werden, bei welcher auf das Zielobjekt ausgeübten oder wirkenden Kraft dieses nachgibt, mit welcher Kraft das Zielobjekt gegen die Sensorik drückt und/oder dergleichen mehr. Dabei kann bevorzugt ein zeitlicher Verlauf der Mess- oder Sensordaten aufgenommen werden, wodurch eine besonders genaue und zuverlässige Charakterisierung des Zielobjekts beziehungsweise von dessen mechanischen Eigenschaften ermöglicht wird. So kann anhand des zeitlichen Verlaufes beispielsweise ein Puls- oder Herzschlag und eine damit einhergehende Druckschwankung erkannt werden, was wiederum beispielsweise Rückschlüsse darauf ermöglicht, ob in oder an dem jeweiligen Teilbereich des Zielobjekts beispielsweise ein Blutgefäß verläuft.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die taktilen Daten oder diesen zugrunde liegende Mess- oder Sensordaten zumindest teilweise mittels einer als Handschuh ausgebildeten Sensoreinrichtung erfasst, bei der wenigstens ein entsprechender Kraft- und/oder Drucksensor, insbesondere also die genannte Sensorik, in wenigstens einen Fingerspitzen- und/oder Fingerkuppenbereich des Handschuhs integriert ist. Ebenso könnte die Sensorik beziehungsweise der wenigstens eine Kraft- und/oder Drucksensor an einem sonstigen Instrument, beispielsweise einer Sonde, einer Kamera oder einem Greifer oder dergleichen angeordnet sein. Die hier vorgesehene Ausgestaltung der Sensoreinrichtung als Handschuh ermöglicht vorteilhaft jedoch ein besonders intuitives und genaues Abtasten des Zielobjekts und damit ein entsprechend vorteilhaftes Aufnehmen oder Gewinnen der taktilen Daten. Dadurch, dass ein Kraft- und/oder Drucksensor verwendet wird, können die taktilen Daten zudem objektiv und besonders genau und zuverlässig aufgenommen oder gemessen werden, beispielsweise im Gegensatz zu einer allein auf Sinneseindrücken basierenden Angabe oder Bewertung.
-
Die Ausgestaltung der Sensoreinrichtung als Handschuh ist zudem besonders vorteilhaft vor dem Hintergrund, dass zumindest nach heutigem Stand der Technik - insbesondere unter Berücksichtigung einer tatsächlich beispielsweise in Krankenhäusern oder Behandlungszentren vorhandenen Ausrüstung - die menschliche Feinmotorik, durch die hier die Sensoreinrichtung gesteuert, also in Kontakt mit dem Zielobjekt gebracht wird, robotischen Entsprechungen hinsichtlich Beweglichkeit, Kraftdosierung und der Fähigkeit, Verletzungen des Zielobjekts zu vermeiden, überlegen ist.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die taktilen Daten zumindest teilweise in Form einer Nutzereingabe erfasst. Mit anderen Worten kann also eine entsprechende Eingabemaske oder Auswahlmaske bereitgestellt werden, über welche ein jeweiliger Nutzer beispielsweise für jeweils einen vorgegebenen Teilbereich oder Punktes des Zielobjekts dessen mechanischen Widerstand oder Eigenschaften oder eine entsprechende Bewertung oder Klassifikation, etwa hinsichtlich eines Gesundheitszustandes oder einer Gewebeart, einen subjektiven Eindruck und/oder eine ergänzende Annotierung oder dergleichen eingeben kann. Eine derartige Eingabe kann vorteilhaft die Erfahrung eines Nutzers, beispielsweise eines behandelnden oder der diagnostizierenden Arztes, und die der heutzutage verfügbaren Technik zumindest bereichsweise noch überlegene menschliche Wahrnehmungsfähigkeit widerspiegeln und technisch verwertbar machen. Die Eingabe kann dabei beispielsweise über eine Tastatur, einen berührungsempfindlichen Bildschirm, als Spracheingabe über ein Mikrofon, als Geste mittels einer Kamera oder Gestenerfassungseinrichtung und/oder dergleichen mehr erfasst werden. Eine derartige Nutzereingabe kann zusätzlich oder alternativ zu mittels einer Sensorik erfassten Mess- oder Sensordaten als Teil der taktilen Daten erfasst werden.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die taktilen Daten für eine Vielzahl räumlich verteilt angeordneter Punkte oder Teilbereiche des Zielobjekts erfasst. Mit anderen Worten können die taktilen Daten dann also den mechanischen Widerstand oder die mechanischen Eigenschaften des Zielobjekts an verschiedenen Punkten oder in verschiedenen Teilbereichen charakterisieren. Dies ermöglicht vorteilhaft ein besonders umfassendes Verständnis der jeweiligen Situation, also beispielsweise des jeweiligen Zustands des Zielobjekts, und dementsprechend eine besonders genaue und zuverlässige Diagnose oder Behandlung. So können beispielsweise besonders genau Grenzen oder Verläufe bestimmter physiologischer Merkmale, beispielsweise Tumorgrenzen, Gewebegrenzen, Gefäße oder Gefäßverläufe und dergleichen mehr anhand der taktilen Daten bestimmt oder erkannt werden.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die taktilen Daten gemäß einer vorgegebenen Skala farbcodiert in dem angereicherten Bild repräsentiert. Mit anderen Worten kann beispielsweise einem ersten Widerstand oder einer ersten Festigkeit, Steifigkeit oder Elastizität eine erste Farbe zugeordnet werden, einem zweiten Widerstand oder einer zweiten Festigkeit, Steifigkeit oder Elastizität eine zweite Farbe zugeordnet werden, usw. Beispielsweise kann einer besonders großen oder oberhalb eines organ- oder gewebeabhängig für gesundes Gewebe vorgegebenen Wertebereichs liegende Festigkeit durch eine rote Farbe und ein innerhalb des für gesundes Gewebe vorgegebenen Wertebereiches liegende Festigkeit durch eine grüne Farbe repräsentiert werden. Durch eine farbcodierte Repräsentation der taktilen Daten, also der mechanischen Eigenschaften des Zielobjekts, kann vorteilhaft eine besonders einfache, intuitive und schnelle Vermittlung der taktilen Daten an einen jeweiligen Nutzer oder Betrachter des angereicherten Bildes erreicht werden. Dabei kann gegebenenfalls zwischen mehreren Messpunkten oder Messbereichen interpoliert werden, um eine möglichst flächige, die taktilen Daten repräsentierende Einfärbung des Zielobjekts in dem angereicherten Bild zu erreichen. Es soll aber hier angemerkt werden, dass die vorgeschlagene farbcodierte Repräsentation der taktilen Daten zwar bevorzugt ist, zusätzlich oder alternativ aber andere oder weitere Repräsentation oder Teilrepräsentationen der taktilen Daten oder eines Teils der taktilen Daten möglich sind.
-
In vorteilhafter Weiterbildung der vorliegenden Erfindung werden die taktilen Daten zum Erzeugen des angereicherten Bildes zumindest in Form von farbcodierten Punkten oder Symbolen den Bilddaten überlagert. Mit anderen Worten wird an jeweils einem Punkt oder in jeweils einem Teilbereich, an oder in dem der mechanischen Widerstand des Zielobjekts gemessen oder bestimmt wurde, in den Bilddaten beziehungsweise in dem angereicherten Bild ein diesen Widerstand farbcodiert repräsentierender Punkt oder ein entsprechendes Symbol angeordnet oder überlagert. Dadurch können die taktilen Daten, also die mechanischen Eigenschaften des Zielobjekts, besonders genau und zuverlässig vermittelt werden, wodurch letztlich ein Diagnose- oder Behandlungserfolg unterstützt werden kann.
-
Durch die Verwendung der farbcodierten Punkte oder Symbole kann vorteilhaft eine zu verarbeitende und darzustellende Datenmenge reduziert oder, insbesondere in Echtzeit, handhabbar gemacht werden, wobei aber gleichzeitig ermöglicht wird, die taktilen Daten gezielt für Punkte oder Teilbereiche des Zielobjekts zu repräsentieren, also sichtbar zu machen, die in dem jeweiligen Anwendungsfall von besonderem Interesse sind. Beispielsweise können die taktilen Daten so punktuell an einer tatsächlichen oder vermuteten Tumor- oder Gewebegrenze oder entlang eines Gefäßverlaufs oder dergleichen eingeblendet werden, wohingegen beispielsweise ein Zentralbereich eines Tumors oder eines bestimmten Gewebebereiches von entsprechenden Einblendungen freigehalten werden kann, um einen möglichst ungehinderten Blick auf den jeweiligen Teilbereich oder Gewebebereich zu ermöglichen.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die taktilen Daten in dem angereicherten Bild zumindest in Form von Zahlenangaben, die den mechanischen Widerstand oder die mechanischen Eigenschaften des Zielobjekts gemäß zugrundeliegender Mess- oder Sensordaten quantifizieren, repräsentiert. Die Zahlenangaben können dabei den Mess- oder Sensordaten, also entsprechenden Messwerten, entsprechen oder daraus abgeleitete oder berechnete Zahlenangaben sein, beispielsweise ein normierter Festigkeitswert, eine Abweichung von einem vorgegebenen Referenzwert und/oder dergleichen mehr. Derartige Zahlenangaben können bevorzugt zusätzlich zu der genannten Farbkodierung vorgesehen sein, insbesondere punktuell oder bereichsweise in wenigstens einer vorgegebenen Interessenregion (ROI, englisch: Region of Interest). Durch das Einblenden der Zahlenangaben kann vorteilhaft eine besonders genaue Charakterisierung des Zielobjekts erfolgen, was ebenfalls letztlich einem Diagnose- oder Behandlungserfolg zugutekommen kann.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die taktilen Daten oder diesen zugrunde liegende Mess- oder Sensordaten einem automatischen Klassifikator, insbesondere einem neuronalen Netz, als Eingangsdaten zugeführt. Dabei können die Mess- oder Sensordaten insbesondere dann verwendet werden, wenn die taktilen Daten selbst bereits weiterverarbeitete Daten sind und/oder beispielsweise zusätzliche Annotierungen oder Bewertungen eines Nutzers oder dergleichen umfassen oder enthalten. Der automatische Klassifikator ist dazu ausgebildet, insbesondere dazu trainiert, zumindest den jeweiligen Teilbereich des Zielobjekts in Abhängigkeit von entsprechenden Eingangsdaten hinsichtlich einer Gewebeart und/oder hinsichtlich eines Gesundheitszustandes zu klassifizieren. Als Eingangsdaten können dem Klassifikator auch die Bilddaten zugeführt oder bereitgestellt werden. Eine von dem Klassifikator durch Verarbeiten der jeweils zugeführten oder bereitgestellten Eingangsdaten erzeugte Klassifikation fließt dann zumindest als Teil der taktilen Daten oder zusätzlich zu diesen in das angereicherte Bild ein, wird also in diesem repräsentiert, zum Beispiel den Bilddaten überlagert. Die Klassifizierung hinsichtlich der Gewebeart kann zum Beispiel eine Einordnung als Gefäß, Organ, im Bindegewebe Tumor und/oder dergleichen mehr bedeuten. Eine Klassifizierung hinsichtlich des Gesundheitszustands kann zum Beispiel eine Einordnung als gesundes Gewebe gegenüber einem krankhaften oder tumorartigen Gewebe oder eine Einordnung als gesundes Gewebe gegenüber einer krankhaften Veränderung, wie beispielsweise einer Kalzifikation oder dergleichen, bedeuten. Die Klassifikation beziehungsweise deren Repräsentation in dem angereicherten Bild kann auch mit der genannten Farbcodierung kombiniert werden oder in Form der Farbcodierung erfolgen.
-
Dem Klassifikator können auch zusätzlich weitere Eingangsdaten bereitgestellt werden, die bevorzugt spezifisch für das jeweilige Zielobjekt sein können. Beispielsweise kann das Zielobjekt durch Parameterwerte wie etwa Alter, Krankheitsgeschichte, zum Aufnehmen der Mess- oder Sensorwerte abgetastete Organe oder Bereiche, Blutdruckwerte während des Aufnehmens der Mess- oder Sensordaten beziehungsweise der taktilen Daten und/oder dergleichen mehr charakterisiert oder spezifiziert werden.
-
Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung basiert auf der Erkenntnis, dass mit den in den letzten Jahren erreichten Fortschritten auf dem Gebiet der künstlichen Intelligenz, insbesondere der neuronalen Netze, ein entsprechender automatischer Klassifikator schneller und zumindest ebenso zuverlässig entsprechende Klassifikationen oder Einordnungen vornehmen kann wie ein Mensch, wobei eine Performanz des automatischen Klassifikators nicht tagesformabhängig ist, wodurch letztendlich eine Fehlerwahrscheinlichkeit reduziert und eine verbesserte Verfahrenseffizienz und - objektivität erreicht werden kann.
-
Zum Trainieren des automatischen Klassifikators können diesem entsprechend annotierte Trainingsdaten bereitgestellt werden, also etwa Datensätze taktiler Daten, in denen verschiedene Gewebearten und/oder gesunde und krankhafte Gewebebereiche gekennzeichnet sind. Ein Verfahren und ein entsprechend ausgebildetes und eingerichtetes System oder eine Vorrichtung, beispielsweise ein Computer, zum Trainieren des automatischen Klassifikators zum Klassifizieren von Zielobjekten oder Teilbereichen, für die taktile Daten oder taktile Daten und Bilddaten aufgenommen wurden, hinsichtlich einer Gewebeart und oder eines Gesundheitszustandes stellen jeweils weitere Aspekte der vorliegenden Erfindung dar.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, das Befehle oder Steueranweisungen umfasst oder kodiert, die bei Ausführung des Computerprogramms durch einen Computer oder ein erfindungsgemäßes System zum Erzeugen eines angereicherten Bildes eines Zielobjekts diesen Computer oder dieses System dazu veranlassen, zumindest eine Variante oder Ausführungsform des erfindungsgemäßen Verfahrens, insbesondere automatisch oder teilautomatisch, auszuführen. Das erfindungsgemäße Computerprogramm ist oder umfasst also Programmcode, der die Verfahrensschritte des erfindungsgemäßen Verfahrens repräsentiert oder kodiert.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein computerlesbares Speichermedium, auf dem zumindest eine Ausführungsform oder Variante des erfindungsgemäßen Computerprogramms gespeichert ist. Darüber hinaus kann das computerlesbare Speichermedium weiteren Programmcode enthalten, beispielsweise zum Bereitstellen eines Benutzerinterfaces zum Interagieren mit dem Computerprogramm und/oder zum Verknüpfen des Computerprogramms mit weiteren Datenträgern, Geräten und/oder Programmen oder Softwarekomponenten.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein System zum Erzeugen eines angereicherten Bildes eines Zielobjekts. Das erfindungsgemäße System weist wenigstens eine Erfassungseinrichtung zum Erfassen von Bilddaten des Zielobjekts und zum Erfassen von taktilen Daten des Zielobjekts, die eine mechanische Festigkeit, Steifigkeit und oder Elastizität zumindest eines Teilbereichs des Zielobjekts charakterisieren, auf. Zum Erfassen der Bilddaten und der taktilen Daten kann also jeweils eine eigene, beispielsweise eine erste und eine zweite, Erfassungseinrichtung vorgesehen sein oder es kann eine kombinierte oder gemeinsame Erfassungseinrichtung verwendet werden. Weiter weist das erfindungsgemäße System eine Datenverarbeitungseinrichtung zum Verarbeiten der erfassten Bilddaten und der erfassten taktilen Daten zu einem angereicherten Bild des Zielobjekts auf, wobei das angereicherte Bild sowohl die Bilddaten als auch die taktilen Daten repräsentiert.
-
Die Erfassungseinrichtung oder Erfassungseinrichtungen kann beziehungsweise können Daten-, Hardware- und/oder Software Schnittstellen, ein, insbesondere medizinisches, bildgebendes Gerät, eine Druck- und/oder Kraftsensorik und/oder dergleichen mehr sein oder umfassen.
-
Die Datenverarbeitungseinrichtung kann insbesondere einen Prozessor, also beispielsweise einen Mikrochip oder Mikrocontroller, sowie einen damit verbundenen Datenspeicher umfassen. Dieser Datenspeicher kann insbesondere das erfindungsgemäße computerlesbare Speichermedium sein. Auf dem Datenspeicher kann also zumindest eine Variante des erfindungsgemäßen Computerprogramms, gegebenenfalls als Teil eines Betriebsprogramms oder Betriebssystems des erfindungsgemäßen Systems, gespeichert sein.
-
Das erfindungsgemäße System kann also insbesondere zum, bevorzugt automatischen oder teilautomatischen, Ausführen des erfindungsgemäßen Verfahrens ausgebildet und eingerichtet sein. Dementsprechend kann das erfindungsgemäße System einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder den übrigen Aspekten der vorliegenden Erfindung genannten Eigenschaften und/oder Bauteile oder Komponenten aufweisen.
-
Zu der Erfindung gehören auch Weiterbildungen der verschiedenen Aspekte der Erfindung, die Merkmale aufweisen, wie sie nur im Zusammenhang mit einem oder einigen dieser Aspekte der Erfindung beschrieben sind. Um unnötige Redundanz zu vermeiden, sind die entsprechenden Weiterbildungen der vorliegenden Erfindung hier nicht noch einmal für alle Aspekte der vorliegenden Erfindung separat beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 einen beispielhaften schematischen Ablaufplan für ein Verfahren zum Erzeugen eines angereicherten Bildes eines Untersuchungsobjekts;
- 2 eine schematische Perspektivansicht eines Sensorhandschuhs zum Aufnehmen taktiler Daten;
- 3 eine schematische Perspektivansicht eines Sensors des Sensorhandschuhs;
- 4 eine schematische Übersichtsdarstellung zur Veranschaulichung des Aufnehmens eines Datensatzes taktiler Daten;
- 5 eine schematische Übersichtsdarstellung zur Veranschaulichung einer ersten Variante des Verfahrens;
- 6 eine schematische Übersichtsdarstellung zur Veranschaulichung einer zweiten Variante des Verfahrens;
- 7 eine schematische Übersichtsdarstellung zur Veranschaulichung einer dritten Variante des Verfahrens; und
- 8 schematische Darstellung eines Systems zum Durchführen des Verfahrens.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche oder einander entsprechende Elemente.
-
Im Folgenden wird zur Erläuterung beispielhaft auf eine Tumor-Resektion, beispielsweise eines Lebertumors, verwiesen, was jedoch ausdrücklich nicht der einzige Anwendungsbereich der hier beschriebenen Maßnahmen und Abläufe ist. So kann ein weiterer Anwendungsbereich beispielsweise im Rahmen einer Brustkrebserkennung oder dergleichen liegen.
-
Eines der Hauptprobleme bei der Tumor-Resektion ist das Auffinden der Tumorgrenzen. Einerseits soll der Tumor möglichst komplett entfernt werden, andererseits soll aber möglichst kein den Tumor umgebendes gesundes Gewebe entfernt werden, um das jeweilige betroffene Organ nicht mehr als notwendig zu schädigen. Ein weiteres Problem liegt in der Vermeidung unnötiger Verletzungen, zum Beispiel dem Durchtrennen von Blut- oder Versorgungsgefäßen. Es gibt, insbesondere zur Planungsunterstützung, bereits Ansätze, verschiedene Daten oder Informationen einander zu überlagern, wobei bisher die eingeblendeten Informationen ausschließlich morphologischer oder funktioneller Art sind. Es werden also beispielsweise einem Röntgenbild Magnetresonanzdaten oder nuklearmedizinische Daten überlagert.
-
Eine wichtige Informationen oder Datenart, sowohl bei der Planung als auch bei einem tatsächlichen Eingriff, sind jedoch taktile Daten. Ein erfahrener Chirurg kann beispielsweise bei, gegebenenfalls minimalinvasiven, Eingriffen einen Tumor ertasten, weil er den mechanischen Widerstand, also eine Festigkeit, Steifigkeit und/oder Elastizität, des Tumors oder eines entsprechenden Knotens - oder allgemein einer Gewebeveränderung oder dergleichen - ertasten kann. Auch an oder unter einer Organ- oder Gewebeoberfläche verlaufende Gefäße können beispielsweise aufgrund ihrer von einem umgebenden Gewebe abweichenden mechanischen Eigenschaften und/oder aufgrund von Druckschwankungen im Rhythmus des Puls- oder Herzschlags ertastet werden. Damit stehen dem jeweiligen Chirurg dann taktile Daten zur Verfügung. Dies können jedoch subjektive Empfindungen sein, die anderem Personal nicht zur Verfügung stehen. Zudem kann auch ein jeweiliger Chirurg nicht immer derartige taktile Daten gewinnen, beispielsweise bei roboter-assistierten oder telemedizinisch durchgeführten Eingriffen oder wenn er beispielsweise nachträglich beratend oder zum Abgeben einer Zweitmeinung anhand von Bilddaten hinzugezogen wird, ohne selbst in Kontakt mit einem jeweiligen Zielobjekt, also beispielsweise einem jeweiligen Patienten zu kommen.
-
Vor diesem Hintergrund wird zum Auslösen der beschriebenen Probleme und Herausforderungen und zur Verbesserung einer Diagnose- und Behandlungsgrundlage ein Verfahren zum Erzeugen eines angereicherten Bildes 16 (vgl. 5 bis 7) vorgeschlagen. 1 zeigt dazu einen beispielhaften schematischen Ablaufplan 1 für ein derartiges Verfahren mit Verfahrensschritten S1 bis S8, der im Folgenden unter Bezugnahme auf die übrigen Figuren erläutert wird.
-
Im Verfahrensschritt S1 wird zunächst ein neuronales Netz als automatischer Klassifikator 29 (vgl. 8) zum Klassifizieren von Teilbereichen eines Zielobjekts hinsichtlich einer Gewebeart und/oder eines Gesundheitszustands trainiert. Dazu werden dem neuronalen Netz entsprechend annotierte taktile Daten und Bilddaten zugeführt, die beispielsweise aus früheren Untersuchungen stammen können und/oder zumindest teilweise künstlich generiert, also synthetisch sein können.
-
Im Verfahrensschritt S2 wird ein prä-operativer Bilddatensatz 15 (vgl. 5) des jeweiligen Zielobjekts, vorliegend beispielsweise ein CT-Datensatz eines Organs 11 (vgl. 4) beziehungsweise eines Patienten 17 (vgl. 5), aufgenommen. Dazu kann beispielsweise ein System 21 verwendet werden, wie es schematisch in 8 dargestellt ist. Dieses System 21 weist dazu eine Bilderfassungseinrichtung 22 auf, die ihrerseits vorliegend als C-Bogen-Röntgengerät ausgebildet ist. Dazu sind an einem C-Bogen 23 eine Strahlquelle 24 und dieser gegenüberliegend ein Detektor 25 gehalten. Zum Erfassen und Verarbeiten entsprechender Bilddaten, hier also beispielsweise von Röntgen- oder CT-Bilddaten, weist das System 21 eine Datenverarbeitungseinrichtung 26 mit einem Prozessor 27 und einem damit verbundenen Datenspeicher 28 auf. Auf dem Datenspeicher 28 ist ein Computerprogramm gespeichert, dass einige oder alle der Verfahrensschritte S1 bis S8 implementiert, sodass die schematisch in 1 angedeuteten Verfahrensschritte S1 bis S8 also als entsprechende Programmmodule oder Funktionsblöcke dieses Computerprogramms aufgefasst werden können. Zudem ist vorliegend auf dem Datenspeicher 28 auch der Klassifikator 29 gespeichert. Weiter weist das System 21 eine mit der Datenverarbeitungseinrichtung 26 verbundene Anzeige 30 auf, mittels welcher das, insbesondere mittels der Datenverarbeitungseinrichtung 26 erzeugte, angereicherte Bild 16 ausgegeben werden kann.
-
Im Verfahrensschritt S3 werden taktile Daten für das Zielobjekt aufgenommen. Dazu kann beispielsweise das Organ 11 oder der Patient 17 mittels einer Sensoreinrichtung zum Messen einer Kraft oder eines Druckes, die beziehungsweise der auf das Organ 11 oder den Patienten 17 bis zu deren Nachgeben aufgebracht werden kann, abgetastet werden. Vorliegend wird dazu als Sensoreinrichtung ein in einer schematischen Perspektivansicht in 2 dargestellter Sensorhandschuh 2 verwendet. Der Sensorhandschuh 2 weist mehrere, in seine Fingerkuppenbereiche 3 integrierte Sensoren 5 (vgl. 3) auf. Weiter weist der Sensorhandschuh 2 vorliegend Anschlüsse 4 auf, über welche er beispielsweise mit Strom versorgt werden kann. Zudem können mittels des Sensorhandschuhs 2 beziehungsweise der Sensoren 5 aufgenommene Mess- oder Sensordaten über die Anschlüsse 4 an das System 21 beziehungsweise die Datenverarbeitungseinrichtung 26 übermittelt werden. Dazu kann der Sensorhandschuh 2 beispielsweise über ein Kabel oder eine kabellose Datenverbindung mit dem System 21 beziehungsweise mit der Datenverarbeitungseinrichtung 26 verbunden sein.
-
3 zeigt zur weiteren Veranschaulichung eine schematische Perspektivansicht eines der in die Fingerkuppenbereiche 3 des Sensorhandschuhs 2 integrierten Sensoren 5. Der Sensor 5 hat hier zumindest im Wesentlichen eine fingerhutartige Gestalt und weist auf seiner Oberfläche mehrere mäandernd verlaufende Leiterschleifen 6 auf, die beispielsweise eine kapazitive Kraft- oder Druck- beziehungsweise Verformungsmessung ermöglichen.
-
4 zeigt eine schematische Übersichtsdarstellung zur Veranschaulichung des Aufnehmens der taktilen Daten mittels des Sensorhandschuhs 2. Dabei werden das Organ 11 sowie dessen Umgebung an verschiedenen Positionen 7 bis 10 mittels des Sensorhandschuhs 2 berührt und mit einer Druckkraft beaufschlagt, die dabei durch die Sensoren 5 gemessen wird. Beispielsweise kann an den verschiedenen Positionen 7 bis 10 jeweils so viel Druck oder Kraft aufgewendet werden, dass eine Gewebe an der jeweiligen Position 7 bis 10 nachgibt, sodass anhand der dabei aufgenommenen Mess- oder Sensordaten dann auf die mechanischen Eigenschaften des Gewebes an der jeweiligen Position 7 bis 10 geschlossen werden kann. Dabei werden jeweilige Ortskoordinaten der Positionen 7 bis 10 bestimmt und aufgezeichnet. Aus den Messwerten der Sensoren 5 und den zugeordneten Positionen 7 bis 10 beziehungsweise deren räumlichen Koordinaten ergibt sich ein taktiler Datensatz 12 mit mehreren Datenpunkten 13. Die Datenpunkte 13 repräsentieren vorliegend farbcodiert die mechanischen Eigenschaften des Organs 11 beziehungsweise eines dieses umgebenden Gewebes an den verschiedenen Positionen 7 bis 10.
-
Der taktile Datensatz 12 und der prä-operative Bilddatensatz 15 werden miteinander registriert, wobei ein gemeinsames Koordinatensystem 14 verwendet wird.
-
Im Verfahrensschritt S4 werden die durch die Sensoren 5 aufgenommenen Mess- oder Sensordaten beziehungsweise der taktile Datensatz 12 als Eingangsdaten dem Klassifikator 29 zugeführt. Zusätzlich kann dem Klassifikator 29 auch der präoperative Bilddatensatz 15 bereitgestellt werden. Dies kann abhängig von einer Implementierung oder einem Training des Klassifikators 29 sein. Der Klassifikator 29 erzeugt aus den bereitgestellten oder zugefügten Eingangsdaten dann eine Klassifikation des Gewebes an den verschiedenen Positionen 7 bis 10. Diese Klassifikation kann dann dem taktilen Datensatz 12 hinzugefügt werden. Ebenso ist es aber möglich, dem Klassifikator 29 die rohen Mess- oder Sensordaten der Sensoren 5, gegebenenfalls einschließlich der zugehörigen Ortskoordinaten, zuzuführen und den taktilen Datensatz 12 dann aus der erzeugten Klassifikation 29 sowie den Koordinaten der Positionen 7 bis 10 zu erzeugen.
-
Im Verfahrensschritt S5 wird, vorliegend präoperativ, das angereicherte Bild 16 durch Fusionieren des prä-operativen Bilddatensatzes 15 und des taktilen Datensatzes 12 erzeugt. Der prä-operative Bilddatensatz 15 kann bevorzugt beispielsweise ein 3D-CT Bilddatensatz sein, ist jedoch nicht hierauf beschränkt. Zum Fusionieren des prä-operativen Bilddatensatzes 15 und des taktilen Datensatzes 12 müssen diese wie beschrieben miteinander registriert sein. Dafür gibt es verschiedene Möglichkeiten. So können beispielsweise der Sensorhandschuh 2 beziehungsweise die Sensoren 5 beziehungsweise eine jeweilige Positionsbestimmungseinrichtung mit dem System 21, beispielsweise einem Patiententisch, auf dem der Patient 17 liegt, oder einer an dem Patiententisch angebrachten Empfangseinheit oder dergleichen registriert sein. Auch der präoperative Bilddatensatz 15 kann zum Patienten 17 und/oder zu dem Patiententisch registriert sein, wodurch insgesamt die Sensoren 5 beziehungsweise der taktile Datensatz 12 zu dem prä-operativen Bilddatensatz 15 registriert sind. Zusätzlich oder alternativ können mit einem oder mehreren der Sensoren 5 vorgegebene Punkte oder Teilbereiche des jeweiligen Zielobjekts, hier also beispielsweise des Organs 11 oder des Patienten 17, berührt werden, um so das gemeinsame Koordinatensystem 14 zu bestimmen oder zu etablieren. Prinzipiell kann hier aber ein letztlich nahezu beliebiges Verfahren verwendet werden, um den Sensorhandschuh 2 beziehungsweise die Sensoren 5 nachzuverfolgen beziehungsweise die Ortskoordinaten der Positionen 7 bis 10 zu bestimmen und den taktilen Datensatz 12 mit dem prä-operativen Datensatz 15 zu registrieren.
-
5 zeigt eine schematische Übersichtsdarstellung zur Veranschaulichung dieser ersten Variante des beschriebenen Verfahrens. Schematisch gezeigt ist hier der lokalisierbare beziehungsweise nachverfolgte Sensorhandschuh 2, der Befunde oder Messwerte an verschiedenen Positionen, hier beispielhaft an der Position 10, liefert. Da der Sensorhandschuh 2 zu dem prä-operativen Bilddatensatz 15 registriert ist, liegen die entsprechenden Positionen 7 bis 10 also prinzipiell im Koordinatensystem des prä-operativen Bilddatensatzes 15 beziehungsweise in dem gemeinsamen Koordinatensystem 14 vor. Dementsprechend können die taktilen Daten beziehungsweise der taktile Datensatz 12 als Zusatzdaten in dem prä-operativen Bilddatensatz 15 eingeblendet werden, um das angereicherte Bild 16 zu erzeugen. Dies ermöglicht dann beispielsweise eine verbesserte prä-operative Diagnose und/oder Behandlungsplanung und/oder eine besonders zuverlässige Durchführung eines entsprechenden Eingriffs.
-
Weiterführend kann dann im Verfahrensschritt S6 ein Livebild 18 des Patienten 17 aufgenommen werden. Das Livebild 18 kann - gegebenenfalls ebenfalls mittels des Systems 21 - als 2D-Durchleuchtungsbild beispielsweise unmittelbar vor oder während des jeweiligen Eingriffs aufgenommen werden. Das Livebild 18 kann automatisch mit dem prä-operativen Bilddatensatz 15 beziehungsweise mit dem gemeinsamen Koordinatensystem 14 und letztlich auch mit dem taktilen Datensatz 12 registriert sein oder registriert werden. Dementsprechend kann dann ein neues angereichertes Bild 16 durch Fusionieren des bis dahin vorliegenden prä-operativen angereicherten Bildes 16 beziehungsweise des prä-operativen Bilddatensatzes 15 und des taktilen Datensatzes 12 mit dem Livebild 18 erzeugt werden. Dies ist hier dadurch veranschaulicht, dass die farbcodierten Datenpunkte 13 als Überlagerung in dem Livebild 18 eingeblendet sind. Der Übersichtlichkeit halber sind hier nur einige der Datenpunkte 13 gekennzeichnet.
-
6 zeigt eine weitere schematische Übersichtsdarstellung zur Veranschaulichung einer zweiten Variante des beschriebenen Verfahrens. Dabei können der taktile Datensatz 12 beziehungsweise dessen Datenpunkte 13 ohne Verwendung des prä-operativen Datensatzes 15 direkt mit dem Livebild 18 fusioniert werden, um das angereicherte Bild 16 zu erzeugen. Dabei können ebenfalls der Sensorhandschuh 2 und das Livebild 18 beziehungsweise die zum Aufnehmen des Livebilds 18 verwendete Bilderfassungseinrichtung 22 miteinander oder über ein gemeinsames Koordinatensystem 14 registriert sein. Insbesondere können also der Sensorhandschuh 2 beziehungsweise die Sensoren 5 direkt mit der jeweils verwendeten Bildgebungsmodalität registriert sein. Hierfür können ebenfalls die beschriebenen Registrierungsmethoden verwendet werden. Somit kann vorteilhaft auch in der Echtzeit- oder Livebildgebung das angereicherte Bild 16 zur Unterstützung erzeugt und verwendet werden, ohne dass der prä-operative Bilddatensatz 15 verwendet werden muss. Auch hier können also der taktile Datensatz 12 beziehungsweise die Datenpunkte 13 als Tastbefunde, die die mechanischen Eigenschaften des jeweiligen Zielobjekts, die typischerweise nicht oder nicht quantitativ aus dem Livebild 18 alleine hervorgehen, charakterisieren, mit dem Livebild 18 überlagert werden, um das angereicherte Bild 16 zu erzeugen.
-
7 zeigt eine weitere schematische Übersichtsdarstellung zur Veranschaulichung des beschriebenen Verfahrens in einer dritten Variante. Auch hier werden die taktilen Daten mittels des Sensorhandschuhs 2 aufgenommen. Anstelle des Livebildes 18, das beispielsweise ein Angiographie- oder Fluoroskopiebild sein kann, wird hier jedoch ein optisches Laparoskopbild 19 verwendet. Der taktile Datensatz 12 wird also zum Erzeugen des angereicherten Bildes 16 hier mit dem Laparoskopbild 19 fusioniert.
-
Unabhängig von der Variante des Verfahrens zum Erzeugen des angereicherten Bildes 16 kann dieses im Verfahrensschritt S8 auf der Anzeige 30 ausgegeben werden. Die Anzeige 30 kann ein Bildschirm aber ebenso eine AR- oder VR-Brille (AR: augmentierte Realität, VR: virtuelle Realität) und/oder dergleichen mehr sein oder umfassen.
-
In dem angereicherten Bild 16 können zusätzlich zu den taktilen Daten noch weitere Zusatzdaten 20 eingeblendet werden. Diese Zusatzdaten 20 können beispielsweise Bilddaten aus einer weiteren Bildgebungsmodalität oder virtuelle Objekte sein. So können als die Zusatzdaten 20 beispielsweise ein zuvor in einem Kontrastmittelverfahren abgebildeter Gefäßbaum des Organs 11, eine beispielsweise mittels eines Farbstoffs erzeugte Markierung oder Veranschaulichung unterschiedlicher Gewebebereiche, ein geplanter Instrumentenpfad und/oder dergleichen mehr sein.
-
Letztlich kann durch das angereicherte Bild 16 hier dem medizinischen Personal in einer einzigen Darstellung mehr Informationsgehalt vermittelt werden, wodurch letztlich beispielsweise eine genauere und schonendere Tumorresektion ermöglicht werden kann. Insgesamt zeigen die beschriebenen Beispiele, wie ein weiter verbesserter Behandlungserfolg in der bildunterstützten Medizin durch Registrierung und Fusion taktiler Daten mit Bilddaten, beispielsweise Laparoskopbildern oder Röntgenbildern, ermöglicht werden kann.
