DE102019208355A1 - Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger - Google Patents

Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger Download PDF

Info

Publication number
DE102019208355A1
DE102019208355A1 DE102019208355.2A DE102019208355A DE102019208355A1 DE 102019208355 A1 DE102019208355 A1 DE 102019208355A1 DE 102019208355 A DE102019208355 A DE 102019208355A DE 102019208355 A1 DE102019208355 A1 DE 102019208355A1
Authority
DE
Germany
Prior art keywords
correspondence
tissue
registration
data set
resected material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019208355.2A
Other languages
English (en)
Inventor
Alois Regensburger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to DE102019208355.2A priority Critical patent/DE102019208355A1/de
Priority to US16/894,880 priority patent/US11602398B2/en
Priority to CN202010511467.8A priority patent/CN112043378A/zh
Publication of DE102019208355A1 publication Critical patent/DE102019208355A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B2017/320064—Surgical cutting instruments with tissue or sample retaining means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A61B2034/207—Divots for calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/395—Visible markers with marking agent for marking skin or other tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Abstract

Verfahren zur Navigationsunterstützung einer eine Resektion an einem Patienten (3) durchführenden Person nach Entnahme eines Resektats (5) zur Navigation bezüglich des Resektats (5), gekennzeichnet durch folgende Schritte:- Aufnahme eines ersten Oberflächendatensatzes des Resektats (5) mit einer Ex-Vivo-Scaneinrichtung (16),- Ermittlung eines wenigstens einen Teil der verbliebenen Gewebeoberfläche (7) des Entnahmebereichs (6) des Resektats (5) im Patienten (3) abdeckenden zweiten Oberflächendatensatzes des Entnahmebereichs (6) unter Verwendung eines Aufnahmeinstruments (9, 11),- Registrierung des ersten Oberflächendatensatzes des Resektats (5) mit dem zweiten Oberflächendatensatz des Entnahmebereichs (6) auf der Grundlage von sich entsprechenden Oberflächenmerkmalen des Resektats (5) und der verbleibenden Gewebeoberfläche (7) im Entnahmebereich (6), und- Durchführen wenigstens einer die Navigation im Entnahmebereich (6) bezüglich des Resektats (5) unterstützenden Unterstützungsmaßnahme unter Verwendung der Registrierung.

Description

  • Die Erfindung betrifft ein Verfahren und ein Unterstützungssystem zur Navigationsunterstützung einer eine Resektion an einem Patienten durchführenden Person nach Entnahme eines Resektats zur Navigation bezüglich des Resektats im Entnahmebereich. Daneben betrifft die Erfindung ein Computerprogramm und einen elektronisch lesbaren Datenträger.
  • Eine Möglichkeit, das Auftreten von malignem Gewebe, beispielsweise einem Tumor, innerhalb eines Patienten zu behandeln, ist die Entfernung des malignen Gewebes. Dieser Vorgang wird auch als Resektion bezeichnet; der Gewebeanteil, der das maligne Gewebe möglichst vollständig enthalten sollte, wird als Resektat bezeichnet. Ziel ist dabei eine sogenannte R0-Resektion, das bedeutet, dass kein malignes Gewebe mehr im Resektionsrand nachweisbar sein soll oder ein definierter Mindestabstand zum malignen Gewebe eingehalten wird. Beispielsweise möchte ein Chirurg nach einer Tumorresektion möglichst schnell und aussagekräftig wissen, ob die Resektion aus onkologischer Sicht erfolgreich war, mithin keine Reste des Tumorgewebes mehr im Patientenkörper vorhanden sein sollten. Liegt keine RO-Resektion vor, kann, wenn die Information schnell vorliegt, auf schnelle Art und Weise nochmals nachreseziert werden und zusätzliches Gewebe entfernt werden.
  • In diesem Kontext ist es beispielsweise bekannt, eine sogenannte Schnellschnittdiagnostik des Resektats in der Pathologie vorzunehmen. Dabei werden Gewebeschnitte angefertigt und es wird die Einhaltung der Abstände malignen Gewebes vom Rand des Resektats überprüft. Nach ungefähr 10 bis 15 Minuten kann der so entstehende Befund in den Operationsraum zurückgemeldet werden, beispielsweise telefonisch.
  • Zur Verbesserung der diesbezüglichen Situation wurden inzwischen digitale Histologiegeräte für den Operationsraum vorgeschlagen, welche auch als Ex-Vivo-Scaneinrichtungen bezeichnet werden können. Dabei kann das aus einem Patienten entfernte Resektat, beispielsweise nach einer Tumoroperation, an der Oberfläche abgescannt werden, um Aussagen über das Vorhandensein von malignem Gewebe an der Oberfläche des Resektats zu liefern. Im Anschluss hieran weiterhin eine Schnellschnittdiagnostik durch einen Pathologen durchgeführt werden. Allerdings stehen die Befunde der Ex-Vivo-Scaneinrichtung unmittelbar im Operationsraum zur Verfügung. Mithin kann der Arzt die Ergebnisse des digitalen Histologiegeräts betrachten und grob abschätzen, wo voraussichtlich nachreseziert werden müsste. Hierbei besteht allerdings das Problem, dass dies nur einer groben Abschätzung entspricht und gegebenenfalls eine falsche und/oder deutlich zu große Nachresektion stattfindet.
  • Vorgeschlagen wurden auch sogenannte digitale Biopsiewerkzeuge, die punktweise Aufnahmen im Operationsfeld erlauben. Hierbei wird ein kleiner Ausschnitt der Oberfläche, die durch Entnahme des Resektats entstanden ist, beispielsweise im Bereich von wenigen Quadratmillimetern, mittels optischer Methoden, beispielsweise Mikroskopie und/oder optischer Kohärenztomographie, abgescannt.
  • Ein derartiges digitales Biopsiewerkzeug lässt sich beispielsweise DE 10 2014 103 044 A1 entnehmen. Dort umfasst eine Gruppe von Geräten mindestens ein Endomikroskop zum Erfassen zellulär aufgelöster Bilddaten von einem Operationsfeld. Zudem kann ferner eine Abbildungsvorrichtung zum Aufnehmen von Übersichtsbilddaten von dem Operationsfeld, konkret ein Operationsmikroskop, vorgesehen sein.
  • Problematisch an solchen digitalen Biopsiewerkzeugen ist, dass nur punktuelle Ausschnitte abgescannt werden können, mithin ein großflächiges Abscannen wegen des großen Zeitaufwands nicht praktikabel ist. Dabei soll unter einem großflächigen Abscannen vorliegend mindestens eine Fläche einer Größe von 1 cm2 verstanden werden.
  • US 2017/0105601 A1 betrifft ein Verfahren und ein System zur Berechnung eines Volumens resezierten Gewebes, also eines Resektats, aus einem Strom intraoperativer Bilder. Hierbei werden die beispielsweise mit einem Laparoskop aufgenommenen 2- oder 2,5-dimensionalen intraoperativen Bilder aus unterschiedlichen Winkeln bezüglich des Resektats aufgenommen, wobei eine resezierte Gewebeoberfläche in jedem der intraoperativen Bilder segmentiert wird, die segmentierten Gewebeoberflächen zusammengesetzt werden und so eine dreidimensionale Punktwolkenrepräsentation der Oberfläche des Resektats erhalten wird. Diese kann dann zur Volumenbestimmung genutzt werden.
  • Der Erfindung liegt die Aufgabe zugrunde, einer eine Resektion durchführenden Person eine verbesserte Möglichkeit zur Zuordnung von Merkmalen des Resektats zum Entnahmebereich bereitzustellen.
  • Zur Lösung dieser Aufgabe sind erfindungsgemäß ein Verfahren, ein Unterstützungssystem, ein Computerprogramm und ein elektronisch lesbarer Datenträger gemäß den unabhängigen Ansprüchen vorgesehen. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
  • Ein erfindungsgemäßes Verfahren zur Navigationsunterstützung einer eine Resektion an einem Patienten durchführenden Person nach Entnahme eines Resektats zur Navigation bezüglich des Resektats im Entnahmebereich weist folgende Schritte auf:
    • - Aufnahme eines ersten Oberflächendatensatzes des Resektats mit einer Ex-Vivo-Scaneinrichtung,
    • - Ermittlung eines wenigstens einen Teil der Oberfläche des Entnahmebereichs des Resektats im Patienten abdeckenden zweiten Oberflächendatensatzes des Entnahmebereichs unter Verwendung eines Aufnahmeinstruments,
    • - Registrierung des ersten Oberflächendatensatzes des Resektats mit dem zweiten Oberflächendatensatz des Entnahmebereichs auf der Grundlage von sich entsprechenden Oberflächenmerkmalen des Resektats und der Oberfläche des verbleibenden Gewebes im Entnahmebereich, und
    • - Durchführen wenigstens einer die Navigation im Entnahmebereich bezüglich des Resektats unterstützenden Unterstützungsmaßnahme unter Verwendung der Registrierung.
  • Die vorliegende Erfindung schlägt mithin vor, oberflächenbasiert eine Korrespondenz zwischen Orten auf dem Resektat und Orten auf der durch die Entnahme des Resektats entstandenen, im Körper des Patienten verbliebenen Gewebeoberfläche im Entnahmebereich herzustellen, so dass dann, wenn ein relevantes Anzeigemerkmal in seiner Lage auf der Oberfläche des Resektats bekannt ist, die Unterstützungsmaßnahme, insbesondere durch Wiedergabe einer Darstellung, geeignet ist, die die Resektion durchführende Person zu dem korrespondierenden Ort auf der Oberfläche im Entnahmebereich zu führen bzw. diesen korrespondierenden Ort schneller auffindbar zu machen. Mikroskopische und makroskopische Zell- und/oder Gewebestrukturen bilden, so ein Grundgedanke der vorliegenden Erfindung, in Oberflächendaten bzw. allgemein Bilddaten identifizierbare Oberflächenmerkmale, wobei starke Ähnlichkeiten dieser Merkmale am Resektat und am ehemals damit verbundenen Oberflächenbereich im Entnahmebereich existieren können, da sie ja vor dem durchführen des Resektion ursprünglich eine zusammenhängende bzw. nahezu zusammenhängende Struktur bildeten und während dem Durchführen der Resektion erst auseinander geschnitten wurden. Andererseits kann auch, worauf näher eingegangen werden wird, bei schlechterer Erkennbarkeit der Zusammengehörigkeit von deutlich erkennbaren Oberflächenmerkmalen die Korrespondenz durch Beobachtung während des Resektionsvorgangs hergestellt werden. Beispiele für Ähnlichkeiten, die aufgefunden werden können, umfassen Muster in der Zellanordnung, Gewebegrenzschichten, Blutgefäße, Gewebedichten und Zellarten sowie gegebenenfalls auch das Infiltrationsmuster von Tumorzellen.
  • Sich entsprechende Merkmale kennzeichnen somit sich entsprechende, also korrespondierende, Orte, auf den jeweiligen Oberflächen. Dabei korrespondieren Orte auf der Oberfläche des Resektats mit Orten auf der durch die Entfernung des Resektats entstandenen Oberfläche des Entnahmebereichs, wenn sie vor der Resektion direkt oder nahezu direkt miteinander zusammenhingen. Mit anderen Worten dienen die hier beschriebenen Registrierungsverfahren dazu, Orten auf der Oberfläche des Resektats die Orte auf der im Patienten verbliebenen und durch die Resektion entstandenen Oberfläche zuzuordnen, die sich zuvor nächstmöglich an den erstgenannten Orten befanden. Sei ein Ort, beispielsweise eines Anzeigemerkmals, auf der Oberfläche des Resektats als aR bezeichnet. Der korrespondierende Ort auf der durch die Resektion entstandenen Oberfläche im Entnahmebereich sei als bv bezeichnet. Dabei kann aR entweder zweidimensional auf einem geeigneten Koordinatensystem der Gewebeoberfläche des Resektats definiert sein oder aber dreidimensional in einem 3D-Koordinatensystem des Resektats bzw. seiner Oberfläche; für bv gilt dies entsprechend für ein Koordinatensystem der verbleibenden Gewebeoberfläche bzw. des verbleibenden Gewebevolumens, wobei hier bevorzugt ein patientenbezogenes Koordinatensystem oder zumindest ein Koordinatensystem, das mit einem derartigen patientenbezogenen Koordinatensystem registriert ist, verwendet wird, wobei das patientenbezogene Koordinatensystem beispielsweise von einem Navigationssystem, welches insbesondere Instrumente und/oder Geräte nachverfolgen (tracken) kann, genutzt wird. Beispielsweise kann die Korrespondenz der Orte mathematisch folgendermaßen definiert werden. Bv bezeichnet den dreidimensionalen Ort im zusammenhängenden Gewebe vor der Resektion, an dem sich die Zellen/das Gewebeelement am Ort bv des nach der Resektion verbleibenden Gewebes ursprünglich befanden. AR bezeichne entsprechend den dreidimensionalen Ort im zusammenhängenden Gewebe vor der Resektion, an dem sich die Zellen/das Gewebeelement am Ort aR des Resektats ursprünglich befanden. Als „korrespondierend zu aR“ (bzw. „entsprechend zu aR“) wird derjenige Ort bv aus der Menge {b} aller Orte der durch die Resektion entstandenen, verbliebenen Gewebeoberfläche bezeichnet, welcher als Ort BV im ursprünglichen dreidimensionalen zusammenhängenden Gewebevolumen den minimalen Abstand zu AR hatte.
  • Das Registrierungsergebnis ermöglicht es mithin, Orten auf der Oberfläche des Resektats entsprechende Orte auf der Oberfläche im Entnahmebereich im Patienten zuzuordnen. Auf diese Weise ist eine Verknüpfung von digitaler Histologie und intraoperativer Navigation/Bildgebung möglich. Die die Resektion durchführende Person wird bei der schnellen und zielgerichteten Korrektur von beispielsweise nicht kompletten Resektionen unterstützt. Die Ergebnisse der digitalen Histologie können direkt in das Operationsfeld übertragen werden, so dass die Möglichkeit der direkten Korrektur eines Fehlers bei der Resektion möglich ist.
  • Vorzugsweise kann das Aufnahmeinstrument in einem patientenbezogenen Koordinatensystem mittels eines Navigationssystems nachverfolgt werden, wobei auch der zweite Oberflächendatensatz in dem patientenbezogenen Koordinatensystem aufgenommen bzw. ermittelt wird oder vorliegt. Dabei kann insbesondere die Unterstützungsmaßnahme eine Darstellung der relativen Position wenigstens eines Anzeigemerkmals des Resektats zu dem Aufnahmeinstrument und/oder einem weiteren, durch das Navigationssystem in dem patientenbezogenen Koordinatensystem nachverfolgten Instruments und/oder der Oberfläche des Entnahmebereichs umfassen. Mithin kann mit besonderem Vorteil ein Navigationssystem verwendet werden, das in einem patientenbezogenen Koordinatensystem arbeitet. Liegt nun der zweite Oberflächendatensatz im selben Koordinatensystem vor, beispielsweise, da das Aufnahmeinstrument ohnehin mit dem Navigationssystem getrackt wird, bzw. lässt er sich zumindest in das patientenbezogene Koordinatensystem umrechnen, können aufgrund des Registrierungsergebnisses Auswertungsergebnisse, insbesondere Anzeigemerkmale, des ersten Oberflächendatensatzes, also ortsbezogene Informationen des Implantats, dank des Registrierungsergebnisses im patientenbezogenen Koordinatensystem lokalisieren, mithin dort insbesondere für Unterstützungsmaßnahmen eingesetzt werden. Insbesondere ist also eine Darstellung bezüglich anderer im patientenbezogenen Koordinatensystem vorliegender Informationen denkbar, beispielsweise eine relative Position von Anzeigemerkmal und Aufnahmeinstrument und/oder anderen verwendeten Instrumenten und Werkzeugen. Neben darstellenden Unterstützungsmaßnahmen, die der die Resektion durchführenden Person die Lage von Anzeigemerkmalen des Resektats im patientenbezogenen Koordinatensystem intuitiv bewusst machen, sind im Rahmen der vorliegenden Erfindung auch andere Unterstützungsmaßnahmen denkbar, beispielsweise navigationsartige Zielführungsausgaben und dergleichen. Insbesondere unterstützend zu darstellenden Unterstützungsmaßnahmen können weitere Ausgabemaßnahmen als Unterstützungsmaßnahmen getroffen werden, beispielsweise nach Art einer akustischen Navigation, bei der beispielsweise die Frequenz des Aufeinanderfolgens von Tönen erhöht wird, je näher ein Instrument/Werkzeug einem Anzeigemerkmal kommt und dergleichen.
  • Das Anzeigemerkmal kann, wie bereits dargestellt wurde, insbesondere durch Auswertung des ersten Oberflächendatensatzes und/oder eines weiteren Bilddatensatzes des Resektats, der mit dem ersten Oberflächendatensatz registriert ist oder wird, ermittelt werden, wobei der weitere Bilddatensatz des Resektats bevorzugt ebenso mit der Ex-Vivo-Scaneinrichtung aufgenommen wird. Beispielsweise kann eine Ex-Vivo-Scaneinrichtung ausgestaltet sein, das Resektat mit unterschiedlichen Modalitäten, beispielsweise durch eine Kamera und/oder ein Mikroskop und/oder optische Kohärenztomographie und/oder Fluoreszenzbildgebung, aufzunehmen, wobei die am besten der Modalität des zweiten Oberflächendatensatzes entsprechende Modalität für den ersten Oberflächendatensatz ausgewählt wird. Aufgrund der Verwendung derselben Ex-Vivo-Scaneinrichtung wären weitere Bilddatensätze des Resektats dann bereits automatisch mit dem ersten Oberflächendatensatz des Resektats registriert.
  • Dabei sei an dieser Stelle erwähnt, dass wenigstens eines des wenigstens einen Anzeigemerkmals auch durch den gesamten ersten Oberflächendatensatz und/oder den gesamten weiteren Bilddatensatz, gegebenenfalls auch in annotierter Form, gegeben sein kann. Beispielsweise kann also als Unterstützungsmaßnahme vorgesehen sein, eine Darstellung des gegebenenfalls vorausgewerteten und/oder annotierten ersten Oberflächendatensatzes und/oder weiteren Bilddatensatzes gemeinsam mit einem Instrument/Werkzeug bzw. einer entsprechenden Markierung an einer Anzeigeeinrichtung wiederzugeben.
  • Dabei ist in diesem Zusammenhang noch darauf hinzuweisen, dass mit besonderem Vorteil vorgesehen sein kann, dass wenigstens eines des wenigstens einen Anzeigemerkmals das Vorliegen einer malignen Veränderung im Resektat in einer definierten Nähe zur Oberfläche des Resektats beschreibt, welches durch wenigstens teilweise automatische Auswertung des ersten Oberflächendatensatzes und/oder eines weiteren Bilddatensatzes des Resektats, der mit dem ersten Oberflächendatensatz registriert ist oder wird, ermittelt wird. Insbesondere bei einer Tumorresektion können auf diese Weise als das Anzeigemerkmal beispielsweise an der Oberfläche liegende bzw. äußerst oberflächennahe, einen die definierte Nähe beschreibenden Sicherheitsabstand unterschreitende Tumorzellen und/oder Infiltrationsmuster aufweisende Orte verwendet werden. Nachdem die Resektion üblicherweise der Entnahme malignen Gewebes dient, geben derartige Anzeigemerkmale mithin einen deutlichen Hinweis darauf, an welchen Stellen eine Nachresektion notwendig bzw. sinnvoll ist. Durch entsprechende Unterstützungsmaßnahmen, welche das Anzeigemerkmal nutzen, sind diese Bereiche deutlich einfacher und intuitiver aufzufinden, da dank des Registrierungsergebnisses Orte auf dem Resektat in innerhalb des patientenbezogenen Koordinatensystems beschriebene Orte umgerechnet werden können und umgekehrt.
  • Zweckmäßigerweise kann zur Darstellung der relativen Position eine Augmented-Reality-Einrichtung, insbesondere eine Augmented-Reality-Brille, und/oder eine Anzeigeeinrichtung zur Wiedergabe des ersten und/oder zweiten Oberflächendatensatzes, wobei das Instrument und/oder das weitere Instrument und/oder eine deren relative Position anzeigende Markierung in den ersten und/oder zweiten Oberflächendatensatz eingeblendet werden, und/oder zur Wiedergabe eines aktuellen Bildes des Aufnahmeinstruments und/oder wenigstens eines des wenigstens einen weiteren Instruments, insbesondere eines Laparoskops, wobei das wenigstens eine Anzeigemerkmal aus dem ersten Oberflächendatensatz in das Bild eingeblendet wird, verwendet werden. Dabei kann es besonders zweckmäßig sein, wenn der erste und/oder der zweite Oberflächendatensatz als eine Oberflächenkarte dargestellt werden, was sowohl zweidimensional als auch bei entsprechender Aufnahmemodalität dreidimensional möglich ist. Ferner ist es im Rahmen der vorliegenden Erfindung besonders bevorzugt, wenn bei Verwendung einer Augmented-Reality-Einrichtung (AR-Einrichtung) Bereiche, in denen die durch wenigstens eines des wenigstens einen Anzeigemerkmals beschriebene maligne Veränderung vorliegt, ortsgetreu in dem Entnahmebereich und/oder dem aktuellen Bild des Entnahmebereichs angezeigt werden.
  • Mit anderen Worten ermöglicht die vorliegende Erfindung unterschiedlichste Visualisierungsvarianten als Unterstützungsmaßnahmen, um die Unterstützung hinsichtlich von Anzeigemerkmalen am Resektat vornehmen zu können. Beispielsweise ist es also denkbar, eine zweidimensionale oder dreidimensionale Oberflächenkarte, insbesondere Gewebekarte, und/oder eine andere Repräsentation des Resektats, beispielsweise in Form des insbesondere annotierten ersten Oberflächendatensatzes und/oder weiteren Bilddatensatzes, samt eingefärbter Bereiche mit maligne verändertem Gewebe, insbesondere Tumorzellen, anzuzeigen. Ein Instrument, beispielsweise das Aufnahmeinstrument und/oder ein digitales Biopsiewerkzeug und/oder ein navigiertes Eingriffsinstrument kann als sich virtuell darüber bewegend aufgrund des Registrierungsergebnisses eingeblendet werden. Das bedeutet, während sich das Instrument im Realraum an einem Ort bzw. in der Nähe eines Orts an der Oberfläche des verbleibenden Gewebes im Entnahmebereich befindet, wird es virtuell am korrespondierenden Ort auf der Oberfläche des Resektats eingeblendet bzw. der korrespondierende Ort/Ortsbereich wird anderweitig markiert. Dabei sind sowohl zweidimensionale als auch dreidimensionale Darstellungsvarianten, je nachdem, wie die Oberflächendatensätze und weitere Informationen vorliegen, denkbar.
  • Eine andere Visualisierungsvariante kann beispielsweise vorsehen, dass Bereiche maligner Veränderungen, beispielsweise also mit Tumorzellen, wiederum als Anzeigemerkmal verwendet werden, allerdings die zu Bereichen mit Tumorzellen auf der Oberfläche des Resektats korrespondierenden Oberflächenbereiche auf der durch Entnahme des Resektats verbleibenden Oberfläche des verbleibenden Gewebes als Augmented Reality und/oder auf einem virtuellen zweidimensionalen oder dreidimensionalen Oberflächenmodell bzw. einer Oberflächenkarte, vorzugsweise samt Einblendung der navigierten Instrumente, dargestellt werden.
  • Wie bereits angedeutet, kann vorgesehen sein, dass der erste Oberflächendatensatz und/oder der zweite Oberflächendatensatz und/oder der weitere Bilddatensatz mit einer optischen Bildgebungsmodalität, insbesondere einer Kamera und/oder optischer Kohärenztomographie und/oder Fluoreszenzbildgebung und/oder konfokaler Mikroskopie und/oder Lasermikroskopie, aufgenommen werden. Dabei ist es insbesondere möglich, dass der erste Oberflächendatensatz und der zweite Oberflächendatensatz mit unterschiedlichen Modalitäten aufgenommen wurden. Beispielsweise kann die Oberfläche des Resektats durch die Ex-Vivo-Scaneinrichtung großflächig mit optischer Kohärenztomographie abgescannt worden sein, während die durch die Entnahme des Resektats entstandene Oberfläche des verbleibenden Gewebes im Entnahmebereich punktweise, also in sehr kleinen Ausschnitten, mit optischer, konfokaler Mikroskopie aufgenommen wurde. Eine andere denkbare Ausgestaltung sieht vor, dass die Oberfläche des Resektats großflächig mit hochauflösender optischer Mikroskopie aufgenommen wird, die Oberfläche des verbleibenden Gewebes aber mit einem niedriger auflösenden Laparoskop oder Operationsmikroskop.
  • Denkbar ist es ferner auch, mehrere unterschiedliche Modalitäten für jeweils erste und/oder zweite Oberflächendatensätze zu verwenden. So kann beispielsweise vorgesehen sein, die Oberfläche des Resektats mit zwei zueinander registrierten Modalitäten zu vermessen, beispielsweise sowohl Scan-LaserMikroskopie als auch ein Bild mit einer im Mikroskop integrierten Überblickskamera. In einem solchen Fall kann beispielsweise auf Basis des ersten Oberflächendatensatzes der Übersichtskamera eine Grobregistrierung durchgeführt werden bzw. mehrere Kandidaten für eine grobe Registrierung bestimmt werden, welche dann bei oder mit mikroskopischen Methoden feinjustiert bzw. validiert werden können. Möglichkeiten, wie derartige unterschiedliche Modalitäten im Rahmen eines Registrierungsvorgangs dennoch zusammengeführt werden können, werden im Folgenden noch detailliert beschrieben.
  • In einer vorteilhaften, konkreten Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass als das Aufnahmeinstrument ein digitales, die Gewebeoberfläche im Entnahmebereich ausschnittsweise, insbesondere in einem Ausschnitt einer Größe von 0,01 bis 10 mm2, vermessendes Digitalbiopsiewerkzeug verwendet wird, wobei im Rahmen der Registrierung der korrespondierende Ausschnitt auf der Oberfläche des Resektats lokalisert wird. In diesem Fall wird also neben der Ex-Vivo-Scaneinrichtung, welche großflächige Oberflächenaufnahmen des Resektats erlaubt, ein digitales Biopsiewerkzeug für „punkweise“ Aufnahmen, beispielsweise mikroskopisch und/oder mittels optischer Kohärenztomographie, im Operationsfeld eingesetzt, wobei das Digitalbiopsiewerkzeug besonders bevorzugt, wie beschrieben, mittels des Navigationssystems nachverfolgt wird. Dabei sei an dieser Stelle noch angemerkt, dass das Navigationssystem allgemein beispielsweise als optisches und/oder elektromagnetisches Navigationssystem ausgebildet sein kann, wie dies im Stand der Technik grundsätzlich bekannt ist und vorliegend nicht genauer dargelegt werden muss.
  • Eine Nachverfolgung des Digitalbiopsiewerkzeugs über ein bzw. das Navigationssystem ist insbesondere dann sinnvoll, wenn mehrere Ausschnitte aufgenommen werden sollen. Allgemein kann also zweckmäßigerweise der zweite Oberflächendatensatz Messungen für mehrere Ausschnitte umfassen, wobei die Position und Orientierung (Pose) des Digitalbiopsiewerkzeugs über das Navigationssystem feststellbar ist, mithin die Ausschnitte in ihrer relativen Anordnung bekannt sind. Hinsichtlich der Registrierung kann beispielhaft vorgesehen sein, dass zunächst die Registrierung für einen Ausschnitt erfolgt, wonach überprüft wird, ob dies auch für den Rest der Ausschnitte gültig ist; selbstverständlich sind auch andere Registrierungsansätze wählbar. Bei mehreren Ausschnitten im zweiten Oberflächendatensatz sind diese bevorzugt im Wesentlichen gleich verteilt gewählt, so dass letztlich digitale Messproben an unterschiedlichen Bereichen der verbleibenden Gewebeoberfläche und somit auch für das Resektat vorliegen.
  • In einer vorteilhaften Weiterbildung der Erfindung kann vorgesehen sein, dass durch Auswertung des ersten Oberflächendatensatzes wenigstens ein Bereich mit in den Oberflächendaten des Digitalbiopsiewerkzeugs erkennbaren Oberflächenmerkmalen ermittelt und in Bezug zum Resektat der Person angezeigt wird. Mithin kann bereits durch einen Vorauswertungsvorgang des ersten Oberflächendatensatzes geschlussfolgert werden, in welchem (insbesondere größeren) Bereich viele Oberflächenmerkmale vorliegen, die sich hinsichtlich einer Registrierung besonders eignen, so dass die die Resektion durchführende Person gezielt auf entsprechende Bereiche am Resektat hingewiesen werden kann. Wenn es sich hierbei um größere Bereiche handelt, kann die Person wenigstens grob anhand des Resektats zuordnen, wo ungefähr im Entnahmebereich das Digitalbiopsiewerkzeug angesetzt werden muss. Auf diese Weise ist eine weitere Unterstützung der den Eingriff durchführenden Person gegeben.
  • In einer äußerst vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass im Rahmen der Registrierung ein die Verlässlichkeit des Registrierungsergebnisses beschreibendes Qualitätsmaß ermittelt wird, wobei bei Unterschreitung eines Schwellwertes durch das Qualitätsmaß eine Aufnahme eines weiteren Ausschnitts angefordert wird, und/oder dass zur Überprüfung einer durch die Unterstützungsmaßnahme vermittelten Information wenigstens eine Verifizierungsmessung mit dem Digitalbiopsiewerkzeug vorgenommen wird, insbesondere zur Überprüfung des Vorliegens einer malignen Veränderung an einer aktuellen Position des Digitalbiopsiewerkzeugs. Es kann also eine iteratives Vorgehen erfolgen, das bedeutet, es kann beispielsweise, insbesondere ausgehend von einer bestimmten Zahl von vermessenen Ausschnitten, beispielsweise 1 bis 5 Ausschnitten, nach jedem Registrierungsvorgang überprüft werden, ob eine gewünschte Registrierungsqualität erreicht ist. Qualitätsmaße, die die Registrierungsqualität und somit die Verlässlichkeit der Registrierung beschreiben, wurden im Stand der Technik bereits vorgeschlagen und können auch im Rahmen der vorliegenden Erfindung eingesetzt werden, wobei insbesondere angemerkt wird, dass derartige Qualitätsmaße häufiger Bestandteil ohnehin bekannter Algorithmen bzw. Teilalgorithmen sind. Ist die Qualität der Registrierung nicht gut genug, unterschreitet also beispielsweise das Qualitätsmaß einen Schwellwert für das Qualitätsmaß, können weitere Messungen mit dem Digitalbiopsietool angefordert werden, um die Registrierungsqualität auf diese Weise schrittweise zu erhöhen.
  • Mit besonderem Vorteil kann mittels des Digitalbiopsiewerkzeugs auch eine Überprüfung stattfinden. Wurde durch die Unterstützungsmaßnahmen die die Resektion durchführende Person beispielsweise an eine Stelle im Entnahmebereich geführt, wo an der Oberfläche eine Fortsetzung der malignen Veränderung befürchtet wird bzw. an der allgemein gesagt eine Korrespondenz zu einem relevanten Oberflächenmerkmal, insbesondere Anzeigemerkmal, des Resetakts bestehen sollte, kann auf Basis der Unterstützungsmaßnahmen das durch das Navigationssystem nachverfolgte Digitalbiopsiewerkzeug zu diesen korrespondierenden Orten auf der verbleibenden Gewebeoberfläche geführt werden, woraufhin durch eine Messung mit dem Digitalbiopsiewerkzeug verifiziert werden kann, ob die angezeigte Korrespondenz der Orte und somit der Oberflächenmerkmale im Registrierungsvorgang korrekt ermittelt wurde. Aus den Aufnahmen des Digitalbiopsiewerkzeugs kann die Person auch unmittelbar beurteilen, ob auch auf der Seite des verbleibenden Gewebes maligne Veränderungen vorliegen, beispielsweise eine Infiltration mit Tumorzellen vorliegt. Ferner kann eine solche wiederholte Messung selbstverständlich auch genutzt werden, um die Registrierung anhand der hinzugekommenen Daten wenigstens eines Ausschnitts an diesen Orten zu verfeinern.
  • Beispielsweise im Fall von malignen Veränderungen kann optional (außerhalb des hier beschriebenen Verfahrens) dann eine Nachresektion durchgeführt werden, um möglicherweise vorhandene maligne Gewebeveränderungen zu entfernen.
  • Denkbar ist es im Rahmen der vorliegenden Erfindung zusätzlich oder alternativ auch, dass der erste und/oder zweite Oberflächendatensatz aus unter unterschiedlichen Blickrichtungen auf das Resektat bzw. den Entnahmebereich aufgenommenen Teildatensätzen, insbesondere einer Stereokamera, zusammengesetzt wird. Beispielsweise unter Verwendung der in der eingangs genannten US 2017/0105601 A1 genannten Methode, hinsichtlich des Resektats beispielsweise durch Rotation des Resektats vor einer Stereokamera, können dreidimensionale Oberflächenmodelle des Resektats bzw. auch der durch Entnahme des Resektats entstandenen Oberfläche im Entnahmebereich erzeugt werden. Insbesondere kann also vorgesehen sein, dass zunächst aus den Teildatensätzen ein den Oberflächenverlauf beschreibendes Oberflächenmodell, insbesondere als Polygonmodell, ermittelt wird, dem als Textur die Bilddaten der Teildatensätze zugeordnet werden. Das bedeutet, die Kamerabilddaten bilden eine Textur für die insbesondere polygonale Oberfläche, die durch das Oberflächenmodell definiert wird.
  • Wird der erste Oberflächendatensatz, der aus unter unterschiedlichen Blickrichtungen auf das Resektat aufgenommenen Teildatensätzen zusammengesetzt ist, nicht mit der Ex-Vivo-Scaneinrichtung aufgenommen, sondern beispielsweise mit einem Laparoskop und/oder einem anderen Aufnahmeinstrument, kann vorgesehen sein, dass dieser erste erste Oberflächendatensatz mit einem zweiten ersten Oberflächendatensatz der Ex-Vivo-Scaneinrichtung registriert wird, was einfacher mit gängigen Registrierungsmethoden möglich ist, da dieselbe Oberfläche aufgenommen wird. Beispielsweise kann also durch Bildanalyse mittels geeigneter Analysealgorithmen und gegebenenfalls Interpolation/Glättung eine Registrierung der großflächigen Scanergebnisse der Ex-Vivo-Scaneinrichtung zum 3D-Oberflächenmodell des Resektats vorgenommen werden, beispielsweise auf Basis makroskopischer Gewebestrukturen, die sowohl in den Scandaten der Ex-Vivo-Scaneinrichtung als auch in den Bilddaten der entsprechenden Stereokamera des Aufnahmeinstruments, insbesondere Laparoskops, enthalten sind. Eine andere Möglichkeit ist der Einsatz von Markern auf dem Resektat, um die Registrierung solcher mehrerer erster Oberflächendatensätze, von denen einer nicht mit der Ex-Vivo-Scaneinrichtung aufgenommen wurde, zu erreichen. Bevorzugt ist es allerdings, unmittelbar die ja ohnehin eingesetzte Ex-Vivo-Scaneinrichtung zu verwenden.
  • Eine Weiterbildung der vorliegenden Erfindung sieht vor, dass bei Ermittlung eines die gesamte durch die Resektion gebildete Oberfläche des Entnahmebereichs zeigenden zweiten Oberflächendatensatzes und bei Verwendung eines digitalen, die Gewebeoberfläche im Entnahmebereich ausschnittsweise vermessenden Digitalbiopsiewerkzeugs ein durch das Digitalbiopsiewerkzeug vermessener Ausschnitt auf den zweiten Oberflächendatensatz registriert wird, insbesondere bei unterstützender Verwendung des mit dem zweiten Oberflächendatensatz registrierten ersten Oberflächendatensatzes. Das bedeutet, die Messpunkte, also Ausschnitte, des insbesondere nachverfolgten Digitalbiopsiewerkzeugs werden direkt mit dem 3D-Oberflächenmodell der verbleibenden Gewebeoberfläche registriert. Das Auffinden von Korrespondenzen kann durch den geometrischen Abgleich der dreidimensionalen Oberflächenmodelle von Resektat und verbleibender Gewebeoberfläche unterstützt werden.
  • In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann ferner vorgesehen sein, dass nach der Aufnahme des ersten Oberflächendatensatzes dieser zunächst auf das Vorliegen einer malignen Veränderung im Resektat in einer definierten Nähe zur Oberfläche des Resektats ausgewertet wird, wobei dann, wenn keine malignen Veränderungen im Resektat in einer definierten Nähe zur Oberfläche des Resektats erkannt werden, das Verfahren abgebrochen wird, mithin keine Aufnahme des zweiten Oberflächendatensatzes erfolgt und entsprechend auch keine Registrierung. Denn wenn keine malignen Veränderungen an der Oberfläche selbst bzw. bis hin zu einem üblicherweise definierten Sicherheitsabstand existieren, liegt eine sogenannte RO-Resektion vor, so dass die Resektion als erfolgreich abgeschlossen betrachtet werden kann. Werden jedoch noch relevante maligne Veränderungen im Oberflächenbereich des Resektats erkannt, kann der die Resektion durchführenden Person angezeigt werden, dass keine RO-Resektion vorliegt und gegebenenfalls nachreseziert werden muss. Dann kann die die Resektion durchführende Person beispielsweise das Aufnahmeinstrument bzw. dessen aufgenommene Bilddaten gezielt nutzen, um den zweiten Oberflächendatensatz zu erhalten.
  • Im Rahmen der vorliegenden Erfindung existieren zwei grundlegende Ansätze, um zu einer Registrierung des ersten und des zweiten Oberflächendatensatzes zu gelangen. Beide Ansätze, welche bevorzugt kombiniert angewendet werden können, sollen im Folgenden näher dargestellt werden.
  • Dabei basiert der erste Ansatz auf der Grundannahme, dass es zwischen den korrespondierenden Oberflächenorten und somit Oberflächenmerkmalen von Resektat und Entnahmebereich, also verbleibendem Gewebe, Ähnlichkeiten in der jeweiligen Oberflächenbildgebung gibt, die eine musterbasierte bzw. bildbasierte Registrierung erlauben. Beispiele für derartige Gewebemuster bzw. Gewebeeigenschaften, die eine Zuordnung zwischen Oberflächenmerkmalen von Resektat und verbleibendem Geweben über Ähnlichkeiten erlauben, umfassen die Zellstruktur, Zelltypen, die Zellanordnung, die Faserstruktur des Gewebes, die Gefäßstruktur des Gewebes, die spektrale Reflektivität (Farbe) des Gewebes, die Verteilung eines Fluoreszenzfarbstoffs im Gewebe, die Verteilung von malignen Veränderungen, beispielsweise Tumorzellen, auf der sichtbaren Gewebeoberfläche, und Einwirkmuster eines Eingriffsinstruments.
  • In zweckmäßiger konkreter Ausgestaltung des Registrierungsvorgangs kann vorgesehen sein, dass, insbesondere bei Verwendung von jeweils die gesamten Oberflächen beschreibenden Oberflächendatensätzen, die Registrierung in verschiedenen Auflösungsstufen sukzessive erfolgt, insbesondere unter Segmentierung von oberflächlichen Gewebestrukturen als Oberflächenmerkmale, und/oder dass mehrere erste und/oder mehrere zweite Oberflächendatensätze mit unterschiedlichen Modalitäten aufgenommen werden, welche alle zur Registrierung verwendet werden, insbesondere sukzessive von gröberer Auflösung zu feinerer Auflösung.
  • In einer beispielhaften Ausgestaltung ist es also denkbar, dass zunächst makroskopische Gewebestrukturen in den Oberflächendatensätzen segmentiert werden. Derartige makroskopische Gewebestrukturen können beispielsweise Fettbereiche und/oder Muskelfasern sein. Dies geschieht sowohl seitens des Resektats als auch seitens des Entnahmebereichs. Auf Basis dieser Segmentierungen kann beispielsweise eine erste Grobregistrierung durchgeführt werden, die dann in einem oder mehreren weiteren Schritten anhand feinerer Auflösungen bzw. Strukturen, insbesondere bis hin zu mikroskopischen Gewebestrukturen, verbessert bzw. verfeinert werden kann.
  • Doch auch in anderen Fällen kann es sinnvoll sein, die Registrierung sukzessive oder gar gleichzeitig auf mehreren Größenskalen durchzuführen, da insbesondere auf der Ebene sehr kleiner, also mikroskopischer, Oberflächenmerkmale die Registrierung auch an manchen Stellen fehlschlagen kann. Dies liegt darin begründet, dass oftmals bei der Resektion kein glatter Schnitt mit einem scharfen Skalpell zwischen Resektat und verbleibendem Gewebe durchgeführt wird, sondern es vielmehr zu einer stückweisen Abtragung einer dünnen, dazwischenliegenden Gewebeschicht kommen kann, beispielsweise mit einem Saugerinstrument. Entsprechend kann es dazu kommen, dass sehr kleine Strukturen kein Analogon auf der jeweils anderen Seite finden.
  • Zur Registrierung können auch die Auflösungen der zu registrierenden ersten und zweiten Oberflächendatensätze, insbesondere durch digitale Skalierung, aneinander angepasst werden, bzw. es können generell Registrierungsdatensätze unterschiedlicher Auflösungen aus dem ersten und dem zweiten Oberflächendatensatz erzeugt werden, welche dann jeweils sukzessive oder sogar simultan miteinander registriert werden können, jeweils durch Verwendung von Registrierungsdatensätzen gleicher Auflösung. Werden mehrere erste und/oder mehrere zweite Oberflächendatensätze verwendet, kann es jedoch bereits grundsätzlich so sein, dass erste bzw. zweite Oberflächendatensätze unterschiedlicher Auflösung vorliegen, so dass beispielsweise zunächst die gröber aufgelösten Oberflächendatensätze herangezogen werden können, dann die feiner aufgelösten. Denkbar ist es beispielsweise, einen hochaufgelösten ersten Oberflächendatensatz von einer Ex-Vivo-Scaneinrichtung zu erhalten, bezüglich des Entnahmebereichs jedoch einen grob aufgelösten zweiten Oberflächendatensatz, beispielsweise von der Kamera eines Laparoskops, und hervorragend aufgelöste Ausschnitte mit einem Biopsiewerkzeug zu erhalten, in welchem Fall zunächst eine Grobregistrierung anhand des gröber aufgelösten zweiten Oberflächendatensatzes erfolgen kann, wonach versucht wird, die Ausschnitte zu lokalisieren und hiermit die Qualität und Genauigkeit der Registrierung zu erhöhen.
  • Wie bereits erwähnt, können im Rahmen der vorliegenden Erfindung als Oberflächenmerkmale zur Registrierung Zellstrukturen und/oder Zelltypen und/oder Zellanordnungen und/oder Zellcluster und/oder Faserstrukturen des Gewebes und/oder Gefäßstrukturen des Gewebes und/oder spektrale Reflektivitäten des Gewebes und/oder die Verteilung eines Fluoreszenzfarbstoffes im Gewebe und/oder die Verteilung von malignen Veränderungen auf der sichtbaren Gewebeoberfläche und/oder Spuren eines Eingriffsinstruments, insbesondere eines Skalpells und/oder eines Absauggerätes und/oder eines Energieinstruments, verwendet werden.
  • In einer besonders bevorzugten Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass die Oberflächenmerkmale in unterschiedlichen Auflösungsbereichen der Oberflächendatensätze, insbesondere unter Verwendung wenigstens eines Filteralgorithmus und/oder Glättungsalgorithmus und/oder Kantenhervorhebungsalgorithmus, detektiert werden und/oder zu Fingerabdruckdatensätzen, die zur Registrierung verglichen werden, zusammengefasst werden. Beispielsweise durch Filterungsalgorithmen, Glättungsalgorithmen und/oder Kantenhervorhebungsalgorithmen (Kantenaufsteilungsalgorithmen) und/oder Frequenzanalyse können die Gewebestrukturen auf verschiedenen Größenskalen in einem Vorverarbeitungsschritt extrahiert werden. Aus diesen vorverarbeiteten Daten werden bestimmte Oberflächenmerkmale extrahiert, anhand derer in einem weiteren Schritt die räumliche Registrierung erfolgen kann. Die Gesamtheit der Oberflächenmerkmale bzw. deren räumliche Anordnung, insbesondere auch in einem Teilbereich/Ausschnitt der Oberfläche, kann als Fingerabdruck bezeichnet werden, so dass es im Rahmen der vorliegenden Erfindung mithin besonders bevorzugt ist, Fingerabdruckdatensätze zu ermitteln, insbesondere auf unterschiedlichen Größenskalen.
  • Um dann eine Registrierung zwischen der Gewebeoberfläche des Resektats und der Gewebeoberfläche des verbleibenden Gewebes durchzuführen, können beispielsweise Fingerabdruckdatensätze des ersten Oberflächendatensatzes mit Fingerabdrücken des zweiten Oberflächendatensatzes verglichen werden, wobei auf Basis der größten Übereinstimmung eine räumliche Zuordnung und somit Registrierung ermittelt werden kann. Dabei ist es im Rahmen der vorliegenden Erfindung beim Vergleich von Fingerabdruckdatensätzen auch denkbar, mehrere Korrespondenz-Kandidaten mit hoher Übereinstimmung der Oberflächenmerkmale auszugeben. Geschieht dies insbesondere auch auf verschiedenen Größenskalen, lässt sich auf robuste Weise ein Registrierungsergebnis ableiten. Über die Zuordnung von Fingerabdrücken bzw. daraus errechneten Hash-Werten von Gewebeabschnitten kann gegenüber einem direkten bildbasierten Vergleich Rechenkapazität gespart werden.
  • Insbesondere bei der Verwendung eines Digitalbiopsiewerkzeugs kann vorgesehen sein, dass zur Registrierung bei die durch die Resektion gebildete Oberfläche des Entnahmebereichs nur ausschnittsweise wiedergebendem zweiten Oberflächendatensatz Fingerabdruckdatensätze der Größe des Ausschnitts und/oder der neunfachen Größe des Ausschnitts erzeugt und mit einem Fingerabdruckdatensatz des Ausschnitts verglichen werden. Beispielsweise kann also der Fingerabdruck einer ausschnittsweisen Messung, insbesondere mit dem Digitalbiopsiewerkzeug, auf der verbleibenden Oberfläche mit den ermittelten Fingerabdrücken des Resektats verglichen werden. Hierbei werden zweckmäßigerweise vergleichbare Größenskalen angewendet, gegebenenfalls auch in mehreren Schritten, um zunächst festzustellen, in welchem größeren Bereich der Ausschnitt gegebenenfalls liegt, so dass dieser dann dort genauer lokalisiert werden kann. Durch die Wiederholung des Vorgehens über mehrere ausschnittsweise Messungen an der verbleibenden Gewebeoberfläche im Entnahmebereich kann dann durch geometrischen Abgleich der verschiedenen Korrespondenz-Kandidaten das korrekte Registrierungsergebnis hergeleitet werden.
  • Bei der Verwendung von Fingerabdruckdatensätzen erfolgt eine gewisse Abstrahierung, so dass sich diese Vorgehensweise besonders für unterschiedliche Modalitäten eignet. So kann vorgesehen sein, dass bei der Verwendung von Fingerabdruckdatensätzen der erste und der zweite Oberflächendatensatz mit unterschiedlichen Modalitäten aufgenommen wurden. Beispielsweise kann der erste Oberflächendatensatz mittels optischer Kohärenztomographie und der zweite Oberflächendatensatz mittels optischer konfokaler Mikroskopie aufgenommen worden sein oder dergleichen.
  • Eine andere, besonders vorteilhafte Weiterbildung der vorliegenden Erfindung sieht vor, dass bei der Registrierung der Oberflächendatensätze ein Registrierungsalgorithmus der künstlichen Intelligenz, insbesondere ein Deep Neural Network (DNN), verwendet wird, der mit annotierten Oberflächendatensätzen als Trainingsdaten trainiert wurde. Dabei kann der Registrierungsalgorithmus der künstlichen Intelligenz beispielsweise, wie oben beschrieben, Fingerabdruckdatensätze generieren und/oder den Vergleich von Fingerabdruckdatensätzen vornehmen. In einer Ausgestaltung kann anhand von annotierten Beispieldatensätzen ein Registrierungsalgorithmus der künstlichen Intelligenz, insbesondere ein DNN, darauf trainiert werden, anhand von Bildinformation/Oberflächenmerkmalen die Zuordnung von Abschnitten der Gewebeoberfläche des Resektats und des Entnahmebereichs und darauf basierend eine Registrierung vorzunehmen. Vorzugsweise kann der Registrierungsalgorithmus der künstlichen Intelligenz selbst lernen, welche Oberflächenmerkmale vorteilhaft für eine Registrierung sind, das bedeutet, der Registrierungsalgorithmus lernt, einen geeigneten Gewebe-Fingerabdruckdatensatz zu bilden, der dann zur Registrierung verwendet wird. Dabei können im Übrigen auch die bereits genannten Vorverarbeitungsschritte, insbesondere also die Anwendung von Filterungs-, Glättungs- und/oder Kantenhervorhebungsalgorithmen und/oder Frequenzanalyse, durchgeführt werden, wobei dann zur Extraktion der Oberflächenmerkmale, konkret insbesondere der Fingerabdruckdatensätze, jedoch ein geeignet trainierter Registrierungsalgorithmus der künstlichen Intelligenz verwendet wird, woraufhin dann der Vergleich erfolgen kann.
  • Insbesondere kann sich bei Verwendung eines Registrierungsalgorithmus der künstlichen Intelligenz folgende Schrittreihenfolge ergeben:
    • - Vorverarbeitung des ersten und des zweiten Oberflächendatensatzes, insbesondere durch Verwendung wenigstens eines Filteralgorithmus und/oder wenigstens eines Glättungsalgorithmus und/oder wenigstens eines Kantenhervorhebungsalgorithmus und/oder einer Frequenzanalyse,
    • - Verwendung des Registrierungsalgorithmus der künstlichen Intelligenz, um Fingerabdruckdatensätze aus den vorverarbeiteten ersten und zweiten Oberflächendatensätzen zu extrahieren, und
    • - Vergleich von Fingerabdruckdatensätzen, um korrespondierende Fingerabdruckdatensätze und somit korrespondierende Oberflächenmerkmale aufzufinden, woraus das Registrierungsergebnis ermittelt wird.
  • Wie bereits angedeutet wurde, kann es bei der Grundannahme einer Ähnlichkeit von korrespondierenden Oberflächenmerkmalen zu Fehlern kommen, das bedeutet, eine Schwäche der Vorgehensweise, die Registrierung (rein) auf korrespondierenden Oberflächenmerkmalen in nach der Trennung von Resektat und verbleibenden Gewebe aufgenommenen Oberflächendatensätzen vorzunehmen, ist, dass aufgrund des Einsatzes von Eingriffsinstrumenten, beispielsweise laparoskopischen Energieinstrumenten und/oder gewebeabsaugenden Eingriffsinstrumenten, oftmals eine deutliche Gewebelücke zwischen der aufgrund der Resektion entstehenden Gewebeoberfläche und der Oberfläche des Resektats entsteht. Zwar ermöglichen langreichweitige Gewebeeigenschaften, siehe auch die oben genannten Beispiele, dennoch eine Zuordnung, jedoch wird dies bei großen und durchgängigen Gewebelücken sowie bei von Energieinstrumenten großflächig verschmorten Geweberegionen erschwert. Insbesondere ist es bekannt, auf der verbleibenden Gewebeoberfläche im Entnahmebereich mit einem Energieinstrument nochmals nach zu veröden, um Blutungen dauerhaft zu stillen. Dabei treten Schwierigkeiten bei bildbasierenden Methoden, die über Ähnlichkeiten von Oberflächenstrukturen eine Registrierung ermöglichen, auf. Ein zweiter, grundlegender Ansatz der vorliegenden Erfindung, der im Folgenden genauer beschrieben wird, bietet also einen Registrierungsansatz bzw. eine Registrierungshilfe, die korrespondierende Orte auf dem Resektat und dem verbleibenden Gewebe einander zuordnen kann, obwohl sich die beiden Oberfläche an den korrespondierenden Orten weder mikroskopisch noch makroskopisch ausreichend ähnlich sehen.
  • Um dies zu erreichen, sieht eine besonders vorteilhafte Weiterbildung der vorliegenden Erfindung vor, dass zur Unterstützung der Registrierung ein Korrespondenzpaare von einander entsprechenden Oberflächenmerkmalen enthaltender Korrespondenzdatensatz erzeugt wird, indem
    • - während der Resektion des Resektats fortlaufend Überwachungsbilder des aktuellen Arbeitsbereichs mit dem oder einem weiteren Aufnahmeinstrument aufgenommen werden,
    • - bei Detektion der Vornahme eines Schnitts zu beiden Seiten des Schnitts liegende Oberflächenmerkmale der jeweilig entstandenen Oberfläche durch automatische Auswertung der entsprechenden Überwachungsbilder detektiert werden,
    • - eine Zuordnung von geometrisch bezüglich des Schnitts einander entsprechenden Oberflächenmerkmalen zueinander zur Erzeugung eines Korrespondenzpaars erfolgt, und
    • - jedes Korrespondenzpaar mit die Oberflächenmerkmale des Korrespondenzpaares beschreibenden Merkmalsinformationen, insbesondere umfassend ein wenigstens das Oberflächenmerkmal zeigendes Teilbild wenigstens eines Überwachungsbildes, in dem Korrespondenzdatensatz gespeichert wird.
  • Dabei können die Überwachungsbilder vorzugsweise einzelne Frames eines Überwachungsvideos, das mit dem oder dem weiteren Aufnahmeinstrument während der Resektion des Resektats aufgezeichnet wird, sein. Die Grundidee dieses besonders vorteilhaften Vorgehens ist es also, aus einem Überwachungsvideo bzw. Überwachungsbildern der Resektion, welche beispielsweise von einem Laparoskop oder einem Operationsmikroskop aufgenommen sein können, einen Korrespondenzdatensatz zwischen Resektat und verbleibendem Gewebe samt jeweils hinterlegten Merkmalsinformationen zu erzeugen. Zur Registrierung von Orten auf der Oberfläche des Resektats zu korrespondierenden Orten auf der durch die Entnahme des Resektats entstandenen, verbleibenden Gewebeoberfläche im Entnahmebereich wird dieser Korrespondenzdatensatz dann benutzt.
  • Die Überwachungsbilder können vorzugsweise mit einem oder dem Aufnahmeinstrument, insbesondere einem Laparoskop und/oder einem Operationsmikroskop und/oder einer Kamera eines Beleuchtungsgeräts, aufgenommen werden. Vorzugsweise können die Überwachungsbilder mit einer Stereokamera aufgenommen werden, wobei eine dreidimensionale Oberflächenstruktur der entstandenen Oberflächen ermittelt und für die Detektion und/oder Beschreibung und/oder Lagebestimmung wenigstens eines Oberflächenmerkmals verwendet wird. Während grundsätzlich ein monoskopisches, also zweidimensionales Video bzw. zweidimensionale Überwachungsbilder ausreichend für das beschriebene Vorgehen sind, kann ein Stereo-Überwachungsvideo bzw. allgemein Stereo-Überwachungsbilder für eine erhöhte Robustheit vorteilhaft sein.
  • Dabei sei an dieser Stelle noch angemerkt, dass die eigentliche Vornahme der Resektion keinen Bestandteil des hier beschriebenen Verfahrens darstellt. Die Auswertung der während der Resektion des Resektats aufgenommenen Überwachungsbilder kann grundsätzlich während, bevorzugt aber erst nach Abschluss der Resektion erfolgen. Das bedeutet, nach Abschluss der Resektion kann beispielsweise ein Überwachungsvideo und/oder eine Folge von einzelnen Überwachungsbildern gezielt ausgewertet werden, um den Korrespondenzdatensatz zu erzeugen. Als Eingriffswerkzeug bzw. Eingriffsinstrument zur Durchführung der Resektion können verschiedene Ausgestaltungen vorgesehen sein, wobei das Eingriffswerkzeug bzw. Eingriffsinstrument insbesondere Gewebe abtragen und/oder trennen und/oder durch das Applizieren von Energie und/oder Hitze veröden kann.
  • Der Korrespondenzdatensatz kann auf unterschiedliche Art und Weise bei der Registrierung verwendet werden. Zum einen ist es denkbar, dass durch den Korrespondenzdatensatz, wie noch genauer dargelegt werden wird, bereits wenigstens ein zweiter Oberflächendatensatz, ggf. auch ein zusätzlicher erster Oberflächendatensatz, entsteht bzw. die Registrierung relativ unmittelbar hergestellt wird. Andererseits kann der Korrespondenzdatensatz jedoch auch ein Registrierungshilfsmittel sein, indem er für unterschiedlich erscheinende Oberflächenmerkmale letztlich ein zusätzliches Ähnlichkeitskriterium bereitstellt, so dass trotz völlig unterschiedlichem Erscheinungsbild in den Bildgebungsmodalitäten des ersten und/oder des zweiten Oberflächendatensatzes eine Ähnlichkeit aufgrund der im Korrespondenzdatensatz gespeicherten Korrespondenz festgestellt werden kann.
  • In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass bei Erzeugung eines neuen Korrespondenzpaars eine relative Lage zu wenigstens einem weiteren, bereits im Korrespondenzdatensatz enthaltenen Korrespondenzpaar und/oder einem Referenzmerkmal, das nicht Teil eines Korrespondenzpaars ist, durch Detektion wenigstens eines der Oberflächenmerkmale des weiteren Korrespondenzpaars und/oder des Referenzmerkmals in einem die Oberflächenmerkmale des neuen Korrespondenzpaars zeigenden Überwachungsbild ermittelt und in dem Korrespondenzdatensatz gespeichert wird. Auf diese Weise ist die relative Anordnung der Oberflächenmerkmale der einzelnen Korrespondenzpaare zueinander bekannt, so dass diese bekannte relative Anordnung ebenso im Prozess der Registrierung genutzt werden kann. Insbesondere ergibt sich die Möglichkeit, eine Repräsentation der jeweiligen Oberflächen des Resektats und des verbleibenden Gewebes im Entnahmebereich zu erstellen, worauf im Folgenden noch näher eingegangen werden wird. Dabei muss ein Bezugsmerkmal nicht zwangsläufig das Oberflächenmerkmal eines anderen Korrespondenzpaars sein, sondern es ist auch möglich, einen Bezug zu einem oder mehreren Referenzmerkmalen herzustellen. Dies liegt darin begründet, dass es gegebenenfalls möglich ist, dass die Anzahl von robust erkennbaren Korrespondenzpaaren korrespondierender Oberflächenmerkmale relativ gering ist. Daher können zur Definition einer relativen Lage auch „einseitige“ Oberflächenmerkmale identifiziert werden, welche dann die Definition einer relativen Lage ermöglichen, zumindest solange hierdurch eine Brücke zu bereits definierten Korrespondenzpaaren geschaffen werden kann. Auf beiden Seiten, das heißt auf den Oberflächen von Resektat und verbleibendem Gewebe, können die Korrespondenzen der einseitigen Oberflächenmerkmale dann entsprechend geometrisch interpoliert werden. Referenzmerkmale können im Übrigen auch verwendet werden, um festzustellen, ob ein Arbeitsschritt/Schnitt stattgefunden hat. Grundsätzlich erlauben solche Referenzmerkmale mithin auch eine Bewegungsnachverfolgung des Gewebes.
  • Dabei sei an dieser Stelle noch allgemeiner angemerkt, dass der hier dargestellten Ausgestaltung ja die Annahme zugrunde liegt, dass nahezu alle chirurgischen Schritte, welche zu einer Abtrennung des Resektats vom zurückbleibenden Gewebe beitragen, unter Beobachtung durch die Überwachungsbilder stattfinden. In der Realität ist diese Voraussetzung sehr gut erfüllt, nachdem die die Resektion durchführende Person ja sehen möchte, was sie bei ihren teilweise kritischen Aktionen tut; zudem soll auf beiden entstehenden Oberflächen eine Blutung möglichst verhindert bzw. gestillt werden.
  • Wesentlich zur Detektion bzw. Identifikation eines neuen Korrespondenzpaares von Oberflächenmerkmalen ist, wie bereits beschrieben, die geometrische Zuordenbarkeit bezüglich des Schnitts bzw. der Durchtrennung, das bedeutet anders gesagt, dass gewisse Geometriekriterien erfüllt sein müssen. So sollten die korrespondierenden Oberflächenmerkmale auf zwei unterschiedlichen Seiten des aktuellen oder erst kurz zurückliegenden Wirkungsbereichs des Eingriffsinstruments liegen. Zudem sollten sie geometrisch die Bedingung erfüllen, dass sie aktuell oder in einem ausreichend neuen vorhergehenden Frame durch das Instrument getrennt worden sein können. Eine gewisse Ungenauigkeit ist, insbesondere hinsichtlich der Registrierung allein auf dieser Basis, akzeptabel, da bei einer Nachresektion typischerweise ohnehin großzügig um den identifizierten Bereich herum Gewebe abgetragen wird. Weitere Geometriekriterien können ähnliche Abstände von der aktuellen Schnittkannte, an der also die Oberflächen des entstehenden Resektats und die Oberfläche des zurückbleibenden Gewebes aneinander grenzen, und/oder ein symmetrisches Gegenüberliegen bezüglich dieser Schnittkante fordern.
  • Es sei weiterhin noch angemerkt, dass insbesondere dann, wenn Referenzmerkmale möglichst vermieden werden sollen, dann, wenn es sich nicht um den Start der Resektion handelt, die neuen Oberflächenmerkmale eines neuen Oberflächenpaares bevorzugt nicht allzu weit weg von früher erkannten Oberflächenmerkmalen eines älteren Korrespondenzpaares liegen sollten, insbesondere derart, dass die vorher identifizierten Oberflächenmerkmale noch im Blickfeld des entsprechenden Aufnahmeinstruments liegen, also im selben Überwachungsbild zu sehen sind oder zumindest damit in Verbindung bringbar sind. Anderenfalls können, wie erwähnt, die Referenzmerkmale eingesetzt werden.
  • Es kann vorgesehen sein, dass die resektatseitigen Oberflächenmerkmale aller Korrespondenzpaare in ihrer jeweiligen Anordnung einen zusätzlichen ersten Oberflächendatensatz und die entnahmebereichsseitigen Oberflächenmerkmale aller Korrespondenzpaare in ihrer jeweiligen Anordnung den (bzw. einen des wenigstens einen) zweiten Oberflächendatensatz bilden bzw. Oberflächendatensätze hieraus ermittelt werden. Durch die Feststellung der relativen Lage von Korrespondenzpaaren kann letztlich während der Entstehung der jeweiligen Oberflächen auch bereits eine Kartierung der entsprechenden Oberflächen vorgenommen werden. Entsprechend können aus dieser Kartierung auch Oberflächendatensätze abgeleitet werden, wobei über die durch die Korrespondenzpaare abgebildeten Korrespondenzen auch bereits zumindest punktweise korrespondierende Orte dieser Oberflächen bekannt sind.
  • Mit besonderem Vorteil kann in diesem Kontext vorgesehen sein, dass anhand der Korrespondenzpaare und ihrer jeweiligen relativen Lage Oberflächenmodelle der durch die Resektion entstandenen Oberflächen des Entnahmebereichs und des Resektats erstellt werden, denen zur Ermittlung jeweiliger Oberflächenkarten ortsgetreu wenigstens ein Teil der Merkmalsinformationen und/oder Anteile wenigstens eines den entsprechenden Oberflächenbereich zeigenden Überwachungsbildes zugeordnet werden, so dass durch die Korrespondenzpaare eine Orte auf den Oberflächenkarten einander zuordnende Korrespondenzinformation gegeben ist. Die so entstehenden Oberflächenkarten können beispielsweise bereits einen weiteren ersten und/oder den zweiten Oberflächendatensatz bilden. Entsprechend kann die Korrespondenzinformation ein Teil des Registrierungsergebnisses oder, insbesondere, wie noch erläutert werden wird, in erweiterter Form, das Registrierungsergebnis sein.
  • Bei der Auswertung der Überwachungsbilder wird also eine texturierte Oberflächenkarte generiert bzw. bei neuen Korrespondenzpaaren aktualisiert, und zwar jeweils von Resektat wie auch vom verbleibenden Gewebe im Entnahmebereich. Dabei werden, grob gesprochen, die Oberflächenmuster/Oberflächenbilder aus den Überwachungsbildern extrahiert und den Orten der entsprechenden Oberflächenmerkmale bzw. den Zwischenräumen zwischen den Oberflächenmerkmalen zugeordnet. Die Oberflächenmerkmale der Korrespondenzpaare haben dann, anknüpfend an die eingangs gegebene Beschreibung der Korrespondenz, die Koordinaten aR bzw. bv auf diesen Oberflächenkarten von Resektat und verbleibendem Gewebe. In einer Weiterbildung diesbezüglich kann im Übrigen auch vorgesehen sein, dass mehrere den entsprechenden Oberflächenbereich zeigende Anteile unterschiedlicher Überwachungsbilder gemittelt als Textur verwendet werden. Das bedeutet, die texturierte Oberfläche der Oberflächenmodelle/Oberflächenkarten kann auch unter Verwendung mehrerer Überwachungsbilder, insbesondere mehrerer Frames eines Überwachungsvideos, beispielsweise durch Mittelung über mehrere Überwachungsbilder, entstehen. Die texturierten Oberflächenkarten können zweidimensional oder, insbesondere bei Verwendung einer Stereokamera, dreidimensional angelegt werden.
  • In einer solchen Ausgestaltung werden also die Korrespondenzpaare mit den Oberflächenmerkmalen, die texturierten Oberflächenkarten und gegebenenfalls weitere Informationen in einem Datenspeicher abgelegt.
  • In besonders bevorzugter Ausgestaltung der vorliegenden Erfindung kann ferner vorgesehen sein, dass zur Erweiterung der durch die Korrespondenzpaare gegebenen Korrespondenzinformation in zwischen den Oberflächenmerkmalen von Korrespondenzpaaren liegenden Bereichen der Oberflächenkarten durch Interpolation weitere korrespondierende Orte der Oberflächenkarten ermittelt werden, insbesondere eine für die vollständigen Oberflächenkarten geltende Korrespondenzabbildung und/oder Korrespondenztabelle. Mit der bislang beschriebenen Vorgehensweise wurde eine begrenzte Zahl von robusten Oberflächenkorrespondenzen zwischen Resektat und Entnahmebereich identifiziert. Daher ist es zweckmäßig, die Korrespondenzen geeignet zu interpolieren (bzw. zu extrapolieren), so dass möglichst viele Orten, bevorzugt jedem Ort, aR auf der Oberfläche des Resektats korrespondierende Orte bvder Oberfläche des verbleibenden Gewebes im Entnahmebereich zugeordnet werden können. Auf diese Weise wird letztlich eine vollständige Registrierungsabbildung als Korrespondenzinformation aus dem Auswertungsvorgang der Überwachungsbilder geschaffen.
  • Zweckmäßigerweise kann zur Lokalisierung eines Anzeigemerkmals des Resektats, dessen Lage auf der Oberflächenkarte des Resektats bekannt ist, auf der Oberfläche des Entnahmebereichs die Korrespondenzinformation verwendet werden. Dabei wird die Lage meist zunächst in dem oder einem ersten Oberflächendatensatz, der nicht der Oberflächenkarte des Resektats entspricht, und/oder dem weiteren Bilddatensatz bekannt sein. Dann kann die Lage in der Oberflächenkarte des Resektats durch Registrierung der Oberflächenkarte des Resektats mit dem ersten Oberflächendatensatz, der nicht der Oberflächenkarte des Resektats entspricht, und/oder dem weiteren Bilddatensatz ermittelt werden. Die entsprechende Registrierung ist deutlich einfacher durchführbar, da es sich zum einen um dieselbe Oberfläche handelt, zum anderen für eine Registrierung geeignete Oberflächenmerkmale als Teil der Korrespondenzpaare (und gegebenenfalls Referenzmerkmale) ja bereits bekannt sind. Nicht der Oberflächenkarte entsprechende erste Oberflächendatensätze bzw. weitere Bilddatensätze können insbesondere mit der Ex-Vivo-Scaneinrichtung aufgenommen werden. Entsprechend kann es sich bei dem Anzeigemerkmal insbesondere um einen Bereich, in dem sich maligne Veränderungen des Gewebes zu nah an der Oberfläche des Resektats befinden, handeln.
  • Mit anderen Worten kann beispielhaft eine bildbasierte Registrierung eines in der Histologie als beispielsweise tumorinfiltriert befundeten Oberflächenstücks zur Oberflächenkarte des Resektats erfolgen. Beispielsweise kann ein Mikroskopiebild der Oberfläche entsprechend herunterskaliert und dann zur Oberflächenkarte bildbasiert räumlich zugeordnet werden. Das Ergebnis ist ein Ort aR auf der Oberflächenkarte. Zu diesem kann mittels der Korrespondenzinformation der zu aR korrespondierende Ort bv des Entnahmebereichs bestimmt werden.
  • Es ist grundsätzlich denkbar, dass, insbesondere bei Nachverfolgung des bzw. des weiteren Aufnahmeinstruments zur Aufnahme der Überwachungsbilder, insbesondere in Stereoskopie, die Überwachungsbilder und somit die Oberflächenkarte des Entnahmebereichs bereits in dem patientenbezogenen Koordinatensystem vorliegt. Ist dies nicht der Fall, kann eine (auch in diesem Fall deutlich robuster durchführbare) Registrierung der Oberflächenkarte des Entnahmebereichs mit dem oder einem weiteren einen zweiten Oberflächendatensatz, der nicht der Oberflächenkarte des Entnahmebereichs entspricht, vorgenommen werden. Beispielsweise kann also eine bildbasierte Registrierung zwischen den Texturen der Oberflächenkarte des verbleibenden Gewebes, gegebenenfalls eingeschränkt auf einen Bereich um den Ort bv herum, zu einem aktuellen Bild, insbesondere weiterhin Überwachungsbild, des und/oder des weiteren und/oder eines noch weiteren Aufnahmeinstruments, beispielsweise dem aktuellen Videobild des Laparoskops, vorgenommen werden. Dies ermöglicht eine Anzeige des zum beispielsweise tumorinfiltrierten Oberflächenabschnitt des Resektats korrespondierenden Oberflächenabschnitts des verbleibenden Gewebes, beispielsweise als Überlagerung, Augmented Reality oder Markierungen im Navigationssystem, wie bezüglich der Unterstützungsmaßnahmen bereits ausführlich dargelegt wurde. Alternativ zu einer bildbasierten Registrierung hinsichtlich einer Darstellung als Unterstützungsmaßnahme ist es alternativ, wie bereits angedeutet, auch möglich, die Registrierung durch ein Navigationssystem vorzunehmen, in dem die gesamte Oberflächenkarte des verbleibenden Gewebes im Entnahmebereich zur intraoperativen Geometrie, insbesondere also dem patientenbezogenen Koordinatensystem, registriert ist.
  • Vorzugsweise kann die Detektion der Vornahme des Schnitts wenigstens teilweise bildbasiert in den Überwachungsbildern erfolgen, insbesondere durch Nachverfolgung bereits detektierter Oberflächenmerkmale und/oder eines in den Überwachungsbildern sichtbaren Eingriffsinstruments, insbesondere hinsichtlich eines Gewebekontakts, und/oder aufgrund den Überwachungsbildern zeitlich zugeordneter Zusatzinformationen erfolgen. Vorteilhafterweise wird also unter Nutzung aller vorliegenden Informationen festgestellt, ob das Eingriffsinstrument bzw. Eingriffswerkzeug gerade Gewebe trennt bzw. entfernt bzw. bearbeitet oder ob das Eingriffsinstrument aktuell keine Wirkung auf das Gewebe ausübt. Diese Ermittlung kann für jedes Überwachungsbild, insbesondere jeden Frame eines Überwachungsvideos, erfolgen, so dass die Identifikation neuer korrespondierender Oberflächenmerkmale bevorzugt nur dann ausgeführt wird, wenn im aktuellen oder in einem erst kurz zurückliegend aufgenommenen Überwachungsbild das Eingriffsinstrument eine Wirkung auf das Gewebe hatte, bei der es zu einer weiteren Trennung von Resektat und Gewebe, beispielsweise durch Abtragung oder Schnitte, kam. Insbesondere kann also das in den Überwachungsbildern sichtbare Eingriffsinstrument als eine Art Hinweis für die Sinnhaftigkeit der Erzeugung neuer Korrespondenzpaare dienen. In einer entsprechenden Bildverarbeitung lassen sich Instrumente im Übrigen auch leicht detektieren.
  • Vorteilhafterweise können die Zusatzinformationen eine von einem oder dem Navigationssystem ermittelte Bewegung des Eingriffsinstruments und/oder eine insbesondere durch Betätigung eines Fußpedals ausgelöste Versorgung des Eingriffsinstruments mit Energie und/oder einen Workflowschritt eines Eingriffsworkflows beschreibend ermittelt werden. Insbesondere kann in diesem Fall vorgesehen sein, dass die Überwachungsbilder, insbesondere das Überwachungsvideo, durch Verwendung externer Informationsquellen oder manuell annotiert ist. Beispielsweise kann, wie im Stand der Technik grundsätzlich bekannt, ein optisches Navigationssystem verwendet werden, welches den Fortschritt der Resektion nachverfolgt. Ferner wurden auch bereits Unterstützungsgeräte vorgeschlagen, die durch Workflowanalyse eine Phase der Resektion erkennen können. Derartige Workflowanalysen können insbesondere auch selbst die Überwachungsbilder auswerten, so dass beispielsweise aus einem Überwachungsvideo der Operation bestimmte Abschnitte der Resektion identifiziert werden können.
  • Bezüglich des Workflowschritts ist es noch anzumerken, dass eine derartige Zusatzinformation auch zur grundsätzlichen Vorauswahl auszuwertender Überwachungsbilder bzw. des entsprechenden Abschnitts des Überwachungsvideos verwendet werden kann. Nachdem dann lediglich die tatsächlich relevantes Material zeigenden Überwachungsbilder ausgewertet werden müssen, wird der Aufwand reduziert.
  • Eine weitere relevante Informationsquelle hinsichtlich der möglichen Annotierung von Überwachungsbildern bzw. Überwachungsvideos stellt eine Bedieneinrichtung, insbesondere ein Fußpedal dar, über das das Eingriffsinstrument mit insbesondere elektrischer Energie versorgt werden kann. Denn es ist davon auszugehen, dass eine Energiezufuhr von der den Eingriff vornehmenden Person nur dann aktiviert wird, wenn auch eine Bearbeitung des Gewebes stattfinden soll.
  • Vorzugsweise, wie bereits angedeutet, werden die Oberflächenmerkmale eines neuen Korrespondenzpaares so gewählt, dass sie in einer jeweiligen Bildgebungsmodalität der Oberflächendatensätze und/oder wenigstens eines weiteren Bilddatensatzes mit einer einen Schwellwert überschreitenden Verlässlichkeit detektierbar sind. Dies ist insbesondere dann zweckmäßig, wenn eine bildbasierte Registrierung ausgehend von den Oberflächenkarten, insbesondere auch als Oberflächendatensätze, zu insbesondere weiteren Oberflächendatensätzen und/oder weiteren Bilddatensätzen, insbesondere einer Ex-Vivo-Scaneinrichtung und/oder eines im Entnahmebereich eingesetzten Aufnahmeinstruments, stattfinden soll. Dabei wird ausgenutzt, dass üblicherweise ja bekannt ist, mit welchen Modalitäten im Rahmen der Resektion ausgearbeitet wird. Ebenso sind die physikalischen Bildgebungseigenschaften dieser Bildgebungsmodalitäten bekannt, so dass auch bekannt ist, welche Oberflächenmerkmale wie robust mit welcher Bildgebungsmodalität erkannt werden können, so dass die Auswahl der Oberflächenmerkmale für die Korrespondenzpaare entsprechend vorausschauend erfolgen kann.
  • In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass die Oberflächenmerkmale der Korrespondenzpaare, soweit sie in den Überwachungsbildern enthalten sind, über den Resektionszeitraum in den Überwachungsbildern nachverfolgt werden, wobei bei einer festgestellten nachträglichen Veränderung des Oberflächenmerkmals durch das oder ein weiteres Eingriffsinstrument, insbesondere ein Energieinstrument, die Merkmalsinformation zur Beschreibung des veränderten Oberflächenmerkmals angepasst wird, und/oder dass bei einer durch automatische Auswertung festgestellten einseitigen Veränderung der Oberfläche, insbesondere durch Bildauswertung des Veränderungsbereichs in einem vor der Veränderung aufgenommenen Überwachungsbild und/oder aufgrund einer Information zur relativen Lage, veränderte Oberflächenmerkmale von Korrespondenzdatensätzen aufgefunden werden und die zugehörigen Merkmalsinformationen zur Beschreibung des veränderten Oberflächenmerkmals angepasst werden. Der Begriff „einseitig“ ist dabei so zu verstehen, dass entweder nur die Oberfläche des Resektats oder nur die Oberfläche im Entnahmebereich, also des zurückbleibenden Gewebes, betroffen ist. Es kann bei Resektionen vorkommen, dass ein Teil der Gewebeoberfläche des zukünftigen Resektats bzw. des zukünftigen zurückbleibenden Gewebes nachträglich nochmals bearbeitet wird, beispielsweise durch Verödung mit einem Energieinstrument eine Blutung gestillt wird. Derartige Orte bzw. Veränderungsbereiche werden dadurch erkannt, dass die um das Instrument herumliegenden Oberflächenmerkmale alle entweder resektatseitig oder alle entnahmebereichsseitig liegen. In solchen Fällen verändern sich die Oberflächentexturen an den entsprechenden Positionen, so dass dann, wenn dort ein Oberflächenmerkmal eines Korrespondenzpaares liegt, die entsprechende Merkmalsinformation angepasst werden kann. Im Hinblick auf die besonders bevorzugte Erzeugung einer Oberflächenkarte können dann zweckmäßigerweise auch die aus den Überwachungsbildern abgeleiteten Texturen im Veränderungsbereich aktualisiert werden. Insgesamt wird auf diese Weise erreicht, dass die Korrespondenzpaare und besonders bevorzugt auch die Oberflächenkarten ständig aktuell gehalten werden, indem auf nachträglich eintretende Veränderungen geachtet wird. Insbesondere werden anders gesagt also immer dann, wenn eine einseitige nachträgliche Bearbeitung von Gewebe in einem Veränderungsbereich stattfindet, Merkmalsinformationen bzw. die Oberflächentexturen von Oberflächenkarten nochmals angepasst und aktualisiert. Dabei sei darauf hingewiesen, dass die jeweiligen Orten/Positionen der Korrespondenzpaare jedoch unverändert gelassen werden. Hierin liegt auch ein besonderer Vorteil im Vergleich zu einer rein bildbasierten Registrierung des ersten und des zweiten Oberflächendatensatzes, das insbesondere bei solchen nachträglichen, einseitig vorgenommenen Veränderungen der Gewebeoberfläche Ähnlichkeiten eliminiert werden können und rein bildbasierte Ansätze auf nach Abschluss der Resektion aufgenommenen Bildern fehlschlagen können.
  • Eine besonders vorteilhafte Ausgestaltung des Verfahren kann in allgemeiner Form auch formuliert werden als ein Verfahren zur Navigationsunterstützung einer eine Resektion an einem Patienten durchführenden Person nach Entnahme eines Resektats zur Navigation bezüglich des Resektats im Entnahmebereich, gekennzeichnet durch folgende Schritte:
    • - Erzeugung eines Korrespondenzpaare von einander entsprechenden Oberflächenmerkmalen enthaltenden Korrespondenzdatensatzes, indem
      • - während der Resektion des Resektats fortlaufend Überwachungsbilder des aktuellen Arbeitsbereichs mit einem Aufnahmeinstrument aufgenommen werden,
      • - bei Detektion der Vornahme eines Schnitts zu beiden Seiten des Schnitts liegende Oberflächenmerkmale der jeweilig entstandenen Oberflächen durch automatische Auswertung der entsprechenden Überwachungsbilder detektiert werden,
      • - eine Zuordnung von geometrisch bezüglich des Schnitts einander entsprechenden Oberflächenmerkmalen zueinander zur Erzeugung eines Korrespondenzpaars erfolgt, und
      • - jedes Korrespondenzpaar mit die Oberflächenmerkmale des Korrespondenzpaars beschreibenden Merkmalsinformationen, insbesondere umfassend ein wenigstens das Oberflächenmerkmal zeigendes Teilbild wenigstens eines Überwachungsbildes, in dem Korrespondenzdatensatz gespeichert wird,
      • - wobei bei Erzeugung eines neuen Korrespondenzpaars eine relative Lage zu wenigstens einem weiteren, bereits im Korrespondenzdatensatz enthaltenen Korrespondenzpaar und/oder einem Referenzmerkmal, das nicht Teil eines Korrespondenzpaars ist, durch Detektion wenigstens eines der Oberflächenmerkmale des weiteren Korrespondenzpaars und/oder des Referenzmerkmals in einem die Oberflächenmerkmale des neuen Korrespondenzpaars zeigenden Überwachungsbild ermittelt und in dem Korrespondenzdatensatz gespeichert wird und anhand der Korrespondenzpaare und ihrer jeweiligen relativen Lage Oberflächenmodelle der durch die Resektion entstandenen Oberflächen des Entnahmebereichs und des Resektats erstellt werden, denen zur Ermittlung jeweiliger Oberflächenkarten ortsgetreu wenigstens ein Teil der Merkmalsinformationen und/oder Anteile wenigstens eines den entsprechenden Oberflächenbereich zeigenden Überwachungsbildes zugeordnet werden, so dass durch die Korrespondenzpaare eine Orte auf den Oberflächenkarten einander zuordnende Korrespondenzinformation gegeben ist,
    • - Aufnahme eines ersten Oberflächendatensatzes des Resektats mit einer Ex-Vivo-Scaneinrichtung,
    • - Registrierung des ersten Oberflächendatensatzes des Resektats mit der Oberflächenkarte des Resektats (als weiterer erster Oberflächendatensatz auffassbar) und somit unter Verwendung der Korrespondenzinformation mit der Oberflächenkarte des Entnahmebereichs (als zweiter Oberflächendatensatz), und
    • - Durchführen wenigstens einer die Navigation im Entnahmebereich bezüglich des Resektats unterstützenden Unterstützungsmaßnahme unter Verwendung der Registrierung.
  • Neben dem Verfahren betrifft die vorliegende Erfindung auch ein Unterstützungssystem zur Navigationsunterstützung einer eine Resektion an einem Patienten durchführenden Person nach Entnahme eines Resektats zur Navigation bezüglich des Resektats im Entnahmebereich, aufweisend eine zur Durchführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Unterstützungssystem übertragen, mit welchem mithin ebenso die bereits genannten Vorteile erhalten werden können.
  • Das Unterstützungssystem kann insbesondere diverse Instrumente, eine Ex-Vivo-Scaneinrichtung, ein Navigationssystem und dergleichen aufweisen. Die Instrumente können beispielsweise Aufnahmeinstrumente und/oder Eingriffsinstrumente umfassen. Ferner kann das Unterstützungssystem auch eine Anzeigeeinrichtung, insbesondere zur Ausgabe von Darstellungen im Rahmen von Unterstützungsmaßnahmen, aufweisen, genau wie zusätzlich oder alternativ eine Augmented Reality-Einrichtung denkbar ist. Zur Ansteuerung aller dieser denkbaren Komponenten kann die Steuereinrichtung entsprechend ausgebildet sein. Insbesondere kann die Steuereinrichtung wenigstens einen Prozessor und wenigstens ein Speichermittel (Datenspeicher) aufweisen. In der Steuereinrichtung können entsprechende Funktionseinheiten vorhanden sein, um die Schritte des erfindungsgemäßen Verfahrens auszuführen.
  • Beispielsweise kann die Steuereinrichtung wenigstens eine Schnittstelle zur Entgegennahme des ersten und/oder des zweiten Oberflächendatensatzes, eine Registrierungseinheit zur Registrierung der Oberflächendatensätze und eine Unterstützungseinheit zur Durchführung der wenigstens einen Unterstützungsmaßnahme aufweisen, wobei für weitere Ausgestaltungen gemäß den Darlegungen zum erfindungsgemäßen Verfahren selbstverständlich auch weitere Funktionseinheiten vorhanden sein können.
  • Ein erfindungsgemäßes Computerprogramm ist beispielsweise direkt in einen Speicher einer Steuereinrichtung eines Unterstützungssystems ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in der Steuereinrichtung des Unterstützungssystems ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, welcher mithin darauf gespeicherte elektronisch lesbare Steuerinformationen umfasst, welche zumindest ein erfindungsgemäßes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Speichereinrichtung eines Unterstützungssystems ein erfindungsgemäßes Verfahren durchführen. Bei dem Datenträger handelt es sich bevorzugt um einen nichttransienten Datenträger, beispielsweise eine CD-ROM.
  • Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
    • 1 ein Ausführungsbeispiel eines erfindungsgemäßen Unterstützungssystems,
    • 2 eine Skizze zur Korrespondenz von Orten auf dem Resektat und Orten auf der verbleibenden Gewebeoberfläche,
    • 3 einen Ablaufplan eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
    • 4 einen Ablaufplan eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
    • 5 einen Ablaufplan eines dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
    • 6 einen Ablaufplan zur Erstellung eines Korrespondenzdatensatzes aus Überwachungsbildern,
    • 7 ein schematisches Überwachungsbild zu Beginn einer Resektion,
    • 8 ein schematisches Überwachungsbild zu einem späteren Zeitpunkt während der Resektion,
    • 9 ein schematisches Überwachungsbild zu einem nochmals späteren Zeitpunkt während der Resektion,
    • 10 einen Ablaufplan zur Nutzung des Korrespondenzdatensatzes, und
    • 11 den funktionalen Aufbau einer Steuereinrichtung eines erfindungsgemäßen Untersuchungssystems.
  • Im Folgenden sollen Ausführungsbeispiele der vorliegenden Erfindung näher erläutert werden, wobei vorliegend als Beispiel einer Resektion eine Resektion eines Tumors aus einem Organ eines Patienten betrachtet wird. Bei einer derartigen Tumorresektion ist es von besonderem Interesse, ob eine sogenannte RO-Resektion stattgefunden hat, mithin, ob noch maligne verändertes Gewebe, hier also von Tumorzellen infiltriertes Gewebe, im Patienten zurückgeblieben ist oder nicht. Mithin ist es für die die Resektion durchführende Person zweckmäßig, nicht nur histologische Ergebnisse darüber zu haben, ob auf der Oberfläche des Resektats bzw. oberflächennah noch Tumorzellen oder sonstige maligne Rückstände verblieben sind, sondern auch, diese Informationen entsprechend räumlich im Entnahmebereich, also insbesondere auf der durch die Resektion entstandenen, zurückbleibenden Gewebeoberfläche, zuzuordnen. Dabei sei an dieser Stelle noch angemerkt, dass im Rahmen der hiesigen Beschreibung die Formulierung des Vorliegens einer malignen Veränderung im Resektat in einer definierten Nähe zur Oberfläche des Resektats selbstverständlich auch umfassen soll, dass unmittelbar an der Oberfläche des Resektats die maligne Veränderung vorliegt.
  • 1 zeigt eine Prinzipskizze eines erfindungsgemäßen Unterstützungssystems 1, welches zur Durchführung der Tumorresektion und auch des erfindungsgemäßen Verfahrens geeignet ist.
  • Auf einem Operationstisch 2 ist der Patient 3 angedeutet, bei dem aus einem Organ 4 bereits ein Resektat 5 entnommen wurde. Entsprechend verbleibt im Entnahmebereich 6 eine durch die Resektion entstandene Gewebeoberfläche 7. Der die Resektion durchführenden Person stehen in dem Unterstützungssystem 1 eine Vielzahl verschiedener Instrumente zur Verfügung, wobei nur rein beispielhaft ein Eingriffsinstrument 8, ein erstes Aufnahmeinstrument 9 in Form eines Digitalbiopsiewerkzeugs 10 und ein zweites Aufnahmeinstrument 11 in Form eines Laparoskops 12 mit einer Stereokamera gezeigt sind. Alle Instrumente 8, 9 und 11 bzw. gegebenenfalls auch weitere, hier nicht gezeigte Instrumente weisen Marker 13 für ein vorliegend optisches Navigationssystem 14 auf, von dem vorliegend auch die Kameras 15 gezeigt sind. Diese können beispielsweise deckenmontiert sein. Alternativ zu dem optischen Navigationssystem 14 oder zusätzlich hierzu kann auch ein elektromagnetisches Navigationssystem verwendet werden. Wesentlich ist, dass über das Navigationssystem 14 die aktuelle Position und Orientierung, also die Pose, aller eingesetzter Instrumente in einem patientenbezogenen Koordinatensystem ermittelt werden kann. Insbesondere sind so auch die Aufnahmepositionen bekannt, an denen Aufnahmen von Bildgebungseinrichtungen, beispielsweise Kameras und/oder OCT-Sensoren, der Aufnahmeinstrumente 9, 11 entstehen.
  • Das Laparoskop 12 kann vorliegend beispielsweise eine Stereokamera aufweisen, mit der auch Überwachungsbilder während des Eingriffs aufgenommen werden können. Das digitale Biopsiewerkzeug 10 kann beispielsweise ein Mikroskop und/oder einen OCT-Sensor aufweisen, um einen kleinen Ausschnitt, beispielsweise einer Größe im Bereich von 0,01 bis 10 mm2, aufzunehmen.
  • Das Unterstützungssystem 1 umfasst ferner eine Ex-Vivo-Scaneinrichtung 16, die auch als digitales Histologiegerät bezeichnet werden kann. Das Resektat 5 ist bereits in der Ex-Vivo-Scaneinrichtung 16 platziert, so dass dort großflächig die Oberfläche des Resektats 5 abgescannt werden kann, um beispielsweise Oberflächenbereiche zu erkennen, in denen noch maligne Veränderungen, insbesondere Tumorzellen, vorliegen.
  • Das Untersuchungssystem 1 weist ferner eine Steuereinrichtung 17 auf, die bevorzugt in Kommunikationsverbindung mit allen anderen Komponenten steht, insbesondere der Ex-Vivo-Scaneinrichtung 16, den Instrumenten 8, 9 und 11, dem Navigationssystem 14 sowie weiteren Komponenten. Zugriff hat die Steuereinrichtung 17 insbesondere auch auf eine Anzeigeeinrichtung 18 und eine Augmented Reality-Einrichtung 19, hier eine Augmented Reality-Brille 20, welche für Unterstützungsmaßnahmen angesteuert werden können.
  • Die Steuereinrichtung 17 ist insbesondere zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet, von dem im Folgenden Ausführungsbeispiele genauer dargestellt werden sollen.
  • Das erfindungsgemäße Verfahren zielt darauf ab, wie in 2 genauer angedeutet, eine durch den Pfeil 21 angedeutete Registrierung zu schaffen, die es erlaubt, beispielsweise als von Tumorzellen infiltriert identifizierte Oberflächenbereiche/Orte 22 auf dem Resektat 5 auf der verbleibenden Gewebeoberfläche 7 in der Operationsgeometrie, insbesondere im patientenbezogenen Koordinatensystem, wieder aufzufinden, mithin den korrespondierenden Ort 23 auf der verbleibenden Gewebeoberfläche 7 im Entnahmebereich 6 automatisch aufzufinden und es durch geeignete Unterstützungsmaßnahmen der die Resektion durchführenden Person zu erlauben, diesen Ort 23 möglichst einfach aufzufinden.
  • 3 zeigt einen Ablaufplan eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Dabei wird in einem Schritt S1 das Resektat 5 in der Ex-Vivo-Scaneinrichtung bezüglich seiner Oberfläche gescannt, das bedeutet, es wird durch die Ex-Vivo-Scaneinrichtung ein erster Oberflächendatensatz des Resektats 5 aufgenommen. Dieser erste Oberflächendatensatz des Resektats 5 wird in einem Schritt S2 automatisch ausgewertet, um zu überprüfen, ob eine maligne Veränderung im Resektat 5 in einer definierten Nähe zur Oberfläche des Resektats 5, insbesondere maximal um einen Sicherheitsabstand von der Oberfläche des Resektats 5 beabstandet, vorliegt. Orte, an denen dies der Fall ist, werden als Anzeigemerkmale markiert. Alternativ zu dem ersten Oberflächendatensatz oder zusätzlich zu dem ersten Oberflächendatensatz kann auch ein weiterer Bilddatensatz der Ex-Vivo-Scaneinrichtung ausgewertet werden.
  • In einem Schritt S3 wird überprüft, ob maligne Veränderungen, im vorliegenden Fall also die Infiltration durch Tumorzellen, detektiert wurden, wobei, falls dies nicht der Fall ist, in einem Schritt S4 das Verfahren beendet wird. Liegen allerdings Anzeigemerkmale vor, werden in einem Schritt S5 mehrere Ausschnitte der verbleibenden Gewebeoberfläche 7 mit dem digitalen Biopsiewerkzeug 10, beispielsweise ein bis fünf Ausschnitte, als zweiter Oberflächendatensatz des Entnahmebereichs 6 aufgenommen. Die Ausschnitte können dabei möglichst gleich verteilt empfohlen werden; es kann jedoch auch eine grobe Aussage durch eine Analyse des ersten Oberflächendatensatzes dahingehend, wo besonders viele gut erkennbare Oberflächenmerkmale vorliegen, eine Empfehlung an die die Resektion durchführende Person ausgegeben werden. Die relativen Positionen der aufgenommenen Ausschnitte der verbleibenden Gewebeoberfläche 7 sind aufgrund des Navigationssystems 14 bekannt.
  • In einem Schritt S6 werden nun in diesem ersten Ausführungsbeispiel der erste Oberflächendatensatz und der zweite Oberflächendatensatz miteinander registriert, indem zueinander korrespondierende Oberflächenmerkmale der Oberfläche des Resektats 5 und der verbleibenden Gewebeoberfläche 7 aufgefunden werden. Denn die mikroskopische und die makroskopische Zell- bzw. Gewebestruktur an einem Ort des Resektats und einem korrespondierenden Ort der verbleibenden Gewebeoberfläche 7 können starke Ähnlichkeiten aufweisen, da sie ja ursprünglich zusammenhingen. Beispiele für solche Ähnlichkeiten sind Muster in der Zellanordnung, Gewebegrenzschichten, Blutgefäße, Gewebedichten und Zellarten sowie gegebenenfalls auch das Infiltrationsmuster von Tumorzellen. Diese Tatsache wird ausgenutzt, indem durch algorithmischen Abgleich der kleinflächigen Bilddaten des ausschnittsweise messenden Digitalbiopsiewerkzeugs 10 mit den großflächigen Bilddaten der Ex-Vivo-Scaneinrichtung 16 Kandidaten für korrespondierende Oberflächenmerkmale samt geometrischer Ausrichtung identifiziert werden.
  • Im vorliegenden ersten Ausführungsbeispiel wird bei der Registrierung im Schritt S6 insbesondere auch ein Registrierungsalgorithmus der künstlichen Intelligenz eingesetzt. Dabei wird in einem ersten Teilschritt beispielsweise durch wenigstens einen Filteralgorithmus und/oder wenigstens einen Glättungsalgorithmus und/oder wenigstens einen Kantenhervorhebungsalgorithmus und/oder eine Frequenzanalyse eine Vorverarbeitung durchgeführt, um Gewebestrukturen auf verschiedenen Größenskalen zu extrahieren. Die so vorverarbeiteten ersten und zweiten Oberflächendatensätze werden dann als Eingangsdaten dem Registrierungsalgorithmus der künstlichen Intelligenz übergeben. Dabei kann insbesondere ein DNN verwendet werden. Das DNN wurde anhand von annotierten Beispieldatensätzen darauf trainiert, für eine Registrierung vorteilhafte Oberflächenmerkmale aus den vorverarbeiteten Oberflächendatensätzen zu extrahieren und diese Oberflächenmerkmale zu Fingerabdruckdatensätzen zusammenzusetzen. Ein Fingerabdruckdatensatz beschreibt die Gesamtheit von Oberflächenmerkmalen und deren räumliche Anordnung innerhalb zumindest eines Teilbereichs der durch die Oberflächendatensätze beschriebenen Oberfläche. Beispielsweise können hinsichtlich des zweiten, mit dem Digitalbiopsiewerkzeug aufgenommenen Oberflächendatensatzes für jeden Ausschnitt jeweils ein Fingerabdruckdatensatz ermittelt werden; denkbar ist es selbstverständlich auch, innerhalb der Ausschnitte noch Unterteilungen vorzunehmen und kleinere Fingerabdruckdatensätze für Teilbereiche der entsprechenden Oberfläche zu bilden.
  • Die Fingerabdruckdatensätze des ersten und des zweiten Oberflächendatensatzes werden dann, selbstverständlich auf den entsprechenden Größenskalen, miteinander verglichen, um Kandidaten für mögliche Korrespondenzen aufzufinden, insbesondere auch durch Einsatz von Ähnlichkeitskriterien. Dabei kann auf Basis der größten Übereinstimmung eine räumliche Zuordnung ausgegeben werden, optional können jedoch auch mehrere Korrespondenz-Kandidaten mit hoher Übereinstimmung der Oberflächenmerkmale ausgegeben werden. Durch die Wiederholung des Vorgehens über mehrere ausschnittsweise Messungen an der verbleibenden Gewebeoberfläche 7 wird dann durch geometrischen Abgleich der verschiedenen Kandidaten die richtige Registrierung hergestellt.
  • Dabei sei, insbesondere auch im Hinblick auf weitere, noch zu diskutierende Ausführungsbeispiele mit einen größeren Anteil der verbleibenden Gewebeoberfläche 7 abdeckenden zweiten Oberflächendatensätzen darauf hingewiesen, dass eine Ausführung auf unterschiedlichen Größenskalen besonders vorteilhaft ist, insbesondere auch dann, wenn aufgrund einer Abtragung einer zwischen der Oberfläche des Resektats 5 und der verbleibenden Gewebeoberfläche 7 liegenden dünnen Gewebeschicht die Registrierung auf Ebene der mikroskopischen Zellanordnung an manchen Stellen fehlschlagen würde. Entsprechend kann auf mehreren Größenskalen gearbeitet werden. Beispielweise können Fingerabdruckdatensätze auf der Größenskala der mikroskopischen Zellstrukturen, beispielsweise 1 bis 100 Zellen, auf der Größenskala von mehreren Hundert Zellen, beispielsweise 100 bis 1000 Zellen, und auf makroskopischen Größenskalen verwendet werden.
  • Insbesondere durch die Verwendung solcher Fingerabdruckdatensätze lässt sich diese Art der bildbasierten Registrierung robust auch auf erste und zweite Oberflächendatensätze unterschiedlicher Modalitäten anwenden, beispielsweise bei Nutzung von optischer Kohärenztomographie für den ersten Oberflächendatensatz und die ausschnittsweise Abtastung der verbleibenden Gewebeoberfläche mittels optischer konfokaler Mikroskopie. In einem anderen Beispiel kann die Oberfläche des Resektats 5 großflächig mit hochauflösender Mikroskopie aufgenommen werden, die Oberfläche der verbleibenden Gewebeoberfläche von einem niedriger auflösenden Laparoskop oder Operationsmikroskop. Auch bei anderen Arten der Registrierung kann es im Übrigen zweckmäßig sein, bei Verwendung unterschiedlicher Modalitäten ein entsprechend auf die Kombination der Modalitäten trainierten Registrierungsalgorithmus der künstlichen Intelligenz einzusetzen.
  • Nach Abschluss des Schrittes S6 liegt also ein Registrierungsergebnis vor, das es erlaubt, Orten auf der Oberfläche des Resektats 5, deren Position im Koordinatensystem des ersten Oberflächendatensatzes bekannt ist, einen Ort auf der verbleibenden Gewebeoberfläche 7 zuzuordnen.
  • Nachdem vorliegend die Ausschnitte mit dem Digitalbiopsiewerkzeug 10, das von dem Navigationssystem 14 getrackt wird, aufgenommen werden, ist die Position der Orte dann auch im patientenbezogenen Koordinatensystem des Navigationssystems 14 bekannt.
  • Dies wird im Schritt S7 für diverse mögliche Unterstützungsmaßnahmen eingesetzt.
  • So kann als Unterstützungsmaßnahme im Schritt S7 auf der Anzeigeeinrichtung 18 eine zweidimensionale oder dreidimensionale Gewebekarte oder andere Präsentation des Resektats 5 angezeigt werden, wobei die Repräsentation insbesondere aus dem ersten Oberflächendatensatz und/oder dem weiteren Bilddatensatz der Ex-Vivo-Scaneinrichtung 16 abgeleitet sein kann. In dieser Repräsentation, die die Oberfläche des Resektats 5 zeigt, werden die im Schritt S2 bestimmten Anzeigemerkmale, also Bereiche maligner Veränderung, rot hervorgehoben. Gleichzeitig wird das Registrierungsergebnis des Schrittes S6 genutzt, um die relative Position des Digitalbiopsiewerkzeugs 10 und/oder wenigstens eines anderen Instruments, beispielsweise eines Eingriffsinstruments 8, relativ zu diesen Anzeigemerkmalen anzuzeigen, mithin relativ zu den korrespondierenden Orten auf der verbleibenden Gewebeoberfläche 7. Mit anderen Worten wird aufgrund des Registrierungsergebnisses bestimmt, welcher Ort auf der verbleibenden Gewebeoberfläche 7 zu dem Anzeigemerkmal korrespondiert; es wird mittels des Navigationssystems 14 die relative Position des jeweiligen Instruments zu diesem Ort ermittelt, und aufgrund dieser relativen Lage wird die relative Pose des Instruments bezüglich des Anzeigemerkmals mit der Repräsentation des Resektats 5 visualisiert. Mit anderen Worten wird das Instrument, während es sich im Realraum an einem Ort bzw. in der Nähe eines Orts an der Oberfläche des verbleibenden Gewebes befindet, virtuell am korrespondierenden Ort auf der Oberfläche des Resektats 5 eingeblendet bzw. der korrespondierende Ort/Ortsbereich wird anderweitig markiert.
  • In einer anderen Variante einer solchen Unterstützungsmaßnahme können zu Bereichen mit Tumorzellen auf der Oberfläche des Resektats 5 korrespondierende Oberflächenbereiche der verbleibenden Gewebeoberfläche 7 als Augmented Reality oder auf einem virtuellen zweidimensionalen oder dreidimensionalen Oberflächenmodell, vorzugsweise samt Einblendung der navigierten, also nachverfolgten Instrumente, angezeigt werden.
  • In einem Schritt S8 kann optional eine Überprüfung stattfinden. Auf Basis der Unterstützungsmaßnahmen kann der Benutzer beispielsweise das Digitalbiopsiewerkzeug 10 zu Orten auf der verbleibenden Gewebeoberfläche 7 bewegen, die als mögliche Bereiche mit Tumorzellen angezeigt werden. Durch eine Messung mit dem Digitalbiopsiewerkzeug kann er verifizieren, ob die angezeigte Korrespondenz richtig ermittelt wurde und gegebenenfalls unmittelbar aus den Bildern des Digitalbiopsiewerkzeugs beurteilen, ob auch auf der verbleibenden Gewebeseite Tumorzellen infiltriert sind. Dann kann gegebenenfalls (außerhalb des hier dargestellten Verfahrens) eine Nachresektion vorgenommen werden.
  • Die Überprüfungsmessung im optionalen Schritt S8 kann zur Verbesserung der Registrierung in den Schritt S6 rückgespeist werden. Ferner sei an dieser Stelle noch angemerkt, dass die Schritte S5 und S6 auch iterativ wiederholt werden können, beispielsweise wenn im Schritt S6 festgestellt wird, dass die Qualität des Registrierungsergebnisses zu niedrig ist. Dann ist es denkbar, für wenigstens einen weiteren Ausschnitt in einer Wiederholung des Schrittes S5 Oberflächendaten des zweiten Oberflächendatensatzes mit dem Digitalbiopsiewerkzeug 10 aufzunehmen.
  • 4 illustriert ein zweites Ausführungsbeispiel des erfindungsgemäßen Verfahrens. In dem zweiten Ausführungsbeispiel werden ergänzende, vermittelnde erste und zweite Oberflächendatensätze als eine Art Zwischenschritt zur einfacheren Registrierung eingesetzt. Dabei bleiben zwar die Schritte S1 bis S4 im Wesentlichen unverändert, allerdings wird, insbesondere noch vor Positionieren des Resektats 5 in der Ex-Vivo-Scaneinrichtung 16, in einem Schritt S9 eine Vermessung sowohl des Resektats 5 als auch der verbleibenden Gewebeoberfläche 7 im Entnahmebereich 6 vorgenommen. Hierfür kann beispielsweise das Laparoskop 12 oder ein sonstiges, weiteres Aufnahmeinstrument 11, beispielsweise ein Operationsmikroskop, eingesetzt werden. Das Resektat 5 kann beispielsweise vor dem Aufnahmeinstrument 11 gedreht werden. Auch bezüglich der verbleibenden Gewebeoberfläche 7 werden Teildatensätze in unterschiedlichen Orientierungen des bildgebenden Sensors des Aufnahmeinstruments, insbesondere einer Stereokamera, aufgenommen. Beispielsweise mittels dem in US 2017/0105601 A1 beschriebenen Vorgehen lässt sich anhand der Teildatensätze dann in einem Schritt S10 für das Resektat 5 und den Entnahmebereich 6 jeweils ein dreidimensionales Oberflächenmodell erzeugen. Werden nun die Bilddaten der Teildatensätze als Textur dieses Oberflächenmodells verwendet, entstehen im Schritt S10 entsprechende erste und zweite Oberflächendatensätze des Resektats 5 und der verbleibenden Gewebeoberfläche 7 im Entnahmebereich 6.
  • Nachdem die gleichen Oberflächen dargestellt sind, kann durch Bildanalyse mittels geeigneter Algorithmen und gegebenenfalls Interpolation/Glättung das großflächige Scanergebnis der Ex-Vivo-Scaneinrichtung 16, das im Schritt S1 aufgenommen wird, in einem Schritt S11 zu dem ersten Oberflächendatensatz des Schrittes S10 registriert werden, beispielsweise auf Basis makroskopischer Gewebestrukturen, die sowohl in den Scandaten der Ex-Vivo-Scaneinrichtung 16 als auch in den Bilddaten der Stereokamera des Laparoskops 12 enthalten sind. Auch auf dem Resektat 5 angeordnete Marker (Markierungsobjekte) können zur einfachen Registrierung im Schritt S11 herangezogen werden.
  • Parallel, vor oder nach dem Schritt S11 kann im Übrigen auch der Registrierungsschritt S6 durchgeführt werden, der vorliegend die im Schritt S10 aufgenommenen ersten und zweiten Oberflächendatensätze miteinander registriert, die ja mit derselben Modalität aufgenommen wurden. Dennoch kann es zweckmäßig sein, den Schritt S6 erst nach dem Schritt S11 durchzuführen, da dann der erste Oberflächendatensatz der Ex-Vivo-Scaneinrichtung 16, der im Schritt S1 aufgenommen wurde, ebenso zur Verbesserung der Registrierung beitragen kann. Dann werden letztlich erste Oberflächendatensätze zweier verschiedener Modalitäten im Registrierungsschritt S6 eingesetzt.
  • In einem Schritt S12 werden die Ausschnitte, die durch das nachverfolgte Digitalbiopsiewerkzeug 10 im Schritt S5 aufgenommen wurden, ebenso direkt mit dem im Schritt S10 ermittelten zweiten Oberflächendatensatz registriert, was, nachdem dieser aufgrund der Verwendung des Aufnahmeinstruments 11 ohnehin im patientenbezogenen Koordinatensystem des Navigationssystems 14 vorliegt, welches auch das Digitalbiopsiewerkzeug 10 trackt, besonders einfach möglich ist. Es sei angemerkt, dass auch diese Messungen gegebenenfalls, wenn der Schritt S6 erst danach durchgeführt wird, in die Registrierung eingehen können.
  • Der Schritt S7 kann im zweiten Ausführungsbeispiel nach 4 dann auch Unterstützungsmaßnahmen anbieten, die auf einer Visualisierung der texturierten Oberflächenmodelle, wie sie im Schritt S10 bestimmt wurden, basiert.
  • Das dritte Ausführungsbeispiel der 5 unterscheidet sich von dem zweiten Ausführungsbeispiel in 4 dadurch, dass das Digitalbiopsiewerkzeug 10 hier nicht verwendet wird. Die im Schritt S10 ermittelten ersten und zweiten Oberflächendatensätze werden direkt zueinander registriert, rigide oder bevorzugt deformierbar. Dies geschieht dann auf Basis geometrischer Eigenschaften der entsprechenden aus den Stereo-Kameradaten erzeugten Texturen der dreidimensionalen Oberflächenmodelle. So können vom digitalen Histologiegerät, also der Ex-Vivo-Scaneinrichtung 16, identifizierte Anzeigemerkmale mit infiltrierten Tumorzellen direkt korrespondierenden Orten auf der verbleibenden Gewebeoberfläche 7 zugeordnet werden. Bevorzugt ist es im Rahmen der vorliegenden Erfindung jedoch, dennoch das Digitalbiopsiewerkzeug 10 zu verwenden, um die Registrierung auf eine Basis zu stellen und eine Überprüfung im Patienten, vgl. Schritt S8, zu ermöglichen.
  • In den jeweiligen Schritten S6 der diskutierten Ausführungsbeispiele kann auch ein Korrespondenzdatensatz genutzt werden, der Korrespondenzpaare korrespondierender Oberflächenmerkmale enthält, bei welchen nicht zwangsläufig die beschriebene Ähnlichkeit vorliegt. Das bedeutet, ein solcher Korrespondenzdatensatz, dessen Ermittlung beispielhaft anhand der 6 näher erläutert werden wird, ermöglicht es, auch solche Oberflächenmerkmale zueinander in Beziehung zu setzen, die keine Ähnlichkeit mehr aufweisen, die in nach abgeschlossener Resektion aufgenommener Oberflächendatensätzen eine bildbasierte Zuordnung erlauben würden, beispielsweise, weil eine zu große Gewebeschicht dazwischen entfernt wurde und/oder eine Nachbehandlung, insbesondere Verödung, einseitig vorgenommen wurde. Er kann mithin ein zusätzliches Ähnlichkeitskriterium liefern.
  • Bei der Ermittlung des Korrespondenzdatensatzes wird ausgenutzt, dass nahezu alle chirurgischen Schritte, welche zu einer Abtrennung des Resektats 5 vom zurückbleibenden Gewebe beitragen, unter Beobachtung, insbesondere mittels einer Stereokamera, beispielsweise des Laparoskops 12, stattfinden, so dass auch im Folgenden angenommen werden wird, dass ein Überwachungsvideo, dessen Frames einzelne, zeitlich aufeinanderfolgend aufgenommene Überwachungsbilder darstellen, existiert. Nachdem ein derartiges Überwachungsvideo üblicherweise manuell und/oder automatisch annotiert wird, insbesondere was einen automatisch festgestellten Workflowschritt angeht, kann der relevante, die Resektion des Resektats 5 vollständig zeigende Anteil des Überwachungsvideos leicht ausgewählt werden.
  • Die Grundidee ist es also, aus einem Überwachungsvideo bzw. Überwachungsbildern der Resektion, beispielsweise vom Laparoskop 12 oder alternativ von einem Operationsmikroskop aufgenommen, einen Korrespondenzdatensatz zwischen der Oberfläche des Resektats 5 und verbleibender Gewebeoberfläche 7 zu erzeugen. Für die spätere Registrierung von Orten 22 auf der Oberfläche des Resektats 5 zu korrespondierenden Orten 23 auf der verbleibenden Gewebeoberfläche 7 kann dieser Korrespondenzdatensatz benutzt werden.
  • Die hier beschriebene Auswertung der Überwachungsbilder kann in Echtzeit bereits während der Resektion oder aber bevorzugt nachträglich auf Basis des aufgenommenen Überwachungsvideos durchgeführt werden.
  • In einem Schritt S13 beginnt die Auswertung, indem eine Zählvariable zu dem Frame springt, der den annotierten/erkannten Startzeitpunkt der Resektion innerhalb des Überwachungsvideos kennzeichnet. Diese Zählvariable sei im Folgenden mit n bezeichnet.
  • Entsprechend wird in einem Schritt S14 der n-te Frame des Überwachungsvideos als Überwachungsbild geladen. Im Fall eines mit einer Stereokamera aufgenommenen Überwachungsvideos, kann im Schritt S2 auch eine Stereo-Rekonstruktion einer dreidimensionalen Oberflächenkarte der aktuellen Szene mit einem aus dem Stand der Technik grundsätzlich bekannten Verfahren durchgeführt werden. Die nachfolgenden Schritte werden dann wahlweise auf dem Überwachungsbild des Frames oder auf der texturierten dreidimensionalen Oberflächenkarte der aktuellen Szene ausgeführt.
  • In einem Schritt S15 erfolgt eine Analyse des aktuellen Überwachungsbildes in mehrerlei Hinsicht, insbesondere, um festzustellen, ob überhaupt eine Interaktion eines Eingriffsinstruments 8 mit dem Gewebe stattgefunden hat oder nicht. Hierzu wird zum einen das Eingriffsinstrument 8 innerhalb des Überwachungsbildes detektiert und lokalisiert, wobei alternativ oder zusätzlich auch Positionsinformationen des Navigationssystems 14 bezüglich des Eingriffsinstruments 8 genutzt werden können. Unter Nutzung der vorliegenden Informationen wird dann festgestellt, ob das Eingriffsinstrument gerade Gewebe trennt bzw. entfernt bzw. bearbeitet oder ob das Eingriffsinstrument aktuell keine Wirkung auf das Gewebe ausübt. Diese Information wird für jeden Frame im relevanten Zeitraum der Resektion dem entsprechenden Überwachungsbild zugeordnet gespeichert. Diese Information kann insbesondere genutzt werden, um die Zahl der genauer zu analysierenden Frames bzw. Überwachungsbilder weiter zu reduzieren, da neue Korrespondenzpaare von Oberflächenmerkmalen nur dann entstehen können, wenn das Gewebe auch tatsächlich von dem Eingriffsinstrument beeinflusst wird.
  • Jene entsprechend zu bearbeitenden Frames, also Überwachungsbilder, werden dann aufeinanderfolgend in den ab Schritt S16 folgenden Schritten wie beschrieben analysiert.
  • Für einen aktuell zu bearbeitenden Frame wird im Schritt S16, gegebenenfalls nach einer Vorverarbeitung wie oben bereits zu den 3 bis 5 beschrieben, zunächst versucht, Oberflächenmerkmale bereits im Korrespondenzdatensatz abgelegter Korrespondenzpaare wieder aufzufinden, mithin innerhalb des Überwachungsbildes zu lokalisieren. Dasselbe gilt für gegebenenfalls optional verwendete Referenzmerkmale. Dies fällt entsprechend weg, wenn noch keine Korrespondenzpaare festgestellt wurden. Ferner wird im Schritt S16 versucht, neue korrespondierende Oberflächenmerkmale aufzufinden. Wie bereits erwähnt, wird dieser Verfahrensschritt für ein Überwachungsbild nur dann ausgeführt, wenn im aktuellen oder in einem erst kurz zurückliegenden Frame das Eingriffsinstrument eine Wirkung auf das Gewebe hatte, bei der es zu einer weiteren Trennung von Resektat 5 und verbleibendem Gewebe, beispielsweise durch Abtragung oder Schnitte oder eine sonstige Veränderung des Gewebes kam.
  • Als Kandidaten für korrespondierende Oberflächenmerkmale werden dabei bevorzugt durch Bildanalyse solche ausgewählt, die zum einen noch nicht in vorherigen Überwachungsbildern hinreichend analysiert wurden, zum anderen aber auch solche, die zumindestens in den Bildgebungsmodalitäten der Ex-Vivo-Scaneinrichtung 16 ebenso deutlich zu erkennen sind. Als weitere Bildgebungsmodalitäten können jene von Aufnahmeinstrumenten 9, 11 berücksichtigt werden. Zu einem solchen Oberflächenmerkmal wird geometrisch überprüft, ob ein tatsächlich passendes Oberflächenmerkmal auf der „anderen Seite“ gefunden werden kann. Mit anderen Worten markiert die aktuelle Schnittkante oder Trennkante die Grenze zwischen Gewebe, das die Oberfläche des Resektats 5 bilden wird, und Gewebe, das die verbleibende Gewebeoberfläche 7 des Entnahmebereichs 6 bilden wird. Korrespondierte Oberflächenmerkmale sollten auf zwei unterschiedlichen Seiten dieser Trennkante liegen und geometrisch die Bedingung erfüllen, dass sie aktuell oder in einem ausreichend neuen vorhergehenden Frame durch das Eingriffsinstrument 8 getrennt worden sein können. Handelt es sich nicht um den Start der Resektion, so sollten die neuen Oberflächenmerkmale an früher erkannte Oberflächenmerkmale angrenzen, das bedeutet, nicht allzu weit entfernt sein. Bei einer solchen Überprüfung der relativen Lage zu Oberflächenmerkmalen, die bereits Teil eines Korrespondenzpaars bilden, sowie gegebenenfalls Referenzmerkmalen kann diese relative Lage auch gleich gespeichert werden, wenn sich tatsächlich ein neues Korrespondenzpaar findet, da diese relativen Lagen von Oberflächenmerkmalen (gegebenenfalls Referenzmerkmalen) zueinander im weiteren Verlauf noch genutzt werden wird. Auch im Rahmen dieses Auffindens korrespondierender Oberflächenmerkmale können, insbesondere zusätzlich zu den geometrischen Betrachtungen, Ähnlichkeitsuntersuchungen wie bereits beschrieben durchgeführt werden, beispielsweise Fingerabdruckdatensätze gebildet und verglichen werden.
  • Wird im Schritt S16 ein neues Korrespondenzpaar gefunden, wird dieses als Teil des Korrespondenzdatensatzes abgespeichert, nebst Merkmalsinformationen, vorliegend wenigstens dem Anteil der Überwachungsbilder, die das Oberflächenmerkmal zeigen, gegebenenfalls jedoch auch weiteren Merkmalsinformationen. Als insbesondere weitere Merkmalsimformationen bietet sich, gerade bei Verwendung des Korrespondenzdatensatzes zur Unterstützung einer Registrierung gemäß der Schritte S6, ein Fingerabdruckdatensatz der Oberflächenmerkmale an.
  • Konkret wird in diesem Ausführungsbeispiel mit jedem aufgefundenen Korrespondenzpaar eine Oberflächenkarte erweitert, worauf im Folgenden noch genauer eingegangen werden wird.
  • Eine Illustration dieses fortschreitenden Prozesses zum Auffinden von Korrespondenzpaaren korrespondierender Oberflächenmerkmale, wobei auch hier selbstverständlich die bereits diskutierten Oberflächenmerkmale herangezogen werden können, sei durch die 7 bis 9 näher erläutert, welche beispielhaft schematisiert Überwachungsbilder zu verschiedenen Zeitpunkten, also verschiedene Frames eines Überwachungsvideos, zeigen.
  • 7 zeigt schematisch ein Überwachungsbild 24 zu Beginn der Resektion. Zu sehen ist ein Eingriffsinstrument 8 an der Oberfläche des Organs 4 sowie ein begonnener Schnitt 25.
  • 8 zeigt einen späteren Frame, das bedeutet, ein zu einem späteren Zeitpunkt aufgenommenes Überwachungsbild 26. Zu erkennen ist dort eine deutlich weitere Auftrennung entlang einer Schnittkante 27, an der das Eingriffsinstrument 8 gerade wirkt. Rechts und links der Schnittkante 27 haben sich Oberflächen gebildet, nämlich rechts eine Teiloberfläche 28 des zukünftigen Resektats und links eine Teiloberfläche 29 der zukünftigen verbleibenden Gewebeoberfläche 7. Die Dreiecke 30 markieren die Positionen von Oberflächenmerkmalen eines bereits in einem früheren Frame detektierten Korrespondenzpaares, während die Kreise 31 in diesem Frame, also im Überwachungsbild 26, neu detektierte Oberflächenmerkmale eines neuen Korrespondenzpaars zeigen, deren relative Lage zu den durch die Dreiecke 30 markierten Korrespondenzmerkmalen ersichtlich feststellbar ist.
  • 9 zeigt ein Überwachungsbild 32 zu einem Zeitpunkt, der relativ kurz hinter dem Zeitpunkt 26 liegt. Ersichtlich wird das Eingriffsinstrument 8 gerade aus dem Bereich der Schnittkante 27 wegbewegt, was dafür spricht, dass in einem folgenden Zeitabschnitt keine Gewebebeeinflussung stattfinden wird. Durch das Wegbewegen des Instruments 8 und das vorherige Fortschreiten der Resektion sind allerdings benachbart zu den durch die Kreise 31 markierten Oberflächenmerkmalen weitere Oberflächenmerkmale, markiert durch Quadrate 33, sichtbar geworden, die ein neues Korrespondenzpaar bilden.
  • Zurückkehrend zu 6 betrifft der Schritt S17 die Erzeugung bzw. Aktualisierung einer texturierten Oberflächenkarte der entstehenden Oberflächen des Resektats 5 und des Entnahmebereichs 6. Aufgrund der bekannten relativen Lage der Oberflächenmerkmale der Korrespondenzpaare zueinander können, gegebenenfalls bei Einsatz einer Stereokamera sogar dreidimensional, zunächst Oberflächenmodelle erstellt werden, denen als Textur die Oberflächenmuster bzw. entsprechenden Bilddaten aus wenigstens einem der Überwachungsbilder 24, 26, 32 zugeordnet werden. Die jeweils verwendeten Ausschnitte aus den Überwachungsbildern 24, 26, 32 zeigen (als Merkmalsinformation) wenigstens das entsprechende Oberflächenmerkmal, bevorzugt werden jedoch auch Bereiche zwischen den Orten von Oberflächenmerkmalen entsprechend aufgefüllt. Dabei kann die Textur insbesondere unter Verwendung mehrerer Frames, beispielsweise durch Mittelung über mehrere Überwachungsbilder 24, 26, 32, die den entsprechenden Anteil zeigen, bestimmt werden.
  • Die aktuellen Korrespondenzpaare, die texturierten Oberflächenkarten sowohl für das zukünftige Resektat 5 als auch den Entnahmebereich 6, sowie gegebenenfalls weitere Informationen (weitere Merkmalsinformationen, relative Lage, ...) werden in einem Datenspeicher der Steuereinrichtung 17 abgelegt.
  • In einem Schritt S18 wird überprüft, ob das Ende des relevanten Abschnitts des Überwachungsvideos erreicht ist. Falls nein, wird zum nächsten Frame weitergesprungen, also n->n+1. Falls ja, wird das Verfahren beendet.
  • Dabei sei an dieser Stelle noch angemerkt, dass im Schritt S16 auch überwacht wird, ob eine einseitige, das bedeutet nur oder im Wesentlichen nur den Teil 28 oder den Teil 29 betreffend, eine Gewebeveränderung auftritt, beispielsweise durch einseitige Verödung mittels eines Energieinstruments. In solchen Fällen werden die Oberflächentexturen der Oberflächenkarten an den entsprechenden Orten nochmals angepasst, ebenso, falls notwendig, sonstige Merkmalsinformationen. Auf diese Weise entsteht insbesondere in Form des Korrespondenzpaars eine Ähnlichkeitsbeziehung, die ansonsten gegebenenfalls durch rein bildbasierten Vergleich des Endzustandes nicht mehr erkennbar gewesen wäre.
  • Entsprechend kann der Korrespondenzdatensatz auch zur Verbesserung der Registrierung in den Schritten S6 der Verfahren nach 3 bis 5 eingesetzt werden, in dem anhand der Korrespondenzpaare mit ihren Merkmalsinformationen, insbesondere auch Fingerabdruckdatensätzen, und gegebenenfalls relativen Lagen ein weiteres Ähnlichkeitskriterium hinzugefügt wird, mittels dessen Oberflächenmerkmale, die sich aufgrund einer zu dicken dazwischen abgetragenen Gewebeschicht bzw. einer nachträglichen einseitigen Bearbeitung nicht mehr ähnlich sehen, dennoch als korrespondierend erkannt werden können.
  • Es ist jedoch auch eine Ausgestaltung des erfindungsgemäßen Verfahrens denkbar, wie durch den Ablaufplan in 10 illustriert wird, in der letztlich die Oberflächenkarte der verbleibenden Gewebeoberfläche 7 des Entnahmebereichs 6, die im Schritt S17 entsteht, als zweiter Oberflächendatensatz wirkt. Gegebenenfalls, also bei nicht zu starker Veränderung der Lage des Organs 4 bzw. des Patienten 3, liegt dieser, da die verbleibende Gewebeoberfläche 7 im Gegensatz zum Resektat 5 ja nicht entfernt wird, sogar bereits im patientenbezogenen Koordinatensystem vor, mit dem ja auch das Aufnahmeinstrument 9, 11, das der Aufnahme der Überwachungsbilder 24, 26, 32 diente, durch das Navigationssystem 14 nachverfolgt wurde. Selbstverständlich ist es jedoch auch möglich, dann weitere zweite Oberflächendatensätze aufzunehmen und sie, da sie dieselbe Oberfläche zeigen, vereinfacht, mit der Oberflächenkarte des Entnahmebereichs 6 zu registrieren, um so eine Beziehung zum patientenbezogenen Koordinatensystem herzustellen.
  • In einem Schritt S19 der 10 erfolgt nun zunächst eine Vorverarbeitung der im Schritt S17 erstellten Oberflächenkarten des Resektats 5 und der verbleibenden Gewebeoberfläche 7 im Entnahmebereich 6. Die Information über die Orte der Oberflächenmerkmale der Korrespondenzpaare in den Oberflächenkarten stellt bereits eine Korrespondenzinformation dar, da diese Orte einander zugeordnet ist, allerdings liegt diese Korrespondenzinformation nur punktuell vor, wo Oberflächenmerkmale, die als geeignet für Oberflächenpaare festgestellt wurden, vorhanden sind. Im Schritt S19 werden diese Korrespondenzen nun geeignet interpoliert, so dass jedem bzw. zumindest möglichst vielen Orten auf der Oberfläche des Resektats 5 korrespondierende Orte auf der verbleibenden Gewebeoberfläche 7 zugeordnet werden können. Es entsteht also letztlich eine Korrespondenzabbildung bzw. Korrespondenztabelle, die idealerweise für die gesamten Oberflächenkarten gültig ist und somit eine Vervollständigung der Registrierung zwischen den Oberflächenkarten darstellt. Nachdem ein erster Oberflächendatensatz, der mit der Ex-Vivo-Scaneinrichtung 16 aufgenommen wird, aufgrund der gleichen Oberfläche leicht mit der Oberflächenkarte des Resektats 5 registriert werden kann, entsteht durch die Verknüpfung dieser Registrierung mit der durch die Korrespondenzinformation gegebenen Registrierung eine Registrierung zwischen dem ersten Oberflächendatensatz und der als zweiter Oberflächendatensatz auffassbaren Oberflächenkarte der verbleibenden Gewebeoberfläche 7 des Entnahmebereichs 6.
  • Mit anderen Worten kann in einem Schritt S20 zumindest der Anteil des ersten Oberflächendatensatzes, der mit der Ex-Vivo-Scaneinrichtung 16 aufgenommen wurde, welcher maligne Veränderungen des Gewebes oberflächennah zeigt, mit der Oberflächenkarte des Resektats 5 bildbasiert registriert werden. Beispielsweise kann ein Mikroskopiebild der Oberfläche des Resektats 5 entsprechend herunterskaliert werden, und dann zur Oberflächenkarte bildbasiert räumlich zugeordnet werden. Vorteilhaft wird eine komplette Registrierung des Oberflächendatensatzes mit der Oberflächenkarte des Resektats 5 vorgenommen. Als Ergebnis des Schrittes S20 kann also in jedem Fall einem Anzeigemerkmal ein Ort auf der Oberflächenkarte des Resektats 5 zugeordnet werden.
  • In einem Schritt S21 wird die Korrespondenzinformation dann genutzt, um den zu diesem Ort aR korrespondierenden Ort bv zu ermitteln.
  • Dient nun nicht bereits die Oberflächenkarte des Entnahmebereichs 6 als zweiter, im patientenbezogenen Koordinatensystem vorliegender Oberflächendatensatz, kann in einem Schritt S22 eine bildbasierte Registrierung zwischen den Texturen der Oberflächenkarte der verbleibenden Gewebeoberfläche 7, wenigstens um den Ort bv herum, zu einem aktuellen Videobild des Laparoskops 12 oder einem anderen zweiten Oberflächendatensatz stattfinden. Diese Registrierung kann alternativ auch durch das Navigationssystem 14 erfolgen, in dem die gesamte Oberflächenkarte der verbleibenden Gewebeoberfläche 7 zur intraoperativen Geometrie registriert ist, wie dargelegt.
  • Letztlich kann in einem Schritt S23 analog zu den Schritten S7 die Durchführung von Unterstützungsmaßnahmen erfolgen, beispielsweise die Anzeige des zum tumorinfiltrierten Ort des Resektats 5 korrespondierenden Oberflächenabschnitts der verbleibenden Gewebeoberfläche 7 als Überlagerung, Augmented Reality-Darstellung und/oder Markierung im Navigationssystem.
  • 11 zeigt schließlich mögliche Funktionseinheiten einer Steuereinrichtung 17 eines erfindungsgemäßen Unterstützungssystems 1. Die Steuereinrichtung 17 kann zunächst Schnittstellen 34 aufweisen, über die die für die umzusetzenden Ausführungsbeispiele des erfindungsgemäßen Verfahrens notwendigen Bilddaten von den entsprechenden Geräten/Instrumenten (Ex-Vivo-Scaneinrichtung 16, Aufnahmeinstrumente 9, 11, ...) zur Verarbeitung entgegengenommen werden. Ferner weist die Steuereinrichtung 17 wenigstens eine Registrierungseinheit 35 zur Durchführung, je nach Ausführungsbeispiel, der Schritte S6, S11, S12, S16, S17, S19, S20, S21 und/oder S22 auf. Eine Unterstützungseinheit 36 kann zur Durchführung, je nach Ausführungsbeispiel, der Schritte S7 oder S23 vorgesehen sein.
  • Selbstverständlich können, je nach konkreter Ausgestaltung des erfindungsgemäßen Verfahrens, das durch die Steuereinrichtung 17 umgesetzt werden soll, auch weitere Funktionseinheiten, gegebenenfalls auch Subeinheiten der Registrierungseinheit 35 und der Unterstützungseinheit 36, vorhanden sein, insbesondere wenigstens eine Bildverarbeitungseinheit, wenigstens eine Vorverarbeitungseinheit und dergleichen. Ein Speichermittel bzw. Datenspeicher 37 kann zur Speicherung von Zwischenergebnissen bzw. des Registrierungsergebnisses und dergleichen verwendet werden.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014103044 A1 [0006]
    • US 2017/0105601 A1 [0008, 0030, 0099]

Claims (28)

  1. Verfahren zur Navigationsunterstützung einer eine Resektion an einem Patienten (3) durchführenden Person nach Entnahme eines Resektats (5) zur Navigation bezüglich des Resektats (5), gekennzeichnet durch folgende Schritte: - Aufnahme eines ersten Oberflächendatensatzes des Resektats (5) mit einer Ex-Vivo-Scaneinrichtung (16), - Ermittlung eines wenigstens einen Teil der verbliebenen Gewebeoberfläche (7) des Entnahmebereichs (6) des Resektats (5) im Patienten (3) abdeckenden zweiten Oberflächendatensatzes des Entnahmebereichs (6) unter Verwendung eines Aufnahmeinstruments (9, 11), - Registrierung des ersten Oberflächendatensatzes des Resektats (5) mit dem zweiten Oberflächendatensatz des Entnahmebereichs (6) auf der Grundlage von sich entsprechenden Oberflächenmerkmalen des Resektats (5) und der verbleibenden Gewebeoberfläche (7) im Entnahmebereich (6), und - Durchführen wenigstens einer die Navigation im Entnahmebereich (6) bezüglich des Resektats (5) unterstützenden Unterstützungsmaßnahme unter Verwendung der Registrierung.
  2. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Aufnahmeinstrument (9, 11) in einem patientenbezogenen Koordinatensystem mittels eines Navigationssystems (14) nachverfolgt wird, wobei auch der zweite Oberflächendatensatz in dem patientenbezogenen Koordinatensystem aufgenommen wird oder vorliegt, wobei insbesondere die Unterstützungsmaßnahme eine Darstellung der relativen Position wenigstens eines Anzeigemerkmals des Resektats (5) zu dem Aufnahmeinstrument (9, 11) und/oder einem weiteren, durch das Navigationssystem (14) in dem patientenbezogenen Koordinatensystem nachverfolgten Instruments und/oder der Oberfläche des Entnahmebereichs (6) umfasst.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zur Darstellung der relativen Position eine Augmented Reality-Einrichtung (19), insbesondere eine Augmented Reality-Brille (20), und/oder eine Anzeigeeinrichtung (18) zur Wiedergabe des ersten und/oder zweiten Oberflächendatensatzes, wobei das Instrument und/oder das weitere Instrument und/oder eine deren relative Position anzeigende Markierung in den ersten und/oder zweiten Oberflächendatensatz eingeblendet werden, und/oder zur Wiedergabe eines aktuell durch das Aufnahmeinstrument (9, 11) und/oder wenigstens eines des wenigstens einen weiteren Instruments, insbesondere ein Laparoskop (12), aufgenommenen Bildes, wobei das wenigstens eine Merkmal aus dem ersten Oberflächendatensatz in das Bild eingeblendet wird, verwendet wird.
  4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass wenigstens eines des wenigstens einen Anzeigemerkmals das Vorliegen einer malignen Veränderung im Resektat (5) in einer definierten Nähe zur Oberfläche des Resektats (5) beschreibt, welches durch wenigstens teilweise automatische Auswertung des ersten Oberflächendatensatzes und/oder eines weiteren Bilddatensatzes des Resektats (5), der mit dem ersten Oberflächendatensatz registriert ist oder wird, ermittelt wird.
  5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der erste Oberflächendatensatz und/oder der zweite Oberflächendatensatz und/oder der weiteren Bilddatensatz mit einer optischen Bildgebungsmodalität, insbesondere einer Kamera und/oder optischer Kohärenztomographie und/oder Fluoreszenzbildgebung und/oder konfokaler Mikroskopie und/oder Lasermikroskopie, aufgenommen werden.
  6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als das Aufnahmeinstrument (9, 11) ein digitales, die Gewebeoberfläche (7) im Entnahmebereich (6) ausschnittsweise, insbesondere in einem Ausschnitt einer Größe von 0,01 bis 10 mm2, vermessendes Digitalbiopsiewerkzeug (10) verwendet wird, wobei im Rahmen der Registrierung der korrespondierende Ausschnitt auf der Oberfläche des Resektats (5) lokalisiert wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass durch Auswertung des ersten Oberflächendatensatzes wenigstens ein Bereich mit in den Oberflächendaten des Digitalbiopsiewerkzeugs (10) erkennbaren Oberflächenmerkmalen ermittelt und in Bezug zum Resektat (5) der Person angezeigt wird.
  8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass im Rahmen der Registrierung ein die Verlässlichkeit des Registrierungsergebnisses beschreibendes Qualitätsmaß ermittelt wird, wobei bei Unterschreitung eines Schwellwertes durch das Qualitätsmaß eine Aufnahme eines weiteren Ausschnitts angefordert wird, und/oder das zur Überprüfung einer durch die Unterstützungsmaßnahme vermittelten Information wenigstens eine Verifizierungsmessung mit dem Digitalbiopsiewerkzeug (10) vorgenommen wird, insbesondere zur Überprüfung des Vorliegens einer malignen Veränderung an einer aktuellen Position des Digitalbiopsiewerkzeugs (10).
  9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der erste und/oder der zweite Oberflächendatensatz aus unter unterschiedlichen Blickrichtungen auf das Resektat (5) bzw. den Entnahmebereich (6) aufgenommenen Teildatensätzen, insbesondere einer Stereo-Kamera, zusammengesetzt wird.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zunächst aus den Teildatensätzen ein den Oberflächenverlauf beschreibendes Oberflächenmodell, insbesondere als Polygonmodell, ermittelt wird, dem als Textur die Bilddaten der Teildatensätze zugeordnet werden.
  11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass bei Ermittlung eines die gesamte durch die Resektion gebildete Oberfläche des Entnahmebereichs (6) zeigenden zweiten Oberflächendatensatzes und bei Verwendung eines digitalen, die Gewebeoberfläche (7) im Entnahmebereich (6) ausschnittsweise vermessenden Digitalbiopsiewerkzeugs (10) ein durch das Digitalbiopsiewerkzeug (10) vermessener Ausschnitt auf den zweiten Oberflächendatensatz registriert wird, insbesondere bei unterstützender Verwendung des mit dem zweiten Oberflächendatensatz registrierten ersten Oberflächendatensatzes.
  12. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass, insbesondere bei Verwendung von jeweils die gesamten Oberflächen beschreibenden Oberflächendatensätzen, die Registrierung in verschiedenen Auflösungsstufen sukzessive erfolgt, insbesondere unter Segmentierung von oberflächlichen Gewebestrukturen als Oberflächenmerkmale, und/oder dass mehrere erste und/oder mehrere zweite Oberflächendatensätze mit unterschiedlichen Modalitäten aufgenommen werden, welche alle zur Registrierung verwendet werden, insbesondere sukzessive von gröberer Auflösung zu feinerer Auflösung.
  13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Oberflächenmerkmale zur Registrierung Zellstrukturen und/oder Zelltypen und/oder Zellanordnungen und/oder Zellcluster und/oder Faserstrukturen des Gewebes und/oder Gefäßstrukturen des Gewebes und/oder spektrale Reflektivitäten des Gewebes und/oder die Verteilung eines Fluoreszenzfarbstoffes im Gewebe und/oder die Verteilung von malignen Veränderungen auf der sichtbaren Gewebeoberfläche und/oder Spuren eines Eingriffsinstruments (8), insbesondere eines Skalpells und/oder eines Absauggerätes und/oder eines Energieinstruments, verwendet werden.
  14. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Oberflächenmerkmale in unterschiedlichen Auflösungsbereichen der Oberflächendatensätze, insbesondere unter Verwendung wenigstens eines Filteralgorithmus und/oder Glättungsalgorithmus und/oder Kantenhervorhebungsalgorithmus, detektiert werden und/oder zu Fingerabdruckdatensätzen, die zur Registrierung verglichen werden, zusammengefasst werden.
  15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass bei der Verwendung von Fingerabdruckdatensätzen der erste und der zweite Oberflächendatensatz mit unterschiedlichen Modalitäten aufgenommen wurden.
  16. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Registrierung der Oberflächendatensätze ein Registrierungsalgorithmus der künstlichen Intelligenz, insbesondere ein Deep Neural Network, verwendet wird, der mit annotierten Oberflächendatensätzen als Trainingsdaten trainiert wurde.
  17. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Unterstützung der Registrierung ein Korrespondenzpaare von einander entsprechenden Oberflächenmerkmalen enthaltender Korrespondenzdatensatz erzeugt wird, indem - während der Resektion des Resektats (5) fortlaufend Überwachungsbilder (24, 26, 32) des aktuellen Arbeitsbereichs mit dem oder einem weiteren Aufnahmeinstrument (9, 11) aufgenommen werden, - bei Detektion der Vornahme eines Schnitts zu beiden Seiten des Schnitts liegende Oberflächenmerkmale der jeweilig entstandenen Oberflächen durch automatische Auswertung der entsprechenden Überwachungsbilder (24, 26, 32) detektiert werden, - eine Zuordnung von geometrisch bezüglich des Schnitts einander entsprechenden Oberflächenmerkmalen zueinander zur Erzeugung eines Korrespondenzpaars erfolgt, und - jedes Korrespondenzpaar mit die Oberflächenmerkmale des Korrespondenzpaars beschreibenden Merkmalsinformationen, insbesondere umfassend ein wenigstens das Oberflächenmerkmal zeigendes Teilbild wenigstens eines Überwachungsbildes, in dem Korrespondenzdatensatz gespeichert wird.
  18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass bei Erzeugung eines neuen Korrespondenzpaars eine relative Lage zu wenigstens einem weiteren, bereits im Korrespondenzdatensatz enthaltenen Korrespondenzpaar und/oder einem Referenzmerkmal, das nicht Teil eines Korrespondenzpaars ist, durch Detektion wenigstens eines der Oberflächenmerkmale des weiteren Korrespondenzpaars und/oder des Referenzmerkmals in einem die Oberflächenmerkmale des neuen Korrespondenzpaars zeigenden Überwachungsbild (24, 26, 32) ermittelt und in dem Korrespondenzdatensatz gespeichert wird.
  19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass anhand der Korrespondenzpaare und ihrer jeweiligen relativen Lage Oberflächenmodelle der durch die Resektion entstandenen Oberflächen des Entnahmebereichs (6) und des Resektats (5) erstellt werden, denen zur Ermittlung jeweiliger Oberflächenkarten ortsgetreu wenigstens ein Teil der Merkmalsinformationen und/oder Anteile wenigstens eines den entsprechenden Oberflächenbereich zeigenden Überwachungsbildes zugeordnet werden, so dass durch die Korrespondenzpaare eine Orte auf den Oberflächenkarten einander zuordnende Korrespondenzinformation gegeben ist.
  20. Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass zur Erweiterung der durch die Korrespondenzpaare gegebenen Korrespondenzinformation in zwischen den Oberflächenmerkmalen von Korrespondenzpaaren liegenden Bereichen der Oberflächenkarten durch Interpolation weitere korrespondierende Orte der Oberflächenkarten ermittelt werden, insbesondere eine für die vollständigen Oberflächenkarten geltende Korrespondenzabbildung und/oder Korrespondenztabelle.
  21. Verfahren nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass zur Lokalisierung eines Anzeigemerkmals des Resektats (5), dessen Lage auf der Oberflächenkarte des Resektats (5) bekannt ist, auf der verbliebenen Gewebeoberfläche (7) des Entnahmebereichs (6) die Korrespondenzinformation verwendet wird.
  22. Verfahren nach einem der Ansprüche 17 bis 21, dadurch gekennzeichnet, dass die Detektion der Vornahme des Schnitts wenigstens teilweise bildbasiert in den Überwachungsbildern (24, 26, 32) erfolgt, insbesondere durch Nachverfolgung bereits detektierter Oberflächenmerkmale und/oder eines in den Überwachungsbildern (24, 26, 32) sichtbaren Eingriffsinstruments (8), insbesondere hinsichtlich eines Gewebekontakts, und/oder aufgrund den Überwachungsbildern (24, 26, 32) zeitlich zugeordneter Zusatzinformationen erfolgt.
  23. Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass die Zusatzinformationen eine von einem oder dem Navigationssystem (14) ermittelte Bewegung des Eingriffsinstruments (8) und/oder eine insbesondere durch Betätigung eines Fußpedals ausgelöste Versorgung des Eingriffsinstruments (8) mit Energie und/oder einen Workflowschritt eines Eingriffsworkflows beschreibend ermittelt werden.
  24. Verfahren nach einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, dass die Oberflächenmerkmale eines neuen Korrespondenzpaares so gewählt werden, dass sie in einer jeweiligen Bildgebungsmodalität der Oberflächendatensätze und/oder wenigstens eines weiteren Bilddatensatzes mit einer einen Schwellwert überschreitenden Verlässlichkeit detektierbar sind.
  25. Verfahren nach einem der Ansprüche 17 bis 24, dadurch gekennzeichnet, dass die Oberflächenmerkmale der Korrespondenzpaare, soweit sie in den Überwachungsbildern (24, 26, 32) enthalten sind, über den Resektionszeitraum in den Überwachungsbildern (24, 26, 32) nachverfolgt werden, wobei bei einer festgestellten nachträglichen Veränderung des Oberflächenmerkmals durch das oder ein weiteres Eingriffsinstrument (8), insbesondere ein Energieinstrument, die Merkmalsinformation zur Beschreibung des veränderten Oberflächenmerkmals angepasst wird, und/oder dass bei einer durch automatische Auswertung festgestellten einseitigen Veränderung der Oberfläche, insbesondere durch Bildauswertung des Veränderungsbereichs in einem vor der Veränderung aufgenommenen Überwachungsbild (24, 26, 32) und/oder aufgrund einer Information zur relativen Lage, veränderte Oberflächenmerkmale von Korrespondenzdatensätzen aufgefunden werden und die zugehörigen Merkmalsinformationen zur Beschreibung des veränderten Oberflächenmerkmals angepasst werden.
  26. Unterstützungssystem (1) zur Navigationsunterstützung einer eine Resektion an einem Patienten (3) durchführenden Person nach Entnahme eines Resektats (5) zur Navigation bezüglich des Resektats (5), aufweisend eine zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche ausgebildete Steuereinrichtung (17).
  27. Computerprogramm, welches die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 25 durchführt, wenn es auf einer Steuereinrichtung (17) eines Unterstützungssystems (1) ausgeführt wird.
  28. Elektronisch lesbarer Datenträger, auf dem ein Computerprogramm nach Anspruch 27 gespeichert ist.
DE102019208355.2A 2019-06-07 2019-06-07 Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger Pending DE102019208355A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019208355.2A DE102019208355A1 (de) 2019-06-07 2019-06-07 Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger
US16/894,880 US11602398B2 (en) 2019-06-07 2020-06-07 Method and system for the navigational support of a person for navigation relative to a resectate, computer program and electronically readable data medium
CN202010511467.8A CN112043378A (zh) 2019-06-07 2020-06-08 对人进行导航支持以关于切除部分进行导航的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019208355.2A DE102019208355A1 (de) 2019-06-07 2019-06-07 Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger

Publications (1)

Publication Number Publication Date
DE102019208355A1 true DE102019208355A1 (de) 2020-12-10

Family

ID=73460072

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019208355.2A Pending DE102019208355A1 (de) 2019-06-07 2019-06-07 Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger

Country Status (3)

Country Link
US (1) US11602398B2 (de)
CN (1) CN112043378A (de)
DE (1) DE102019208355A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098968B (zh) * 2021-12-28 2022-05-27 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪装置
US20230364746A1 (en) * 2022-05-13 2023-11-16 Joseph M. Grubb Multitool with locking multipurpose driver

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012223651A1 (de) * 2012-12-18 2014-06-18 Carl Zeiss Ag Abbildungsverfahren für ein Resektat und Bilderzeugungsvorrichtung zum Durchführen eines solchen Abbildungsverfahrens
WO2016109878A1 (en) * 2015-01-07 2016-07-14 Synaptive Medical (Barbados) Inc. Method, system and apparatus for automatically evaluating resection accuracy

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320996B2 (en) * 2004-11-29 2012-11-27 Hypermed Imaging, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor
DE102010042073A1 (de) * 2009-10-06 2011-04-14 Forschungsholding Tu Graz Gmbh Fusion von CT Volumen und histologischen Schnitten orientiert an natürlichen Merkmalspunkten
BR112014017144A8 (pt) * 2012-01-16 2017-07-04 Koninklijke Philips Nv aparelho de geração de imagens; aparelho de ressecção para a realização de um procedimento de ressecção; método de geração de imagens; método de ressecção para a realização de um procedimento de ressecção; programa de computador de geração de imagens; e programa de computador de ressecção para a realização de um procedimento de ressecção
JP6258299B2 (ja) * 2012-05-03 2018-01-10 シンセス・ゲーエムベーハーＳｙｎｔｈｅｓ ＧｍｂＨ 耐切断性インサートを有する外科用ガイド
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法
SG11201507611UA (en) * 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Intramodal synchronization of surgical data
WO2014201035A1 (en) * 2013-06-10 2014-12-18 Chandler Jr Howard C Method and system for intraoperative imaging of soft tissue in the dorsal cavity
DE102014103044A1 (de) 2014-03-07 2015-09-10 Carl Zeiss Meditec Ag Chirurgisches Assistenzsystem
EP3122238A4 (de) * 2014-03-25 2017-11-01 The Johns Hopkins University Abbildung quantitativer gewebeeigenschaften für echtzeit-tumorerkennung und interventionelle führung
US9833254B1 (en) * 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
US10383654B2 (en) * 2014-11-20 2019-08-20 Ohio State Innovation Foundation Methods and systems for performing navigation-assisted medical procedures
CN107949337A (zh) * 2015-06-12 2018-04-20 达特默斯大学托管会 引导组织切除的系统和方法
US10716457B2 (en) 2015-10-14 2020-07-21 Siemens Aktiengesellschaft Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data
US10743941B2 (en) * 2015-11-24 2020-08-18 Vanderbilt University Method and system for trackerless image guided soft tissue surgery and applications of same
US11253321B2 (en) * 2016-04-27 2022-02-22 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US11712304B2 (en) * 2017-06-23 2023-08-01 7D Surgical ULC. Systems and methods for performing intraoperative surface-based registration and navigation
EP3540632B1 (de) 2018-03-16 2023-04-26 Siemens Healthcare GmbH Verfahren zum klassifizieren von gewebeproben
US10292769B1 (en) * 2018-08-07 2019-05-21 Sony Corporation Surgical assistive device and method for providing assistance in surgery of anatomical portions of internal organ affected by intraoperative shift
US11478302B2 (en) * 2019-05-28 2022-10-25 Arthrology Consulting, Llc Methods for generating intraoperative surgical guidance during joint arthroplasty based on dynamic ligament tension

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012223651A1 (de) * 2012-12-18 2014-06-18 Carl Zeiss Ag Abbildungsverfahren für ein Resektat und Bilderzeugungsvorrichtung zum Durchführen eines solchen Abbildungsverfahrens
WO2016109878A1 (en) * 2015-01-07 2016-07-14 Synaptive Medical (Barbados) Inc. Method, system and apparatus for automatically evaluating resection accuracy

Also Published As

Publication number Publication date
US11602398B2 (en) 2023-03-14
CN112043378A (zh) 2020-12-08
US20200383733A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
DE102005059209B4 (de) Verfahren und Vorrichtung zur Visualisierung einer Folge von tomographischen Bilddatensätzen
DE102006055173B4 (de) Verfahren, medizinisches diagnostisches bildgebendes System sowie computerlesbares Speichermedium für die halbautomatische Segmentierungstechnik für röhrenförmige Objekte mit niedrigem Kontrast
DE102011078212B4 (de) Verfahren und Vorrichtung zum Darstellen eines Objektes
DE10254942B3 (de) Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung
CN111145206A (zh) 肝脏图像分割质量评估方法、装置及计算机设备
EP2008606B1 (de) Bestimmung von Korrespondenz-Objekt-Paaren zur medizinischen Navigation
DE102004056783A1 (de) Verfahren und Vorrichtung zum Segmentieren von Strukturen in einer CT-Angiographie
DE10004764A1 (de) Verfahren zur Positionsbestimmung eines medizinischen Instruments
DE112004001177T5 (de) System und Verfahren zur Planung eines endoskopischen Pfades
DE102007009764A1 (de) Verfahren und Vorrichtung zur visuellen Unterstützung einer Katheteranwendung
DE102005035929A1 (de) Verfahren zur Darstellung mehrerer Bilder sowie ein Bildsystem zur Durchführung des Verfahrens
DE102022112136A1 (de) Medizinisches bildanalysegerät, verfahren und medizinisches bild, visualisierungsgerät und verfahren
DE102014102425B4 (de) Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
DE102007050343A1 (de) Vorrichtungen und Verfahren zur Kalibrierung eines Endoskops
DE102006039921A1 (de) System und Verfahren zum automatischen Atemwegevaluieren für Multi-Schnitt Computertomographie (MSCT) Bilddaten unter Verwendung eines Atemweglumendurchmessers, einer Atemwegwanddicke und eines Bronchien-Arterien-Verhältnisses
DE102019208355A1 (de) Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger
DE10254907B4 (de) Verfahren zur Oberflächenkonturierung eines dreidimensionalen Abbildes
DE102012213461B4 (de) Erzeugung modifizierter Bilddaten eines Zielobjekts
DE102005045602A1 (de) Verfahren zum Unterstützen eines interventionellen medizinischen Eingriffs
EP3323347A1 (de) Verfahren zur bildunterstützung einer einen minimalinvasiven eingriff mit einem instrument in einem eingriffsbereich eines patienten durchführenden person, röntgeneinrichtung, computerprogramm und elektronisch lesbarer datenträger
DE102004003381B4 (de) Verfahren zur Bestimmung der Lage einer Schicht in einem Untersuchungsgebiet, in welcher Schicht eine Schichtbildaufnahme erfolgen soll
DE102006032990A1 (de) Verfahren und Vorrichtung zur Bestimmung des räumlichen Verlaufs einer Gefäßachse in Volumendatensätzen der medizinischen Bildgebung
DE102019200786A1 (de) Bildgebendes medizinisches Gerät, Verfahren zum Unterstützen von medizinischem Personal, Computerprogrammprodukt und computerlesbares Speichermedium
DE10108947B4 (de) Verfahren und Vorrichtung zum Abgleichen von wenigstens einem visualisierten medizinischen Messergebnis mit wenigstens einem weiteren, eine räumliche Information enthaltenden Datensatz
DE102004043263B4 (de) Verfahren zur Erzeugung von Localiser-Schichtbildern eines Untersuchungsvolumens eines Patienten und zugehörige Magnetresonanzanlage

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE