DE102019125419A1 - Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes - Google Patents

Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes Download PDF

Info

Publication number
DE102019125419A1
DE102019125419A1 DE102019125419.1A DE102019125419A DE102019125419A1 DE 102019125419 A1 DE102019125419 A1 DE 102019125419A1 DE 102019125419 A DE102019125419 A DE 102019125419A DE 102019125419 A1 DE102019125419 A1 DE 102019125419A1
Authority
DE
Germany
Prior art keywords
brain
image
computer
brain tissue
operation field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019125419.1A
Other languages
English (en)
Inventor
Konstantinos Filippatos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Priority to DE102019125419.1A priority Critical patent/DE102019125419A1/de
Publication of DE102019125419A1 publication Critical patent/DE102019125419A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0529—Electrodes for brain stimulation
    • A61N1/0531—Brain cortex electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

Es wird ein computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld (17) als auch ein das Gehirnoperationsfeld (17) umgebendes Gehirnoperationsumfeld (18) darstellt, zu dem Gehirnoperationsfeld (17) zur Verfügung gestellt. In dem Verfahren findet ein zum Erkennen von Gehirngewebe darstellenden Bildbereichen ein Algorithmus des maschinellen Lernens Verwendung, der zum Erkennen von Gehirngewebe darstellenden Bildbereichen trainiert worden ist, nicht aber zum Erkennen von das Gehirnoperationsumfeld (18) darstellenden Bildinhalten und der die erkannten Bildbereiche dem Gehirnoperationsfeld (17) zuordnet.

Description

  • Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld als auch ein das Gehirnoperationsfeld umgebendes Gehirnoperationsumfeld darstellt. Zudem betrifft die Erfindung ein computerimplementiertes Verfahren zum Ermitteln von Zuständen, die für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant sind, anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes. Weiterhin betrifft die Erfindung ein Verfahren zum Vorbereiten eines Mikroskops auf eine intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld anhand eines aufgenommenen Bildes. Die Erfindung betrifft auch ein Mikroskop mit einer Kamera zum Aufnehmen eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden Bildes und mit einer Vorrichtung zur intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld anhand des aufgenommenen Bildes. Daneben betrifft die Erfindung ein Computerprogramm, ein Datenverarbeitungssystem und ein nichtflüchtiges computerlesbares Speichermedium.
  • Bei der Resektion von Gehirntumoren steht der Chirurg vor der Herausforderung, den Tumor möglichst vollständig zu entfernen und dabei möglichst wenig gesundes Gewebe zu beschädigen. Insbesondere sollen Gehirnareale von besonderer Bedeutung geschont werden, beispielsweise der für das Sehen zuständige visuelle Cortex oder der für den Tastsinn zuständigen sensorische Cortex.
  • Durch Methoden wie beispielsweise der funktionellen Magnet-Resonanz-Tomographie können die Lage des Tumors und von funktionalen Gehirngewebearealen präoperativ ermittelt werden. Dies ermöglicht es, präoperativ die zu schonenden Gehirngewebeareale zu ermitteln und eine möglichst schonende Resektion des Gehirntumors vorzubereiten. Beim Öffnen des Schädels (Trepanation) kann es jedoch zu Verschiebungen des Gehirngewebes, dem sogenannten Brainshift kommen, weswegen es notwendig ist, die Lage der funktionalen Gehirngewebeareale innerhalb des freigelegten Gehirngewebes zu verifizieren. Eine derartige Verifikation kann mittels einer intraoperativen Kartierung der funktionalen Gehirngewebeareale (sogenanntes Brainmapping) erfolgen. Die Kartierung kann dabei beispielsweise auf der Messung elektrischer Signale auf der Oberfläche des Gehirngewebes, die zum Beispiel durch periphere Stimulation an den Extremitäten ausgelöst werden, erfolgen.
  • Als kontaktlose Alternative zum Kartierung mittels elektrischer Signale existiert das sogenannte intraoperative optische Abbilden (engl.: Intra-Operativ-Optical Imaging, kurz IOI), bei dem die Änderung der Perfusion, d. h. der Durchblutung, oder die Änderung des Sauerstoffgehaltes im Blut in beim Wechsel zwischen Stimulation und Nichtstimulation bestimmter Gehirnfunktionen ermittelt wird. Die Perfusion und/oder der Sauerstoffgehalt des Blutes kann bzw. können dabei über eine Änderung der spektralen Eigenschaften des Reflektionsbildes des Gehirngewebes im Bereich der Trepanation gemessen werden. Verfahren zum interoperativen optischen Abbilden sind beispielsweise in M. Oelschlägel et al. „Intraoperative identification of somato-sensory brain areas using optical imaging and standard RGB camera equipment - a feasibility study‟, Current Directions in Biomedical Engineering 2015; 1: 265-269, in K. Sato „intraoperative intrinsic optical imaging of human somatosensory cortex during neurosurgical operations" in Neurophotonix 4 (3), 031205 (Juli bis September 2017)sowie in S.B. Sobottka „Intraoperative optical imaging of intrinsic signals: a reliable method for visualizing stimulated functional brain areas during surgery" in J. Neurosurg. 119 (2013), Seiten 853 bis 863 beschrieben.
  • Vorrichtungen zum intraoperativen optischen Abbilden werden auch in Operationsmikroskope integriert. Derartige Operationsmikroskope sind beispielsweise in DE 2008 040 807 A1 , US 5,215,095 A1 , US 9,095,255 B2 , US 9,801,549 B2 und US 2009/0234236 A1 beschrieben. Dabei macht man sich zu Nutze, dass Operationsmikroskope in der Regel ohnehin über eine Kamera zur Dokumentation des Operationsverlaufes verfügen, die auch zur Aufnahme des Signals für die intraoperative optische Abbilden genutzt werden kann. Auf der Basis der mit dem intraoperativen optischen Abbilden gewonnenen Daten wird dann eine sogenannte „activity map“ erstellt, d.h. eine Karte von dem freigelegten Gehirngewebe, in der mit einer stimulierten Gehirnfunktion verbundene Gehirngewebeareale angezeigt sind.
  • Für das Erstellen der Karte werden dabei während eines Aufnahmezeitraums Bilder des Gehirnoperationsfeldes aufgenommen, wobei sich während des Aufnahmezeitraums Phasen, in denen eine bestimmte Gehirnfunktion stimuliert wird, mit Phasen ohne Stimulation abwechseln. In dem in M. Oelschlägel et al. „Intraoperative identification of somato-sensory brain areas using optical imaging and standard RGB camera equipment - a feasibility study‟, Current Directions in Biomedical Engineering 2015; 1: 265-269, beschribenen Verfahren erfolgt das intraoperative optische Abbilden beispielsweise über einen Zeitraum von 9 Minuten wobei sich 30-sekündige Stimulationsphasen mit 30-sekündigen Ruhephasen, d.h. Phasen ohne Stimulation, abwechseln. Das Messsignal, aus dem schließlich die Karte erstellt wird, ergibt sich dabei aus der unterschiedlichen Durchblutung des Gehirngewebeareals während der Stimulation und während der Ruhephasen und/oder aus dem unterschiedlichen Sauerstoffgehalt des Blutes während der Stimulationsphasen und der Ruhephasen.
  • Gegenüber der Kartierung mittels elektrischer Signale, bei der Elektroden auf die Oberfläche des Gehirngewebes aufgebracht werden, bietet das intraoperative optische Abbilden den Vorteil, dass das Gehirngewebe bei der Messung nicht berührt werden muss. Andererseits ist es jedoch nicht einfach, eine Änderung der Perfusion oder eine Änderung des Sauerstoffgehaltes des Blutes mittels optischer Messung (und ohne Fluoreszenz) nachzuweisen, da die aufzunehmenden Signale schwach sind. Aus diesem Grund erfolgt die Messung mit Hilfe der intraoperativen Abbildung über einen relativ langen Zeitraum, beispielsweise über die schon erwähnten 9 Minuten mit sich abwechselnden 30-sekündigen Stimulationsphasen und 30-sekündigen Ruhephasen.
  • Während einer Gehirnoperation steht der behandelnde Chirurg unter hohem Zeitdruck, da der für den Patienten kritische Eingriff möglichst rasch durchgeführt werden soll. Verzögerungen des ohnehin schon zeitaufwändigen intraoperativen optischen Abbildungsvorgangs sollen möglichst vermieden werden. Verzögerungen des intraoperativen optischen Abbildungsvorgangs können bspw. auftreten, wenn falsch eingestellte Geräteparameter, während der Messung aufgetretene, spät oder nicht erkannte Blutungen, Beleuchtungsreflexe, Überdeckungen durch chirurgische Instrumente, etc. eine Wiederholung des intraoperativen optischen Abbildungsvorgangs erforderlich macht. Gleichzeitig hat der Chirurg hoch komplexe Abläufe zu bewerkstelligen.
  • Vor diesem Hintergrund ist man bestrebt, den Chirurgen während der Operation bestmöglich zu unterstützen.
  • Eine erste Aufgabe der vorliegenden Erfindung ist es, ein computerimplementiertes Verfahren zur Verfügung zu stellen, mit dem sich Bildbereiche eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld als auch ein das Gehirnoperationsfeld umgebendes Gehirnoperationsumfeld darstellt, rasch und zuverlässig dem Gehirnoperationsfeld zuordnen lassen.
  • Eine zweite Aufgabe der vorliegenden Erfindung ist es, ein computerimplementiertes Verfahren, zum Ermitteln von Zuständen, die für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant sind, anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes zur Verfügung zu stellen, mit dem der Chirurg in vorteilhafter Weise unterstützt werden kann.
  • Eine dritte Aufgabe der vorliegenden Erfindung ist es, ein Mikroskop mit einer Kamera zum Aufnehmen eines ein Gehirnoperationsfeld und ein Gehirnoperationsumfeld zeigenden Bildes und mit einer Vorrichtung zur intraoperativen optischen Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in dem Gehirnoperationsfeld anhand des aufgenommenen Bildes, sowie ein Verfahren zum Vorbeireiten eines derartigen Mikroskops für eine intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld anhand eines aufgenommenen Bildes zur Verfügung zu stellen, mit denen ein Chirurg in vorteilhafter Weise unterstützt werden kann.
  • Eine vierte Aufgabe der vorliegenden Erfindung ist es, ein vorteilhaftes Computerprogram, ein vorteilhaftes Datenverarbeitungssystem sowie ein vorteilhaftes nichtflüchtiges computerlesbares Speichermedium zur Verfügung zu stellen.
  • Die erste Aufgabe wird durch ein computerimplementiertes Verfahren gemäß Anspruch 1 gelöst, die zweite Aufgabe durch ein computerimplementiertes Verfahren gemäß Anspruch 7, die dritte Aufgabe durch ein Verfahren gemäß Anspruch 8 sowie ein Mikroskop gemäß Anspruch 11 und die vierte Aufgabe durch ein Computerprogramm gemäß Anspruch 12, ein Datenverarbeitungssystem gemäß Anspruch 13 sowie ein Nichtflüchtiges computerlesbares Speichermedium gemäß Anspruch 14. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung
  • Gemäß einem ersten Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld als auch ein das Gehirnoperationsfeld umgebendes Gehirnoperationsumfeld darstellt, zu dem Gehirnoperationsfeld zur Verfügung gestellt. In dem Verfahren findet zum Erkennen von Gehirngewebe darstellenden Bildbereichen ein Algorithmus des maschinellen Lernens Verwendung, der zum Erkennen von Gehirngewebe darstellenden Bildbereichen trainiert worden ist, nicht aber zum Erkennen von das Gehirnoperationsumfeld darstellenden Bildinhalten. Der Algorithmus ordnet die erkannten Bildbereiche dem Gehirnoperationsfeld zu.
  • Da das Gehirnoperationsumfeld von Gehirnoperation zu Gehirnoperation anders aussieht, wäre mit dem Erkennen des Gehirnoperationsumfeldes zum einen ein hoher Trainingsaufwand für den Algorithmus des maschinellen Lernen nötig und zu anderen würde das Erkennen des Gehirnoperationsumfeldes die Dauer der durchzuführenden digitalen Bildverarbeitung verlängern, ohne dass dadurch ein Mehrwert entsteht, da für das Erkennen des Gehirnoperationsfeldes das Erkennen des Gehirnoperationsumfeldes irrelevant ist. Im Rahmen einer Gehirnoperation kann der Verzicht auf das Erkennen des Gehirnoperationsumfeldes und die Konzentration auf das Erkennen von Gehirngewebe darstellenden Bildbereichen daher zu einem rascheren zuordnen von Bildbereichen zum Gehirnoperationsfeld beitragen. Wenn eine rasche Zuordnung von Bildbereichen zum Gehirnoperationsfeld möglich ist, bietet dies die Möglichkeit, vor oder während des intraoperativen optischen Abbildungsvorgangs anhand des erkannten Gehirnoperationsfeldes Zustände, die für den intraoperativen optischen Abbildungsvorgang relevant sind, mit Hilfe einer Bildverarbeitungssoftware zu ermitteln, wobei die Bildverarbeitungssoftware lediglich die zum Gehirnoperationsfeld gehörenden Bildbereiche zu analysieren braucht, was zu einer im Rahmen einer Gehirnoperation vorteilhaften Zeitersparnis bei der Analyse führt. Auf der Basis der der ermittelten Zustände kann der behandelnde Chirurg unterstützt werden. Beispielsweise kann eine frühzeitige Warnung ausgeben werden, wenn ein für den intraoperativen optischen Abbildungsvorgang ungeeigneter Zustand wie etwa ein falsch eingestellter Geräteparameter, eine Blutung, ein Beleuchtungsreflex, eine Überdeckung durch ein chirurgisches Instrument, etc., ermittelt wird. Auf diese Weise kann vermieden werden, dass intraoperative optische Abbildungsvorgänge trotz eines ungeeigneten Zustandes durchgeführt und später nach Schaffung eines geeigneten Zustandes wiederholt werden muss. Wenn ein ungeeigneter Zustand bereits vor dem intraoperativen optischen Abbildungsvorgang ermittelt wird, kann bereits vor Beginn des intraoperativen optischen Abbildungsvorgangs ein geeigneter Zustand geschaffen werden. Wenn ein ungeeigneter Zustand dagegen erst währen des intraoperativen optischen Abbildungsvorgangs auftritt, kann der Vorgang frühzeitig nach dem Ermitteln des ungeeigneten Zustands abgerochen und nach Schaffung eines geeigneten Zustands neu gestartet werden. Da das Ermitteln der Zustände automatisiert erfolgen kann, wird der Chirurg in seiner Konzentration auf andere Aufgaben nicht abgelenkt.
  • In einer Ausgestaltung des erfindungsgemäßen computerimplementierten Verfahrens kann der Algorithmus des maschinellen Lernens das aufgenommenen Bild in eine Anzahl Kacheln unterteilen und die Kacheln je nachdem, ob er Gehirngewebe erkennt oder nicht, jeweils in eine Gehirngewebe darstellende Klasse oder in eine kein Gehirngewebe darstellende Klasse eingruppieren. Als Kacheln sollen dabei Bildausschnitte zur verstehen sein, in die das aufgenommenen Bild derart unterteilt wird, dass sich das aufgenommenen Bild aus den Bildausschnitten mosaikartig zusammensetzen lässt. Die Kacheln der Gehirngewebe darstellenden Klasse ordnet der Algorithmus dann dem Gehirnoperationsfeld zu, die Kacheln der kein Gehirngewebe darstellenden Klasse dagegen nicht. Der Algorithmus des maschinellen Lernens ist dabei mit Trainingsdatensätzen trainiert worden, die Gehirngewebe darstellende Kacheln enthalten, nicht aber das Umfeld des Gehirnoperationsfeldes darstelle Kacheln. Es ist nämlich nicht nötig, dass der Algorithmus erkennt, was die Kacheln, die kein Gehirngewebe darstellen, tatsächlich darstellen. Es ist im Rahmen des Verfahrens grundsätzlich ausreichend, wenn jede Kachel, die kein Gehirngewebe darstellt, unabhängig davon, was sie tatsächlich darstellt, der kein Gehirngewebe darstellenden Klasse zugeordnet wird. Insbesondere können die zum Trainieren des Algorithmus des maschinellen Lernens verwendeten Trainingsdatensätze ausschließlich Gehirngewebe darstellende Kacheln enthalten.
  • Um die Grenze zwischen Gehirngewebe darstellenden Bildbereichen und solchen Bildbereichen, die kein Gehirngewebe darstellen mit ausreichender räumlicher Auflösung erkennen zu können, werden in einer Weiterbildung der beschriebenen Ausgestaltung Kacheln, die der Gehirngewebe darstellenden Klasse zugeordnet sind und insbesondere diejenigen davon, die zudem an wenigstens eine derjenigen Kacheln angrenzen, welche der kein Gehirngewebe darstellenden Klasse zugeordnet sind,, einem Region-Growing-Verfahren oder einem Watershed-Verfahren unterzogen. Mit anderen Worten, um eine Verfeinerung der Erkennung von Gehirngewebe zu realisieren, können Kacheln, die der Gehirngewebe darstellenden Klasse zugeordnet sind, oder Pixel dieser Kacheln als Startpunkte für einen Region-Growing-Verfahren oder für das Durchführen eines Watershed-Verfahrens verwendet werden. In einem Region-Growing-Verfahren werden ein anfänglicher Pixel oder eine anfängliche Pixelgruppe mit benachbarten Pixeln bzw. benachbarten Pixelgruppen auf der Basis eines vorgegebenen Vergleichskriteriums verglichen. Bei Erfüllen des Vergleichskriteriums werden der anfängliche Pixel bzw. die anfängliche Pixelgruppe und die benachbarten Pixel bzw. Pixelgruppen zu einer neuen, größeren Pixelgruppe zusammengefasst, die dann wieder mit benachbarten Pixeln oder benachbarten Pixelgruppen verglichen wird. Dieser Vorgang wird so lange wiederholt, bis keiner der benachbarten Pixel bzw. keine der benachbarten Pixelgruppen das Vergleichskriterium mehr erfüllen. Als Vergleichskriterien können Farbwerte, Luminanzwerte, oder dergleichen Verwendung finden. In einem Watershed-Verfahren werden bspw. die Luminanzwerte eines Bildes als topografische Höheninformationen und die daraus resultierenden Grate von Höhenzügen als Grenzen zwischen Bildregionen betrachtet. Mit beiden Verfahren können in einer der Gehirngewebe darstellenden Klasse zugeordneten Kachel die Grenzen derjenigen Bereiche innerhalb der Kachel, die Gehirngewebe zeigen zu solchen Bereichen innerhalb der Kachel, die kein Gehirngewebe zeigen, ermittelt werden.
  • In einer alternativen Weiterbildung der beschriebenen Ausgestaltung, mit der ebenfalls ein Verfeinern der räumlichen Auflösung, mit der die Grenze zwischen Gehirngewebe darstellenden Bildbereichen und solchen Bildbereichen, die kein Gehirngewebe darstellen, möglich ist, werden diejenigen Kacheln, die der Gehirngewebe darstellenden Klasse zugeordnet sind und insbesondere diejenigen davon, die zudem an wenigstens eine der Kacheln angrenzen, welche der kein Gehirngewebe darstellenden Klasse zugeordnet sind, in kleinere Kacheln unterteilt, die wiederum jeweils der Gehirngewebe darstellenden Klasse oder der kein Gehirngewebe darstellenden Klasse zugeordnet werden. Auf diese Weise kann die räumliche Auflösung, mit der Grenze zwischen Gehirnoperationsfeld und Gehirnoperationsumfeld erkannt wird, iterativ so lange verfeinert werden, bis die räumliche Auflösung, mit der die Grenze des Gehirnoperationsfeldes erkannt wird, für die weiteren Zwecke ausreichend ist.
  • in dem erfindungsgemäßen computerimplementierten Verfahren kann das digitale Bild insbesondere ein Einzelbild (Frame) eines Videos sein. In diesem Fall kann das Zuordnen von Bildbereichen eines digitalen Bildes für weitere, auf das Einzelbild folgende Einzelbilder des Videos ebenfalls erfolgt. Falls dabei Bildbereiche, die in einem Einzelbild dem Gehirnoperationsfeld zugeordnet worden sind, in einem der folgenden Einzelbilder nicht mehr dem Gehirnoperationsfeld zugeordnet werden, kann ein Signal ausgegeben werden, das den Chirurgen entsprechend informiert. Der Grund, weshalb ein in einem Einzelbild dem Gehirnoperationsfeld zugeordneter Bildbereich in einem späteren Einzelbild nicht mehr dem Gehirnoperationsfeld zugeordnet wird, liegt darin, dass der Algorithmus in dem Bildbereich das Gehirngewebe aufgrund einer Störung in der Sichtbarkeit des Gehirngewebes nicht mehr erkennt und den Bildbereich daher als nicht zum Gehirnoperationsfeld zugehörig klassifiziert. Eine Störung der Sichtbarkeit des Gehirngewebes kann bspw. aus einer partiellen oder vollständigen Überdeckung des Gehirngewebes durch ein Fremdobjekt, aus einer Blutung oder aus das Gehirngewebe überstrahlenden Reflexen resultieren.
  • Um im Falle einer Störung der Sichtbarkeit des Gehirngewebes eine Ursache für die Störung in der Sichtbarkeit des Gehirngewebes ermitteln zu können, kann ein zweiter Algorithmus des maschinellen Lernens Verwendung finden. Dieser zweite Algorithmus des maschinellen Lernens ist mit Trainingsdatensätzen trainiert worden, die eine vorgegebene Ursache für eine Nicht-Erkennbarkeit von Gehirngewebe darstellende Kacheln enthalten, um ein Ermitteln dieser vorgegebenen Ursache zu ermöglichen. Insbesondere können diese Trainingsdatensätze ausschließlich Kacheln enthalten, welche die vorgegebene Ursache für eine Nicht-Erkennbarkeit von Gehirngewebe darstellen. Der zweite Algorithmus des maschinellen Lernens wird auf diejenigen Kacheln, die der kein Gehirngewebe darstellenden Klasse zugeordnet sind, angewendet. Diejenigen Kacheln, die der kein Gehirngewebe darstellenden Klasse zugeordnet sind und in denen der zweite Algorithmus des maschinellen Lernens die vorgegebene Ursache erkennt, gruppiert er in eine die vorgegebene Ursache darstellende Klasse um. Die umgruppierten Kacheln ordnet er dem Gehirnoperationsfeld zu. Beispielsweise kann der zweite Algorithmus des maschinellen Lernens mit Kacheln trainiert worden sein, die als die vorgegebene Ursache Blutungen darstellen. Blutungen sind eine häufige Ursache dafür, dass die Sichtbarkeit von Gehirngewebe gestört ist, da eine Blutung das Gehirngewebe überdeckt. Auch beim Ermitteln der Ursache für die Störung in der Sichtbarkeit des Gehirngewebes kann ein Region-Growing-Verfahren, ein Watershed-Verfahren oder eine Unterteilung der Kacheln in kleinere Kacheln zur Anwendung kommen, um die Erkennung einer Ursache für Störung in der Sichtbarkeit des Gehirngewebes zu verfeinern.
  • Falls zwischen mehreren Ursachen für die Störung in der Sichtbarkeit des Gehirngewebes unterschieden werden soll, können ein dritter und ggf. weitere Algorithmen des maschinellen Lernens zur Anwendung kommen, die jeweils mit Kacheln, die eine der zu unterscheidenden Ursachen darstellen, trainiert worden sind. Die Algorithmen des maschinellen Lernens werden dann nacheinander auf diejenigen Kacheln die zum Zeitpunkt der Anwendung des jeweiligen Algorithmus noch der kein Gehirngewebe darstellenden Klasse zugeordnet sind, angewendet.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld, typischerweise Gehirngewebe in einem geöffneten (trepanierten) Bereich des Schädels, relevant ist, zur Verfügung gestellt. Unter einer intraoperativen optischen Lokalisierung soll hierbei eine Lokalisierung zu verstehen sein, die mittels intraoperativen optischen Abbildens (IOI) durchgeführt wird. In diesem Verfahren erfolgt die Lokalisierung anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld, zeigenden aufgenommenen Bildes, das typischerweise ein Livebild, vorzugsweise Videosequenz, ist. Im Gehirnoperationsumfeld befinden sich typischerweise den geöffneten Schädelbereich umgebendes Gewebe und/oder den geöffneten Schädelbereich umgebende Abdeckungen und/oder chirurgische Hilfsmittel, etc. Als Zustände kommen Parameterwerte für Parameter in Betracht, deren Werte Auswirkungen auf die Lokalisierung der mit einer Gehirnfunktion verbundenen Gehirngewebeareale haben können. Sie umfassen in insbesondere Geräteparameter der zur Lokalisierung der mit einer Gehirnfunktion verbundenen Gehirngewebeareale verwendeten Vorrichtung, die bspw. ein Mikroskop mit einer Kamera und einer geeigneten Auswertesoftware sein kann. Geräteparameter können dabei bspw. die Fokuseinstellung des Mikroskops, die Ausrichtung des Mikroskops, die Beleuchtungsrichtung, die Beleuchtungsintensität, die Farbe der Beleuchtung, etc. sein. Die für die Parameter eingestellten Parameterwerte haben nicht nur Auswirkungen auf die intraoperative optische Lokalisierung, sondern auch auf das mit der Kamera aufgenommene Bild. Die Parameterwerte können daher mittels eines Verfahrens zur digitalen Bildverarbeitung aus dem aufgenommenen Bild ermittelt werden. Aus dem aufgenommenen Bild können aber auch Parameterwerte für Parameter ermittelt werden, die keine Einstellungsparameter der zur intraoperativen optischen Lokalisierung verwendeten Vorrichtung sind. Beispiele für derartige Parameter sind Parameter der Lichtverhältnisse im Operationssaal oder die Lage von Gehirnstrukturen relativ zu einem vorgegebenen Koordinatensystem. Daneben können die ermittelten Zustände auch Störungen in der Sichtbarkeit des Gehirngewebes im Gehirnoperationsfeld repräsentieren, bspw. Blutungen, Überdeckungen durch Frendobjekte, Beleuchtungsreflexe, etc.
  • Mit Hilfe eines solchen Verfahrens wird ein automatisiertes Ermitteln der Parametererte und/oder ein automatisiertes Ermitteln von Bereichen, die von Störungen in der Sichtbarkeit des Gehirngewebes betroffen sind, möglich. Dies kann dem behandelnden Chirurgen bspw. helfen, eingestellte Geräteparameter zu verifizieren oder Störungen in der Sichtbarkeit des Gehirngewebes frühzeitig zu entdecken und zu beheben. Um sicherzustellen, dass das Verfahren zur digitalen Bildverarbeitung keine für das Ermitteln des wenigstens einen Zustandes überflüssigen Bildbereiche analysiert und damit wertvolle Zeit verbraucht, werden in dem erfindungsgemäßen Verfahren vor dem Ermitteln des wenigstens einen Zustandes mit Hilfe des erfindungsgemäßen computerimplementierten Verfahrens zum Erkennen eines Gehirnoperationsfeldes in einem digitalen Bild diejenigen Bildbereiche des aufgenommenen Bildes ermittelt, die das Gehirnoperationsfeld darstellen. Zum Ermitteln des wenigstens einen Zustandes werden dann nur diejenigen Bildbereiche des aufgenommenen Bildes herangezogen, die das Gehirnoperationsfeld darstellen. Auf diese Weise kann das Ermitteln des wenigstens einen Zustandes beschleunigt werden, was zu einer Verkürzung der zu einer Gehirnoperation benötigten Zeitdauer führt.
  • Das erfindungsgemäße Verfahren kann vor der Durchführung der Lokalisierung ausgeführt werden, um zu überprüfen, ob alle Zustände für die Durchführung der intraoperativen optischen Lokalisierung geeignet sind. Zusätzlich oder alternativ kann das erfindungsgemäße Verfahren während der Durchführung der intraoperativen optischen Lokalisierung ausgeführt werden, bspw. um anhand der Zustände rechtzeitig zu erkennen, ob eine Lokalisierung abgebrochen werden sollte, bspw. wegen Reflexen, einer Blutung, die gestillt werden muss, etc., bevor die Lokalisierung neu gestartet werden kann.
  • Gemäß noch einem weiteren Aspekt der Erfindung wird ein Verfahren zum Vorbereiten eines Mikroskops für eine intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld zur Verfügung gestellt. Die intraoperative optische Lokalisierung der mit einer Gehirnfunktion verbundenen Gehirngewebeareale erfolgt dabei anhand eines mit dem Mikroskop aufgenommenen, das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden Bildes. Hierzu umfasst das Mikroskop eine Kamera. In dem Verfahren zum Vorbereiten eines Mikroskops wird mit Hilfe des erfindungsgemäßen Verfahrens zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung relevant ist, wenigstens ein Zustand, der für die intraoperative optische Lokalisierung relevant ist, ermittelt. Damit besteht vor Beginn des Lokalisierungsverfahrens die Möglichkeit, zu überprüfen, ob die aktuell vorliegenden bzw. vorherrschenden Zustände für die Durchführung der intraoperativen optischen Lokalisierung geeignet sind. Falls sich bspw. herausstellt, dass ein Zustand oder mehrere Zustände nicht geeignet sind, bspw. dass die Farbe der Beleuchtung nicht geeignet eingestellt ist, etwa weil ein Filter nicht in den Beleuchtungsstrahlengang eingebracht ist, dass die Mikroskopoptik nicht genau genug auf das Gehirnoperationsfeld fokussiert ist, dass die Ausrichtung des Mikroskops in Bezug auf das Gehirnoperationsfeld nicht korrekt ist, dass bspw. wegen Reflexen oder einer Blutung eine Störung in der Sichtbarkeit des Gehirngewebes vorliegt, etc. können noch vor Beginn der intraoperativen optischen Lokalisierung geeignete Korrekturen vorgenommen werden. Auf diese Weise lassen sich intraoperativen optischen Lokalisierungen, von denen sich am Ende herausstellt, dass sie keine Brauchbaren Ergebnisse geliefert haben, besser als bisher vermeiden.
  • In einer vorteilhaften Weiterbildung des Verfahrens zum Vorbereiten eines Mikroskops wird als Zustand auch ein Parameterwert für wenigstens einen Geräteparameter des Mikroskops ermittelt. Außerdem wird eine Abweichung des ermittelten Parameterwerts von einem für die intraoperative optische Lokalisierung geeigneten Parameterwert ermittelt. Die ermittelte Abweichung wird dann auf einem Display angezeigt. Dadurch kann ein Nutzer des Mikroskops beim Einstelen geeigneter Parameterwerte unterstützt werden. Das Verfahren zum Vorbereiten eines Mikroskops ermöglicht darüber hinaus auch eine automatisierte Einstellung von Parameterwerten für Parameter des Mikroskops, die für die intraoperative optische Lokalisierung relevant sind. Hierzu wird eine Abweichung der ermittelten Parameterwertes von einem für die intraoperative optische Lokalisierung geeigneten Parameterwert ermittelt. Die automatisierte Einstellung des für die intraoperative optische Lokalisierung geeigneten Parameterwertes für den wenigstens einen Geräteparameter des Mikroskops erfolgt dann mit Hilfe eines Steuer- oder Regelverfahrens auf der Basis der ermittelten Parameterwertes und der ermittelten Abweichung.
  • Gemäß noch einem weiteren Aspekt der Erfindung wird ein Mikroskop, insbesondere ein Operationsmikroskop, mit einer Kamera zum Aufnehmen eines ein Gehirnoperationsfeld sowie ein Gehirnoperationsumfeld zeigenden Bildes und mit einer Vorrichtung zur intraoperativen optischen Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld anhand des aufgenommenen Bildes zur Verfügung gestellt. Die Vorrichtung zur intraoperativen optischen Lokalisierung ist dazu ausgebildet, das erfindungsgemäße Verfahren zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant ist, oder das erfindungsgemäße Verfahren zum Vorbereiten eines Mikroskops auszuführen. Mit dem erfindungsgemäßen Mikroskop lassen sich die mit dem erfindungsgemäßen Verfahren zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant ist, bzw. die mit dem erfindungsgemäßen Verfahren zum Vorbereiten eines Mikroskops verbundenen Vorteile realisieren.
  • Gemäß noch einem weiteren Aspekt der Erfindung wird ein Computerprogramm zur Verfügung gestellt, welches Instruktionen umfasst, die, wenn sie auf einem Computer ausgeführt werden, den Computer dazu veranlassen, die Schritte des erfindungsmäßen computerimplementierten Verfahrens zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld als auch ein das Gehirnoperationsfeld umgebendes Gehirnoperationsumfeld darstellt, zu dem Gehirnoperationsfeld oder die Schritte des erfindungsmäßen computerimplementierten Verfahrens zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant ist, auszuführen.
  • Gemäß noch einem weiteren Aspekt der Erfindung wird ein Datenverarbeitungssystem mit einem Prozessor und wenigstens einem Speicher zur Verfügung gestellt. Der Prozessor ist dazu ausgestaltet, basierend auf Instruktionen eines im Speicher gespeicherten erfindungsgemäßen Computerprogramms die Schritte des erfindungsmäßen computerimplementierten Verfahrens zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld als auch ein das Gehirnoperationsfeld umgebendes Gehirnoperationsumfeld darstellt, zu dem Gehirnoperationsfeld oder die Schritte des erfindungsmäßen computerimplementierten Verfahrens zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant ist, auszuführen.
  • Gemäß noch einem weiteren Aspekt der Erfindung wird ein nichtflüchtiges computerlesbares Speichermedium zur Verfügung gestellt, welches darauf gespeicherte Instruktionen enthält, die, wenn sie auf einem Computer ausgeführt werden, den Computer dazu veranlassen, die Schritte des erfindungsmäßen computerimplementierten Verfahrens zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld als auch ein das Gehirnoperationsfeld umgebendes Gehirnoperationsumfeld darstellt, zu dem Gehirnoperationsfeld oder die Schritte des erfindungsmäßen computerimplementierten Verfahrens zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld relevant ist, auszuführen.
  • Im Rahmen der vorliegenden Beschreibung soll der Begriff Datenverarbeitungsvorrichtung alle zur Ausführung von Programmen geeigneten Geräte umfassen, bspw. Computer wie PCs, Notebooks, programmierbare Steuer- oder Regeleinheiten, etc.
  • Weitere mögliche Merkmale, Eigenschaften und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.
    • 1 zeigt eine Vorrichtung zur intraoperativen optischen Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen.
    • 2 zeigt die Unterteilung eines aufgenommenen Bildes in Kacheln.
    • 3 zeigt den Aufbau eines Operationsmikroskops in einer schematisierten Darstellung.
    • 4 zeigt eine alternative Ausgestaltung des Operationsmikroskops.
  • Exemplarische Ausführungsbeispiele für die beanspruchte Erfindung werden nachfolgend anhand der 1 bis 4 beschrieben. Dabei zeigt 1 eine Anordnung zum Lokalisieren von mit einer Gehirnfunktion verbundenen Gehirngewebearealen. Die 3 und 4 zeigen Beispiele für den Aufbau von Operationsmikroskopen, wie sie im Rahmen der in 1 gezeigten Anordnung Verwendung finden können.
  • Die in 1 gezeigte Anordnung zur intraoperativen optischen Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen umfasst eine Stimulationsvorrichtung in Form eines Nervenstimulators 1, eine Kamera 3, eine Anzeigevorrichtung in Form eines Monitors 5 und eine Auswertevorrichtung 7, die mit dem Nervenstimulator 1, der Kamera 3 und dem Monitor 5 zur Signalübertragung verbunden ist. Die Auswertevorrichtung 7 bildet eine Vorrichtung zum Lokalisieren von mit einer Gehirnfunktion verbundenen Gehirngewebearealen, die auf der Basis von mit dem Nervenstimulator 1 ausgeführten Stimulationszyklen und von mit der Kamera 3 aufgenommener Bilder die mit der jeweils stimulierten Gehirnfunktion oder den jeweils stimulierten Gehirnfunktionen verbundenen Gehirngewebeareale im Gehirnoperationsfeld 17 lokalisiert. Typischerweise wird eine Mehrzahl solcher Stimulationszyklen durchgeführt. Die Auswertevorrichtung 7 führt im vorliegenden exemplarischen Ausführungsbeispiel nicht nur die Lokalisierung durch, sondern auch ein Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld 17 als auch ein das Gehirnoperationsfeld 17 umgebendes Gehirnoperationsumfeld 18 darstellt, zu dem Gehirnoperationsfeld 17, ein Verfahren zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen in einem Gehirnoperationsfeld 17 relevant ist, sowie ein Verfahren zum Vorbereiten des Operationsmikroskops 11 für eine intraoperative optische Lokalisierung.
  • Der Nervenstimulator 1 ist zum elektrischen Stimulieren von Nerven ausgebildet. Hierzu umfasst er eine Anzahl Elektroden 9, mit deren Hilfe Nerven des peripheren Nervensystems wie beispielsweise der Nervus medianus (Mittelarmnerv), der für die motorische Steuerung der Unterarmmuskeln und einiger Fingermuskeln sowie für die sensible Innervation der Handfläche und des Daumens bis zur Innenseite des Ringfingers zuständig ist, oder der Nervus trigeminus, der für die sensible Wahrnehmung im Gesicht sowie für die Motorik vom Gesicht, Mundhöhle und Kaumuskeln zuständig ist, elektrisch stimuliert werden können.
  • Die Kamera 3 ist Teil eines Operationsmikroskops 11. Operationsmikroskope beinhalten in der Regel zu Dokumentationszwecken eine Kamera, die zum Aufnehmen von Stimulationsbildern und Referenzbildern während eines intraoperativen optischen Abbildungsvorgangs herangezogen werden kann. Die Kamera 3 weist einen elektronischen Bildsensor auf und wird von der Auswertevorrichtung 7 gesteuert. Zudem werden mit einem elektronischen Kamerachip der Kamera 3 aufgenommene digitale Bilder an die Auswertevorrichtung 7 ausgegeben.
  • Die Auswertevorrichtung 7 ist in 1 als in das Operationsmikroskop 11 integriert dargestellt. Ein Fachmann erkennt jedoch, dass die Auswertevorrichtung 7 nicht notwendigerweise in das Operationsmikroskop 11 integriert zu sein braucht. Insbesondere kann die Auswertevorrichtung 7 auch als von dem Operationsmikroskop 11 unabhängige aber mit diesem Verbundene Einheit ausgestaltet sein. Gleiches gilt für die Kamera 3 der Lokalisierungseinheit. Falls die Auswertevorrichtung 7 eine selbständige, mit dem Operationsmikroskop verbundene Einheit ist, kann sie beispielsweise von einem handelsüblichen PC gebildet sein, auf dem ein geeignetes Computerprogramm ausgeführt wird.
  • Die Auswertevorrichtung 7 ist außer zum Steuern der Kamera 3 auch dazu zuständig, anhand mit Hilfe der Kamera 3 aufgenommenen Stimulationsbilder und Referenzbilder eine intraoperative optische Lokalisierung der mit der jeweils stimulierten Gehirnfunktion oder den jeweils stimulierten Gehirnfunktionen verbundenen Gehirngewebeareale im Gehirnoperationsfeld 17 vorzunehmen. Die im Rahmen der intraoperative optische Lokalisierung lokalisierten, mit der jeweils stimulierten Gehirnfunktion oder den jeweils stimulierten Gehirnfunktionen verbundenen Gehirngewebeareale 15 können dann in dem auf dem Monitor 5 dargestellten Bild markiert werden, wie dies in 1 durch eine Schraffur dargestellt ist. Obwohl die Markierung in 1 durch eine Schraffur dargestellt ist, kann die Markierung alternativ beispielsweise durch Einfärbung der mit der stimulierten Gehirnfunktion verbundenen Gehirngewebeareale 15, durch Umrandung der mit der stimulierten Gehirnfunktion verbundenen Gehirngewebeareale 15, durch Reduzieren der Farbsättigung von außerhalb der mit der stimulierten Gehirnfunktion verbundenen Gehirngewebeareale 15 gelegenen Gehirngewebearealen, etc. erfolgen. Falls mit unterschiedlichen stimulierten Gehirnfunktionen in Verbindung stehende Gehirngewebeareale markiert werden sollen, kann dies beispielsweise durch unterschiedliche Einfärbung der jeweiligen Gehirngewebeareale geschehen. Grundsätzlich ist es möglich, statt einer farblichen Unterscheidung von unterschiedlichen Gehirnfunktionen zugeordneten Gehirngewebearealen die jeweiligen Gehirngewebeareale in anderer Weise unterscheidbar zu kennzeichnen, beispielsweise indem ein Gehirngewebeareal, welches mit einer ersten Gehirnfunktion in Verbindung steht, eingefärbt wird, und ein zweites Gehirngewebeareal, das mit einer zweiten Gehirnfunktion in Verbindung steht, umrandet wird. Falls es auf die Unterscheidung zwischen den Gehirnfunktionen nicht ankommt, sondern lediglich darauf, ob ein bestimmtes Gehirngewebeareal mit irgendeiner der stimulierten Gehirnfunktionen in Verbindung steht, kann die Markierung jedoch auch für alle betroffenen Gehirngewebeareale in der gleichen Wiese erfolgen, bspw. durch eine gleiche Enfärbung. Grundsätzlich ist im Rahmen der vorliegenden Erfindung jede Darstellung möglich, die geeignet ist, die mit den stimulierten Gehirnfunktionen verbundenen Gehirngewebeareale 15 von solchen zu unterscheiden, die nicht mit den stimulierten Gehirnfunktionen in Verbindung stehen.
  • Während eines im Rahmen der intraoperativen optischen Lokalisierung durchgeführten Stimulationszyklus erfolgt nacheinander eine Phase der Stimulation einer bestimmten Gehirnfunktion mit Hilfe des Nervenstimulators 1, Stimulationsphase genannt, und eine Phase ohne Stimulation der Gehirnfunktion, Ruhephase genannt. Die Auswertevorrichtung 7 steuert die Kamera 3 dabei derart, dass während eines Stimulationszyklus mindestens ein Stimulationsbild vom Gehirnoperationsfeld 17, d.h. ein Bild, in dem ein durch die Stimulation hervorgerufenes optisches Signal enthalten ist, und mindestens ein Referenzbild, d.h. ein Bild, in dem kein durch die Stimulation hervorgerufenes optisches Signal enthalten ist, aufgenommen werden. Im vorliegenden exemplarischen Ausführungsbeispiel wird mit der Kamera 3 während eines intraoperativen optischen Lokalisierungsvorgangs wenigstens eine Videosequenz des Gehirnoperationsfeldes 17 und eines Teils des Gehirnoperationsumfeldes 18 aufgenommen. Die Stimulationsbilder und die Referenzbilder sind dann Frames der Videosequenz.
  • Im Rahmen der intraoperativen optischen Lokalisierung wird eine Anzahl an Stimulationszyklen aneinander gereiht, so dass sich über einen bestimmten Zeitraum Ruhephasen und Stimulationsphasen abwechseln. Beispielsweise können Stimulationszyklen verwendet werden, wie sie in M. Oelschlägel et al. „Intraoperative identification of somato-sensory brain areas using optical imaging and standard RGB camera equipment - a feasibility study‟, Current Directions in Biomedical Engineering 2015; 1: 265-269 beschrieben sind, d.h. sich über 9 min abwechselnde 30-sekündige Stimulationsphasen und 30-sekündige Ruhephasen.
  • Im vorliegenden exemplarischen Ausführungsbeispiel Beispiel umfasst die intraoperative optische Lokalisierung insgesamt 9 Stimulationsphasen und 9 Ruhephasen, die schließlich zum Lokalisieren der mit der stimulierten Gehirnfunktion verbundenen Gehirngewebeareale 15 herangezogen werden können. Die intraoperative optische Lokalisierung kann aber auch mehr oder weniger als 9 Stimulationszyklen umfassen. Außerdem kann die Dauer der Stimulationsphasen und der Ruhephasen länger oder kürzer als 30 Sekunden sein. Auch braucht die Dauer einer Stimulationsphase nicht der Dauer einer Ruhephase zu entsprechen.
  • Das Starten des intraoperativen optischen Lokalisierungsvorgangs erfolgt durch das Personal im Operationssaal anhand einer Eingabe an die Auswertevorrichtung 7, die dann das Ausführen der Stimulationszyklen durch den Nervenstimulator 1 initiiert. Wenn eine intraoperative optische Lokalisierung durchgeführt werden soll, ist vor dem Starten des intraoperativen optischen Lokalisierungsvorgangs eine entsprechende Vorbereitung des Operationsmikroskops 11 wichtig, um unbrauchbare Lokalisierungsergebnisse so weit wie möglich zu vermeiden. Durch die Vorbereitung soll das Operationsmikroskop 11 in einen Zustand versetzt werden, der für das Durchführen der intraoperativen optischen Lokalisierung bestmöglich geeignet ist.
  • Während einer Gehirnoperation steht das Personal im Operationssaal unter hohem Zeitdruck, da die Operation so rasch wie möglich beendet werden soll, um das Risiko für den Patienten zu minimieren. Um das Personal im Operationssaal bei der Vorbereitung des Operationsmikroskops 11 zu unterstützen und dadurch zu entlasten, führt die Auswerteeinheit 7 ein Verfahren zum Vorbereiten des Operationsmikroskops 11 für eine intraoperative optische Lokalisierung aus, in dessen Rahmen von der Auswertevorrichtung 7 auch ein Verfahren zum Ermitteln wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen 15 in einem Gehirnoperationsfeld 17 relevant ist, ausgeführt wird. Das Ermitteln des wenigstens eines Zustandes, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen 15 relevant ist, erfolgt auf der Basis des mit der Kamera 3 des Operationsmikroskops 11 aufgenommenen Bildes. Dieses zeigt neben dem Gehirnoperationsfeld 17, also neben dem freigelegten Gehirngewebe, auch das das Gehirnoperationsfeld 17 umgebende Gehirnoperationsumfeld 18. Um den Aufwand für das Ermitteln des wenigstens eines Zustandes möglichst gering - und damit die für das Ermitteln benötigte Zeit möglichst kurz - zu halten, analysiert die Auswerteeinheit 7 nur diejenigen Bildbereiche, die für das Ermitteln des Zustandes relevante Informationen enthalten. Diese Bildbereiche sind in der Regel durch die das Gehirnoperationsfeld 17 repräsentierenden Bildbereiche gegeben. Die Auswerteeinheit benötigt daher Informationen darüber, welche Bildbereiche des Bildes das Gehirnoperationsfeld 17 darstellen.
  • Grundsätzlich besteht die Möglichkeit, dass das Personal im Operationssaal anhand eines auf dem Monitor 5 gezeigten Bildes das Gehirnoperationsfeld 17 für die Auswertevorrichtung 7 mit einer Eingabe markiert, beispielsweise in dem er es auf dem Monitor 5 umrandet, wenn dieser Berührungsempfindlich ausgebildet ist oder das Gehirnoperationsfeld 17 mit Hilfe einer Maus kennzeichnet. Im vorliegenden exemplarischen Ausführungsbeispiel ist jedoch eine andere Vorgehensweise gewählt. In diesem führt die Auswertevorrichtung 7 vor dem Verfahren zum Ermitteln des wenigstens eines für die intraoperative optische Lokalisierung relevanten Zustandes ein Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld 17 als auch ein das Gehirnoperationsfeld 17 umgebendes Gehirnoperationsumfeld 18 darstellt, zu dem Gehirnoperationsfeld 17 aus. Diese Verfahren umfasst einen Algorithmus des maschinellen Lernens, der zum Erkennen von das Gehirnoperationsfeld 17 darstellenden Bildbereichen trainiert worden ist. Er ist jedoch nicht zum Erkennen von das Gehirnoperationsumfeld 18 darstellenden Bildbereichen trainiert worden. Während das Gehirnoperationsfeld 17 bei verschiedenen Gehirnoperationen weitgehend ähnlich aussieht, weil es immer Gehirngewebe beinhaltet, können sich die Gehirnoperationsfelder 18 selbst bei gleichartigen Gehirnoperationen erheblich voneinander unterscheiden. Der Aufwand zum Trainieren des Algorithmus des maschinellen Lernens zum Erkennen des Gehirnoperationsumfeldes 18 würde daher das Erkennen einer Vielzahl unterschiedlicher Situationen erfordern, was das Trainieren sehr aufwendig gestalten würde. Gleichzeitig hätte das Erkennen des Gehirnoperationsumfeldes 18 keinen weiteren Erkenntnisgewinn gegenüber dem alleinigen Erkennen des Gehirnoperationsfeldes 17 zur Folge, da, wenn das Gehirnoperationsfeld 17 erkannt ist, im Umkehrschluss alle Bildbereiche, die nicht das Operationsfeld 17 darstellen, als Gehirnoperationsumfeld 18 angesehen werden können.
  • Um das Gehirnoperationsfeld 17 im aufgenommenen Bild zu erkennen, erfolgt im vorliegenden exemplarischen Ausführungsbeispiel eine Aufteilung des aufgenommenen Bildes in Kacheln 19, wie dies schematisch in 2 gezeigt ist, und eine Eingruppierung der Kacheln 19 in zwei verschiedene Klassen, von denen die eine diejenigen Kacheln repräsentiert, in denen Gehirngewebe zu erkennen ist, und die andere diejenigen Kacheln in denen kein Gehirngewebe zu erkennen ist. Damit der Algorithmus des maschinellen Lernens die Klassifizierung vornehmen kann, muss er in der Lage sein, in den Kacheln Gehirngewebe erkennen zu können. Zu diesem Zweck wurde der Algorithmus des maschinellen Lernens zuvor mit Gehirngewebe zeigenden Kacheln trainiert.
  • Um die Grenze zwischen den Gehirngewebe zeigenden Bildbereichen und denjenigen Bildbereichen, die kein Gehirngewebe zeigen, mit einer hinreichenden räumlichen Auflösung erfassen zu können, verwendet der Algorithmus Kacheln, die der Gehirngewebe darstellenden Klasse zugeordnet sind, oder Pixel oder Pixelgruppen dieser Kacheln als Startpunkte für einen Region-Growing-Verfahren oder für einen Watershed-Verfahren. Alternativ kann der Algorithmus wenigstens diejenigen Kacheln der Gehirngewebe repräsentierenden Klasse, die an wenigstens eine der in die kein Gehirngewebe repräsentierende Klasse eingruppierten Kacheln angrenzen in kleinere Kacheln unterteilen, wie dies für die Kachel 19' dargestellt ist. Optional kann er auch diejenigen Kacheln, die in die kein Gehirngewebe repräsentierende Klasse eingruppiert sind und an mindestens eine der in die Gehirngewebe repräsentierende Klasse eingruppierten Kacheln angrenzen, in kleinere Kacheln unterteilen. Diese kleineren Kacheln werden anschließend wieder einer der beiden genannten Klassen zugeordnet. Diese Vorgehensweise kann mehrfach wiederholt werden, so dass durch die sich vermindernden Abmessungen der Kacheln die räumliche Auflösung beim Erkennen der Grenze zwischen Gehirngewebe zeigenden Bildbereichen und kein Gehirngewebe zeigenden Bildbereichen und somit auch beim Erkennen der Grenze zwischen dem Gehirnoperationsfeld 17 und dem Gehirnoperationsumfeld 18 erhöht wird.
  • Nachdem die Grenze zwischen dem Gehirnoperationsfeld 17 und dem Gehirnoperationsumfeld 18 mit einer hinreichenden räumlichen Auflösung erfasst worden ist, werden alle Kacheln 19, die in die Gehirngewebe repräsentierende Klasse eingruppiert wurden, schließlich dem Gehirnoperationsfeld 17 zugeordnet, wobei der Bildinhalt dieser Kacheln dann das Gehirnoperationsfeld 17 im aufgenommenen Bild darstellt. Anhand des Bildinhaltes der dem Gehirnoperationsfeld 17 zugeordneten Kacheln erfolgt schließlich das Ermitteln des wenigstens einen für die intraoperative optische Lokalisierung relevanten Zustandes. Der Bildinhalt der nicht dem nicht dem Gehirnoperationsfeld 17 zugeordneten Kacheln wird dabei nicht berücksichtigt.
  • Das erfindungsgemäße Verfahren bietet auch die Möglichkeit, anhand des Verlaufs der Grenze zwischen den Gehirngewebe zeigenden Bildbereichen und den kein Gehirngewebe zeigenden Bildbereichen zu erkennen, ob Störungen in der Sichtbarkeit des Gehirnoperationsfeldes 17 vorliegen. Wenn bspw. eine Bildbereich, der von Kacheln der kein Gehirngewebe darstellenden Klasse gebildet wird und vollständig von Kacheln der Gehirngewebe darstellenden Klasse umgeben ist, vorliegt, kann daraus geschlossen werden, dass der von den entsprechenden Kacheln der kein Gehirngewebe darstellenden Klasse gebildete Bildbereich eine Störung in der Sichtbarkeit des Gehirngewebes repräsentiert. Eine solche Störung kann beispielsweise durch eine das Gehirngewebe überdeckende Blutung oder durch einen am Flüssigkeitsfilm des Gehirns auftretenden Beleuchtungsreflex verursacht werden. Wenn andererseits ein Bildbereich vorliegt, der von Kacheln der kein Gehirngewebe darstellenden Klasse gebildet wird und in einen von Kacheln der Gehirngewebe darstellenden Klasse gebildeten Bildbereich hineinragt, kann dies ein Indiz für ein zwischen dem Gehirnoperationsfeld 17 und dem Operationsmikroskop 11 in den Beobachtungsstrahlengang des Operationsmikroskops 11 hineinragendes Fremdobjekt sein. Auch dies führt zu einer Störung in der Sichtbarkeit des Gehirngewebes. Anhand von Mustererkennungsalgorithmen kann daher eine Störung in der Sichtbarkeit des Gehirngewebes anhand der in die Klassen eingeteilten Kacheln erkannt werden.
  • Im vorliegenden exemplarischen Ausführungsbeispiel wird eine Mehrzahl an für die intraoperative optische Lokalisierung relevanten Zuständen ermittelt. Diese Zustände umfassen sowohl Zustände in Form von Parameterwerten für Parameter, die für die intraoperative optische Lokalisierung relevant sind als auch Zustände, die Störungen der Sichtbarkeit des Gehirngewebes repräsentieren wie bspw. die im vorherigen Absatz beschrieben Zustände. Die Störungen könne dabei bspw. anhand der Positionen derjenigen Kacheln im Bild, welche in die kein Gehirngewebe repräsentierenden Klasse eingruppiert worden sind und die zu einem großen Teil von solchen Kacheln umgeben sind, welche in die Gehirngewebe repräsentierenden Klasse eingruppiert worden sind, lokalisiert werden. Im vorliegenden exemplarischen Ausführungsbeispiel können alternativ oder zusätzlich zu der Position einer Störung im Bild der Flächenanteil desjenigen Bildbereiches im Gehirnoperationsfeld 17, in dem diese Störung ermittelt wurde, an der Gesamtfläche des das Gehirnoperationsfeld 17 als ein den Grad der Störung repräsentierender Wert angegeben werden.
  • Wenn nicht nur die Position der Störung im Gehirnoperationsfeld 17 und/oder der Flächenanteil desjenigen Bildbereiches im Gehirnoperationsfeld 17, in dem diese Störung ermittelt wurde, an der Gesamtfläche des das Gehirnoperationsfeld 17, sondern auch die Ursache für die Störung der Sichtbarkeit ermittelt werden soll, besteht die Möglichkeit wenigstens einen zweiten Algorithmus des maschinellen Lernens bereit zu stellen, der mit Kacheln trainiert worden, die eine vorgegebene Ursache für eine Nicht-Erkennbarkeit von Gehirngewebe darstellen. Dadurch ist es dem zweiten Algorithmus des maschinellen Lernens möglich, im Bild solche Kacheln 19 zu erkennen in denen die trainierte vorgegebene Ursache vorliegt. Mit Hilfe eines Region-Growing-Verfahrens, eines Watershed-Verfahrens oder einer Unterteilung der Kacheln 19 in kleinere Kacheln kann dabei die räumliche Auflösung beim Erkennen der Grenze der von der erkannten Ursache betroffenen Bildbereiche zu anderen Bildbereichen verfeinert werden. Kacheln, die der kein Gehirngewebe darstellenden Klasse zugeordnet sind und in denen der zweite Algorithmus des maschinellen Lernens die vorgegebene Ursache erkennt, gruppiert er dann in eine die vorgegebene Ursache darstellende Klasse um. Die umgruppierten Kacheln ordnet er dem Gehirnoperationsfeld 17 zu. Der zweite Algorithmus des maschinellen Lernens kann insbesondere zum Erkennen von Blutungen als vorgegebene Ursache trainiert worden sein. Das Erkennen von Blutungen ist von besonderer Bedeutung, da sie die Sichtbarkeit des Gehirngewebes stark einschränken und zudem auch eine Gefahrensituation für den Patienten darstellen können, die ein rasches Handeln des Personals im Operationssaal erforderlich macht. Ein automatisiertes Erkennen von Blutungen ermöglicht es, Blutungen frühzeitig zu erkennen und damit frühzeitig zu Handeln. Im Rahmen des erfindungsgemäßen Verfahrens können weitere Algorithmen des maschinellen Lernens zur Anwendung kommen, die mit geeigneten Kacheln zum Erkennen weiterer Ursachen für eine Störung der Sichtbarkeit des Gehirngewebes trainiert worden sind und die jeweils auf die Kacheln, die der kein Gehirngewebe darstellenden Klasse zugeordnet sind, angewendet werden. Damit kann automatisiert zwischen einer Mehrzahl an Ursachen unterschieden werden.
  • Als Parameterwerte können im vorliegenden exemplarischen Ausführungsbeispiel sowohl Parameterwerte für Geräteparameter des Operationsmikroskops 11 als auch Parameterwerte für Parameter, die keine Geräteparameter des Operationsmikroskops 11 sind, ermittelt werden. Geräteparameter des Operationsmikroskops 11 sind dabei insbesondere die Fokuseinstellung der Optik des Operationsmikroskops 11, die Ausrichtung des Operationsmikroskops 11, die am Operationsmikroskop 11 eingestellte Beleuchtungsrichtung, die am Operationsmikroskop 11 eingestellte Beleuchtungsintensität, die am Operationsmikroskop 11 eingestellte Farbe der Beleuchtung, etc. Als Parameter, die keine Geräteparameter des Operationsmikroskops 11 sind, kommen bspw. Parameter der Lichtverhältnisse im Operationssaal oder die Lage von Gehirnstrukturen relativ zu einem vorgegebenen Koordinatensystem angebende Parameter in Betracht. Die aktuell eingestellten Parameterwerte für diese Parameter haben Auswirkungen auf die Darstellung des Gehirnoperationsfeldes 17 in dem mit der Kamera 3 aufgenommene Bild und können daher anhand einer Bildanalyse, die sich auf die das Gehirnoperationsfeld 17 zeigenden Bildbereiche des aufgenommenen Bildes beschränkt, ermittelt werden.
  • Im vorliegenden exemplarischen Ausführungsbeispiel sind der Auswertevorrichtung 7 die geeigneten Parameterwerte für die für die intraoperative optische Lokalisierung relevanten Geräteparameter des Operationsmikroskops 11 wie bspw. ein geeigneter Wert für die Fokuseinstellung des Operationsmikroskops 11, geeignete Werte für Ausrichtungsparameter des Operationsmikroskops 11, etc. bekannt. Sie ermittelt auf der Basis der erfassten Parameterwerte und der bekannten geeigneten Parameterwerte die Abweichung der erfassten Parameterwerte von den geeigneten Parameterwerten und stellt diese Abweichungen schließlich auf dem Monitor 5 dar. Der Nutzer hat nun die Möglichkeit, anhand der Abweichungen zu erkennen, welche Parameterwerte er noch optimieren muss, um das Operationsmikroskop 11 optimal auf die intraoperative optische Lokalisierung vorzubereiten.
  • Im vorliegenden Ausführungsbeispiel kann statt einer manuellen Optimierung der Parameterwerte für die Geräteparameter des Operationsmikroskops 11 eine Optimierung der Parameterwerte anhand eines automatisierten Verfahrens erfolgen. In diesem automatisierten Verfahren optimiert eine Steuer- oder Regeleinrichtung 8 auf der Basis der geeigneten Parameterwerte und der Abweichungen der ermittelten Parameterwerte von den geeigneten Parameterwerten die Parameterwerte der Geräteparameter solange, bis die Abweichungen ein vorgegebenes Maß nicht mehr überschreiten.
  • Nachdem die Parameterwerte der Geräteparameter optimiert worden sind, beginnt schließlich die Stimulation und die intraoperative optische Lokalisierung der mit der stimulierten Gehirnfunktion verbundenen Gehirngewebeareale.
  • Die für die intraoperative optische Lokalisierung relevanten Zustände werden aber nicht nur zur Vorbereitung des Operationsmikroskops 11 erfasst, sondern auch während der intraoperativen optischen Lokalisierung. Auf diese Weise besteht die Möglichkeit, Änderungen dieser Zustände, beispielsweise eine Veränderung in der Beleuchtungsstärke, das Auftreten von Störungen der Sichtbarkeit des Gehirnoperationsfeldes oder eine Veränderung des Anteils der von Störungen betroffenen Fläche an der Gesamtfläche des Gehirnoperationsfeldes 17, der Ausrichtung des Operationsmikroskops etc., frühzeitig zu ermitteln und entsprechende Maßnahmen einzuleiten. Für den Fall, dass einer oder mehrere der während der Lokalisierung ermittelten Zustände so massiv von dem geeigneten Zustand bzw. den geeigneten Zuständen abweicht, dass ein hinreichend gutes Ergebnis der intraoperativen optischen Lokalisierung nicht mehr zu erwarten ist, kann die intraoperative optische Lokalisierung abgebrochen und mit optimierten Zuständen, bspw. optimierten Parameterwerten, neu gestartet werden. Mit dieser Vorgehensweise ist eine Zeitersparnis verbunden, da mangelhafte intraoperative optische Lokalisierungen nicht erst nach Ende der intraoperativen optischen Lokalisierung erkannt werden können, sondern bereits während der intraoperativen optischen Lokalisierung, so dass zum frühestmöglichen Zeitpunkt eingeschritten werden kann.
  • Sofern genügend störungsfreie Stimulationszyklen vorhanden sind, erfolgt die Auswertung der Frames im Hinblick auf das Lokalisieren der mit der stimulierten Gehirnfunktion verbundenen Gehirngewebeareale 15 und ein Anzeigen der entsprechenden Gehirngewebeareale 15 auf dem Monitor 5. Die Auswertung kann dabei grundsätzlich mit jeder dazu geeigneten Methode erfolgen, beispielsweise mit der in S.B. Sobottka et al. „Intraoperative optical imaging of intrinsic signals: a reliable method for visualizing stimulated functional brain areas during surgery", J. Neurosurg 119 (2013), Seiten 853-863 beschriebenen Methode oder der in US 9, 095, 255 B2 beschriebenen Methode.
  • 3 zeigt in einer schematischen Darstellung einen möglichen Aufbau des Operationsmikroskops 11, wie es in der Anordnung aus 1 Verwendung finden kann. 4 zeigt einen möglichen alternativen Aufbau.
  • Das in 3 gezeigte Operationsmikroskop 11 umfasst als wesentliche Bestandteile ein einem Objektfeld 17, das im vorliegenden exemplarischen Ausführungsbeispiel das Gehirnoperationsfeld 17 ist, zuzuwendendes Objektiv 105, das insbesondere als achromatisches oder apochromatisches Objektiv ausgebildet sein kann. Im vorliegenden Ausführungsbeispiel besteht das Objektiv 105 aus zwei miteinander verkitteten Teillinsen, die ein achromatisches Objektiv bilden. Das Objektfeld 17 wird in der Brennebene des Objektivs 105 angeordnet, so dass es vom Objektiv 105 nach Unendlich abgebildet wird. Mit anderen Worten, ein vom Objektfeld 3 ausgehendes divergentes Strahlenbündel 107A, 107B wird bei seinem Durchgang durch das Objektiv 105 in ein paralleles Strahlenbündel 109A, 109B umgewandelt.
  • Beobachterseitig des Objektivs 105 ist ein Vergrößerungswechsler 111 angeordnet, der entweder wie im dargestellten Ausführungsbeispiel als Zoom-System zur stufenlosen Änderung des Vergrößerungsfaktors oder als so genannter Galilei-Wechsler zur stufenweisen Änderung des Vergrößerungsfaktors ausgebildet sein kann. In einem Zoom-System, das bspw. aus einer Linsenkombination mit drei Linsen aufgebaut ist, können die beiden objektseitigen Linsen verschoben werden, um den Vergrößerungsfaktor zu variieren. Tatsächlich kann das Zoom-System aber auch mehr als drei Linsen, bspw. vier oder mehr Linsen aufweisen, wobei die äußeren Linsen dann auch fest angeordnet sein können. In einem Galilei-Wechsler existieren dagegen mehrere feste Linsenkombinationen, die unterschiedliche Vergrößerungsfaktoren repräsentieren und im Wechsel in den Strahlengang eingebracht werden können. Sowohl ein Zoom-System, als auch ein Galilei-Wechsler wandeln ein objektseitiges paralleles Strahlenbündel in ein beobachterseitiges paralleles Strahlenbündel mit einem anderen Bündeldurchmesser um. Der Vergrößerungswechsler 111 ist im vorliegenden exemplarischen Ausführungsbeispiel bereits Teil des binokularen Strahlengangs des Operationsmikroskops 11, d.h. er weist eine eigene Linsenkombination für jeden stereoskopischen Teilstrahlengang 109A, 109B des Operationsmikroskops 11 auf. Das Einstellen eines Vergrößerungsfaktors mittels des Vergrößerungswechslers 111 erfolgt im vorliegenden exemplarischen Ausführungsbeispiel über ein motorisch angetriebenes Stellglied, das zusammen mit dem Vergrößerungswechsler 111 Teil einer Vergrößerungswechseleinheit zum Einstellen des Vergrößerungsfaktors ist.
  • An den Vergrößerungswechsler 111 schließt sich beobachterseitig eine Schnittstellenanordnung 113A, 113B an, über die externe Geräte an das Operationsmikroskop 11 angeschlossen werden können und die im vorliegenden exemplarischen Ausführungsbeispiel Strahlteilerprismen 115A, 115B umfasst. Grundsätzlich können aber auch andere Arten von Strahlteilern Verwendung finden, bspw. teildurchlässige Spiegel. Die Schnittstellen 113A, 113B dienen im vorliegenden exemplarischen Ausführungsbeispiel zum Auskoppeln eines Strahlenbündels aus dem Strahlengang des Operationsmikroskops 11 (Strahlteilerprisma 115B) bzw. zum Einkoppeln eines Strahlenbündels in den Strahlengang des Operationsmikroskops 11 (Strahlteilerprisma 115A).
  • Das Strahlteilerprisma 115A in dem Teilstrahlengang 109A dient im vorliegenden Ausführungsbeispiel dazu, mit Hilfe eines Displays 37, bspw. einer Digital Mirror Device (DMD) oder eines LCD-Displays, und einer zugehörigen Optik 139 über das Strahlteilerprisma 115A Informationen oder Daten für einen Betrachter in den Teilstrahlegang 109A des Operationsmikroskops 1 einzuspiegeln. Bei einer Gehirnoperation kann bspw. eine Markierung der mit wenigstens einer stimulierten Gehirnfunktion verbundene Gehirngewebeareale 15 in das mit dem Operationsmikroskop 11 gewonnene Bild eingespiegelt werden. Im anderen Teilstrahlengang 109B ist an der Schnittstelle 113B ein Kameraadapter 119 mit einer daran befestigten Kamera 3 angeordnet, die mit einem elektronischen Bildsensor 123, bspw. mit einem CCD-Sensor oder einem CMOS-Sensor, ausgestattet ist. Mittels der Kamera 3 kann ein elektronisches und insbesondere ein digitales Bild des Objektfelds 17 aufgenommen werden, wobei in dem aufgenommenen Bild in der Regel auch einen Teils des Gehirnoperationsumfeldes 18 zu sehen ist. Als Bildsensor kann insbesondere auch ein Hyperspektralsensor Verwendung finden, in dem nicht nur drei Spektralkanäle (bspw. rot, grün und blau) vorhanden sind, sondern eine Vielzahl von Spektralkanälen. In der in 1 gezeigten Anordnung werden mit der Kamera 3 die die Stimulationsbilder und Referenzbilder enthaltenden Videosequenzen aufgenommen.
  • An die Schnittstelle 113 schließt sich beobachterseitig ein Binokulartubus 127 an. Dieser weist zwei Tubusobjektive 129A, 129B auf, welche das jeweilige parallele Strahlenbündel 109A, 109B auf eine Zwischenbildebene 131 fokussieren, also das Objektfeld 17 auf die jeweilige Zwischenbildebene 131A, 131B abbilden. Die in den Zwischenbildebenen 131A, 131B befindlichen Zwischenbilder werden schließlich von Okularlinsen 135A, 135B wiederum nach Unendlich abgebildet, so dass ein Betrachter das Zwischenbild mit entspanntem Auge betrachten kann. Außerdem erfolgt im Binokulartubus mittels eines Spiegelsystems oder mittels Prismen 133A, 133B eine Vergrößerung des Abstandes zwischen den beiden Teilstrahlenbündeln 109A, 109B, um diesen an den Augenabstand des Betrachters anzupassen. Mit dem Spiegelsystem oder den Prismen 133A, 133B erfolgt zudem eine Bildaufrichtung.
  • Das Operationsmikroskop 11 ist außerdem mit einer Beleuchtungsvorrichtung ausgestattet, mit der der das Objektfeld 17 mit breitbandigem Beleuchtungslicht beleuchtet werden kann. Hierzu weist die Beleuchtungsvorrichtung im vorliegenden Ausführungsbeispiel eine Weißlichtquelle 141, etwa eine Halogenglühlampe oder eine Gasentladungslampe, auf. Das von der Weißlichtquelle 141 ausgehende Licht wird über einen Umlenkspiegel 143 oder ein Umlenkprisma in Richtung auf das Objektfeld 17 gelenkt, um dieses auszuleuchten. In der Beleuchtungsvorrichtung ist weiterhin eine Beleuchtungsoptik 145 vorhanden, die für eine gleichmäßige Ausleuchtung des gesamten beobachteten Objektfeldes 17 sorgt.
  • Es sei darauf hingewiesen, dass der in 3 dargestellte Beleuchtungsstrahlengang stark schematisiert ist und nicht notwendigerweise den tatsächlichen Verlauf des Beleuchtungsstrahlengangs wiedergibt. Grundsätzlich kann der Beleuchtungsstrahlengang als sogenannte Schrägbeleuchtung ausgeführt sein, die der schematischen Darstellung in 3 am nächsten kommt. In einer solchen Schrägbeleuchtung verläuft der Strahlengang in einem relativ großen Winkel (6° oder mehr) zur optischen Achse des Objektivs 5 und kann, wie in 3 dargestellt, vollständig außerhalb des Objektivs verlaufen. Alternativ besteht jedoch auch die Möglichkeit, den Beleuchtungsstrahlengang der Schrägbeleuchtung durch einen Randbereich des Objektivs 105 hindurch verlaufen zu lassen. Eine weitere Möglichkeit zur Anordnung des Beleuchtungsstrahlengangs ist die sogenannte 0°-Beleuchtung, bei der der Beleuchtungsstrahlengang durch das Objektiv 105 hindurch verläuft und zwischen den beiden Teilstrahlengängen 109A, 109B, entlang der optischen Achse des Objektivs 105 in Richtung auf das Objektfeld 17 in das Objektiv 105 eingekoppelt wird. Schließlich besteht auch die Möglichkeit, den Beleuchtungsstrahlengang als sogenannte koaxiale Beleuchtung auszuführen, in der ein erster und ein zweiter Beleuchtungsteilstrahlengang vorhanden sind. Die Teilstrahlengänge werden über einen oder mehrere Strahlteiler parallel zu den optischen Achsen der Beobachtungsteilstrahlengänge 109A, 109B in das Operationsmikroskop 11 eingekoppelt, so dass die Beleuchtung koaxial zu den beiden Beobachtungsteilstrahlengängen verläuft.
  • In dem in 3 dargestellten Operationsmikroskop 11 kann auf die Beleuchtung Einfluss genommen werden. Bspw. kann ein Filter in den Beleuchtungsstrahlengang eingebracht werden, der von dem breiten Spektrum der Weißlichtquelle 141 nur einen schmalen Spektralbereich passieren lässt, bspw. einen Spektralbereich, mit dem Fluoreszenz eines im Objektfeld 17 befindlichen Fluoreszenzfarbstoffes angeregt werden kann. Zur Beobachtung der Fluoreszenz können in die Beobachtungs-Teilstrahlengänge Filter 137A, 137B eingebracht werden, die den zur Fluoreszenzanregung verwendeten Spektralbereich herausfiltern um die Fluoreszenz beobachten zu können. Im vorliegenden Ausführungsbeispiel kann bei der Aufnahme der Stimulationsbilder und der Referenzbilder ein Filter in den Beleuchtungsstrahlengang eingebracht werden, der nur diejenigen Wellenlängenbereiche des Beleuchtungslichtes passieren lässt, in denen eine Änderung der Durchblutung oder einer Änderung des Sauerstoffgehaltes im Blut ein besonders deutliches Signal im Beobachtungsstrahlengang erzeugt.
  • In der in 3 gezeigten Ausführungsvariante des Operationsmikroskops 11 besteht das Objektiv 105 lediglich aus einer Achromatlinse. Es kann jedoch auch ein Objektivlinsensystem aus mehreren Linsen Verwendung finden, insbesondere ein so genanntes Vario-Objektiv, mit dem sich der Arbeitsabstand des Operationsmikroskops 11, d.h. der Abstand der objektseitigen Brennebene vom Scheitel der ersten objektseitigen Linsenfläche des Objektivs 105, auch Objektschnittweite genannt, variieren lässt. Auch von einem Vario-Objektiv wird das in der Brennebene angeordnete Objektfeld 17 nach Unendlich abgebildet, so dass beobachterseitig ein paralleles Strahlenbündel vorliegt.
  • 4 zeigt ein Beispiel für ein digitales Operationsmikroskop 148 in einer schematischen Darstellung. Bei diesem Operationsmikroskop unterscheiden sich das Hauptobjektiv 105, der Vergrößerungswechsler 111 sowie das Beleuchtungssystem 141, 143, 145 nicht von dem in 3 dargestellten Operationsmikroskop 2 mit optischem Einblick. Der Unterschied liegt darin, dass das in 4 gezeigte Operationsmikroskop 148 keinen optischen Binokulartubus umfasst. Statt der Tubusobjektive 129A, 129B aus 3 umfasst das Operationsmikroskop 148 aus 4 Fokussierlinsen 149A, 149B mit denen die binokularen Beobachtungsstrahlengänge 109A, 109B auf digitale Bildsensoren 161A, 161B abgebildet werden. Die digitalen Bildsensoren 161A, 161B können dabei beispielsweise CCD-Sensoren oder als CMOS-Sensoren sein. Die von den Bildsensoren 161A, 161B aufgenommenen Bilder werden digital an digitale Displays 163A, 163B gesendet, die als LED-Displays, als LCD-Displays oder als auf organischen Leuchtioden (OLEDs) beruhende Displays ausgebildet seien können. Den Displays 163A, 163B können wie im vorliegenden Beispiel Okularlinsen 165A, 165B zugeordnet sein, mit denen die auf den Displays 163A, 163B dargestellten Bildern nach unendlich abgebildet werden, so dass ein Betrachter sie mit entspannten Augen betrachten kann. Die Displays 163A, 163B und die Okularlinsen 165A, 165B können Teil eines digitalen Binokulartubus sein, sie können aber auch Teil eines am Kopf zu tragenden Displays (head mounted display, HMD) wie etwa einer Datenbrille sein.
  • Bei der in 1 gezeigten Anordnung können die die Stimulationsbilder und Referenzbilder enthaltenden Videosequenzen mit wenigstens einem der digitalen Bildsensoren 161A, 161B aufgenommen werden. In diesem Fall stellen der digitale Bildsensor bzw. die digitalen Bildsensoren die Abbildungsvorrichtung aus 1 dar.
  • Obwohl in 4 wie in 3 lediglich eine Achromatlinse 105 mit einer festen Brennweite dargestellt ist, kann das in 4 gezeigte Operationsmikroskop 148 wie das in 3 dargestellte Operationsmikroskop 11 ein Varioskopobjektiv statt der Objektivlinse 105 umfassen. Weiterhin ist in 4 eine Übertragung der von den Bildsensoren 161A, 161B aufgenommenen Bilder an die Displays 163A, 163B mittels Kabeln 167A, 167B gezeigt. Statt kabelgebunden können die Bilder jedoch auch drahtlos an die Displays 163A, 163B übertragen werden, insbesondere dann, wenn die Displays 163A, 163B Teil eines Head Mounted Displays sind.
  • Die vorliegende Erfindung wurde anhand von exemplarischen Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Ein Fachmann erkennt jedoch, dass von den konkreten exemplarischen Ausführungsbeispielen im Rahmen der Erfindung auch abgewichen werden kann, wie dies im Rahmen der Beschreibung der exemplarischen Ausführungsbeispiele bereits erwähnt worden ist. Insbesondere kann die Auswertevorrichtung statt einer im Operationsmikroskop befindlichen Einheit auch als externe, mit dem Operationsmikroskop signalverbundene Einheit, bspw. als mit dem Operationsmikroskop signalverbundener Computer ausgebildet sein. Der Schutzumfang der Erfindung soll daher nicht durch die Ausführungsbeispiele sondern lediglich durch die beigefügten Ansprüche beschränkt sein.
  • Bezugszeichenliste
    • 1
    Nervenstimulator
    3
    Kamera
    5
    Monitor
    7
    Auswertevorrichtung
    8
    Steuer- oder Regelvorrichtung
    9
    Elektrode
    11
    Operationsmikroskop
    15
    mit stimulierter Gehirnfunktion verbundenes Gehirngewebeareal
    17
    Gehirnoperationsfeld
    18
    Gehirnoperationsumfeld
    19
    Kachel
    105
    Objektiv
    107 A, B
    divergentes Strahlenbündel
    109 A, B
    paralleles Strahlenbündel
    111
    Vergrößerungswechsler
    113 A, B
    Schnittstellenanordnung
    115 A, B
    Strahlteilerprisma
    119
    Kameraadapter
    123
    Bildsensor
    127
    Binokulartubus
    129 A, B
    Tubusobjektiv
    131 A,B
    Zwischenbildebene
    133 A, B
    Prisma
    135 A, B
    Okularlinse
    137
    Display
    139
    Optik
    141
    Weißlichtquelle
    143
    Umlenkspiegel
    145
    Beleuchtungsoptik
    148
    Operationsmikroskop
    149 A,B
    Fokussierlinse
    161 A,B
    Bildsensor
    163 A, B
    Display
    165 A,B
    Okularlinse
    167 A, B
    Kabel
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 2008040807 A1 [0005]
    • US 5215095 A1 [0005]
    • US 9095255 B2 [0005, 0057]
    • US 9801549 B2 [0005]
    • US 2009/0234236 A1 [0005]
  • Zitierte Nicht-Patentliteratur
    • M. Oelschlägel et al. „Intraoperative identification of somato-sensory brain areas using optical imaging and standard RGB camera equipment - a feasibility study‟, Current Directions in Biomedical Engineering 2015; 1: 265-269 [0004, 0006, 0041]
    • K. Sato „intraoperative intrinsic optical imaging of human somatosensory cortex during neurosurgical operations“ in Neurophotonix 4 (3), 031205 (Juli bis September 2017) [0004]
    • S.B. Sobottka „Intraoperative optical imaging of intrinsic signals: a reliable method for visualizing stimulated functional brain areas during surgery“ in J. Neurosurg. 119 (2013), Seiten 853 bis 863 [0004]
    • S.B. Sobottka et al. „Intraoperative optical imaging of intrinsic signals: a reliable method for visualizing stimulated functional brain areas during surgery“, J. Neurosurg 119 (2013), Seiten 853-863 [0057]

Claims (14)

  1. Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, welches sowohl ein Gehirnoperationsfeld (17) als auch ein das Gehirnoperationsfeld (17) umgebendes Gehirnoperationsumfeld (18) darstellt, zu dem Gehirnoperationsfeld (17), in dem zum Erkennen von Gehirngewebe darstellenden Bildbereichen ein Algorithmus des maschinellen Lernens Verwendung findet, der zum Erkennen von Gehirngewebe darstellenden Bildbereichen trainiert worden ist, nicht aber zum Erkennen von das Gehirnoperationsumfeld (18) darstellenden Bildinhalten und der die erkannten Bildbereiche dem Gehirnoperationsfeld (17) zuordnet.
  2. Computerimplementiertes Verfahren nach Anspruch 1, in dem der Algorithmus des maschinellen Lernens das aufgenommene Bild in eine Anzahl Kacheln (19) unterteilt, die Kacheln je nachdem, ob er Gehirngewebe erkennt oder nicht, jeweils in eine Gehirngewebe darstellende Klasse oder eine kein Gehirngewebe darstellende Klasse eingruppiert und die Kacheln (19) der Gehirngewebe darstellenden Klasse dem Gehirnoperationsfeld (17) zuordnet, die Kacheln (19) der kein Gehirngewebe darstellenden Klasse dagegen nicht, wobei der Algorithmus des maschinellen Lernens mit Trainingsdatensätzen trainiert worden ist, die Gehirngewebe darstellende Kacheln (19) enthalten, nicht aber das Umfeld des Gehirnoperationsfeldes darstelle Kacheln (19).
  3. Computerimplementiertes Verfahren nach Anspruch 2, in dem Kacheln (19), die der Gehirngewebe darstellenden Klasse zugeordnet sind, einem Region-Growing-Verfahren oder einem Watershed-Verfahren unterzogen werden.
  4. Computerimplementiertes Verfahren nach Anspruch 3, in dem der Algorithmus des maschinellen Lernens Kacheln (19'), welche der Gehirngewebe darstellenden Klasse zugeordnet sind, in kleinere Kacheln unterteilt, die wiederum jeweils der Gehirngewebe darstellenden Klasse oder der kein Gehirngewebe darstellenden Klasse zugeordnet werden.
  5. Computerimplementiertes Verfahren nach einem der Ansprüche 2 bis 4, in dem ein zweiter Algorithmus des maschinellen Lernens Verwendung findet, der mit Trainingsdatensätzen trainiert worden ist, die eine vorgegebene Ursache für eine Nicht-Erkennbarkeit von Gehirngewebe darstellende Kacheln enthalten, um ein Erkennen der vorgegebene Ursache zu ermöglichen, und der - auf diejenigen Kacheln angewendet wird, welche der kein Gehirngewebe darstellenden Klasse zugeordnet sind, - diejenigen Kacheln, die der kein Gehirngewebe darstellenden Klasse zugeordnet sind und in denen der zweite Algorithmus des maschinellen Lernens die vorgegebene Ursache erkennt, in eine die vorgegebene Ursache darstellende Klasse umgruppiert, und - die umgruppierten Kacheln dem Gehirnoperationsfeld (17) zuordnet.
  6. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, in dem das digitale Bild ein Einzelbild eines Videos ist und das Zuordnen von Bildbereichen eines digitalen Bildes für weitere, auf das Einzelbild folgende Einzelbilder des Videos ebenfalls erfolgt
  7. Computerimplementiertes Verfahren zum Ermitteln wenigstens eines Zustandes, der für eine intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen (15) in einem Gehirnoperationsfeld (17) relevant ist, anhand eines das Gehirnoperationsfeld (17) und das Gehirnoperationsumfeld (18) zeigenden aufgenommenen Bildes, in dem vor dem Ermitteln des wenigstens einen Zustandes mit Hilfe des computerimplementierten Verfahrens nach einem der Ansprüche 1 bis 6 die das Gehirnoperationsfeld (17) darstellenden Bildbereiche des aufgenommenen Bildes ermittelt werden und zum Ermitteln des wenigstens einen Zustandes nur diejenigen Bildbereiche des aufgenommenen Bildes herangezogen werden, die das Gehirnoperationsfeld (17) darstellen.
  8. Verfahren zum Vorbereiten eines Mikroskops (11), welches eine Kamera (3) zum Aufnehmen eines ein Gehirnoperationsfeld (17) und ein Gehirnoperationsumfeld (18) zeigenden Bildes umfasst, für eine intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen (15) in dem Gehirnoperationsfeld (17) anhand eines aufgenommenen Bildes, in dem - mit Hilfe des Verfahrens nach Anspruch 7 wenigstens ein Zustand, der für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen (15) in einem Gehirnoperationsfeld (17) relevant ist, ermittelt wird.
  9. Verfahren nach Anspruch 8, in dem eine Abweichung des wenigstens einen ermittelten Zustandes von dem entsprechenden für die intraoperative optische Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen (15) geeigneten Zustand ermittelt wird und die ermittelte Abweichung auf einem Display (5) angezeigt wird.
  10. Verfahren nach Anspruch 8 oder Anspruch 9, in dem als Zustand auch ein Parameterwert für wenigstens einen Geräteparameter des Mikroskops (11) ermittelt wird und eine automatisierte Einstellung des Parameterwerts für den wenigstens einen Geräteparameter erfolgt, indem - eine Abweichung des ermittelten Parameterwerts von einem für die intraoperative optische Lokalisierung geeigneten Parameterwert ermittelt wird und - die automatisierte Einstellung des für die intraoperative optische Lokalisierung geeigneten Parameterwerts für den wenigstens einen Geräteparameter des Mikroskops mit Hilfe eines Steuer- oder Regelverfahrens auf der Basis des ermittelten Parameterwerts und der ermittelten Abweichung erfolgt.
  11. Mikroskop (11) mit einer Kamera (3) zum Aufnehmen eines ein Gehirnoperationsfeld (17) sowie ein Gehirnoperationsumfeld (18) zeigenden Bildes und mit einer Vorrichtung (7) zur intraoperativen optischen Lokalisierung von mit einer Gehirnfunktion verbundenen Gehirngewebearealen (15) in einem Gehirnoperationsfeld (17) anhand des aufgenommenen Bildes, wobei die Vorrichtung (7) zur intraoperative optische Lokalisierung dazu ausgebildet ist, das Verfahren nach einem der Ansprüche 8 bis 10 auszuführen.
  12. Computerprogramm, umfassend Instruktionen, die, wenn sie auf einem Computer ausgeführt werden, den Computer dazu veranlassen, die Schritte des computerimplementierten Verfahrens nach einem der Ansprüche 1 bis 7 auszuführen.
  13. Datenverarbeitungssystem mit einem Prozessor und wenigstens einem Speicher, wobei der Prozessor dazu ausgestaltet ist, basierend auf Instruktionen eines im Speicher gespeicherten Computerprogramms nach Anspruch 12 die Schritte des computerimplementierten Verfahrens nach einem der Ansprüche 1 bis 7 auszuführen.
  14. Nichtflüchtiges computerlesbares Speichermedium mit darauf gespeicherten Instruktionen, die, wenn sie auf einem Computer ausgeführt werden, den Computer dazu veranlassen, die Schritte des computerimplementierten Verfahrens nach einem der Ansprüche 1 bis 7 auszuführen.
DE102019125419.1A 2019-09-20 2019-09-20 Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes Pending DE102019125419A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019125419.1A DE102019125419A1 (de) 2019-09-20 2019-09-20 Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019125419.1A DE102019125419A1 (de) 2019-09-20 2019-09-20 Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes

Publications (1)

Publication Number Publication Date
DE102019125419A1 true DE102019125419A1 (de) 2021-03-25

Family

ID=74846647

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019125419.1A Pending DE102019125419A1 (de) 2019-09-20 2019-09-20 Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes

Country Status (1)

Country Link
DE (1) DE102019125419A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117242388A (zh) * 2021-04-22 2023-12-15 卡尔蔡司医疗技术股份公司 用于操作手术显微镜的方法以及手术显微镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009018633A1 (de) * 2009-04-17 2010-10-21 Technische Universität Dresden Verfahren und Einrichtung zur intraoperativen Bildgebung von Gehirnarealen
US20140303478A1 (en) * 2013-04-03 2014-10-09 Siemens Schweiz Ag Atlas-free brain tissue segmentation method using a single t1-weighted mri acquisition
WO2017087415A1 (en) * 2015-11-17 2017-05-26 The Board Of Trustees Of The Leland Stanford Junior University Profiling of pathology images for clinical applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009018633A1 (de) * 2009-04-17 2010-10-21 Technische Universität Dresden Verfahren und Einrichtung zur intraoperativen Bildgebung von Gehirnarealen
US20140303478A1 (en) * 2013-04-03 2014-10-09 Siemens Schweiz Ag Atlas-free brain tissue segmentation method using a single t1-weighted mri acquisition
WO2017087415A1 (en) * 2015-11-17 2017-05-26 The Board Of Trustees Of The Leland Stanford Junior University Profiling of pathology images for clinical applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117242388A (zh) * 2021-04-22 2023-12-15 卡尔蔡司医疗技术股份公司 用于操作手术显微镜的方法以及手术显微镜

Similar Documents

Publication Publication Date Title
DE10304267B4 (de) Augenchirurgie-Mikroskopiesystem
DE102014016850B9 (de) Optisches System zur Fluoreszenzbeobachtung
DE10151314A1 (de) Ophthalmologisches Untersuchungsgerät
DE102014207130A1 (de) Operationsmikroskop
WO2011020471A1 (de) Bildverarbeitungssystem mit einer zusätzlichen zusammen mit der bildinformation zu verarbeitenden massstabsinformation
EP2582284B1 (de) Verfahren und vorrichtung zur bestimmung der augenposition
DE102017108371B4 (de) Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE10290005B4 (de) Vorrichtung und Verfahren zur Bildgebung, Stimulierung, Messung und Therapie insbesondere am Auge
DE3422144A1 (de) Geraet zur darstellung flaechenhafter bereiche des menschlichen auges
DE112010003275T5 (de) Tomographievorrichtung, zugehöriges steuerverfahren,programm und speichermedium
DE10027204B4 (de) Stereoskopmikroskop
EP2950130A1 (de) Mikroskop-system mit tiefenvorschau
DE102018106651A1 (de) Visualisierungssystem und Verfahren zum Erzeugen von holographischen Darstellungen aus optischen Signalen
WO2021219473A1 (de) Medizinisch optisches system, datenverarbeitungssystem, computerprogramm und nichtflüchtiges computerlesbares speichermedium
DE102014114013B4 (de) Medizinisch optisches Beobachtungsgerät und Verfahren zur Kontrastierung von polarisationsdrehendem Gewebe
DE102014216511A1 (de) Erstellen von Kapitelstrukturen für Videodaten mit Bildern aus einem Operationsmikroskop-Objektbereich
DE102016117263B4 (de) Optisches Beobachtungsgerätsystem
DE102015100765A1 (de) Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
DE112015006271T5 (de) Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
DE102019125419A1 (de) Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes
DE102007017611A1 (de) Verfahren und System zur Augenvermessung
DE102011053250A1 (de) Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät
DE102020102476B4 (de) Methode zum Kennzeichnen eines Bereiches eines Tumors
DE102018123781B4 (de) Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem
DE102019125407A1 (de) Verfahren und Vorrichtung zum Lokalisieren von Gehirngewebearealen, die mit einer Gehirnfunktion verbunden sind

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication