DE102015208804A1 - Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen - Google Patents

Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen Download PDF

Info

Publication number
DE102015208804A1
DE102015208804A1 DE102015208804.9A DE102015208804A DE102015208804A1 DE 102015208804 A1 DE102015208804 A1 DE 102015208804A1 DE 102015208804 A DE102015208804 A DE 102015208804A DE 102015208804 A1 DE102015208804 A1 DE 102015208804A1
Authority
DE
Germany
Prior art keywords
bms
structural model
anatomical region
module
biomechanical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015208804.9A
Other languages
English (en)
Inventor
Oliver Ecabert
Tommaso Mansi
Ingmar Voigt
Klaus Engel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to DE102015208804.9A priority Critical patent/DE102015208804A1/de
Priority to KR1020160057015A priority patent/KR102536732B1/ko
Priority to US15/150,607 priority patent/US10172676B2/en
Priority to CN201610313194.XA priority patent/CN106156398A/zh
Publication of DE102015208804A1 publication Critical patent/DE102015208804A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mathematical Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)

Abstract

Erfindungsgemäß ist eine erste Schnittstelle (I1) zum Einlesen von mittels eines medizinischen Bildgebungsverfahrens gewonnenen Bilddaten (IMG) einer anatomischen Region (AR) vorgesehen. Ein Modellierungsmodul (MM) dient zum Ermitteln eines volumetrischen biomechanischen Strukturmodells (BMS) der anatomischen Region (AR) anhand der Bilddaten (IMG). Darüber hinaus ist ein mit einer Kamera (C) koppelbares Trackingmodul (TM) zum videobasierten Erfassen von räumlichen Gesten eines Benutzers vorgesehen. Weiterhin dient ein auf dem biomechanischen Strukturmodell (BMS) basierendes Simulationsmodul (SM) dazu, eine erfasste Geste einer simulierten mechanischen Einwirkung auf die anatomische Region (AR) zuzuordnen, eine mechanische Reaktion der anatomischen Region (AR) auf die simulierte mechanische Einwirkung zu simulieren sowie das biomechanische Strukturmodell (BMS) gemäß der simulierten mechanischen Reaktion zu modifizieren. Darüber hinaus ist ein Visualisierungsmodul (VM) zum volumetrischen Visualisieren des biomechanischen Strukturmodells (BMS) vorgesehen.

Description

  • In der klinischen Praxis werden chirurgische Eingriffe in der Regel anhand von medizinischen Bildaufnahmen in Kombination mit Empfehlungen aus klinischen Leitlinien geplant. Wesentlichen Anteil an der Planung sowie am Erfolg eines Eingriffs hat indes die Erfahrung des oder der ausführenden Chirurgen. Viele Eingriffe, wie z.B. Herzklappenreparaturen erfordern im besonderen Maße gute Planung, Erfahrung und chirurgisches Geschick. Es ist daher erstrebenswert, den Chirurgen bei der Planung und beim Training von Eingriffen bestmöglich zu unterstützen.
  • Es ist bekannt, zur Planung von chirurgischen Eingriffen Entscheidungsunterstützungssysteme einzusetzen, die auf einer Simulation von physiologischen Strukturen und Funktionen, wie z.B. einer Herzklappe, mittels eines biomechanischen Modells basieren. Derartige biomechanische Simulationen von Herzklappen sind beispielsweise aus den Dokumenten US 2010/0240996 A1 und US 2012/0232386 A1 bekannt. Durch derartige Simulationen kann eine Wirkung eines chirurgischen Eingriffs abgeschätzt und zur Planung des Eingriffs genutzt werden. Eine Nutzung derartiger Simulationswerkzeuge erfordert jedoch aufgrund ihrer Komplexität in der Regel eine aufwendige Einarbeitung.
  • Weiterhin ist z.B. von der Webseite http://www.surgevry.com der Fa. Surgevry bekannt, zum Training von chirurgischen Eingriffen einen realen chirurgischen Eingriff mit einer am Kopf des Chirurgen befestigten Kamera aufzunehmen und den resultierenden Videostrom zu Beobachtern zu übertragen, die den Eingriff somit aus der Sicht des ausführenden Chirurgen verfolgen können. Dies erlaubt den Beobachtern jedoch nur ein passives Training des Eingriffs.
  • Es ist Aufgabe der vorliegenden Erfindung eine Vorrichtung und ein Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen anzugeben, die eine bessere Unterstützung des Chirurgen erlauben.
  • Gelöst wird diese Aufgabe durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1, durch ein Verfahren mit den Merkmalen des Patentanspruchs 12, durch ein Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 13, sowie durch ein computerlesbares Speichermedium mit den Merkmalen des Patentanspruchs 14.
  • Bei der erfindungsgemäßen Vorrichtung zum rechnergestützten Simulieren von chirurgischen Eingriffen ist eine erste Schnittstelle zum Einlesen von mittels eines medizinischen Bildgebungsverfahrens gewonnenen Bilddaten einer anatomischen Region vorgesehen. Die Bilddaten können hierbei z.B. aus sonografischen, radiologischen, angiografischen oder tomografischen Bildaufnahmen stammen. Die anatomische Region kann z.B. ein Organ, eine Organregion oder eine andere Gewebe- oder Körperstruktur sein. Ein Modellierungsmodul dient zum Ermitteln eines volumetrischen biomechanischen Strukturmodells der anatomischen Region anhand der Bilddaten. Darüber hinaus ist ein mit einer Kamera koppelbares Trackingmodul zum videobasierten Erfassen von räumlichen Gesten eines Benutzers vorgesehen. Weiterhin dient ein Simulationsmodul zum Zuordnen einer jeweiligen erfassten Geste zu einer simulierten mechanischen Einwirkung auf die anatomische Region anhand des biomechanischen Strukturmodells, zum Simulieren einer mechanischen Reaktion der anatomischen Region auf die simulierte mechanische Einwirkung anhand des biomechanischen Strukturmodells sowie zum Modifizieren des biomechanischen Strukturmodells gemäß der simulierten mechanischen Reaktion. Darüber hinaus ist ein Visualisierungsmodul zum volumetrischen Visualisieren des biomechanischen Strukturmodells vorgesehen. Vorzugsweise visualisiert das Visualisierungsmodul insbesondere die mechanische Reaktion der anatomischen Region und/oder das modifizierte biomechanische Strukturmodell.
  • Die durch die vorstehend beschriebene Vorrichtung auszuführenden Verfahrensschritte sind Gegenstand des erfindungsgemäßen Verfahrens zum rechnergestützten Simulieren von chirurgischen Eingriffen.
  • Ein wesentlicher Vorteil der Erfindung ist darin zu sehen, dass ein Benutzer, z.B. ein Chirurg, einen chirurgischen Eingriff sowohl hinsichtlich seiner manuellen Ausführung als auch hinsichtlich seiner Visualisierung verhältnismäßig realistisch simulieren kann. Insbesondere kann er im Wesentlichen gleiche Manipulationen am biomechanischen Strukturmodell vornehmen wie bei einem realen Eingriff. Auf diese Weise kann der Chirurg verschiedene therapeutische Optionen testen und so eine optimale Verfahrensweise ermitteln. Somit erlaubt es die Erfindung, einen Chirurgen sowohl bei der Planung als auch beim Training von Eingriffen auf intuitive Weise zu unterstützen.
  • Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
  • Nach einer vorteilhaften Ausführungsform der Erfindung kann das Trackingmodul dazu eingerichtet sein, mit einem chirurgischen Instrument, z.B. einem Skalpell ausgeführte Gesten des Benutzers zu erfassen. Insbesondere können Bewegungen eines oder mehrerer spezifischer Teile des chirurgischen Instruments, beispielsweise von einer Schneide und/oder einem Griff eines Skalpells, erfasst werden. Dies ist insofern vorteilhaft als der Benutzer das chirurgische Instrument im Rahmen der Simulation so handhaben kann wie bei einem realen Eingriff.
  • Weiterhin kann eine haptische Schnittstelle zur haptischen Ausgabe der simulierten mechanischen Reaktion an den Benutzer vorgesehen sein. Dies erlaubt eine für den Benutzer unmittelbar und realistisch wahrnehmbare Rückmeldung über die simulierte mechanische Reaktion der anatomischen Region auf die simulierte mechanische Einwirkung.
  • Nach einer vorteilhaften Weiterbildung der Erfindung kann das Simulationsmodul dazu eingerichtet sein, eine Wirkung eines chirurgischen Eingriffs auf eine anatomische Funktion der anatomischen Region anhand des biomechanischen Strukturmodells zu simulieren. Zur Darstellung der simulierten Wirkung kann hierbei eine Ausgabeschnittstelle vorgesehen sein. Auf diese Weise können Folgen eines Eingriffs vorhergesagt oder zumindest geschätzt werden. Der Benutzer kann dadurch verschiedene therapeutische Optionen testen und eine hinsichtlich der Folgen optimale Verfahrensweise ermitteln.
  • Vorteilhafterweise kann das biomechanische Strukturmodell patientenspezifisch sein. Dies erlaubt eine patientenspezifische Planung und ein patientenspezifisches Training eines Eingriffs.
  • Nach einer vorteilhaften Ausführungsform kann das biomechanische Strukturmodell ein Finite-Elemente-Modell umfassen. Zur effizienten Erstellung und Berechnung derartiger Finite-Elemente-Modelle können eine Vielzahl von verfügbaren, ausgereiften Softwarewerkzeugen genutzt werden.
  • Darüber hinaus kann das Modellierungsmodul dazu eingerichtet sein, das biomechanische Strukturmodell anhand von fortlaufend eingelesenen Bilddaten dynamisch zu adaptieren.
  • Weiterhin kann die erste Schnittstelle dazu eingerichtet sein, die Bilddaten zeitaufgelöst einzulesen. Das Modellierungsmodul kann dementsprechend dazu eingerichtet sein, anhand der zeitaufgelösten Bilddaten eine Bewegungsdynamik einer Substruktur der anatomischen Region zu erkennen sowie anhand der erkannten Bewegungsdynamik eine physikalische Eigenschaft der Substruktur abzuleiten und im biomechanischen Strukturmodell abzubilden. Auf diese Weise kann eine verhältnismäßig genaue physikalische Simulation der anatomischen Region und ihrer mechanischen Reaktionen auf mechanische Einwirkungen erzielt werden.
  • Insbesondere kann das Modellierungsmodul ein Modul zum maschinellen Lernen umfassen, das zum Erkennen der Bewegungsdynamik der Substruktur, zum Ableiten der physikalischen Eigenschaft der Substruktur und/oder zum Abbilden der physikalischen Eigenschaft im biomechanischen Strukturmodell eingerichtet ist. Ein solches Modul zum maschinellen Lernen kann z.B. ein künstliches neuronales Netz und/oder einen sog. Probabilistic Boosting Tree umfassen.
  • Darüber hinaus kann das Visualisierungsmodul als ein immersives System zum Darstellen virtueller und/oder erweiterter Realität ausgestaltet sein. Alternativ oder zusätzlich kann das Visualisierungsmodul auch als holografisches und/oder stereografisches Visualisierungssystem ausgestaltet sein. Ein derartiges Visualisierungsmodul steigert einen Realitätseindruck des Benutzers im Rahmen der Simulation.
  • Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnung näher erläutert. Dabei zeigen jeweils in schematischer Darstellung
  • 1 eine erfindungsgemäße Simulationsvorrichtung,
  • 2 ein Ablaufdiagramm zur Veranschaulichung von Abläufen eines erfindungsgemäßen Verfahrens und
  • 3 eine Visualisierung einer virtuellen Interaktion mit einer anatomischen Region.
  • In 1 ist eine erfindungsgemäße Simulationsvorrichtung SIMS zum Simulieren von chirurgischen Eingriffen schematisch dargestellt. Die Simulationsvorrichtung SIMS verfügt über einen Prozessor PROC und/oder eine oder mehrere andere Recheneinrichtungen zum Ausführen des erfindungsgemäßen Verfahrens. An die Simulationsvorrichtung SIMS ist über eine erste Schnittstelle I1 eine medizinische Bildaufnahmeeinrichtung US angekoppelt. Die Bildaufnahmeeinrichtung US kann z.B. eine Ultraschallaufnahmeeinrichtung, eine Röntgenröhre, ein Magnetresonanztomograph oder eine andere medizinische Aufnahmeeinrichtung sein, die Bildaufnahmen von anatomischen Regionen, z.B. Organen, Organregionen oder anderen Körper- und/oder Gewebestrukturen liefert. Die Bildaufnahmeeinrichtung US ist dazu eingerichtet, zeitaufgelöste, vorzugsweise volumetrische Bildaufnahmen einer jeweiligen anatomischen Region fortlaufend aufzunehmen und als zeitaufgelöste, vorzugsweise volumetrische Bilddaten IMG fortlaufend über die erste Schnittstelle I1 an die Simulationsvorrichtung SIMS zu übermitteln.
  • Für das vorliegende Ausführungsbeispiel sei angenommen, dass als anatomische Region AR eine Herzklappe in ihrer anatomischen Umgebung und/oder ihrem anatomischen Funktionskontext durch die Bildaufnahmeeinrichtung US aufgenommen wird. Die Bilddaten IMG der anatomischen Region AR, d.h. der Herzklappe, werden hierbei z.B. als Videodatenstrom von der Bildaufnahmeeinrichtung US zu einem Modellierungsmodul MM der Simulationseinrichtung SIMS übermittelt.
  • Das Modellierungsmodul MM dient zum Ermitteln eines volumetrischen biomechanischen Strukturmodells BMS der anatomischen Region AR anhand der Bilddaten IMG. Insofern das biomechanische Strukturmodell BMS anhand der Bilddaten IMG der anatomischen Region AR eines Patienten ermittelt wird, ist das biomechanische Strukturmodell BMS patientenspezifisch. Das biomechanische Strukturmodell BMS umfasst vorzugsweise ein Finite-Elemente-Modell.
  • Zum Ermitteln des biomechanischen Strukturmodells BMS werden durch das Modellierungsmodul MM die zeitaufgelösten Bilddaten IMG analysiert. Hierbei werden eine oder mehrere Substrukturen der anatomischen Region AR, z.B. mittels bekannter Mustererkennungsverfahren erkannt und eine Bewegungsdynamik dieser Substrukturen ermittelt. Anhand der erkannten Bewegungsdynamik wird das biomechanische Strukturmodell BMS oder ein ggf. zugrundeliegendes Finite-Elemente-Modell, z.B. mittels eines numerischen Optimierungsverfahrens solange modifiziert, bis es die erkannte Bewegungsdynamik reproduziert. Alternativ oder zusätzlich können Parameter des biomechanischen Strukturmodells BMS anhand lernbasierter Regressionsverfahrens aus der erkannten Bewegungsdynamik geschätzt werden, wobei während einer Lernphase ein numerisches Optimierungsverfahren genutzt wird. Damit können anhand der erkannten Bewegungsdynamik physikalische Eigenschaften der Substrukturen abgeleitet werden und im biomechanischen Strukturmodell BMS abgebildet werden. Die Bewegungsdynamik kann hierbei insbesondere auch durch Nutzung des Dopplereffekts, z.B. durch ein Doppler-Ultraschallgerät ermittelt werden, indem auf diese Weise z.B. ein Blutfluss gemessen wird. Als physikalische Eigenschaften der Substrukturen können z.B. deren Elastizität, Steifigkeit, Dichte oder andere Gewebeparameter ermittelt werden. Vorzugsweise wird das biomechanische Strukturmodell BMS durch das Modellierungsmodul MM fortlaufend anhand der eingelesenen Bilddaten IMG dynamisch adaptiert.
  • Das Modellierungsmodell MM umfasst im vorliegenden Ausführungsbeispiel ein Modul zum maschinellen Lernen ML zum Erkennen der Bewegungsdynamik der Substrukturen, zum Ableiten der physikalischen Eigenschaften der Substrukturen und/oder zum Abbilden der physikalischen Eigenschaften im biomechanischen Strukturmodell BMS. Das maschinelle Lernen kann hierbei insbesondere auf einen Vergleich der erkannten Substrukturen der anatomischen Region AR mit einer Vielzahl von bekannten anatomischen Strukturen, deren Bewegungsdynamiken und/oder deren physikalischen Eigenschaften gestützt werden. Zu diesem Zweck kann das Modellierungsmodul MM mit einer Datenbank (nicht dargestellt), in der die Vielzahl von bekannten Strukturen nebst ihren Bewegungsdynamiken und bekannten physikalischen Eigenschaften gespeichert sind, gekoppelt werden und sie während einer Lernphase verwenden. Die in der Datenbank gespeicherten physikalischen Eigenschaften können anhand des biomechanischen Strukturmodell BMS mittels eines Optimierungsverfahrens näherungsweise ermittelt werden werden.
  • Über eine zweite Schnittstelle I2 der Simulationsvorrichtung SIMS ist eine Kamera C angeschlossen. Die Kamera C dient zum videobasierten Aufnehmen von räumlichen Gesten eines Benutzers, z.B. eines Chirurgen. Als Gesten werden vorzugsweise mit einem chirurgischen Instrument, z.B. einem Skalpell S ausgeführte Bewegungen einer Hand H des Chirurgen in einem vorgegebenen oder einstellbaren Raumbereich aufgenommen. Ein resultierender Videodatenstrom wird einem Trackingmodul TM der Simulationsvorrichtung SIMS zugeführt und von diesem ausgewertet. Durch das Trackingmodul TM werden die mit der Hand H und dem Skalpell S ausgeführten Gesten erkannt und parametrisiert. Insbesondere werden hierbei die Bewegungen des chirurgischen Instruments, d.h. hier des Skalpells S und/oder von dessen funktionalen Einheiten oder Teilen wie z.B. von dessen Schneide und/oder Griff, erfasst und verfolgt. Die erfassten Gesten und Bewegungen des chirurgischen Instruments S werden durch das Trackingmodul TM durch eine Trackinginformation TI dargestellt.
  • Die Trackinginformation TI umfasst beispielsweise Ort, Orientierung, Bewegung, Bewegungsrichtung, Geschwindigkeit und/oder Drehung der Hand H und des Skalpells S, vorzugsweise jeweils für eine Vielzahl von spezifischen Stellen des Skalpells S, z.B. für dessen Schneide und/oder Griff sowie für spezifische Stellen der Hand H, z.B. für verschiedene Finger, Fingerglieder, Fingergelenke und/oder Fingerspitzen.
  • Die Simulationsvorrichtung SIMS verfügt weiterhin über ein Simulationsmodul SM zum Simulieren der anatomischen Region AR anhand des biomechanischen Strukturmodells BMS. Letzteres wird vom Modellierungsmodul MM zum Simulationsmodul SM übermittelt. Weiterhin wird die Trackinginformation TI vom Trackingmodul TM zum Simulationsmodul SM übermittelt. Anhand der übermittelten Trackinginformation TI ordnet das Simulationsmodul SM einer jeweiligen erfassten Geste bzw. einer jeweiligen Bewegung der Hand H und/oder des Skalpells S eine anhand des biomechanischen Strukturmodells BMS simulierte mechanische Einwirkung auf die anatomische Region AR zu. So kann z.B. eine Bewegung einer Fingerspitze der Hand H in einer spezifischen Richtung einer mechanischen Druckeinwirkung auf eine spezifisch zugeordnete Stelle der anatomischen Region AR zugeordnet werden. Entsprechend kann eine erfasste Bewegung der Schneide des Skalpells S einem simulierten Schnitt an einer spezifischen Stelle der anatomischen Region AR zugeordnet werden.
  • Anhand des biomechanischen Strukturmodells BMS simuliert das Simulationsmodul SM eine mechanische Reaktion der anatomischen Region AR auf die simulierte mechanische Einwirkung. Hierbei werden insbesondere auftretende Kräfte und Verformungen sowie reversible Veränderungen, z.B. elastische Verformungen und irreversible Veränderungen, z.B. ein Gewebeschnitt, eine Naht und/oder eine Implantation, dynamisch simuliert. Gemäß der simulierten mechanischen Reaktion wird das biomechanische Strukturmodell durch das Simulationsmodul SM modifiziert. So werden z.B. bei einem irreversiblen virtuellen Gewebeschnitt durch den Gewebeschnitt voneinander getrennte Gewebeteile im biomechanischen Strukturmodell BMS voneinander virtuell getrennt, so dass die getrennten Schnittflächen in der Simulation aufeinander keine Zugkräfte und nur noch reibungsbasierte Scherkräfte ausüben können. Das modifizierte biomechanische Strukturmodell ist in 1 mit MBMS bezeichnet. Letzteres wird durch das Simulationsmodul SM durch die fortlaufend erfassten Gesten des Chirurgen und der daraus abgeleiteten mechanischen Reaktionen der anatomischen Region AR fortlaufend modifiziert und gewissermaßen einem virtuellen Operationsverlauf nachgeführt.
  • Darüber hinaus simuliert das Simulationsmodul SM eine oder mehrere Wirkungen eines virtuellen chirurgischen Eingriffs auf eine anatomische Funktion der anatomischen Region AR anhand des modifizierten biomechanischen Strukturmodells MBMS. Auf diese Weise können ein Erfolg oder Folgen des Eingriffs vorhergesagt oder zumindest geschätzt werden. Eine solche Vorhersage kann insbesondere durch Vergleich des modifizierten biomechanischen Strukturmodells MBMS mit einer Vielzahl von in einer Datenbank gespeicherten, bekannten Fällen erfolgen. Zu diesem Zweck kann vorzugsweise das Modul zum maschinellen Lernen ML oder ein weiteres Modul zum maschinellen Lernen genutzt werden.
  • Die Simulationsvorrichtung SIMS verfügt weiterhin über ein Visualisierungsmodul VM zum volumetrischen Visualisieren des biomechanischen Strukturmodells BMS und/oder des modifizierten biomechanischen Strukturmodells MBMS. Zu diesem Zweck wird im vorliegenden Ausführungsbeispiel das modifizierte biomechanische Strukturmodell MBMS zumindest teilweise vom Simulationsmodul SM zum Visualisierungsmodul VM übermittelt. Letzteres errechnet eine volumetrische Visualisierung des modifizierten biomechanischen Strukturmodells MBMS und gibt volumetrische Visualisierungsdaten VIS an ein Bildschirmterminal T aus. Das Bildschirmterminal T ist über eine dritte Schnittstelle I3 an die Simulationsvorrichtung SIMS angekoppelt. Das Visualisierungsmodul VM visualisiert insbesondere die mechanischen Reaktionen der anatomischen Region AR auf die simulierten mechanischen Einwirkungen. Auf diese Weise kann der Benutzer unmittelbar erkennen, welche simulierten Auswirkungen seine im Zusammenhang mit dem simulierten chirurgischen Eingriff ausgeführten Gesten auf die anatomische Region AR haben.
  • Als Bildschirmterminal T kann vorzugsweise ein immersives System zum Darstellen virtueller und/oder erweiterter Realität verwendet werden. Alternativ oder zusätzlich kann ein holographisches und/oder stereographisches Visualisierungssystem eingesetzt werden. Darüber hinaus kann die dritte Schnittstelle I3 als Ausgabeschnittstelle zur Darstellung der simulierten Wirkung des virtuellen Eingriffs am Bildschirmterminal T dienen.
  • Zusätzlich kann die Simulationsvorrichtung SIMS eine haptische Schnittstelle (nicht dargestellt) aufweisen, zur haptischen Ausgabe der simulierten mechanischen Reaktion an den Benutzer. Eine solche haptische Ausgabe kann beispielsweise mittels eines sog. Robothandschuhs oder aktiven Handschuhs erfolgen.
  • 2 zeigt ein Ablaufdiagramm zur Veranschaulichung von Abläufen eines erfindungsgemäßen Verfahrens in schematischer Darstellung. Im Rahmen des erfindungsgemäßen Verfahrens werden zunächst die Bilddaten IMG der anatomischen Region AR aufgenommen und erfasst. Anhand der erfassten Bilddaten IMG wird das biomechanische Strukturmodell BMS z.B. durch Schätzung ermittelt. Mittels des biomechanischen Strukturmodells BMS kann dann eine physikalische Simulation der anatomischen Region AR durchgeführt werden. Eine Therapiesimulation, z.B. durch Simulation eines chirurgischen Eingriffs, kann dann auf die physikalische Simulation der anatomischen Region AR zurückgreifen, um die Wirkung der Therapie bzw. des chirurgischen Eingriffs vorherzusagen.
  • 3 veranschaulicht eine Visualisierung einer virtuellen Interaktion eines Benutzers der Simulationsvorrichtung SIMS mit einer anatomischen Region AR. Die Visualisierung umfasst eine Visualisierung VAR der anatomischen Region AR sowie eine Visualisierung VH von durch das Trackingmodul TM erfassten Händen bzw. deren Gesten. Hierbei werden erfasste Positionen und Orientierungen einer Vielzahl von Fingergliedern virtuellen Positionen und Orientierungen der Visualisierung VH in der Visualisierung VAR zugeordnet. Die Zuordnung der Positionen und Orientierungen der Fingerglieder zu Positionen in der Visualisierung VAR erfolgt anhand des biomechanischen Strukturmodells BMS der anatomischen Region AR.
  • Durch die Erfindung werden vorzugsweise in vivo, z.B. mittels Echokardiographie gewonnene Bilddaten IMG dazu genutzt, eine Darstellung der anatomischen Region AR im Computer zu erzeugen. Eine geometrische Konfiguration sowie andere Parameter dieser Darstellung werden vorzugsweise in ein Finite-Elemente-Modell umgesetzt, mittels dessen ein physiologisches und/oder physikalisches Verhalten der anatomischen Region AR dynamisch simuliert wird. Parameter des biomechanischen Strukturmodells BMS werden patientenspezifisch anhand der aus den Bilddaten IMG ableitbaren Bewegungsdynamik oder des Bewegungsflusses in der anatomischen Region AR ermittelt bzw. geschätzt.
  • Während einer Planungsphase für einen chirurgischen Eingriff kann der Chirurg unterschiedliche Vorgehensweisen mittels der Simulationsvorrichtung SIMS testen und ihre jeweilige Wirkung auf die anatomische Funktion der anatomischen Region AR simulieren und abschätzen. Durch die Einbeziehung und das Tracking von realen, in natürlicher Weise gehandhabten chirurgischen Instrumenten und durch die Verwendung vorzugsweise immersiver Visualisierungstechniken kann ein wahrgenommener Realismus der Simulation erheblich gesteigert werden. Die Verwendung eines solchen immersiven Simulationssystems ermöglicht dem Chirurgen die gleichen Manipulationen virtuell am biomechanischen Strukturmodell BMS vorzunehmen, die er bei einem tatsächlichen Eingriff ausführen würde. Auf diese Weise kann der Chirurg verschiedene therapeutische Optionen testen und/oder kombinieren, um so eine optimale Vorgehensweise zu ermitteln, bevor ein tatsächlicher Eingriff erfolgt. Neben einer verbesserten Planung von chirurgischen Eingriffen erlaubt die Erfindung auch ein verbessertes Training von Chirurgen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2010/0240996 A1 [0002]
    • US 2012/0232386 A1 [0002]
  • Zitierte Nicht-Patentliteratur
    • http://www.surgevry.com [0003]

Claims (14)

  1. Vorrichtung (SIMS) zum rechnergestützten Simulieren von chirurgischen Eingriffen, mit a) einer ersten Schnittstelle (I1) zum Einlesen von mittels eines medizinischen Bildgebungsverfahrens gewonnenen Bilddaten (IMG) einer anatomischen Region (AR), b) einem Modellierungsmodul (MM) zum Ermitteln eines volumetrischen biomechanischen Strukturmodells (BMS) der anatomischen Region (AR) anhand der Bilddaten (IMG), c) einem mit einer Kamera (C) koppelbaren Trackingmodul (TM) zum videobasierten Erfassen von räumlichen Gesten eines Benutzers, d) einem Simulationsmodul (SM) – zum Zuordnen einer jeweiligen erfassten Geste zu einer simulierten mechanischen Einwirkung auf die anatomische Region (AR) anhand des biomechanischen Strukturmodells (BMS), – zum Simulieren einer mechanischen Reaktion der anatomischen Region (AR) auf die simulierte mechanische Einwirkung anhand des biomechanischen Strukturmodells (BMS) sowie – zum Modifizieren des biomechanischen Strukturmodells (BMS) gemäß der simulierten mechanischen Reaktion, und e) einem Visualisierungsmodul (VM) zum volumetrischen Visualisieren des biomechanischen Strukturmodells (BMS).
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Trackingmodul dazu eingerichtet ist, mit einem chirurgischen Instrument ausgeführte Gesten des Benutzers zu erfassen.
  3. Vorrichtung nach einem der vorhergehenden Ansprüche gekennzeichnet durch eine haptische Schnittstelle zur haptischen Ausgabe der simulierten mechanischen Reaktion an den Benutzer.
  4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Simulationsmodul (SM) dazu eingerichtet ist, eine Wirkung eines chirurgischen Eingriffs auf eine anatomische Funktion der anatomischen Region (AR) anhand des biomechanischen Strukturmodells (BMS) zu simulieren, und dass eine Ausgabeschnittstelle (I3) zur Darstellung der simulierten Wirkung vorgesehen ist.
  5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das biomechanische Strukturmodell (BMS) patientenspezifisch ist.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das biomechanische Strukturmodell (BMS) ein Finite-Elemente-Modell umfasst.
  7. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Modellierungsmodul (MM) dazu eingerichtet ist, das biomechanische Strukturmodell (BMS) anhand von fortlaufend eingelesenen Bilddaten (IMG) dynamisch zu adaptieren.
  8. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Schnittstelle (I1) dazu eingerichtet ist, die Bilddaten (IMG) zeitaufgelöst einzulesen, und dass das Modellierungsmodul (MM) dazu eingerichtet ist, anhand der zeitaufgelösten Bilddaten (IMG) eine Bewegungsdynamik einer Substruktur der anatomischen Region (AR) zu erkennen sowie anhand der erkannten Bewegungsdynamik eine physikalische Eigenschaft der Substruktur abzuleiten und im biomechanischen Strukturmodell (BMS) abzubilden.
  9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass das Modellierungsmodul (MM) ein Modul zum maschinellen Lernen (ML) umfasst, das zum Erkennen der Bewegungsdynamik der Substruktur, zum Ableiten der physikalischen Eigenschaft der Substruktur und/oder zum Abbilden der physikalischen Eigenschaft im biomechanischen Strukturmodell (BMS) eingerichtet ist.
  10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Visualisierungsmodul (VM) als ein immersives System zum Darstellen virtueller und/oder erweiterter Realität ausgestaltet ist.
  11. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Visualisierungsmodul (VM) als ein holografisches und/oder stereografisches Visualisierungssystem ausgestaltet ist.
  12. Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen, wobei a) mittels eines medizinischen Bildgebungsverfahrens gewonnene Bilddaten (IMG) einer anatomischen Region (AR) eingelesen werden, b) anhand der Bilddaten (IMG) ein volumetrisches biomechanisches Strukturmodell (BMS) der anatomischen Region (AR) ermittelt wird, c) räumliche Gesten eines Benutzers videobasiert erfasst werden, d) durch ein Simulationsmodul (SM) – eine jeweilige erfasste Geste einer simulierten mechanischen Einwirkung auf die anatomische Region (AR) anhand des biomechanischen Strukturmodells (BMS) zugeordnet wird, – eine mechanische Reaktion der anatomischen Region (AR) auf die simulierte mechanische Einwirkung anhand des biomechanischen Strukturmodells (BMS) simuliert wird, sowie – das biomechanische Strukturmodell (BMS) gemäß der simulierten mechanischen Reaktion modifiziert wird, und e) das biomechanische Strukturmodell (BMS) volumetrisch visualisiert wird.
  13. Computerprogrammprodukt eingerichtet zum Implementieren einer Vorrichtung nach einem der Ansprüche 1 bis 11 und/oder zum Ausführen eines Verfahrens nach Anspruch 12.
  14. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13.
DE102015208804.9A 2015-05-12 2015-05-12 Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen Pending DE102015208804A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102015208804.9A DE102015208804A1 (de) 2015-05-12 2015-05-12 Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen
KR1020160057015A KR102536732B1 (ko) 2015-05-12 2016-05-10 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
US15/150,607 US10172676B2 (en) 2015-05-12 2016-05-10 Device and method for the computer-assisted simulation of surgical interventions
CN201610313194.XA CN106156398A (zh) 2015-05-12 2016-05-12 用于计算机辅助地模拟外科手术的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015208804.9A DE102015208804A1 (de) 2015-05-12 2015-05-12 Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen

Publications (1)

Publication Number Publication Date
DE102015208804A1 true DE102015208804A1 (de) 2016-11-17

Family

ID=57208953

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015208804.9A Pending DE102015208804A1 (de) 2015-05-12 2015-05-12 Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen

Country Status (4)

Country Link
US (1) US10172676B2 (de)
KR (1) KR102536732B1 (de)
CN (1) CN106156398A (de)
DE (1) DE102015208804A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019123826A1 (de) * 2019-09-05 2021-03-11 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Erstellen eines Netzes zum Simulieren eines Objekts

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
IT201900000583A1 (it) * 2019-01-14 2020-07-14 Upsurgeon S R L Dispositivo di apprendimento medico basato sull'integrazione di realtà fisica e virtuale finalizzato allo studio e alla simulazione degli approcci chirurgici ai distretti anatomici
WO2020210972A1 (zh) * 2019-04-16 2020-10-22 孙永年 手术用穿戴式影像显示装置及手术资讯即时呈现系统
WO2023136616A1 (ko) * 2022-01-12 2023-07-20 (주)휴톰 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법
KR102500234B1 (ko) * 2022-07-25 2023-02-16 주식회사 안심엘피씨 Ar/vr 기반의 육류 발골 교육용 햅틱 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167253A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator
US20100240996A1 (en) 2009-03-18 2010-09-23 Razvan Ioan Ionasec Valve assessment from medical diagnostic imaging data
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
US20120232386A1 (en) 2011-03-09 2012-09-13 Siemens Corporation Valve treatment simulation from medical diagnostic imaging data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
WO2003096255A2 (en) * 2002-05-06 2003-11-20 The Johns Hopkins University Simulation system for medical procedures
SE0202864D0 (sv) * 2002-09-30 2002-09-30 Goeteborgs University Surgical Device and method for generating a virtual anatomic environment
US20050267353A1 (en) * 2004-02-04 2005-12-01 Joel Marquart Computer-assisted knee replacement apparatus and method
CN101320526B (zh) * 2008-07-11 2010-12-22 深圳先进技术研究院 一种手术预测和训练的设备及其方法
EP2524280A1 (de) * 2010-01-14 2012-11-21 BrainLAB AG Steuerung eines chirurgischen navigationssystems
AU2011239570A1 (en) * 2010-04-14 2012-11-01 Smith & Nephew, Inc. Systems and methods for patient- based computer assisted surgical procedures
EP2723270B1 (de) * 2011-06-27 2019-01-23 Board of Regents of the University of Nebraska Bordwerkzeug-verfolgungssystem für rechnerunterstützte chirurgie
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
CN102871686B (zh) * 2012-03-05 2015-08-19 杭州弘恩医疗科技有限公司 基于3d医学影像测定生理参数的装置和方法
US8548778B1 (en) * 2012-05-14 2013-10-01 Heartflow, Inc. Method and system for providing information from a patient-specific model of blood flow
CN103280144B (zh) * 2013-04-07 2015-06-17 浙江工业大学 一种模拟手术训练系统
CN103714322A (zh) * 2013-12-26 2014-04-09 四川虹欧显示器件有限公司 一种实时手势识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167253A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator
US20100240996A1 (en) 2009-03-18 2010-09-23 Razvan Ioan Ionasec Valve assessment from medical diagnostic imaging data
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
US20120232386A1 (en) 2011-03-09 2012-09-13 Siemens Corporation Valve treatment simulation from medical diagnostic imaging data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
http://www.surgevry.com

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019123826A1 (de) * 2019-09-05 2021-03-11 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Erstellen eines Netzes zum Simulieren eines Objekts

Also Published As

Publication number Publication date
KR20160133367A (ko) 2016-11-22
CN106156398A (zh) 2016-11-23
KR102536732B1 (ko) 2023-05-24
US10172676B2 (en) 2019-01-08
US20160331464A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
DE102015208804A1 (de) Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen
Ruikar et al. A systematic review on orthopedic simulators for psycho-motor skill and surgical procedure training
Kassahun et al. Surgical robotics beyond enhanced dexterity instrumentation: a survey of machine learning techniques and their role in intelligent and autonomous surgical actions
CN102662597B (zh) 编辑用于仿真的物理系统的模型的系统和方法
Alaraj et al. Virtual reality training in neurosurgery: review of current status and future applications
Basdogan et al. VR-based simulators for training in minimally invasive surgery
Pan et al. Virtual reality training and assessment in laparoscopic rectum surgery
WO2019204777A1 (en) Surgical simulator providing labeled data
DE112006003722B4 (de) Simulationssystem für chirurgische Eingriffe in der Human- und Veterinärmedizin
Rivas-Blanco et al. A review on deep learning in minimally invasive surgery
US11250726B2 (en) System for simulation of soft bodies
Jarc et al. Proctors exploit three-dimensional ghost tools during clinical-like training scenarios: a preliminary study
US11925418B2 (en) Methods for multi-modal bioimaging data integration and visualization
Chmarra et al. Retracting and seeking movements during laparoscopic goal-oriented movements. Is the shortest path length optimal?
Toussaint et al. From heterogeneous multisource traces to perceptual-gestural sequences: The PeTra treatment approach
Wei et al. FEM-based guide wire simulation and interaction for a minimally invasive vascular surgery training system
Tzafestas et al. Pilot evaluation study of a virtual paracentesis simulator for skill training and assessment: The beneficial effect of haptic display
Armstrong et al. Ergonomic Aspects of Clinical and Surgical Procedures: Discussion Panel Proposal
Xu et al. Building Computational Virtual Reality Environment for Anesthesia
Brunozzi et al. Role of immersive touch simulation in neurosurgical training
DE112021004635T5 (de) Analyse von bewegungssequenzen unter verwendung gedruckter schaltkreise
Hashtrudi-Zaad et al. Using object detection for surgical tool recognition in simulated open inguinal hernia repair surgery
WO2023062231A1 (de) Operationssystem mit haptik
Karimzadeh et al. Design and implementation of brain surgery bipolar electrocautery simulator using haptic technology
Marutani et al. Eye-Hand Coordination Analysis According to Surgical Process in Laparoscopic Surgery Training

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0019000000

Ipc: A61B0034100000

R163 Identified publications notified
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE