EP3771449A1 - Verfahren zur verformungssimulation und vorrichtung - Google Patents

Verfahren zur verformungssimulation und vorrichtung Download PDF

Info

Publication number
EP3771449A1
EP3771449A1 EP19189356.9A EP19189356A EP3771449A1 EP 3771449 A1 EP3771449 A1 EP 3771449A1 EP 19189356 A EP19189356 A EP 19189356A EP 3771449 A1 EP3771449 A1 EP 3771449A1
Authority
EP
European Patent Office
Prior art keywords
hollow organ
medical
image
surrounding tissue
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19189356.9A
Other languages
English (en)
French (fr)
Inventor
Katharina Breininger
Marcus Pfister
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Siemens Healthcare GmbH
Original Assignee
Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Friedrich Alexander Univeritaet Erlangen Nuernberg FAU, Siemens Healthcare GmbH filed Critical Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Priority to EP19189356.9A priority Critical patent/EP3771449A1/de
Priority to DE102020209416.0A priority patent/DE102020209416A1/de
Priority to CN202010743272.6A priority patent/CN112309574B/zh
Priority to US16/943,037 priority patent/US11883108B2/en
Publication of EP3771449A1 publication Critical patent/EP3771449A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the invention relates to a method for simulating the deformation of a hollow organ that can be deformed by the insertion of a medical instrument according to patent claim 1 and to a device for performing such a method according to patent claim 18.
  • An abdominal aortic aneurysm 2 - see FIG 1 - is a vascular bulge on the abdominal aorta 1, the extension of which into the leg arteries is known as the illiacal aneurysm.
  • This is treated either in an open abdominal surgery or in a minimally invasive manner by inserting a so-called stent graft 3.
  • Guide wires 4 and catheters are introduced into the abdominal aorta 1 via the two ridges, via which one or more stent grafts 3 (combination of a stent and an artificial blood vessel) are introduced.
  • EVAR procedures are carried out on angiography systems under fluoroscopy (fluoroscopy).
  • fluoroscopy fluoroscopy
  • various methods are described that superimpose the preoperative data records (mostly CT angiographies) registered on the fluoroscopic image.
  • the CTA data records are segmented beforehand.
  • large deformations occur in the strongly curved illiacal vessels (also in the aortas) when the rigid instruments (such as guide wires and catheters) are inserted. These deformations depend in principle depend on the local condition of the vessel and the surrounding tissue, so they are not homogeneous. For example, the vessel will deform less in calcified areas than in other areas.
  • FIG 4 a hollow organ is shown in which highly calcified regions 11 are indicated by narrow dashed lines.
  • the object is achieved according to the invention by a method for deformation simulation of a hollow organ that can be deformed by the insertion of a medical instrument according to the patent claim 1 and of a device according to claim 18.
  • Advantageous embodiments of the invention are each the subject of the associated subclaims.
  • the following steps are carried out: Provision of a pre-trained machine-learning algorithm, provision of a medical 3D image of the hollow organ with surrounding tissue, which 3D image is recorded before a medical instrument is inserted segmentation or provision of a segmentation of the medical 3D image of the hollow organ and determination or provision of a three-dimensional model of the hollow organ, provision of information about a medical instrument to be introduced, and simulation of the deformation of the hollow organ to be expected by the introduction of the instrument on the basis of the segmented Medical 3D image of the hollow organ and the surrounding tissue and the information about the instrument using the pre-trained machine learning algorithm.
  • a particularly realistic and exact simulation of a deformation of a hollow organ by inserting a medical instrument can be automatically created particularly quickly and with little effort, in that not only the hollow organ itself but also its surrounding tissue is included.
  • the machine-learning algorithm for the simulation of the deformation of the hollow organ takes into account information about the influence of tissue properties of the tissue surrounding the hollow organ. For example, calcifications around a hollow organ can have a very decisive influence on the behavior of the hollow organ during deformation; they can make deformation more difficult.
  • the method according to the invention makes use of this relationship and includes the tissue surrounding the hollow organ in the deformation simulation.
  • a pre-trained machine learning algorithm has a particularly large number in this way Information is available which can have an influence on the deformation, so that a very high quality simulation can be achieved. This information in turn helps a doctor significantly in the therapy of a patient and in a decision regarding further treatment steps, for example in connection with the interventional treatment of aortic aneurysms.
  • the model of the hollow organ is formed from a surface or volume model.
  • Such models have proven to be particularly advantageous in the area of segmentation.
  • the machine learning algorithm is made up of a first medical 3D image of an undeformed hollow organ and its surrounding tissue and a second medical 3D image of a hollow organ deformed by a medical instrument and its surrounding tissue by means of a plurality of known image pairs pre-trained.
  • a particularly effective pre-training of the algorithm is possible with as many high-quality pairs of recordings as possible, which in turn enables a particularly precise simulation.
  • the pairs of receptacles are each segmented with respect to the hollow organ and the hollow organ is shown as a three-dimensional model with sub-elements, in particular as a grid with grid elements.
  • An automatic or semi-automatic pre-segmentation of the hollow organ is a known method which significantly facilitates the further processing of 2D or 3D images by recognizing certain structures (for example the hollow organ) and for example marking or highlighting them.
  • the hollow organ segmented in this way can then be represented as a model made up of a large number of sub-elements, a grid with grid elements expediently being used in this context.
  • the sub-elements can be used as polygons, splines or other suitable mathematical formulations.
  • the machine-learning algorithm takes into account rigidity parameters between sub-elements for simulating the deformation of the hollow organ.
  • the stiffness parameters are taken from the medical 3D image as parameterized functions of the tissue properties of the surrounding tissue of the respective sub-elements.
  • Stiffness parameters are parameters that represent a measure of the non-deformability of materials. The appropriate stiffness parameters are determined during the pre-training.
  • those stiffness parameters are determined in the course of the pre-training that minimize the error between real deformation (i.e. the one from an actually recorded 3D image of a hollow organ deformed by the medical instrument and its surrounding tissue) and deformation simulation.
  • This minimization of errors which is determined by means of the recording pairs from a first medical 3D image of an undeformed hollow organ and its surrounding tissue and a second medical 3D image of a hollow organ deformed by a medical instrument and its surrounding tissue, enables those stiffness parameters to be determined which cause a particularly realistic deformation simulation.
  • the properties of the tissue surrounding the model are mapped onto the model, the properties in particular influencing the local deformation behavior of the hollow organ.
  • various alternatives can be selected which, depending on the model, the hollow organ and the surrounding tissue, can guarantee a high-quality deformation simulation.
  • the surrounding tissue of a sub-element are mapped onto the sub-element by a vector of predetermined length.
  • the surrounding tissue of a sub-element can be mapped onto the sub-element by means of a hemispherical circumference with a predetermined radius.
  • tissue properties are represented by Hounsfield units, in particular for the case that the medical 3D image is a CT or DynaCT image.
  • the Hounsfield scale is generally used to describe the attenuation of X-rays in tissue; the values can then be assigned to tissue types / properties, for example.
  • the algorithm is trained on the basis of image pairs, in which the second medical 3D image is replaced by a second, physically motivated simulation of a deformation, e.g. using FE methods. In this way, the algorithm can be trained to reproduce such a simulation exactly.
  • the deformation simulation is displayed on a display device so that it can be examined, for example, by a doctor. The doctor can then use the displayed deformation simulation to decide on the actual intervention and make a change if necessary.
  • the deformation simulation is superimposed with at least one 2D image, in particular a live fluoroscopic image. This is particularly advantageous if a planned or ongoing interventional procedure takes place under X-ray monitoring.
  • the information about the medical instrument to be inserted can a 2D image, in particular a fluoroscopic image.
  • the 2D recording can be drawn from a memory or recorded live.
  • the 2D recording can be subjected to image processing and segmented with regard to the instrument.
  • the information is then made available to the deformation simulation. This process can also be carried out automatically.
  • the medical instrument to be introduced can in particular be a guide wire or a stent.
  • the machine-learning, in particular deep learning-based, algorithm can e.g. be formed by one or more neural networks and operate e.g. using partially monitored (“semi-supervised”) learning methods or reinforcement learning (“reinforcement learning”).
  • a system for performing a deformation simulation of a hollow organ of a patient that can be deformed by inserting a medical instrument, having a communication device for querying medical 3D images of the hollow organ with surrounding tissue, a storage device for storing medical 3D images of the hollow organ with surrounding tissue Tissue, an image processing device for segmenting medical 3D images of the hollow organ with the surrounding tissue and for determining a three-dimensional model of the surface of the hollow organ with the surrounding tissue, a pre-trained machine-learning algorithm that is designed to detect the deformation to be expected from the introduction of the instrument to simulate the hollow organ on the basis of a segmented medical 3D image, a computing device with a processor for executing the pre-trained machine-learning algorithm, un d a display device for displaying the modeled hollow organ deformed by the instrument.
  • the system advantageously has an angiography x-ray device for recording a medical one 3D image of hollow organs with surrounding tissue.
  • FIG 5 the basic steps of the method for deformation simulation of a hollow organ that can be deformed by the insertion of a medical instrument are shown.
  • the method is carried out, for example, before the start of an interventional procedure on the hollow organ, it being possible for the procedure to be carried out, for example, as part of an interventional treatment (eg repair) of an aortic aneurysm.
  • the procedure can also take place in the operating room.
  • a pre-trained machine learning algorithm eg deep learning algorithm
  • the machine learning algorithm can, for example, be formed by an artificial neural network.
  • neural networks which are constructed as networks of artificial neurons, is generally known, see for example at https://de.wikipedia.org/wiki/K%C3%BCnstliches neural network z .
  • a second step 6 at least one medical 3D image of the hollow organ with its surrounding tissue, which 3D image was taken before a medical instrument was introduced, is provided.
  • the 3D image can have been created by means of an x-ray device, e.g. an angiography x-ray device or a computer tomograph. Alternatively, the 3D image can also be made directly.
  • a third step 7 the medical 3D image of the hollow organ is segmented directly or provided in an already segmented form.
  • a three-dimensional model of the hollow organ is determined or it is already provided in the form of a model.
  • a surface model or a volume model can be used as a model for the hollow organ.
  • a polygon mesh can be used as a surface model with network elements in the form of polygons or a surface model based on splines.
  • a fourth step 8 information about the medical instrument to be inserted is provided.
  • the instrument can be, for example, a catheter or a guide wire or a stent to be inserted.
  • the information can e.g. be taken from a database / memory, entered by a user or taken from a previously or directly recorded 2D image (fluoroscopic image) or 3D image.
  • the order between the first step 5, the second step 6 and the fourth step 8 is arbitrary.
  • the pre-trained machine learning algorithm using the segmented medical 3D image of the hollow organ and using information about the surrounding tissue and using the information about the instrument is used to determine the expected deformation of the due to the introduction of the instrument Simulated hollow organ.
  • the influence of the surrounding tissue on the respective deformation model is determined by a machine-learning or self-learning algorithm in order to obtain a particularly high-quality deformation simulation or to improve a deformation correction.
  • the deformation simulation can then be displayed on a display unit 22.
  • the three-dimensional model of the hollow organ with sub-elements is in the following a polygon network with polygons as grid elements. However, any other models with partial elements can also be used.
  • the influence of the surrounding tissue on the deformation is learned based on a set of available data, so-called training data.
  • a set of M known recording pairs each comprising a first medical 3D recording of an undeformed hollow organ and its surrounding tissue MO_gt and a second medical 3D recording of a hollow organ deformed by a medical instrument and its surrounding tissue MM_gt serve as training data.
  • FIG 6 is shown schematically how the surrounding tissue is mapped onto the polygon (grid element, sub-element) with the stiffness S (ij) by a vector V of a predetermined length, the tissue properties at different points 1 ... N by Hounsfield units HU 1 ( ij) ... HU N (ij) are represented.
  • the surrounding tissue of a sub-element can also be mapped onto the sub-element, for example, by a hemispherical circumference with a predetermined radius.
  • Appropriate learning methods are used for the determination, for example backpropagation with gradient descent methods or other methods for non-linear optimization. Such methods are for example from the article by Pfister et al. Hybrid learning algorithms for neural networks, Journal for Applied Mathematics and Mechanics, Vol. 76, Suppl. 1, 1996, pp. 215ff ., known.
  • Such pairs of images can be obtained, for example, from deformed intraoperative 3D images.
  • the real 3D recording can also be replaced by a physically motivated simulation, for example using FE methods.
  • the weights can also be learned based on subsets and / or approximately known deformations. For example, partially monitored (“semisupervised”) learning processes or reinforcement learning (“reinforcement learning”) are conceivable here.
  • the method according to the invention can be used in all possible areas of application for the adaptation of segmentation deformations of hollow organs, for example in neuroradiology, the insertion of aortic valves or the deformation of vessels in the liver.
  • Both X-ray recordings and 3D recordings recorded by means of other medical imaging methods, for example MR recordings can be used as 3D recordings of the hollow organ with surrounding tissue and segmented accordingly.
  • the values cannot be interpreted as HU values, but can otherwise be used analogously.
  • the information about the medical instrument to be inserted can be taken from a 2D image, in particular a fluoroscopic image.
  • the 2D recording can e.g. be taken from a memory or recorded live.
  • the 2D recording can be subjected to image processing and segmented with regard to the instrument.
  • the information is then made available to the deformation simulation. This process can also be carried out automatically.
  • the medical instrument to be inserted can in particular be a guide wire or a stent.
  • FIG 8 A system is shown for performing a deformation simulation of a patient's hollow organ that is deformable by the insertion of a medical instrument.
  • the system has a computing device 21 with a processor, the computing device 21 being designed to generate a pre-trained machine-learning algorithm 24, which in turn is designed to determine the deformation of the hollow organ to be expected by the introduction of the instrument on the basis of a segmented medical 3D image to simulate, perform.
  • the system also has a communication device 18 for querying medical 3D images of the hollow organ with surrounding tissue, a storage device 19 for storing medical 3D images of the hollow organ with surrounding tissue and an image processing device 20 for segmenting medical 3D images of the Hollow organ with surrounding tissue and for determining a three-dimensional model of the surface of the hollow organ with surrounding tissue.
  • a display device 22 for displaying the modeled hollow organ deformed by the instrument is assigned to the system.
  • the system can also be assigned to an angiography x-ray device 23 for recording a medical 3D image of hollow organs with the surrounding tissue.
  • the advantage of the method for deformation simulation using a machine learning algorithm is that The influence of tissue on the deformation simulation does not have to be error-prone and cumbersome to determine experimentally, as has been the case up to now, but to be able to train simply and robustly using examples.
  • the invention can be briefly summarized as follows: For a particularly simple and at the same time exact deformation simulation of a hollow organ that can be deformed by the insertion of a medical instrument, the following steps are carried out: Provision of a pre-trained machine-learning algorithm, provision of a medical 3D image of the hollow organ with surrounding tissue , which 3D image was recorded before a medical instrument was introduced, segmentation or provision of a segmentation of the medical 3D image of the hollow organ and determination or provision of a three-dimensional model of the hollow organ, provision of information about a medical instrument to be inserted, and simulation of the introduction deformation of the hollow organ to be expected of the instrument on the basis of the segmented medical 3D image of the hollow organ and the surrounding tissue and the information about the I. Instrument by using the pre-trained machine learning algorithm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Verfahren zur Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans mit den folgenden Schritten:• Bereitstellung eines vortrainierten maschinenlernenden Algorithmus,• Bereitstellung einer medizinischen 3D-Aufnahme des Hohlorgans mit umgebendem Gewebe, welche 3D-Aufnahme vor einer Einführung eines medizinischen Instruments aufgenommen wurde,• Segmentierung oder Bereitstellung einer Segmentierung der medizinischen 3D-Aufnahme des Hohlorgans und Ermittlung oder Bereitstellung eines dreidimensionalen Modelles des Hohlorgans,• Bereitstellung von Informationen über ein einzuführendes medizinisches Instrument, und• Simulation der durch Einführung des Instruments zu erwartenden Verformung des Hohlorgans auf der Basis der segmentierten medizinischen 3D-Aufnahme des Hohlorgans und des umgebenden Gewebes und der Informationen über das Instrument durch Verwendung des vortrainierten maschinenlernenden Algorithmus.

Description

  • Die Erfindung betrifft ein Verfahren zur Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans gemäß dem Patentanspruch 1 sowie eine Vorrichtung zur Durchführung eines derartigen Verfahrens gemäß dem Patentanspruch 18.
  • Dies ist besonders relevant auf dem Gebiet der interventionellen Behandlung (z.B. Reparatur) von Aorten-Aneurysmen. Hierbei ist speziell eine nichtlineare Anpassung der Gefäße an eingebrachte steife Instrumente (wie Führungsdrähte, Katheter und Stents) betroffen, eine sogenannte Verformungskorrektur. Ein abdominelles Aortenaneurysma 2 - siehe FIG 1 - ist eine Gefäßaussackung an der abdominellen Aorta 1, deren Verlängerung in die Beinarterien wird als Illiacal-Aneurysma bezeichnet. Behandelt wird dies entweder in einer offenen Bauch-OP oder minimalinvasiv durch Einsetzen eines sogenannten Stentgrafts 3. Ein solches Verfahren wird als EVAR = endovascular aneurysm repair bezeichnet. Über die beiden Leisten werden Führungsdrähte 4 und Katheter in die abdominelle Aorta 1 eingebracht, über die ein oder mehrere Stentgrafts 3 (Kombination aus einem Stent und einem künstlichen Blutgefäß) eingebracht werden.
  • Bei bekannten Verfahren im Stand der Technik werden EVAR Prozeduren auf Angiographiesystemen unter Durchleuchtungskontrolle (Fluoroskopie) durchgeführt. Um dabei die Applikation von jodhaltigem (nierenschädigendem) Kontrastmittel zu minimieren, sind verschiedene Verfahren beschrieben, die dem Fluoroskopiebild registrierte präoperative Datensätze (meistens CT-Angiographien) zu überlagern. Die CTA-Datensätze werden dafür zuvor segmentiert. Üblicherweise treten in den stark gekrümmten Illiacalgefäßen (auch in den Aorten) große Verformungen durch das Einbringen der steifen Instrumente (wie z.B. Führungsdrähte und Katheter) auf. Diese Verformungen hängen prinzipiell von der lokalen Beschaffenheit des Gefäßes und des umliegenden Gewebes ab, sind also nicht homogen. So wird sich das Gefäß beispielsweise in kalzifizierten Bereichen weniger verformen als in anderen Bereichen. In der FIG 4 ist ein Hohlorgan gezeigt, bei dem stark kalzifizierte Regionen 11 eng gestrichelt angezeigt ist.
  • Es existieren Verfahren, diese Verformung in der Überlagerung intra-operativ auszugleichen. So ist z.B. aus dem Artikel von Toth et al., Adaption of 3D Models to 2D X-ray Images during Endovascular Abdominal Aneurysm Repair, Proc. Of the MICCAI Workshop, 2015, pp. 339-346, ein Verfahren zur Bestimmung einer Verformung eines Gefäßes unter Verwendung von überlagerten Bilddatensätzen bekannt. In den Figuren 2 und 3 ist eine derartige intraoperative Verformungskorrektur gezeigt, wobei die FIG 2 das ursprüngliche Hohlorgan 10 sowie einen eingebrachten Führungsdraht 4 in Überblendung zeigt. Die FIG 3 zeigt das korrigierte verformte Hohlorgan 13. Außerdem existieren Verfahren, die die Verformung prä-operativ simulieren, z.B. aus dem Artikel von Roy et al., Finite element analysis of abdominal aortic aneurysms: geometrical and structural reconstruction with application of an anisotropic material model, IMA J Appl Math, 79 (5), 2014, pp. 1011-1026, wobei hier vorbestimmte oder gemessene Eigenschaften von Instrumenten und Gewebe zur Simulation verwendet werden. Dies ist jedoch sehr aufwändig und muss experimentell bestimmt werden.
  • Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, welches eine besonders einfache und robuste Simulation der durch das Einführen eines medizinischen Instruments in ein Hohlorgans bewirkten Verformung gewährleistet; des Weiteren ist es Aufgabe der Erfindung, eine für die Durchführung des Verfahrens geeignete Vorrichtung bereitzustellen.
  • Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans gemäß dem Patentanspruch 1 und von einer Vorrichtung gemäß dem Patentanspruch 18. Vorteilhafte Ausgestaltungen der Erfindung sind jeweils Gegenstand der zugehörigen Unteransprüche.
  • Bei dem erfindungsgemäßen Verfahren zur Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans werden die folgenden Schritte durchgeführt: Bereitstellung eines vortrainierten maschinenlernenden Algorithmus, Bereitstellung einer medizinischen 3D-Aufnahme des Hohlorgans mit umgebendem Gewebe, welche 3D-Aufnahme vor einer Einführung eines medizinischen Instruments aufgenommen wurde, Segmentierung oder Bereitstellung einer Segmentierung der medizinischen 3D-Aufnahme des Hohlorgans und Ermittlung oder Bereitstellung eines dreidimensionalen Modelles des Hohlorgans, Bereitstellung von Informationen über ein einzuführendes medizinisches Instrument, und Simulation der durch Einführung des Instruments zu erwartenden Verformung des Hohlorgans auf der Basis der segmentierten medizinischen 3D-Aufnahme des Hohlorgans und des umgebenden Gewebes und der Informationen über das Instrument durch Verwendung des vortrainierten maschinenlernenden Algorithmus.
  • Durch das erfindungsgemäße Verfahren kann besonders schnell und aufwandsarm automatisch eine besonders realistische und exakte Simulation einer Verformung eines Hohlorgans durch das Einführen eines medizinischen Instruments erstellt werden, indem nicht nur das Hohlorgan selbst sondern auch ganz besonders dessen umgebendes Gewebe einbezogen wird. Insbesondere berücksichtigt der maschinenlernende Algorithmus für die Simulation der Verformung des Hohlorgans Informationen über den Einfluss von Gewebeeigenschaften des umgebenden Gewebes des Hohlorgans. Z.B. Verkalkungen rund um ein Hohlorgan können einen sehr entscheidenden Einfluss auf das Verhalten des Hohlorgans bei der Verformung haben, sie können eine Verformung erschweren. Das erfindungsgemäße Verfahren nutzt diesen Zusammenhang und bezieht das das Hohlorgan umgebende Gewebe in die Verformungssimulation ein. Ein vortrainierter maschinenlernender Algorithmus hat auf diese Weise besonders viele Informationen zur Verfügung, welche einen Einfluss auf die Verformung haben können, so dass eine qualitativ sehr hochwertige Simulation erzielt werden kann. Diese Informationen wiederum helfen einem Arzt signifikant bei der Therapie eines Patienten und bei einer Entscheidung hinsichtlich weiterer Behandlungsschritte, z.B. im Zusammenhang mit der interventionellen Behandlung von Aorten-Aneurysmen.
  • Nach einer Ausgestaltung der Erfindung wird das Modell des Hohlorgans von einem Oberflächen- oder Volumenmodell gebildet. Derartige Modelle haben sich im Bereich der Segmentierung als besonders vorteilhaft erwiesen.
  • Nach einer weiteren Ausgestaltung der Erfindung ist der maschinenlernende Algorithmus mittels einer Vielzahl von bekannten Aufnahme-Paaren aus einer ersten medizinischen 3D-Aufnahme eines unverformten Hohlorgans und seines umgebenden Gewebes und einer zweiten medizinischen 3D-Aufnahme eines durch ein medizinisches Instrument verformten Hohlorgans und seines umgebenden Gewebes vortrainiert. Durch möglichst viele, hochqualitative Aufnahme-Paare ist ein besonders effektives Vortraining des Algorithmus möglich, wodurch dann wiederum eine besonders exakte Simulation bewirkt werden kann.
  • Nach einer weiteren Ausgestaltung der Erfindung sind die Aufnahme-Paare jeweils bezüglich des Hohlorgans segmentiert und das Hohlorgan ist als dreidimensionales Modell mit Teilelementen, insbesondere als Gitternetz mit Gitternetzelementen dargestellt. Eine automatische oder halbautomatische Vorsegmentierung des Hohlorgans ist ein bekanntes Verfahren, welches die weitere Bearbeitung von 2D- oder 3D-Aufnahmen deutlich erleichtert, indem bestimmte Strukturen (also z.B. das Hohlorgan) erkannt und z.B. markiert oder hervorgehoben werden. Anschließend kann das so segmentierte Hohlorgan als Modell aus einer Vielzahl von Teilelementen dargestellt werden, wobei in diesem Zusammenhang zweckmäßigerweise ein Gitternetz mit Gitternetzelementen verwendet wird. In vorteilhafter Weise können hierbei die Teilelemente als Polygone, Splines oder andere geeignete mathematische Formulierungen ausgebildet sein.
  • Nach einer weiteren Ausgestaltung der Erfindung berücksichtigt der maschinenlernende Algorithmus für die Simulation der Verformung des Hohlorgans Steifigkeitsparameter zwischen Teilelementen. Die Steifigkeitsparameter werden als parametrisierte Funktionen der Gewebeeigenschaften des umgebenden Gewebes der jeweiligen Teilelemente aus der medizinischen 3D-Aufnahme entnommen. Als Steifigkeitsparameter werden hierbei Parameter bezeichnet, welche ein Maß für die Unverformbarkeit von Materialien darstellen. Die geeigneten Steifigkeitsparameter werden im Rahmen des Vortrainings ermittelt.
  • Nach einer weiteren Ausgestaltung der Erfindung werden im Rahmen des Vortrainings diejenigen Steifigkeitsparameter ermittelt, welche eine Minimierung des Fehlers zwischen realer Verformung (also der aus einer tatsächlich aufgenommenen 3D-Aufnahme eines durch das medizinische Instrument verformten Hohlorgans und seines umgebenden Gewebes) und Verformungssimulation bewirken. Durch diese Fehlerminimierung, die mittels der Aufnahme-Paare aus einer ersten medizinischen 3D-Aufnahme eines unverformten Hohlorgans und seines umgebenden Gewebes und einer zweiten medizinischen 3D-Aufnahme eines durch ein medizinisches Instrument verformten Hohlorgans und seines umgebenden Gewebes ermittelt werden, können diejenigen Steifigkeitsparameter bestimmt werden, welche eine besonders realitätsgetreue Verformungssimulation bewirken.
  • Nach einer weiteren Ausgestaltung der Erfindung werden die Eigenschaften des das Modell umgebenden Gewebes auf das Modell abgebildet, wobei die Eigenschaften insbesondere das lokale Deformationsverhalten des Hohlorgans beeinflussen. In diesem Zusammenhang können verschiedene Alternativen gewählt werden, welche abhängig vom Modell, dem Hohlorgan und dem umgebenden Gewebe eine hochwertige Verformungssimulation gewährleisten können. So kann nach einer besonders einfach ausführbaren Variante das umgebende Gewebe eines Teilelementes durch einen Vektor vorbestimmter Länge auf das Teilelement abgebildet werden. Nach einer zweiten, besonders exakten Variante kann das umgebende Gewebe eines Teilelementes durch einen halbkugelförmigen Umkreis mit vorbestimmtem Radius auf das Teilelement abgebildet werden.
  • Nach einer weiteren Ausgestaltung der Erfindung wird angenommen, dass Gewebeeigenschaften durch Hounsfield-Einheiten repräsentiert werden, insbesondere für den Fall, dass die medizinische 3D-Aufnahme eine CT- oder DynaCT-Aufnahme ist. Mit der Hounsfield-Skala wird im Allgemeinen die Abschwächung von Röntgenstrahlung in Gewebe beschrieben, die Werte können dann beispielsweise Gewebearten/ -eigenschaften zugeordnet werden.
  • Nach einer weiteren Ausgestaltung der Erfindung wird der Algorithmus anhand von Aufnahme-Paaren trainiert, bei denen die zweite medizinische 3D-Aufnahme durch eine zweite, physikalisch motivierte Simulation einer Verformung, z.B. durch FE-Methoden, ersetzt wird. Auf diese Weise kann der Algorithmus trainiert werden, eine derartige Simulation exakt nachzubilden.
  • Nach einer weiteren Ausgestaltung der Erfindung wird die Verformungssimulation an einer Anzeigevorrichtung angezeigt, so dass sie z.B. von einem Arzt begutachtet werden kann. Der Arzt kann dann anhand der angezeigten Verformungssimulation über den tatsächlichen Eingriff entscheiden und bei Bedarf eine Änderung vornehmen.
  • Nach einer Ausgestaltung der Erfindung wird die Verformungssimulation mit mindestens einer 2D-Aufnahme, insbesondere einer Live-Durchleuchtungsaufnahme, überlagert. Dies ist insbesondere vorteilhaft, wenn ein geplanter oder erfolgender interventioneller Eingriff unter Röntgenüberwachung stattfindet.
  • Nach einer weiteren Ausgestaltung der Erfindung können die Informationen über das einzuführende medizinische Instrument einer 2D-Aufnahme, insbesondere einer Durchleuchtungsaufnahme, entnommen werden. Die 2D-Aufnahme kann aus einem Speicher herangezogen oder live aufgenommen werden. Die 2D-Aufnahme kann einer Bildverarbeitung unterzogen und hinsichtlich des Instruments segmentiert werden. Die Informationen werden dann der Verformungssimulation zur Verfügung gestellt. Dieser Vorgang kann auch automatisch durchgeführt werden.
  • Bei dem einzuführenden medizinischen Instrument kann es sich insbesondere um einen Führungsdraht oder eine Gefäßstütze handeln.
  • Der maschinenlernende, insbesondere auch deep learning basierte, Algorithmus kann z.B. von einem oder mehreren neuronalen Netzen gebildet werden und z.B. mittels teilweise überwachtem ("semi-supervised") Lernverfahren oder bestärkendem Lernen ("Reinforcement Learning") operieren.
  • Beansprucht wird außerdem ein System zur Durchführung einer Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans eines Patienten, aufweisend eine Kommunikationsvorrichtung zur Abfrage von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe, eine Speichervorrichtung zur Speicherung von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe, eine Bildverarbeitungsvorrichtung zur Durchführung einer Segmentierung von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe und zur Ermittlung eines dreidimensionalen Modelles der Oberfläche des Hohlorgans mit umgebendem Gewebe, einen vortrainierten maschinenlernenden Algorithmus, der dazu ausgebildet ist, die durch Einführung des Instruments zu erwartende Verformung des Hohlorgans auf der Basis einer segmentierten medizinischen 3D-Aufnahme zu simulieren, eine Recheneinrichtung mit einem Prozessor zur Ausführung des vortrainierten maschinenlernenden Algorithmus, und eine Anzeigevorrichtung zur Anzeige des modellierten, durch das Instrument verformten Hohlorgans. Das System weist hierbei vorteilhaft ein Angiographie-Röntgengerät zur Aufnahme einer medizinischen 3D-Aufnahme von Hohlorganen mit umgebendem Gewebe auf.
  • Die Erfindung sowie weitere vorteilhafte Ausgestaltungen gemäß Merkmalen der Unteransprüche werden im Folgenden anhand schematisch dargestellter Ausführungsbeispiele in der Zeichnung näher erläutert, ohne dass dadurch eine Beschränkung der Erfindung auf diese Ausführungsbeispiele erfolgt. Es zeigen:
    • FIG 1
    eine Ansicht eines abdominellen Aortenaneurysmas mit eingebrachtem Stent nach dem Stand der Technik;
    FIG 2
    eine Ansicht einer Überlagerung einer 3D-Aufnahme eines Hohlorgans mit einem 2D-Bild eines Führungsdrahtes nach dem Stand der Technik;
    FIG 3
    eine Ansicht einer korrigierten Position des Hohlorgans gemäß bekannten Verfahren;
    FIG 4
    eine Ansicht eines je nach Steifigkeit unterschiedlich gestrichelten Hohlorgans;
    FIG 5
    eine Abfolge des erfindungsgemäßen Verfahrens;
    FIG 5
    eine Ansicht des Einflusses des umgebenden Gewebes auf die Steifigkeitsparameter zwischen zwei Polygonen;
    FIG 6
    eine Darstellung eines Steifigkeitsparameters und darauf projizierter Hounsfield-Einheiten;
    FIG 7
    eine 2D-Ansicht einer unverformten Aufnahme mit segmentiertem Hohlorgan und umgebenden Gewebe zur Entnahme von Hounsfield-Einheiten; und
    FIG 8
    ein System zur Durchführung des erfindungsgemäßen Verfahrens.
  • In der FIG 5 sind die grundlegenden Schritte des Verfahrens zur Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans gezeigt. Das Verfahren wird beispielsweise vor dem Start eines interventionellen Eingriffs an dem Hohlorgan durchgeführt, wobei der Eingriff z.B. im Rahmen einer interventionellen Behandlung (z.B. Reparatur) eines Aorten-Aneurysmas durchgeführt werden kann. Das Verfahren kann auch bereits im Operationsraum stattfinden.
  • In einem ersten Schritt 5 wird ein vortrainierter maschinenlernender Algorithmus, z.B. Deep Learning Algorithmus, bereitgestellt. Verschiedene Möglichkeiten und Einflüsse des Vortrainings des maschinenlernenden Algorithmus werden später detailliert beschrieben. Der maschinenlernende Algorithmus kann z.B. von einem künstlichen neuronalen Netz gebildet werden. Die Verwendung von neuronalen Netzen, welche als Netze aus künstlichen Neuronen aufgebaut sind, ist im Allgemeinen bekannt, siehe z.B. unter https://de.wikipedia.org/wiki/K%C3%BCnstliches neuronales Net z.
  • In einem zweiten Schritt 6 wird zumindest eine medizinische 3D-Aufnahme des Hohlorgans mit seinem umgebenden Gewebe, welche 3D-Aufnahme vor einer Einführung eines medizinischen Instruments aufgenommen wurde, bereitgestellt. Die 3D-Aufnahme kann mittels eines Röntgengerätes, z.B. eines Angiographie-Röntgengerätes oder eines Computertomographen erstellt worden sein. Alternativ kann die 3D-Aufnahme auch direkt angefertigt werden.
  • In einem dritten Schritt 7 wird die medizinische 3D-Aufnahme des Hohlorgans direkt segmentiert oder in bereits segmentierter Form bereitgestellt. Dabei wird ein dreidimensionales Modell des Hohlorgans ermittelt oder es ist bereits in Form eines Modelles bereitgesellt. Als Modell für das Hohlorgan kann ein Oberflächenmodell oder auch ein Volumenmodell verwendet werden. Insbesondere kann z.B. als Oberflächenmodell ein Polygonnetz mit Netzelementen in Form von Polygonen oder ein Oberflächenmodell basierend auf Splines verwendet werden.
  • In einem vierten Schritt 8 werden Informationen über das einzuführende medizinische Instrument bereitgestellt. Bei dem Instrument kann es sich zum Beispiel um einen Katheter oder einen Führungsdraht oder eine einzuführende Gefäßstütze handeln. Die Informationen können z.B. aus einer Datenbank/einem Speicher entnommen werden, von einem User eingegeben werden oder aus einer zuvor oder direkt aufgenommenen 2D-Aufnahme (Durchleuchtungsaufnahme) oder 3D-Aufnahme entnommen werden. Die Reihenfolge zwischen dem ersten Schritt 5, dem zweiten Schritt 6 und dem vierten Schritt 8 ist dabei beliebig.
  • In einem nachfolgenden fünften Schritt 9 wird anschließend mit Hilfe des vortrainierten maschinenlernenden Algorithmus unter Verwendung der segmentierten medizinischen 3D-Aufnahme des Hohlorgans und unter Verwendung von Informationen über das umgebende Gewebe und unter Verwendung der Informationen über das Instrument die durch Einführung des Instruments zu erwartenden Verformung des Hohlorgans simuliert. Dabei wird insbesondere der Einfluss des umgebenden Gewebes auf das jeweilige Verformungsmodell durch einen maschinenlernenden bzw. selbstlernenden Algorithmus bestimmt, um so eine besonders hochwertige Verformungssimulation zu erhalten bzw. eine Verformungskorrektur zu verbessern.
  • Die Verformungssimulation kann anschließend an einer Anzeigeeinheit 22 angezeigt werden.
  • Im Folgenden werden zugrundeliegende mathematische Ideen und Details der Verformungssimulation beschrieben. Das dreidimensionale Modell des Hohlorgans mit Teilelementen ist im Folgenden ein Polygonnetz mit Polygonen als Gitternetzelementen. Es können jedoch auch beliebige andere Modelle mit Teilelementen verwendet werden. Die sogenannten Steifigkeitsparameter S(ij) des Modells des Hohlorgans zwischen dem i-ten Polygon i und dem j-ten Polygon j bezeichnen das Maß für die Unverformbarkeit des Hohlorgans - gezeigt in FIG 6. Wird eine Transformationsvorschrift T der Verformungssimulation beschrieben, so ergibt sich MM = T S MO ,
    Figure imgb0001
     wobei MO die originale unverformte Segmentierung bezeichnet, MM die entsprechende Simulation und S die Gesamtheit der Steifigkeitsparameter S(ij).
  • Der Einfluss des umgebenden Gewebes auf die Verformung (in der Verformungssimulation also die Steifigkeit der Polygone zueinander) wird basierend auf einer Menge von vorliegenden Daten, sog. Trainingsdaten, gelernt. Als Trainingsdaten dient eine Menge M bekannter Aufnahme-Paare aus jeweils einer ersten medizinischen 3D-Aufnahme eines unverformten Hohlorgans und seines umgebenden Gewebes MO_gt und einer zweiten medizinischen 3D-Aufnahme eines durch ein medizinisches Instrument verformten Hohlorgans und seines umgebenden Gewebes MM_gt. Die Steifigkeitsparameter S(ij) werden hierzu als parametrisierte Funktion des umgebenden Gewebes Gew(ij) formuliert: S ij = F W , Gew ij
    Figure imgb0002
     Die optimalen Gewichte Wopt werden "gelernt" anhand der Menge M bekannter Aufnahme-Paare TM = MO_gt k , MM_gt k , k = 1 , … , M .
    Figure imgb0003
     Hierbei werden bevorzugt die optimalen Gewichte Wopt bestimmt, die eine Minimierung des Fehlers zwischen realer Verformung und simulierter Verformung für die Menge M bewirken. Sind die optimalen Gewichte bestimmt, lässt sich die Verformungssimulation für beliebige 3D-Aufnahmen eines unverformten Hohlorgans und seines umgebenden Gewebes MO berechnen als MM = T F W opt Gew , MO .
    Figure imgb0004
  • Zur weiteren Implementierung des Verfahrens kann zur konkreten Auswertung der Funktion die Gewebeumgebung Gew(ij) z.B. als diskretes Sampling Gew(ij) = [G 1(ij),G 2(ij),...G N(ij)] einer gewissen Umgebung zwischen dem i-ten Polygon i und dem j-ten Polygon j aufgefasst werden, also S ij = F W G 1 ij , G 2 ij , … , G k ij , … G N ij .
    Figure imgb0005
  • Da die für die Verformungssimulation benötigten Polygone (Teilelemente bzw. Gitterelemente) in die 3D-Aufnahme des Hohlorgans und seines umgebenden Gewebes eingebettet sind, wird zur konkreten Berechnung weiter angenommen, dass verschiedene Gewebe(-eigenschaften) durch verschiedene Hounsfield-Einheiten (HU) repräsentiert werden, also dass G k(ij) = HU k(ij) gilt. Unerheblich ist hierbei, dass das gleiche Gewebe ein Spektrum von Hounsfield-Einheiten (HUs) erzeugen kann bzw. verschiedene Gewebe durch den gleichen HU-Wert abgebildet werden können.
  • Für die Modellierung der Steifigkeitsparameter S(ij) ergibt sich also die (weiterhin unbekannte) Funktion S ij = F W HU 1 ij , HU 2 ij , … , HU k ij , … HU N ij .
    Figure imgb0006
  • In der FIG 6 ist schematisch gezeigt, wie das umgebende Gewebe durch einen Vektor V vorbestimmter Länge auf das Polygon (Gitternetzelement, Teilelement) mit der Steifigkeit S(ij) abgebildet wird, wobei die Gewebeeigenschaften an verschiedenen Punkten 1...N durch Hounsfield-Einheiten HU1(ij)... HUN(ij) repräsentiert werden. Alternativ zu dem Vektor V kann das umgebende Gewebe eines Teilelementes z.B. auch durch einen halbkugelförmigen Umkreis mit vorbestimmtem Radius auf das Teilelement abgebildet werden.
  • Bei einer gegebenen Transformationsvorschrift T zur Verformungssimulation (z.B. ARAP oder eine FEM Modellierung) ergibt sich also für die Transformation insgesamt: MM = T S MO = T F W HU , MO .
    Figure imgb0007
     Die Parameter Wopt werden anhand der Minimierung der entsprechenden Fehlerfunktion auf einer Menge von M bekannter Aufnahme-Paare aus jeweils einer ersten medizinischen 3D-Aufnahme eines unverformten Hohlorgans und seines umgebenden Gewebes MO_gt und einer zweiten medizinischen 3D-Aufnahme eines durch ein medizinisches Instrument verformten Hohlorgans und seines umgebenden Gewebes MM gt gelernt W opt = argmin W ∑ k = 1 M ‖ MM gt k − T W HU , MO_gt k ‖
    Figure imgb0008
  • Zur Bestimmung werden entsprechende Lernverfahren verwendet, z.B. Backpropagation mit Gradientenabstiegsverfahren oder andere Methoden zur nichtlinearen Optimierung. Solche Verfahren sind zum Beispiel aus dem Artikel von Pfister et al. Hybrid learning algorithms for neural networks, Zeitschrift für Angewandte Mathematik und Mechanik, Vol. 76, Suppl. 1, 1996, pp. 215ff., bekannt.
  • Zum Training des maschinenlernenden Algorithmus wird eine ausreichend große Menge von M bekannten Aufnahme-Paaren TM = {(MO_gt(k),MM_gt(k)), k = 1,...,M} benötigt. Solche Aufnahme-Paare können z.B. aus verformten intraoperativen 3D-Aufnahmen gewonnen werden. Alternativ kann die reale 3D-Aufnahme auch durch eine physikalisch motivierte Simulation, z.B. durch FE-Methoden, ersetzt werden.
  • Es kann vorkommen, dass die Verformung nicht für alle Polygone aus den zweiten medizinischen 3D-Aufnahmen eines durch ein medizinisches Instrument verformten Hohlorgans und seines umgebenden Gewebes vollständig und genau bekannt ist. In solchen Fällen können die Gewichte auch basierend auf Teilmengen und/oder näherungsweise bekannten Verformungen gelernt werden. Hierbei sind beispielsweise teilweise überwachte ("semisupervised") Lernverfahren oder bestärkendes Lernen ("Reinforcement Learning") denkbar.
  • Das erfindungsgemäße Verfahren kann bei allen möglichen Anwendungsbereichen für die Adaption von Segmentierungsverformungen von Hohlorganen eingesetzt werden, z.B. in der Neuroradiologie, dem Einsetzen von Aortenklappen oder der Verformung von Gefäßen in der Leber. Es können als 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe sowohl Röntgenaufnahmen als auch mittels anderer medizinischer Bildgebungsverfahren aufgenommene 3D-Aufnahmen verwendet werden, z.B. MR-Aufnahmen, und entsprechend segmentiert werden. Hier lassen sich die Werte nicht als HU-Werte interpretieren, können aber ansonsten analog verwendet werden.
  • Die Informationen über das einzuführende medizinische Instrument kann z.B. einer 2D-Aufnahme, insbesondere einer Durchleuchtungsaufnahme, entnommen werden. Die 2D-Aufnahme kann z.B. aus einem Speicher entnommen oder live aufgenommen werden. Die 2D-Aufnahme kann einer Bildverarbeitung unterzogen und hinsichtlich des Instruments segmentiert werden. Die Informationen werden dann der Verformungssimulation zur Verfügung gestellt. Dieser Vorgang kann auch automatisch durchgeführt werden. Bei dem einzuführenden medizinischen Instrument kann es sich insbesondere um einen Führungsdraht oder eine Gefäßstütze handeln.
  • In der FIG 8 ist ein System zur Durchführung einer Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans eines Patienten gezeigt. Das System weist eine Recheneinrichtung 21 mit einem Prozessor auf, wobei die Recheneinrichtung 21 dazu ausgebildet ist, einen vortrainierten maschinenlernenden Algorithmus 24, der wiederum dazu ausgebildet ist, die durch Einführung des Instruments zu erwartende Verformung des Hohlorgans auf der Basis einer segmentierten medizinischen 3D-Aufnahme zu simulieren, ausführen kann. Außerdem weist das System eine Kommunikationsvorrichtung 18 zur Abfrage von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe auf, eine Speichervorrichtung 19 zur Speicherung von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe und eine Bildverarbeitungsvorrichtung 20 zur Durchführung einer Segmentierung von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe und zur Ermittlung eines dreidimensionalen Modelles der Oberfläche des Hohlorgans mit umgebendem Gewebe. Außerdem ist dem System eine Anzeigevorrichtung 22 zur Anzeige des modellierten, durch das Instrument verformten Hohlorgans zugeordnet. Das System kann außerdem einem Angiographie-Röntgengerät 23 zur Aufnahme einer medizinischen 3D-Aufnahme von Hohlorganen mit umgebendem Gewebe zugeordnet sein.
  • Der Vorteil des Verfahrens zur Verformungssimulation unter Verwendung eines maschinenlernenden Algorithmus besteht darin, den Einfluss von Gewebe auf die Verformungssimulation nicht fehlerbehaftet und umständlich experimentell bestimmen zu müssen, wie dies bisher üblich ist, sondern einfach und robust anhand von Beispielen trainieren zu können.
  • Die Erfindung lässt sich in folgender Weise kurz zusammenfassen: Für eine besonders einfache und gleichzeitig exakte Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans werden die folgenden Schritte durchgeführt: Bereitstellung eines vortrainierten maschinenlernenden Algorithmus, Bereitstellung einer medizinischen 3D-Aufnahme des Hohlorgans mit umgebendem Gewebe, welche 3D-Aufnahme vor einer Einführung eines medizinischen Instruments aufgenommen wurde, Segmentierung oder Bereitstellung einer Segmentierung der medizinischen 3D-Aufnahme des Hohlorgans und Ermittlung oder Bereitstellung eines dreidimensionalen Modelles des Hohlorgans, Bereitstellung von Informationen über ein einzuführendes medizinisches Instrument, und Simulation der durch Einführung des Instruments zu erwartenden Verformung des Hohlorgans auf der Basis der segmentierten medizinischen 3D-Aufnahme des Hohlorgans und des umgebenden Gewebes und der Informationen über das Instrument durch Verwendung des vortrainierten maschinenlernenden Algorithmus.

Claims (19)

  1. Verfahren zur Verformungssimulation eines durch das Einführen eines medizinischen Instruments verformbaren Hohlorgans (10) mit den folgenden Schritten:
    • Bereitstellung eines vortrainierten maschinenlernenden Algorithmus (24),
    • Bereitstellung einer medizinischen 3D-Aufnahme des Hohlorgans (10) mit umgebendem Gewebe, welche 3D-Aufnahme vor einer Einführung eines medizinischen Instruments (3; 4) aufgenommen wurde,
    • Segmentierung oder Bereitstellung einer Segmentierung der medizinischen 3D-Aufnahme des Hohlorgans (10) und Ermittlung oder Bereitstellung eines dreidimensionalen Modelles des Hohlorgans (10),
    • Bereitstellung von Informationen über ein einzuführendes medizinisches Instrument (3; 4), und
    • Simulation der durch Einführung des Instruments (3; 4) zu erwartenden Verformung des Hohlorgans (10) auf der Basis der segmentierten medizinischen 3D-Aufnahme des Hohlorgans (10) und des umgebenden Gewebes und der Informationen über das Instrument durch Verwendung des vortrainierten maschinenlernenden Algorithmus (24).
  2. Verfahren nach Anspruch 1, wobei das Modell von einem Oberflächen- oder Volumenmodell gebildet wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei der maschinenlernende Algorithmus (24) für die Simulation der Verformung des Hohlorgans Informationen über den Einfluss von Gewebeeigenschaften des umgebenden Gewebes des Hohlorgans (10) berücksichtigt.
  4. Verfahren nach einem der vorangehenden Ansprüche, wobei der maschinenlernende Algorithmus (24) mittels einer Vielzahl von bekannten Aufnahme-Paaren (MO; MM) aus einer ersten medizinischen 3D-Aufnahme eines unverformten Hohlorgans und seines umgebenden Gewebes und einer zweiten medizinischen 3D-Aufnahme eines durch ein medizinisches Instrument (3; 4) verformten Hohlorgans (13) und seines umgebenden Gewebes vortrainiert ist.
  5. Verfahren nach Anspruch 4, wobei die Aufnahme-Paare (MO; MM) jeweils bezüglich des Hohlorgans (10) segmentiert sind und das Hohlorgan (10) als dreidimensionales Modell mit Teilelementen, insbesondere als Gitternetz mit Gitternetzelementen dargestellt ist.
  6. Verfahren nach Anspruch 5, wobei der maschinenlernende Algorithmus (24) für die Verformungssimulation des Hohlorgans (10) Steifigkeitsparameter (Sij) zwischen Teilelementen berücksichtigt, welche Steifigkeitsparameter (Sij) als parametrisierte Funktionen der Gewebeeigenschaften des umgebenden Gewebes der jeweiligen Teilelemente aus der medizinischen 3D-Aufnahme entnommen werden.
  7. Verfahren nach Anspruch 6, wobei diejenigen Steifigkeitsparameter (Sij) ermittelt werden, welche eine Minimierung des Fehlers zwischen realer Verformung und Verformungssimulation bewirken.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei die Eigenschaften des das Modell umgebenden Gewebes auf das Modell abgebildet werden, wobei die Eigenschaften insbesondere das lokale Deformationsverhalten des Hohlorgans (10) beeinflussen.
  9. Verfahren nach einem der Ansprüche 5 bis 8, wobei das umgebende Gewebe eines Teilelementes durch einen Vektor (V) vorbestimmter Länge auf das Teilelement abgebildet wird.
  10. Verfahren nach einem der Ansprüche 5 bis 8, wobei das umgebende Gewebe eines Teilelementes durch einen halbkugelförmigen Umkreis mit vorbestimmtem Radius auf das Teilelement abgebildet wird.
  11. Verfahren nach einem der vorangehenden Ansprüche, wobei angenommen wird, dass Gewebeeigenschaften durch Hounsfield-Einheiten (HU) repräsentiert werden.
  12. Verfahren nach einem der Ansprüche 5 bis 11, wobei die Teilelemente als Polygone, Splines oder andere geeignete mathematische Formulierungen ausgebildet sind.
  13. Verfahren nach Anspruch 4 oder 5, wobei der Algorithmus (24) anhand der Aufnahme-Paare (MO; MM) trainiert wird, indem die Fehlerfunktion als Fehler zwischen tatsächlicher und simulierter Verformung minimiert wird.
  14. Verfahren nach Anspruch 4 oder 5, wobei der Algorithmus anhand der Aufnahme-Paare (MO; MM) trainiert wird, indem die zweite medizinische 3D-Aufnahme durch eine zweite, physikalisch motivierte Simulation, insbesondere durch FE-Methoden, ersetzt wird.
  15. Verfahren nach einem der vorangehenden Ansprüche, wobei die Verformungssimulation an einer Anzeigevorrichtung (22) angezeigt wird.
  16. Verfahren nach Anspruch 15, wobei die Verformungssimulation mit mindestens einer 2D-Aufnahme, insbesondere einer Live-Durchleuchtungsaufnahme, überlagert wird.
  17. Verfahren nach einem der vorangehenden Ansprüche, wobei die Informationen über das einzuführende medizinische Instrument (3; 4) einer 2D-Aufnahme, insbesondere einer Durchleuchtungsaufnahme, entnommen werden.
  18. System zur Durchführung einer Verformungssimulation eines durch das Einführen eines medizinischen Instruments (3; 4) verformbaren Hohlorgans (10) eines Patienten nach einem der Ansprüche 1 bis 17, aufweisend
    • eine Kommunikationsvorrichtung (18) zur Abfrage von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe,
    • eine Speichervorrichtung (19) zur Speicherung von medizinischen 3D-Aufnahmen des Hohlorgans mit umgebendem Gewebe,
    • eine Bildverarbeitungsvorrichtung (20) zur Durchführung einer Segmentierung von medizinischen 3D-Aufnahmen des Hohlorgans (10) mit umgebendem Gewebe und zur Ermittlung eines dreidimensionalen Modelles der Oberfläche des Hohlorgans (10) mit umgebendem Gewebe,
    • einen vortrainierten maschinenlernenden Algorithmus (24), der dazu ausgebildet ist, die durch Einführung des Instruments zu erwartende Verformung des Hohlorgans (10) auf der Basis einer segmentierten medizinischen 3D-Aufnahme zu simulieren,
    • eine Recheneinrichtung (21) mit einem Prozessor zur Ausführung des vortrainierten maschinenlernenden Algorithmus (24), und
    • eine Anzeigevorrichtung (22) zur Anzeige des modellierten, durch das Instrument verformten Hohlorgans (13).
  19. System nach Anspruch 18, aufweisend ein Angiographie-röntgengerät (23) zur Aufnahme einer medizinischen 3D-Aufnahme von Hohlorganen mit umgebendem Gewebe.
EP19189356.9A 2019-07-31 2019-07-31 Verfahren zur verformungssimulation und vorrichtung Withdrawn EP3771449A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19189356.9A EP3771449A1 (de) 2019-07-31 2019-07-31 Verfahren zur verformungssimulation und vorrichtung
DE102020209416.0A DE102020209416A1 (de) 2019-07-31 2020-07-27 Verfahren zur Verformungssimulation und Vorrichtung
CN202010743272.6A CN112309574B (zh) 2019-07-31 2020-07-29 用于变形模拟的方法和装置
US16/943,037 US11883108B2 (en) 2019-07-31 2020-07-30 Method for deformation simulation and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP19189356.9A EP3771449A1 (de) 2019-07-31 2019-07-31 Verfahren zur verformungssimulation und vorrichtung

Publications (1)

Publication Number Publication Date
EP3771449A1 true EP3771449A1 (de) 2021-02-03

Family

ID=67514390

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19189356.9A Withdrawn EP3771449A1 (de) 2019-07-31 2019-07-31 Verfahren zur verformungssimulation und vorrichtung

Country Status (4)

Country Link
US (1) US11883108B2 (de)
EP (1) EP3771449A1 (de)
CN (1) CN112309574B (de)
DE (1) DE102020209416A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020201928A1 (de) 2020-02-07 2021-08-12 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur Deformationskorrektur
US11538163B1 (en) 2022-01-06 2022-12-27 Rowan University Training a neural network for a predictive aortic aneurysm detection system
CN114663840B (zh) * 2022-05-13 2022-08-23 浙江有色地球物理技术应用研究院有限公司 隧道环境的巡检设备监控方法及系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6939138B2 (en) * 2000-04-12 2005-09-06 Simbionix Ltd. Endoscopic tutorial system for urology
SG165160A1 (en) * 2002-05-06 2010-10-28 Univ Johns Hopkins Simulation system for medical procedures
EP1805744A2 (de) * 2004-08-10 2007-07-11 The General Hospital Corporation Verfahren und vorrichtungen zur simulation von endovaskulären und endoluminalen prozeduren
CN1871998A (zh) * 2006-04-20 2006-12-06 北京思创贯宇科技开发有限公司 一种血管三维重建及虚拟支架置入的方法和系统
CN101627411B (zh) * 2007-01-16 2014-03-19 西姆博尼克斯有限公司 用于执行模拟的图像导引医疗过程的设备和方法
US20080317195A1 (en) 2007-06-20 2008-12-25 Kabushiki Kaisha Toshiba Medical-diagnosis assisting apparatus, medical-diagnosis assisting method, and radiodiagnosis apparatus
JP2009022733A (ja) * 2007-06-20 2009-02-05 Toshiba Corp 医用診断支援装置、医用診断支援方法、及び放射線診断装置
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US10360817B2 (en) * 2010-06-30 2019-07-23 Stuart Charles Segall Wearable partial task surgical simulator
CN103198202B (zh) * 2012-12-19 2017-05-17 首都医科大学 颅内动脉瘤介入治疗支架植入图像仿真方法
KR101703564B1 (ko) * 2015-01-28 2017-02-08 주식회사 인피니트헬스케어 혈관 정보를 포함하는 의료 영상을 디스플레이하는 장치 및 방법
CN107979991B (zh) * 2015-04-23 2020-06-12 主动脉公司 对假体植入物进行解剖映射的设备和方法
FR3037785B1 (fr) * 2015-06-26 2017-08-18 Therenva Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
US10282588B2 (en) * 2016-06-09 2019-05-07 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data
US11071450B2 (en) * 2016-06-29 2021-07-27 Ace Vision Group, Inc. System and methods using real-time predictive virtual 3D eye finite element modeling for simulation of ocular structure biomechanics
CN107067856B (zh) * 2016-12-31 2020-03-27 歌尔科技有限公司 一种医学模拟训练系统和方法
US20180308395A1 (en) * 2017-04-20 2018-10-25 Stanley V. Kulkaski Utility Marker assembly and method of the same
CN107491633A (zh) * 2017-06-30 2017-12-19 上海联影医疗科技有限公司 一种图像处理的方法及装置
CN107705855B (zh) * 2017-09-21 2020-05-12 北京众绘虚拟现实技术研究院有限公司 一种支持个性化的经皮冠状动脉成形术模拟训练系统及方法
US10636142B2 (en) * 2018-04-20 2020-04-28 Siemens Healthcare Gmbh Real-time and accurate soft tissue deformation prediction
US11416069B2 (en) * 2018-09-21 2022-08-16 Immersivetouch, Inc. Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
EP3666210B1 (de) * 2018-12-14 2024-02-21 Siemens Healthineers AG Planungsunterstützung für einen interventionellen eingriff sowie entsprechende geräte und computerprogramme
JP7286380B2 (ja) * 2019-04-01 2023-06-05 国立大学法人 東京大学 医用画像処理装置及び医用画像処理プログラム
CN109979600A (zh) * 2019-04-23 2019-07-05 上海交通大学医学院附属第九人民医院 基于虚拟现实的眼眶手术训练方法、系统和存储介质
US11571266B1 (en) * 2021-12-10 2023-02-07 Ix Innovation Llc Robotic surgical system for insertion of surgical implants

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
No Search *
PFISTER ET AL.: "Hybrid learning algorithms for neural networks", ZEITSCHRIFT FÜR ANGEWANDTE MATHEMATIK UND MECHANIK, vol. 76, no. 1, 1996
ROY ET AL.: "Finite element analysis of abdominal aortic aneurysms: geometrical and structural reconstruction with application of an anisotropic material model", IMA J APPL MATH, vol. 79, no. 5, 2014, pages 1011 - 1026
TOTH ET AL.: "Adaption of 3D Models to 2D X-ray Images during Endovascular Abdominal Aneurysm Repair", PROC. OF THE MICCAI WORKSHOP, 2015, pages 339 - 346, XP047413833, doi:10.1007/978-3-319-24553-9_42

Also Published As

Publication number Publication date
US11883108B2 (en) 2024-01-30
CN112309574A (zh) 2021-02-02
DE102020209416A1 (de) 2021-02-04
CN112309574B (zh) 2024-07-26
US20210030475A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
DE102008014792B3 (de) Verfahren und Vorrichtung zur Simulation eines Blutflusses in einem Gefäßabschnitt
DE102020209416A1 (de) Verfahren zur Verformungssimulation und Vorrichtung
DE102019208496B4 (de) Computerimplementierte Verfahren und Vorrichtungen zum Bereitstellen eines Differenzbilddatensatzes eines Untersuchungsvolumens und zum Bereitstellen einer trainierten Generatorfunktion
DE102014201134A1 (de) Verfahren und Vorrichtung zur Erzeugung eines 2-D-Projektionsbildes eines Gefäßsystems
DE102019200270A1 (de) Bereitstellen eines Differenzbilddatensatzes und Bereitstellen einer trainierten Funktion
DE102019212929A1 (de) Registrieren eines 2D Bildes mit einem 3D Bild
DE102016222102A1 (de) Behandlungsplanung für eine Stenose in einem Gefäßsegment anhand einer virtuellen hämodynamischen Analyse
DE102010018460B4 (de) Verfahren zur Ermittlung wenigstens einer Änderung einer tubulären Gewebestruktur eines Lebewesens, Recheneinheit und Datenträger
DE602004009826T2 (de) Dreidimensionale rekonstruktion eines objekts aus projektionsfotografien
EP3640893A1 (de) Verfahren zur rekonstruktion eines dreidimensionalen ergebnisbilddatensatzes
DE102016212882A1 (de) Verfahren zur Planungsunterstützung bei einem interventionellen Eingriff und System
EP3666210A1 (de) Planungsunterstützung für einen interventionellen eingriff
DE102020201928A1 (de) Verfahren zur Deformationskorrektur
DE10312193A1 (de) Verfahren zum Betreiben eines bildgebenden medizinischen Untersuchungsgeräts
DE102021214741B3 (de) Verfahren zum Generieren von synthetischen Röntgenbildern, Steuereinheit und Computerprogramm
DE102010039407B3 (de) Verfahren zum Bereitstellen eines Hilfsmittels zur Verwendung bei der therapeutischen Behandlung eines körperlichen Objekts
DE102019217576B4 (de) Identifizieren und Bereitstellen von Fehlausrichtungsbildmerkmalen
DE102009043213A1 (de) Effiziente Korrektur von Polychromieeffekten bei der Bildrekonstruktion
DE102018215958A1 (de) Verfahren zur Ermittlung eines Befähigungsvorgangs, diesen nutzenden Verfahren zur Einstellung eines dosisbezogenen Aufnahmeparameters, Röntgeneinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102021210283A1 (de) Erzeugen eines Zwischenbildes
DE102019215001B4 (de) Verfahren zur Bildunterstützung bei der Navigation und System
DE102019213813B4 (de) Bereitstellen eines Prognosedatensatzes
EP3783570B1 (de) Computerimplementiertes verfahren zur rekonstruktion von medizinischen bilddaten
DE102021201855A1 (de) Verfahren zur Rauschreduzierung in einem Röntgenbild, Bildverarbeitungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102013200163B4 (de) Verfahren, Schätzeinheit und Computertomografiesystem zur computertomografiebasierten näherungsweisen Ermittlung eines Gefäßdurchmessers

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20210804