EP3441936A1 - Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger - Google Patents

Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger Download PDF

Info

Publication number
EP3441936A1
EP3441936A1 EP17185866.5A EP17185866A EP3441936A1 EP 3441936 A1 EP3441936 A1 EP 3441936A1 EP 17185866 A EP17185866 A EP 17185866A EP 3441936 A1 EP3441936 A1 EP 3441936A1
Authority
EP
European Patent Office
Prior art keywords
data
image data
information
algorithm
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP17185866.5A
Other languages
English (en)
French (fr)
Other versions
EP3441936B1 (de
Inventor
Michael Sühling
Thomas Flohr
Stefan Reichelt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to EP17185866.5A priority Critical patent/EP3441936B1/de
Priority to US16/059,197 priority patent/US10779787B2/en
Publication of EP3441936A1 publication Critical patent/EP3441936A1/de
Application granted granted Critical
Publication of EP3441936B1 publication Critical patent/EP3441936B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the invention relates to a method for evaluating image data of a patient after a minimally invasive procedure on a lesion, in particular a tumor ablation on a tumor, whereby a pre-interventional image dataset showing the lesion and an intra- and / or post-interventional second image dataset showing the intervention area are evaluated ,
  • the invention relates to an evaluation device, a computer program and an electronically readable data carrier.
  • a minimally invasive, medical instrument for example a treatment needle and / or a catheter
  • a minimally invasive, medical instrument is usually guided to the lesion, whereupon the corresponding intervention, ie the intervention, takes place there.
  • An example of this is the ablative treatment of tumors (tumor ablation), where both primary tumors and metastases can be treated in essentially all areas of the body.
  • Tumor ablation is a technique in which cells and tissues are to be destroyed in a controlled manner, in particular by temperature treatment (heating or cooling).
  • Commonly used treatment techniques include radiofrequency ablation (RFA), microwave ablation (MWA), and cryoablation.
  • CT computed tomography
  • the minimally invasive procedure is often based on preinterventional image data, for example three-dimensional planning data sets which sufficiently clearly show the lesion and also on minimally invasive image monitoring can be used as overlay images.
  • preinterventional image data for example three-dimensional planning data sets which sufficiently clearly show the lesion and also on minimally invasive image monitoring can be used as overlay images.
  • Corresponding techniques for assisting a person performing an intervention by image monitoring have already been variously described in the prior art.
  • the problem with such minimally invasive lesions treating a lesion is that today the success or failure of the minimally invasive procedure due to the recorded image data and / or other information can not be reliably assessed.
  • the outcome of the treatment is usually assessed visually and qualitatively by a person performing the procedure, based on image data acquired during or immediately after the minimally invasive procedure, including intra- and / or post-interventional image data. After the assessment is made by a person considering the image data, the result of the evaluation is to be described as subjective and person-dependent.
  • the image data sets for example CT scans, use changing image impressions, for example boundaries of necrotic tissue, cavitations or so-called ground glass opacities (GGO) around the lesion.
  • GGO ground glass opacities
  • a tumor diameter may decrease or not change during the procedure, depending on the tumor type.
  • the result is situations in which the treatment is "exaggerated", thus over-treatment is made, which is an unnecessary risk or unnecessary complication to the patient.
  • the treatment is not sufficient, remaining portions of the tumor can lead to disease progression, which also poses a risk to the patient.
  • the current state of the art allows a reliable assessment of the treatment success only after the implementation of the minimally invasive procedure, for example based on follow-up images.
  • the problem here is that short-term, effective corrective measures, in particular further ablative interventions, are no longer possible on this time scale.
  • the invention is therefore based on the object of providing an improved assessment of the treatment success of a minimally invasive procedure in terms of time closer to the intervention, in particular during and / or immediately after the procedure.
  • a data-driven approach is proposed to allow an objective assessment of the outcome of the treatment early during or after the procedure to allow for early and optimal patient management.
  • an objective evaluation information describing the change in the intervention area or the lesion specifically describing the lesion is provided, which provides an excellent basis for judgment and evaluation Consequently, a resulting diagnostic statement that must be made by a treating person forms.
  • methods of artificial intelligence or machine learning can be used particularly advantageously in this area.
  • These approaches do not require explicit physical modeling, for example, without physical models that describe heat transfer based on differential equations.
  • various suitable concrete evaluation algorithms of artificial intelligence can be used.
  • a neural network and / or a random forest algorithm can be used as the evaluation algorithm.
  • a particularly advantageous embodiment of the present invention provides that at least part of the property data and / or properties of the evaluation algorithm to be used as input data are defined by a training algorithm training the evaluation algorithm, in particular a deep learning algorithm. If techniques of the so-called “Deep Learning" are used, the training algorithm is thus immediately provided with the image data so that it can learn the physical relationships therein and can suitably select those correlations or correlations of the best descriptive properties of the image data as well as the evaluation algorithm can be configured to this. In particular, it is conceivable that the training algorithm at least partially defines itself the suitable properties to be derived from the image data. Such properties may also be referred to as "deep learning properties".
  • At least a part of the property data to be used as input data is selected from candidate data describing a predefined set of candidate properties. If, for example, examinations, scientific analyzes and the like already show candidate properties from which a strong connection with the change information is hoped for, a training algorithm, in particular also the deep-learning training algorithm, can be offered accordingly, which can optionally simplify the training process as a whole if suitable input data within the candidate data can already be found here.
  • a particularly advantageous embodiment of the present invention provides that the recording parameters associated with the image data sets and used for the acquisition of image data of the image data records are used as input data of the evaluation algorithm and / or for determining the property data.
  • the image interpretation it is often not irrelevant how the corresponding image was created, for example, with which intensity contours are emitted in an X-ray image, which contrasts are reproduced by the image data, for example in a magnetic resonance image and the like. This can have an influence both on the specific determination of the property data for this image data and for the work of the evaluation algorithm itself, since then the total bandwidth of possible acquisition parameters for the image data can be covered and taken into account in the relationships described by the evaluation algorithm.
  • General acquisition parameters relate, for example, to the acquisition time, contrast agent properties, the imaged region of the patient, the image acquisition modality or image acquisition device used, acquisition geometry parameters, and the like.
  • the dose and / or the energy spectrum of the X-rays are to be mentioned in particular.
  • the image data comprises multi-energy X-ray image data with associated energy spectrum information.
  • the multi-energy X-ray imaging especially the dual-energy X-ray imaging, provides a large amount of additional information due to the partially dependent on the beam energy distribution absorption properties of different materials, which can be particularly advantageously exploited in the context of both machine learning and the application of the execution algorithm in its entirety.
  • the so-called spectral CT should be mentioned.
  • a set of feature data that has been found to be suitable includes identification and position information about the lesion and / or the lesion surrounding anatomical structures, in particular as annotated regions, and / or instrument information used in relation to the image data visible instrument information.
  • Property data of this kind can be derived from the image data at least partially or completely automatically by using modern algorithms, as described in various ways in the prior art.
  • identification and position information on anatomical structures indicates the nature and extent of these anatomical structures surrounding the target lesion, preferably for all times covered by image data.
  • the position and extent of organs can be described here, with a particularly advantageous embodiment for thermal tumor ablation and / or other thermal treatments providing that heat conduction information describing heat conduction paths be taken into account as specific property data during thermal treatments at the lesion , In particular, this can cause blood vessels and / or airways which can act as heat sinks during minimally invasive surgery.
  • property data in this context may also include biophysical tissue properties associated with the identified anatomical structures, which may also be considered as part of the overall set of properties. Similar explanations also relate to the lesion, whereby it is particularly advantageous here if all times covered by image data are taken into account, ie for all these times the identification and the extent of the lesion are known as the target region. Already algorithms have been proposed for this, which can automatically determine this information.
  • the determination of the feature data may also include instrument detection if the instrument is seen in the image data and localization, resulting in geometry data and the position of instruments and / or other devices within the image data.
  • Geometry data for the instrument can expediently be derived from the intervention procedure data describing the intervention, for example from a CAD model of the instrument.
  • Another set of possible property data includes shape and texture properties of the image data descriptive property data that may also be used in the present invention.
  • properties described by the property data include at least one element of the following group: characteristic derived from at least one intensity histogram, in particular mean values, entropy and central moments; Molding properties, such as size, density, eccentricity, sphericity, and / or compactness; Image texture properties such as intra-tumor heterogeneity, Gabor jets and results of LoG, edge filters and / or wavelets; Image voxel relationships, for example the maximum length of identical image values, information on gray levels in the vicinity of a picture element and / or dependency matrices; fractal properties; and spectral CT characteristics, such as an iodine map and / or virtual native images.
  • the patient information and / or diagnosis information and / or intervention information describing the patient are additionally used as input data of the evaluation algorithm and / or for determining the property data.
  • the evaluation can therefore be further improved by further consideration of non-image information.
  • Such non-image information can include, as intervention information, in particular the type of intervention (for example RF ablation, microwave ablation or cryoablation), the intervention times (for example starting and end points of the use of an instrument), the energy introduced, measured temperatures (for example by additionally introduced temperature measuring devices) , Instrument geometries and properties and the like and / or as patient data, for example, information such as clotting characteristics of the patient, given medication, gender of the patient, age of the patient and / or size of the patient include.
  • intervention information in particular the type of intervention (for example RF ablation, microwave ablation or cryoablation), the intervention times (for example starting and end points of the use of an instrument), the energy introduced, measured temperatures (for example by additionally introduced temperature measuring devices) , Instrument geometries and properties and the like and / or as patient data, for example, information such as clotting characteristics of the patient, given medication, gender of the patient, age of the patient and / or size of the patient include.
  • the property data and / or further input data can each be assigned a classification information permitting temporal and / or spatial classification.
  • the evaluation algorithm it is expedient to allocate, in particular therefore add, to the individual properties and / or the further information, if possible, at least partially temporal and / or spatial classification information, so that these too can be taken into account by the evaluation algorithm.
  • individual property data about the lesion may be assigned the times at which the image data from which this property data is derived were, were recorded and the like. Consequently, in other words, a spatial-temporal mapping of the properties and possibly of the further information about the times at which image data and possibly further information are available can take place.
  • the change information and / or output information derived therefrom are output to a user.
  • An expedient embodiment in this context provides that from the change information, an evaluation representation to be displayed overlaid on at least one of the image data is generated and evaluated. In this way, important changes in addition to the image data can be displayed to make it easier to understand.
  • a particularly advantageous further development of the invention can also provide that as an evaluation representation or further evaluation representation, a visual reproduction of at least a part of the image data superimposed on the property data to be displayed is generated and output correspondingly superimposed. In this way, essential image properties can be visualized in the image data itself, so that ultimately a visual proof for the result described by the change information is output to a user.
  • the user himself mentally can again check the result of the evaluation algorithm or at least include the evaluation representation in his final assessment of the engagement result.
  • a patient for whom change information has been determined has a basic truth whose image data and basic truth, and in particular deviation information, are used as training data for further training of the algorithm.
  • this basic truth can be used to further improve the evaluation algorithm and thus to realize a constantly learning system whose evaluation aids are becoming more sound and reliable.
  • the training of the evaluation algorithm takes place on the part of a central back-end device using training data of several medical infrastructure devices.
  • the results or basic truths and image data of various medical infrastructure facilities, in particular clinics can be brought together in order to create a particularly high-quality evaluation algorithm with suitable input data on a large database.
  • This evaluation algorithm can then be made available in particular to the medical infrastructure facilities that have also provided training data.
  • a central backend device for training also has the advantage that there can be used a large computing power dedicated for this purpose, which can also be used in the following to be able to make updates in the presence of new training data, for example, due to the evaluation algorithm itself judged cases and the same.
  • image data in the context of the present invention in a common coordinate system, which of course also applies to image data in which the patient is in different positions.
  • image data recorded in different coordinate systems and / or movement states of the patient are registered with one another. This allows an optimal, implicit or explicit comparison to be made of features visible in images and the like.
  • image data from different points in time are also combined in a common coordinate system.
  • the registration may include an intensity adjustment and / or based on landmarks, such as matching anatomical structures and / or lesions.
  • the invention also relates to an evaluation device having at least one arithmetic processor, designed to carry out the method according to the invention. All statements relating to the method according to the invention can be analogously transferred to the evaluation device according to the invention, so that even with this already mentioned advantages can be achieved.
  • the evaluation device may in particular comprise a training unit, a property data acquisition unit and an evaluation unit. Other units may be an output unit, a registration unit, various subunits, and the like.
  • the evaluation device can have a communication interface to a picture archiving system (PACS) and / or to an image recording device, in particular an image recording device used for monitoring the image, and / or an information system, for example a hospital information system (HIS) and / or a radiology information system (RIS) At least partially retrieve image data and / or for the purpose of determining property data or information to be used as further input data.
  • PACS picture archiving system
  • an image recording device in particular an image recording device used for monitoring the image
  • an information system for example a hospital information system (HIS) and / or a radiology information system (RIS)
  • HIS hospital information system
  • RIS radiology information system
  • a computer program according to the invention can be loaded directly into a memory of an evaluation device and has program means for carrying out the steps of a method described herein when the computer program is executed in the evaluation device.
  • the computer program can be stored on an electronically readable data carrier according to the invention, which thus contains electronically readable control information stored thereon, which at least comprise a said computer program and are configured such that they perform a method described herein when using the data carrier in an evaluation device.
  • the data carrier can be a non-transient data carrier, for example a CD-ROM.
  • Fig. 1 shows a schematic diagram for explaining an embodiment of the method according to the invention, which is to be used herein in the context of the assessment of the success of a tumor ablation.
  • X-ray is used as a preparatory image acquisition modality and as a modality for image monitoring of the minimally invasive procedure, which is performed here with a needle as an instrument.
  • an X-ray device with a C-arm which can also be CT-capable, can be used in an intervention space as an image recording device.
  • a training process initially takes place in which training data is used to determine input data for an evaluation algorithm and the evaluation algorithm itself, which is an artificial intelligence algorithm, here a random forest algorithm.
  • an artificial intelligence algorithm here a random forest algorithm.
  • a deep-learning algorithm is used, which attaches directly to image data contained in the training data.
  • the aim is an evaluation algorithm that contains a change information about the treated lesion, here a tumor, which in turn can be used to judge the success of the procedure. For example, a degree of reduction of the lesion may be sought as change information and / or a property change or the like.
  • the respective image data which in the present case contains a pre-interventional image data record and an intra- and / or post-interventional image data record, are assigned as ground truth, in particular, such change information as the evaluation algorithm is to determine at the end.
  • the deep-learning training algorithm recognizes the relationships and selects suitable property data as input data of the evaluation algorithm from predetermined property data describing characteristics of the image data and / or defines properties itself that can enter into the evaluation algorithm via corresponding property data as input data.
  • there are also intervention information and patient information which can also be used as input data for the evaluation algorithm.
  • the training algorithm finds out the correlations or correlations in the image data or other potential input data for the change information by machine learning, parameterizes the evaluation algorithm and defines the input data that it requires.
  • Fig. 1 now shows the concrete use of a so determined evaluation algorithm in a specific intervention on a patient, so that as soon as possible during or after the procedure the success of the procedure can be assessed on the basis of the change information.
  • a pre-interventional image data set 1 here a CT data set, which was used for planning and overlay representations during the image support of the intervention
  • a intra-and / or postinterventionellen image data set 2 the present during and immediately after the procedure recorded X-ray images or reconstructed therefrom three-dimensional X-ray images contains as image data.
  • An evaluation device carrying out the method can receive the image data sets 1, 2 in this case, for example, from a picture archiving system (PACS) connected via a communication interface, an image recording device directly and / or from an information system (HIS / RIS).
  • PACS picture archiving system
  • HIS / RIS information system
  • the respective image data of the image data sets 1, 2 are also associated with acquisition parameters, such as acquisition times, contrast agent properties, x-ray doses, x-ray energy spectra and the like, which may be relevant for the evaluation algorithm and / or the preceding determination of the property data, which will now be described.
  • acquisition parameters such as acquisition times, contrast agent properties, x-ray doses, x-ray energy spectra and the like, which may be relevant for the evaluation algorithm and / or the preceding determination of the property data, which will now be described.
  • an overall step 3 which, as shown, may contain sub-steps, the image data records 1, 2 are evaluated in order to determine the addressed property data to be used as input data for the evaluation algorithm.
  • a registration step 4 may also be included, which converts image data recorded in different coordinate systems and / or different movement states of the patient into a common coordinate system.
  • a sub-step 5 deals with the anatomical image analysis. Identification and position information about the lesion and / or the anatomical structures surrounding the lesion are automatically determined using algorithms which are fundamentally known in the prior art.
  • segmentation algorithms, anatomical atlases and the like can be used by way of example.
  • potential heat sinks which could dissipate treatment heat, for example blood vessels and / or airways in the lungs, are also identified in particular.
  • biophysical tissue properties descriptive parameters can be determined. It is expedient in any case to have endnoted regions at the end.
  • Sub-step 6 is concerned with the image analysis of the image data, in which the instrument used, here as mentioned a needle, is included in order to determine corresponding identification and position information relating to this instrument, again using basically known algorithms, for example segmentation algorithms .
  • intervention information 9 which will be discussed in more detail below, may already contain geometric information about the medical instrument that can be used here, cf. the corresponding dashed arrow.
  • later discussing patient data 8 can also be partially taken into account in substeps 5, 6.
  • Sub-step 7 deals with the determination of property data, shape and texture properties of image data concerning more abstract properties. These relate to various image features, such as properties of histograms, environmental information about specific ones Picture elements, fractal properties and the like. Property data relating to properties defined as useful by the training algorithm itself are also determined in this sub-step 7.
  • the particularly advantageous effect of the fact that the image data sets 1 and / or 2 spectral CT data, so multi-energy X-ray data is used. It is possible to define and / or derive significantly more useful image properties from such multi-energy X-ray data, for example calculating out contrast media and the like.
  • the property data contain, where appropriate, also a time allocation (recording time of the image data from which they were derived) and a spatial assignment as classification information, so that therefore within the overall step 3, a kind temporal and / or spatial mapping of the property data can be done ,
  • the input data for the evaluation algorithm to be used in a step 1 is compiled.
  • the input data comprise the property data determined in the overall step 3 and may additionally contain at least portions of the intervention data 9 and the patient data 8.
  • the intervention data 9 describe the minimally invasive procedure and can therefore contain information such as intervention times, energy used, measured temperatures, instrument geometry and the like.
  • Patient data 8 may include, for example, blood clotting properties, medicines administered, and the like.
  • the change information 12 can, for example, represent a classification of the intervention result into different classes (residual tumor present, tumor completely removed and the like), so that the evaluation algorithm in this regard can also be understood as a classifier.
  • success probabilities, degrees of change, and the like may also be determined as change information that help a user make the final judgment of the engagement success immediately after the procedure.
  • the corresponding image data can be used together with further input data of the evaluation algorithm and the basic truth and, if appropriate, deviation information, which relates the deviation of the ground truth from the change information that has been determined as further training data to update the evaluation algorithm.
  • Fig. 2 shows a highly abstracted schematic diagram of an evaluation device 13 according to the invention, with which the inventive method can be performed.
  • this has a training unit 14 for training the evaluation algorithm, a registration unit 15 for registering image data, a property data determination unit 16 for performing the overall step 3, an aggregation unit 17 for compiling the input data (Step 10), an evaluation unit 18 for implementing the evaluation algorithm and an output unit 19 for outputting the change information 12, information derived therefrom and / or the evaluation representation, for which, for example, a corresponding output means 20 can be controlled.
  • a communication interface 21 which among other things can use the aggregation unit 17, there is access to various external data sources, for example a picture archiving system 22, an information system 23 and the memory of an image recording device 24.
  • various external data sources for example a picture archiving system 22, an information system 23 and the memory of an image recording device 24.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

Verfahren zur Auswertung von Bilddaten eines Patienten nach einem minimalinvasiven Eingriff an einer Läsion, insbesondere einer Tumorablation an einem Tumor, wobei ein präinterventioneller, die Läsion zeigender Bilddatensatz (1) und ein intra-und/oder postinterventioneller zweiter, das Eingriffsgebiet zeigender Bilddatensatz (2) ausgewertet werden, dadurch gekennzeichnet, dass aus den Bilddatensätzen (1, 2) wenigstens teilweise automatisch Eigenschaften der Bilddaten beschreibende Eigenschaftsdaten abgeleitet werden, welche einem mit Trainingsdaten, denen eine Grundwahrheit zugeordnet ist, anderer Patienten trainierten Auswertungsalgorithmus der künstlichen Intelligenz als Eingangsdaten bereitgestellt werden, welcher aus den Eigenschaftsdaten eine die Veränderung der Läsion und/oder im Eingriffsgebiet durch den Eingriff beschreibende Veränderungsinformation (12) ermittelt.

Description

  • Die Erfindung betrifft ein Verfahren zur Auswertung von Bilddaten eines Patienten nach einem minimalinvasiven Eingriff an einer Läsion, insbesondere einer Tumorablation an einem Tumor, wobei ein präinterventioneller, die Läsion zeigender Bilddatensatz und ein intra- und/oder postinterventioneller zweiter, das Eingriffsgebiet zeigender Bilddatensatz ausgewertet werden. Daneben betrifft die Erfindung eine Auswerteeinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger.
  • In der Vergangenheit wurden bereits eine Vielzahl minimalinvasiver Interventionstechniken zur Behandlung von Läsionen, insbesondere Tumoren, innerhalb eines Patienten vorgeschlagen. Hierbei wird üblicherweise ein minimalinvasives, medizinisches Instrument, beispielsweise eine Behandlungsnadel und/oder ein Katheter, zur Läsion geführt, woraufhin dort entsprechend der behandelnde Eingriff, also die Intervention, erfolgt. Ein Beispiel hierfür ist die ablative Behandlung von Tumoren (Tumorablation), wobei sowohl primäre Tumoren als auch Metastasen in im Wesentlichen allen Bereichen des Körpers behandelt werden können. Die Tumorablation ist eine Technik, in der kontrolliert Zellen und Gewebe zerstört werden sollen, insbesondere durch Temperaturbehandlung (Erhitzen oder Abkühlen). Häufig eingesetzte Behandlungstechniken umfassen die perkutane Hochfrequenzablation (Radio Frequency Ablation - RFA), die Mikrowellenablation (Microwave Ablation - MWA) und die Kryoablation.
  • Minimalinvasive Eingriffe, insbesondere Tumorablationen, werden dabei häufig unter Bildüberwachung durchgeführt. Dabei werden Bilddaten des Eingriffsgebiets und der zu behandelnden Läsion mittels einer Bildaufnahmeeinrichtung, beispielsweise einer Röntgeneinrichtung, aufgenommen. Insbesondere wurde auch die Computertomographie (CT) als Hilfsmittel zur Navigation bei minimalinvasiven Eingriffen vorgeschlagen.
  • Neben den während und/oder zum Abschluss des minimalinvasiven Eingriffes entstehenden Bilddatensätzen (intra- und/oder postinterventionelle Bilddaten) liegen dem minimalinvasiven Eingriff häufig auch präinterventionelle Bilddaten zugrunde, beispielsweise dreidimensionale Planungsdatensätze, die die Läsion hinreichend deutlich zeigen und bei der Bildüberwachung der minimalinvasiven Eingriffs auch als Überlagerungsbilder eingesetzt werden können. Entsprechende Techniken zur Unterstützung einer einen Eingriff durchführenden Person durch Bildüberwachung sind im Stand der Technik bereits vielfältig beschrieben worden.
  • Problematisch bei solchen minimalinvasiven, eine Läsion behandelnden Eingriffen ist, dass der Erfolg bzw. Misserfolg des minimalinvasiven Eingriffes aufgrund der aufgenommenen Bilddaten und/oder sonstigen Informationen heute nicht verlässlich beurteilt werden kann. In der klinischen Praxis wird das Ergebnis der Behandlung üblicherweise visuell und qualitativ durch eine den Eingriff durchführende Person beurteilt, wobei als Basis Bilddaten dienen, die während oder unmittelbar nach dem minimalinvasiven Eingriff aufgenommen wurden, mithin auch intra- und/oder postinterventionellen Bilddaten. Nachdem die Beurteilung durch Betrachtung der Bilddaten seitens einer Person vorgenommen wird, ist das Beurteilungsergebnis als subjektiv und personenabhängig zu bezeichnen. In den Bilddatensätzen, beispielsweise CT-Scans, werden wechselnde Bildeindrücke herangezogen, beispielsweise Begrenzungen nekrotischen Gewebes, Kavitationen oder sogenannte "Ground Glass Opacities" (GGO) um die Läsion. Ein Tumordurchmesser kann abnehmen oder sich nicht während des Eingriffs verändern, abhängig vom Tumortyp. Das Ergebnis sind Situationen, in denen die Behandlung "übertrieben" wird, mithin eine zu starke Behandlung vorgenommen wird, die ein unnötiges Risiko bzw. eine unnötige Komplikation für den Patienten darstellt. Auf der anderen Seite können dann, wenn die Behandlung nicht hinreichend ist, verbleibende Anteile des Tumors zu einem Fortschreiten der Krankheit führen, was ebenso ein Risiko für den Patienten darstellt.
  • Mithin ermöglich der heutige Stand der Technik eine verlässliche Beurteilung des Behandlungserfolgs erst deutlich nach dem Durchführen des minimalinvasiven Eingriffs, beispielsweise basierend auf Folge-Bildaufnahmen. Problematisch hierbei ist, dass kurzfristig angesetzte, effektive Korrekturmaßnahmen, insbesondere weitere ablative Eingriffe, auf dieser Zeitskala nicht mehr möglich sind.
  • Der Erfindung liegt daher die Aufgabe zugrunde, eine verbesserte Beurteilung des Behandlungserfolgs eines minimalinvasiven Eingriffs zeitlich näher an dem Eingriff, insbesondere während und/oder unmittelbar nach dem Eingriff, zu schaffen.
  • Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass aus den Bilddatensätzen wenigstens teilweise automatisch Eigenschaften der Bilddaten beschreibende Eigenschaftsdaten abgeleitet werden, welche einem mit Trainingsdaten, denen eine Grundwahrheit zugeordnet ist, anderer Patienten trainierten Auswertungsalgorithmus der künstlichen Intelligenz als Eingangsdaten bereitgestellt werden, welcher aus den Eigenschaftsdaten eine die Veränderung der Läsion und/oder im Eingriffsgebiet durch den Eingriff beschreibende Veränderungsinformation ermittelt.
  • Erfindungsgemäß wird also ein datengetriebenes Vorgehen vorgeschlagen, um eine objektive Beurteilung des Behandlungsergebnisses früh während bzw. nach dem Eingriff zu ermöglichen, um frühes und optimales Patientenmanagement zu erlauben. Mit der Veränderungsinformation wird eine objektive, die stattgefundene Veränderung im Eingriffsgebiet bzw. konkret an der Läsion beschreibende Auswertungsinformation bereitgestellt, die eine hervorragende Grundlage für eine Beurteilung und mithin eine daraus folgende diagnostische Aussage, die von einer behandelnden Person getroffen werden muss, bildet. Dabei hat sich gezeigt, dass Methoden der künstlichen Intelligenz bzw. des maschinellen Lernens sich besonders vorteilhaft in diesem Gebiet einsetzen lassen. Diese Vorgehensweisen kommen ohne explizite physikalische Modellierung aus, beispielsweise ohne physikalische Modelle, die die Wärmeübertragung basierend auf Differentialgleichungen beschreiben. Durch rein datengetriebenes Vorgehen, bei dem sich insbesondere der im Training des Auswertungsalgorithmus verwendete Trainingsalgorithmus die physikalischen Zusammenhänge und Korrelationen selbst erschließt, kann auf subjektive und/oder gegebenenfalls falsche Annahmen im Wesentlichen verzichtet werden.
  • Dabei können verschiedene geeignete konkrete Auswertungsalgorithmen der künstlichen Intelligenz eingesetzt werden. Vorzugsweise kann als Auswertungsalgorithmus ein neuronales Netz und/oder ein Random-Forest-Algorithmus verwendet werden.
  • Eine besonders vorteilhafte Ausgestaltung der vorliegenden Erfindung sieht vor, dass wenigstens ein Teil der als Eingangsdaten zu verwendenden Eigenschaftsdaten und/oder Eigenschaften des Auswertungsalgorithmus durch einen den Auswertungsalgorithmus trainierenden Trainingsalgorithmus, insbesondere einen Deep-Learning-Algorithmus, definiert werden. Werden Techniken des sogenannten "Deep Learning" verwendet, werden dem Trainingsalgorithmus mithin unmittelbar die Bilddaten bereitgestellt, so dass dieser die darin vorhandenen physikalischen Zusammenhänge lernen kann und die diese Zusammenhänge bzw. Korrelationen am besten beschreibenden Eigenschaften der Bilddaten genauso auswählen kann wie der Auswertungsalgorithmus geeignet abgestimmt auf diese konfiguriert werden kann. Insbesondere ist es denkbar, dass der Trainingsalgorithmus die geeigneten, aus den Bilddaten abzuleitenden Eigenschaften zumindest teilweise selbst definiert. Derartige Eigenschaften können auch als "Deep-Learning-Eigenschaften" bezeichnet werden.
  • Alternativ oder zusätzlich ist es im Rahmen der vorliegenden Erfindung auch denkbar, dass wenigstens ein Teil der als Eingangsdaten zu verwendenden Eigenschaftsdaten aus einer vorgegebenen Menge an Kandidateneigenschaften beschreibenden Kandidatendaten ausgewählt werden. Sind beispielsweise aus Untersuchungen, wissenschaftlichen Analysen und dergleichen bereits Kandidateneigenschaften bekannt, von welchen man sich einen starken Zusammenhang mit der Veränderungsinformation erhofft, können einem Trainingsalgorithmus, insbesondere auch dem Deep-Learning-Trainingsalgorithmus, diese entsprechend angeboten werden, was gegebenenfalls den Trainingsprozess insgesamt vereinfachen kann, wenn hier bereits geeignete Eingangsdaten innerhalb der Kandidatendaten aufgefunden werden können.
  • Eine besonders vorteilhafte Weiterbildung der vorliegenden Erfindung sieht vor, dass als Eingangsdaten des Auswertungsalgorithmus und/oder zur Ermittlung der Eigenschaftsdaten zusätzlich den Bilddatensätzen zugeordnete, zur Aufnahme von Bilddaten der Bilddatensätze verwendete Aufnahmeparameter verwendet werden. Bei der Bildinterpretation ist es häufig nicht irrelevant, wie das entsprechende Bild entstanden ist, beispielsweise mit welcher Intensität Konturen in einem Röntgenbild abgegeben werden, welche Kontraste durch die Bilddaten beispielsweise bei einem Magnetresonanzbild wiedergegeben werden und dergleichen. Dies kann sowohl Einfluss auf die konkrete Ermittlung der Eigenschaftsdaten für diese Bilddaten haben als auch für die Arbeit des Auswertungsalgorithmus selbst, da dann die insgesamte Bandbreite von möglichen Aufnahmeparametern für die Bilddaten abgedeckt und in den durch den Auswertungsalgorithmus beschriebenen Zusammenhängen berücksichtigt werden können. Allgemeine Aufnahmeparameter betreffen beispielsweise die Aufnahmezeit, Kontrastmitteleigenschaften, den abgebildeten Bereich des Patienten, die verwendete Bildaufnahmemodalität bzw. Bildaufnahmeeinrichtung, Aufnahmegeometrieparameter und dergleichen. Speziell für Röntgenbilddaten sind hierbei insbesondere auch die Dosis und/oder das Energiespektrum der Röntgenstrahlen zu nennen. Besonders vorteilhaft ist es ferner, wenn wenigstens ein Teil der Bilddaten Multienergie-Röntgenbilddaten mit zugeordneten Energiespektreninformationen umfasst. Die Mehrenergie-Röntgenbildgebung, insbesondere die Dualenergie-Röntgenbildgebung, liefert aufgrund der teilweise von der Strahlenenergieverteilung abhängigen Absorptionseigenschaften unterschiedlicher Materialien eine große Menge zusätzlicher Informationen, die besonders vorteilhaft im Rahmen sowohl des maschinellen Lernens als auch der Anwendung des Ausführungsalgorithmus in ihrer Gänze ausgenutzt werden können. Dabei ist insbesondere die sogenannte Spektral-CT zu nennen. Durch die Einbettung in ein künstliche Intelligenz verwendendes datengetriebenes System kann diese Vielzahl von Informationen möglichst weitgehend berücksichtigt und genutzt werden.
  • Im Rahmen der vorliegenden Erfindung können eine Vielzahl von Eigenschaftsdaten verwendet und in Betracht gezogen werden. Eine Gruppe von Eigenschaftsdaten, die sich als geeignet erwiesen hat, umfasst Identifikations- und Positionsinformationen zu der Läsion und/oder die Läsion umgebenden anatomischen Strukturen, insbesondere als annotierte Regionen, und/oder ein verwendetes, in den Bilddaten sichtbares Instrument betreffende Instrumentinformationen. Derartige Eigenschaftsdaten können, wie im Stand der Technik vielfältig beschrieben, durch Verwendung moderner Algorithmen zumindest teilweise oder auch vollständig automatisch aus den Bilddaten abgeleitet werden. Identifikations- und Positionsinformationen zu anatomischen Strukturen geben beispielsweise die Art und Ausdehnung dieser anatomischen Strukturen, die die Zielläsion umgeben, an, bevorzugt für alle durch Bilddaten abgedeckte Zeitpunkte. Beispielsweise können hierbei die Position und Ausdehnung von Organen, wie Leber oder Lunge, beschrieben werden, wobei eine besonders vorteilhafte Ausgestaltung bei der thermischen Tumorablation und/oder sonstigen thermischen Behandlungen vorsieht, dass als spezielle Eigenschaftsdaten bei thermischen Behandlungen an der Läsion Wärmeleitungswege beschreibende Wärmeleitungsinformationen berücksichtigt werden. Insbesondere können hierdurch Blutgefäße und/oder Luftwege beschrieben werden, die als Wärmesenken während des minimalinvasiven Eingriffs wirken können. Optional können Eigenschaftsdaten in diesem Kontext auch biophysikalische Gewebeeigenschaften, die den identifizierten anatomischen Strukturen zugeordnet sind, umfassen, die ebenso als Teil des gesamten Eigenschaftssatzes berücksichtigt werden können. Ähnliche Ausführungen betreffen auch die Läsion, wobei es hier besonders vorteilhaft ist, wenn alle durch Bilddaten abgedeckten Zeitpunkte berücksichtigt werden, mithin für alle diese Zeitpunkte die Identifikation und die Ausdehnung der Läsion als Zielregion bekannt sind. Auch hierfür wurden bereits Algorithmen vorgeschlagen, die diese Information automatisch bestimmen können.
  • Die Ermittlung der Eigenschaftsdaten kann auch eine Instrumentendetektion, falls das Instrument in den Bilddaten zu sehen ist, und -lokalisierung umfassen, was in Geometriedaten und der Position von Instrumenten und/oder sonstigen Einrichtungen innerhalb der Bilddaten resultiert. Geometriedaten zu dem Instrument können dabei zweckmäßigerweise aus den Eingriff beschreibenden Eingriffsdaten (Intervention Procedure Data) abgeleitet werden, beispielsweise aus einem CAD-Modell des Instruments.
  • Eine weitere Gruppe möglicher Eigenschaftsdaten umfasst Form- und Textureigenschaften der Bilddaten beschreibende Eigenschaftsdaten, die im Rahmen der vorliegenden Erfindung ebenso verwendet werden können. Dabei kann vorgesehen sein, dass durch die Eigenschaftsdaten beschriebene Eigenschaften wenigstens ein Element der folgenden Gruppe umfassen: Aus wenigstens einem Intensitätshistogramm abgeleitete Kenngröße, insbesondere Mittelwerte, Entropie und Zentralmomente; Formeigenschaften, beispielsweise Größe, Dichte, Exzentrizität, Sphärizität und/oder Kompaktheit; Bildtextureigenschaften wie Intra-Tumor-Heterogenität, Gabor-Jets und Ergebnisse von LoG, Kantenfiltern und/oder Wavelets; Bildvoxelbeziehungen, beispielsweise die maximale Länge gleicher Bildwerte, Angaben zu Graustufen in der Umgebung eines Bildelements und/oder Abhängigkeitsmatrizen; Fraktaleigenschaften; und Eigenschaften der Spektral-CT, beispielsweise eine Jod-Karte und/oder virtuelle Nativbilder.
  • In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass als Eingangsdaten des Auswertungsalgorithmus und/oder zur Ermittlung der Eigenschaftsdaten zusätzlich den Patienten betreffende Patienteninformationen und/oder Diagnoseinformationen und/oder den Eingriff beschreibende Eingriffsinformationen verwendet werden. Die Auswertung kann mithin durch weitere Berücksichtigung von Nicht-Bild-Informationen nochmals deutlich verbessert werden. Derartige Nicht-Bild-Informationen können als Eingriffsinformationen insbesondere die Eingriffsart (beispielsweise RF-Ablation, Mikrowellenablation oder Kryoablation), die Eingriffszeitpunkte (beispielsweise Anfangs- und Endpunkte der Anwendung eines Instruments), die eingebrachte Energie, gemessene Temperaturen (beispielsweise durch zusätzlich eingebrachte Temperaturmesseinrichtungen), Instrumentengeometrien und -eigenschaften und dergleichen und/oder als Patientendaten beispielsweise Informationen wie Blutgerinnungseigenschaften des Patienten, gegebene Medikation, Geschlecht des Patienten, Alter des Patienten und/oder Größe des Patienten umfassen.
  • Zweckmäßigerweise können den Eigenschaftsdaten und/oder weiteren Eingangsdaten jeweils eine zeitliche und/oder räumliche Einordnung erlaubende Einordnungsinformationen zugeordnet werden. Spätestens beim Zusammenstellen der Eingangsdaten, beispielsweise als ein Eingangsdatenvektor, für den Auswertungsalgorithmus ist es zweckmäßig, den einzelnen Eigenschaften und/oder ggf. den weiteren Informationen, womöglich, wenigstens teilweise zeitliche und/oder räumliche Einordnungsinformationen zuzuordnen, insbesondere also zuzufügen, so dass auch diese von dem Auswertungsalgorithmus berücksichtigt werden können. Beispielsweise können einzelnen Eigenschaftsdaten zu der Läsion die Zeitpunkte zugordnet werden, zu denen die Bilddaten, aus denen diese Eigenschaftsdaten abgeleitet wurden, aufgenommen wurden und dergleichen. Es kann mithin mit anderen Worten ein räumlich-zeitliches Kartieren der Eigenschaften und ggf. der weiteren Informationen über die Zeitpunkte, zu denen Bilddaten und gegebenenfalls weitere Informationen vorliegen, erfolgen.
  • Allgemein kann im Rahmen der vorliegenden Erfindung vorgesehen sein, dass die Veränderungsinformation und/oder daraus abgeleitete Ausgabeinformationen an einen Benutzer ausgegeben werden. Eine zweckmäßige Ausgestaltung in diesem Kontext sieht vor, dass aus der Veränderungsinformation eine wenigstens einem der Bilddaten überlagert darzustellende Auswertungsdarstellung erzeugt und ausgewertet wird. Auf diese Weise können wichtige Veränderungen zusätzlich zu den Bilddaten angezeigt werden, um diese besser verständlich zu gestalten. Eine besonders vorteilhafte Weiterbildung der Erfindung kann jedoch auch vorsehen, dass als Auswertungsdarstellung bzw. weitere Auswertungsdarstellung eine visuelle Wiedergabe von wenigstens einem Teil der Bilddaten überlagert darzustellenden Eigenschaftsdaten zu erzeugen und entsprechend überlagert auszugeben. Auf diese Weise können wesentliche Bildeigenschaften in den Bilddaten selbst visualisiert werden, so dass letztlich ein visueller Beleg für das durch die Veränderungsinformation beschriebene Ergebnis an einen Benutzer ausgegeben wird. Insbesondere ist es denkbar, dass der Benutzer selbst gedanklich das Ergebnis des Auswertungsalgorithmus nochmals überprüfen kann oder zumindest die Auswertungsdarstellung in seine letztendliche Beurteilung des Eingriffserfolgs einbezieht.
  • In einer besonders bevorzugten Ausgestaltung kann vorgesehen sein, dass dann, wenn zu einem Patienten, für den eine Veränderungsinformation bestimmt wurde, eine Grundwahrheit vorliegt, dessen Bilddaten und die Grundwahrheit, sowie insbesondere eine Abweichungsinformation, als Trainingsdaten zum weiteren Trainieren des Algorithmus verwendet werden. Sobald mithin für einen Patienten bekannt ist, ob der Eingriff erfolgreich war oder nicht bzw. welche Veränderung an der Läsion aufgetreten ist, kann diese Grundwahrheit genutzt werden, um den Auswertungsalgorithmus weiter zu verbessern und somit ein ständig lernendes System zu realisieren, dessen Auswertungshilfen immer fundierter und verlässlicher werden.
  • Im Rahmen der Erfindung kann vorgesehen sein, dass das Trainieren des Auswertungsalgorithmus seitens einer zentralen, Trainingsdaten mehrerer medizinischer Infrastruktureinrichtungen nutzenden Backendeinrichtung erfolgt. Auf diese Weise können die Ergebnisse bzw. Grundwahrheiten und Bilddaten verschiedenster medizinischer Infrastruktureinrichtungen, insbesondere von Kliniken, zusammengeführt werden, um auf einer großen Datenbasis einen besonders hochqualitativen Auswertungsalgorithmus mit geeigneten Eingangsdaten zu schaffen. Dieser Auswertungsalgorithmus kann dann insbesondere den medizinischen Infrastruktureinrichtungen wieder bereitgestellt werden, die auch Trainingsdaten bereitgestellt haben. Eine zentrale Backendeinrichtung zum Trainieren hat ferner den Vorteil, dass dort eine große Rechenleistung dediziert für diesen Zweck herangezogen werden kann, die auch im Folgenden genutzt werden kann, um bei Vorliegen neuer Trainingsdaten, beispielsweise aufgrund von dem Auswertungsalgorithmus selbst beurteilten Fällen, Aktualisierungen vornehmen zu können und dergleichen. Selbstverständlich ist es grundsätzlich jedoch auch denkbar, eine Recheneinrichtung einer medizinischen Infrastruktureinrichtung einzusetzen, um dort einen Trainingsvorgang durchzuführen.
  • Es sei an dieser Stelle noch angemerkt, dass selbstverständlich in verschiedenen Koordinatensystemen vorliegende Bilddaten im Rahmen der vorliegenden Erfindung in ein gemeinsames Koordinatensystem überführt werden, was selbstverständlich auch für Bilddaten gilt, bei denen sich der Patient in unterschiedlichen Positionen befindet. Anders gesagt kann vorgesehen sein, dass in unterschiedlichen Koordinatensystemen und/oder Bewegungszuständen des Patienten aufgenommene Bilddaten miteinander registriert werden. Dies ermöglicht einen optimalen, implizit oder explizit durchzuführenden Vergleich von in Bildern sichtbaren Merkmalen und dergleichen. Insbesondere werden hierbei auch Bilddaten von unterschiedlichen Zeitpunkten in ein gemeinsames Koordinatensystem zusammengeführt. Die Registrierung kann dabei eine Intensitätsanpassung umfassen und/oder auf Landmarken basieren, beispielsweise übereinstimmenden anatomischen Strukturen und/oder Läsionen.
  • Neben dem Verfahren betrifft die Erfindung auch eine Auswertungseinrichtung mit wenigstens einem Rechenprozessor, ausgebildet zur Durchführung des erfindungsgemäßen Verfahrens. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Auswertungseinrichtung übertragen, so dass auch mit dieser die bereits genannten Vorteile erreicht werden können.
  • Die Auswertungseinrichtung kann hierzu insbesondere eine Trainingseinheit, eine Eigenschaftsdatenermittlungseinheit und eine Auswertungseinheit umfassen. Weitere Einheiten können eine Ausgabeeinheit, eine Registrierungseinheit, verschiedene Subeinheiten und dergleichen sein. Die Auswertungseinrichtung kann eine Kommunikationsschnittstelle zu einem Bildarchivierungssystem (PACS) und/oder zu einer Bildaufnahmeeinrichtung, insbesondere einer zur Bildüberwachung des Eingriffs genutzten Bildaufnahmeeinrichtung, und/oder einem Informationssystem, beispielsweise einem Krankenhausinformationssystem (HIS) und/oder einem Radiologieinformationssystem (RIS) aufweisen, um Bilddaten und/oder zur Ermittlung von Eigenschaftsdaten bzw. als weitere Eingangsdaten zu verwendende Informationen wenigstens teilweise abzurufen.
  • Ein erfindungsgemäßes Computerprogramm ist direkt in einen Speicher einer Auswertungseinrichtung ladbar und weist Programmmittel auf, um die Schritte eines hierin beschriebenen Verfahrens auszuführen, wenn das Computerprogramm in der Auswertungseinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, welcher mithin darauf gespeicherte elektronisch lesbare Steuerinformationen umfasst, die zumindest ein genanntes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Auswertungseinrichtung ein hierin beschriebenes Verfahren durchführen. Bei dem Datenträger kann es sich um einen nichttransienten Datenträger, beispielsweise eine CD-ROM, handeln.
  • Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
    • Fig. 1
    ein Zusammenhangsdiagramm zu einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens, und
    Fig. 2
    eine Prinzipskizze einer erfindungsgemäßen Auswertungseinrichtung.
  • Fig. 1 zeigt eine Prinzipskizze zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, das vorliegend im Rahmen der Beurteilung des Erfolgs einer Tumorablation eingesetzt werden soll. Dabei wird als vorbereitende Bildaufnahmemodalität sowie als Modalität zur Bildüberwachung des minimalinvasiven Eingriffs, welcher hier mit einer Nadel als Instrument durchgeführt wird, Röntgen verwendet. Beispielsweise kann in einer Eingriffsräumlichkeit als Bildaufnahmeeinrichtung eine Röntgeneinrichtung mit einem C-Bogen verwendet werden, die auch CT-fähig ausgebildet sein kann.
  • Vorbereitend und in Fig. 1 noch nicht näher abgebildet, findet jedoch zunächst ein Trainingsvorgang statt, in dem Trainingsdaten verwendet werden, um Eingangsdaten für einen Auswertungsalgorithmus und den Auswertungsalgorithmus selbst, der ein Algorithmus der künstlichen Intelligenz, hier ein Random-Forest-Algorithmus ist, zu bestimmen. Dabei wird ein Deep-Learning-Algorithmus eingesetzt, der unmittelbar auf in den Trainingsdaten enthaltenden Bilddaten ansetzt. Ziel ist ein Auswertungsalgorithmus, der eine Veränderungsinformation über die behandelte Läsion, hier einen Tumor, enthält, welche wiederum benutzt werden kann, um den Erfolg des Eingriffs zu beurteilen. Beispielsweise kann ein Grad der Reduzierung der Läsion als Veränderungsinformation angestrebt werden und/oder eine Eigenschaftsveränderung oder dergleichen. In den Trainingsdaten ist den jeweiligen Bilddaten, die vorliegend einen präinterventionellen Bilddatensatz und einen intra- und/oder postinterventionellen Bilddatensatz enthalten, als Grundwahrheit insbesondere jeweils eine derartige Veränderungsinformation zugeordnet, wie sie der Auswertungsalgorithmus am Ende bestimmen soll. Der Deep-Learning-Trainingsalgorithmus erkennt die Zusammenhänge und wählt aus vorgegebenen, Eigenschaften der Bilddaten beschreibenden Eigenschaftsdaten geeignete Eigenschaftsdaten als Eingangsdaten des Auswertungsalgorithmus aus und/oder definiert selbst Eigenschaften, die über entsprechende Eigenschaftsdaten als Eingangsdaten in den Auswertungsalgorithmus eingehen können. Ferner liegen vorliegend als Trainingsdaten auch Eingriffsinformationen und Patienteninformationen vor, die ebenso als Eingangsdaten für den Auswertungsalgorithmus herangezogen werden können. Der Trainingsalgorithmus findet durch maschinelles Lernen die Zusammenhänge bzw. Korrelationen in den Bilddaten bzw. sonstigen potentiellen Eingangsdaten zu den Veränderungsinformationen heraus, parametriert den Auswertungsalgorithmus und definiert die Eingangsdaten, die dieser benötigt.
  • Dabei gilt selbstverständlich, dass auch jederzeit eine Aktualisierung stattfinden kann, mithin ein weiteres Training, wozu insbesondere tatsächlich beurteilte Eingriffe herangezogen werden können, zu denen zu einem späteren Zeitpunkt eine gesicherte Grundwahrheit vorliegt. Das Training des Auswertungsalgorithmus kann auf einer Backendeinrichtung, die Trainingsdaten verschiedener medizinischer Infrastruktureinrichtungen, beispielsweise Kliniken, nutzen kann, erfolgen.
  • Fig. 1 zeigt nun den konkreten Einsatz eines so bestimmten Auswertungsalgorithmus bei einem konkreten Eingriff an einem Patienten, so dass baldmöglichst während bzw. nach dem Eingriff der Erfolg des Eingriffs anhand der Veränderungsinformation beurteilt werden kann.
  • Um die Eingangsdaten für den Auswertungsalgorithmus zu bestimmen, wird auch im konkreten Fall von zwei Bilddatensätzen 1, 2 ausgegangen, nämlich einem präinterventionellen Bilddatensatz 1, hier einem CT-Datensatz, der zur Planung und für Überlagerungsdarstellungen während der Bildunterstützung des Eingriffs verwendet wurde, und einem intra- und/oder postinterventionellen Bilddatensatz 2, der vorliegend während und unmittelbar nach dem Eingriff aufgenommene Röntgenbilder bzw. hieraus rekonstruierte dreidimensionale Röntgenbilder als Bilddaten enthält. Eine das Verfahren durchführende Auswertungseinrichtung kann die Bilddatensätze 1, 2 dabei beispielsweise von einem über eine Kommunikationsschnittstelle angebundenen Bildarchivierungssystem (PACS), einer Bildaufnahmeeinrichtung direkt und/oder aus einem Informationssystem (HIS/RIS) erhalten.
  • Den jeweiligen Bilddaten der Bilddatensätze 1, 2 sind dabei auch Aufnahmeparameter zugeordnet, beispielsweise Aufnahmezeiten, Kontrastmitteleigenschaften, Röntgendosen, Röntgenenergiespektren und dergleichen, welche für den Auswertungsalgorithmus und/oder die vorangehende, nun zu beschreibende Ermittlung der Eigenschaftsdaten relevant sein können.
  • In einem Gesamtschritt 3, welcher, wie dargestellt, Unterschritte enthalten kann, werden die Bilddatensätze 1, 2 ausgewertet, um die angesprochenen Eigenschaftsdaten, die als Eingangsdaten für den Auswertungsalgorithmus verwendet werden sollen, zu ermitteln. In dem Gesamtschritt 3 kann auch ein Registrierungsschritt 4 enthalten sein, der in unterschiedlichen Koordinatensystemen und/oder unterschiedlichen Bewegungszuständen des Patienten aufgenommene Bilddaten in ein gemeinsames Koordinatensystem überführt.
  • Weitere Unterschritte befassen sich mit verschiedenen Arten, Eigenschaftsdaten zu ermitteln, wobei selbstverständlich die entsprechenden Unterschritte nur dann benötigt werden, wenn auch entsprechende Eigenschaftsdaten im Auswertungsalgorithmus tatsächlich eingesetzt werden sollen.
  • Ein Unterschritt 5 befasst sich mit der anatomischen Bildauswertung. Dabei werden Identifikations- und Positionsinformationen zu der Läsion und/oder die Läsion umgebenden anatomischen Strukturen mit im Stand der Technik grundsätzlich bekannten Algorithmen automatisch bestimmt. Hierbei können Segmentierungsalgorithmen, anatomische Atlanten und dergleichen beispielhaft eingesetzt werden. Vorliegend werden insbesondere auch potentielle Wärmesenken identifiziert, die Behandlungswärme abführen könnten, beispielsweise Blutgefäße und/oder Luftwege in der Lunge. Optional können biophysikalische Gewebeeigenschaften beschreibende Parameter ermittelt werden. Zweckmäßig ist es in jedem Fall, am Ende annotierte Regionen vorliegen zu haben.
  • Der Unterschritt 6 befasst sich mit der Bildauswertung der Bilddaten, in denen das verwendete Instrument, hier wie erwähnt eine Nadel, enthalten ist, um entsprechende Identifikations- und Positionsinformationen bezüglich dieses Instruments zu ermitteln, wobei wiederum grundsätzlich bekannte Algorithmen, beispielsweise Segmentierungsalgorithmen, eingesetzt werden können. In Eingriffsinformationen 9, auf die im Weiteren noch genauer eingegangen wird, können zudem auch bereits Geometrieinformationen zu dem medizinischen Instrument enthalten sein, die hier eingesetzt werden können, vgl. den entsprechenden gestrichelten Pfeil. In diesem Kontext sei auch angemerkt, dass auch später noch diskutierende Patientendaten 8 teilweise in Unterschritten 5, 6 berücksichtigt werden können.
  • Der Unterschritt 7 schließlich befasst sich mit der Ermittlung von abstraktere Eigenschaften betreffenden Eigenschaftsdaten, Form- und Textureigenschaften von Bilddaten. Diese beziehen sich auf verschiedene Bildmerkmale, beispielsweise Eigenschaften von Histogrammen, Umgebungsinformationen zu bestimmten Bildelementen, Fraktaleigenschaften und dergleichen. Auch durch den Trainingsalgorithmus selbst als nützlich definierte Eigenschaften betreffende Eigenschaftsdaten werden in diesem Unterschritt 7 ermittelt.
  • Es sei an dieser Stelle noch darauf hingewiesen, dass in diesem Ausführungsbeispiel auch der besonders vorteilhafte Effekt der Tatsache, dass die Bilddatensätze 1 und/oder 2 Spektral-CT-Daten, also Mehrenergie-Röntgendaten enthalten, genutzt wird. Aus solchen Multienergie-Röntgendaten lassen sich noch deutlich mehr nützliche Bildeigenschaften definieren und/oder ableiten, beispielsweise Kontrastmittel herausrechnen und dergleichen. Die Eigenschaftsdaten enthalten dabei jeweils, soweit sinnvoll, auch eine zeitliche Zuordnung (Aufnahmezeitpunkt der Bilddaten aus denen sie abgeleitet wurden) sowie eine räumliche Zuordnung als Einordnungsinformationen, so dass mithin innerhalb des Gesamtschritts 3 auch eine Art zeitliches und/oder räumliches Mapping der Eigenschaftsdaten erfolgen kann.
  • In einem Schritt 10 werden die Eingangsdaten für den in einem Schritt 1 zu nutzenden Auswertungsalgorithmus zusammengestellt. Die Eingangsdaten umfassen die im Gesamtschritt 3 ermittelten Eigenschaftsdaten und können zudem noch zumindest Anteile der Eingriffsdaten 9 und der Patientendaten 8 enthalten. Die Eingriffsdaten 9 beschreiben den minimalinvasiven Eingriff, können mithin Informationen wie Eingriffszeiten, eingesetzte Energie, gemessene Temperaturen, Instrumentengeometrie und dergleichen enthalten. Patientendaten 8 können beispielsweise Blutgerinnungseigenschaften, verabreichte Medikamente und dergleichen umfassen.
  • Nachdem alle Eingangsdaten für den Auswertungsalgorithmus der künstlichen Intelligenz zusammengestellt sind, wird dieser in einem Schritt 11 mit diesen Eingangsdaten ausgeführt, so dass die entsprechende wenigstens eine Veränderungsinformation 12 erhalten wird.
  • Die Veränderungsinformation 12 kann beispielsweise eine Klassifizierung des Eingriffsergebnisses in unterschiedliche Klassen (Residualtumor vorhanden, Tumor völlig entfernt und dergleichen) darstellen bzw. umfassen, so dass der Auswertungsalgorithmus in dieser Hinsicht auch als ein Klassifikator verstanden werden kann. Selbstverständlich können auch Erfolgswahrscheinlichkeiten, Veränderungsgrade und dergleichen als Veränderungsinformation bestimmt werden, die einem Benutzer helfen, die abschließende Beurteilung des Eingriffserfolgs unmittelbar nach dem Eingriff vorzunehmen.
  • Neben einer Darstellung der Veränderungsinformation 12 selber ist in diesem Ausführungsbeispiel auch vorgesehen, eine Auswertungsdarstellung zu erzeugen, in welcher wichtige Eigenschaftsdaten Bilddaten überlagert dargestellt werden, so dass ein visueller Beleg für die Veränderungsinformation für den Benutzer erzeugt werden kann.
  • Liegt zu dem hier beispielhaft begleitenden minimalinvasiven Eingriff zu einem späteren Zeitpunkt, beispielsweise aus einem später aufgenommenen Bilddatensatz oder dergleichen, eine Grundwahrheit über den Erfolg des minimalinvasiven Eingriffs vor, können die entsprechenden Bilddaten gemeinsam mit weiteren Eingangsdaten des Auswertungsalgorithmus und der Grundwahrheit sowie gegebenenfalls eine Abweichungsinformation, die die Abweichung der Grundwahrheit von der Veränderungsinformation, die bestimmt wurde, betrifft, als weitere Trainingsdaten verwendet werden, um den Auswertungsalgorithmus zu aktualisieren.
  • Fig. 2 zeigt eine stark abstrahierte Prinzipskizze einer erfindungsgemäßen Auswertungseinrichtung 13, mit der das erfindungsgemäße Verfahren ausgeführt werden kann. Diese weist vorliegend eine Trainingseinheit 14 zum Trainieren des Auswertungsalgorithmus, eine Registrierungseinheit 15 zur Registrierung von Bilddaten, eine Eigenschaftsdatenermittlungseinheit 16 zur Durchführung des Gesamtschrittes 3, eine Aggregationseinheit 17 zur Zusammenstellung der Eingangsdaten (Schritt 10), eine Auswertungseinheit 18 zur Realisierung des Auswertungsalgorithmus und eine Ausgabeeinheit 19 zur Ausgabe der Veränderungsinformation 12, daraus abgeleiteter Informationen und/oder der Auswertungsdarstellung, wofür beispielsweise ein entsprechendes Ausgabemittel 20 angesteuert werden kann, auf.
  • Über eine Kommunikationsschnittstelle 21, die unter anderem die Aggregationseinheit 17 nutzen kann, besteht Zugriff auf verschiedene externe Datenquellen, beispielsweise ein Bildarchivierungssystem 22, ein Informationssystem 23 und den Speicher einer Bildaufnahmeeinrichtung 24.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (15)

  1. Verfahren zur Auswertung von Bilddaten eines Patienten nach einem minimalinvasiven Eingriff an einer Läsion, insbesondere einer Tumorablation an einem Tumor, wobei ein präinterventioneller, die Läsion zeigender Bilddatensatz (1) und ein intra- und/oder postinterventioneller zweiter, das Eingriffsgebiet zeigender Bilddatensatz (2) ausgewertet werden, dadurch gekennzeichnet, dass aus den Bilddatensätzen (1, 2) wenigstens teilweise automatisch Eigenschaften der Bilddaten beschreibende Eigenschaftsdaten abgeleitet werden, welche einem mit Trainingsdaten, denen eine Grundwahrheit zugeordnet ist, anderer Patienten trainierten Auswertungsalgorithmus der künstlichen Intelligenz als Eingangsdaten bereitgestellt werden, welcher aus den Eigenschaftsdaten eine die Veränderung der Läsion und/oder im Eingriffsgebiet durch den Eingriff beschreibende Veränderungsinformation (12) ermittelt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Auswertungsalgorithmus ein neuronales Netz und/oder ein Random-Forest-Algorithmus verwendet werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass wenigstens ein Teil der als Eingangsdaten zu verwendenden Eigenschaftsdaten und/oder Eigenschaften des Auswertungsalgorithmus durch einen den Auswertungsalgorithmus trainierenden Trainingsalgorithmus, insbesondere einen Deep-Learning-Algorithmus, definiert werden.
  4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Teil der als Eingangsdaten zu verwendenden Eigenschaftsdaten aus einer vorgegebenen Menge an Kandidateneigenschaften beschreibenden Kandidatendaten ausgewählt werden.
  5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Eingangsdaten des Auswertungsalgorithmus und/oder zur Ermittlung der Eigenschaftsdaten zusätzlich den Bilddatensätzen (1, 2) zugeordnete, zur Aufnahme von Bilddaten der Bilddatensätze (1, 2) verwendete Aufnahmeparameter verwendet werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass wenigstens ein Teil der Bilddaten Multienergie-Röntgenbilddaten mit zugeordneten Energiespektreninformationen umfasst.
  7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Eigenschaftsdaten Identifikations- und Positionsinformationen zu der Läsion und/oder die Läsion umgebenden anatomischen Strukturen, insbesondere als annotierte Regionen, und/oder ein verwendetes, in den Bilddaten sichtbares Instrument betreffende Instrumentinformationen ermittelt werden.
  8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Eigenschaftsdaten Form- und Textureigenschaften der Bilddaten beschreibende Eigenschaftsdaten ermittelt werden.
  9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Eingangsdaten des Auswertungsalgorithmus und/oder zur Ermittlung der Eigenschaftsdaten zusätzlich den Patienten betreffende Patienteninformationen (8) und/oder Diagnoseinformationen und/oder den Eingriff beschreibende Eingriffsinformationen (9) verwendet werden.
  10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass den Eigenschaftsdaten und/oder weiteren Eingangsdaten jeweils eine zeitliche und/oder räumliche Einordnung erlaubende Einordnungsinformationen zugeordnet werden.
  11. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass aus der Veränderungsinformation und/oder wenigstens einem Teil der Eigenschaftsdaten eine wenigstens einem Teil der Bilddaten überlagert darzustellende Auswertungsdarstellung erzeugt und ausgegeben wird.
  12. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass dann, wenn zu einem Patienten, für den eine Veränderungsinformation bestimmt wurde, eine Grundwahrheit vorliegt, dessen Bilddatensätze (1, 2) und die Grundwahrheit, sowie insbesondere eine Abweichungsinformation, als Trainingsdaten zum weiteren Trainieren des Algorithmus verwendet werden.
  13. Auswertungseinrichtung (13) mit wenigstens einem Rechenprozessor, ausgebildet zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche.
  14. Computerprogramm, welches die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 12 durchführt, wenn es auf einer Recheneinrichtung ausgeführt wird.
  15. Elektronisch lesbarer Datenträger, auf dem ein Computerprogramm nach Anspruch 14 gespeichert ist.
EP17185866.5A 2017-08-11 2017-08-11 Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger Active EP3441936B1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17185866.5A EP3441936B1 (de) 2017-08-11 2017-08-11 Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger
US16/059,197 US10779787B2 (en) 2017-08-11 2018-08-09 Method for analyzing image data from a patient after a minimally invasive intervention, analysis apparatus, computer program and electronically readable data storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP17185866.5A EP3441936B1 (de) 2017-08-11 2017-08-11 Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger

Publications (2)

Publication Number Publication Date
EP3441936A1 true EP3441936A1 (de) 2019-02-13
EP3441936B1 EP3441936B1 (de) 2021-04-21

Family

ID=59713783

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17185866.5A Active EP3441936B1 (de) 2017-08-11 2017-08-11 Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger

Country Status (2)

Country Link
US (1) US10779787B2 (de)
EP (1) EP3441936B1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779787B2 (en) * 2017-08-11 2020-09-22 Siemens Healthcare Gmbh Method for analyzing image data from a patient after a minimally invasive intervention, analysis apparatus, computer program and electronically readable data storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210473A1 (de) * 2019-07-16 2021-01-21 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Bildgebung in der Computertomographie
CN110782474B (zh) * 2019-11-04 2022-11-15 中国人民解放军总医院 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
CN111666477B (zh) * 2020-06-19 2023-10-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置、智能设备及介质
CN111899186A (zh) * 2020-06-29 2020-11-06 深圳中兴网信科技有限公司 图像数据增强方法、系统、存储介质和堆场覆盖检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201735A1 (en) * 2006-02-23 2007-08-30 Lutz Gundel Method and apparatus for the improved automatic detection of salient features in medical image data
US20150087957A1 (en) * 2013-09-25 2015-03-26 Siemens Aktiengesellschaft Early therapy response assessment of lesions
DE102014212089A1 (de) * 2014-06-24 2015-07-23 Siemens Aktiengesellschaft Verfahren zur Bildüberwachung eines minimalinvasiven Eingriffs, Bildverarbeitungseinrichtung und Ultraschallbildaufnahmeeinrichtung

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8078262B2 (en) * 2001-04-16 2011-12-13 The Johns Hopkins University Method for imaging and spectroscopy of tumors and determination of the efficacy of anti-tumor drug therapies
US7343030B2 (en) * 2003-08-05 2008-03-11 Imquant, Inc. Dynamic tumor treatment system
WO2006093523A2 (en) * 2004-07-15 2006-09-08 Kenji Suzuki Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose ct
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
US7689016B2 (en) * 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US20070238992A1 (en) * 2006-02-01 2007-10-11 Sdgi Holdings, Inc. Implantable sensor
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US9248316B2 (en) * 2010-01-12 2016-02-02 Elekta Ltd. Feature tracking using ultrasound
US9208556B2 (en) * 2010-11-26 2015-12-08 Quantitative Insights, Inc. Method, system, software and medium for advanced intelligent image analysis and display of medical images and information
EP2656307B1 (de) * 2010-12-20 2017-07-05 Koninklijke Philips N.V. System und verfahren zur automatischen erzeugung von anfänglichen strahlenbehandlungsplänen
US9408540B2 (en) * 2012-02-27 2016-08-09 Ovio Technologies, Inc. Rotatable imaging system
US9370304B2 (en) * 2012-06-06 2016-06-21 The Regents Of The University Of Michigan Subvolume identification for prediction of treatment outcome
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法
US9730660B2 (en) * 2014-01-15 2017-08-15 Alara Systems, Inc. Converting low-dose to higher dose mammographic images through machine-learning processes
KR101600323B1 (ko) * 2014-03-28 2016-03-21 재단법인 경기과학기술진흥원 합다리나무 추출물을 유효성분으로 포함하는 천식 예방 또는 치료용 조성물
US20170281135A1 (en) * 2014-09-12 2017-10-05 Analogic Corporation Image Registration Fiducials
EP3109824B1 (de) * 2015-06-24 2019-03-20 RaySearch Laboratories AB System und verfahren zur handhabung von bilddaten
EP3478160A4 (de) * 2016-07-01 2020-04-08 Bostel Technologies, LLC Phonodermoskopie, medizinisches system und verfahren für die hautdiagnose
US20190015080A1 (en) * 2017-07-14 2019-01-17 Imorgon Medical LLC Medical Diagnostic Ultrasound Imaging System and Method for Receiving Information from a Server During An Examination of a Patient to Improve Workflow
EP3441936B1 (de) * 2017-08-11 2021-04-21 Siemens Healthcare GmbH Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201735A1 (en) * 2006-02-23 2007-08-30 Lutz Gundel Method and apparatus for the improved automatic detection of salient features in medical image data
US20150087957A1 (en) * 2013-09-25 2015-03-26 Siemens Aktiengesellschaft Early therapy response assessment of lesions
DE102014212089A1 (de) * 2014-06-24 2015-07-23 Siemens Aktiengesellschaft Verfahren zur Bildüberwachung eines minimalinvasiven Eingriffs, Bildverarbeitungseinrichtung und Ultraschallbildaufnahmeeinrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MADAY PETER ET AL: "Imaging as a Surrogate for the Early Prediction and Assessment of Treatment Response through the Analysis of 4-D Texture Ensembles (ISEPARATE)", NETWORK AND PARALLEL COMPUTING; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, vol. 6533 Chap.16, no. 558, 20 September 2010 (2010-09-20), pages 164 - 173, XP047442062, ISSN: 0302-9743, ISBN: 978-3-642-01969-2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779787B2 (en) * 2017-08-11 2020-09-22 Siemens Healthcare Gmbh Method for analyzing image data from a patient after a minimally invasive intervention, analysis apparatus, computer program and electronically readable data storage medium

Also Published As

Publication number Publication date
EP3441936B1 (de) 2021-04-21
US10779787B2 (en) 2020-09-22
US20190046148A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
EP3441936B1 (de) Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger
EP2044884B1 (de) Bestimmung und Erkennung von Lageänderungen von Körperstrukturteilen
DE10357203B4 (de) Verfahren und Steuereinrichtung zum Betrieb eines Magnetresonanztomographie-Geräts sowie Magnetresonanztomographie-Gerät
DE102005029242B4 (de) Verfahren zur Aufnahme und Auswertung von Bilddaten eines Untersuchungsobjekts und dazugehörige Einrichtung
DE102015226669A1 (de) Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
DE10311319A1 (de) Verfahren, System und Computerprodukt zur Planung eines Herzinterventionsverfahrens
DE102017221720B3 (de) Bereitstellen eines Patientenmodells eines Patienten
DE102015226400A1 (de) Automatisierte Ermittlung von Konturen auf Basis einer iterativen Rekonstruktion
EP3437559A1 (de) Ermitteln eines funktionsparameters betreffend eine lokale gewebefunktion für mehrere gewebebereiche
DE102022112136A1 (de) Medizinisches bildanalysegerät, verfahren und medizinisches bild, visualisierungsgerät und verfahren
DE102008047825B4 (de) Verfahren, Vorrichtung und Computerprogramm zum Darstellen verschiedener Bilder einer Kavität
DE102012205711B4 (de) Verfahren zum Betreiben eines bildgebenden Diagnosegerätes sowie medizinisches bildgebendes System
DE102020216306A1 (de) Computerimplementiertes Verfahren zum Betrieb einer medizinischen Bildgebungseinrichtung, Bildgebungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102014201321A1 (de) Bestimmung von Läsionen in Bilddaten eines Untersuchungsobjekts
EP3451286B1 (de) Verfahren zum segmentieren einer organstruktur eines untersuchungsobjekts in medizinischen bilddaten
EP3420902B1 (de) Verfahren zur ermittlung einer gewebeverteilungsinformation aus röntgenbilddaten, röntgeneinrichtung, computerprogramm und elektronisch lesbarer datenträger
DE102010000483A1 (de) Automatische Ergebnisanalyse unter Verwendung radiologischer Bilder
DE102013210252A1 (de) Automatische Generierung eines Auswahl-Bilddatensatzes
EP3226206A1 (de) Klassifizierung mittels aufnahmen
DE102015205493B4 (de) Betrieb einer medizinischen Bildgebungsvorrichtung
DE102019216745A1 (de) Anonymisierung von medizinischen Bilddaten
EP3797692B1 (de) Verfahren und vorrichtung zur ansteuerung eines medizinischen bildgebungsgeräts
DE102019213813B4 (de) Bereitstellen eines Prognosedatensatzes
DE102015222955B4 (de) Konturbestimmung zur Konfiguration eines Strahlentherapiegerätes
DE102012214593A1 (de) Verfahren und Vorrichtung zur Detektion eines körperfremden Objektes in einem Röntgenbild

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190503

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20201116

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017010121

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1385436

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210515

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20210421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210721

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210721

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210823

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210821

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210722

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502017010121

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220124

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20210831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210821

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210811

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210811

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20170811

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1385436

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220811

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220811

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230904

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230822

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231019

Year of fee payment: 7

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502017010121

Country of ref document: DE

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210421