DE102014212089A1 - Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device - Google Patents

Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device Download PDF

Info

Publication number
DE102014212089A1
DE102014212089A1 DE102014212089.6A DE102014212089A DE102014212089A1 DE 102014212089 A1 DE102014212089 A1 DE 102014212089A1 DE 102014212089 A DE102014212089 A DE 102014212089A DE 102014212089 A1 DE102014212089 A1 DE 102014212089A1
Authority
DE
Germany
Prior art keywords
image data
image
data set
ultrasound
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102014212089.6A
Other languages
German (de)
Inventor
Thomas Hartkens
Markus Kowarschik
Georg Nollert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102014212089.6A priority Critical patent/DE102014212089A1/en
Publication of DE102014212089A1 publication Critical patent/DE102014212089A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

Verfahren zur Bildüberwachung eines minimalinvasiven Eingriffs mit einem Instrument (11) in einem Eingriffsbereich eines Patienten (8), wobei ein präoperativer dreidimensionaler Bilddatensatz wenigstens des Eingriffsbereichs und während des Eingriffs aufgenommene Ultraschallbilder dargestellt werden, wobei eine elastische Registrierung zwischen wenigstens einem zuerst aufgenommenen Ultraschallbild und dem Bilddatensatz anhand wenigstens eines in dem zuerst aufgenommenen Ultraschallbild und dem Bilddatensatz sichtbaren Merkmals ermittelt wird und bei Aufnahme weiterer Ultraschallbilder durch Nachverfolgung der Merkmale insbesondere in Echtzeit aktualisiert wird, wobei die Darstellung wenigstens des dreidimensionalen Bilddatensatzes anhand der aktuellen Registrierung die nichtrigiden Verschiebungen im Eingriffsbereich wiedergebend angepasst wird. A method for image monitoring a minimally invasive intervention with an instrument (11) in an intervention region of a patient (8), wherein a preoperative three-dimensional image data set of at least the engagement region and recorded during the procedure ultrasound images are displayed, wherein an elastic registration between at least one first recorded ultrasound image and the Image data set is determined based on at least one visible in the first recorded ultrasound image and the image data record feature and is updated when recording further ultrasound images by tracking the features, in particular in real time, the representation of at least the three-dimensional image data set based on the current registry, the non-rigid shifts in the engagement area is reproduced adjusted ,

Figure DE102014212089A1_0001
Figure DE102014212089A1_0001

Description

Die Erfindung betrifft ein Verfahren zur Bildüberwachung eines minimalinvasiven Eingriffs mit einem Instrument in einem Eingriffsbereich eines Patienten, wobei ein präoperativer dreidimensionaler Bilddatensatz wenigstens des Eingriffsbereichs und während des Eingriffs aufgenommene Ultraschallbilder dargestellt werden, eine Bildverarbeitungseinrichtung und eine Ultraschallbildaufnahmeeinrichtung. The invention relates to a method for image monitoring of a minimally invasive intervention with an instrument in an intervention region of a patient, wherein a preoperative three-dimensional image data set of at least the engagement region and ultrasound images recorded during the procedure are represented, an image processing device and an ultrasound image acquisition device.

Der Anteil minimalinvasiver Eingriffe in der invasiven Chirurgie nimmt zu. Dabei werden Instrumente, beispielsweise eine Nadel, zu einem Zielort in einem Eingriffsbereich eines Patienten navigiert, wo beispielsweise Biopsien vorgenommen werden können, Medikamente eingebracht werden können, Resektionen vorgenommen werden können oder sonstige Behandlungsmöglichkeiten bestehen. Beispiele für solche minimalinvasiven Eingriffe sind die teilweise Resektion der Leber oder die teilweise Nephrektomie, also die operative Entfernung einer Niere. Auch die Behandlung von Steinen in verschiedenen Organen ist zu nennen. The proportion of minimally invasive surgery in invasive surgery is increasing. In this case, instruments, such as a needle, navigated to a destination in an intervention area of a patient, where, for example, biopsies can be made, drugs can be introduced, resections can be made or other treatment options exist. Examples of such minimally invasive procedures are the partial resection of the liver or the partial nephrectomy, ie the surgical removal of a kidney. Also, the treatment of stones in various organs can be mentioned.

Beispielsweise ist die perkutane renale Punktion (PRP) eine gängige chirurgische Prozedur, die der Extraktion von Nierensteinen durch ein Nephroskop vorangehen. Dabei wird perkutan eine lange, dünne Nadel in die schmalen Gänge der Niere eingeführt, wobei üblicherweise eine Bildüberwachung durch Fluoroskopiebilder oder Ultraschallbilder stattfindet. Diese Prozedur ist eine Alternative zur Lithotripsie oder Uteroskopie, wenn die Nierensteine in zu großer Anzahl vorliegen, zu groß sind oder nur schwer erreichbar sind. For example, percutaneous renal puncture (PRP) is a common surgical procedure that precedes the extraction of kidney stones by a nephroscope. A long, thin needle is inserted percutaneously into the narrow passages of the kidney, usually with image monitoring using fluoroscopic images or ultrasound images. This procedure is an alternative to lithotripsy or uteroscopy if the kidney stones are too large, too large, or difficult to reach.

Derartige minimalinvasive Eingriffe werden üblicherweise auf einem präoperativ aufgenommenen dreidimensionalen Bilddatensatz, dem so genannten Planungsbilddatensatz, vorbereitet. Ein derartiger dreidimensionaler Bilddatensatz zeigt den Eingriffsbereich in guter Auflösung und gutem Kontrast, so dass eine Pfadplanung für das Instrument zu dem dort auffindbaren Zielort vorgenommen werden kann. Häufig wird der dreidimensionale Bilddatensatz dabei durch Computertomographie-Bildgebung erzeugt. Im Beispiel der Nieren wird Patienten ein Kontrastmittel verabreicht. Eine frühe Aufnahme nach der Verabreichung des Kontrastmittels zeigt deutlich das Nierenparenchym, wohingegen eine späte Aufnahme nach der Gabe des Kontrastmittels die baumartigen internen Kavitäten der Niere hervorhebt. Wie bereits für das Beispiel der Nierenbehandlung angegeben wurde, wird intraoperativ häufig auch eine Überwachung des minimalinvasiven Eingriffs vorgenommen, um zu überprüfen, ob der geplante Pfad eingehalten wird und ob der Zielort erreicht ist. Hierzu werden häufig die röntgenbasierte Fluoroskopie oder die Ultraschallbildgebung eingesetzt. Such minimally invasive interventions are usually prepared on a preoperatively recorded three-dimensional image data set, the so-called planning image data set. Such a three-dimensional image data set shows the engagement area in good resolution and good contrast, so that a path planning for the instrument can be made to the destination that can be found there. Frequently, the three-dimensional image data set is generated by computed tomography imaging. In the example of the kidneys, a contrast agent is administered to patients. Early admission after administration of the contrast agent clearly shows the renal parenchyma, whereas late admission after administration of the contrast agent highlights the tree-like internal cavities of the kidney. As already indicated for the example of kidney treatment, intraoperative monitoring of the minimally invasive procedure is often performed to check whether the planned path is being followed and whether the destination has been reached. For this purpose, X-ray-based fluoroscopy or ultrasound imaging are frequently used.

Die meisten Eingriffsgebiete sind jedoch der langfristigen und kurzfristigen Bewegung unterworfen, so dass es zu Veränderungen in den Eingriffsgebieten kommen kann, sei es durch die Atmung und/oder den Herzschlag eines Patienten oder durch aufgrund einer Umlagerung auftretende Verschiebungen. Der den Eingriff durchführenden Person obliegt mithin die mitunter schwierige Aufgabe, eine geistige Übereinstimmung zwischen der statischen Darstellung des dreidimensionalen Bilddatensatzes, wobei häufig zweidimensionale Schichten aus diesem dreidimensionalen Bilddatensatz dargestellt werden, und den sich dynamisch verändernden intraoperativen Bildern herzustellen, um den Zielort im Zielbereich aufzufinden und den besten Weg, ihn zu erreichen, zu entscheiden. Wird intraoperativ Fluoroskopiebildgebung benötigt, entweder zusätzlich zu intraoperativer Ultraschallbildgebung oder anstatt intraoperativer Ultraschallbildgebung, werden der Patient und das anwesende Personal zusätzlichen Röntgendosen ausgesetzt, was möglichst vermieden werden soll. However, most areas of intervention are subject to long-term and short-term movement, which can lead to changes in the areas of intervention, be it through the breathing and / or heartbeat of a patient, or due to shifting due to rearrangement. The person performing the intervention thus has the sometimes difficult task of establishing a mental match between the static representation of the three-dimensional image data set, often displaying two-dimensional layers from this three-dimensional image data set, and the dynamically changing intraoperative images in order to find the destination in the target area and the best way to reach him, to decide. If intraoperative fluoroscopic imaging is required, either in addition to intraoperative ultrasound imaging or in place of intraoperative ultrasound imaging, the patient and the staff present are exposed to additional x-ray doses, which should be avoided as much as possible.

Zur Verbesserung der Situation bei solchen minimalinvasiven Eingriffen wurden bereits Studien durchgeführt, die hauptsächlich auf die Registrierung intraoperativer Ultraschallbilder mit präoperativ aufgenommenen dreidimensionalen Computertomographiebilddatensätzen abzielen. Hierbei sollen die interessierenden Strukturen überlagert werden. Eine solche Überlagerung, beispielsweise im Sinne einer Erweiterung der Ultraschallbilder, könnte die wichtigen Strukturen im Zielbereich, beispielsweise das Blutgefäßsystem, deutlich zeigen. Mithin würde eine akkurate Registrierung zwischen beiden Modalitäten grundsätzlich die Navigation und Unterstützung für die den Eingriff durchführende Person verbessern. Beispiele für solche Studien sind die Artikel von J. Xiang et al., „Registration of ultrasound to CT angiography of kidneys: a porcine phantom study“, in: Medical Imaging 2010: Visualization, Image-Guided Procedures, and Modeling, edited by Kenneth H. Wong, Michael I. Miga, Proc. of SPIE Vol. 7625, Seiten 18-1 bis 18-8, 2010 , und G. P. Penney et al., „Cadaver validation of intensity-based ultrasound to CT registration“, in: Medical Image Analysis 10, Seiten 385 bis 395, 2006 . Es sind auch bereits Ultraschallbildaufnahmeeinrichtungen bekannt, die eine automatische starre Registrierung zweidimensionaler Ultraschallbilder mit dreidimensionalen Computertomographiebilddatensätzen durch elektromagnetische Nachverfolgung erlauben. In order to improve the situation in such minimally invasive procedures, studies have already been carried out which mainly aim at the registration of intraoperative ultrasound images with preoperatively recorded three-dimensional computed tomography image data sets. Here, the structures of interest should be superimposed. Such an overlay, for example in the sense of an extension of the ultrasound images, could clearly show the important structures in the target area, for example the blood vessel system. Thus, accurate registration between both modalities would fundamentally improve navigation and support for the person performing the procedure. Examples of such studies are the articles of J. Xiang et al., "Registration of ultrasound to CT angiography of kidney's: a porcine phantom study", in: Medical Imaging 2010: Visualization, Image-Guided Procedures, and Modeling, edited by Kenneth H. Wong, Michael I. Miga , Proc. of SPIE Vol. 7625, pages 18-1 to 18-8, 2010 , and GP Penney et al., "Cadaver validation of intensity-based ultrasound to CT registration", in: Medical Image Analysis 10, pages 385 to 395, 2006 , Ultrasonic imaging devices are also already known which allow an automatic rigid registration of two-dimensional ultrasound images with three-dimensional computed tomography image data sets by means of electromagnetic tracking.

Allerdings tritt es bei Weichteilgewebe, wie bereits angedeutet, häufig auf, dass es sich elastisch verformt, so dass starre Registrierungsalgorithmen nicht ausreichend sind, um Strukturen präzise zu überlagern. Daher wurden nichtrigide, also elastische, Registrierungsalgorithmen entwickelt, um Ultraschallbilder und dreidimensionale Computertomographiebilddatensätze oder andere volumetrische Bilder, die unter Verwendung dreidimensionaler Bildgebungsmodalitäten aufgenommen wurden, herzustellen. Als Beispiel für solche Untersuchungen sei der Artikel von P. Foroughi et al., „Elastic registration of 3D Ultrasound Images“, in: Medical Image Computing and Computer-Assisted Intervention 8 (Teil 1), Seiten 83 bis 90, 2005 , genannt. However, as already indicated, in soft tissue it often occurs that it deforms elastically, so that rigid registration algorithms are not sufficient to form structures to superimpose precisely. Therefore, non-rigid, ie elastic, registration algorithms have been developed to produce ultrasound images and three-dimensional computed tomography image data sets or other volumetric images taken using three-dimensional imaging modalities. As an example of such investigations is the article of P. Foroughi et al., "Elastic Registration of 3D Ultrasound Images," in: Medical Image Computing and Computer-Assisted Intervention 8 (Part 1), pp. 83-90, 2005 , called.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur demgegenüber verbesserten Unterstützung einer einen Eingriff durchführenden Person bei einem minimalinvasiven Eingriff anzugeben. The invention has for its object to provide a method for contrast improved support of an interventionist performing a minimally invasive procedure.

Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass eine elastische Registrierung zwischen wenigstens einem zuerst aufgenommenen Ultraschallbild und dem Bilddatensatz anhand wenigstens eines in dem zuerst aufgenommenen Ultraschallbild und dem Bilddatensatz sichtbaren Merkmals ermittelt wird und bei Aufnahme weiterer Ultraschallbilder durch Nachverfolgung der Merkmale, insbesondere in Echtzeit, aktualisiert wird, wobei die Darstellung wenigstens des dreidimensionalen Bilddatensatzes anhand der aktuellen Registrierung die nichtrigiden Verschiebungen im Eingriffsbereich wiedergebend angepasst wird. To solve this problem, a method of the type mentioned is provided according to the invention that an elastic registration between at least one first recorded ultrasound image and the image data set is determined by at least one in the first recorded ultrasound image and the image data record visible feature and recording further ultrasound images by tracking the features, in particular in real time, is updated, wherein the representation of at least the three-dimensional image data set based on the current registry, the non-rigid shifts in the engagement area is reproduced adjusted.

Die Erfindung schlägt mithin vor, zunächst zu Beginn des Eingriffs eine elastische Registrierung zwischen dem dreidimensionalen Bilddatensatz und dem wenigstens einem zuerst aufgenommenen Ultraschallbild herzustellen, also entsprechende Registrierungsparameter zu ermitteln. Hierzu werden im weitesten Sinne Merkmale verwendet, die sowohl im dreidimensionalen Bilddatensatz als auch in den Ultraschallbildern erkennbar sind, wobei es sich sowohl um anatomische Merkmale als auch um andere bildverarbeitungstechnisch feststellbare Merkmale handeln kann, beispielsweise bestimmte Gradientenverläufe und dergleichen. Statt jedoch wie im Stand der Technik diese elastische Registrierung nun dauerhaft während des minimalinvasiven Eingriffs zu benutzen, wobei sich weitere elastische Deformationen im Eingriffsbereich lediglich aus den Ultraschallbildern ablesen lassen, wird vorgeschlagen, durch Nachverfolgung der Merkmale in Echtzeit die elastische Registrierung nachzuführen, so dass die aus den elastischen Deformationen herrührenden Verschiebungen bekannt sind. Diese Verschiebungen können dann auf den dreidimensionalen Bilddatensatz angewandt werden, um dessen Darstellung anhand der aktuellen elastischen Deformation des Gewebes im Eingriffsbereich aktuell halten zu können. Das bedeutet, die anatomischen Strukturen in dem dreidimensionalen Bilddatensatz passen auch weiterhin zu den anatomischen Strukturen in den zweidimensionalen oder dreidimensionalen aktuellen Ultraschallbildern. The invention therefore proposes initially to produce an elastic registration between the three-dimensional image data set and the at least one ultrasound image recorded first at the beginning of the procedure, that is to say to determine corresponding registration parameters. For this purpose, features are used in the broadest sense, which are recognizable both in the three-dimensional image data set and in the ultrasound images, which may be both anatomical features and other image processing technically detectable features, such as certain Gradientenverläufe and the like. However, instead of using this elastic registration permanently during the minimally invasive procedure, as in the prior art, with the result that further elastic deformations in the engagement area can only be read from the ultrasound images, it is proposed to track the elastic registration in real time by tracking the features, so that the From the elastic deformations resulting displacements are known. These shifts can then be applied to the three-dimensional image data set in order to be able to keep its representation up-to-date on the basis of the current elastic deformation of the tissue in the engagement region. That is, the anatomical structures in the three-dimensional image data set continue to match the anatomical structures in the two-dimensional or three-dimensional current ultrasound images.

Der dynamisch in Echtzeit verformte dreidimensionale Bilddatensatz kann dann entsprechend in Echtzeit visualisiert werden, beispielsweise durch Auswahl einer Schicht oder durch Ableitung einer zweidimensionalen Darstellung, beispielsweise durch Vorwärtsprojektion. Entsprechend wird durch die vorliegende Erfindung das Übereinstimmen anatomischer Strukturen in den Ultraschallbildern und dem dreidimensionalen Bilddatensatz ständig aktuell und präzise gehalten. Diese ständige Anpassung des dreidimensionalen Bilddatensatzes in Echtzeit unter Verwendung der aktuellen zweidimensionalen oder dreidimensionalen Ultraschallbilder führt zu einer erweiterten Wahrnehmung der Gewebedeformierung, wie sie während eines minimalinvasiven Eingriffs auftritt. In anderen Worten ist der bereits erwähnte mentale Abgleich der Live-Ultraschallbilder und der statischen dreidimensionalen Bilder stark vereinfacht, da die Echtzeit-Gewebedeformationen sowie das Eingriffs-Instrument in den dreidimensionalen Bilddatensatz in Echtzeit eingebettet werden können und geeignet und instantan dargestellt werden können. Für die Ultraschallbilder wird mithin eine Art „augmented reality“ geschaffen, nachdem diese um die sich mitbewegenden Informationen aus dem dreidimensionalen Bilddatensatz ergänzt werden können. The dynamically deformed in real time three-dimensional image data set can then be visualized accordingly in real time, for example by selecting a layer or by deriving a two-dimensional representation, for example by forward projection. Accordingly, by the present invention, the coincidence of anatomical structures in the ultrasound images and the three-dimensional image data set is kept up-to-date and accurate. This constant adaptation of the three-dimensional image data set in real time using the current two-dimensional or three-dimensional ultrasound images leads to an expanded perception of the tissue deformation that occurs during a minimally invasive procedure. In other words, the already mentioned mental alignment of the live ultrasound images and the static three-dimensional images is greatly simplified because the real-time tissue deformations as well as the interventional instrument can be embedded in the three-dimensional image dataset in real time and can be displayed appropriately and instantaneously. Thus, a kind of augmented reality is created for the ultrasound images, after they can be supplemented by the moving information from the three-dimensional image data set.

Zusätzlich zu dieser Verbesserung der Wahrnehmung der Anatomie in Echtzeit kann die vorliegende Erfindung zu einer signifikanten Reduzierung der Röntgendosis führen, nachdem durch die beschriebene Kombination der zweidimensionalen oder dreidimensionalen Ultraschallbildgebung in Kombination mit dem dargestellten Echtzeit-Update und der entsprechenden Darstellung des dynamisch deformierten dreidimensionalen Bilddatensatzes die fluoroskopische Bildgebungszeit und daher die Röntgendosis signifikant reduziert werden oder gar gänzlich vermieden werden kann, nachdem die relevanten Informationen auch aus dem deformierten dreidimensionalen Bilddatensatz abgeleitet werden können. In addition to this enhancement of real-time anatomy perception, the present invention can result in a significant reduction in X-ray dose after the described combination of two-dimensional or three-dimensional ultrasound imaging in combination with the illustrated real-time update and corresponding representation of the dynamically deformed three-dimensional image dataset fluoroscopic imaging time, and therefore the X-ray dose can be significantly reduced or even completely avoided, after the relevant information can also be derived from the deformed three-dimensional image data set.

Zusammenfassend schlägt die vorliegende Erfindung also vor, den präoperativen dreidimensionalen Bilddatensatz in Abhängigkeit der intraoperativen Ultraschallbildinformation zu deformieren, und zwar in Echtzeit. Das bedeutet, dass die Patientenbewegung im Eingriffsbereich, beispielsweise also die Bewegung des entsprechenden Organs, an dem eine Biopsie vorgenommen werden soll, aus den Live-Ultraschallbildern extrahiert wird und unmittelbar auf den statischen, präoperativen dreidimensionalen Bilddatensatz angewendet wird, so dass eine Echtzeit-Deformierung des dreidimensionalen Bilddatensatzes berechnet werden kann. Die vorliegende Erfindung kombiniert also Echtzeit-Registrierung, in der Merkmale nachverfolgt werden können, mit Echtzeit-Deformierung/-Modifizierung des präoperativen dreidimensionalen Bilddatensatzes. In summary, therefore, the present invention proposes to deform the preoperative three-dimensional image data set as a function of the intraoperative ultrasound image information, in real time. This means that the patient movement in the area of engagement, for example the movement of the corresponding organ on which a biopsy is to be performed, is extracted from the live ultrasound images and applied directly to the static, preoperative three-dimensional image data set, so that a real-time deformation of the three-dimensional image data set can be calculated. The present invention thus combines real-time registration, in which features can be tracked, with real-time Deformation / Modification of the preoperative three-dimensional image dataset.

Eine Weiterbildung des Verfahrens sieht vor, dass bei Verwendung einer dreidimensionalen Ultraschallbildaufnahmeeinrichtung zuerst ein dreidimensionales Ultraschallbild aufgenommen wird oder bei Verwendung einer zweidimensionalen Ultraschallbildaufnahmeeinrichtung zuerst mehrere zweidimensionale Ultraschallbilder unterschiedlicher Ebenen aufgenommen werden. Handelt es sich ohnehin um eine dreidimensionale Ultraschallbildaufnahmeeinrichtung, kann eine 3D-3D-Registrierung leicht auf Basis des zuerst aufgenommenen dreidimensionalen Ultraschallbildes und des dreidimensionalen Bilddatensatzes erfolgen. Wird bei Verwendung einer zweidimensionalen Ultraschallbildaufnahmeeinrichtung eine über eine 3D-2D-Registrierung hinaus gehende Registrierung gewünscht, kann vorgesehen sein, mehrere zweidimensionale Ultraschallbilder als zuerst aufgenommene Ultraschallbilder zu verwenden und diese in unterschiedlichen Ebenen aufzunehmen, um auch auf diese Weise eine komplette Registrierung über das Volumen des dreidimensionalen Bilddatensatzes oder zumindest den Eingriffsbereich zu erlauben. Dabei wird darauf hingewiesen, dass es in beiden Fällen grundsätzlich denkbar ist, die Registrierung nur in einer Ebene nachzuführen, in der ein zweidimensionales Ultraschallbild zur Überwachung des Eingriffs aufgenommen wird. A development of the method provides that, when using a three-dimensional ultrasound image recording device, first of all a three-dimensional ultrasound image is taken or, when using a two-dimensional ultrasound image recording device, first several two-dimensional ultrasound images of different planes are recorded. If a three-dimensional ultrasound image recording device is involved in any case, 3D 3D registration can easily be performed on the basis of the first recorded ultrasound image and the three-dimensional image dataset. If, when using a two-dimensional ultrasound image recording device, a registration going beyond a 3D-2D registration is desired, it is possible to use a plurality of two-dimensional ultrasound images as first recorded ultrasound images and to record them in different planes, in order in this way to obtain complete registration over the volume of the three-dimensional image data set or at least to allow the engagement area. It should be noted that in both cases it is basically conceivable to track the registration only in one plane, in which a two-dimensional ultrasound image is recorded for monitoring the procedure.

Besonders zweckmäßig ist es, wenn das Verfahren weitgehend oder gar vollständig automatisiert durchgeführt werden kann. Entsprechend ist es bevorzugt, wenn die Auswahl und/oder das Auffinden und/oder die Nachverfolgung der Merkmale automatisch durch eine Bildverarbeitungseinrichtung erfolgt. Wie die eingangs genannten Artikel zeigen, lassen sich Registrierungsverfahren zwischen Ultraschallbildern und dreidimensionalen Bilddatensätzen, insbesondere auf der Röntgenbildgebung basierenden dreidimensionalen Bilddatensätzen, bereits realisieren. Es ist jedoch auch denkbar, beispielsweise der Registrierung zugrunde zu legende und nachzuverfolgende Merkmale durch einen Benutzer zu Beginn des minimalinvasiven Eingriffs auswählen zu lassen. Eine automatische Auswahl hat den Vorteil, dass auch wiedererkennbare Strukturen, die für den Benutzer kaum sichtbar und/oder ungeeignet erscheinen, verwendet werden können. Das Auffinden der Merkmale kann durch Segmentierungsalgorithmen und sonstige bekannte Bildverarbeitungsverfahren geschehen; zur Nachverfolgung der Merkmale kann vorgesehen sein, einen Kalman-Filter einzusetzen. Verschiedene aus dem Stand der Technik bereits bekannte Bildverarbeitungsmethoden können im Rahmen der vorliegenden Erfindung mithin eingesetzt werden, um das Vorgehen möglichst weitgehend zu automatisieren. It is particularly useful if the method can be carried out largely or even completely automated. Accordingly, it is preferred if the selection and / or the locating and / or the tracing of the features is carried out automatically by an image processing device. As the articles mentioned at the beginning show, registration methods between ultrasound images and three-dimensional image data sets, in particular three-dimensional image data sets based on X-ray imaging, can already be realized. However, it is also conceivable, for example, to let the user select the features to be based on the registration and to track them at the beginning of the minimally invasive procedure. An automatic selection has the advantage that also recognizable structures that appear barely visible and / or unsuitable for the user can be used. The finding of the features can be done by segmentation algorithms and other known image processing methods; for tracing the features may be provided to use a Kalman filter. Various image processing methods already known from the prior art can therefore be used within the scope of the present invention in order to automate the procedure as far as possible.

Konkret können als Merkmale anatomische Merkmale und/oder Gradienten der Bilddaten und/oder wenigstens ein Abschnitt des Instruments und/oder künstliche Marker verwendet werden. Merkmale des Instruments lassen sich insbesondere zur initialen Registrierung dann einsetzen, wenn der dreidimensionale Bilddatensatz erst zu Beginn des minimalinvasiven Eingriffs bei bereits im Eingriffsbereich platziertem Instrument aufgenommen wird, beispielsweise bei Verwendung einer intraoperativ einsetzbaren Röntgeneinrichtung mit einem C-Bogen, mit der ebenso computertomographieartige dreidimensionale Bilddatensätze aus unter unterschiedlichen Projektionsrichtungen aufgenommenen Projektionsbilder aufgenommen werden können. Künstliche Marker können auf und/oder in dem Patienten verwendet werden, sind jedoch grundsätzlich weniger bevorzugt, da sie einen zusätzlichen Aufwand benötigen. Mithin werden als Merkmale bevorzugt ohnehin vorhandene anatomische Merkmale und/oder Gradienten der Bilddaten und/oder sonstige ohnehin vorgesehene Bildeigenschaften verwendet. Specifically, as features, anatomical features and / or gradients of the image data and / or at least a portion of the instrument and / or artificial markers may be used. Features of the instrument can be used in particular for initial registration when the three-dimensional image data set is taken only at the beginning of the minimally invasive procedure already placed in the intervention area instrument, for example, when using an intraoperative X-ray device with a C-arm, with the same computed tomography-like three-dimensional image data sets from recorded under different projection directions projection images can be recorded. Artificial markers may be used on and / or in the patient, but are generally less preferred because they require additional effort. Consequently, features which are present anyway are preferably used in any case existing anatomical features and / or gradients of the image data and / or other already provided image properties.

Wie bereits kurz dargelegt wurde, wird zweckmäßigerweise bei der Aufnahme von zweidimensionalen Ultraschallbildern einer Ebene während des minimalinvasiven Eingriffs die Aktualisierung der Registrierung für diese Ebene durchgeführt. Wird die Ebene während der Durchführung des minimalinvasiven Eingriffs verändert, kann eine neue initiale Registrierung erforderlich werden. As already briefly stated, it is expedient to perform the updating of the registration for this level when taking two-dimensional ultrasound images of a plane during the minimally invasive procedure. If the level is changed during the minimally invasive procedure, a new initial registration may be required.

Eine besonders vorteilhafte Ausgestaltung der vorliegenden Erfindung sieht vor, dass bei Eintritt eines automatisch überwachten und/oder durch eine Benutzereingabe erzeugten Triggerereignisses während des Eingriffs ein neuer dreidimensionaler Bilddatensatz mit einer intraoperativ einsetzbaren Zusatzbildaufnahmeeinrichtung aufgenommen wird und erneut eine elastische Registrierung ermittelt und nachgeführt wird. So kann es während des minimalinvasiven Eingriffs vorkommen, dass die interessierende Anatomie im Eingriffsbereich sich signifikant verändert, beispielsweise durch teilweise Resektionen, Hinzufügung von Implantaten, Aufsprengen störender anatomischer Strukturen und dergleichen. Als Ergebnis hiervon können nichtlineare Deformationen im Eingriffsbereich auftreten, die nicht durch elastische Registrierungsalgorithmen abgebildet werden können. Dabei kann es sogar auftreten, dass Bildregistrierung dieses Problem im Ganzen nicht lösen kann, da die zugrunde liegende Annahme einer Eins-zu-eins-Abbildung nicht mehr gültig ist, beispielsweise wenn Teile der Anatomie durch Resektion entfernt wurden. A particularly advantageous embodiment of the present invention provides that upon entry of an automatically monitored and / or generated by a user input trigger event during the procedure, a new three-dimensional image data set is recorded with intraoperatively usable additional image recording device and again an elastic registration is determined and tracked. Thus, during the minimally invasive procedure, it may happen that the anatomy of interest in the engagement area changes significantly, for example as a result of partial resections, addition of implants, disruption of disruptive anatomical structures and the like. As a result, non-linear deformations may occur in the engagement region that can not be imaged by elastic registration algorithms. It may even occur that image registration can not solve this problem as a whole, since the underlying assumption of a one-to-one mapping is no longer valid, for example, if parts of the anatomy have been removed by resection.

Mithin schlägt die vorliegende Erfindung in dieser vorteilhaften Ausgestaltung vor, ein integriertes System zu verwenden, welches nicht nur über eine Ultraschallbildaufnahmeeinrichtung die Möglichkeit zur Aufnahme von zweidimensionalen oder dreidimensionalen Ultraschallbildern aufweist, sondern auch eine (zusätzlich vorhandene) Zusatzbildaufnahmeeinrichtung, die die intraoperative Aufnahme von dreidimensionalen Bilddatensätzen erlaubt, beispielsweise eine Röntgeneinrichtung mit einem C-Bogen. Die intraoperative Zusatzbildgebungseinrichtung nimmt einen neuen dreidimensionalen Bilddatensatz auf, wenn eine nichtlineare Deformation, beispielsweise eine Resektion, während des minimalinvasiven Eingriffs aufgetreten ist, was anhand des Triggerereignisses festgestellt wird. Sodann findet eine initiale elastische Registrierung des neu aufgenommenen, aktuellen dreidimensionalen Bilddatensatzes mit den Ultraschallbildern statt, die zuerst nach der Aufnahme des neuen dreidimensionalen Bilddatensatzes, gegebenenfalls gleichzeitig mit diesem, ermittelt wurden. Erneut werden mithin korrespondierende Merkmale in den Ultraschallbildern und den dreidimensionalen Bilddatensatz ermittelt und im weiteren Verlauf des minimalinvasiven Eingriffs nachverfolgt („getrackt“), so dass wiederum in Echtzeit eine Deformierung des aktuellsten dreidimensionalen Bilddatensatzes zur Darstellung der deformierten Anatomie im Eingriffsbereich erfolgen kann. Es sei angemerkt, dass es selbstverständlich durchaus denkbar ist, den präoperativen dreidimensionalen Bilddatensatz durch den gesamten minimalinvasiven Eingriff hindurch zu benutzen, wenn keine oder nur vernachlässigbar geringe nichtlineare Deformationen während des minimalinvasiven Eingriffs auftreten. Thus, the present invention proposes in this advantageous embodiment, to use an integrated system, which not only via an ultrasound image recording device Possibility to record two-dimensional or three-dimensional ultrasound images, but also an additional (additionally present) recording device that allows the intraoperative recording of three-dimensional image data sets, such as an X-ray device with a C-arm. The intra-operative additional imaging device captures a new three-dimensional image data set when a non-linear deformation, such as a resection, has occurred during the minimally invasive procedure, as determined by the triggering event. Then there is an initial elastic registration of the newly recorded, current three-dimensional image data set with the ultrasound images, which were first determined after the acquisition of the new three-dimensional image data set, possibly simultaneously with it. Accordingly, corresponding features in the ultrasound images and the three-dimensional image data set are again determined and tracked in the further course of the minimally invasive procedure so that in turn a deformation of the most recent three-dimensional image data set for displaying the deformed anatomy in the area of engagement can take place. It should be noted that, of course, it is quite conceivable to use the preoperative three-dimensional image data set throughout the minimally invasive procedure when no or only negligibly small non-linear deformations occur during the minimally invasive procedure.

Mithin kann ein derartiges integriertes System durch die Zusatzbildaufnahmeeinrichtung auch intraoperativ dreidimensionale Bilddatensätze aufnehmen, wenn nichtlineare Deformationen auftauchen, so dass die aktualisierte und präzise Übereinstimmung anatomischer Strukturen in der Darstellung des dreidimensionalen Bilddatensatzes auch dann erreicht wird, wenn diese anatomischen Strukturen auf nichtlineare Weise deformiert wurden. Thus, such integrated system can also intra-operatively record three-dimensional image data sets by the auxiliary image pickup device when non-linear deformations occur, so that the updated and precise match of anatomical structures in the representation of the three-dimensional image data set is achieved even if those anatomical structures were deformed in a non-linear manner.

Konkret kann vorgesehen sein, dass als Triggerereignis eine gescheiterte Nachverfolgung wenigstens eines bestimmten Anteils der oder aller Merkmale und/oder ein erfülltes, eine Veränderung zwischen aufeinanderfolgend aufgenommenen Ultraschallbildern auswertendes Veränderungskriteriums verwendet wird. Sollten also beispielsweise Merkmale, die nachverfolgt werden sollen, nicht mehr auffindbar oder nicht mehr nachverfolgbar sein, ist dies ein Hinweis darauf, dass eine größere Veränderung im Eingriffsbereich stattgefunden hat, insbesondere eine, die mit einer Fortführung der bisherigen elastischen Registrierung nicht mehr nachvollziehbar ist. Auch eine gescheiterte Aktualisierung der Registrierung als solche kann ein Triggerereignis im Sinne der vorliegenden Erfindung darstellen. Ferner ist es zur Automatisierung möglich, Veränderungen zwischen aufeinanderfolgend aufgenommenen Ultraschallbildern auszuwerten, so dass beispielsweise Resektionen oder dergleichen auffallen und automatisch detektiert werden können. Specifically, it may be provided that a failed tracking of at least a certain portion of the or all features and / or a satisfied, a change between successive recorded ultrasound images evaluating change criterion is used as a trigger event. If, for example, features that are to be tracked are no longer discoverable or no longer traceable, this is an indication that a major change in the area of intervention has taken place, in particular one that is no longer comprehensible with a continuation of the previous elastic registration. Even a failed update of the registry as such may constitute a triggering event in the sense of the present invention. It is also possible for automation to evaluate changes between successive recorded ultrasound images, so that, for example, resections or the like stand out and can be detected automatically.

Zur Darstellung kann konkret vorgesehen sein, dass ein Überlagerungsbild eines aktuellen Ultraschallbildes und wenigstens teilweise des darauf registrierten Bilddatensatzes oder eines daraus abgeleiteten Darstellungsbildes dargestellt wird. Wird beispielsweise das Ultraschallbild als zweidimensionales Ultraschallbild in einer Ebene aufgenommen, ist es durch multiplanare Reformation (MPR) möglich, diese Ebene auch aus dem dreidimensionalen Bilddatensatz zu extrahieren und entsprechend für ein Überlagerungsbild mit dem Ultraschallbild zu verwenden. Zweckmäßig kann es jedoch auch sein, insbesondere durch Vorwärtsprojektion ein Darstellungsbild aus dem dreidimensionalen Bilddatensatz abzuleiten und dieses für die Überlagerung zu verwenden. Grundlage der Vorwärtsprojektion ist dabei selbstverständlich auch der dynamisch deformierte dreidimensionale Bilddatensatz, wobei die Vorwärtsprojektion als solche bereits wohlbekannt ist und der Simulation des Röntgenbildgebungsprozesses entspricht, so dass röntgenartige Darstellungsbilder entstehen. Dieser besondere Visualisierungsmodus kann auch als röntgendosisfreie, virtuelle Fluoroskopie angesehen werden, nachdem fluoroskopieartige Darstellungsbilder synthetisch und in Echtzeit aus dem dynamisch aufgrund der Nachführung der Registrierung angepassten dreidimensionalen Bilddatensatz abgeleitet werden. For illustration, it may be concretely provided that an overlay image of a current ultrasound image and at least partially of the image data set registered thereon or a representation image derived therefrom is displayed. If, for example, the ultrasound image is recorded as a two-dimensional ultrasound image in one plane, it is possible by multiplanar reformation (MPR) to extract this plane from the three-dimensional image data set and to use it accordingly for an overlay image with the ultrasound image. However, it may also be expedient, in particular by forward projection, to derive a display image from the three-dimensional image data record and to use this for the superimposition. The basis of the forward projection is, of course, also the dynamically deformed three-dimensional image data set, wherein the forward projection as such is already well-known and corresponds to the simulation of the X-ray imaging process, so that X-ray-like representation images are produced. This particular visualization mode may also be considered as X-ray dose-free virtual fluoroscopy after fluoroscopic display images are derived synthetically and in real time from the three-dimensional image data set dynamically adjusted due to the tracking of the registration.

Die vorliegende Erfindung ist dabei nicht auf die Verwendung eines Computertomographiebilddatensatzes oder sonstigen Röntgenbilddatensatzes als dreidimensionaler Bilddatensatz beschränkt, sondern es können selbstverständlich auch dreidimensionale Bilddatensätze anderer Bildgebungsmodalitäten, beispielsweise Magnetresonanzbilddatensätze und dergleichen, verwendet werden. Grundsätzlich ist auch die Verwendung mehrerer, untereinander bereits miteinander registrierter dreidimensionaler Bilddatensätze denkbar. The present invention is not limited to the use of a computed tomography image data set or other X-ray image data set as a three-dimensional image data set, but of course it is also possible to use three-dimensional image data sets of other imaging modalities, for example magnetic resonance image datasets and the like. Basically, the use of multiple, already registered with each other three-dimensional image data sets is conceivable.

Neben dem Verfahren betrifft die Erfindung auch eine Bildverarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Insbesondere umfasst eine derartige Bilderarbeitungseinrichtung, bei der Schritte des erfindungsgemäßen Verfahrens sowohl in Software als auch Hardware realisiert werden können, also eine Registrierungseinheit zur Herstellung der ursprünglichen elastischen Registrierung, eine Nachführungseinheit zur Nachverfolgung der Merkmale und entsprechenden Aktualisierung der Registrierung, eine Deformationseinheit zur Deformation des dreidimensionalen Bilddatensatzes entsprechend der aktuellen Registrierung und eine Darstellungseinheit zur Darstellung des derart deformierten dreidimensionalen Bilddatensatzes und der Ultraschallbilder. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Bildverarbeitungseinrichtung übertragen, mit welcher die bereits genannten Vorteile erhalten werden können. Die Bildverarbeitungseinrichtung kann dabei alleinstehend realisiert werden oder auch Teil einer Bildaufnahmeeinrichtung, bevorzugt der Ultraschallbildaufnahmeeinrichtung, sein. In addition to the method, the invention also relates to an image processing device which is designed to carry out the method according to the invention. In particular, such an image processing device in which steps of the method according to the invention can be implemented both in software and hardware, ie a registration unit for producing the original elastic registration, a tracking unit for tracking the features and corresponding updating of the registration, a deformation unit for deformation of the three-dimensional Image data set corresponding to the current registration and a presentation unit for Representation of the thus deformed three-dimensional image data set and the ultrasound images. All statements relating to the method according to the invention can be analogously transferred to the image processing device according to the invention, with which the advantages already mentioned can be obtained. The image processing device can be realized alone or as part of an image recording device, preferably the ultrasound image recording device.

Schließlich betrifft die vorliegende Erfindung auch eine Ultraschallbildaufnahmeeinrichtung, aufweisend eine erfindungsgemäße Bildverarbeitungseinrichtung. Auf diese Art und Weise kann der dreidimensionale Bilddatensatz der Ultraschallbildaufnahmeeinrichtung übermittelt werden, wo die entsprechende Weiterverarbeitung stattfinden kann. Die Ultraschallbildaufnahmeeinrichtung kann selbstverständlich auch Teil eines Bildüberwachungssystems bilden, welches zusätzlich zu der Ultraschallbildaufnahmeeinrichtung auch eine Zusatzbildaufnahmeeinrichtung, insbesondere eine Röntgeneinrichtung mit einem C-Bogen, aufweist, mit der bei Eintreten eines Triggerereignisses ein aktueller dreidimensionaler Bilddatensatz aufgenommen werden kann, der den bisherigen dreidimensionalen Bilddatensatz ersetzt. Auch ein solcher aktuell intraoperativ aufgenommener dreidimensionaler Bilddatensatz kann der Ultraschallbildaufnahmeeinrichtung übermittelt werden, wo mittels der Bildbearbeitungseinrichtung eine Registrierung, deren Nachverfolgung und die Darstellung erfolgen kann. Finally, the present invention also relates to an ultrasound image recording device, comprising an image processing device according to the invention. In this way, the three-dimensional image data record of the ultrasound image recording device can be transmitted, where the corresponding further processing can take place. The ultrasound image recording device can of course also form part of an image monitoring system which, in addition to the ultrasound image recording device, also has an additional image recording device, in particular an X-ray device with a C-arm, with which a current three-dimensional image data set can be recorded when a trigger event occurs replacing the previous three-dimensional image data set , Such a currently recorded intraoperatively three-dimensional image data set can be transmitted to the ultrasound image recording device, where by means of the image processing device registration, tracking and display can be done.

Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen: Further advantages and details of the present invention will become apparent from the embodiments described below and with reference to the drawings. Showing:

1 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, 1 a flowchart of an embodiment of the method according to the invention,

2 eine erfindungsgemäße Bildverarbeitungseinrichtung, und 2 an image processing device according to the invention, and

3 ein Bildüberwachungssystem mit einer erfindungsgemäßen Ultraschallbildaufnahmeeinrichtung. 3 an image monitoring system with an ultrasound image recording device according to the invention.

1 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, wie es zur Überwachung eines minimalinvasiven Eingriffs, beispielsweise einer Vorbereitung der Nieren auf eine Nierensteinentfernung, eingesetzt werden kann. Verwendet wird eine Ultraschallaufnahmeeinrichtung, um intraoperativ aktuelle Informationen über die Lage des verwendeten Instruments, beispielsweise einer Nadel, und über (elastische) Deformationen des Gewebes sowie sonstige Veränderungen erhalten zu können. Ferner kann auch eine Zusatzbildaufnahmeeinrichtung zur Aufnahme von intraoperativen dreidimensionalen Bilddatensätzen vorgesehen sein, worauf noch näher eingegangen werden wird. 1 shows a flowchart of an embodiment of the method according to the invention, as it can be used to monitor a minimally invasive procedure, such as a preparation of the kidneys on a kidney stone removal. An ultrasound recording device is used in order to be able to obtain up-to-date information about the position of the instrument used, for example a needle, and about (elastic) deformations of the tissue intraoperatively as well as other changes. Furthermore, an additional image recording device for recording intraoperative three-dimensional image data sets may be provided, which will be discussed in more detail.

Vor dem Beginn des hier dargestellten Ausführungsbeispiels des erfindungsgemäßen Verfahrens wurde der minimalinvasive Eingriff unter Nutzung eines dreidimensionalen Bilddatensatzes, hier eines Computertomographie-Bilddatensatzes, geplant; es wurde also mithin ein Pfad des Instruments und ein Zielort im Eingriffsbereich bestimmt. Prior to the beginning of the exemplary embodiment of the method according to the invention presented here, the minimally invasive procedure using a three-dimensional image data set, here a computed tomography image data set, was planned; Thus, therefore, a path of the instrument and a destination in the engagement area was determined.

Dieser dreidimensionale Bilddatensatz wird nun in einem Schritt S1 einer Bildverarbeitungseinrichtung der Ultraschallbildaufnahmeeinrichtung zugeführt. Es sei angemerkt, dass es auch denkbar ist, vor Beginn des Eingriffs einen aktuellen dreidimensionalen Bilddatensatz mit der Zusatzbildaufnahmeeinrichtung aufzunehmen, und diesen dann entsprechend an die Bildverarbeitungseinrichtung weiterzuleiten. This three-dimensional image data record is then fed to an image processing device of the ultrasound image recording device in a step S1. It should be noted that it is also conceivable to record a current three-dimensional image data record with the additional image recording device before the start of the procedure, and then forward it accordingly to the image processing device.

In einem Schritt S2 wird mit der Aufnahme von Ultraschallbildern begonnen, wobei die zuerst aufgenommenen Ultraschallbilder in einem Schritt S3 genutzt werden, um eine initiale Registrierung der Ultraschallbilder mit dem dreidimensionalen Bilddatensatz herzustellen. Dabei wird elastisch registriert, wobei es grundsätzlich denkbar ist, eine 3D-2D-Registrierung durchzuführen, wenn die Ultraschallbilder in einer bestimmten Ebene im Eingriffsbereich aufgenommen werden. Bevorzugt ist es jedoch, zumindest die initiale elastische Registrierung als 3D-3D-Registrierung zu ermitteln, wozu bei einer Ausbildung der Ultraschallbildaufnahmeeinrichtung zur Aufnahme dreidimensionaler Ultraschallbilder ein dreidimensionales Ultraschallbild herangezogen werden kann, bei einer nur zweidimensionale Ultraschallbilder aufnehmenden Ultraschallbildaufnahmeeinrichtung jedoch auch vorgesehen sein kann, mehrere zuerst aufgenommene Ultraschallbilder im Registrierungsprozess einzusetzen, die in unterschiedlichen Ebenen aufgenommen wurden. Techniken zur elastischen Registrierung von Ultraschallbildern mit (im vorliegenden Fall) Computertomographiebilddatensätzen oder allgemeinen Röntgenbilddatensätzen sind grundsätzlich bereits bekannt und können im Schritt S3 vorteilhaft eingesetzt werden. In a step S2, the recording of ultrasound images is started, wherein the ultrasound images recorded first are used in a step S3 to produce an initial registration of the ultrasound images with the three-dimensional image dataset. In this case, elastically registered, wherein it is basically conceivable to perform a 3D 2D registration when the ultrasound images are taken in a certain plane in the engagement area. However, it is preferable to determine at least the initial elastic registration as a 3D 3D registration, for which a three-dimensional ultrasound image can be used in the ultrasound image recording device to record three-dimensional ultrasound images, but several ultrasound image recording devices can only be provided in the case of an ultrasound image recording device recording only two-dimensional ultrasound images To use first recorded ultrasound images in the registration process, which were recorded in different levels. Techniques for the elastic registration of ultrasound images with (in this case) computed tomography image data sets or general X-ray image data sets are already known in principle and can be used advantageously in step S3.

Die Registrierung erfolgt dabei anhand von bevorzugt automatisch bestimmten anatomischen Merkmalen und Bildmerkmalen, beispielsweise von Gradienten, es ist jedoch auch denkbar, manuell durch einen Benutzer geeignete Merkmale, die in dem dreidimensionalen Bilddatensatz und in den Ultraschallbildern aufgefunden werden können, zu verwenden. The registration takes place on the basis of preferably automatically determined anatomical features and image features, for example of gradients, but it is also conceivable to use manually by a user suitable features that can be found in the three-dimensional image data set and in the ultrasound images.

In einem Schritt S4 wird, während des minimalinvasiven Eingriffs weiter Ultraschallbilder aufgenommen werden, die im Schritt S3 ermittelte elastische Registrierung nachgeführt, indem die Merkmale jeweils im aktuellen Ultraschallbild automatisch nachverfolgt werden, insbesondere unter Verwendung eines Kalman-Filters. Auf diese Weise wird die Registrierung also aktuell gehalten, gegebenenfalls bei der Aufnahme zweidimensionaler Ultraschallbilder in einer Ebene nur für diese Ebene, die hauptsächlich relevant ist. Die aktuelle Registrierung enthält also insbesondere die Information, welche elastischen Transformationen die Verschiebungen des Gewebes gegenüber dem dreidimensionalen Bilddatensatz beschreiben. In a step S4, during the minimally invasive procedure further ultrasound images are taken, the elastic registration determined in step S3 is tracked by automatically tracking the features in the current ultrasound image, in particular using a Kalman filter. In this way, the registration is kept up-to-date, if necessary when taking two-dimensional ultrasound images in a plane only for this level, which is mainly relevant. The current registration thus contains in particular the information which elastic transformations describe the displacements of the tissue compared to the three-dimensional image data set.

Dies wird im Schritt S5 genutzt, um zur Vorbereitung der Darstellung den dreidimensionalen Bilddatensatz so zu modifizieren, dass er diese Verschiebungen bzw. elastischen Deformationen des Gewebes im Eingriffsbereich wiedergibt. Im Schritt S6 werden dann der (deformierte) dreidimensionale Bilddatensatz (bzw. ein daraus abgeleitetes Darstellungsbild) und das aktuelle Ultraschallbild überlagert an einer Anzeigevorrichtung dargestellt. Das bedeutet, die Deformationen des Gewebes im Eingriffsbereich sind nicht nur dem Ultraschallbild zu entnehmen, sondern die ergänzenden Informationen des dreidimensionalen Bilddatensatzes werden aufgrund der Deformation desselben ebenso angepasst dargestellt, so dass eine deutlich intuitivere Erfassbarkeit entsteht. Dabei kann bei einem zweidimensionalen Ultraschallbild ein MPR-Bild in derselben Ebene wie das Ultraschallbild diesem überlagert angezeigt werden; zweckmäßig ist es jedoch auch, ein Darstellungsbild durch Vorwärtsprojektion hinsichtlich des deformierten dreidimensionalen Bilddatensatzes zu bestimmen, so dass eine Quasi-Fluoroskopie ohne tatsächliche Bestrahlung des Patienten und der am Eingriff beteiligten Personen realisiert werden kann. This is used in step S5 to modify the three-dimensional image data set so that it reproduces these displacements or elastic deformations of the tissue in the engagement region in order to prepare the display. In step S6, the (deformed) three-dimensional image data set (or a representation image derived therefrom) and the current ultrasound image are then superimposed on a display device. This means that the deformations of the tissue in the engagement region are not only to be taken from the ultrasound image, but the supplementary information of the three-dimensional image data set is likewise adapted due to the deformation of the same, so that a significantly more intuitive detectability arises. In this case, in a two-dimensional ultrasound image, an MPR image in the same plane as the ultrasound image can be superimposed on it; However, it is also expedient to determine a display image by forward projection with regard to the deformed three-dimensional image data set, so that a quasi-fluoroscopy without actual irradiation of the patient and the persons involved in the procedure can be realized.

In einem Schritt S7 wird während des Eingriffs überprüft, ob ein Triggerereignis eingetreten ist. Ein Triggerereignis kann vorliegend aufgrund einer Benutzereingabe entstehen, wenn ein Benutzer der Ansicht ist, es sei ein neuer dreidimensionaler Bilddatensatz mit einer neuen Registrierung erforderlich, da eine dargestellte Veränderung sich durch die elastische Registrierung nicht mehr erfassen lässt, beispielsweise bei einer Resektion von Teilen der Niere. Es werden jedoch auch Triggerereignisse automatisch überwacht, wobei ein Triggerereignis auch eintritt, wenn festgestellt wird, dass eine bestimmte Anzahl oder gar alle Merkmale nicht mehr nachverfolgt werden können und/oder die Aktualisierung der elastischen Registrierung fehlschlägt. Weiterhin kann, um ein Triggerereignis festzustellen, auch ein Vergleich aufeinanderfolgend aufgenommener Ultraschallbilder erfolgen, wobei bei bestimmten Abweichungen von einer durch eine Aktualisierung der elastischen Registrierung nicht mehr erfassbaren Veränderung ausgegangen wird. In a step S7, it is checked during the intervention whether a trigger event has occurred. In the present case, a trigger event may arise due to user input when a user considers that a new three-dimensional image data set with a new registration is required, since an illustrated change can no longer be detected by the elastic registration, for example during a resection of parts of the kidney , However, trigger events are also automatically monitored, with a trigger event also occurring when it is determined that a certain number or even all features can no longer be tracked and / or the elastic registration update fails. Furthermore, in order to detect a triggering event, a comparison of successively recorded ultrasound images can also take place, with certain deviations starting from a change that is no longer detectable by an updating of the elastic registration.

Liegt im Schritt S7 kein Triggerereignis vor, wird mit dem Schritt S4 fortgefahren, die Registrierung wird aktualisiert und entsprechendes gilt für die Darstellung. Liegt jedoch ein Triggerereignis vor, wird in einem Schritt S8 unter Nutzung der Zusatzbildaufnahmeeinrichtung ein neuer dreidimensionaler Bilddatensatz aufgenommen. Danach wird mit dem Schritt S1 fortgefahren, das bedeutet, der neue, aktuelle dreidimensionale Bilddatensatz wird an die Bildverarbeitungseinrichtung übermittelt, welche eine initiale Registrierung anhand von Merkmalen bestimmt und hierzu die zuerst nach Erhalt des neuen dreidimensionalen Bilddatensatzes aufgenommenen Ultraschallbilder heranzieht. Dann kann das Verfahren wie beschrieben fortgesetzt werden. If no trigger event is present in step S7, the process continues with step S4, the registration is updated and the same applies to the display. However, if a trigger event is present, a new three-dimensional image data record is recorded in a step S8 using the additional image recording device. Thereafter, step S1 is continued, that is, the new, current three-dimensional image data set is transmitted to the image processing device, which determines an initial registration on the basis of features and for this purpose uses the ultrasound images recorded first after receipt of the new three-dimensional image data set. Then the process can be continued as described.

2 zeigt eine Prinzipskizze einer Bildverarbeitungseinrichtung 1, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Hierzu weist die Bildverarbeitungseinrichtung 1 eine Registrierungseinheit 2 auf, in der die initiale elastische Registrierung zwischen Ultraschallbildern und dreidimensionalen Bilddatensätzen erfolgen kann. Ferner ist eine Nachführungseinheit 3 vorgesehen, die die Merkmale in den aktuellen Ultraschallbildern weiterverfolgt und mithin eine Aktualisierung der elastischen Registrierung ermöglicht. In einer Deformationseinheit 4 wird der dreidimensionale Bilddatensatz gemäß der aktuellen Registrierung die Verschiebungen im Gewebe wiedergebend deformiert, um diesen deformierten dreidimensionalen Bilddatensatz in einer Darstellungseinheit 5 zur Erzeugung einer aktuellen Anzeige gemeinsam mit dem aktuellen Ultraschallbild zu nutzen. Dabei greift die Bildverarbeitungseinrichtung selbstverständlich wie grundsätzlich bekannt auf eine Speichereinrichtung 6 und entsprechende Recheneinheiten zu. 2 shows a schematic diagram of an image processing device 1 , which is designed for carrying out the method according to the invention. For this purpose, the image processing device 1 a registration unit 2 in which the initial elastic registration between ultrasound images and three-dimensional image data sets can take place. Further, a tracking unit 3 is provided, which continues to track the features in the current ultrasound images and thus allows an update of the elastic registration. In a deformation unit 4 For example, the three-dimensional image data set according to the current registration is deformed deforming the displacements in the tissue to form this deformed three-dimensional image data set in a display unit 5 to generate a current display together with the current ultrasound image. Of course, as is generally known, the image processing device accesses a storage device 6 and corresponding arithmetic units.

3 zeigt ein Bildüberwachungssystem 7, in dem das erfindungsgemäße Verfahren durchgeführt werden kann. Ein Patient 8 kann dabei auf einer Patientenliege 9 eines Operationstisches 10 angeordnet werden, wo der minimalinvasive Eingriff mit dem Instrument 11, hier einer Nadel, durchgeführt werden soll. Die Ultraschallbildaufnahmeeinrichtung 12 ermöglicht die Aufnahme von Ultraschallbildern mit auf dem Patienten 8 zu platzierenden Ultraschallköpfen 13, von denen vorliegend der Einfachheit halber nur zwei gezeigt sind, aber durchaus mehrere vorgesehen sein können. 3 shows an image monitoring system 7 in which the method according to the invention can be carried out. A patient 8th can do this on a patient bed 9 a surgical table 10 be placed where the minimally invasive intervention with the instrument 11 , here a needle, should be performed. The ultrasound imaging device 12 allows the recording of ultrasound images on the patient 8th to be placed ultrasonic heads 13 of which in the present case only two are shown for the sake of simplicity, but quite a number may be provided.

Zusätzlich zu der Ultraschallbildaufnahmeeinrichtung ist eine Zusatzbildaufnahmeeinrichtung 14 vorgesehen, hier eine Röntgeneinrichtung mit einem C-Bogen, an dem sich gegenüberliegend ein Röntgenstrahler 16 und ein Röntgendetektor 17 angeordnet sind. Nachdem der C-Bogen 15 gemäß dem Pfeil 18 um die Patientenliege 9 und somit den Patienten 8 schwenkbar ist, können Projektionsbilder unter unterschiedlichen Projektionsrichtungen aufgenommen werden, aus denen ein präoperativer oder intraoperativer dreidimensionaler Bilddatensatz ermittelt werden kann. Der dreidimensionale Bilddatensatz wird aus den Projektionsbildern in einer Steuereinrichtung 19 der Zusatzbildaufnahmeeinrichtung 14 ermittelt und gemäß dem Pfeil 20 an die Ultraschallbildaufnahmeeinrichtung 12 übertragen, in die die Bildverarbeitungseinrichtung 1 integriert ist. Die Ultraschallbildaufnahmeeinrichtung 12 ist zur Darstellung der aktuellen Ultraschallbilder und des (entsprechend deformierten) dreidimensionalen Bilddatensatzes ferner mit einer Anzeigevorrichtung 21 verbunden. In addition to the ultrasound image pickup device, there is an additional image pickup device 14 provided, here an X-ray device with a C-arm, on which opposite an X-ray source 16 and an x-ray detector 17 are arranged. After the C-bow 15 according to the arrow 18 around the patient bed 9 and thus the patient 8th is pivotable, projection images can be recorded under different projection directions, from which a preoperative or intraoperative three-dimensional image data set can be determined. The three-dimensional image data set is obtained from the projection images in a control device 19 the additional image pickup device 14 determined and according to the arrow 20 to the ultrasound imaging device 12 in which the image processing device 1 is integrated. The ultrasound imaging device 12 is for displaying the current ultrasound images and the (correspondingly deformed) three-dimensional image data set further with a display device 21 connected.

Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Although the invention has been further illustrated and described in detail by the preferred embodiment, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

  • J. Xiang et al., „Registration of ultrasound to CT angiography of kidneys: a porcine phantom study“, in: Medical Imaging 2010: Visualization, Image-Guided Procedures, and Modeling, edited by Kenneth H. Wong, Michael I. Miga, Proc. of SPIE Vol. 7625, Seiten 18-1 bis 18-8, 2010 [0006] J. Xiang et al., "Registration of ultrasound to CT angiography of kidney's: a porcine phantom study", in: Medical Imaging 2010: Visualization, Image-Guided Procedures, and Modeling, edited by Kenneth H. Wong, Michael I. Miga , Proc. of SPIE Vol. 7625, pages 18-1 to 18-8, 2010 [0006]
  • G. P. Penney et al., „Cadaver validation of intensity-based ultrasound to CT registration“, in: Medical Image Analysis 10, Seiten 385 bis 395, 2006 [0006] GP Penney et al., "Cadaver validation of intensity-based ultrasound to CT registration", in: Medical Image Analysis 10, pages 385 to 395, 2006 [0006]
  • P. Foroughi et al., „Elastic registration of 3D Ultrasound Images“, in: Medical Image Computing and Computer-Assisted Intervention 8 (Teil 1), Seiten 83 bis 90, 2005 [0007] P. Foroughi et al., "Elastic Registration of 3D Ultrasound Images," in: Medical Image Computing and Computer-Assisted Intervention 8 (Part 1), pp. 83-90, 2005 [0007]

Claims (11)

Verfahren zur Bildüberwachung eines minimalinvasiven Eingriffs mit einem Instrument (11) in einem Eingriffsbereich eines Patienten (8), wobei ein präoperativer dreidimensionaler Bilddatensatz wenigstens des Eingriffsbereichs und während des Eingriffs aufgenommene Ultraschallbilder dargestellt werden, dadurch gekennzeichnet, dass eine elastische Registrierung zwischen wenigstens einem zuerst aufgenommenen Ultraschallbild und dem Bilddatensatz anhand wenigstens eines in dem zuerst aufgenommenen Ultraschallbild und dem Bilddatensatz sichtbaren Merkmals ermittelt wird und bei Aufnahme weiterer Ultraschallbilder durch Nachverfolgung der Merkmale insbesondere in Echtzeit aktualisiert wird, wobei die Darstellung wenigstens des dreidimensionalen Bilddatensatzes anhand der aktuellen Registrierung die nichtrigiden Verschiebungen im Eingriffsbereich wiedergebend angepasst wird. Method for monitoring the image of a minimally invasive intervention with an instrument ( 11 ) in an intervention area of a patient ( 8th ), wherein a preoperative three-dimensional image data set of at least the engagement region and during the procedure recorded ultrasound images are displayed, characterized in that an elastic registration between at least one first recorded ultrasound image and the image data set is determined using at least one visible in the first recorded ultrasound image and the image data record feature and when recording further ultrasound images is updated by tracking the features, in particular in real time, wherein the representation of at least the three-dimensional image data set based on the current registration, the non-rigid shifts in the engagement area is adjusted reproducing. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Verwendung einer dreidimensionalen Ultraschallbildaufnahmeeinrichtung (12) zuerst ein dreidimensionales Ultraschallbild aufgenommen wird oder bei Verwendung einer zweidimensionalen Ultraschallbildaufnahmeeinrichtung (12) zuerst mehrere zweidimensionale Ultraschallbilder unterschiedlicher Ebenen aufgenommen werden. A method according to claim 1, characterized in that when using a three-dimensional ultrasound image recording device ( 12 ) is first recorded a three-dimensional ultrasound image or when using a two-dimensional ultrasound image recording device ( 12 ) first several two-dimensional ultrasound images of different levels are recorded. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl und/oder das Auffinden und/oder die Nachverfolgung der Merkmale automatisch durch eine Bildverarbeitungseinrichtung (1) erfolgt. Method according to claim 1 or 2, characterized in that the selection and / or the finding and / or the tracing of the features is performed automatically by an image processing device ( 1 ) he follows. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmale anatomische Merkmale und/oder Gradienten der Bilddaten und/oder wenigstens ein Abschnitt des Instruments (11) und/oder künstliche Marker verwendet werden. Method according to one of the preceding claims, characterized in that as features anatomical features and / or gradients of the image data and / or at least a portion of the instrument ( 11 ) and / or artificial markers. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Aufnahme von zweidimensionalen Ultraschallbildern einer Ebene während des minimalinvasiven Eingriffs die Aktualisierung der Registrierung für diese Ebene erfolgt. Method according to one of the preceding claims, characterized in that when recording two-dimensional ultrasound images of a plane during the minimally invasive procedure, the updating of the registration for this plane takes place. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei Eintritt eines automatisch überwachten und/oder durch eine Benutzereingabe erzeugten Triggerereignisses während des Eingriffs ein neuer dreidimensionaler Bilddatensatz mit einer intraoperativ einsetzbaren Zusatzbildaufnahmeeinrichtung (14) aufgenommen wird und erneut eine elastische Registrierung ermittelt und nachgeführt wird. Method according to one of the preceding claims, characterized in that, when an automatically monitored and / or triggered by a user input trigger event during the intervention, a new three-dimensional image data set with an intraoperatively usable additional image recording device ( 14 ) is recorded and again an elastic registration is determined and tracked. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als Triggerereignis eine gescheiterte Nachverfolgung wenigstens eines bestimmten Anteils der oder aller Merkmale und/oder ein erfülltes, eine Veränderung zwischen aufeinanderfolgend aufgenommenen Ultraschallbildern auswertendes Veränderungskriterium verwendet wird. A method according to claim 6, characterized in that as a trigger event a failed tracking of at least a certain portion of the or all features and / or a satisfied, a change between successive recorded ultrasound images evaluating change criterion is used. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Überlagerungsbild eines aktuellen Ultraschallbildes und wenigstens teilweise des darauf registrierten Bilddatensatzes oder eines daraus abgeleiteten Darstellungsbildes dargestellt wird. Method according to one of the preceding claims, characterized in that an overlay image of a current ultrasound image and at least partially of the image data set registered thereon or a representation image derived therefrom is displayed. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als präoperativer dreidimensionaler Bilddatensatz ein Computertomographiebilddatensatz und/oder ein Magnetresonanzbilddatensatz verwendet wird. Method according to one of the preceding claims, characterized in that a computed tomography image data set and / or a magnetic resonance image data set is used as preoperative three-dimensional image data set. Bildverarbeitungseinrichtung (1), ausgebildet zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche. Image processing device ( 1 ) configured to carry out a method according to any one of the preceding claims. Ultraschallbildaufnahmeeinrichtung (12), aufweisend eine Bildverarbeitungseinrichtung (1) nach Anspruch 10. Ultrasonic imaging device ( 12 ), comprising an image processing device ( 1 ) according to claim 10.
DE102014212089.6A 2014-06-24 2014-06-24 Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device Ceased DE102014212089A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014212089.6A DE102014212089A1 (en) 2014-06-24 2014-06-24 Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014212089.6A DE102014212089A1 (en) 2014-06-24 2014-06-24 Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device

Publications (1)

Publication Number Publication Date
DE102014212089A1 true DE102014212089A1 (en) 2015-07-23

Family

ID=53497920

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014212089.6A Ceased DE102014212089A1 (en) 2014-06-24 2014-06-24 Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device

Country Status (1)

Country Link
DE (1) DE102014212089A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441936A1 (en) * 2017-08-11 2019-02-13 Siemens Healthcare GmbH Method for evaluating image data of a patient after a minimally invasive procedure, evaluation device, computer program and electronically readable data carrier
US20210085398A1 (en) * 2019-09-19 2021-03-25 Siemens Healthcare Gmbh Method and system for supporting medical personnel during a resection, and computer program product
US20220087638A1 (en) * 2020-09-18 2022-03-24 B-K Medical Aps Image Fusion-Based Tracking without a Tracking Sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10333543A1 (en) * 2003-07-23 2005-02-24 Siemens Ag A method for the coupled presentation of intraoperative as well as interactive and iteratively re-registered preoperative images in medical imaging
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US20120071758A1 (en) * 2010-01-12 2012-03-22 Martin Lachaine Feature Tracking Using Ultrasound
WO2012109641A2 (en) * 2011-02-11 2012-08-16 Emory University Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures
US20140073907A1 (en) * 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. System and method for image guided medical procedures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10333543A1 (en) * 2003-07-23 2005-02-24 Siemens Ag A method for the coupled presentation of intraoperative as well as interactive and iteratively re-registered preoperative images in medical imaging
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US20120071758A1 (en) * 2010-01-12 2012-03-22 Martin Lachaine Feature Tracking Using Ultrasound
WO2012109641A2 (en) * 2011-02-11 2012-08-16 Emory University Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures
US20140073907A1 (en) * 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. System and method for image guided medical procedures

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. P. Penney et al., "Cadaver validation of intensity-based ultrasound to CT registration", in: Medical Image Analysis 10, Seiten 385 bis 395, 2006
J. Xiang et al., "Registration of ultrasound to CT angiography of kidneys: a porcine phantom study", in: Medical Imaging 2010: Visualization, Image-Guided Procedures, and Modeling, edited by Kenneth H. Wong, Michael I. Miga, Proc. of SPIE Vol. 7625, Seiten 18-1 bis 18-8, 2010
P. Foroughi et al., "Elastic registration of 3D Ultrasound Images", in: Medical Image Computing and Computer-Assisted Intervention 8 (Teil 1), Seiten 83 bis 90, 2005

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441936A1 (en) * 2017-08-11 2019-02-13 Siemens Healthcare GmbH Method for evaluating image data of a patient after a minimally invasive procedure, evaluation device, computer program and electronically readable data carrier
US10779787B2 (en) 2017-08-11 2020-09-22 Siemens Healthcare Gmbh Method for analyzing image data from a patient after a minimally invasive intervention, analysis apparatus, computer program and electronically readable data storage medium
US20210085398A1 (en) * 2019-09-19 2021-03-25 Siemens Healthcare Gmbh Method and system for supporting medical personnel during a resection, and computer program product
US20220087638A1 (en) * 2020-09-18 2022-03-24 B-K Medical Aps Image Fusion-Based Tracking without a Tracking Sensor

Similar Documents

Publication Publication Date Title
DE102005030646B4 (en) A method of contour visualization of at least one region of interest in 2D fluoroscopic images
DE102009040430B4 (en) Apparatus, method and computer program for overlaying an intra-operative live image of an operating area or the operating area with a preoperative image of the operating area
DE10210646A1 (en) Method for displaying a medical instrument brought into an examination area of a patient
DE102012215001B4 (en) Process for 2D-3D registration of a model with an X-ray image
DE19846687C2 (en) Auxiliary surgical device for use in performing medical procedures and methods for generating an image in the context of medical procedures
DE10323008A1 (en) Automatic fusion of 2D fluoroscopic C-frame X-ray images with preoperative 3D images using navigation markers, by use of a projection matrix based on a 2D fluoroscopy image and a defined reference navigation system
DE102008034686A1 (en) A method of displaying interventional instruments in a 3-D dataset of an anatomy to be treated, and a display system for performing the method
DE102007009764A1 (en) Catheter application supporting method for treating cardiac arrhythmia, involves determining position of patient during recording of image and/or during recording of electro-anatomical mapping
DE102005035929A1 (en) Two and/or three dimensional images displaying method for image system of workstation, involves superimposing graphic primitives in images, such that visual allocation of interest points and/or regions are effected between displayed images
DE102010062340A1 (en) Method for image support of the navigation of a medical instrument and medical examination device
DE102010018872A1 (en) An imaging method for highlighting vessels in an examination area of a patient and a medical system for performing the method
DE102011006537B4 (en) Method for registering a first coordinate system of a first medical imaging device with a second coordinate system of a second medical imaging device and / or a third coordinate system of a medical instrument, which is defined by markers of a medical navigation device, and medical examination and / or treatment system
EP3323347A1 (en) Method for providing image-based support for a minimally invasive procedure using an instrument in the procedure area of a patient, x-ray device, computer program and electronically readable data carrier
DE102014212089A1 (en) Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device
DE102006056679B4 (en) Method and device for visualizing 3D objects, in particular in real time
DE102011080588A1 (en) Method for registering three-dimensional image data set of e.g. abdominal aorta in medical imaging, involves performing fine registration of 3D image data set of aorta and overlaying model of aorta with non-aorta
DE102019200786A1 (en) Medical imaging device, method for assisting medical personnel, computer program product and computer readable storage medium
DE102019201227A1 (en) Imaging device and method for generating a motion-compensated image or video, computer program product and computer-readable storage medium
EP3626176B1 (en) Method for supporting a user, computer program product, data carrier and imaging system
DE102006014882A1 (en) A method for imaging the myocardium of an infarct patient and methods for aiding a therapeutic intervention on the heart
DE102009024652A1 (en) High-resolution, three-dimensional medical imaging with dynamic real-time information
DE102005051102B4 (en) System for medical navigation
WO2012025081A2 (en) Method for displaying stored high-resolution diagnostic 3-d image data and 2-d realtime sectional image data simultaneously, continuously, and in parallel during a medical intervention of a patient and arrangement for carrying out said method
DE102012205222A1 (en) Method for determining an artifact-reduced three-dimensional image data set and X-ray device
DE102010042372A1 (en) Method for creating a medical image and medical workstation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final