DE102014219581A1 - A method, apparatus and computer program for registering a medical image with an anatomical structure - Google Patents
A method, apparatus and computer program for registering a medical image with an anatomical structure Download PDFInfo
- Publication number
- DE102014219581A1 DE102014219581A1 DE102014219581.0A DE102014219581A DE102014219581A1 DE 102014219581 A1 DE102014219581 A1 DE 102014219581A1 DE 102014219581 A DE102014219581 A DE 102014219581A DE 102014219581 A1 DE102014219581 A1 DE 102014219581A1
- Authority
- DE
- Germany
- Prior art keywords
- anatomical structure
- position coordinate
- medical image
- anatomy
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 210000003484 anatomy Anatomy 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 239000012636 effector Substances 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 11
- 239000003795 chemical substances by application Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000844 transformation Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 239000003106 tissue adhesive Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
- A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Die vorliegende Erfindung beschreibt Verfahren (1) zur Registrierung eines medizinischen Bildes (10) mit einer realen anatomischen Struktur (20'), wobei das Verfahren (1) die Verfahrensschritte umfasst: – Entgegennahme eines medizinischen Bildes (10) eines, eine anatomische Struktur (20) umfassenden, Untersuchungsbereiches (22) eines Untersuchungsobjektes (24); – Bestimmen wenigstens einer Anatomiepositionskoordinaten (30') der realen anatomischen Struktur (20') des Untersuchungsbereiches (22) des Untersuchungsobjektes (24) mit Hilfe eines robotischen Mittels (40), und Entgegennahme der wenigstens einen Anatomiepositionskoordinaten (30') der realen anatomischen Struktur (20'); – Entgegennahme wenigstens einer, mit der wenigstens einen Anatomiepositionskoordinaten (30') korrespondierenden, Bildpositionskoordinaten (30); – Berechnen einer Transformationsvorschrift, wobei in die Berechnung der Transformationsvorschrift die wenigstens eine Anatomiepositionskoordinate (30') und die wenigstens eine Bildpositionskoordinate (30) eingehen; – Registrierung des medizinischen Bildes (10) mit der realen anatomischen Struktur (20') mit Hilfe der Transformationsvorschrift. Weiter werden eine entsprechende Vorrichtung und ein entsprechendes Computerprogramm beschrieben.The present invention describes methods (1) for registering a medical image (10) with a real anatomical structure (20 '), the method (1) comprising the method steps: - receiving a medical image (10) of an anatomical structure (20) 20), examination region (22) of an examination subject (24); - Determining at least one anatomy position coordinates (30 ') of the real anatomical structure (20') of the examination area (22) of the examination subject (24) by means of a robotic means (40), and receiving the at least one anatomy position coordinates (30 ') of the real anatomical structure (20 '); Receiving at least one image position coordinate (30) corresponding to the at least one anatomy position coordinate (30 '); Calculating a transformation rule, wherein the at least one anatomy position coordinate (30 ') and the at least one image position coordinate (30) are included in the calculation of the transformation instruction; - Registration of the medical image (10) with the real anatomical structure (20 ') using the transformation rule. Furthermore, a corresponding device and a corresponding computer program are described.
Description
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur. Darüber hinaus betrifft die vorliegende Erfindung eine entsprechende Vorrichtung und ein Computerprogramm zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur. The present invention relates to a method for registering a medical image with an anatomical structure. Moreover, the present invention relates to a corresponding device and a computer program for registering a medical image with an anatomical structure.
Robotische Systeme oder Navigationssysteme mit robotischer Unterstützung werden zunehmend intraoperativ, d.h. während einer z.B. chirurgischen, Intervention, eingesetzt. Dabei nutzen diese Systeme häufig Bilder verschiedener Aufnahmemodalitäten, wie Computertomografie, CT, Magnetresonanztomografie, MR, Ultraschallbildgebung oder Röntgenbildgebung, die intraoperativ oder präoperativ von einem Patienten gewonnen wurden. Diese Bilder können zum Beispiel zur Planung und Führung, engl. Guidance, von Eingriffen oder als zusätzliche Informationsquelle während des Eingriffs verwendet werden. Beim Einsatz von autonom agierenden, aber auch in den meisten Fällen bei assistierenden Robotersystemen während einer Intervention, müssen diese mit einem Patienten bzw. mit einem Bilddatensatz eines Patienten in Übereinstimmung gebracht werden. Dieser Vorgang wird auch initiale Registrierung bezeichnet. Soll ein Roboter beispielsweise das Einführen einer Biopsienadel unterstützen, muss der Zusammenhang zwischen der Lage des Patienten bzw. insbesondere der Lage der relevanten Stellen im Bilddatensatz des Patienten und in seinem, d.h. im robotischen, Koordinatensystem bekannt sein. Selbiges gilt beispielsweise auch bei der unterstützten Platzierung von Pedikelschrauben in der Wirbelsäulenchirurgie durch ein robotisches Assistenzsystem. Dort muss dem Roboter bekannt sein, wo die Schraube an der Wirbelsäule des Patienten platziert werden muss und hierfür ist es wiederum notwendig, die Position des Patienten und der dazugehörigen Bilder der Wirbelsäule in Bezug auf das Roboterkoordinatensystem zu kennen. Robotic robotic systems or navigation systems are increasingly being used intraoperatively, i. during a e.g. surgical, intervention, used. These systems often use images of different acquisition modalities, such as computed tomography, CT, magnetic resonance imaging, MR, ultrasound imaging or X-ray imaging, which were obtained intraoperatively or preoperatively from a patient. These pictures can be used, for example, for planning and guidance. Guidance, used by interventions or as an additional source of information during the procedure. When using autonomously acting, but also in most cases in assisted robotic systems during an intervention, they must be brought into conformity with a patient or an image data record of a patient. This process is also called initial registration. If a robot, for example, support the insertion of a biopsy needle, the relationship between the position of the patient or in particular the location of the relevant points in the image data set of the patient and in his, i. be known in the robotic, coordinate system. The same applies, for example, to the supported placement of pedicle screws in spine surgery using a robotic assistance system. There, the robot must be aware of where the screw must be placed on the patient's spine and, for this, it is necessary to know the position of the patient and the associated images of the spine in relation to the robot coordinate system.
Eine weitere Anwendung von Robotern in der intraoperativen Bildgebung ist die erweiterter Realität, englisch augmented reality, also die computergestützte Erweiterung der Realitätswahrnehmung. Hierbei können präoperativ und/oder intraoperativ gewonnene Daten genutzt werden, um beispielsweise ein laparoskopisches Bild mit radiologischen Daten zu überlagern. Wird das Laparoskop von einem Roboter gehalten, muss auch dieser Roboter zuerst, d.h. initial, zum Patienten registriert werden. Während eines Eingriffs kann es vorkommen, dass sich ein Patient bewegt oder zum Beispiel von einem Arzt bewegt wird. Hierdurch oder durch andere Vorgänge, wie z.B. durch das Entfernen eines Tumors oder durch andere morphologische, anatomische oder physiologische Effekte, kann es dazu kommen, dass eine initiale Registrierung zwischen einem Roboterkoordinatensystem und einem Patienten bzw. einem Bild eines Patienten nicht mehr korrekt ist, d.h. der ursprünglich zu dem Roboter registrierte Bilddatensatz des Patienten stimmt nicht mehr mit der Realität überein. Neben einer Positionsänderung und/oder einer Lageänderung, die im Allgemeinen mathematisch durch eine Transformation mit einem Translationsanteil und einem Rotationsanteil beschrieben werden kann, können durch die genannten Ursachen auch Deformationen von anatomischen Strukturen auftreten. Sowohl Positionsänderungen und Lageänderungen des Patienten oder Deformationen innerhalb des Patienten können dazu führen, dass die initiale Registrierung zwischen Roboter und Patienten bzw. dem Bilddatensatz des Patienten nicht mehr korrekt ist. Damit der Roboter weiter mit dem Bilddatensatz des Patienten arbeiten kann, muss die Registrierung wieder hergestellt werden. Dazu kann zum Beispiel ein neuer Bilddatensatz eines Untersuchungsbereiches des Patienten angefertigt werden und der Roboter kann wieder zu diesem aktualisierten Bilddatensatz registriert werden. Dies ist intraoperativ oft nicht mit jeder Modalität möglich oder es ist mit einer Applikation einer zusätzlichen Strahlendosis verbunden. Darüber hinaus kann es sein, dass ein an den Patienten angedockter Roboter einer intraoperativen Aufnahme räumlich im Wege steht und eine erneute Bildgebung auf Grund von Kollisionen zwischen Roboter und Bildgebungsgerät nicht möglich ist. Eine weitere Möglichkeit der erneuten oder kontinuierlichen Registrierung besteht darin, Marker auf anatomisch relevanten Punkten anzubringen, diese durch Sensoren, wie zum Beispiel bei kommerziell erhältlichen optischen Tracking Systemen bekannt, zu detektieren und dadurch eine Transformation zwischen dem Koordinatensystem des Patienten und dem des Roboters neu zu berechnen oder zu aktualisieren. Nachteilig an dieser Methode ist das aufwändige Anbringen von Markern, insbesondere hinsichtlich der Stabilität und der Verwendung von Gewebeklebstoff, wenn es sich um deformierbares Weichgewebe handelt. Another application of robots in intraoperative imaging is augmented reality, the computer-aided extension of the perception of reality. In this connection, data obtained preoperatively and / or intraoperatively can be used, for example, to overlay a laparoscopic image with radiological data. If the laparoscope is held by a robot, then this robot must also be first, i. initially, to the patient. During an intervention, it may happen that a patient is being moved or, for example, being moved by a doctor. By doing so or by other processes, e.g. By removing a tumor or by other morphological, anatomical or physiological effects, it may happen that an initial registration between a robot coordinate system and a patient or an image of a patient is no longer correct, i. e. the image data set of the patient originally registered with the robot no longer corresponds to the reality. In addition to a change in position and / or a change in position, which can generally be described mathematically by a transformation with a translation component and a rotational component, deformations of anatomical structures can also occur due to the named causes. Both changes in position and position changes of the patient or deformations within the patient can lead to the fact that the initial registration between robot and patient or the image data set of the patient is no longer correct. In order for the robot to continue to work with the image data set of the patient, the registration must be restored. For this purpose, for example, a new image data set of an examination area of the patient can be made and the robot can be registered again for this updated image data set. This is often not possible intraoperatively with every modality or it is associated with an application of an additional radiation dose. In addition, a robot docked to the patient may interfere with intraoperative recording and reimaging due to collisions between the robot and the imaging device may not be possible. Another possibility for re-registration or continuous registration is to place markers on anatomically relevant points, to detect them by sensors, such as in commercially available optical tracking systems, and thereby to re-assign a transformation between the patient's coordinate system and that of the robot calculate or update. A disadvantage of this method is the complicated application of markers, in particular with regard to the stability and the use of tissue adhesive, if it is deformable soft tissue.
Die Aufgabe der vorliegenden Erfindung besteht nun darin, ein Verfahren zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur anzugeben, das die genannten Nachteile nicht oder weniger aufweist. Weiter ist es eine Aufgabe der Erfindung, eine entsprechende Vorrichtung und ein entsprechendes Computerprogramm zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur zu beschreiben. The object of the present invention is therefore to provide a method for registering a medical image with an anatomical structure that does not have the disadvantages mentioned or less. Furthermore, it is an object of the invention to describe a corresponding device and a corresponding computer program for registering a medical image with an anatomical structure.
Die Erfindung löst diese Aufgabe mit einem Verfahren zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur mit den Merkmalen des ersten unabhängigen Patentanspruchs, einer Vorrichtung zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur mit den Merkmalen des zweiten unabhängigen Patentanspruchs und einem Computerprogramm zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur mit den Merkmalen des dritten unabhängigen Patentanspruchs. Vorteilhafte Ausgestaltungen sind in Unteransprüchen beschrieben. The invention achieves this object with a method for registering a medical image with a real anatomical structure having the features of the first independent patent claim, a device for registering a medical image with a real anatomical structure with the features of the second independent patent claim and a computer program for registering a medical image with a real anatomical structure having the features of the third independent claim. Advantageous embodiments are described in subclaims.
Ein Grundgedanke der Erfindung ist ein Verfahren zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur, das folgende Verfahrensschritte umfasst:
- – Entgegennahme eines medizinischen Bildes eines, eine anatomische Struktur umfassenden, Untersuchungsbereiches eines Untersuchungsobjektes;
- – Bestimmen wenigstens einer Anatomiepositionskoordinaten der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes mit Hilfe eines robotischen Mittels, und Entgegennahme der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur;
- – Entgegennahme wenigstens einer, mit der wenigstens einen Anatomiepositionskoordinaten korrespondierenden, Bildpositionskoordinaten;
- – Berechnen einer Transformationsvorschrift, wobei in die Berechnung der Transformationsvorschrift die wenigstens eine Anatomiepositionskoordinate und die wenigstens eine Bildpositionskoordinate eingehen;
- – Registrierung des medizinischen Bildes mit der anatomischen Struktur mit Hilfe der Transformationsvorschrift.
- Receiving a medical image of an examination area of an examination subject comprising an anatomical structure;
- Determining at least one anatomy position coordinate of the real anatomical structure of the examination region of the examination subject by means of a robotic means, and accepting the at least one anatomy position coordinate of the real anatomical structure;
- Receiving at least one image position coordinate corresponding to the at least one anatomy position coordinate;
- Calculating a transformation rule, wherein in the calculation of the transformation rule the at least one anatomy position coordinate and the at least one image position coordinate are received;
- - Registration of the medical image with the anatomical structure using the transformation rule.
Unter einer anatomischen Struktur werden insbesondere makroskopische Körperteile eines Untersuchungsobjektes wie Organe, Gewebe, Gefäße oder Knochen verstanden. Bei einem Untersuchungsobjekt kann es sich beispielsweise um einen menschlichen oder tierischen Patienten handeln. Ein Untersuchungsbereich ist ein Bereich, der wenigstens einen Teil der interessierenden anatomischen Struktur umfasst. Ein Ziel dieses Grundgedankens der Erfindung ist eine Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur. Unter Registrierung eines Bildes mit einer anatomischen Struktur kann dabei ein Verfahren vergleichbar mit einer Bildregistrierung zweier Bilder in der digitalen Bildverarbeitung verstanden werden, mit Hilfe dessen das Bild und die anatomische Struktur von zumindest einer ähnlichen Szene bestmöglich in Übereinstimmung miteinander gebracht werden. Für das Bild wird eine Transformation bestimmt, die das Bild bestmöglich an die anatomische Struktur anpasst. Es handelt sich dabei also um ein Optimierungsproblem. Ähnlich einer Bildregistrierung können verschiedene Lösungsvorschläge eingesetzt werden. Als Beispiele für verwendbare Optimierungsverfahren für Registrierungsverfahren seien Gradientenabstiegsverfahren, Downhill-Simplex-Verfahren, Hillclimb-Verfahren und Simulated Annealing genannt. An anatomical structure is understood in particular as meaning macroscopic body parts of an examination subject such as organs, tissue, vessels or bones. An examination subject may be, for example, a human or animal patient. An examination area is an area comprising at least a part of the anatomical structure of interest. An aim of this basic idea of the invention is registration of a medical image with a real anatomical structure. By registering an image with an anatomical structure, a method comparable to an image registration of two images in digital image processing can be understood, with the aid of which the image and the anatomical structure of at least one similar scene are matched in the best possible way. For the image, a transformation is determined which optimally adapts the image to the anatomical structure. It is therefore an optimization problem. Similar to image registration, various solutions can be used. Examples of suitable optimization methods for registration methods are gradient descent methods, downhill simplex methods, hillclimb methods and simulated annealing.
In einem Verfahrensschritt des ersten Grundgedankens der Erfindung wird ein medizinisches Bild oder ein medizinischer Datensatz zum Beispiel von einer Bildgebungseinrichtung oder aus einer Datenbank entgegengenommen, geladen oder bezogen. Das medizinische Bild umfasst den Untersuchungsbereich, z.B. das Abdomen, des Untersuchungsobjektes, z.B. eines menschlichen Patienten, wobei der Untersuchungsbereich die anatomische Struktur, z.B. den Magen, umfasst. In a method step of the first basic concept of the invention, a medical image or a medical data record is received, loaded or obtained, for example, from an imaging device or from a database. The medical image includes the examination area, e.g. the abdomen, the object under examination, e.g. of a human patient, where the examination area is the anatomical structure, e.g. the stomach, includes.
In einem weiteren Verfahrensschritt wird unter Zuhilfenahme eines robotischen Mittels wenigstens eine Anatomiepositionskoordinate der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes bestimmt und entgegengenommen. Bei dem robotischen Mittel kann es sich zum Beispiel um einen Assistenzroboter mit mehreren Freiheitsgraden und mit einem Endeffektor, der zur Bestimmung einer Koordinate der Spitze des Endeffektors geeignet ist, handeln. Denkbar ist auch ein robotisches Mittel in Form eines Roboters mit mehreren Gliedern, die durch Gelenke drehbar miteinander verbunden sind, bei dem durch Bestimmung der Winkelauslenkungen mittels geometrischer Berechnungen, die Position der Roboterspitze bestimmbar ist. Ist die Spitze des Endeffektors an die Oberfläche der realen anatomischen Struktur geführt, kann deren Koordinate bestimmt und geladen, entgegengenommen oder bezogen werden. In a further method step, at least one anatomical position coordinate of the real anatomical structure of the examination region of the examination subject is determined and accepted with the aid of a robotic means. The robotic means may be, for example, an assistant robot having multiple degrees of freedom and an end effector suitable for determining a coordinate of the tip of the end effector. Also conceivable is a robotic means in the form of a robot having a plurality of links, which are rotatably connected to each other by joints, in which by determining the angular deflections by means of geometrical calculations, the position of the robot tip can be determined. If the tip of the end effector is guided to the surface of the real anatomical structure, its coordinate can be determined and loaded, received or obtained.
In einem weiteren Verfahrensschritt wird wenigstens eine, mit der wenigstens einen Anatomiepositionskoordinaten korrespondierenden, Bildpositionskoordinate entgegengenommen, bezogen oder geladen. D.h. es wird wenigstens eine Bildkoordinate aus dem medizinischen Bild, die mit der wenigstens einen Anatomiepositionskoordinate der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes korrespondiert oder ihr zugehört, entgegengenommen. Dies kann zum Beispiel durch einen Anwender durch Anwählen von Punkten auf dem medizinischen Bild, das auf einem Darstellungsmittel, z.B. einem Computermonitor, dargestellt wird, erfolgen. In a further method step, at least one image position coordinate corresponding to the at least one anatomy position coordinate is accepted, acquired or loaded. That at least one image coordinate from the medical image that corresponds to or belongs to the at least one anatomy position coordinate of the real anatomical structure of the examination region of the examination subject is accepted. This may be done, for example, by a user by selecting points on the medical image displayed on a display means, e.g. a computer monitor, is shown done.
In einem anschließenden Verfahrensschritt wird eine Transformationsvorschrift berechnet, wobei in die Berechnung der Transformationsvorschrift die wenigstens eine Anatomiepositionskoordinate und die wenigstens eine Bildpositionskoordinate eingehen. Zur Bestimmung der Transformationsvorschrift können beispielsweise Verfahren verwendet werden, die aus dem Gebiet der Bildregistrierung bekannt sind. Bei der Transformationsvorschrift kann es sich beispielsweise um eine Transformationsmatrix handeln, die im Falle einer rigiden Registrierung Terme für Rotationen und Translationen aufweist. Im Fall einer nicht-rigiden Registrierung kann die Transformationsmatrix ein Deformationsfeld umfassen. In a subsequent method step, a transformation rule is calculated, the at least one anatomy position coordinate and the at least one image position coordinate being included in the calculation of the transformation instruction. For example, in order to determine the transformation law, methods known in the field of image registration may be used. The transformation rule may, for example, be a transformation matrix, which in the case of a rigid registration term for rotations and translations. In the case of non-rigid registration, the transformation matrix may include a deformation field.
In einem nächsten Verfahrensschritt erfolgt mit Hilfe der Transformationsvorschrift die Registrierung des medizinischen Bildes mit der anatomischen Struktur. Dieser Schritt kann zum Beispiel eine Multiplikation der Koordinaten des medizinischen Bildes mit der Transformationsvorschrift umfassen, so dass die Beziehung zwischen dem Koordinatensystem des robotischen Mittels und dem Koordinatensystem des medizinischen Bildes des Untersuchungsobjektes wieder hergestellt ist. In a next method step, the registration of the medical image with the anatomical structure takes place with the aid of the transformation instruction. This step may include, for example, multiplying the coordinates of the medical image by the transformation rule so that the relationship between the coordinate system of the robotic agent and the coordinate system of the medical image of the examination subject is restored.
Vorzugsweise ist das medizinische Bild räumlich und es werden wenigstens drei linear unabhängige Anatomiepositionskoordinaten der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes und wenigstens drei, mit den wenigstens drei Positionskoordinaten korrespondierenden, Bildpositionskoordinaten entgegengenommen bzw. bestimmt. The medical image is preferably spatial and at least three linearly independent anatomical position coordinates of the real anatomical structure of the examination region of the examination subject and at least three image position coordinates corresponding to the at least three position coordinates are accepted or determined.
Durch die Entgegennahme von wenigstens drei Anatomiepositionskoordinaten-Bildpositionskoordinaten-Paaren kann eine räumliche Änderung translatorischer und/oder rotatorischer Art kompensiert werden. Allgemein können auch eine Vielzahl an Anatomiepositionskoordinaten und eine Vielzahl an Bildpositionskoordinaten bestimmt werden. Da die ersteren der realen anatomischen Struktur, die letzteren der anatomischen Struktur des medizinischen Bildes zugehören, korrespondieren die Bildpositionskoordinaten mit den Anatomiepositionskoordinaten. By accepting at least three anatomy position coordinate image position coordinate pairs, a spatial change of translational and / or rotational nature can be compensated. In general, a plurality of anatomy position coordinates and a plurality of image position coordinates may also be determined. Since the former belongs to the real anatomical structure, the latter to the anatomical structure of the medical image, the image position coordinates correspond to the anatomy position coordinates.
In einer vorteilhaften Weiterbildung wird zur Bestimmung der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur mit Hilfe des robotischen Mittels das robotische Mittel durch einen Anwender gesteuert. In an advantageous development, the robotic means is controlled by a user to determine the at least one anatomy position coordinates of the real anatomical structure with the aid of the robotic means.
In dieser Ausgestaltung steuert ein Anwender, beispielsweise ein Arzt das robotische Mittel zu Punkten der anatomischen Struktur. Dazu kann das robotische Mittel zum Beispiel Motoren umfassen, die in Gelenken eines teleskopischen Haltearms integriert sind, und durch die das robotische Mittel bedient und bewegt werden kann. Denkbar ist auch, dass das robotische Mittel ein Eingabemittel umfasst, durch dessen Betätigung, z.B. durch einen Anwender, eine aktuelle Anatomiepositionskoordinate bestimmt wird. Somit wäre das robotische Mittel dazu ausgelegt, an Positionen der realen anatomischen Struktur geführt zu werden und die zugehörigen Anatomiepositionskoordinaten zu bestimmen und beispielsweise einer Rechen- und Steuereinheit bereitzustellen. In this embodiment, a user, for example a doctor, controls the robotic means to points of the anatomical structure. For this purpose, the robotic means may for example comprise motors integrated in joints of a telescopic support arm and by which the robotic means can be operated and moved. It is also conceivable that the robotic means comprises an input means by the actuation thereof, e.g. by a user, a current anatomy position coordinate is determined. Thus, the robotic means would be adapted to be guided to positions of the real anatomical structure and to determine the associated anatomy position coordinates and, for example, to provide a computing and control unit.
In einer weiteren vorteilhaften Ausgestaltung ist zur Bestimmung der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur mit Hilfe des robotischen Mittels das robotische Mittel zur Messung einer, auf einen Endeffektor wirkenden, Kraft ausgelegt und es geht eine auf den Endeffektor wirkende Kraft in die Bestimmung der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur ein. In a further advantageous embodiment, the robotic means for measuring a force acting on an end effector is designed to determine the at least one anatomical position coordinate of the real anatomical structure with the aid of the robotic means, and a force acting on the end effector is involved in the determination of the at least one Anatomy position coordinates of the real anatomical structure.
Zum Erfassen der Anatomiepositionskoordinaten kann das robotische Mittel an die gewünschte Stellen gesteuert werden. Verfügt das robotische Mittel über Sensormittel, welche Kräfte, die beispielsweise auf den Endeffektor wirken, messen kann, lässt sich eine Abtastung der Anatomie mit einer freidefinierbaren Kontaktkraft erzielen. Dadurch können Teile der Anatomie rekonstruiert werden, indem beispielsweise Übergänge von einer geringen Kontaktkraft zu einer hohen Kontaktkraft als Grenze zu einer anatomischen Struktur interpretiert werden. To capture the anatomy position coordinates, the robotic means can be controlled to the desired locations. If the robotic means has sensor means which can measure forces acting, for example, on the end effector, it is possible to obtain a scan of the anatomy with a freely definable contact force. As a result, parts of the anatomy can be reconstructed, for example by interpreting transitions from a low contact force to a high contact force as the boundary to an anatomical structure.
Mit besonderem Vorteil geht in die Bestimmung der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur wenigstens ein Kraftschwellenwert ein. With particular advantage, at least one force threshold value enters the determination of the at least one anatomy position coordinate of the real anatomical structure.
Das robotische Mittel ist zur Messung einer Kraft, die auf einen Endeffektor wirkt, ausgelegt. Das Ergebnis eines Vergleichs einer Kraftmessung mit dem Kraftschwellenwert geht in die Bestimmung der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur ein. Durch das Setzen einer maximalen Steifheit und/oder durch eine Kräftemessung kann dieser Ansatz auch für Weichgewebe genutzt werden. Es lässt sich mit einer minimalen Kontaktkraft feststellen, ob sich die aktuelle Position auf der Oberfläche des Organs befindet. Dazu kann auch eine Deformation von Weichgewebe, das durch den Kontakt entsteht, reduziert werden. Des Weiteren können durch Steifheit und Kontaktkraft Gewebeschäden minimiert werden. Weiter ist denkbar, eine Anatomiepositionskoordinate zum Beispiel einer Rechen- und Steuereinheit dann bereitzustellen, wenn das Ergebnis einer Kraftmessung größer als ein eingestellter Kraftschwellenwert ist. The robotic means is designed to measure a force acting on an end effector. The result of a comparison of a force measurement with the force threshold is included in the determination of the at least one anatomy position coordinates of the real anatomical structure. By setting a maximum stiffness and / or by a force measurement, this approach can also be used for soft tissue. It can be determined with a minimum contact force, whether the current position is on the surface of the organ. This can also be a deformation of soft tissue, which results from the contact can be reduced. Furthermore, stiffness and contact force can minimize tissue damage. It is also conceivable to provide an anatomy position coordinate, for example, to a computing and control unit when the result of a force measurement is greater than a set force threshold value.
Es wird vorgeschlagen, dass die wenigstens eine Anatomiepositionskoordinate der realen anatomischen Struktur in ein Modell der anatomischen Struktur eingeht und dass in die Berechnung der Transformationsvorschrift das Modell der anatomischen Struktur eingeht. It is proposed that the at least one anatomical position coordinate of the real anatomical structure enter into a model of the anatomical structure and that the model of the anatomical structure is included in the calculation of the transformation instruction.
Es ist zum Beispiel denkbar, aus gewonnenen Anatomiepositionskoordinaten ein Oberflächenmodell zu bilden, das durch Interpolation die Berechnung von weiteren Anatomiepositionskoordinaten ermöglicht. Die Koordinaten des Modells der anatomischen Struktur können die Anatomiepositionskoordinaten der realen anatomischen Struktur bilden. Auch kann ein Modell beispielsweise Zusatzinformationen, wie eine zu erwartende Form, enthalten, die die Berechnung der Transformationsvorschrift erleichtern. It is conceivable, for example, to form a surface model from acquired anatomical position coordinates, which allows the calculation of further anatomy position coordinates by interpolation. The coordinates of the model of the anatomical structure can be the Form anatomy position coordinates of the real anatomical structure. Also, a model may, for example, contain additional information, such as an expected shape, which facilitates the calculation of the transformation rule.
Eine weitere vorteilhafte Ausgestaltung sieht vor, dass wenigstens eine anatomische Struktur des medizinischen Bildes segmentiert wird oder segmentiert ist und dass in die Berechnung der Transformationsvorschrift die wenigstens eine segmentierte anatomische Struktur des medizinischen Bildes eingeht. A further advantageous embodiment provides that at least one anatomical structure of the medical image is segmented or segmented and that the at least one segmented anatomical structure of the medical image is included in the calculation of the transformation instruction.
Segmentierung ist ein gängiges Verfahren in der medizinischen Bildverarbeitung. In diesem Zusammenhang kann darunter das Freistellen eines anatomischen Objektes oder einer anatomischen Struktur von nicht zu dem anatomischen Objekt zugehörigen Bildbestandteilen, wie umgebendem Gewebe, verstanden werden. Das anatomische Objekt ist beispielsweise ein Organ oder ein Gefäß, das von dem Untersuchungsbereich umfasst wird. Ein einfaches Segmentierungsverfahren ist z.B. ein Schwellwertverfahren. Bildpunkte der wenigstens einen segmentierten anatomischen Struktur des medizinischen Bildes können die, mit den Anatomiepositionskoordinaten korrespondierenden, Bildpositionskoordinaten bilden. Insbesondere wenn aus Anatomiepositionskoordinaten ein Oberflächenmodell einer realen anatomischen Struktur gebildet ist, kann mit Hilfe einer segmentierten anatomischen Struktur des medizinischen Bildes die Berechnung der Transformationsvorschrift erleichtert werden. Die wenigstens eine segmentierte anatomische Struktur des medizinischen Bildes kann als Bildmodell der anatomischen Struktur aufgefasst werden, so dass hierzu vorteilhaft Verfahren aus der medizinischen Bildregistrierung verwendet werden können. Segmentation is a common procedure in medical image processing. In this context, this can be understood as the exclusion of an anatomical object or an anatomical structure of image components that do not belong to the anatomical object, such as surrounding tissue. The anatomical object is, for example, an organ or a vessel that is encompassed by the examination area. A simple segmentation method is e.g. a threshold method. Pixels of the at least one segmented anatomical structure of the medical image may form the image position coordinates corresponding to the anatomical position coordinates. In particular, when a surface model of a real anatomical structure is formed from anatomy position coordinates, the calculation of the transformation instruction can be facilitated by means of a segmented anatomical structure of the medical image. The at least one segmented anatomical structure of the medical image can be understood as an image model of the anatomical structure, so that advantageously methods from medical image registration can be used for this purpose.
In einer alternativen Ausführungsform der Erfindung wird die wenigstens eine Anatomiepositionskoordinate der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes mit Hilfe eines robotischen Mittels automatisiert bestimmt. In an alternative embodiment of the invention, the at least one anatomy position coordinate of the real anatomical structure of the examination region of the examination subject is determined automatically by means of a robotic means.
Vorzugsweise wird ein Bereich, z.B. der Untersuchungsbereich, vorgegeben, innerhalb dessen die Oberfläche mit Hilfe des robotischen Mittels, z.B. von dessen Endeffektor, automatisiert oder automatisch abgefahren wird oder punktweise abgetastet wird. Insbesondere wenn der Endeffektor ein Sensormittel zur Messung einer auf den Endeffektor wirkenden Kraft aufweist, kann das robotische Mittel eine anatomische Struktur automatisiert oder quasi selbständig abfahren und insbesondere eine Vielzahl an Anatomiepositionskoordinaten der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes bestimmen. Vorteilhaft umfasst dann das automatisierte Bestimmen von Anatomiepositionskoordinaten einen Vergleich eines Messwertes des Sensormittels zur Messung einer auf den Endeffektor wirkenden Kraft mit einem Kraftschwellenwert. Ist beispielsweise die von dem Sensormittel gemessene Kontaktkraft größer als der Kraftschwellenwert, wird die aktuelle Koordinate des Endeffektors als Anatomiepositionskoordinate bestimmt. Ein Verfahrensschritt kann sodann lauten, dass die Kontaktkraft an einer benachbarten Koordinate fortgesetzt wird. Dadurch kann durch punktweise Detektion von Kotaktkräften eine Oberfläche einer anatomischen Struktur abgefahren werden und deren Anatomiepositionskoordinaten bestimmt werden. Weiter wäre ein Verfahren denkbar, bei dem rasterförmig eine Fläche durch einen Endeffektor abgetastet wird, wobei der Endeffektor solange in Richtung einer anatomischen Struktur ausgefahren wird, bis eine gemessene Kontaktkraft einen vorgebbaren Schwellenwert übersteigt, worauf der Endeffektor eingefahren wird und das Abtasten an der nächsten Rasterposition fortgesetzt wird. Auch wäre ein gleichmäßiges Abtasten der anatomischen Strukturen denkbar, indem der Roboter über die entsprechende Anatomie mit gleichbleibendem Anpressdruck "hinweggleitet". Allgemein bieten automatisch ausgeführte Verfahren auch den Vorteil, dass weniger Eingriffe einer Bedienperson notwendig sind, die oftmals zeitaufwändig und fehleranfällig sind. Beispielsweise können die bestimmten Anatomiepositionskoordinaten und korrespondierende Bildpositionskoordinaten automatisch an ein Rechen- und Steuermittel übertragen werden, das automatisch die Transformationsvorschrift berechnet. Preferably, an area, e.g. the examination area, within which the surface is defined by means of the robotic means, e.g. its end effector is automatically or automatically traversed or scanned point by point. In particular, when the end effector has a sensor means for measuring a force acting on the end effector, the robotic means can automate an anatomical structure or quasi autonomously depart and in particular determine a plurality of anatomy position coordinates of the real anatomical structure of the examination area of the examination subject. The automated determination of anatomy position coordinates then advantageously comprises a comparison of a measured value of the sensor means for measuring a force acting on the end effector with a force threshold value. For example, if the contact force measured by the sensor means is greater than the force threshold, the current coordinate of the end effector is determined as the anatomy position coordinate. A method step may then be that the contact force is continued at an adjacent coordinate. As a result, a surface of an anatomical structure can be traced by point-wise detection of co-tactile forces and their anatomy position coordinates can be determined. Furthermore, a method would be conceivable in which a surface is scanned in a grid-like manner by an end effector, the end effector being extended in the direction of an anatomical structure until a measured contact force exceeds a predefinable threshold value, whereupon the end effector is retracted and scanning at the next grid position will continue. A uniform palpation of the anatomical structures would also be conceivable in that the robot "glides" over the corresponding anatomy with constant contact pressure. In general, automatically executed methods also offer the advantage that fewer interventions by an operator are necessary, which are often time-consuming and error-prone. For example, the determined anatomy position coordinates and corresponding image position coordinates may be automatically transmitted to a calculation and control means which automatically calculates the transformation law.
Es ist denkbar, dass das Verfahren wiederholt ausgeführt wird. It is conceivable that the method is carried out repeatedly.
Insbesondere bei einer chirurgischen Intervention, wenn ein Untersuchungsobjekt nicht fixiert werden kann, sind Bewegungen nicht auszuschließen, so dass eine wiederholte Ausführung eines der erfindungsgemäßen Verfahren von Vorteil ist, um die Registrierung immer aktuell zu halten. Dabei kann ein Abbruchkriterium, wie das Drücken einer Abbruchtaste, abgefragt werden. Das Verfahren wird solange wiederholt ausgeführt, bis das Abbruchkriterium erfüllt ist. Eine wiederholte Ausführung kann auch eine anfängliche oder initiale Registrierung umfassen, bei der große Abweichungen zu erwarten sind, und erneute Registrierungen, bei denen kleinere Abweichungen zu erwarten sind, wobei dann im Allgemeinen weniger Anatomiepositionskoordinaten bestimmt werden müssen. Dem kann zum Beispiel durch die Vorgabe von zwei verschiedenen Anzahlen von zu bestimmenden Anatomiepositionskoordinaten Rechnung getragen werden. In particular, in a surgical intervention, when an examination object can not be fixed, movements can not be ruled out, so that a repeated execution of the method according to the invention is advantageous to keep the registry always up to date. In this case, an abort criterion, such as the pressing of a cancel key, can be queried. The procedure is repeated until the termination criterion is met. Repetitive execution may also include initial or initial registration in which large deviations are expected, and re-registrations where minor deviations are to be expected, in which case generally less anatomical position coordinates need to be determined. This can be taken into account, for example, by specifying two different numbers of anatomical position coordinates to be determined.
Es hat sich als vorteilhaft erwiesen, wenn bei der Berechnung der Transformationsvorschrift eine Positionsänderung, eine Lageänderung und/oder eine Deformation der anatomischen Struktur berücksichtigt werden. It has proved to be advantageous if, in the calculation of the transformation rule, a change in position, a change in position and / or a deformation of the anatomical structure are taken into account.
Allgemein kann man insbesondere nicht-elastische und elastische Registrierungsverfahren unterscheiden. Unter einem nicht-elastischen Registrierungsverfahren wird ein Registrierungsverfahren verstanden, bei dem rigide Transformationen, wie Translation und Rotation, affine Transformationen, wie Skalierung und Scherung, und projektive Transformationen verwendbar sind. Unter einem elastischen Registrierungsverfahren wird ein Registrierungsverfahren verstanden, bei elastische Transformationen, engl. auch „non-rigid transformations“ genannt, wie spline- oder polynomialbasierte Transformationen, anwendbar sind. Im Allgemeinen ist eine Registrierung nach einer Positionsänderung und/oder einer Lageänderung einfacher und insbesondere mit der Bestimmung von weniger Anatomiepositionskoordinaten und Bildpositionskoordinaten möglich, als eine Registrierung nach einer Deformation der anatomischen Struktur. Durch die Bestimmung oder Aufnahme einer hinreichend großen Anzahl an Koordinaten kann jedoch auch eine Deformation der Anatomie festgestellt werden. Die bestimmten Anatomiepositionskoordinaten werden hierzu nicht-rigide zu den Bildpositionskoordinaten im Bilddatensatz registriert. In general, one can distinguish in particular non-elastic and elastic registration methods. A non-elastic registration method is understood to mean a registration method in which rigid transformations such as translation and rotation, affine transformations such as scaling and shear, and projective transformations are usable. An elastic registration method is understood as a registration method in elastic transformations. also called "non-rigid transformations", such as spline- or polynomial-based transformations, are applicable. In general, registration after a change of position and / or a change of position is easier and in particular possible with the determination of fewer anatomical position coordinates and image position coordinates than a registration after a deformation of the anatomical structure. By determining or recording a sufficiently large number of coordinates, however, a deformation of the anatomy can be determined. The determined anatomy position coordinates are registered non-rigidly to the image position coordinates in the image data set for this purpose.
Zudem ist es von Vorteil, wenn das Verfahren eine Nachgiebigkeitsregelung des robotischen Mittels umfasst. In addition, it is advantageous if the method comprises a compliance control of the robotic means.
Bei einer Nachgiebigkeitsregelung oder Impedanzregelung werden Kontaktkraft und Position bei einem Objektkontakt verknüpft und entsprechend geregelt. Im Allgemeinen wird unter Nachgiebigkeit das „Maß der Roboterfähigkeit, den Kontaktkräften entgegenzuwirken“ definiert. Wird ein robotisches Hilfsmittel verwendet, das über ein Sensormittel zur Kraftmessung und/oder Drehmomentmessung verfügt, kann eine an sich bekannte Impedanzregelung implementiert werden, die je nach Gewebeart eine Steifheit modelliert, die zusätzlich vor Deformationen und einer Schädigung des Gewebes schützt. In a compliance control or impedance control contact force and position are linked in an object contact and regulated accordingly. Generally, compliance is defined as the "measure of robotic ability to counteract contact forces". If a robotic device is used which has a sensor device for force measurement and / or torque measurement, an impedance regulation known per se can be implemented which, depending on the tissue type, models a stiffness which additionally protects against deformations and damage to the tissue.
Ein weiterer Grundgedanke der Erfindung ist eine Vorrichtung zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur. Die Vorrichtung umfasst ein robotisches Mittel zur Bestimmung wenigstens einer Anatomiepositionskoordinaten einer realen anatomischen Struktur eines Untersuchungsbereiches eines Untersuchungsobjektes und Bereitstellung der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur. Weiter umfasst die Vorrichtung eine Rechen- und Steuereinheit, die ausgelegt ist,
- – zur Entgegennahme ein medizinisches Bild des, die anatomische Struktur umfassenden, Untersuchungsbereiches des Untersuchungsobjektes;
- – zur Entgegennahme der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur;
- – zur Entgegennahme wenigstens einer, mit der wenigstens einen Anatomiepositionskoordinaten korrespondierenden, Bildpositionskoordinaten;
- – zur Berechnen einer Transformationsvorschrift, wobei in die Berechnung der Transformationsvorschrift die wenigstens eine Anatomiepositionskoordinate und die wenigstens eine Bildpositionskoordinate eingehen und
- – zur Registrierung des medizinischen Bildes mit der anatomischen Struktur mit Hilfe der Transformationsvorschrift.
- For receiving a medical image of the examination area of the examination subject comprising the anatomical structure;
- To receive the at least one anatomy position coordinate of the real anatomical structure;
- To receive at least one image position coordinate corresponding to the at least one anatomy position coordinate;
- For calculating a transformation rule, wherein in the calculation of the transformation rule the at least one anatomy position coordinate and the at least one image position coordinate are received and
- - To register the medical image with the anatomical structure using the transformation rule.
Die Rechen- und Steuereinheit kann beispielsweise als Computer ausgeführt sein, die über Schnittstellen zur zum Beispiel Entgegennahme des medizinischen Bildes verfügt. The computing and control unit can be embodied, for example, as a computer which has interfaces for, for example, receiving the medical image.
Günstig ist die Vorrichtung dazu ausgelegt, eines der zuvor beschriebenen erfindungsgemäßen Verfahren durchzuführen. Conveniently, the device is designed to carry out one of the previously described methods according to the invention.
Dazu verfügt die Vorrichtung beispielsweise über ein robotisches Mittel, das einen Endeffektor mit einem Sensormittel umfasst, das dazu ausgelegt ist, Kräfte und/oder Drehmomente, die auf den Endeffektor wirken zu messen und der Rechen- und Steuereinheit zur Verfügung zu stellen. Denkbar ist auch ein System zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur, das eine der zuvor beschriebenen Vorrichtungen zur Registrierung eines medizinischen Bildes mit einer realen anatomischen Struktur und ein Bildgebungsmittel zur Gewinnung und Bereitstellung eines medizinischen Bildes des, die anatomische Struktur umfassenden, Untersuchungsbereiches des Untersuchungsobjektes umfasst. For this purpose, the device has, for example, a robotic means, which comprises an end effector with a sensor means, which is designed to measure forces and / or torques acting on the end effector and to provide the computing and control unit. Also conceivable is a system for registering a medical image with a real anatomical structure comprising one of the previously described devices for registering a medical image with a real anatomical structure and an imaging device for obtaining and providing a medical image of the examination area comprising the anatomical structure of the examination object.
Die Erfindung betrifft zudem ein Computerprogramm, das die Schritte eines erfindungsgemäßen Verfahrens durchführt, wenn es auf einer Recheneinrichtung ausgeführt wird. The invention also relates to a computer program that performs the steps of a method according to the invention when it is executed on a computing device.
Die Recheneinrichtung kann dabei beispielsweise die Rechen- und Steuereinheit einer erfindungsgemäßen Vorrichtung zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur sein. The computing device can be, for example, the computing and control unit of a device according to the invention for registering a medical image with an anatomical structure.
Schließlich kann die Erfindung auch einen nicht transienten Datenträger, beispielsweise eine CD-ROM, auf dem ein erfindungsgemäßes Computerprogramm gespeichert ist, betreffen. Finally, the invention may also relate to a non-transient data carrier, for example a CD-ROM, on which a computer program according to the invention is stored.
Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. The embodiments described in more detail below represent preferred embodiments of the present invention.
Weitere vorteilhafte Weiterbildungen ergeben sich aus den nachfolgenden Figuren samt Beschreibung. Es zeigen: Further advantageous developments will become apparent from the following figures, including description. Show it:
- S1) Entgegennahme eines medizinischen Bildes eines, eine anatomische Struktur umfassenden, Untersuchungsbereiches eines Untersuchungsobjektes;
- S2) Bestimmen wenigstens einer Anatomiepositionskoordinaten der realen anatomischen Struktur des Untersuchungsbereiches des Untersuchungsobjektes mit Hilfe eines robotischen Mittels, und Entgegennahme der wenigstens einen Anatomiepositionskoordinaten der realen anatomischen Struktur;
- S3) Entgegennahme wenigstens einer, mit der wenigstens einen Anatomiepositionskoordinaten korrespondierenden, Bildpositionskoordinaten;
- S4) Berechnen einer Transformationsvorschrift, wobei in die Berechnung der Transformationsvorschrift die wenigstens eine Anatomiepositionskoordinate und die wenigstens eine Bildpositionskoordinate eingehen;
- S5) Registrierung des medizinischen Bildes mit der anatomischen Struktur mit Hilfe der Transformationsvorschrift;
- S6) Abfrage eines Abbruchkriteriums und falls das Abbruchkriterium erfüllt, „J“, ist, beenden, „Ende“, des Verfahrens, ansonsten, „N“, Sprung zu Verfahrensschritt S2.
- S1) receiving a medical image of an examination area of an examination subject comprising an anatomical structure;
- S2) determining at least one anatomy position coordinate of the real anatomical structure of the examination region of the examination subject by means of a robotic means, and receiving the at least one anatomy position coordinate of the real anatomical structure;
- S3) receiving at least one image position coordinate corresponding to the at least one anatomy position coordinate;
- S4) calculating a transformation rule, wherein the at least one anatomy position coordinate and the at least one image position coordinate are entered into the calculation of the transformation instruction;
- S5) registration of the medical image with the anatomical structure using the transformation protocol;
- S6) Query of an abort criterion and if the abort criterion is satisfied, "J", is, terminate, "end" of the method, otherwise, "N", jump to step S2.
Unter einem Abbruchkriterium kann beispielsweise das Drücken eines Tasters oder das Erreichen eines vorgebbaren Zählerstandes eines Wiederholungszählers verstanden werden. Durch die Abfrage des Abbruchkriteriums kann das Verfahren wiederholt ausgeführt werden. In Verbindung mit zumindest teilweise automatisch ausgeführten Verfahrensschritten kann ein quasi kontinuierlich ablaufendes Verfahren gebildet werden. Under a termination criterion, for example, the pressing of a button or the achievement of a predetermined count of a repetition counter can be understood. By polling the abort criterion, the process can be executed repeatedly. In connection with at least partially automatically executed process steps, a quasi-continuous process can be formed.
In
Zusammenfassend werden weitere Ausgestaltungen und Vorteile der Erfindung beschrieben. Die Erfindung schlägt ein Verfahren vor, eine erneute oder initiale Registrierung eines Patienten durch das "Abtasten" der Anatomie des Patienten durch ein robotisches System zu bewerkstelligen. Weiter wird unter anderem ein Verfahren vorgeschlagen, in welchem eine Position, eine Lage und/oder eines Deformation eines beliebigen Teils eines Organs durch Landmarken mittels eines robotischen Mittels räumlich erfasst werden. Diese Position, Lage und/oder Deformation werden dann mit bereits aufgenommenen Bilddatensätzen registriert um die Positionsänderung, Lageänderung und/oder Deformation festzustellen und für eine aktualisierte Registrierung bereitzustellen. Einer der Vorteile ist, dass kein neuer Bilddatensatz aufgenommen werden muss, wodurch eine Dosisersparnis resultiert. Ein weiterer Vorteil ist, dass keine weiteren Hilfsmittel benötigt werden, wenn das robotische Mittel zur Unterstützung einer Intervention ohnehin vorhanden ist. Dadurch können Platz und Kosten gespart werden. Zudem kann das Ergebnis einer Registrierung im Vergleich zu bekannten Methoden der Registrierung genauer sein, da Rundungsfehler bei der Berechnung der Transformation vermieden werden können, die bei üblichen Registrierungsmethoden durch Berechnungen mit mehreren Transformationsschritten, wie zum Beispiel bei Verwendung von präoperativen Daten, Tracking Systemen, Umwandlung in ein Roboterkoordinatensystem, entstehen können. Weiter sind keine vordefinierten Punkte oder Marker nötig, die bei bekannten Verfahren definiert und gegebenenfalls angebracht werden müssen, insbesondere durch Aufkleben von Markern mit Gewebeklebstoff. Ein weiterer Vorteil kann in einer höheren Geschwindigkeit liegen, da im Gegensatz zu bildbasierten Registrierungsmethoden keine weitere Aufbereitung des Datensatzes notwendig ist. Auch durch die Optimierung der Messpunkteanzahl und der Auswahl eines spezifischen Ausschnitts des Organs lässt sich die Geschwindigkeit maximieren.In summary, further embodiments and advantages of the invention will be described. The invention proposes a method of effecting a re-registration or initial registration of a patient by "scanning" the anatomy of the patient by a robotic system. Further, among other things, a method is proposed in which a position, a position and / or a deformation of any part of an organ are spatially detected by landmarks by means of a robotic means. This position, position and / or deformation are then registered with already recorded image data records to determine the position change, change in position and / or deformation and provide for an updated registration. One of the advantages is that no new image data set has to be recorded, resulting in a dose saving. Another advantage is that no additional resources are needed if the robotic means to support an intervention is in place anyway. This saves space and costs. In addition, the result of registration may be more accurate compared to known methods of registration, as rounding errors can be avoided in computing the transformation used in conventional registration methods through multiple transformation steps calculations, such as using preoperative data, tracking systems, conversion into a robot coordinate system. Furthermore, no predefined points or markers are necessary, which must be defined and optionally applied in known methods, in particular by sticking markers with tissue adhesive. Another advantage can be a higher speed, since, in contrast to image-based registration methods, no further processing of the data record is necessary. Also, optimizing the number of measurement points and selecting a specific section of the organ maximizes speed.
Claims (14)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014219581.0A DE102014219581A1 (en) | 2014-09-26 | 2014-09-26 | A method, apparatus and computer program for registering a medical image with an anatomical structure |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014219581.0A DE102014219581A1 (en) | 2014-09-26 | 2014-09-26 | A method, apparatus and computer program for registering a medical image with an anatomical structure |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102014219581A1 true DE102014219581A1 (en) | 2015-09-17 |
Family
ID=54010260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102014219581.0A Ceased DE102014219581A1 (en) | 2014-09-26 | 2014-09-26 | A method, apparatus and computer program for registering a medical image with an anatomical structure |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102014219581A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108115683A (en) * | 2016-11-30 | 2018-06-05 | 西门子保健有限责任公司 | The calculating of the calibration parameter of robot tool |
US10820871B1 (en) | 2019-08-09 | 2020-11-03 | GE Precision Healthcare LLC | Mobile X-ray imaging system including a parallel robotic structure |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140073907A1 (en) * | 2012-09-12 | 2014-03-13 | Convergent Life Sciences, Inc. | System and method for image guided medical procedures |
US20140278232A1 (en) * | 2013-03-14 | 2014-09-18 | Curexo Technology Corporation | Intra-operative registration of anatomical structures |
-
2014
- 2014-09-26 DE DE102014219581.0A patent/DE102014219581A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140073907A1 (en) * | 2012-09-12 | 2014-03-13 | Convergent Life Sciences, Inc. | System and method for image guided medical procedures |
US20140278232A1 (en) * | 2013-03-14 | 2014-09-18 | Curexo Technology Corporation | Intra-operative registration of anatomical structures |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108115683A (en) * | 2016-11-30 | 2018-06-05 | 西门子保健有限责任公司 | The calculating of the calibration parameter of robot tool |
EP3329877A1 (en) * | 2016-11-30 | 2018-06-06 | Siemens Healthcare GmbH | Calculation of a calibration parameter of a robot tool |
US10723028B2 (en) | 2016-11-30 | 2020-07-28 | Siemens Healthcare Gmbh | Calculating a calibration parameter for a robot tool |
CN108115683B (en) * | 2016-11-30 | 2021-06-18 | 西门子保健有限责任公司 | Calculation of calibration parameters for a robotic tool |
US10820871B1 (en) | 2019-08-09 | 2020-11-03 | GE Precision Healthcare LLC | Mobile X-ray imaging system including a parallel robotic structure |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10322739B4 (en) | Method for markerless navigation in preoperative 3D images using an intraoperatively obtained 3D C-arm image | |
DE102007013807B4 (en) | Method for assisting the navigation of interventional tools when performing CT- and MRI-guided interventions at a given intervention level | |
DE102008017111B4 (en) | System and method for navigating an object in an imaged subject | |
DE102015208929B3 (en) | Method for 2D-3D registration, computing device and computer program | |
DE10108547B4 (en) | Operating system for controlling surgical instruments based on intra-operative X-ray images | |
DE102010020781B4 (en) | Determination and verification of the coordinate transformation between an X-ray system and a surgical navigation system | |
DE112016005720T5 (en) | 3D visualization during surgery with reduced radiation exposure | |
DE102008044529A1 (en) | System and method for using fluoroscopic and computed tomography registration for sinuplasty navigation | |
CN107847274B (en) | Method and apparatus for providing updated patient images during robotic surgery | |
DE102010020284A1 (en) | Determination of 3D positions and orientations of surgical objects from 2D X-ray images | |
DE102007057094A1 (en) | Systems and methods for visual verification of CT registration and feedback | |
TW201801682A (en) | An image guided augmented reality method and a surgical navigation of wearable glasses using the same | |
DE102005059804A1 (en) | Navigation of inserted medical instrument in a patient, e.g. a catheter, uses initial three dimensional image of the target zone to give a number of two-dimensional images for comparison with fluoroscopic images taken during the operation | |
DE10323008A1 (en) | Automatic fusion of 2D fluoroscopic C-frame X-ray images with preoperative 3D images using navigation markers, by use of a projection matrix based on a 2D fluoroscopy image and a defined reference navigation system | |
DE10322738A1 (en) | Markerless automatic 2D C scan and preoperative 3D image fusion procedure for medical instrument use uses image based registration matrix generation | |
DE10333543A1 (en) | A method for the coupled presentation of intraoperative as well as interactive and iteratively re-registered preoperative images in medical imaging | |
DE212012000054U1 (en) | Apparatus, structures, circuits and systems for assessing, assessing and / or determining relative positions, orientations, orientations and angles of rotation of a portion of a bone and between two or more portions of one or more bones | |
EP3355268B1 (en) | Method, computing apparatus and system for measuring an x-ray recording of a medical examination area | |
EP4213755B1 (en) | Surgical assistance system | |
DE102005026251A1 (en) | Wireless (freely available) fiducial registration and EM-distorted surface registration | |
DE102019201227A1 (en) | Imaging device and method for generating a motion-compensated image or video, computer program product and computer-readable storage medium | |
EP3626173A1 (en) | Method for motion correction of a reconstructed three-dimensional image dataset, biplan x-ray device, computer program and electronically readable data carrier | |
DE102011006537B4 (en) | Method for registering a first coordinate system of a first medical imaging device with a second coordinate system of a second medical imaging device and / or a third coordinate system of a medical instrument, which is defined by markers of a medical navigation device, and medical examination and / or treatment system | |
DE102012224057B4 (en) | Method and device for image support | |
WO2011120795A1 (en) | Method for ascertaining the three-dimensional volume data, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R230 | Request for early publication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |