DE19951502A1

DE19951502A1 - Medical imaging system for surgical applications

Info

Publication number: DE19951502A1
Application number: DE19951502A
Authority: DE
Inventors: Norbert Rahn; Siegfried Wach; Rainer Graumann; Johannes Bieger; Gerold Herold; Gerd Wessels
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1999-06-28
Filing date: 1999-10-26
Publication date: 2001-01-18
Also published as: DE19951503A1; DE19951503B4

Abstract

The imaging system provides an image of a surgical patient (P) via an imaging device (2), with detection of the position of the imaging device and detection of the relative position of a surgical instrument, to allow an image of the surgical instrument to be superimposed on image of the examined area of the patient. The imaging device can be provided by an ultrasonic sensor, with the position of the imaging device and the position of the surgical instrument detected via a navigation system (3,4,5,6,7,13).

Description

Die Erfindung betrifft ein System mit Mitteln zur Aufnahme von Bildern von einem ersten Objekt, mit Mitteln zur Bestim mung der Position eines zweiten Objektes und mit Mitteln zur Einblendung eines Abbildes des zweiten Objektes in ein mit den Mitteln zur Aufnahme von Bildern gewonnenes Bild des er sten Objektes. Die Erfindung betrifft außerdem einen ein der artiges System aufweisenden medizinischen Arbeitsplatz und ein Verfahren zur Einblendung eines Abbildes des zweiten Ob jektes in ein von dem ersten Objekt gewonnenes Bild.The invention relates to a system with means for recording of images of a first object, with means for determination Position of a second object and with means for Fade in an image of the second object in a the means of taking pictures he obtained most object. The invention also relates to a medical system and system a method for displaying an image of the second ob jektes into an image obtained from the first object.

Derartige Systeme werden beispielsweise in der Medizin in klinischen Applikationsfeldern, z. B. der Orthopädie oder der Traumatologie, zur Unterstützung operativer Eingriffe an Pa tienten eingesetzt, wobei Abbilder von Instrumenten in Bilder vom Körperinneren des Patienten eingeblendet werden. Dies ist insbesondere dann von Vorteil, wenn dem Chirurgen der Blick auf das patientenseitige Ende eines von ihm geführten, in den Körper eines Patienten eingedrungenen medizinischen Instru mentes verwehrt ist. Mit einem an dem Instrument angeordneten Positionssensor eines Navigationssystems werden dabei die Ortskoordinaten, d. h. die Lage und Orientierung, des Instru mentes im Raum bzw. an einem Operationssitus, bestimmt und dessen Abbild in ein mit den Mitteln zur Aufnahme von Bildern gewonnenes Bild vom Patienten eingeblendet.Such systems are used, for example, in medicine clinical application fields, e.g. B. orthopedics or Traumatology, to support surgical interventions on pa tients used, images of instruments in pictures from the inside of the patient. This is This is particularly advantageous when the surgeon has a look on the patient end of one led by him, in the Body of a patient intruded medical instru mentes is denied. With one arranged on the instrument Position sensors of a navigation system are the Location coordinates, d. H. the location and orientation of the instru mentes in the room or at an operating site, determined and its image in a with the means for taking pictures the patient's image appears.

Wünschenswert wäre es dabei, daß das zur Einblendung des In strumentes vom Patienten gewonnene Bild die tatsächliche Lage und Form eines Körperteils des Patienten bzw. eines Organs im Körper des Patienten zeigt. Da die während eines medizini schen Eingriffs für die Einblendung von Instrumenten vorgese henen Bilder vom Körper eines Patienten in der Regel aber präoperativ, d. h. vor dem Eingriff, beispielsweise mit einem Computertomographen, gewonnen werden, ist die Übereinstimmung zwischen einer im Bild dargestellten Lage und Form eines Kör perteils bzw. Organs und der tatsächlichen Lage und Form des Körperteils bzw. Organs bei der Operation die Ausnahme. Die auftretenden Unterschiede sind vor allem dadurch bedingt, daß entweder die Lage des Patienten bei der Operation auf einer Patientenliege nicht genau der Lage des Patienten bei der Bildaufnahme entspricht oder daß beim Öffnen des Patienten beispielsweise durch natürliche Bewegungen, z. B. Herzschlag, Atmung oder Peristaltik, Deformationen von Körperteilen, De formationen von Organen oder Veränderungen von Organlagen auftreten. Eine Verbesserung der Navigation des Instrumentes ergibt sich, wenn während der Operation 2D-Projektionen vom Operationssitus aufgenommen werden, welche zur Korrektur der präoperativ gewonnenen Bilder herangezogen werden. Nachteilig bleibt jedoch, daß die Genauigkeit der Einblendung von Abbil dern von Instrumenten relativ gering ist, der Chirurg also die genaue Lage des Instrumentes nur erahnen kann und somit die Navigation nur eine grobe Orientierung bei operativen Eingriffen darstellt.It would be desirable that the to display the In strumentes image obtained from the patient the actual location and shape of a body part of the patient or an organ in the Shows the patient's body. Because the during a medical intervention for the display of instruments usually pictures of the body of a patient preoperatively, d. H. before the procedure, for example with a Computer tomographs that are obtained is the match between a position and shape of a body shown in the picture perteil or organ and the actual location and form of the Body part or organ the exception during the operation. The Differences occurring are mainly due to the fact that either the position of the patient during the operation on one Patient bed is not exactly in the position of the patient Image acquisition corresponds to or that when opening the patient for example by natural movements, e.g. B. heartbeat, Breathing or peristalsis, deformation of body parts, De formation of organs or changes in organ positions occur. An improvement in the navigation of the instrument results if 2D projections from Surgical site are included, which to correct the images obtained preoperatively can be used. Disadvantageous remains, however, that the accuracy of the overlay of Fig of instruments is relatively small, the surgeon the exact location of the instrument can only guess and thus the navigation is just a rough guide for operational Intervention.

Ein weiteres Problem bei der Navigation besteht in der Ein blendung eines Abbildes eines Instrumentes an sich in präope rativ gewonnene Bilder. Um die Einblendung eines Abbildes ei nes Instrumentes in ein präoperativ gewonnenes Bild durchfüh ren zu können, ist nämlich eine räumliche Transformation der bezüglich eines ersten Koordinatensystems angegebenen Koordi naten des in definierter Weise an dem Instrument angeordneten Positionssensors des Navigationssystems in die räumlichen Ko ordinaten des für die Navigation verwendeten, mit den Mitteln zur Aufnahme von Bildern gewonnenen Bildes vom Patienten not wendig. Diese Transformation wird als Registrierung bezeich net. Als Hilfsmittel für die Registrierung dienen meist Mar ker, die am Patienten angebracht werden. Die Positionen der Marker werden zum einen mit dem Positionssensor des Navigati onssystems in dem ersten Koordinatensystem identifiziert und zum anderen, beispielsweise durch händische Eingabe mit einem Eingabemittel, im Koordinatensystem des mit den Mitteln zur Aufnahme von Bildern gewonnenen und zur Navigation verwende ten, in einem Rechner gespeicherten Bildes identifiziert. Aus den beiden in dem ersten Koordinatensystem und in dem Koordi natensystem des zur Navigation verwendeten Bildes identifi zierten Punktmengen der Marker kann schließlich eine Trans formation berechnet werden, die während der Navigation die in dem ersten Koordinatensystem mit dem Positionssensor des Na vigationssystems erfaßten Positionen des Instrumentes in die Koordinaten des Bildes transformiert.Another problem with navigation is the one glare of an image of an instrument itself in preope pictures obtained relatively. To display an image perform an instrument in a preoperative picture Being able to do so is a spatial transformation of with respect to a first coordinate system naten of the arranged on the instrument in a defined manner Position sensor of the navigation system in the spatial Ko ordinates of the used for navigation, with the means for taking pictures of the patient agile. This transformation is called registration net. Mar is usually used as an aid for registration ker, which are attached to the patient. The positions of the Markers are used with the Navigati's position sensor onsystem in the first coordinate system identified on the other hand, for example by manual entry with a Input means, in the coordinate system of the means for Taking pictures obtained and using them for navigation image identified in a computer. Out the two in the first coordinate system and in the Koordi nat system of the image used for navigation identifi a trans formation are calculated, which during navigation the in the first coordinate system with the Na position sensor navigation system recorded positions of the instrument in the Coordinates of the image transformed.

Die Registrierung stellt jedoch einen zeitaufwendigen und zu dem fehleranfälligen Prozeß dar. Darüber hinaus erweist sich die Handhabung und die Identifikation der Marker im intra-ope rativen Umfeld oftmals als problematisch.Registration, however, is a time-consuming process the error-prone process. Furthermore, it turns out handling and identification of the markers in the intra-ope often a problematic environment.

Der Erfindung liegt daher die Aufgabe zugrunde, ein System der eingangs genannten Art derart auszubilden, daß die Ein blendung des Abbildes eines zweiten Objektes in ein mit Mit teln zur Aufnahme von Bildern gewonnenes Bild von einem er sten Objekt vereinfacht ist. Eine weitere Aufgabe der Erfin dung liegt in der Angabe eines Verfahrens zur vereinfachten Einblendung eines Abbildes eines zweiten Objektes in ein von einem ersten Objekt gewonnenes Bild.The invention is therefore based on the object of a system of the type mentioned in such a way that the Ein glare of the image of a second object in a with Image taken by a person to take pictures most object is simplified. Another task of the Erfin is to specify a procedure for simplified Fade in an image of a second object in one of image obtained from a first object.

Nach der Erfindung wird die eine Aufgabe gelöst durch ein Sy stem mit Mitteln zur Aufnahme von Bildern von einem ersten Objekt, mit Mitteln zur Bestimmung der Position der Mittel zur Aufnahme von Bildern, mit Mitteln zur Bestimmung der Po sition eines zweiten Objektes, mit Mitteln zur Bestimmung der Position des zweiten Objektes relativ zu den Mitteln zur Auf nahme von Bildern und mit Mitteln zur Einblendung eines Ab bildes des zweiten Objektes in ein mit den Mitteln zur Auf nahme von Bildern gewonnenes Bild des ersten Objektes. Die Erfindung bezieht sich dabei auf Mittel zur Aufnahme von Bil dern, bei denen die Lagen und Orientierungen der mit den Mit teln zur Aufnahme von Bildern erfaßten Bilddaten relativ zu den Mitteln aufgrund eindeutiger räumlicher Beziehungen be kannt, in einfacher Weise ermittelbar oder festlegbar sind. Auf diese Weise ist durch die Bestimmung der Position der Mittel zur Aufnahme von Bildern in einem Bezugskoordinatensy stem auch die Lage und Orientierung eines einem mit den Mit teln zur Aufnahme von Bildern gewonnenen Bild einbeschreibba ren Bildkoordinatensystems bezüglich des Bezugskoordinatensy stems festgelegt bzw. bestimmbar. Da nach der Erfindung auch die Position des zweiten Objektes bezüglich des Bezugskoordi natensystems bestimmbar ist, kann ein Abbild des zweiten Ob jektes bei Einführung des zweiten Objektes in den Bildaufnah mebereich der Mittel zur Aufnahme von Bildern bzw. bei Ein führung des zweiten Objektes in den Bereich der mit den Mit teln zur Aufnahme von Bildern gewonnenen Bilddaten in einfa cher Weise ohne die Durchführung einer zeitaufwendigen und fehleranfälligen Registrierung in ein mit den Mitteln zur Aufnahme von Bildern gewonnenes Bild eingeblendet werden.According to the invention the one object is achieved by a Sy stem with means for taking pictures of a first Object, with means for determining the position of the means for taking pictures, with means for determining the bottom sition of a second object, with means for determining the Position of the second object relative to the means for opening taking pictures and with means for displaying an image image of the second object in one with the means for opening taking picture of the first object obtained from pictures. The The invention relates to means for receiving Bil those where the positions and orientations of those with the Mit means for capturing images relative to captured image data the means based on clear spatial relationships knows, can be determined or determined in a simple manner. In this way, by determining the position of the Means for capturing images in a reference coordinate system stem also the location and orientation of one with the fellow Image recordable for taking pictures ren image coordinate system with respect to the reference coordinate system stems fixed or determinable. Because according to the invention too the position of the second object with respect to the reference coordinate natensystems can be determined, an image of the second Ob jektes when the second object is introduced into the image m range of means for taking pictures or on guidance of the second object in the area with the Mit image data obtained for capturing images in simple way without performing a time consuming and error-prone registration in a with the means to Image captured image can be displayed.

Die Mittel zur Bestimmung der Position der Mittel zur Aufnah me von Bildern, zur Bestimmung der Position des zweiten Ob jektes und zur Bestimmung der Position des zweiten Objektes relativ zu den Mitteln zur Aufnahme von Bildern können von einander verschieden ausgeführt sein und beispielsweise auf Basis signaltragender Wellen arbeiten. Während erste Mittel die Position der Mittel zur Aufnahme von Bildern in einem er sten Koordinatensystem und zweite Mittel die Position des zweiten Objektes in einem zweiten Koordinatensystem ermit teln, geben die Mittel zur Bestimmung der Position des zwei ten Objektes relativ zu den Mitteln zur Aufnahme von Bildern die Lage der ersten und zweiten Mittel bezüglich eines Be zugskoordinatensystems an, so daß die Positionen der Mittel zur Aufnahme von Bildern und des zweiten Objektes in dem Be zugskoordinatensystem bekannt sind und die Einblendung des Abbildes des zweiten Objektes in ein mit den Mitteln zur Auf nahme von Bildern gewonnenes Bild des ersten Objektes auf grund der bekannten Lagen und Orientierungen der mit den Mit teln zur Aufnahme von Bildern erfaßten Bilddaten in dem Be zugskoordinatensystem problemlos möglich ist.The means for determining the position of the means for admission me of images to determine the position of the second ob jectes and to determine the position of the second object relative to the means of taking pictures of be executed differently from each other and for example Working on the basis of signal-bearing waves. While first means the position of the means for taking pictures in a he most coordinate system and second means the position of the second object in a second coordinate system teln, give the means to determine the position of the two th object relative to the means for taking pictures the location of the first and second means with respect to a loading train coordinate system so that the positions of the means for taking pictures and the second object in the Be train coordinate system are known and the insertion of the Image of the second object in a with the means for opening take a picture of the first object obtained from pictures due to the known locations and orientations of those with the Mit means for taking images captured image data in the Be train coordinate system is easily possible.

Nach einer besonders bevorzugten Ausführungsform der Erfin dung umfaßt das System ein Navigationssystem, welches sowohl die Position der Mittel zur Aufnahme von Bildern, als auch die Position des zweiten Objektes, als auch die Position des zweiten Objektes relativ zu den Mitteln zur Aufnahme von Bil dern bestimmt. Gemäß einer Variante der Erfindung weist das Navigationssystem an Objekten anbringbare und detektierbare Marken und/oder Positionssensoren auf. Derartige Marken kön nen beispielsweise mit Hilfe eines Kamerasystems optisch de tektierbare Marken sein. Die Positionssensoren können als Sender ausgebildet sein, deren Signale von einem Empfänger des Navigationssystems empfangen und zur Bestimmung der Posi tionen der Positionssensoren entsprechend ausgewertet werden. Die Positionssensoren können jedoch auch derart ausgebildet sein, daß deren Positionen bei Plazierung in einem von einem Sender ausgesendeten elektromagnetischen Feld von dem Naviga tionssystem detektierbar sind. Die Ermittlung der Positionen erfolgt in der Regel durch einen Navigationsrechner des Navi gationssystems. Durch die geeignete Anbringung derartiger Marken und/oder Positionssensoren an den Mitteln zur Aufnahme von Bildern und dem zweiten Objekt können in einfacher Weise mit einem einzigen Navigationssystem die Positionen der Mit tel zur Aufnahme von Bildern und des zweiten Objektes sowie deren relative Position zueinander bezüglich eines Bezugsko ordinatensystems bestimmt werden. Als geeignete Navigations systeme zur Bestimmung der Positionen der Mittel zur Aufnahme von Bildern und des zweiten Objektes sowie deren relative Po sition zueinander, sind optische Navigationssysteme wie sie beispielsweise von der Fa. Radionix vertrieben werden sowie elektromagnetische Navigationssysteme wie sie beispielsweise von der Fa. Ascension vertrieben werden geeignet. According to a particularly preferred embodiment of the Erfin The system includes a navigation system, which both the position of the means of taking pictures, as well the position of the second object, as well as the position of the second object relative to the means for recording Bil determined. According to a variant of the invention, this Navigation system attachable and detectable to objects Brands and / or position sensors. Such brands can optically de for example with the help of a camera system be detectable brands. The position sensors can be used as Transmitter be formed, the signals from a receiver received by the navigation system and to determine the Posi positions of the position sensors are evaluated accordingly. The position sensors can, however, also be designed in this way be that their positions when placed in one of one Transmitter emitted electromagnetic field from the Naviga tion system are detectable. Determining the positions is usually done by a navigation computer of the navigation system gation system. By the appropriate attachment of such Marks and / or position sensors on the means for recording of images and the second object can be done easily with a single navigation system the positions of the tel for taking pictures and the second object as well their relative position to each other with respect to a reference co ordinate system can be determined. As suitable navigation systems for determining the positions of the means of admission of images and the second object as well as their relative bottom sition to each other, optical navigation systems are like them for example, are sold by Radionix and electromagnetic navigation systems such as those distributed by Ascension are suitable.

Nach Varianten der Erfindung weisen die Mittel zur Aufnahme von Bildern wenigstens einen an ein Ultraschallgerät an schließbaren Ultraschallsensor und/oder ein an einem Röntgen gerät angeordnetes, eine Röntgenstrahlenquelle und einen Röntgenstrahlenempfänger umfassendes Röntgensystems auf. Vor zugsweise ist das Röntgengerät ein verfahrbares C-Bogen- Röntgengerät, dessen C-Bogen isozentrisch verstellbar ist. Die Position des Isozentrums, in dem ein zu untersuchendes Objekt bei Röntgenaufnahmen in der Regel plaziert wird, ist durch die Bestimmung der Position des C-Bogens bezüglich des Bezugskoordinatensystems ebenfalls in dem Bezugskoordinaten system bekannt, so daß die Lagen und Orientierungen der mit dem an dem C-Bogen angeordneten Röntgensystem erfaßten Bild daten in bezug auf das Bezugskoordinatensystem bekannt sind.According to variants of the invention, the means for receiving of images at least one to an ultrasound device closable ultrasound sensor and / or an X-ray device arranged, an X-ray source and one X-ray receiver comprehensive X-ray system. Before the X-ray machine is preferably a movable C-arm X-ray machine whose C-arm is adjustable isocentrically. The position of the isocenter, in which a to be examined Object is usually placed on x-rays by determining the position of the C-arm with respect to the Reference coordinate system also in the reference coordinate known system, so that the positions and orientations of the the X-ray system arranged on the C-arm data are known in relation to the reference coordinate system.

Gemäß einer Variante der Erfindung sind mit den Mitteln zur Aufnahme von Bildern 3D-Bilder von dem Objekt erzeugbar. Wenn es sich bei dem erfindungsgemäßen System beispielsweise um ein medizinisches System handelt, können mit den Mitteln zur Aufnahme von Bildern intra-operativ 3D-Bilder von einem Kör perteil bzw. einem Organ eines Patienten erzeugt werden, wo durch die Voraussetzungen für eine exakte Einblendung eines Abbildes eines Instrumentes in eines der erzeugbaren 3D- Bilder geschaffen werden. Die Einblendung entspricht dabei mit hoher Übereinstimmung der realen Lage und Orientierung des Instrumentes relativ zum Körper des Patienten. Die exakte Ermittlung der Lage und Orientierung der Mittel zur Aufnahme von Bildern und des Instrumentes erfolgt vorzugsweise mit Hilfe des Navigationssystems und die entsprechende Einblen dung des Abbildes des Instrumentes in ein erzeugtes 3D-Bild mit Hilfe der Mittel zur Einblendung, welche in der Praxis beispielsweise einen Bildrechner oder den Navigationsrechner umfassen. Eine derartige Einblendung eines Abbildes eines In strumentes in ein die tatsächliche Lage und Form eines Kör perteils oder Organs zeigendes 3D-Bild stellt somit aufgrund der hohen Übereinstimmung mit den real am Operationssitus vorherrschenden Verhältnissen für einen Chirurgen eine wir kungsvolle und zuverlässige Unterstützung bei operativen Ein griffen dar. Dies gilt insbesondere dann, wenn dem Chirurgen der Blick auf das patientenseitige Ende des Instrumentes ver wehrt ist, beispielsweise weil das Instrument im Gewebe ein gedrungen ist. Unter der Einblendung eines Abbildes eines Ob jektes bzw. eines Instrumentes wird dabei nicht notwendiger weise eine originalgetreue Abbildung des Objektes bzw. des Instrumentes verstanden. Vielmehr kann die Abbildung nur schematisch sein, wobei zumindest der für die Navigation re levante Teil des Objektes bzw. des Instrumentes erkennbar ist.According to a variant of the invention, the means for Recording of images 3D images of the object can be generated. If the system according to the invention is, for example A medical system can use the means to Taking pictures intra-operative 3D pictures of a body perteil or an organ of a patient, where through the requirements for an exact overlay of a Image of an instrument in one of the 3D Images are created. The overlay corresponds to this with high agreement of the real situation and orientation of the instrument relative to the patient's body. The exact one Determination of the location and orientation of the means of admission of images and the instrument is preferably done with Help of the navigation system and the corresponding insert Formation of the image of the instrument in a generated 3D image with the aid of the overlay, which in practice for example an image calculator or the navigation calculator include. Such a display of an image of an In strumentes into the actual location and shape of a body 3D image showing part or organ the high correspondence with the real ones on the surgical site prevailing conditions for a surgeon we efficient and reliable support with operational input attacked. This is especially true when the surgeon the view of the patient's end of the instrument ver defends itself, for example because the instrument is in the tissue has penetrated. With the display of an image of an ob ject or an instrument is not necessary a true to the original image of the object or Instrumentes understood. Rather, the illustration can only be schematic, with at least the right for navigation levante part of the object or the instrument recognizable is.

Eine Ausführungsform der Erfindung sieht vor, daß mit den Mitteln zur Aufnahme von Bildern 2D-Bilder in Echtzeit von dem ersten Objekt erzeugbar sind. 2D-Bildgebung in Echtzeit ist beispielsweise in der medizinischen Navigation bei Ein griffen an sich bewegenden anatomischen Regionen erforder lich. Da sich bei der 2D-Bildgebung, beispielsweise mit Ul traschall, ein in den 2D-Ultraschallbildern einzublendendes Instrument aufgrund von Relativbewegungen zwischen dem die 2D-Bilder aufnehmenden Ultraschallsensor, dem Körper eines Patienten und einem zu navigierenden Instrument in der Regel nicht dauerhaft in der Bildebene des von dem Ultraschallsen sor ausgesandten Ultraschallfächers befindet, kann gemäß ei ner Variante der Erfindung zur Unterstützung eines den Ein griff durchführenden Chirurgen aufgrund der bekannten Positi on der Bildebene des Ultraschallfächers und des Instrumentes in dem Bezugskoordinatensystem das Abbild des Instrumentes projektivisch und dessen Abstand von der Bildebene des Ultra schallfächers in ein erzeugtes 2D-Ultraschallbild eingeblen det werden.An embodiment of the invention provides that with the Means for capturing images in real time from 2D images the first object can be generated. 2D imaging in real time is, for example, in medical navigation at On attacks on moving anatomical regions required Lich. Since 2D imaging, for example with Ul traschall, one to be superimposed on the 2D ultrasound images Instrument due to relative movements between the the 2D image-taking ultrasound sensor, the body of a Patients and an instrument to navigate usually not permanently in the image plane of that of the ultrasound sor emitted ultrasound fan, can according to ei ner variant of the invention to support the one attacked surgeons due to the known positi on the image plane of the ultrasound fan and the instrument the image of the instrument in the reference coordinate system projectively and its distance from the image plane of the Ultra Acoustic fan in a generated 2D ultrasound image be det.

Eine Ausführungsform der Erfindung sieht vor, daß die Positi on der Mittel zur Aufnahme von Bildern, also deren Lage und Orientierung, gleichzeitig mit der Position des in ein mit den Mitteln zur Aufnahme von Bildern gewonnenes Bild einzu blendenden zweiten Objektes erfaßbar ist. Gemäß einer Varian te der Erfindung weist das System außerdem eine Aufnahmevor richtung für das erste Objekt und Mittel zur Bestimmung der Position der Aufnahmevorrichtung auf, wobei auch die Position der Aufnahmevorrichtung gleichzeitig mit der Position der Mittel zur Aufnahme von Bildern und des zweiten Objektes er faßbar ist. Für den medizinischen Anwendungsfall ist eine derartige Aufnahmevorrichtung, beispielsweise eine Patienten liege, auf der ein Patient während eines operativen Eingrif fes gelagert ist. Vorzugsweise erfolgt die Ermittlung der Po sitionen der Mitteln zur Aufnahme von Bildern, des Instrumen tes und der Aufnahmevorrichtung mit dem Navigationssystem. Auf diese Weise kann die Lage und Orientierung des Instrumen tes auch bei Verstellbewegungen der Aufnahmevorrichtung rela tiv zu dem Instrument und den Mitteln zur Aufnahme von Bil dern aufgrund der gleichzeitigen Erfassung der Positionen der Mittel zur Aufnahme von Bildern, des Instrumentes und der Pa tientenliege stets online berechnet und der realen Situation entsprechend in ein mit den Mitteln zur Aufnahme von Bildern gewonnenes Bild vom Patienten eingeblendet werden. Mit dem System sind also mit Abbildern von zweiten Objekten versehene Bilder von einem ersten Objekt online erzeugbar, welche Posi tionsveränderungen des zweiten Objektes, der Mitteln zur Auf nahme von Bildern und/oder der Aufnahmevorrichtung berück sichtigen. Die Bilder sind dabei auch kontinuierlich erzeug bar.An embodiment of the invention provides that the positi on the means for taking pictures, i.e. their location and Orientation, simultaneously with the position of the in with image obtained by means of taking pictures dazzling second object is detectable. According to a variant te of the invention, the system also provides a recording direction for the first object and means for determining the Position of the receiving device, the position the cradle simultaneously with the position of the Means for taking pictures and the second object is graspable. For the medical application there is one such a receiving device, for example a patient lying on a patient during an operation fes is stored. The bottom is preferably determined sitions of the means for taking pictures, the instruments tes and the recording device with the navigation system. In this way, the position and orientation of the instrument tes also with adjustment movements of the receiving device rela tiv to the instrument and the means for recording Bil due to the simultaneous recording of the positions of the Means for taking pictures, the instrument and the pa The patient couch is always calculated online and the real situation accordingly in a with the means for taking pictures image obtained from the patient. With the Systems are therefore provided with images of second objects Images of a first object can be generated online, which Posi changes in the second object, the means for opening taking pictures and / or the recording device sight. The images are also generated continuously bar.

Die Aufgabe wird außerdem gelöst von einem medizinischen Ar beitsplatz, welcher eines der erfindungsgemäßen Systeme auf weist.The task is also solved by a medical doctor beitsplatz, which one of the systems according to the invention has.

Varianten der Erfindung sehen vor, daß der Arbeitsplatz für minimal-invasive Eingriffe vorgesehen ist und/oder daß die Bilder von dem ersten Objekt intra-operativ erzeugbar sind, wodurch sich die Navigation medizinischer Instrumente relativ zum Körper eines Patienten exakt durchführen läßt. Variants of the invention provide that the workplace for minimally invasive surgery is provided and / or that Images of the first object can be generated intra-operatively, whereby the navigation of medical instruments is relative to perform exactly on a patient's body.

Die andere Aufgabe der Erfindung wird gelöst durch ein Ver fahren zur Einblendung eines Abbildes eines zweiten Objektes in ein von einem ersten Objekt gewonnenes Bild aufweisend folgende Verfahrensschritte:
The other object of the invention is achieved by a method for superimposing an image of a second object into an image obtained from a first object, comprising the following method steps:

a) obtaining an image of the first object by means for taking pictures,
b) Determination of the position of the means for inclusion of Bil others
c) determining the position of the second object,
d) determining the position of the second object relative to the means for taking pictures and
e) fading in an image of the second object Image obtained by means of taking pictures of the first object.

Die Erfindung bezieht sich wiederum auf Mittel zur Aufnahme von Bildern, bei denen die Lagen und Orientierungen der mit den Mitteln zur Aufnahme von Bildern erfaßten Bilddaten rela tiv zu den Mitteln aufgrund eindeutiger räumlicher Beziehun gen bekannt, in einfacher Weise ermittelbar oder festlegbar sind. Nach der Ermittlung eines Bilddatensatzes und der Be stimmung dessen Lage und Orientierung in einem Bezugskoordi natensystem kann auch das Abbild eines zweiten Objektes durch die Ermittlung dessen Position in dem Bezugskoordinatensystem in ein aus dem Bilddatensatz erzeugtes Bild von dem ersten Objekt eingeblendet werden. Sofern sich das zweite Objekt nicht in dem Bildbereich des ersten Objektes befindet, be steht auch die Möglichkeit ein Abbild des zweiten Objektes projektivisch in das Bild von dem ersten Objekt einzublenden. In jedem Fall kann die Einblendung eines Abbildes des zweiten Objektes in ein mit den Mitteln zur Aufnahme von Bildern ge wonnenes Bild von dem ersten Objekt ohne die Durchführung ei ner zeitaufwendigen und fehleranfälligen Registrierung erfol gen.The invention in turn relates to means for recording of images in which the positions and orientations of the the means for recording images captured image data rela tiv to the means based on clear spatial relationships gene known, can be determined or determined in a simple manner are. After determining an image data set and the Be its location and orientation in a reference coordinate natensystem can also display a second object the determination of its position in the reference coordinate system into an image of the first generated from the image data set Object can be displayed. Unless the second object not in the image area of the first object, be there is also the possibility of an image of the second object projectively fade into the image of the first object. In any case, the overlay of an image of the second Object in a ge with the means of taking pictures won picture of the first object without the implementation time-consuming and error-prone registration gene.

Ausführungsbeispiele der Erfindung sind in den beigefügten schematischen Zeichnungen dargestellt. Es zeigen: Embodiments of the invention are in the accompanying shown schematic drawings. Show it:

Fig. 1 ein erfindungsgemäßes, für die medizinische Navigati on vorgesehenes System mit einem einen extrakorporal angeordneten Ultraschallsensor aufweisenden Ultra schallgerät, Fig. 1 shows an inventive, for medical Navigati on system provided with an extracorporeally arranged ultrasonic sensor having ultra sound device,

Fig. 2 ein erfindungsgemäßes, für die medizinische Navigati on vorgesehenes System mit einem ein Ultraschall-Lapa roskop aufweisenden Ultraschallgerät, Fig. 2 shows an inventive, tunneling microscope, for medical Navigati on system provided with an ultrasonic Lapa having ultrasonic device,

Fig. 3 ein erfindungsgemäßes, für die medizinische Navigati on vorgesehenes System mit einem einen extrakorporal angeordneten Ultraschallsensor aufweisenden Ultra schallgerät zur Erzeugung von 2D-Bildern in Echtzeit und Fig. 3 shows an inventive, intended for medical navigation on system with an ultracontrol ultrasound sensor having an ultrasound device for generating 2D images in real time and

Fig. 4 ein erfindungsgemäßes, für die medizinische Navigati on vorgesehenes System mit einem C-Bogen- Röntgengerät. Fig. 4 shows an inventive, intended for medical navigation on system with a C-arm X-ray device.

Das erfindungsgemäße System ist im folgenden am Beispiel ei nes medizinischen Systems beschrieben, welches an einem medi zinischen Arbeitsplatz für minimal-invasive Eingriffe einge setzt wird.The system according to the invention is based on the example egg nes medical system described, which on a medi clinical workplace for minimally invasive interventions is set.

Im Falle des in Fig. 1 gezeigten Ausführungsbeispiels umfassen die Mittel zur Aufnahme von Bildern einen auf der Körperober fläche eines Patienten P applizierbaren Ultraschallkopf 2, welcher an ein an sich bekanntes, eine Bildverarbeitungsein heit und eine Anzeigeeinrichtung aufweisendes Ultraschallge rät 1 mit einer Leitung 8 angeschlossen ist. Mit dem Ultra schallkopf 2 können in an sich bekannter Weise in sogenannten Sectorscans 2D-Ultraschallbilder aus dem Körperinneren des Patienten P gewonnen und in nicht dargestellter Weise auf dem Sichtgerät des Ultraschallgerätes 1 angezeigt werden.In the case of the exemplary embodiment shown in FIG. 1, the means for taking images comprise an ultrasound head 2 which can be applied to the surface of a patient P and which is connected to an ultrasound device 1 which is known per se and has an image processing unit and a display device 1, with a line 8 is. With the ultrasound head 2 , 2D ultrasound images can be obtained from the interior of the patient P in so-called sector scans in a manner known per se and displayed in a manner not shown on the display unit of the ultrasound device 1 .

Der Arbeitsplatz weist außerdem ein Navigationssystem 4 auf, welches eine Positionserfassungseinheit 5, einen Sender 6, einen Navigationsrechner 7, bei dem es sich um einen Stan dard-PC handelt kann, und an Objekten anbringbare Positions sensoren 3 und 13 umfaßt. Das Ultraschallgerät 1 ist über ei ne Leitung 9 mit dem Navigationsrechner 7, der Navigations rechner 7 ist über eine Leitung 10 mit der Positionserfas sungseinheit 5 und diese ist über eine Leitung 11 mit dem Sender 6 und über Leitungen 12 und 15 mit den Positionssenso ren 3, 13 verbunden.The workplace also has a navigation system 4 , which includes a position detection unit 5 , a transmitter 6 , a navigation computer 7 , which can be a standard PC, and position sensors 3 and 13 which can be attached to objects. The ultrasound device 1 is via egg ne line 9 with the navigation computer 7 , the navigation computer 7 is via a line 10 with the position detection unit 5 and this is via a line 11 with the transmitter 6 and via lines 12 and 15 with the position sensors 3 , 13 connected.

Im Falle des vorliegenden Ausführungsbeispiels ist der Posi tionssensor 3 des Navigationssystems 4 in derart definierter Weise an dem Ultraschallkopf 2 angeordnet, daß durch die Be stimmung der Position des Positionssensors 3 in einem von der Positionserfassungseinheit 5 festgelegten Bezugskoordinaten system K1 nicht nur die Positionen der Ultraschall-Sende- und Empfängerflächen des Ultraschallkopfes 2, sondern auch die Positionen, d. h. die Lagen und Orientierungen, der mit dem Ultraschallkopf 2 erfaßten Bilddaten im Bezugskoordinatensy stem K1 bekannt sind. Der Positionssensor 13 ist in derart definierter Weise an einem chirurgischen Instrument 14 ange ordnet, daß durch die Bestimmung der Position des Positions sensors 13 auch die Position der Spitze des Instrumentes 14 bekannt ist, welches im Falle des in Fig. 1 gezeigten Ausfüh rungsbeispiels teilweise in den Körper des Patienten P einge drungen und nicht mehr sichtbar ist. Der Sender 6 des Naviga tionssystems 4, welcher im Falle des vorliegenden Ausfüh rungsbeispiels elektromagnetische Wellen aussendet, ist eben falls in definierter Weise in dem Bezugskoordinatensystem K1 der Positionserfassungseinheit 5 angeordnet.In the case of the present exemplary embodiment, the position sensor 3 of the navigation system 4 is arranged on the ultrasound head 2 in such a defined manner that by determining the position of the position sensor 3 in a reference coordinate system K1 defined by the position detection unit 5, not only the positions of the ultrasound Transmitting and receiving surfaces of the ultrasound head 2 , but also the positions, ie the positions and orientations, of the image data acquired with the ultrasound head 2 in the reference coordinate system K1 are known. The position sensor 13 is arranged in such a defined manner on a surgical instrument 14 that by determining the position of the position sensor 13 the position of the tip of the instrument 14 is also known, which in the case of the exemplary embodiment shown in FIG penetrated the body of patient P and is no longer visible. The transmitter 6 of the navigation system 4 , which emits electromagnetic waves in the case of the present embodiment, is also arranged in a defined manner in the reference coordinate system K1 of the position detection unit 5 .

Im Betrieb des Systems erzeugt der Sender 6 ein mit gestri chelten Linien angedeutetes elektromagnetisches Feld 16, in dem die an dem Ultraschallkopf 2 und dem chirurgischen In strument 14 befestigten Positionssensoren 3 und 13 angeordnet sind. Anhand der von den Positionssensoren 3 und 13 erzeug ten, über die Leitungen 12 und 15 an die Positionserfassungs einheit 5 übertragenen Signale kann die Positionserfassungs einheit 5 die Positionen, d. h. die Lagen und Orientierungen, des Ultraschallkopfes 2 und des chirurgischen Instrumentes 14 bezüglich des Bezugskoordinatensystems K1 bestimmen.In operation of the system, the transmitter 6 generates an electromagnetic field 16 indicated by dashed lines, in which the position sensors 3 and 13 attached to the ultrasound head 2 and the surgical instrument 14 are arranged. Based on the signals generated by the position sensors 3 and 13, transmitted via the lines 12 and 15 to the position detection unit 5 , the position detection unit 5 can determine the positions, ie the positions and orientations, of the ultrasound head 2 and of the surgical instrument 14 with respect to the reference coordinate system K1 determine.

Außerdem kann mit Hilfe des Navigationsrechners 7 aus den mit dem Ultraschallkopf 2 des Ultraschallgerätes 1 aufgenommenen 2D-Ultraschallbildern ein 3D-Ultraschallbilddatensatz 17 er zeugt werden, wobei die Positionen des Ultraschallkopfes 2 bei jeder Aufnahme eines 2D-Ultraschallbildes aufgrund der Positionserfassung durch die Positionserfassungseinheit 5 be kannt sind. Dabei ist für jedes Bilddatum des erzeugten, in Fig. 1 in schematischer Weise als Würfel dargestellten 3D- Ultraschallbilddatensatzes 17, aus dem verschiedene 3D-Bilder vom Körperinneren des Patienten P rekonstruierbar sind, auf grund der bekannten räumlichen Beziehung zwischen den gewon nenen 2D-Ultraschallbilddaten und den Sende- und Empfänger flächen des Ultraschallkopfes 2 die Lage und Orientierung im Bezugskoordinatensystem K1 bekannt. Demnach ist auch für ei nen beliebig aus dem 3D-Ultraschallbilddatensatz 17 rekon struierten 3D-Bildkubus 18 die Lage und Orientierung im Be zugskoordinatensystem K1 als auch die Voxelgröße, beispiels weise in Millimetern und Grad, in dem Bezugskoordinatensystem K1 bekannt. Da auch die Position, d. h. die Lage und Orien tierung, des Instrumentes 14 aufgrund der Positionserfassung durch die Positionserfassungseinheit 5 in dem Bezugskoordina tensystem K1 bekannt ist, kann für jede von dem Positionser fassungssystem 5 ermittelte Position des Instrumentes 14 ein Abbild des Instrumentes 14 eindeutig in ein erzeugtes Bild vom Patienten P eingeblendet werden, solange sich die Positi onssensoren 3, 13 des Navigationssystems 4 in dem von dem Sender 6 erzeugten elektromagnetischen Feld befinden und so fern sich das Instrument 14 im Bereich des relevanten Bildes befindet. In Fig. 1 ist in schematischer Darstellung die Spit ze des chirurgischen Instrumentes 14 in Form eines Kreuzes 19 in den 3D-Ultraschallbilddatensatz 17 aus dem Körperinneren des Patienten P eingeblendet, welcher aus mit dem Ultra schallkopf 2 aufgenommenen 2D-Ultraschallbildern erzeugt wur de. In addition, with the help of the navigation computer 7, a 3D ultrasound image data record 17 can be generated from the 2D ultrasound images recorded with the ultrasound head 2 of the ultrasound device 1 , the positions of the ultrasound head 2 each time a 2D ultrasound image is recorded due to the position detection by the position detection unit 5 are known. In this case, for each image data of the 3D ultrasound image data record 17 , which is shown schematically as a cube in FIG. 1 and from which various 3D images of the interior of the patient P can be reconstructed, based on the known spatial relationship between the 2D ultrasound image data obtained and the transmitter and receiver surfaces of the ultrasound head 2 know the position and orientation in the reference coordinate system K1. Accordingly, the position and orientation in the reference coordinate system K1 and the voxel size, for example in millimeters and degrees, in the reference coordinate system K1 is also known for a 3D image cube 18 reconstructed as desired from the 3D ultrasound image data set 17 . Since the position, ie the position and orientation, of the instrument 14 due to the position detection by the position detection unit 5 in the reference coordinate system K1 is known, for each position of the instrument 14 determined by the position detection system 5, an image of the instrument 14 can be clearly seen in a generated image of the patient P is faded in as long as the position sensors 3 , 13 of the navigation system 4 are in the electromagnetic field generated by the transmitter 6 and so far the instrument 14 is in the area of the relevant image. In Fig. 1, the tip of the surgical instrument 14 is shown in the form of a cross 19 in the 3D ultrasound image data set 17 from the inside of the patient P, which was generated from the ultrasound head 2 taken 2D ultrasound images.

In der vorstehend beschriebenen Weise kann also ein Abbild jedes beliebigen, mit einem Positionssensor ausgestatteten chirurgischen Instrumentes während eines chirurgischen Ein griffes an einem Patienten in ein intra-operativ erzeugtes 3D-Ultraschallbild eingeblendet werden. Für die Einblendung des Instrumentes ist dabei erfindungsgemäß keine Registrie rung erforderlich.In the manner described above, an image can thus any one equipped with a position sensor surgical instrument during a surgical one grips a patient into an intra-operative one 3D ultrasound image can be displayed. For the overlay According to the invention, the instrument is not a registry required.

Im Falle des in Fig. 1 gezeigten Ausführungsbeispiels handelt es sich bei dem Instrument 14 um ein starres Instrument, z. B. eine Zange, ein HF-Skalpell, eine Schere, eine Biopsie- oder eine Punktionsnadel, weshalb der Positionssensor 13 ex trakorporal angeordnet sein kann. Die Position der zu visua lisierenden Spitze des Instrumentes 14 in dem Bezugskoordina tensystem K1 kann dabei, in bereits angedeuteter Weise, mit einer Transformation der Koordinaten des Positionssensors 13 in die Koordinaten, die der Spitze des Instrumentes 14 ent sprechen, ermittelt werden.In the case of the embodiment shown in FIG. 1, the instrument 14 is a rigid instrument, e.g. B. a pair of pliers, an HF scalpel, scissors, a biopsy or a puncture needle, which is why the position sensor 13 can be arranged ex trakorporal. The position of the tip of the instrument 14 to be visualized in the reference coordinate system K1 can, in a manner already indicated, be determined with a transformation of the coordinates of the position sensor 13 into the coordinates corresponding to the tip of the instrument 14 .

In Fig. 2 ist ein Ausführungsbeispiel der Erfindung gezeigt, bei dem ein Instrument 20 mit einem flexiblen Instrumenten teil, im Falle des vorliegenden Ausführungsbeispiels mit ei ner flexiblen Spitze 21, verwendet wird. Um in diesem Fall die Position der Spitze 21 in ein aus dem 3D-Ultraschallbild datensatz 17 rekonstruierten Bild exakt einblenden zu können, befindet sich der Positionssensor 13 an der Spitze 21 des In strumentes 20. Bei einem derartigen, einen flexiblen Teil aufweisenden Instrument 20 kann es sich beispielsweise um ein Endoskop, einen Katheter oder andere abwinkelbare Instrumente handeln.In Fig. 2, one embodiment of the invention is shown in which an instrument 20 having a flexible instruments in part, in the case of the present embodiment with egg ner flexible tip 21, is used. In order in this case, the position of the tip 21 in a from the 3D ultrasound image data to superimpose image 17 reconstructed exactly, is the position sensor 13 at the tip 21 of the strumentes In the twentieth Such an instrument 20 , which has a flexible part, can be, for example, an endoscope, a catheter or other angled instruments.

Im Unterschied zu dem in Fig. 1 beschriebenen Ausführungsbei spiel erfolgt die Gewinnung der für die Erzeugung des 3D- Ultraschallbilddatensatzes 17 erforderlichen 2D-Ultraschall bilder außerdem mit einem intrakorporalen Ultraschallsensor, einem sogenannten Ultraschall-Laparoskop 22. Da das Ultra schall-Laparoskop 22 ebenfalls flexibel ausgeführt ist, ist der Positionssensor 3 in die Spitze des Ultraschall-Lapa roskopes 22, und zwar in definierter Weise zu den Ultra schall-Sende- und Empfängerflächen, integriert. Wie im zuvor beschriebenen Ausführungsbeispiel können mit dem Ultraschall- Laparoskop 22 2D-Ultraschallbilder erzeugt werden, aus denen der Navigationsrechner 7 aufgrund der für jedes 2D-Ultra schallbild ermittelbaren Position des Ultraschall-Laparosko pes 22 den 3D-Ultraschallbilddatensatz 17 generieren kann. Wie im Falle des in Fig. 1 gezeigten Ausführungsbeispiels ist auch im Falle des in Fig. 2 gezeigten Ausführungsbeispiels für jedes Bilddatum des erzeugten 3D-Ultraschallbilddatensatzes 17 die Position im Bezugskoordinatensystem K1 aufgrund der bekannten räumlichen Beziehung zwischen den gewonnenen Ultra schalldaten und den Ultraschall-Sende- und Empfängerflächen des Ultraschall-Laparoskops 22 bekannt. Demnach ist auch die Lage und Orientierung eines beliebig aus dem 3D-Ultraschall bilddatensatz 17 rekonstruierten 3D-Bildkubus 18 im Bezugsko ordinatensystem K1 als auch die Voxelgröße, beispielsweise in Millimetern und Grad, in den Bezugskoordinaten bekannt. Da auch die Position der Spitze 21 des Instrumentes 20 durch die Positionserfassung mit der Positionserfassungseinheit 5 be kannt ist, kann wie im Falle des zuvor beschriebenen Ausfüh rungsbeispiels die Spitze 21 des Instrumentes 20 in den mit dem Ultraschall-Laparoskop 22 erzeugten 3D-Ultraschallbild datensatz 17 bzw. in einen 3D-Bildkubus 18 eingeblendet wer den. In Fig. 2 ist die Einblendung des Abbildes der Spitze 21 des Instrumentes 20 in den 3D-Ultraschallbilddatensatz 17 mit einem Kreuz 19 schematisiert dargestellt.In contrast to the exemplary embodiment described in FIG. 1, the 2D ultrasound images required for generating the 3D ultrasound image data record 17 are also obtained with an intracorporeal ultrasound sensor, a so-called ultrasound laparoscope 22 . Since the ultrasound laparoscope 22 is also flexible, the position sensor 3 is integrated into the tip of the ultrasound laparoscope 22 , in a defined manner to the ultrasound transmitter and receiver surfaces. As can 22 2D ultrasound images are generated with the ultrasonic laparoscope from which the navigation computer 7 the 3D ultrasound image data set may generate pes due to the sound image determinable for each 2D Ultra position of the ultrasonic Laparosko 22 17 in the previously described embodiment. As in the case of the embodiment shown in FIG. 1, in the case of the embodiment shown in FIG. 2, the position in the reference coordinate system K1 for each image date of the generated 3D ultrasound image data record 17 is due to the known spatial relationship between the ultrasound data obtained and the ultrasound transmission - And receiver surfaces of the ultrasound laparoscope 22 are known. Accordingly, the position and orientation of a 3D image cube 18 reconstructed as desired from the 3D ultrasound image data set 17 in the reference coordinate system K1 as well as the voxel size, for example in millimeters and degrees, in the reference coordinates is known. Since the position of the tip 21 be of the instrument 20 through the position detection with the position detection unit 5 known, may as in the case of exporting described above, the tip 21 approximately example of the instrument 20 in the generated with the ultrasonic laparoscope 22 3D ultrasound image data 17 or faded into a 3D image cube 18 who. In FIG. 2, the illumination of the image of the tip 21 of the instrument 20 is schematically illustrated in the 3D ultrasound image data set 17 with a cross 19th

In Fig. 3 ist die Navigation mit 2D-Bildgebung in Echtzeit an hand von in Echtzeit gewonnenen Ultraschallbildern veran schaulicht. Die in Fig. 3 gezeigte Anordnung entspricht dabei im wesentlichen der in Fig. 1 gezeigten Anordnung eines erfin dungsgemäßen Systems, so daß die in Fig. 3 gezeigten Komponen ten, welche mit Komponenten des in Fig. 1 dargestellten Aus führungsbeispiels identisch sind, mit gleichen Bezugszeichen versehen sind.In Fig. 3, the navigation with 2D imaging in real time of hand veran obtained in real-time ultrasonic images is illustrated. The arrangement shown in Fig. 3 corresponds essentially to the arrangement of an inventive system shown in Fig. 1, so that the components shown in Fig. 3 th, which are identical to components of the exemplary embodiment shown in Fig. 1, with the same Reference numerals are provided.

Mit dem auf der Körperoberfläche des Patienten P applizierten Ultraschallkopf 2 kann in an sich bekannter Weise ein Sektor 30 gescannt werden, welcher als Sektorscan 31 auf einem Sichtgerät des Navigationsrechners 7 darstellbar ist. Die La ge und Orientierung des Sektorscans 31 ist aufgrund der Posi tionserfassung mit der Positionserfassungseinheit 5 und auf grund der bekannten räumlichen Beziehung zwischen den gewon nenen 2D-Ultraschalldaten und den Sende- und Empfängerflächen des Ultraschallkopfes 2 in dem Bezugskoordinatensystem K1 be kannt. Gleichzeitig kann mit Hilfe des Positionssensors 13 die Position des Instrumentes 14 mit der Positionserfassungs einheit 5 in dem Bezugskoordinatensystem K1 ermittelt und demnach das Abbild des Instrumentes 14 entsprechend in den in dem Navigationsrechner visualisierten und auf einem Sichtge rät darstellbaren Sektorscan 31 eingeblendet werden. Im Falle des vorliegenden Ausführungsbeispiels ist die Position der Spitze des Instrumentes 14 in Form eines Kreuzes 32 in den Sektorscan 31 eingeblendet.With the ultrasound head 2 applied to the body surface of the patient P, a sector 30 can be scanned in a manner known per se, which can be displayed as a sector scan 31 on a display device of the navigation computer 7 . The location and orientation of the sector scan 31 is known due to the position detection with the position detection unit 5 and due to the known spatial relationship between the won 2D ultrasound data and the transmitting and receiving surfaces of the ultrasound head 2 in the reference coordinate system K1. At the same time, with the help of the position sensor 13, the position of the instrument 14 can be determined with the position detection unit 5 in the reference coordinate system K1 and accordingly the image of the instrument 14 can be faded in accordingly in the sector scan 31 visualized in the navigation computer and displayed on a viewer. In the case of the present exemplary embodiment, the position of the tip of the instrument 14 is superimposed in the sector scan 31 in the form of a cross 32 .

Die Visualisierung des Instrumentes 14 in dem Sektorscan 31 wäre infolge der Aufnahme der Bilder in Echtzeit auch ohne Positionserfassung des Instrumentes 14 zu erreichen, wenn sich das Instrument 14 stets in der Bildebene des Sektors 30 befinden würde, was aber in der Regel aufgrund der manuellen Positionierung des Ultraschallkopfes 2 nicht realisierbar ist. Durch die Positionserfassung des an dem Ultraschallkopf 2 angeordneten Positionssensors 3 sowie des an dem Instrument 14 angeordneten Positionssensors 13 ist jedoch die Lage des Instrumentes 14 relativ zu dem Sektor 30 bekannt, so daß die Spitze des Instrumentes 14 beispielsweise auch projektivisch in den Sektorscan 31 eingeblendet werden kann, selbst wenn die Spitze des Instrumentes 14 oder das gesamte Instrument 14 nicht in dem Sektorscan 31 sichtbar wäre. Erfindungsgemäß wird bei dieser projektivischen Einblendung der Spitze des Instrumentes 14 in den Sektorscan 31 der Abstand der Spitze des Instrumentes 14 von dem Sektor 30 als Orientierungshilfe beispielsweise für einen einen Eingriff vornehmenden Chirur gen eingeblendet. Die Angabe des Abstandes kann beispielswei se mit Hilfe eines Kreises, dessen Durchmesser den Abstand zwischen dem Instrument 14 und dem Sektor 30 angibt, oder mit Hilfe von Farbcodierungen, wobei die Farbintensitäten den Ab stand zwischen dem Instrument 14 und dem Sektor 30 angeben, für einen Benutzer erfolgen. Auf diese Weise kann also bei spielsweise ein Chirurg bei der Führung des Ultraschallkopfes 2 unterstützt werden, wobei dadurch, daß die Lagen und Orien tierungen des Ultraschallkopfes 2 und des chirurgischen In strumentes 14 im Navigationsrechner 7 verfügbar sind, Vor schläge zur Positionierung des Ultraschallkopfes 2, z. B. in bezug auf die Neigung oder die Drehung des Ultraschallkopfes 2 auf der Körperoberfläche, angezeigt werden können, um das Instrument 14 in dem Sektorscan 31 sichtbar zu machen.The visualization of the instrument 14 in the sector scan 31 would be achieved as a result of the recording of the images in real time even without the position detection of the instrument 14 if the instrument 14 were always in the image plane of the sector 30 , but this is generally due to the manual positioning of the ultrasound head 2 is not feasible. By detecting the position of which is arranged on the ultrasonic head 2-position sensor 3 and the arranged on the instrument 14 position sensor 13, however, the position of the instrument 14 is known relative to the sector 30, so that the tip of the instrument 14 displayed for example, projektivisch in the sector scan 31 can, even if the tip of the instrument 14 or the entire instrument 14 would not be visible in the sector scan 31 . According to the invention, in this projective insertion of the tip of the instrument 14 into the sector scan 31, the distance of the tip of the instrument 14 from the sector 30 is shown as an orientation aid, for example for a surgeon performing an intervention. The specification of the distance can, for example, with the aid of a circle, the diameter of which indicates the distance between the instrument 14 and the sector 30 , or with the aid of color codes, the color intensities indicating the distance between the instrument 14 and the sector 30 , for one Users. In this way, for example, a surgeon can be assisted in guiding the ultrasound head 2 , the fact that the positions and orientations of the ultrasound head 2 and the surgical instrument 14 are available in the navigation computer 7 , before suggestions for positioning the ultrasound head 2 , e.g. B. with respect to the inclination or rotation of the ultrasound head 2 on the body surface, can be displayed to make the instrument 14 visible in the sector scan 31 .

In Fig. 4 ist ein weiteres Ausführungsbeispiel eines erfin dungsgemäßen, für die medizinische Navigation vorgesehenen Systems gezeigt, welches ein C-Bogen-Röntgengerät 41 mit ei nem auf Rädern 42 verfahrbaren Gerätewagen 43 umfaßt. Das C- Bogen-Röntgengerät 41 weist eine in Fig. 4 nur schematisch an gedeutete Hubvorrichtung 44 mit einer Säule 45 auf. An der Säule 45 ist ein Halteteil 46 angeordnet, an dem eine Halte vorrichtung 47 zur Lagerung eines ein Isozentrum IZ aufwei senden C-Bogens 48 angeordnet ist. Am C-Bogen 48 sind einan der gegenüberliegend ein Röntgenstrahler 49 und ein Röntgen strahlenempfänger 50 angeordnet. Im Falle des vorliegenden Ausführungsbeispiels handelt es sich bei dem Röntgenstrahler 50 um einen an sich bekannten Festkörperdetektor. Der Rönt genstrahlenempfänger kann jedoch auch ein Röntgenbildverstär ker sein, wobei der Festkörperdetektor gegenüber dem Röntgen bildverstärker den Vorteil besitzt, daß er geometrisch ver zerrungsfreie Röntgenbilder liefert. Die mit dem Festkörper detektor 50 gewonnenen Röntgenbilder können in an sich be kannter Weise auf einer Anzeigeeinrichtung 51 dargestellt werden.In FIG. 4, a further embodiment to the invention of an OF INVENTION shown intended for medical navigation system, which comprises a C-arm x-ray device 41 with egg nem movable on wheels 42 device carriage 43. The C-arm x-ray device 41 has a lifting device 44 with a column 45, which is only schematically indicated in FIG. 4. On the column 45 , a holding part 46 is arranged, on which a holding device 47 for storing an isocenter IZ having C-arm 48 is arranged. On the C-arm 48 , an X-ray emitter 49 and an X-ray radiation receiver 50 are arranged opposite one another. In the case of the present exemplary embodiment, the X-ray emitter 50 is a solid-state detector known per se. However, the X-ray receiver can also be an X-ray image intensifier, with the solid-state detector having the advantage over the X-ray image intensifier that it provides geometrically distorted X-ray images. The X-ray images obtained with the solid-state detector 50 can be displayed in a manner known per se on a display device 51 .

Das in Fig. 4 gezeigte C-Bogen-Röntgengerät 41 zeichnet sich dadurch aus, daß mit ihm ein 3D-Bilddatensatz vom Körper bzw. von Körperteilen eines auf einer vertikal und horizontal ver stellbaren Patientenliege 52 gelagerten Patienten P erzeugt werden kann, aus dem verschiedene 3D-Bilder von Körper des Patienten rekonstruierbar sind. Zur 3D-Bildgebung ist ein im Falle des vorliegenden Ausführungsbeispiels im Gerätewagen 43 des C-Bögen-Röntgengerätes 41 angeordneter, in nicht darge stellter Weise mit dem Festkörperdetektor 50 und der Anzeige einheit 51 verbundener Bildrechner 53 vorhanden. Der Bild rechner 53 rekonstruiert in an sich bekannter Weise aus 2D- Projektionen, welche bei einer Verstellung des C-Bogens 48, beispielsweise längs seines Umfanges, um ein im Isozentrum IZ des C-Bogens 48 plaziertes, in einem Bild darzustellendes Körperteil des Patienten P gewonnen werden, 3D-Bilder von dem darzustellenden Körperteil.The C-arm x-ray device 41 shown in FIG. 4 is distinguished by the fact that it can be used to generate a 3D image data record of the body or of body parts of a patient P stored on a vertically and horizontally adjustable patient couch 52 , from which various 3D images of the patient's body can be reconstructed. For 3D imaging, an image computer 53 is provided in the case of the present exemplary embodiment in the equipment carriage 43 of the C-arm x-ray apparatus 41 , which is connected in a manner not shown with the solid-state detector 50 and the display unit 51 . The image processor 53 reconstructs in a known manner from 2D projections, which during an adjustment of the C-arm 48, for example, along its circumference, a 48 item placed at the isocenter IZ of the C-arm, to be displayed in an image part of the patient P obtained, 3D images of the body part to be displayed.

Mit Hilfe eines im Falle des vorliegenden Ausführungsbei spiels optischen Navigationssystems des medizinischen Systems können während eines Eingriffs an dem Patienten P von einem in der Fig. 4 nicht dargestellten Chirurgen verwendete Instru mente als Abbild in während der Operation angefertigte 3D- Bilder vom Körper des Patienten P eingeblendet werden. Auf diese Weise erhält der Chirurg, wie im Falle der mit Ultra schall gewonnenen 3D-Bilder, eine wirkungsvolle und zuverläs sige Unterstützung bei dem operativen Eingriff. Um ein In strument genau anhand der Bildinformation positionieren zu können, sind jedoch exakte Bilder des realen Operationssitus erforderlich, welche durch die Gewinnung von 3D-Bildern wäh rend der Operation erhalten werden.With the aid of an optical navigation system of the medical system in the case of the present embodiment, instruments used during an intervention on the patient P by a surgeon (not shown in FIG. 4) can be used as an image in 3D images of the body of the patient P made during the operation be displayed. In this way, as in the case of the 3D images obtained with ultrasound, the surgeon receives effective and reliable support during the surgical procedure. In order to be able to position an instrument precisely on the basis of the image information, however, exact images of the real surgical site are required, which are obtained by obtaining 3D images during the operation.

Das Navigationssystem umfaßt im Falle des in Fig. 4 gezeigten Ausführungsbeispiels Kameras 54, 55 und mit den Kameras de tektierbare Referenzelemente 56 bis 58, welche an hinsicht lich ihrer Position zu erfassenden Instrumenten oder Objekten angeordnet sind und von den Kameras 54, 55 aufgenommen wer den. Ein Navigationsrechner 59 des Navigationssystems wertet die mit den Kameras 54, 55 aufgenommenen Bilder aus und kann anhand der aufgenommenen Referenzelemente 56 bis 58 die Posi tionen, d. h. die Lagen und Orientierungen, der Referenzele mente 56 bis 58 und somit der Instrumente bzw. Objekte bezüg lich eines Bezugskoordinatensystems K2 ermitteln.In the case of the exemplary embodiment shown in FIG. 4, the navigation system comprises cameras 54 , 55 and reference elements 56 to 58 which can be detected with the cameras, which are arranged on instruments or objects to be detected with regard to their position and which are recorded by the cameras 54 , 55 . A navigation computer 59 of the navigation system evaluates the images recorded with the cameras 54 , 55 and can use the recorded reference elements 56 to 58 to determine the positions, ie the positions and orientations, the reference elements 56 to 58 and thus the instruments or objects determine a reference coordinate system K2.

Im Falle des vorliegenden Ausführungsbeispiels ist das Refe renzelement 56 an einem chirurgischen Instrument 60, das Re ferenzelement 57 am C-Bogen 48 des C-Bogen-Röntgengerätes 41 und das Referenzelement 58 an der Patientenliege 52 angeord net. Auf diese Weise kann der Navigationsrechner 59 anhand der gewonnenen Kamerabilder jeweils die aktuellen Positionen des C-Bogens 48 und somit des Isozentrums IZ des C-Bogens 48, des Instrumentes 60 und der Patientenliege 52 ermitteln. Der Navigationsrechner 59, welcher in nicht dargestellter Weise mit dem Bildrechner 53 verbunden ist, stellt dem Bildrechner 53 jeweils die Daten über die aktuellen Positionen des Iso zentrums IZ, des Instrumentes 60 und der Patientenliege 52 zur Verfügung. Anhand dieser Positionsinformationen kann der Bildrechner 53 ein Abbild des Instrumentes 60 in ein mit dem C-Bogen-Röntgengerät 41 während der Operation gewonnenes 3D- Bild einblenden, wobei aufgrund der bekannten Position des Isozentrums IZ die Lagen und Orientierung des erzeugten 3D- Bilddatensatzes im Bezugskoordinatensystem K2 bekannt ist. Erfindungsgemäß ist dabei zur Einblendung des Abbildes des Instrumentes 60 keine Registrierung erforderlich. Eine derar tige Einblendung eines Abbildes 61 des Instrumentes 60 in ein erzeugtes 3D-Bild ist exemplarisch in Fig. 4 dargestellt.In the case of the present exemplary embodiment, the reference element 56 is arranged on a surgical instrument 60 , the reference element 57 on the C-arm 48 of the C-arm X-ray device 41 and the reference element 58 on the patient bed 52 . In this way, the navigation computer 59 can use the camera images obtained to determine the current positions of the C-arm 48 and thus the isocenter IZ of the C-arm 48 , the instrument 60 and the patient bed 52 . The navigation computer 59 , which is connected to the image computer 53 in a manner not shown, provides the image computer 53 with the data about the current positions of the isocenter IZ, the instrument 60 and the patient bed 52 . Using this position information, the image computer 53 can display an image of the instrument 60 in a 3D image obtained with the C-arm x-ray device 41 during the operation, the positions and orientation of the generated 3D image data set in the reference coordinate system based on the known position of the isocenter IZ K2 is known. According to the invention, no registration is required to display the image of the instrument 60 . Such a fade-in of an image 61 of the instrument 60 in a generated 3D image is shown as an example in FIG. 4.

Da die Bewegungen des Instrumentes 60, des C-Bogens 48 und der Patientenliege 52 über die Kameras 54, 55 und den Rechner 59 gleichzeitig und kontinuierlich erfaßt werden, kann die Einblendung des Abbildes des Instrumentes 60 in ein mit dem C-Bogen-Röntgengerät 1 gewonnenes 3D-Bild jeweils online der veränderten Situation entsprechend angepaßt werden. Auf diese Weise sind nicht nur statische, sondern auch kontinuierlich aufeinanderfolgende, mit der Einblendung des Abbildes des In strumentes 60 versehene 3D-Bilder erzeugbar.Since the movements of the instrument 60 , the C-arm 48 and the patient bed 52 are recorded simultaneously and continuously via the cameras 54 , 55 and the computer 59 , the image of the instrument 60 can be faded in with the C-arm X-ray device 1 3D image obtained can be adapted online according to the changed situation. In this way, not only static, but also continuously successive 3D images provided with the overlay of the image of the instrument 60 can be generated.

Die Positionen des Instrumentes, der Mittel zur Aufnahme von Bildern und der Patientenliege müssen im übrigen nicht gleichzeitig erfaßt werden. Eine nahezu gleichzeitige Erfas sung ist jedoch dann erforderlich, wenn insbesondere nach Veränderungen der Positionen des Instrumentes oder der Pati entenliege das Abbild des Instrumentes online in erzeugte 3D- Bilder bzw. in in Echtzeit gewonnene 2D-Bilder eingeblendet werden soll.The positions of the instrument, the means for receiving Incidentally, pictures and the patient bed do not have to be recorded simultaneously. An almost simultaneous capture Solution is required, however, if especially after Changes in the positions of the instrument or the pati duck the image of the instrument online in generated 3D Images or 2D images obtained in real time are displayed shall be.

Im übrigen können auch die in den Fig. 1 bis 3 gezeigten Ar beitsplätze eine Patientenliege aufweisen, deren Positionen gleichzeitig mit den Positionen des Instrumentes und der Mit tel zur Aufnahme von Bildern erfaßt werden.Incidentally, the Ar workstations shown in FIGS . 1 to 3 can have a patient bed, the positions of which are recorded simultaneously with the positions of the instrument and the center for taking images.

Die Ermittlung der Positionen der Mittel zur Aufnahme von Bildern, des Instrumentes und der Patientenliege muß nicht notwendigerweise durch ein Navigationssystem erfolgen. Viel mehr können die Positionen auch durch andere geeignete Mittel zur Positionserfassung, welche beispielsweise auf Basis si gnaltragender Wellen arbeiten, ermittelt und miteinander in Beziehung gebracht werden.Determining the positions of funds for inclusion Images, the instrument and the patient bed do not have to necessarily done by a navigation system. A lot the positions can also do more by other suitable means for position detection, which is based, for example, on si gnal-bearing waves work, determined and in each other Relationship.

Im Falle der in den Fig. 1 bis 3 beschriebenen Ausführungsbei spiele kann anstelle eines auf Basis elektromagnetischer Fel der arbeitenden Navigationssystems auch ein optisches Naviga tionssystem und im Falle des in Fig. 4 beschriebenen Ausfüh rungsbeispieles kann anstelle des optischen Navigationssy stems auch ein auf Basis elektromagnetischer Wellen arbeiten des Navigationssystem eingesetzt werden.In the case of the exemplary embodiments described in FIGS . 1 to 3, an optical navigation system can also be used instead of an operating navigation system based on electromagnetic fields and, in the case of the exemplary embodiment described in FIG. 4, an electromagnetic based system can also be used instead of the optical navigation system Waves are used by the navigation system.

Das erfindungsgemäße System wurde vorstehend am Beispiel ei nes medizinischen Systems zur Navigation medizinischer In strumente beschrieben. Das System ist jedoch nicht auf den Einsatz in der Medizin beschränkt.The system according to the invention was described above using the example of egg nes medical system for navigation medical In instruments described. However, the system is not on the Limited use in medicine.

Als Mittel zur Aufnahme von Bildern können alle Systeme zum Einsatz kommen, bei denen die Lagen und Orientierung der er faßten Bilddaten im Bezugskoordinatensystem aufgrund der Kenntnis der Position der Mittel zur Aufnahme von Bildern be kannt sind.As a means of taking pictures, all systems for Use where the location and orientation of the he captured image data in the reference coordinate system based on the Knowledge of the position of the means for taking pictures are known.

Claims

1. System with means ( 2 , 22 , 49 , 50 ) for receiving images from a first object (P), with means ( 3 , 4 , 5 , 6 , 54 , 55 , 57 , 59 ) for determining the position the means ( 2 , 22 , 49 , 50 ) for taking pictures, with means ( 4 , 5 , 6 , 13 , 54 , 55 , 56 , 59 ) for determining the position of a second object ( 14 , 20 , 60 ); with means ( 4 , 5 , 6 , 7 , 13 , 54 , 55 , 56 , 59 ) for determining the position of the second object ( 14 , 20 , 60 ) relative to the means ( 2 , 22 , 49 , 50 ) for recording of images and with means ( 7 ) for superimposing an image of ( 19 , 61 ) of the second object ( 14 , 20 , 60 ) into an image of the first obtained with the means ( 2 , 22 , 49 , 50 ) for taking images Object (P).

2. System according to claim 1, which comprises a navigation system ( 3 , 4 , 5 , 6 , 7 , 13 ) comprising the position of the means ( 2 , 22 , 49 , 50 ) for taking pictures, the position of the two-th object ( 14 , 20 , 60 ) and the position of the second object ( 14 , 20 , 60 ) relative to the means ( 2 , 22 , 49 , 50 ) for recording images.

3. System according to claim 2, the navigation system ( 3 , 4 , 5 , 6 , 7 , 13 ) of which objects attachable and detectable marks ( 56 to 58 ) and / or position sensors ( 3 , 13 ).

4. System according to any one of claims 1 to 3, wherein the means for taking images have an ultrasonic sensor ( 2 , 22 ).

5. System according to any one of claims 1 to 4, wherein the means for taking images have an X-ray source ( 49 ) and an X-ray receiver ( 50 ).

6. System according to one of claims 1 to 5, in which with the means ( 2 , 22 , 49 , 50 ) for taking images 3D images of the first object (P) can be generated.

7. System according to one of claims 1 to 6, in which with the means ( 2 , 22 , 49 , 50 ) for taking images, 2D images can be generated in real time by the first object (P).

8. System according to claim 7, wherein the distance of the second object ( 14 , 20 , 60 ) from the image plane of the 2D image of the first object (P. 22 ) obtained by means ( 2 , 22 , 49 , 50 ) for taking images ) can be faded into the 2D image.

9. System according to any one of claims 1 to 8, wherein the position of the means ( 2 , 22 , 49 , 50 ) for recording images can be detected simultaneously with the position of the second object ( 14 , 20 , 60 ).

10. System according to one of claims 1 to 9, which comprises a receiving device ( 52 ) for the first object (P) and means ( 54 , 55 , 58 , 59 ) for determining the position of the receiving device ( 52 ), the The position of the receiving device ( 52 ) can be detected simultaneously with the position of the means ( 49 , 50 ) for taking pictures and of the second object ( 60 ).

11. Medical work station having a system according to ei nem of claims 1 to 10.

12. Medical work station according to claim 11, which for minimally invasive surgery is provided.

13. Medical workplace according to claim 11 or 12, at which the images of the first object (P) intraoperatively are witnessable.

14. A method for superimposing an image ( 19 , 61 ) of a second object ( 14 , 20 , 60 ) into an image obtained from a first object (P), comprising the following method steps:

a) obtaining an image of the first object (P) with means ( 2 , 22 , 49 , 50 ) for taking images,
b) determining the position of the means ( 2 , 22 , 49 , 50 ) for taking images,
c) determining the position of the second object ( 14 , 20 , 60 ),
d) determining the position of the second object ( 14 , 20 , 60 ) relative to the means ( 2 , 22 , 49 , 50 ) for taking pictures and
e) fading in an image ( 19 , 61 ) of the second object ( 14 , 20 , 60 ) into an image of the first object (P) obtained with the means ( 2 , 22 , 49 , 50 ) for taking images.