DE19542605A1 - Interactive display system for showing internal organs of patient structures during medical operations - Google Patents

Interactive display system for showing internal organs of patient structures during medical operations

Info

Publication number
DE19542605A1
DE19542605A1 DE19542605A DE19542605A DE19542605A1 DE 19542605 A1 DE19542605 A1 DE 19542605A1 DE 19542605 A DE19542605 A DE 19542605A DE 19542605 A DE19542605 A DE 19542605A DE 19542605 A1 DE19542605 A1 DE 19542605A1
Authority
DE
Germany
Prior art keywords
patient
operator
semi
transparent screen
screen device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE19542605A
Other languages
German (de)
Inventor
Charles Lucian Dumoulin
Robert David Darrow
William John Adams
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of DE19542605A1 publication Critical patent/DE19542605A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Radiography Using Non-Light Waves (AREA)

Abstract

A semitransparent screen (250) shows a picture with a variable degree of transparency, with the structure overlaid on the patient (1). A mechanical arm (7) holds the screen in a desired position between the operator (350) and the patient.A tracking unit (50) repeatedly measures the position of the operator, the patient and the screen unit and their alignment. A workstation (100) is coupled with the tracking unit, obtaining its results and producing a picture from the image data stored, so that the internal structures on the screen can be in agreement with the relative position of the operator, patient and screen unit.

Description

Die vorliegende Erfindung bezieht sich auf ein System zur Un­ terstützung eines Arztes, wie beispielsweise eines Chirurgen, bei der Darstellung anatomischer Strukturen während medizini­ scher Verfahren und, insbesondere auf ein System, das dem Arzt ermöglicht, in Echtzeit sowohl innere als auch äußere anatomi­ sche Strukturen zu sehen.The present invention relates to a system for un support from a doctor, such as a surgeon, in the representation of anatomical structures during medical procedures and, in particular, to a system that the doctor enables both internal and external anatomy in real time see structures.

Derzeit sehen Ärzte während eines chirurgischen Eingriffs und anderen medizinischer Verfahren, wie beispielsweise der Endo­ skopie, Biopsie und Implantation, zahlreiche statische Röntgen­ ansichten des Patienten im Operationssaal. Typischerweise sind dies Transparentfilm-Wiedergaben von Magnetresonanz (MR)-, Com­ puter-Tomographie (CT)-, herkömmlichen Röntgen- oder Ultra­ schall-Bildern. Da diese Bilder zweidimensionale statische Bil­ der sind, müssen die Ärzte die augenblickliche dreidimen­ sionale (3D) Anordnung und Form der inneren Strukturen inner­ halb des Patienten aus den zweidimensionalen (2D) Bildern, die sie sehen, bestimmen. Der Arzt konstruiert entwurfsmäßig ein dreidimensionales (3D) Modell der inneren Strukturen und bringt die inneren Strukturen in Verbindung mit sichtbaren äußeren Strukturen des Patienten, wo geschnitten werden muß. Dies ist häufig schwierig, da der Maßstab und die Orientierung des zwei­ dimensionalen (2D) Bildes von dem, was der Chirurg sieht, ab­ weichen können und der Chirurg nicht in der Lage sein kann, sowohl den Patienten als auch die medizinischen Diagnosebilder gleichzeitig zu sehen.Doctors are currently seeing and during a surgical procedure other medical procedures, such as the Endo scopy, biopsy and implantation, numerous static x-rays views of the patient in the operating room. Typically are Dies Transparent film reproductions of magnetic resonance (MR) -, Com computer tomography (CT), conventional x-ray or ultra sound pictures. Since these images have two-dimensional static images who are, the doctors have to choose the current three-dimen sional (3D) arrangement and shape of the internal structures half of the patient from the two-dimensional (2D) images that you see, determine. The doctor designs a design three-dimensional (3D) model of the internal structures and brings the inner structures in connection with visible outer Structures of the patient where to cut. This is often difficult because of the scale and orientation of the two dimensional (2D) image of what the surgeon sees can give way and the surgeon may not be able to both the patient and the medical diagnostic images to see at the same time.

Eine andere für die Lokalisierung innerer Strukturen während eines chirurgischen Eingriffs verwendete Technik ist als ste­ reotaktische Chirurgie bekannt, wie sie in "Interactive Stereo­ tactic Surgical System for the Removal of Intracranial Tumors Utilizing the CO₂ Laser and CT-Derived Database" von B.A. Kall, P.J. Kelly und S.J. Goerss in IEEE Transactions on Biomedical Engineering, Vol. BME-32, Nr. 2, S. 112-116, 1985, und in "Com­ prehensive Computer-Assisted Data Collection Treatment Planning and Interactive Surgery" von B.A. Kall, P.J. Kelly und S.J. Goerss in Medical Imaging, Vol. 767, S. 509-514, 1987, be­ schrieben wurde. Bei diesem Verfahren wird vor einem Computer- Tomographie (CT)- oder Magnetresonanz-Verfahren ein starrer mechanischer Rahmen am Patienten befestigt. Der Rahmen und sei­ ne Orientierungspunkte können auf den sich ergebenden Bildern gesehen werden. Mechanismen auf dem Rahmen Positionieren eine Sonde bzw. einen Meßfühler an einem speziellen Ort innerhalb des Bilds. Der Nachteil dieses Verfahrens liegt darin, daß der Rahmen den Zugang zum Patienten beschränkt und die Bilder sta­ tische Bilder sind, die dem Patienten nicht folgen, wenn er sich während des chirurgischen Eingriffs bewegt.Another for the localization of internal structures during technique used for surgery is as ste reotactic surgery known as in "Interactive Stereo tactic Surgical System for the Removal of Intracranial Tumors Utilizing the CO₂ Laser and CT-Derived Database "by B.A. Kall, P.J. Kelly and S.J. Goerss in IEEE Transactions on Biomedical Engineering, Vol. BME-32, No. 2, pp. 112-116, 1985, and in "Com prestigious computer-assisted data collection treatment planning  and Interactive Surgery "by B.A. Kall, P.J. Kelly and S.J. Goerss in Medical Imaging, vol. 767, pp. 509-514, 1987, be was written. In this procedure, a computer Tomography (CT) or magnetic resonance imaging is a rigid one mechanical frame attached to the patient. The frame and be ne landmarks can be found on the resulting pictures be seen. Mechanisms on the frame positioning one Probe or a probe at a special location within of the picture. The disadvantage of this method is that the The frame limits access to the patient and the images are are tables that do not follow the patient when he is moves during surgery.

Eine dritte für die Lokalisierung innerer Strukturen verwendete Technik ist in "A Frameless Stereotaxic Operating Microscope for Neurosurgery" von E.M. Friets, J.W. Strohbehn, J.F. Hatch und D.W. Roberts in IEEE Transactions on Biomedical Enginee­ ring, Vol. 36, Nr. 6, S. 608-617, Juni 1989, beschrieben.A third used for the localization of internal structures Technique is in "A Frameless Stereotaxic Operating Microscope for Neurosurgery "by E.M. Friets, J.W. Strohbehn, J.F. Hatch and D.W. Roberts in IEEE Transactions on Biomedical Enginee ring, vol. 36, no. 6, pp. 608-617, June 1989.

Dreidimensionale Modelle von anatomischen Strukturen können aus Daten von verschiedenen medizinischen Abbildungsanwendungen, wie in den Schriften EP-A-0 629 693, WO-A-94/24631, EP-A-0 549 189 und EP-A-0 549 182 beschrieben, erzeugt werden. Diese Schriften beschreiben die Erzeugung und Manipulation von Model­ len innerer Strukturen von Patienten und die Herstellung von Bildern ausgewählter Strukturen mit gewünschten Ausrichtungen zu einem Benutzer. Dies ermöglicht die Darstellung von inneren Strukturen als räumliche Modelle.Three-dimensional models of anatomical structures can be made Data from various medical imaging applications, as in documents EP-A-0 629 693, WO-A-94/24631, EP-A-0 549 189 and EP-A-0 549 182. These Fonts describe the creation and manipulation of models internal structures of patients and the production of Images of selected structures with desired orientations to a user. This enables the display of internal ones Structures as spatial models.

Gegenwärtig besteht ein Bedarf nach einem System zur Unter­ stützung von Ärzten bei chirurgischen Eingriffen und anderen medizinischen Verfahren, das im Dialogbetrieb computererzeugte Darstellungen von inneren Strukturen in richtiger Beziehung zu äußeren Strukturen des Patienten anzeigt und die Darstellung von augenblicklichen und hypothetischen Wegen von eindringenden Vorrichtungen erlaubt.There is currently a need for a sub-system support of doctors during surgical interventions and others medical procedure that computer-generated in dialog mode Representations of internal structures in the right relationship to displays the patient's external structures and appearance of instantaneous and hypothetical ways of penetrating Devices allowed.

Eine Aufgabe der vorliegenden Erfindung besteht darin, ein Sy­ stem zu schaffen, das bei chirurgischen Eingriffen hilft, indem gleichzeitig ein Bild von inneren Strukturen äußeren Strukturen überlagert wird, auch, wenn die Patienten ihre Position ver­ ändern oder wenn die Bediener ihren Ansichtwinkel ändern.An object of the present invention is to provide a sy stem that helps with surgical interventions by at the same time a picture of inner structures outer structures is superimposed, even if the patient ver change or when the operators change their viewing angle.

Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Dialog- bzw. interaktives System zu schaffen, das die ge­ wünschten inneren Strukturen auf äußeren Strukturen anzeigt, wobei diese denselben Maßstab besitzen und aus denselben Orien­ tierungswinkeln betrachtet werden.Another object of the present invention is to create a dialogue or interactive system that the ge indicates desired internal structures on external structures, which have the same scale and from the same orias angles are considered.

Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, für einen Chirurgen eine "am Kopf befestigbare" bzw. "heads up" Anzeige von Röntgenbildern zu schaffen, die äußeren Strukturen eines Patienten innerhalb seines Blickfelds überlagert sind, ohne die Verwendung eines hinderlichen Kopfgestells.Another object of the present invention is for a surgeon a "heads up" or "heads up" Display of x-rays to create the external structures a patient is superimposed within his field of vision, without the use of an obstructive head frame.

Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Anzeigesystem zu schaffen, das mit einer eindringenden Ein­ richtung integriert ist, um eine Darstellung der eindringenden Einrichtung relativ zu inneren Strukturen des Objekts zu bilden.Another object of the present invention is to create a display system that with an intrusive one direction is integrated to represent the intruding Establishment relative to the object's internal structures form.

Eine Echtzeit-Operationseinrichtung zur Anzeige interaktiver innerer und äußerer Bilder eines Patienten verwendet eine halb­ transparente Anzeigebildschirmeinrichtung, der dem Bediener ermöglicht, gleichzeitig freigelegte Oberflächen und Computer­ erzeugte Bilder von inneren Strukturen eines Patienten zu se­ hen. Ein Symbol, das eine eindringende Einrichtung darstellt, ist dem computererzeugten Bild an einem Ort überlagert, der in Bezug auf die inneren und äußeren Strukturen richtig angezeigt wird.A real-time operation facility for displaying interactive inner and outer images of a patient uses a half transparent display screen device that the operator enables simultaneously exposed surfaces and computers generated images of a patient's internal structures hen. A symbol that represents an intruding device is superimposed on the computer generated image in a location that is in Correctly displayed in relation to the inner and outer structures becomes.

Eine medizinische Abbildungseinrichtung oder ein Computerunter­ stütztes Entwicklungs-System (computer-aided design (CAD)- System) erzeugt dreidimensionale (3D) Abbildungsdaten von inneren Strukturen des Patienten für einen Arbeitsplatz bzw. eine Workstation. Die dreidimensionale Position und Ausrichtung des Patienten, die halbtransparente Bildschirmeinrichtung, das Auge des Bedieners und eine eindringende Einrichtung, die in den Patienten eingeführt werden soll, werden in Echtzeit darge­ stellt. Die Workstation erzeugt dreidimensionale (3D) computer­ erzeugte Modelle von inneren Strukturen der Patienten, die ohne einen weiteren Bedarf an der medizinischen Abbildungsvorrich­ tung verändert werden können. Zweidimensionale (2D) computerer­ zeugte Bilder von den Modellen werden im Dialogbetrieb bzw. interaktiv ausgerichtet und im Maßstab angepaßt, so daß ihre Anzeige auf einer halbtransparenten Anzeigeeinrichtung mit dem visuellen Bild des Bedieners vom Patienten durch die halbtrans­ parente Bildschirmeinrichtung zusammenfällt.A medical imaging device or a computer-aided design (CAD) system generates three-dimensional (3D) imaging data of internal structures of the patient for a work station. The three-dimensional position and orientation of the patient, the semi-transparent screen device, the operator's eye and an intruding device to be inserted into the patient are shown in real time. The workstation generates three-dimensional (3D) computer-generated models of internal structures of the patients, which can be changed without any further need for the medical imaging device. Two-dimensional ( 2 D) computer generated images of the models are aligned in interactive mode or interactively and adjusted in scale so that their display on a semi-transparent display device coincides with the visual image of the operator from the patient through the semi-transparent screen device.

Die für neu gehaltenen Merkmale der Erfindung sind insbesondere in den Ansprüchen angegeben. Die Erfindung selbst jedoch, so­ wohl die Anordnung als auch das Betriebsverfahren, zusammen mit weiteren Aufgaben und Vorteilen können am besten unter Bezug­ nahme auf die folgende Beschreibung in Verbindung mit der Zeichnung verstanden werden.The features of the invention believed to be novel are particular specified in the claims. However, the invention itself, so probably the arrangement as well as the operating procedure, together with Other tasks and benefits can best be referred took the following description in connection with the Drawing can be understood.

Es zeigen:Show it:

Fig. 1 ein vereinfachtes Blockschaltbild eines ersten Ausfüh­ rungsbeispiels einer erfindungsgemäßen medizinischen Anzeige­ vorrichtung, und Fig. 1 is a simplified block diagram of a first exemplary embodiment of a medical display device according to the invention, and

Fig. 2 ein vereinfachtes Blockschaltbild eines zweiten Ausfüh­ rungsbeispiels einer erfindungsgemäßen medizinischen Anzeigeeinrichtung. Fig. 2 is a simplified block diagram of a second exemplary embodiment of a medical display device according to the invention.

In Fig. 1 wird ein Objekt oder ein Patient 1, bei dem ein medi­ zinisches Verfahren, wie beispielsweise ein chirurgischer Ein­ griff, durchgeführt wird, mittels einer medizinischen Abbil­ dungseinrichtung 10 abgetastet, die eine Magnetresonanz (MR)- Abbildungseinrichtung, eine Computer-Axiale-Tomographie (CAT)- Einrichtung, eine Positronen-Emissions-Tomographie (PET)- oder eine ähnliche Abbildungseinrichtung sein kann, die fähig ist, mehrdimensionale volumetrische Daten, wie beispielsweise drei­ dimensionale (3D)-Daten, aus inneren Strukturen des Patienten 1 zu erzeugen. Nach der Abbildung schafft die Abbildungseinrich­ tung 10 die volumetrischen Daten zu einer Modell-Workstation 100. Wenn die volumetrischen Daten erst zu der Modell-Work­ station 100 geschafft sind, ist die Abbildungseinrichtung 10 nicht länger erforderlich. Dies ist wichtig, da einige medizi­ nische Verfahren nicht mit dem Patienten innerhalb der Grenzen einer Abbildungseinrichtung durchgeführt zu werden brauchen, was, wie im Fall von Magnetresonanz (MR)-Abbildung, beschrän­ kend sein kann. In alternativen Ausführungsbeispielen kann die Abbildungseinrichtung 10 im Dialogbetrieb bzw. interaktiv wäh­ rend dem medizinischen Verfahren verwendet werden. Die Modell- Workstation 100 speichert die volumetrischen Daten und erzeugt aus den Daten computererzeugte Modelle, die im Maßstab verän­ dert, gedreht oder anders verändert werden können, ohne die Abbildungseinrichtung 10 weiter zu erfordern.In Fig. 1, an object or a patient 1 , in which a medical procedure, such as a surgical intervention, is performed, is scanned by means of a medical imaging device 10 , which has a magnetic resonance (MR) imaging device, a computer axial -Tomography (CAT) device, a positron emission tomography (PET) - or a similar imaging device, which is capable of multi-dimensional volumetric data, such as three-dimensional (3D) data, from internal structures of the patient 1 produce. After the mapping, the imaging device 10 creates the volumetric data for a model workstation 100 . Once the volumetric data has been made to the model work station 100 , the imaging device 10 is no longer required. This is important because some medical procedures do not need to be performed with the patient within the confines of an imaging device, which, as in the case of magnetic resonance (MR) imaging, can be limiting. In alternative exemplary embodiments, the imaging device 10 can be used in interactive mode or interactively during the medical procedure. The model workstation 100 stores the volumetric data and uses the data to generate computer-generated models that can be scaled, rotated, or otherwise changed without further requiring the imaging device 10 .

Ein Bediener 350, wie beispielsweise ein Arzt oder ein medizin­ scher Assistent beobachtet den Patienten 1. Eine halbtranspa­ rente Bildschirmeinrichtung 250 ist zwischen dem Patienten 1 und dem Bediener 350 angeordnet. Eine Nachführeinrichtung 50, die den Bediener, die halbtransparente Bildschirmeinrichtung 250 und den Patienten 1 überwacht und verfolgt, bestimmt die Lokalisierung und Ausrichtung mit Winkel α, Teilung θ und Ab­ weichung Φ der Bedieners 350, des Objekts 1, der halbtranspa­ renten Bildschirmeinrichtung 250 und der eindringenden Einrich­ tung 3. Die Nachführeinrichtung 50 kann eine Nachführeinrich­ tung mit 6 Freiheitsgraden sein, wie in "The Flock of Birds" Installation and Operation Guide, Ascension Technology Corpora­ tion, 5. Juli 1992, in der Einleitung S. 1-3, im Anhang 1, S. 89 und in Anhang 3, S. 93, beschrieben.An operator 350 , such as a doctor or a medical assistant, observes the patient 1 . A semi-transparent screen device 250 is arranged between the patient 1 and the operator 350 . A tracking device 50 , which monitors and tracks the operator, the semi-transparent screen device 250 and the patient 1 , determines the localization and alignment with the angle α, division θ and deviation Φ of the operator 350 , the object 1 , the semi-transparent screen device 250 and the penetrating device 3 . The tracking device 50 can be a tracking device with 6 degrees of freedom, as described in "The Flock of Birds" Installation and Operation Guide, Ascension Technology Corporation, July 5, 1992, in the introduction pp. 1-3, in appendix 1, p. 89 and in Appendix 3, p. 93.

Es wird angenommen, daß sich der Patient 1 am Ursprung des karthesischen Koordinatensystems (x, y, z) = (0, 0, 0) befindet, und daher alle Lokalisierungen relativ zum Patienten einfach die (x, y, z)-Lokalisierungen sind. Die Lokalisierung und Ausrichtung des Patienten 1, der halbtransparenten Bild­ schirmeinrichtung 250 und des Bedieners 350 wird durch die Nachführeinrichtung 50 im Dialogbetrieb bzw. interaktiv zu der Modell-Workstation 100 zugeführt. Die Lokalisierung und Aus­ richtung kann in verschiedenen Ausführungsbeispielen auch ma­ nuell zu der(den) Workstation(s) zugeführt werden.It is assumed that patient 1 is at the origin of the Cartesian coordinate system (x, y, z) = (0, 0, 0) and therefore all localizations relative to the patient are simply the (x, y, z) localizations . The location and orientation of the patient 1 , the semi-transparent screen device 250 and the operator 350 is fed to the model workstation 100 by the tracking device 50 in interactive mode or interactively. In various exemplary embodiments, the localization and alignment can also be manually fed to the workstation (s).

Die Modell-Workstation 100 verarbeitet die dreidimensionalen (3D) volumetrischen Daten, die sie empfängt, und erzeugt ausge­ wählte Wiedergaben der Daten. Ein Wiedergabe-Verfahren be­ stimmt Flächen zwischen verschiedenen Arten von Gewebe. Dann wird die Verbindbarkeit von ähnlichen Arten von zueinander be­ nachbartem Gewebe bestimmt. Eine Unterscheidung von Gewebearten aus der Natur des Signals in den dreidimensionalen Bilddaten ist als Gliederung bzw. Segmentation bekannt. Wenn die dreidi­ mensionalen (3D) volumetrischen Daten in innere Strukturen geg­ liedert bzw. segmentiert wurden, kann jede innere Struktur durch die Modell-Workstation 100 als ein separates festes Ob­ jekt behandelt werden. Die Modell-Workstation 100 besitzt die Fähigkeit, gewünschte innere Strukturen, Farbverschlüsselungs­ strukturen ausgewählt anzuzeigen und innere Strukturen abzu­ trennen, zu drehen und umzuwandeln, um diese Bilder auf eine gewünschte Weise zu manipulieren, um eine Darstellung für eine mit einem Bediener arbeitende Modell-Workstation 100 zu bilden. Ein alternatives Wiedergabe-Verfahren erzeugt zweidimensionale Projektionen von ausgewählten Merkmalen innerhalb des dreidi­ mensionalen Datensatzes, wie es im US-Patent 5 233 299, erteilt am 3. August 1993, mit dem Titel "Projection Methods for Produ­ cing Two-Dimensional Images from Three-Dimensional Data" von S.P. Souza, W.J. Adams und C.L. Dumoulin beschrieben ist. Bei­ spielsweise können zweidimensionale Projektions-Angiogramme aus einem dreidimensionalen Phasenkontrast oder einem Laufzeit (time-of-flight)-Magnetresonanz-Angiogramm extrahiert werden. Es sind zahlreiche Projektionsalgorithmen möglich. Diese ent­ halten die Erfassung der maximalen Pixelintensität entlang eines ausgewählten Projektionsstrahls durch die dreidimensiona­ len Daten, die Bestimmung der mittleren Pixelintensität eines ausgewählten Projektionsstrahls und die Bestimmung der Stan­ dardabweichung aller Pixel entlang einem ausgewählten Projek­ tionsstrahl.Model workstation 100 processes the three-dimensional (3D) volumetric data it receives and generates selected renditions of the data. A rendering process determines areas between different types of tissue. The connectivity of similar types of tissue adjacent to each other is then determined. A differentiation of tissue types from the nature of the signal in the three-dimensional image data is known as structuring or segmentation. Once the three-dimensional (3D) volumetric data has been segmented into inner structures, each inner structure can be treated by the model workstation 100 as a separate fixed object. Model workstation 100 has the ability to selectively display desired internal structures, color coding structures, and separate, rotate, and convert internal structures to manipulate these images in a desired manner to render for an operator-operated model workstation To form 100 . An alternative rendering method produces two-dimensional projections of selected features within the three-dimensional data set, as described in U.S. Patent 5,233,299, issued August 3, 1993, entitled "Projection Methods for Producing Two-Dimensional Images from Three- Dimensional Data "by SP Souza, WJ Adams and CL Dumoulin. For example, two-dimensional projection angiograms can be extracted from a three-dimensional phase contrast or a time-of-flight magnetic resonance angiogram. Numerous projection algorithms are possible. These include the detection of the maximum pixel intensity along a selected projection beam by the three-dimensional data, the determination of the average pixel intensity of a selected projection beam and the determination of the standard deviation of all pixels along a selected projection beam.

Die Modell-Workstation 100 empfängt Eingabedaten von einer Workstation-Ansichtseingabeeinrichtung 60 und von der Nachführ­ einrichtung 50, die der Position und Ausrichtung folgt, um die Ausrichtung für die Anzeige innerer Strukturen des Patienten 1 auszuwählen. Die Workstation-Ansichtseingabeeinrichtung 60 kann eine Computer-Zeigeeinrichtung, wie beispielsweise ein Handrol­ ler bzw. eine Haus oder eine Rollkugel bzw. ein Trackball, sein oder irgendeine Eingabeeinrichtung, die Ebenen, in denen die Bilder zu schneiden sind und einen Ansichtswinkel und einen Maßstab angibt. Die Modell-Workstation 100 synthetisiert ein dialogmäßiges bzw. interaktives computererzeugtes Bild innerer Strukturen eines Patienten 1, die mit der vom Bediener 350 ge­ sehenen Echtzeit-Szene zusammenfallen. Eine Symbol-Erzeugungs­ einrichtung 5 erzeugt ein Symbol, das die Position und Ausrich­ tung der eindringenden Einrichtung 3 anzeigt. Optional kann ein sich von der eindringenden Einrichtung 3 erstreckender Strahl gezeichnet werden, der den gegenwärtigen Pfad der eindringenden Einrichtung 3 anzeigt.The model workstation 100 receives input data from a workstation view input device 60 and from the tracking device 50 , which follows the position and orientation to select the orientation for displaying internal structures of the patient 1 . The workstation view input device 60 can be a computer pointing device such as a hand roller or a house or a trackball or any input device, the planes in which the images are to be cut and indicates a viewing angle and a scale . The model workstation 100 synthesizes a dialog-like or interactive computer-generated image of internal structures of a patient 1 , which coincide with the real-time scene seen by the operator 350 . A symbol generating device 5 generates a symbol indicating the position and orientation of the penetrating device 3 . Optionally, a ray extending from the penetrating device 3 can be drawn, which shows the current path of the penetrating device 3 .

Das interaktive computererzeugte Bild kann aus einem Computer­ monitorsignal, wie beispielsweise einem RGB-Computermonitor­ signal, in ein Videoformat umgewandelt werden, indem es einen Abtastumwandler 192 (gestrichelt dargestellt) passiert, ab­ hängig vom erforderlichen Anzeigeformat des halbtransparenten Bildschirms 250. Das computererzeugte Bild 250 wird auf der halbtransparenten Bildschirmeinrichtung 250 gebildet, die zwi­ schen dem Patienten und dem Bediener 350 angeordnet ist. Die halbtransparente Bildschirmeinrichtung 250 bildet eine ge­ wünschte Mischung äußerer Strukturen des durch den Bediener gesehenen Patienten 1 und des computererzeugten Bilds von der Modell-Workstation 100. Die halbtransparente Bildschirmein­ richtung 250 kann Eingabesignale vom Bediener empfangen, bei­ spielsweise über die Workstation-Ansichtseingabeeinrichtung 60. Dies kann den Grad von Transparenz für jedes Bild oder irgend­ einen anderen von zahlreichen Spezialeffekten umfassen. Ein sehr nützlicher Spezialeffekt ist ein bewegliches Fenster mit 0% Transparenz (100% Undurchsichtigkeit), das einem anderen Bild überlagert ist. Wenn das Fensterbild äußeren Strukturen überlagerte innere Strukturen darstellt, erzeugt es die Illu­ sion, daß äußere Strukturen innerhalb des Fensters weggeschnit­ ten sind und legt die darunterliegenden inneren Strukturen of­ fen. Andere herkömmliche Video-Spezialeffekte können auch ver­ wendet werden. Die halbtransparente Bildschirmeinrichtung 250 ermöglicht dem Bediener 350 sowohl innere als auch äußere Struk­ turen gleichzeitig darzustellen. Die sich ergebende vom Bedie­ ner 350 beobachtete Szene ist ein dialogmäßiges bzw. interakti­ ves Echtzeitbild des Patienten 1, auch, wenn sich der Patient während des medizinischen Verfahrens bewegt. Da innere Struktu­ ren und ihre Beziehung zu offenliegenden äußeren Strukturen gleichzeitig angezeigt werden, wird ein Chirurg, der die vor­ liegende Erfindung verwendet, eine sehr genaue Anzeige wahrneh­ men, wo er durch äußere Strukturen schneiden sollte, um bei einer gewünschten inneren Struktur anzukommen, wobei wichtige innere Strukturen gemieden werden.The interactive computer generated image can be converted from a computer monitor signal, such as an RGB computer monitor signal, to a video format by passing through a scan converter 192 (shown in dashed lines) depending on the required display format of the semi-transparent screen 250 . The computer-generated image 250 is formed on the semi-transparent screen device 250 , which is arranged between the patient and the operator 350 . The semi-transparent screen device 250 forms a desired mixture of external structures of the patient 1 seen by the operator and the computer-generated image from the model workstation 100 . The semi-transparent screen device 250 can receive input signals from the operator, for example via the workstation view input device 60 . This can include the level of transparency for each image, or any other of numerous special effects. A very useful special effect is a moving window with 0% transparency (100% opacity), which is superimposed on another image. If the window image shows external structures superimposed on internal structures, it creates the illusion that external structures within the window have been cut away and exposes the underlying internal structures. Other conventional video special effects can also be used. The semi-transparent screen device 250 enables the operator 350 to display both internal and external structures simultaneously. The resulting scene observed by operator 350 is a real-time interactive or interactive image of patient 1 , even if the patient is moving during the medical procedure. Because internal structures and their relationship to exposed external structures are displayed simultaneously, a surgeon using the present invention will perceive a very accurate indication of where to cut through external structures to arrive at a desired internal structure, wherein important internal structures are avoided.

Fig. 2 veranschaulicht ein alternatives Ausführungsbeispiel der vorliegenden Erfindung, bei dem der Bediener 350 eine stereo­ skopische Ansicht von inneren und äußeren Strukturen eines Pa­ tienten 1 empfängt. Jedes der Augen des Bedieners 350 unter­ scheidet sich voneinander in seiner Ausrichtung in Bezug auf den Patienten, so daß jedes Auge eine verschiedene Ansicht er­ hält. Die Nachführvorrichtung 50 führt die Lokalisierung (x₁, y₁, z₁) und Ausrichtungswinkel (α₁, Φ₁, θ₁) eines ersten und zweiten Auges des Bedieners 350, des Patienten 1, der halb­ transparenten Bildschirmeinrichtung 250 und der eindringenden Einrichtung 3 nach. Die Lokalisierung und Ausrichtung des zwei­ ten Auges des Bedieners kann unabhängig von der Nachführein­ richtung 50 gemessen werden, oder die Lokalisierung und Ausrichtung des ersten Auges kann verwendet werden, um die Lo­ kalisierung und Ausrichtung des zweiten Auges zu berechnen. Die Lokalisierungen und Ausrichtungen werden einer ersten Modell- Workstation 100a zugeführt bzw. einer zweiten Modell- Workstation 100b, die ein rechtes bzw. ein linkes Computer­ graphik-Bild an den Lokalisierungen (x₁, y₁, z₁), (x₂, y₂, z₂) bzw. Ausrichtungen (α₁, Φ₁, θ₁) (α₂, Φ₂, θ₂) entsprechend den Ansichten von jedem Auge des Bedieners 350 erzeugen. FIG. 2 illustrates an alternative embodiment of the present invention in which operator 350 receives a stereoscopic view of inner and outer structures of patient 1 . Each of the operator's 350 eyes is different in orientation with respect to the patient so that each eye has a different view. The tracking device 50 tracks the location (x₁, y₁, z₁) and orientation angle (α₁, Φ₁, θ₁) of a first and second eye of the operator 350 , the patient 1 , the semi-transparent screen device 250 and the penetrating device 3 . The location and orientation of the operator's second eye can be measured independently of the tracker 50 , or the location and orientation of the first eye can be used to calculate the location and orientation of the second eye. The locations and orientations of a first model workstation b 100 a fed and a second model workstation 100 to a right or a left computer graphic image at locations (x₁, y₁, z₁), (x₂, y₂, z₂) or orientations (α₁, Φ₁, θ₁) (α₂, Φ₂, θ₂) according to the views of each eye of the operator 350 .

Eine Symbolerzeugungseinrichtung 5 empfängt die Position und Ausrichtung der eindringenden Einrichtung 3 und zeigt ein Sym­ bol an der richtigen Position und Ausrichtung auf der halb­ transparenten Bildschirmeinrichtung 250 an. Das Symbol kann durch einen Strahl erweitert werden, der den vorgeschlagenen Pfad der eindringenden Einrichtung 3 anzeigt. Steuersignale von der Workstation-Ansichtseingabeeinrichtung 60 und der Abbil­ dungseinrichtung 10 können zur ersten Modell-Workstation 100a gesendet werden, die aufeinanderfolgend die Steuersignale zur zweiten Modell-Workstation 100b über den Kommunkationspfad 140 ausbreitet, oder alternativ können die Steuersignale direkt zu beiden Modell-Workstations gesendet werden.A symbol generating device 5 receives the position and orientation of the penetrating device 3 and displays a symbol at the correct position and orientation on the semi-transparent screen device 250 . The symbol can be expanded by a beam which indicates the proposed path of the penetrating device 3 . Control signals from the workstation view input device 60 and the imaging device 10 can be sent to the first model workstation 100 a, which successively propagates the control signals to the second model work station 100 b via the communication path 140 , or alternatively the control signals can be sent directly to both model Workstations are sent.

Das linke und das rechte computererzeugte Bild, die zu einer rechten bzw. einer linken Ansicht gehören, werden in ein Video­ format umgewandelt, wenn es für die halbtransparente Bild­ schirmeinrichtung 250 erforderlich ist. Dies wird durch Abtast­ umwandler 192a, 192b (gestrichelt dargestellt) erreicht, die die umgewandelten computererzeugten Signale zu einer Ablaufs­ teuereinrichtung 198 durchlassen. Die Ablaufsteuereinrichtung 198 kann eine herkömmliche Videoablaufsteuereinrichtung sein, wie in "Portable, Low Cost Devices for Videotaping, Editing and Displaying Field Sequential Stereoscopic Motion Pictures and Video" von H. Starks, in Steroscopic Displays and Applications Proc. SPIE Vol. 1256, S. 266-271, 1990, beschrieben.The left and right computer generated images belonging to right and left views, respectively, are converted to a video format when required for the semi-transparent screen device 250 . This is achieved by scan converters 192 a, 192 b (shown in dashed lines) which pass the converted computer-generated signals to a processing device 198 . The sequencer 198 may be a conventional video sequencer as described in H. Starks Portable, Low Cost Devices for Videotaping, Editing and Displaying Field Sequential Stereoscopic Motion Pictures and Video, in Steroscopic Displays and Applications Proc. SPIE Vol. 1256, pp. 266-271, 1990.

Die Ablaufsteuereinrichtung 198 läßt das linke computererzeugte Bild zur halbtransparenten Bildschirmeinrichtung 250 durch. The sequencer 198 passes the left computer generated image to the semi-transparent screen device 250 .

Dann läßt die Ablaufsteuereinrichtung das rechte computerer­ zeugte Bild zur halbtransparenten Bildschirmeinrichtung 250 durch. Die Ablaufsteuereinrichtung 198 wechselt synchronisiert viele Male pro Sekunde zwischen rechten und linken Ansichten.The sequencer then passes the right computer generated image to the semi-transparent screen device 250 . The sequencer 198 synchronously switches between right and left views many times per second.

Das auf der halbtransparenten Bildschirmeinrichtung 250 ange­ zeigte Bild ist zeitlich vervielfacht bzw. time multiplexed, um abwechselnd ein Bild für das linke Auge und das rechte Auge des Bedieners zu erzeugen. Eine stereoskopische Betrachtungs­ einrichtung 252 ist mit einer Ablaufsteuereinrichtung 198 syn­ chronisiert und dient dazu, die Sicht vom linken oder rechten Auge des Bedieners zu blockieren, um dem entgegengesetzten Auge zu ermöglichen, das Bild auf der halbtransparenten Bildschirm­ einrichtung 250 für einen Augenblick zu sehen und umgekehrt.The image shown on the semi-transparent screen device 250 is time-multiplexed in order to alternately generate an image for the left eye and the right eye of the operator. A stereoscopic viewing device 252 is synchronized with a sequence control device 198 and serves to block the view from the left or right eye of the operator to enable the opposite eye to see the image on the semi-transparent screen device 250 for a moment and vice versa .

Dies ermöglicht dem Bediener in schneller Aufeinanderfolge, das linke Bild mit dem linken Auge zu sehen, während das rechts Auge nichts sieht, und das rechte Bild mit dem rechten Auge zu sehen, während das linke Auge nichts sieht. Dies erzeugt einen stereoskopischen Eindruck, indem die Tiefendimensions-Wahr­ nehmung bei der Betrachtung des auf der halbtransparenten Bild­ schirmeinrichtung 250 angezeigten Bilds hinzukommt. Die Tiefen­ wahrnehmung ist bei chirurgischen Eingriffen sehr wertvoll, da sie eine Dimension hinzufügt, die bei der visuellen Lokalisie­ rung von Strukturen hilfreich ist, was insbesondere bei komple­ xen, feinen chirurgischen Eingriffen wichtig ist.This enables the operator in quick succession to see the left image with the left eye while the right eye sees nothing and the right image with the right eye while the left eye sees nothing. This creates a stereoscopic impression by adding depth dimension perception when viewing the image displayed on the semi-transparent screen device 250 . Deep perception is very valuable in surgical procedures because it adds a dimension that is helpful in the visual localization of structures, which is particularly important for complex, fine surgical procedures.

Für beide Ausführungsbeispiele der Erfindung muß sich das Com­ puterbild mit den äußeren Strukturen, wie sie der Bediener 350 sieht, decken (mit ihnen zusammenfallen). Eine Initialisierung kann durch eine manuelle Eingabe von dem Bediener, das (die) computererzeugte(n) Bild(er) zu rotieren, zu übertragen und den Maßstab anzupassen, bis sie mit der durch die halbtransparente Bildschirmeinrichtung beobachteten Szene zusammenfallen, oder durch Verwendung einer Nachführeinrichtung 50 zum Einstellen von Anfangsparametern erreicht werden. For both embodiments of the invention, the computer image must coincide (coincide with them) with the external structures as the operator 350 sees them. Initialization can be done by manual input from the operator to rotate, rotate, and scale the computer generated image (s) until they coincide with the scene observed by the semi-transparent screen device, or by using a tracker 50 for setting initial parameters can be reached.

Wenn einmal das dreidimensionale (3D) Modell und das visuelle Bild des Patienten 1 ausgerichtet sind, hält die Nachführein­ richtung 50 die Ansichtswinkel und den Ansichtsbereich gleich. Dies ermöglicht eine dialogmäßige bzw. interaktive Synchroni­ sierung in Echtzeit zwischen der Bedieneransicht des Patienten 1 und dem(den) computererzeugten Bild(ern).Once the three-dimensional (3D) model and the visual image of the patient 1 are aligned, the tracking device 50 keeps the viewing angle and the viewing area the same. This enables dialog-based or interactive synchronization in real time between the operator view of patient 1 and the computer-generated image (s).

Da das Bild jeder inneren Struktur in etwas aufgeteilt werden kann, das einem festen Objekt ähnelt, kann es wie ein festes Objekt manipuliert werden. Im Fall von Strukturen eines Patien­ ten kann ein Chirurg Daten vom Patienten durch medizinische Abbildung erfassen, dann den chirurgischen Eingriff mittels Manipulation der Modelle zum Planen eines gewünschten Ergebnis­ ses vor dem chirurgischen Eingriff planen. Dies ist ebenso bei komplexer wiederherstellender Chirurgie. Wenn einmal der Plan bestimmt ist, kann er gespeichert und während des chirurgischen Eingriffs wieder abgespielt werden. Die Bilder der inneren Strukturen sind im Dialogbetrieb bzw. interaktiv ausgerichtet und im Maßstab angepaßt, um mit dem aktuellen Patienten zusammenzufallen.Because the picture of each inner structure can be divided into something that resembles a fixed object, it can resemble a fixed object Object to be manipulated. In the case of a patient's structures A surgeon can provide patient data through medical Capture the image, then use the surgical procedure Manipulation of the models to plan a desired result plan it before the surgery. This is also the case with complex restorative surgery. Once the plan is determined, it can be saved and during the surgical Intervention can be played again. The pictures of the inner Structures are oriented in dialog mode or interactively and scaled to match the current patient to collapse.

Ein Benutzer verwendet eine Workstation-Ansichtseingabeein­ richtung 60 entsprechend den Fig. 1 bzw. 2, um Ebenen auszu­ wählen, in denen die Strukturen im Modell durchzuschneiden sind, um die dreidimensionale-Ausrichtung des Modells auszu­ wählen und um Bildschirmschnittebenen auszuwählen, die einen Workstation-Ansichtsbereich definieren. Die Modell-Workstation kann eine Begrenzerschaltungseinrichtung enthalten, um Punkte innerhalb der Modellschnittebenen zu bestimmen, eine Drehschal­ tungseinrichtung zum Rotieren von Punkten und Einheitsvektoren, eine Segmentierungs-Verarbeitungseinrichtung und eine Schraf­ furschaltungseinrichtung, die auf der Grundlage der Ausrichtung des Einheitsvektors an jedem Punkt eine Schraffur bestimmt. Zusätzlich kann eine Bildschirmeinrichtung-Begrenzer-Schal­ tungseinrichtung verwendet werden, um Punkte innerhalb eines Bereichs zu bestimmen, der durch die Bildschirmschnittebenen definiert ist. Die Modell-Workstation kann auch eine Anzeige­ schaltungseinrichtung enthalten, um Videosignale zu erzeugen, die, wenn sie sich zu einer geeigneten Anzeigeeinrichtung aus­ breiten, Bilder von zahlreichen Flächen erzeugen, die innerhalb des gewünschten Anzeigebereichs oder der Bildschirmschnittebe­ nen liegen.A user uses a workstation view input device 60 as shown in FIGS . 1 and 2, respectively, to select planes in which the structures in the model are to be cut, to select the three-dimensional orientation of the model and to select screen cutting planes which a workstation Define view area. The model workstation may include delimiter circuitry for determining points within the model section planes, rotary circuitry for rotating points and unit vectors, segmentation processing means, and hatching circuitry that determines hatching based on the orientation of the unit vector at each point . In addition, a screen delimiter circuit may be used to determine points within a range defined by the screen cut planes. The model workstation may also include display circuitry to generate video signals which, when extended to a suitable display device, form images of numerous areas that are within the desired display area or screen section plane.

Bei einer drastischen Operation, wie einem entfernenden chirur­ gischen Eingriff oder massiven Traumafällen gibt es wenig Struktur, die zur korrekten Feststellung, wie eine normale Struktur sein sollte, verwendet werden kann. In diesen Fällen kann eine zusätzliche Modell-Workstation ein Modell von norma­ len Strukturen gespeichert haben, das mit den anderen angezeig­ ten Bildern gemischt werden kann, um als ein Führer bei der Wiederherstellungschirurgie zu dienen. Dies kann durch zusätz­ liche Workstations oder Modell-Manupulationstafeln durchgeführt werden.During a drastic operation, such as a removing surgeon There is little intervention or massive trauma cases Structure used for correct determination, like a normal one Structure should be can be used. In these cases an additional model workstation can be a norma model len structures have been saved, the one displayed with the others th pictures can be mixed to act as a guide at the To serve reconstructive surgery. This can be done by additional workstations or model manipulation boards will.

In den vorliegenden Ausführungsbeispielen der Erfindung ist die halbtransparente Bildschirmeinrichtung 250 zwischen dem Bedie­ ner 350 und dem Patienten 1 angeordnet. Die Bildschirmeinrich­ tung 250 kann aus einer Flüssigkristallanzeigeeinrichtung be­ stehen oder einen teilversilberten Spiegel enthalten, der ein Bild von einem Videomonitor reflektiert. Die halbtransparente Anzeigeeinrichtung 250 kann als eine relativ große Einrichtung mit Abmessungen ungefähr gleich denen des interessierenden Be­ reichs des Patienten 1 bestehen oder alternativ kleine Abmes­ sungen haben und relativ nahe am Auge des Bedieners angeordnet sein, beispielsweise in einem Kopfrahmen (head gear) oder einem Augenaufsatz (eye wear) enthalten sein.In the present exemplary embodiments of the invention, the semi-transparent screen device 250 is arranged between the operator 350 and the patient 1 . The screen device 250 may be a liquid crystal display device or may include a partially silvered mirror that reflects an image from a video monitor. The semi-transparent display device 250 can exist as a relatively large device with dimensions approximately equal to those of the area of interest of the patient 1 or alternatively have small dimensions and can be arranged relatively close to the operator's eye, for example in a head gear or an eye attachment (eye wear) may be included.

In einem Ausführungsbeispiel der vorliegenden Erfindung ist die halbtransparente Bildschirmeinrichtung 250 an einem beweglichen Arm 7 befestigt, der ermöglicht, daß der Bildschirmeinrichtung an jedem Ort zwischen dem Patienten 1 und dem Bediener 350 an­ geordnet werden kann. Dies ermöglicht die Verwendung der Erfin­ dung, die mit kopfmontierten Anzeigen unmöglich sein würde. Beispielsweise, wenn die halbtransparente Bildschirmeinrichtung 250 aus einem Material besteht, das eine beschreibbare Ober­ fläche besitzt, könnte der Bediener einen Tintenstift verwen­ den, um interessierende Bereiche nachzuziehen oder mit Bemer­ kungen zu versehen (z. B. die Lokalisierung eines Einschnitts), die für andere in der Nähe sichtbar sind.In one embodiment of the present invention, the semi-transparent screen device 250 is attached to a movable arm 7 , which enables the screen device to be arranged at any location between the patient 1 and the operator 350 . This enables the use of the invention, which would be impossible with head-mounted displays. For example, if the semi-transparent screen device 250 is made of a material that has a writable surface, the operator could use an ink stick to trace areas of interest or make comments (e.g., locate an incision) necessary for others are visible nearby.

Eine andere Verwendung der vorliegenden Erfindung, die nicht mit einer kopfmontierten Anzeige möglich sein würde, ist die Verwendung der Position und Ausrichtung der Anzeigebildschirm­ einrichtung zum Bestimmen des auf dem Bildschirmeinrichtung dargestellten Bilds. Die Eingabeeinrichtung 60 kann dann ver­ wendet werden, um die Tiefe der Bildebene innerhalb des Patien­ ten anzupassen. Dies kann daher verwendet werden, um den Pa­ tienten zur Beobachtung innerer Strukturen abzutasten und fest­ zustellen, ob der vorgeschlagene Pfad für die eindringende Ein­ richtung korrekt ist.Another use of the present invention that would not be possible with a head-mounted display is to use the position and orientation of the display screen device to determine the image displayed on the screen device. The input device 60 can then be used to adjust the depth of the image plane within the patient. This can therefore be used to scan the patient to observe internal structures and to determine whether the proposed path for the intruding device is correct.

Optional wird eine eindringende Positionierungseinrichtung 9 zum System hinzugefügt, die die eindringende Einrichtung hält. Diese wird auch durch die Nachführeinrichtung 50 nachgeführt, so daß die Position und Ausrichtung der eindringenden Einrich­ tung beobachtet und der (den) Modell-Workstation(s) zugeführt wird. Bevorzugte Punkte zum Nachführen sind der Endpunkt und zumindest ein anderer Punkt der eindringenden Positionierungs­ einrichtung 9, um die Ausrichtung zusammen mit der Position der eindringenden Einrichtung zu bestimmen.Optionally, an intruding positioning device 9 is added to the system that holds the intruding device. This is also tracked by the tracking device 50 so that the position and orientation of the penetrating device are observed and fed to the model workstation (s). Preferred points for tracking are the end point and at least one other point of the penetrating positioning device 9 in order to determine the alignment together with the position of the penetrating device.

Während zahlreiche augenblicklich bevorzugte Ausführungsbei­ spiele des neuen Darstellungssystems im vorstehenden detail­ liert beschrieben wurden, sind für den Fachmann zahlreiche Mo­ difizierungen und Veränderungen offensichtlich. Es ist daher verständlich, daß die Erfindung nur durch den Schutzbereich der Ansprüche festgelegt ist.While numerous presently preferred designs play the new display system in detail above have been described, numerous Mo are for the expert differences and changes are obvious. It is therefore understandable that the invention only through the scope of protection Claims is set.

Ein interaktives Anzeigesystem überlagert Bilder von inneren Strukturen auf einer halbtransparenten Bildschirmeinrichtung, durch die ein Chirurg einen Patienten während eines medizini­ schen Verfahrens sieht. Das überlagerte Bild wird aus Abbil­ dungsdaten abgeleitet, die mittels eines Abbildungssystems er­ halten werden. Eine eindringende Einrichtung wird auch nachge­ führt und auf der halbtransparenten Bildschirmeinrichtung ange­ zeigt. Ein von der eindringenden Einrichtung ausgehender Strahl, der den beabsichtigten Pfad der eindringenden Einrich­ tung zeigt, kann auch angezeigt werden. Das Bild wird mit der Ansicht des Chirurgen in Übereinstimmung gebracht und in Echt­ zeit während des medizinischen Verfahrens angezeigt. Dies er­ möglicht dem Chirurgen innere und äußere Strukturen, die Bezie­ hung zwischen ihnen, und den vorgeschlagenen Pfad der eindrin­ genden Einrichtung zu sehen und das Verfahren dementsprechend anzupassen. Ein zweites Ausführungsbeispiel verwendet stereo­ skopische Ansichtsverfahren zum Erzeugen dreidimensionaler Darstellungen der radiologischen Bilder, die auf der halbtrans­ parenten Bildschirmeinrichtung, durch die der Chirurg den Pa­ tienten sieht, überlagert sind.An interactive display system overlays images of internal ones Structures on a semi-transparent screen setup,  through which a surgeon a patient during a medicin see procedure. The overlaid image is from Abbil tion data derived using an imaging system will hold. An invading facility is also followed up leads and on the semi-transparent screen setup shows. An outgoing from the intruding device Beam that follows the intended path of the penetrating device device can also be displayed. The picture is with the View of the surgeon matched and in real time displayed during the medical procedure. This he allows the surgeon internal and external structures, the relationship hung between them, and the proposed path of intrusion to see the facility and the procedure accordingly adapt. A second embodiment uses stereo scopic viewing methods for generating three-dimensional Representations of the radiological images taken on the semi-trans Parent screen device through which the surgeon the Pa tients sees, are superimposed.

Claims (11)

1. Medizinische Echtzeiteinrichtung zum Anzeigen von interakti­ ven Bildern von inneren Strukturen eines Patienten für einen Bediener zusammenfallend mit einer Ansicht des Patienten durch den Bediener, mit:
  • a) einer halbtransparenten Bildschirmeinrichtung (250) zum An­ zeigen eines zugeführten Bildes mit einem einstellbaren Grad von Transparenz, so daß es überlagert zu durch die Bildschirm­ einrichtung (250) gesehenen Strukturen erscheint;
  • b) einem mechanischen Arm (7) zum Halten der halbtransparenten Bildschirmeinrichtung (250) in einer ausgewählten Position zwischen dem Bediener (350) und dem Patienten (1) derart, daß der Bediener (350) den Patienten (1) durch die halbtransparente Bildschirmeinrichtung (350) sehen kann;
  • c) einer Nachführeinrichtung (50) zum wiederholten Messen der Lokalisierung und Ausrichtung des Bedieners (350), des Patien­ ten (1) und der halbtransparenten Bildschirmeinrichtung (350); und
  • d) einer Workstation (100), die mit der Nachführeinrichtung (50) gekoppelt ist, um die Lokalisierung und Ausrichtungen zu empfangen und ein Bild aus einem Satz von gespeicherten Abbil­ dungsdaten zu erzeugen, so daß die inneren Strukturen auf der halbtransparenten Bildschirmeinrichtung (250) mit den relativen Lokalisierungen und Ausrichtungen des Bedieners (350), des Pa­ tienten (1) und der halbtransparenten Bildschirmeinrichtung (250) übereinstimmen.
1. Real-time medical device for displaying interactive images of internal structures of a patient for an operator coinciding with a view of the patient by the operator, with:
  • a) a semi-transparent screen device ( 250 ) for displaying a supplied image with an adjustable degree of transparency, so that it appears superimposed on structures seen through the screen device ( 250 );
  • b) a mechanical arm ( 7 ) for holding the semi-transparent screen device ( 250 ) in a selected position between the operator ( 350 ) and the patient ( 1 ) such that the operator ( 350 ) the patient ( 1 ) through the semi-transparent screen device ( 350 ) can see;
  • c) a tracking device ( 50 ) for repeatedly measuring the location and orientation of the operator ( 350 ), the patient ( 1 ) and the semi-transparent screen device ( 350 ); and
  • d) a workstation ( 100 ) coupled to the tracking device ( 50 ) to receive the location and orientations and to generate an image from a set of stored image data so that the internal structures on the semi-transparent screen device ( 250 ) agree with the relative localizations and orientations of the operator ( 350 ), the patient ( 1 ) and the semi-transparent screen device ( 250 ).
2. Einrichtung nach Anspruch 1, mit:
einem medizinischen Abbildungssystem zum Erhalten von einem dreidimensionalen (3D) Satz von Abbildungsdaten von inneren Strukturen des Patienten (1).2. Device according to claim 1, with:
a medical imaging system for obtaining a three-dimensional (3D) set of imaging data from internal structures of the patient ( 1 ). 3. Einrichtung nach Anspruch 1, mit:
  • a) einer eindringenden Einrichtung (3) mit einer Position und Ausrichtung, die auch durch die Nachführeinrichtung (50) nach­ geführt wird; und
  • b) einer Symbolerzeugungseinrichtung (5) zum Überlagern eines Symbols auf der halbtransparenten Bildschirmeinrichtung (250) zum Anzeigen der Position und Ausrichtung der eindringenden Einrichtung (3).
3. Device according to claim 1, with:
  • a) an penetrating device ( 3 ) with a position and orientation, which is also guided by the tracking device ( 50 ); and
  • b) a symbol generating device ( 5 ) for superimposing a symbol on the semi-transparent screen device ( 250 ) for displaying the position and orientation of the penetrating device ( 3 ).
4. Einrichtung nach Anspruch 3, wobei die Symbolerzeugungseinrichtung (5) eine Einrichtung zum Anzei­ gen eines Strahl umfaßt, der die gegenwärtige Ausrichtung der eindringenden Einrichtung (3) und ihren vorgeschlagenen Pfad in die inneren Strukturen des Patienten (1) anzeigt.4. The device of claim 3, wherein the symbol generating means ( 5 ) comprises means for indicating a beam indicating the current orientation of the penetrating device ( 3 ) and its proposed path into the internal structures of the patient ( 1 ). 5. Einrichtung nach Anspruch 1, wobei die Nachführeinrichtung (50) eine erste und zweite Position und Ausrichtung entsprechend jedem Auge des Bedieners (350) be­ stimmt und die Workstation (100a) ein Bild entsprechend der ersten Lokalisierung und Ausrichtung erzeugt, mit:
  • a) einer zweiten Workstation (100b) zum Erzeugen eines zweiten Bilds von inneren Strukturen des Patienten (1) aus den Abbil­ dungsdaten, wie sie aus der zweiten Lokalisierung und Ausrich­ tung gesehen werden;
  • b) eine stereoskopische Anzeigeeinrichtung (252), die mit der halbtransparenten Bildschirmeinrichtung (250) synchronisiert ist, um nur einem der Augen des Bedieners (350) zu ermöglichen, die halbtransparente Bildschirmeinrichtung (250) zu sehen, wenn das erste computererzeugte Bild angezeigt wird, und dem anderen Auge des Bedieners (350) zu ermöglichen, die halbtransparente Bildschirmeinrichtung (250) zu sehen, wenn das zweite computer­ erzeugte Bild angezeigt wird, wodurch ein dreidimensionales (3D) Bild von inneren Strukturen darüber überlagert und äußere Strukturen des Patienten simuliert werden.
5. The device of claim 1, wherein the tracking device ( 50 ) determines a first and second position and orientation corresponding to each eye of the operator ( 350 ) and the workstation ( 100 a) generates an image corresponding to the first location and orientation, with:
  • a) a second workstation ( 100 b) for generating a second image of internal structures of the patient ( 1 ) from the imaging data, as seen from the second localization and alignment;
  • b) to allow a stereoscopic display device (252) that is synchronized with the semi-transparent display means (250) for only one of the eyes of the operator (350)) to view the semi-transparent display device (250, when the first computer-generated image is displayed, and enable the operator's other eye ( 350 ) to see the semi-transparent screen device ( 250 ) when the second computer-generated image is displayed, thereby overlaying a three-dimensional (3D) image of internal structures and simulating external structures of the patient.
6. Einrichtung nach Anspruch 1, wobei die halbtransparente Bildschirmeinrichtung (250) eine Ober­ fläche besitzt, die aus einem Material besteht, auf dem ge­ schrieben und wieder gelöscht werden kann.6. Device according to claim 1, wherein the semi-transparent screen device ( 250 ) has an upper surface which consists of a material on which ge can be written and deleted. 7. Verfahren zum Unterstützen eines Bedieners zum Durchführen eines medizinischen Verfahrens bei einem Patienten, mit den Schritten:
  • a) Aufnehmen von mehrdimensionalen medizinischen Abbildungsda­ ten von inneren Strukturen eines Patienten (1);
  • b) Auswählen einer Lokalisierung und Ausrichtung zwischen dem Bediener (350) und dem Patienten (1);
  • c) Positionieren einer freistehenden halbtransparenten Bild­ schirmeinrichtung (250) an der ausgewählten Lokalisierung und Ausrichtung, um dem Bediener (350) zu ermöglichen, den Patien­ ten durch die halbtransparente Bildschirmeinrichtung (250) zu sehen;
  • d) Messen von Lokalisierungen (x, y, z) und Ausrichtungswinkeln (α, Φ, θ) des Patienten (1), des Bedieners (350) und der halb­ transparenten Bildschirmeinrichtung (250);
  • e) Erzeugen eines computererzeugten Bildes der inneren Struktu­ ren aus den medizinischen Abbildungsdaten in Übereinstimmung mit den gemessenen Lokalisierungen (x, y, z) und Ausrichtungs­ winkeln (α, Φ, θ) und
  • f) Anzeigen des computererzeugten Bildes auf der halbtranspa­ renten Bildschirmeinrichtung (250) mit einem gewünschten Grad von Transparenz, um den Eindruck von inneren Strukturen über­ lagert zum Patienten (1) zu erzeugen, um dem Bediener (350) bei dem medizinischen Verfahren zu helfen.
7. A method of assisting an operator to perform a medical procedure on a patient, comprising the steps of:
  • a) recording multidimensional medical imaging data of internal structures of a patient ( 1 );
  • b) selecting a location and orientation between the operator ( 350 ) and the patient ( 1 );
  • c) positioning a free-standing semi-transparent screen device ( 250 ) at the selected location and orientation to enable the operator ( 350 ) to see the patient through the semi-transparent screen device ( 250 );
  • d) measuring localizations (x, y, z) and alignment angles (α, Φ, θ) of the patient ( 1 ), the operator ( 350 ) and the semi-transparent screen device ( 250 );
  • e) generating a computer-generated image of the internal structures from the medical imaging data in accordance with the measured localizations (x, y, z) and alignment angles (α, Φ, θ) and
  • f) displaying the computer-generated image on the semi-transparent screen device ( 250 ) with a desired degree of transparency in order to produce the impression of internal structures overlaid on the patient ( 1 ) in order to help the operator ( 350 ) with the medical procedure.
8. Verfahren nach Anspruch 7, wobei der Schritt des Aufnehmens von mehrdimensionalen medizinischen Abbildungsdaten in Echtzeit durch ein medizinisches Abbildungs­ system durchgeführt wird.8. The method of claim 7, wherein  the step of incorporating multidimensional medical Imaging data in real time through a medical imaging system is carried out. 9. Verfahren nach Anspruch 7, wobei der Schritt des Erzeugens eines computererzeugten Bildes den Schritt
  • a) Erzeugen eines Paars von computererzeugten Stereobildern der inneren Strukturen aus den medizinischen Abbildungsdaten in Übereinstimmung mit den gemessenen Lokalisierungen und Aus­ richtungswinkeln umfaßt; und
The method of claim 7, wherein the step of generating a computer generated image comprises the step
  • a) generating a pair of computer-generated stereo images of the internal structures from the medical imaging data in accordance with the measured localizations and orientation angles; and
wobei der Schritt des Anzeigens des computererzeugten Bildes den Schritt:
Anzeigen des Paars computererzeugter Bilder auf der halbtrans­ parenten Bildschirmeinrichtung (250) mit einem gewünschten Grad an Transparenz zum Erzeugen eines stereographischen Eindrucks von inneren Strukturen überlagert zum Patienten (1), um dem Bediener (350) bei dem medizinischen Verfahren zu helfen, umfaßt.the step of displaying the computer generated image comprising the step of:
Displaying the pair of computer-generated images on the semi-transparent screen device ( 250 ) with a desired level of transparency to provide a stereographic impression of internal structures overlaid on the patient ( 1 ) to aid the operator ( 350 ) in the medical procedure. 10. Verfahren nach Anspruch 7, mit dem Schritt:
Anpassen des Abstandes und der Ausrichtungswinkel der linken und rechten computererzeugten Bilder, um mit der Ansicht des Patienten (1) durch den Bediener (350) übereinzustimmen.10. The method according to claim 7, comprising the step:
Adjusting the distance and orientation angles of the left and right computer generated images to match the patient ( 1 ) view of the operator ( 350 ).
DE19542605A 1994-11-17 1995-11-15 Interactive display system for showing internal organs of patient structures during medical operations Ceased DE19542605A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US34078494A 1994-11-17 1994-11-17

Publications (1)

Publication Number Publication Date
DE19542605A1 true DE19542605A1 (en) 1996-05-23

Family

ID=23334931

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19542605A Ceased DE19542605A1 (en) 1994-11-17 1995-11-15 Interactive display system for showing internal organs of patient structures during medical operations

Country Status (2)

Country Link
JP (1) JPH08280710A (en)
DE (1) DE19542605A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10340546A1 (en) * 2003-09-01 2005-03-31 Siemens Ag Method and apparatus for visually assisting electrophysiology catheter application in the heart
DE10340544A1 (en) * 2003-09-01 2005-03-31 Siemens Ag Method and apparatus for visually assisting electrophysiology catheter application in the heart
DE10210650B4 (en) * 2002-03-11 2005-04-28 Siemens Ag Method for the three-dimensional representation of a study area of a patient in the form of a 3D reconstruction image and medical examination and / or treatment facility
DE102005059209A1 (en) * 2005-12-12 2007-06-21 Siemens Ag Tomographic image data records sequence visualizing method, involves overlapping individual images next to each other and/or each other with adjustable evaluation and/or adjustable transparency on image area of monitor

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275721B1 (en) * 1999-06-10 2001-08-14 General Electriccompany Interactive MRI scan control using an in-bore scan control device
JP3608448B2 (en) 1999-08-31 2005-01-12 株式会社日立製作所 Treatment device
US20050159759A1 (en) * 2004-01-20 2005-07-21 Mark Harbaugh Systems and methods for performing minimally invasive incisions
JP4871505B2 (en) * 2004-12-09 2012-02-08 株式会社日立メディコ Nuclear magnetic resonance imaging system
JP6134478B2 (en) 2012-03-28 2017-05-24 ソニー株式会社 Information processing apparatus, display control method, program, and storage medium
JPWO2019092954A1 (en) * 2017-11-07 2020-11-12 ソニー・オリンパスメディカルソリューションズ株式会社 Medical display device and medical observation device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10210650B4 (en) * 2002-03-11 2005-04-28 Siemens Ag Method for the three-dimensional representation of a study area of a patient in the form of a 3D reconstruction image and medical examination and / or treatment facility
DE10340546A1 (en) * 2003-09-01 2005-03-31 Siemens Ag Method and apparatus for visually assisting electrophysiology catheter application in the heart
DE10340544A1 (en) * 2003-09-01 2005-03-31 Siemens Ag Method and apparatus for visually assisting electrophysiology catheter application in the heart
DE10340546B4 (en) * 2003-09-01 2006-04-20 Siemens Ag Method and apparatus for visually assisting electrophysiology catheter application in the heart
DE10340544B4 (en) * 2003-09-01 2006-08-03 Siemens Ag Device for visual support of electrophysiology catheter application in the heart
US9668704B2 (en) 2003-09-01 2017-06-06 Biosense Webster (Israel) Ltd. Method and device for visually assisting an electrophysiological use of a catheter in the heart
DE102005059209A1 (en) * 2005-12-12 2007-06-21 Siemens Ag Tomographic image data records sequence visualizing method, involves overlapping individual images next to each other and/or each other with adjustable evaluation and/or adjustable transparency on image area of monitor
US7751605B2 (en) 2005-12-12 2010-07-06 Siemens Aktiengesellschaft Method and device for visualizing a sequence of tomographic image data records
DE102005059209B4 (en) * 2005-12-12 2010-11-25 Siemens Ag Method and device for visualizing a sequence of tomographic image data sets

Also Published As

Publication number Publication date
JPH08280710A (en) 1996-10-29

Similar Documents

Publication Publication Date Title
US5526812A (en) Display system for enhancing visualization of body structures during medical procedures
DE60130264T2 (en) MANAGEMENT SYSTEM
EP0685088B1 (en) Process and device for planning and monitoring a surgical operation
US5740802A (en) Computer graphic and live video system for enhancing visualization of body structures during surgery
EP3449830B1 (en) Control of a medical imaging device
Lorensen et al. Enhancing reality in the operating room
DE19963440C2 (en) Method and system for visualizing an object
DE60212313T2 (en) Apparatus for ultrasound imaging of a biopsy cannula
EP3330922B1 (en) Method and device for representing an object
DE19543410A1 (en) Non=invasive method for investigation of body cavities
DE102005023194A1 (en) Method for expanding the display area of 2D image recordings of an object area
DE19542604A1 (en) Three-dimensional, real-time interactive display system for recognising location of objects inside patient during surgery
DE102005023195A1 (en) Method for expanding the display area of a volume recording of an object area
DE19955690A1 (en) System for selection of volume regions in a graphics display based upon segmentation to allow specific features to be observed
DE102008034686A1 (en) A method of displaying interventional instruments in a 3-D dataset of an anatomy to be treated, and a display system for performing the method
DE102014200915A1 (en) A method of providing a spatial anatomical model of a body part of a patient
DE102007030960A1 (en) Three dimensional-structure representing method, involves presenting three dimensional-structure as individual volumetric grey scale value and as result of volumetric scans with set of cutting planes
DE10245669B4 (en) A method for intraoperatively generating an updated volume data set
DE102013206911A1 (en) Method and apparatus for the stereoscopic display of image data
EP4213755B1 (en) Surgical assistance system
DE112017001315T5 (en) Computer device for blending a laparoscopic image and an ultrasound image
EP0629963A2 (en) A display system for visualization of body structures during medical procedures
DE19542605A1 (en) Interactive display system for showing internal organs of patient structures during medical operations
EP3598948B1 (en) Imaging system and method for generating a stereoscopic representation, computer program and data memory
EP1464285B1 (en) Perspective registration and visualisation of internal body regions

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8131 Rejection