DE19953308A1 - Image system for producing image spreadsheet e.g. for medical applications aligns images so that registration markers of corresponding cells in spreadsheet match - Google Patents
Image system for producing image spreadsheet e.g. for medical applications aligns images so that registration markers of corresponding cells in spreadsheet matchInfo
- Publication number
- DE19953308A1 DE19953308A1 DE1999153308 DE19953308A DE19953308A1 DE 19953308 A1 DE19953308 A1 DE 19953308A1 DE 1999153308 DE1999153308 DE 1999153308 DE 19953308 A DE19953308 A DE 19953308A DE 19953308 A1 DE19953308 A1 DE 19953308A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- spreadsheet
- cells
- images
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Abstract
Description
Die Erfindung betrifft das Anzeigen von Bildern und insbesondere ein Bild-Spreadsheet zur Bearbeitung und Darstellung mehrfacher Bilder.The invention relates to the display of images and in particular an image spreadsheet for editing and displaying multiple images.
Es ist bekannt, daß Spreadsheet-Anwendungsprogramme und Spreadsheet-Metaphern ein intuitives und bewährtes Verfahren zur Bearbeitung von numerischen Daten zur Verfügung stellen. Solche Daten sind im allgemeinen Text- oder ASCII-Daten im Gegensatz zu anderen Daten mit anderen Formaten wie zum Beispiel grafische Daten.It is known that spreadsheet application programs and spreadsheet metaphors an intuitive and proven method for processing numerical data Make available. Such data is generally text or ASCII data in the Contrary to other data with other formats such as graphic data.
Auf dem Gebiet der medizinischen Bilderzeugung existieren einige spezifische Probleme und Anforderungen bei der gleichzeitigen Darstellung von mehreren Reihen und mehreren Arten von Bildern. Mit den dreidimensionen Bildgebungsverfahren, wie zum Beispiel CT, MR, PET, SPECT und 3D-Ultraschall, werden Volumina und nicht Bilder erzeugt, die im allgemeinen in Form von Stapeln von Querschnittsbildern eines zu untersuchenden Patienten vorliegen. Aus diesem Grund besteht die Notwendigkeit, mehrere Bilder aus verschiedenen Verfahren gleichzeitig darzustellen.There are some specific ones in the field of medical imaging Problems and requirements when displaying several rows at the same time and several types of images. With the three-dimensional imaging method, such as For example, CT, MR, PET, SPECT and 3D ultrasound are volumes and not Generates images, generally in the form of stacks of cross-sectional images patients to be examined. For this reason, there is a need display several images from different processes at the same time.
Es ist üblich, daß ein Patient mehrere Male mit einem einzigen Verfahren oder mit mehreren Verfahren untersucht wird. Im Falle einer Untersuchung mit mehreren Verfahren werden im gleichen Objektbereich verschiedene Größen gemessen. Außerdem kann die räumliche Auflösung der Bildsätze unterschiedlich sein. Um verschiedene Beurteilungen vornehmen zu können, werden häufig mehrere Untersuchungen mit einem einzigen Verfahren durchgeführt, wie es zum Beispiel bei der Kontrast-verstärkten magnetischen Resonanz-Angiographie der Fall sein kann, bei der vor und nach der Injektion eines Kontrastmittels in den Blutstrom Bilder aufgenommen werden. Weitere Beispiele sind die Beurteilung einer Behandlung, bei der vor und nach dem Eingriff pathologische Bilder aufgenommen werden, oder Funktionsbilder, mit denen biologische Prozesse über eine bestimmte Zeitdauer überwacht werden.It is common for a patient to be treated multiple times with a single procedure or with several methods is examined. In case of an investigation with several Different sizes are measured in the same object area. In addition, the spatial resolution of the image sets can be different. Around Being able to make different assessments often becomes several Investigations carried out with a single procedure, as is the case with the contrast-enhanced magnetic resonance angiography may be the case with the before and after the injection of a contrast agent into the bloodstream images be included. Further examples are the assessment of a treatment in which pathological images are taken before and after the procedure, or Function pictures with which biological processes over a certain period of time be monitored.
Sowohl bei den einfachen als auch bei den mehrfachen Verfahren führt eine Bewegung des Patienten sowie die Reproduzierbarkeit der Abtastung zu Problemen bei der Bilderzeugung. In bestimmten Fällen kommt es vor, daß bei einem Patienten die Bilder mit Abständen von Tagen, Wochen oder Monaten aufgenommen werden. Selbst in dem Fall, in dem der Patient für eine Anzahl von schnellen Aufnahmen in einer Abtastvorrichtung verbleibt, kann sich die Stellung bzw. Position des Patienten aus verschiedenen Gründen wie zum Beispiel der Atmung, einer Unbequemlichkeit, einer Erregung oder der Verdauung verändern. Auch die Abtastvorrichtung selbst kann aufgrund einer mechanischen Ungenauigkeit zu einer Verschiebung führen.There is a movement in both the simple and the multiple processes of the patient as well as the reproducibility of the scanning to problems with the Imaging. In certain cases it happens that in a patient the pictures be recorded at intervals of days, weeks or months. Even in that Case where the patient is on a number of quick shots in one If the scanning device remains, the position of the patient can change various reasons such as breathing, an inconvenience, one Change arousal or digestion. The scanning device itself can also lead to a shift due to mechanical inaccuracy.
Es besteht somit ein Bedarf, die Bilder aus verschiedenen Verfahren zur Anwendung bei der medizinischen Diagnose und Behandlung aneinander anzupassen.There is thus a need to apply the images from various processes to adapt the medical diagnosis and treatment to one another.
Durch ein Bild-Spreadsheet wird die Spreadsheet-Metapher (übergeordnete Struktur) auf zweidimensionale (2D) und dreidimensionale (3D) Bilder und Bildsequenzen erstreckt, wobei Zellen in dem Bild-Spreadsheet Bilddaten und mathematische Operationen zugeordnet sind, die Bildoperanden implementieren. Das Bild-Spreadsheet ist auf einem Bildsystem implementiert, das einen Prozessor zur Wiedergabe einer grafischen Benutzerschnittstelle (GUI - graphic user interface) auf einem Bildschirm aufweist. Ein Bild-Spreadsheet-Generator bewirkt, daß die GUI ein Spreadsheet-Gitter mit einer Mehrzahl von Zellen anzeigt, denen Registrierungsmarker zugeordnet sind, wobei jeder Zelle eine Gleichung zugeordnet werden kann. Der Bild-Spreadsheet- Generator spricht auf Bilddaten an, die zugeordnete Registrierungsdaten zur Anzeige einer Mehrzahl von Bildern in einem Teil der Mehrzahl von Zellen aufweisen, wobei die Mehrzahl von Bildern so ausgerichtet und angeordnet sind, daß die Registrierungsmarker der entsprechenden Zellen aneinander angepaßt sind. Der Bild- Spreadsheet-Generator spricht auf Benutzereingaben zur Implementierung einer Gruppe von Gleichungen in einer ersten Gruppe von Zellen an, um die Bilder in der ersten Gruppe von Zellen zu transformieren.The spreadsheet metaphor (superordinate structure) is represented by an image spreadsheet to two-dimensional (2D) and three-dimensional (3D) images and image sequences stretches, cells in the image spreadsheet image data and mathematical Operations are assigned that implement image operands. The image spreadsheet is implemented on an image system that has a processor for rendering a graphical user interface (GUI) on a screen having. An image spreadsheet generator causes the GUI to create a spreadsheet grid with a plurality of cells to which registration markers are assigned, an equation can be assigned to each cell. The image spreadsheet Generator responds to image data, the assigned registration data for display having a plurality of images in a part of the plurality of cells, wherein the plurality of images are aligned and arranged so that the Registration markers of the corresponding cells are matched to one another. Image- Spreadsheet generator speaks on user input to implement a group from equations in a first group of cells to the images in the first Transform group of cells.
Mit vorbestimmten Bild-transformierenden Funktionen, die durch einen Benutzer für jede Zelle individuell eingestellt werden können, werden in den Zellen transformierte Bilder erzeugt. Zum Beispiel können unter Verwendung einer Bildsubtraktion Magnetresonanz-Angiographie (MRA)-Bilder, die Bilder umfassen, die das Eindringen eines Kontrastmittels in ein vaskuläres System zeigen, transformiert werden, um das vaskuläre System im Hintergrund auszublenden und den Fluß des Kontrastmittels anzuzeigen. In den Zellen können zweidimensionale Bilder, dreidimensionale Bilder und sogar Text angezeigt werden. Ein Eselsohr-Icon in einer Zelle, ein pop-up-Fenster oder eine pop-up-Benutzer-Schnittstelle (UI) können aktiviert werden, um selektiv ein Bild aus einer Mehrzahl von der ersten Zelle zugeordneten Bildern anzuzeigen.With predetermined image-transforming functions created by a user for Each cell can be set individually, are transformed in the cells Generated images. For example, using image subtraction Magnetic resonance angiography (MRA) images, which include images that show the intrusion of a contrast agent into a vascular system can be transformed to the vascular system in the background and hide the flow of contrast display. In the cells there can be two-dimensional images, three-dimensional images and even text is displayed. A donkey ear icon in a cell, a pop-up window or a pop-up user interface (UI) can be activated to selectively Display image from a plurality of images associated with the first cell.
Fig. 1 zeigt ein das Bild-Spreadsheet implementierendes Gesamtsystem; Fig. 1 shows an image spreadsheet-implement overall system;
Fig. 2 zeigt das die Magnetresonanz-Angiographie implementierende Bild-Spreadsheet; Fig. 2 shows the magnetic resonance angiography image implement spreadsheet;
Fig. 3 zeigt das eine 3D Segmentation implementierende Bild-Spreadsheet; und Fig. 3 shows that a 3D segmentation implementing image spreadsheet; and
Fig. 4 zeigt ein Flußdiagramm des Betriebsverfahrens des Bild-Spreadsheets. Fig. 4 shows a flowchart of the operation method of the image spreadsheet.
Gemäß Fig. 1 werden ein Bild-Spreadsheet-Generator 10 und ein Verfahren zur Bearbeitung von zweidimensionalen (2D) und/oder dreidimensionalen (3D) Bildern mit einem grafischen Anzeigesystem verwendet, so daß eine vertraute Arbeitsumgebung zur Bearbeitung vieler Arten von Bilddaten geschaffen wird und sich eine bedeutende und beispielhafte Veränderung gegenüber den in allgemeinen Bildverarbeitungssystemen verwendeten "Pipeline"-Modellen ergibt. Der Bild- Spreadsheet-Generator 10 ist mit einem Grafikgenerator 12 eines Grafiksystems 14 mit einem Prozessor 16 verbunden. Der Grafikgenerator 12 wirkt mit dem Prozessor 16 zum Beispiel über eine Task-Karte 18 oder andere Funktionen oder Unterprogramme zusammen, um 2D und/oder 3D-Bilder auf einem Schirm oder einer anderen Ausgabeeinrichtung zu erzeugen. Der Prozessor 16 arbeitet mit einem Bildsymbol- Generator 20 zusammen, der eine Sammlung von Programmobjekten zur Darstellung von Bildsymbolen auf dem Ausgabe-Bildschirm beinhalten kann, die durch den Benutzer des Grafiksystems 14 leicht verstanden werden können.Referring to FIG. 1, an image-Spreadsheet generator 10 and a method for processing of two-dimensional (2D) and / or three-dimensional (3D) images used with a graphics display system, so that a familiar environment suitable for processing many kinds is created from image data and there is a significant and exemplary change from the "pipeline" models used in general vision systems. The image spreadsheet generator 10 is connected to a graphics generator 12 of a graphics system 14 with a processor 16 . The graphics generator 12 interacts with the processor 16, for example via a task card 18 or other functions or subroutines, in order to generate 2D and / or 3D images on a screen or another output device. The processor 16 cooperates with an icon generator 20 , which may include a collection of program objects for displaying icons on the output screen that can be easily understood by the user of the graphics system 14 .
Der Prozessor 16 umfaßt auch eine Einrichtungs-Schnittstelle 22, einen Manager 24 für eine grafische Benutzer-Schnittstelle (GUI) und eine Anwendungsprogramm- Schnittstelle (API) 26, wobei diese Komponenten 22 bis 26 mit einem Schnittstellen- Server 28 verbunden sind, um mit anderen Systemen 30 zusammenzuwirken, wie dem Internet für Fernverbindungen; einem Hardcopy-Server (HcS) 32 zum Senden von Ausgabedaten zu einem Bildgerät oder Drucker 34 für Hardcopy-Ausgaben; einem Datenbank-Server (DbS) 36 zum Speichern von Daten zum Beispiel in einem Online- Speicher 38, einem Verarbeitungs-Server (PrS) 40 zum Speichern von Daten in dem Speicher 42 des Prozessors 16 oder anderen zentralen Prozessoreinheiten (CPUs); sowie einem Benutzer-Schnittstellen (UI)-Server 44, der zum Beispiel unter Verwendung der Version 11 (X11) des X WINDOWS Protokolls mit mindestens einer Eingabe- und/ oder Ausgabe-(I/O)Einrichtung 46 wie einem Bildschirm, einer Tastatur und/oder einer Maus zusammenwirkt.The processor 16 also includes a device interface 22, a manager 24 for a graphical user interface (GUI) and an application program interface (API) 26, which components 22 are connected to 26 with an interface server 28 with interact with other systems 30 , such as the Internet for long distance connections; a hard copy server (HcS) 32 for sending output data to an image device or printer 34 for hard copy output; a database server (DbS) 36 for storing data in, for example, online memory 38 , a processing server (PrS) 40 for storing data in memory 42 of processor 16 or other central processor units (CPUs); and a user interface (UI) server 44 which , for example, using version 11 (X11) of the X WINDOWS protocol with at least one input and / or output (I / O) device 46 such as a screen, a keyboard and / or a mouse interacts.
Bei einer bevorzugten Ausführungsform ist der Grafikgenerator 12 durch die "Fly Through"-Software der Firma Siemens Medical Systems Inc., Iselin, New Jersey, realisiert, die auf einer Workstation als Grafiksystem 14, wie zum Beispiel der "Prominence" -Workstation von der Firma Siemens Medical Systems Inc., Iselin, New Jersey, vertrieben wird, die eine weiterentwickelte Workstation zur medizinischen Bilderzeugung und Nachbearbeitung ist, die von der Firma ISG Technologies, Kanada, hergestellt wird. Alternativ dazu kann das Grafiksystem 14 auch die "3D Virtuoso" Workstation zur Nachbearbeitung von der Firma Siemens Medical Systems Inc. sein, die optional auf einer Windows NT Plattform arbeiten kann und zum Beispiel das Laboratory Information System der Firma Medcom Information Systems Inc., anwendet. Die GUI zur Anwendung der "Fly Through"-Software kann auf einer Sienet Magicview CT/MR Satellitenkonsole der Firma Siemens Medical Systems, Inc. implementiert werden, um als I/O-Einrichtung 46 zu arbeiten. Alternativ dazu kann als Grafiksystem 14 auch das in der US-PS 5.782.762 von Vining und/oder der US-PS 5.825.909 von Jang beschriebene Grafiksystem verwendet werden, wobei diese Druckschriften durch Bezugname zum Bestandteil dieser Offenbarung gemacht werden sollen.In a preferred embodiment, the graphics generator 12 is realized by the "Fly Through" software from Siemens Medical Systems Inc., Iselin, New Jersey, which is installed on a workstation as a graphics system 14 , such as the "Prominence" workstation from Siemens Medical Systems Inc., Iselin, New Jersey, which is an advanced medical imaging and post-processing workstation manufactured by ISG Technologies, Canada. Alternatively, the graphics system 14 can also be the “3D Virtuoso” workstation for postprocessing from Siemens Medical Systems Inc., which can optionally work on a Windows NT platform and uses, for example, the Laboratory Information System from Medcom Information Systems Inc. . The GUI for using the "fly through" software can be implemented on a Sienet Magicview CT / MR satellite console from Siemens Medical Systems, Inc. in order to work as an I / O device 46 . As an alternative to this, the graphics system described in US Pat. No. 5,782,762 to Vining and / or US Pat. No. 5,825,909 to Jang may also be used as the graphics system 14 , and these publications are to be made part of this disclosure by reference.
Bei einer medizinischen 2D/3D-Bilderzeugung kann der Bildsymbol-Generator 20 eine Sammlung von Programmobjekten sei, die metaphorisch medizinische Bildsymbole auf dem UI der I/O-Einrichtung 46 darstellen, die für einen Benutzer einfach verständlich sind. Die Einrichtungs-Schnittstelle 22 kann ein Satz von Objekten einer "Digital Imaging and Communications in Medicine" (DICOM)- Kommunikations-Schnittstelle sein, während der Schnittstellen-Server 28 ein DICOM-basierender Server sein kann, der mit medizinischen Systemen 30 wie computergestützten Tomographie- Abtasteinrichtungen (CAT) und Röntgenstrahlengeräten zusammenwirkt. Ferner kann der GUI-Manager 24 der MOTIF-Manager für X Windows und die API 26 der Open Graphics Library (OpenGL)-Standard Grafik-API sein.In 2D / 3D medical imaging, the icon generator 20 may be a collection of program objects that metaphorically display medical icons on the UI of the I / O device 46 that are easy for a user to understand. The device interface 22 may be a set of objects of a "Digital Imaging and Communications in Medicine" (DICOM) communication interface, while the interface server 28 may be a DICOM-based server that is compatible with medical systems 30 such as computed tomography - Scanners (CAT) and X-ray devices interact. Furthermore, the GUI manager 24 can be the MOTIF manager for X Windows and the API 26 of the Open Graphics Library (OpenGL) standard graphics API.
Der Grafikgenerator 12 kann ein Segmentierungsmodul, ein Modellbildungsmodul und ein interaktives Anzeigemodul umfassen. Mit dem Segmentierungsmodul werden während der Simulation einer endoskopischen Ansicht verschiedene interessierende Organe heraussegmentiert und ein segmentierter Volumen-Datensatz erzeugt. Das Modellbildungsmodul konvertiert den segmentierten Volumen-Datensatz in einen Satz von segmentierten polyhedralen Modellen, die eine Echtzeit-Wiedergabe mit dem interaktiven Anzeigemodul ermöglichen. Durch die GUI der I/O-Einrichtung 46 kann dem Benutzer ein Schirm mit Ansichtsfenstern geboten werden, wie zum Beispiel ein Haupt-Ansichtsfenster 48 gemäß den Fig. 2 und 3, das für bestimmte Anzeigezwecke, die unten noch erläutert werden, in einzelne Spreadsheet-Zellen 50 unterteilt werden kann. Ein Benutzer-Eingabefenster, wie zum Beispiel das Fenster 52, kann durch einen entsprechenden Befehl des Benutzers oder des Grafikgenerators 12, der auf eine Bedingung wie zum Beispiel eine "query user for input"-Bedingung oder eine Fehlerbedingung geöffnet oder geschlossen werden. Das Fenster 52 kann ein pop- up-Fenster sein, das zur Eingabe von mathematischen und anderen Operationen für eine einzelne oder eine Gruppe von Zellen 50 verwendet wird.The graphics generator 12 may include a segmentation module, a modeling module, and an interactive display module. With the segmentation module, various organs of interest are segmented out during the simulation of an endoscopic view and a segmented volume data set is generated. The modeling module converts the segmented volume data set into a set of segmented polyhedral models that enable real-time rendering with the interactive display module. The GUI of the I / O device 46 can provide the user with a screen with viewports, such as a main viewport 48 according to FIGS. 2 and 3, which, for certain display purposes, which will be explained below, into individual spreadsheets Cells 50 can be divided. A user input window, such as window 52 , can be opened or closed by a corresponding command from the user or the graphics generator 12 , which is based on a condition such as a "query user for input" condition or an error condition. Window 52 may be a pop-up window used to enter mathematical and other operations for a single or group of cells 50 .
Weiterhin ist auf dem Schirm auch ein Bereich 54 vorhanden, der ein Steuerpanel aus wählbaren Tasks und scrollbaren Taskleisten zur Verfügung stellt. Zum Beispiel können Befehle oder Icons für 2D, MPR, 3D, Winkel, Bereich, U1, U2 und Fly, die mit verfügbaren Task-Karten korrespondieren, zur Verfügung gestellt werden. Andere Befehle wie Task-Karten oder Tabs können auch angezeigt werden, die eine Auswahl von Befehlen wie Film, Save, Zpan und W/I ermöglichen. Weiterhin können auch Icons, die mit copy screen, copy series, new page, clear image oder options beschriftet sind, oder andere Icons wie scrollbare Pfeil-Befehle vorgesehen sein.There is also an area 54 on the screen which provides a control panel consisting of selectable tasks and scrollable task bars. For example, commands or icons for 2D, MPR, 3D, angle, area, U1, U2 and Fly, which correspond to available task cards, can be provided. Other commands such as task cards or tabs can also be displayed, which allow a selection of commands such as Film, Save, Zpan and W / I. Furthermore, icons labeled with copy screen, copy series, new page, clear image or options, or other icons such as scrollable arrow commands can also be provided.
Um das Bild-Spreadsheet in das Haupt-Ansichtsfenster 48 zu implementieren, kann der Bereich 54 des Schirms auch Befehle zum Editieren von Zellen oder Icons wie cell editor, add row, add column, evaluation all, load und save enthalten. Demgemäß kann ein Benutzer Zellen durch Anklicken der Zelle, d. h. durch Bewegen eines GUI-Kursors auf die Zelle mit einer beweglichen Maus und durch Betätigung des Mausknopfes auswählen. Mit solchen Befehlen zum Editieren von Zellen kann der Benutzer eine Zelle editieren, Reihen und Spalten den Zellen 50 hinzufügen, alle Zellen auswerten, um das gesamte Spreadsheet der Zellen zu aktualisieren, um modifizierte Bilder oder Gleichungen zu erzeugen, einzelne Zellen mit Bildern zu laden und das gesamte Spreadsheet mit den gegenwärtigen Bildern, Gleichungen und/oder Konfigurationen der Zellen zu speichern.In order to implement the image spreadsheet in the main view window 48 , the area 54 of the screen can also contain commands for editing cells or icons such as cell editor, add row, add column, evaluation all, load and save. Accordingly, a user can select cells by clicking the cell, that is, moving a GUI cursor on the cell with a moving mouse and operating the mouse button. With such cell editing commands, the user can edit a cell, add rows and columns to cells 50 , evaluate all cells to update the entire cell spreadsheet to generate modified images or equations, load individual cells with images, and save the entire spreadsheet with the current images, equations and / or configurations of the cells.
Wie in Fig. 1 gezeigt ist, kann die I/O-Einrichtung 46 zum Empfang von Benutzer- Eingaben optional mit dem Bild-Spreadsheet-Generator 10 verbunden sein, mit dem die Auswahl und Ausrichtung der Ansichten gesteuert wird, wenn der Benutzer auf den Schirm mit den Fenstern 48, 54 schaut, um durch die in den Zellen 50 dargestellten Bilder zu navigieren.As shown in FIG. 1, the I / O device 46 for receiving user input may optionally be connected to the image spreadsheet generator 10, which controls the selection and orientation of the views when the user is on the Screen 48 , 54 looks to navigate through the images displayed in cells 50 .
Das Bild-Spreadsheet-System 10 kann Hardware und/oder Software sein und kann als Unterprogramm in dem Grafikgenerator 12 oder außerhalb des Grafiksystems 14 realisiert sein. Das Bild-Spreadsheet-System 10 kann zum Beispiel eine getrennte Workstation, die mit dem Grafikgenerator 12 verbunden ist, oder ein PC sein, der über ein Netzwerk, wie zum Beispiel das Internet, mit dem Grafikgenerator 12 verbunden ist.The image spreadsheet system 10 can be hardware and / or software and can be implemented as a subroutine in the graphics generator 12 or outside the graphics system 14 . The image-Spreadsheet system 10 may, for example, a separate workstation, which is connected to the graphic generator 12, or may be a PC, which is connected via a network such as the Internet, to the graphics generator 12th
Wie in Fig. 2 gezeigt ist, können die Zellen 50 des Bild-Spreadsheets in einer typischen Spreadsheet-Art bezeichnet sein, bei der die Zellen 50, die Reihen bilden, numerisch benannt und die Spalten alphabetisch bezeichnet sind, so daß sich die Zellen A1 bis A3, B1 bis B3, C1 bis C3 usw. ergeben. Jeder Zelle 50 ist eine Formel oder eine Gleichung zugeordnet, die auf anderen Anzeigeschirmen sichtbar sein kann, auf die durch Benutzerbefehle umgeschaltet wird, oder die in dem Bereich 54 des Anzeigeschirms in vorbestimmten Anzeigebereichen für Gleichungen wiedergegeben werden. Bei alternativen Ausführungsformen kann das Bild-Spreadsheet 2D-Bilder gemäß der Darstellung in Fig. 2, 3D-Bilder gemäß der Darstellung in Fig. 3, Text gemäß Fig. 2 oder eine Kombination aus Text, 2D-Bildern und 3D-Bildern gemäß den Fig. 2 und 3 beinhalten.As shown in FIG. 2, cells 50 of the image spreadsheet may be labeled in a typical spreadsheet manner in which the cells 50 that form rows are numerically named and the columns are labeled alphabetically so that cells A1 to A3, B1 to B3, C1 to C3, etc. Each cell 50 is associated with a formula or equation that may be visible on other display screens that are switched to by user commands, or that are displayed in the area 54 of the display screen in predetermined display areas for equations. In alternative embodiments, the image spreadsheet can include 2D images as shown in FIG. 2, 3D images as shown in FIG. 3, text as shown in FIG. 2, or a combination of text, 2D images and 3D images as shown in FIG Fig. 2 and 3 contain.
Gemäß Fig. 2 kann jede Zelle 50 Registrierungsmarker 56 enthalten, die sichtbar oder unsichtbar sein können, das heißt daß jede Zelle 50 zugeordnete Daten in Speichern aufweist, die den Ort solcher Registrierungsmarker 56 spezifizieren, und der Bild- Spreadsheet-Generator 10 kann auf Benutzerbefehle zum Umschalten zwischen der Wiedergabe und der Nicht-Wiedergabe der Registrierungsmarker 56 in ausgewählten oder allen Zellen 50 ansprechen. Die Registrierungsmarker 56 werden verwendet, um die Bilder zu positionieren und auszurichten, wobei die Registrierungsmarker 56 in einer Standardeinstellung für den Benutzer unsichtbar sind, solange dieser während des Ladens eines Bildes und einer Sitzung zur Betrachtung nicht auf die Anzeige der Registrierungsmarker 56 umschaltet. Zum Beispiel können die Zellen A1, B1, C1 fortlaufende Rahmen in einer Sitzung einer Magnetresonanz-Angiographie (MRA) wiedergeben, in der ein Satz 58 von Blutgefäßen in umgebendem Gewebe in der Zelle A1 angezeigt wird. Die Zellen B1 und C1 zeigen das Eindringen eines Kontrastmittels in die Blutgefäße, wobei die Bilder 60 bis 62 die Blutgefäße 58 mit dem darin fließenden Kontrastmittel darstellen. Die Registrierungsmarker 56 ermöglichen die Erzeugung von verschiedenen Bildern eines gemeinsamen Objektes, das heißt der Blutgefäße, die mit einer sehr genauen Ausrichtung zu orientieren sind. Die Registrierungsmarker stellen eine Visualisierung einer darunterliegenden räumlichen Abbildung zwischen mindestens zwei Bildern oder Volumina dar, die in mindestens einer Zelle des Bild-Spreadsheets durch den Bild-Spreadsheet-Generator 10 erzeugt werden. Bei einer solchen Abbildung wird jeder gegebene Punkt in einem Bild auf einen korrespondierenden Punkt in dem anderen Bild oder Volumen abgebildet. Bei dem Bild-Spreadsheet werden dieses Abbildungen berechnet, um gemäß der folgenden Beschreibung die anatomische Kohärenz zu erhalten. Aus diesem Grund ist klar, daß die in den Fig. 2 und 3 gezeigten Registrierungsmarker 56 nur beispielhaft zu verstehen sind und nicht unbedingt in den Zellen vorhanden sein müssen. Die Registrierungsmarker 56 können in dem Bild-Spreadsheet auch weder sichtbar noch unsichtbar sein, sondern mit Bits, Zeigern, Speicherplätzen oder anderen Daten korrespondieren, die eine Registrierung zwischen Bildern mit einem durch den Bild- Spreadsheet-Generator 10 implementierten Registrierungsverfahren ermöglichen.Referring to FIG. 2, each cell 50 may registration markers 56 included, which may be visible or invisible, that is to say that each cell 50 associated with data in memories comprises specifying the location of such registration markers 56, and the image spreadsheet generator 10 can be applied to user commands respond to toggle between playback and non-playback of registration markers 56 in selected or all cells 50 . The registration markers 56 are used to position the images and aligning the registration markers 56 are invisible in a default setting for the user, as long as it does not switch to the display of the registration markers during an image and a session for viewing store 56th For example, cells A1, B1, C1 can display continuous frames in a magnetic resonance angiography (MRA) session in which a set 58 of blood vessels in surrounding tissue is displayed in cell A1. Cells B1 and C1 show the penetration of a contrast medium into the blood vessels, images 60 to 62 representing the blood vessels 58 with the contrast medium flowing therein. The registration markers 56 make it possible to generate different images of a common object, that is to say the blood vessels, which are to be oriented with a very precise alignment. The registration markers represent a visualization of an underlying spatial image between at least two images or volumes that are generated in at least one cell of the image spreadsheet by the image spreadsheet generator 10 . With such a mapping, any given point in one picture is mapped to a corresponding point in the other picture or volume. In the image spreadsheet, these images are calculated in order to maintain the anatomical coherence as described below. For this reason, it is clear that the registration markers 56 shown in FIGS. 2 and 3 are only to be understood as examples and do not necessarily have to be present in the cells. The registration markers 56 can also be neither visible nor invisible in the image spreadsheet, but rather correspond to bits, pointers, storage locations or other data that enable registration between images with a registration method implemented by the image spreadsheet generator 10 .
Die Zellen A1, B1, C1 können Bilder enthalten, die mit Dateien F1, F2, F3 in dem Speicher korrespondieren, die zuvor von einer Bilddatenquelle der MRA-Sitzung empfangen wurden, wie zum Beispiel einem Speicher des Grafiksystems 14. Demgemäß kann durch die Gleichung A1 = load(F1), mit der die Zelle A1 in die Anzeige des Bildes 58 geladen wird, eine load-Operation in das Bild-Spreadsheet implementiert werden. Die Gleichung wird anschließend der Zelle A1 zugeordnet. Alternativ dazu können die Zellen A1, B1, C1 Bilder aufweisen, die mit den Zeiten T1, T2, T3 der MRA-Sitzung korrespondieren. Demgemäß kann eine load-Operation in das Bild-Spreadsheet implementiert werden, durch die die Zelle A1 mit der Gleichung A1 = load(T1) geladen wird. Alternativ dazu können die Zellen A1, B1, C1 Bilder enthalten, die mit verschiedenen Rahmen FR1, FR2, FR3 aus dem Magnetresonanz-Bildsystem korrespondieren, so daß der Zelle A1 die Gleichung A1 = load(FR1) zugeordnet ist.The cells A1, B1, C1 can contain images that correspond to files F1, F2, F3 in the memory that were previously received from an image data source of the MRA session, such as a memory of the graphics system 14 . Accordingly, a load operation can be implemented in the image spreadsheet by the equation A1 = load (F1), with which the cell A1 is loaded into the display of the image 58 . The equation is then assigned to cell A1. Alternatively, cells A1, B1, C1 can have images which correspond to times T1, T2, T3 of the MRA session. Accordingly, a load operation can be implemented in the image spreadsheet that loads cell A1 with the equation A1 = load (T1). As an alternative to this, cells A1, B1, C1 can contain images which correspond to different frames FR1, FR2, FR3 from the magnetic resonance image system, so that cell A1 is assigned the equation A1 = load (FR1).
Für eine solche MRA-Sitzung können die Bilder in den Zellen A1, B1, C1, die von den Rahmen erhalten werden, entsprechenden Zeiten zugeordnet werden. Das Bild- Spreadsheet kann auch Bildfunktionen wie frame() unterstützen, die aus einem Speicher zu einer Zeit t in einer Zeitsequenz von Rahmen einen Rahmen zurückführen, und mit den Gleichungen für die Zellen 50 können Funktionsaufrufe ermöglicht werden, die in Zellen-Operationen zu verwenden sind. Demgemäß würde mit der Gleichung A1 = load(frame(T1)) das Bild in dem Rahmen zu der Zeit T1 wiedergewonnen und in die Zelle A1 geladen werden.For such an MRA session, the images in cells A1, B1, C1, which are obtained from the frames, can be assigned to corresponding times. The image spreadsheet can also support image functions such as frame () that return a frame from memory at a time t in a time sequence of frames, and the equations for cells 50 can enable function calls to be used in cell operations are. Accordingly, with the equation A1 = load (frame (T1)), the image in the frame at time T1 would be retrieved and loaded into cell A1.
Beim Laden der Zellen kann der Bild-Spreadsheet-Generator 10 automatisch die Registrierungsmarker für jedes Bild bestimmen und das Bild dann so formatieren, daß die Registrierungsmarker an den Registrierungsmarkern 56 gemäß Fig. 2 positioniert und angezeigt werden.When the cells are loaded, the image spreadsheet generator 10 can automatically determine the registration markers for each image and then format the image so that the registration markers are positioned and displayed on the registration markers 56 in FIG. 2.
Es können auch andere Zellen-Operationen unterstützt werden, wie zum Beispiel mathematische Standard-Operationen wie Addition, Subtraktion, Multiplikation und Division, die auf dem Gebiet der Bilderzeugung allgemein definiert und bekannt sind. Bei dem MRA-Beispiel in Fig. 2 zeigen die Zellen A1, B1 und C1 das zeitliche Eindringen und Verhalten eines Kontrastmittels 66 in die/den Blutgefäßen, wobei die Zelle A1 das Bild 58 der Blutgefäße ohne Kontrastmittel 66, die Zelle B1 das Bild mit etwas Kontrastmittel in den Blutgefäßen und die Zelle C1 die Blutgefäße nach Ablauf einer spezifizierten Zeit nach dem Eindringen des Kontrastmittels 66 zeigt.Other cell operations may also be supported, such as standard mathematical operations such as addition, subtraction, multiplication and division, which are well-known and well-known in the field of imaging. In the MRA example in FIG. 2, cells A1, B1 and C1 show the temporal penetration and behavior of a contrast agent 66 into the blood vessel (s), cell A1 showing the image 58 of the blood vessels without contrast agent 66 and cell B1 the image with some contrast medium in the blood vessels and cell C1 shows the blood vessels after a specified time after the penetration of the contrast medium 66 .
Nach der Injektion des Kontrastmittels 66 erscheinen die Gefäße hell. Die umgebende Anatomie bleibt im wesentlichen unverändert und kann durch Subtraktion des Bildsatzes ohne Kontrastmittel von dem Bildsatz mit Kontrastmittel entfernt werden. Der Benutzer kann dann die Zelle A2 unter Verwendung des Bild-Spreadsheet- Generators 10 anweisen, eine zugeordnete Gleichung A2 = C1 - A1 auszuführen, die bewirkt, daß der Bild-Spreadsheet-Generator 10 das Bild 58 von dem Bild 62 subtrahiert, so daß die Basis-Blutgefäße entfernt werden und nur das Kontrastmittel 66 sowie sein Weg durch die Blutgefäße dargestellt wird. Durch Subtraktion und die dadurch bewirkte Ausfilterung der Blutgefäße aus dem Bild 62, mit der das Hintergrund-Gewebe aus dem Bild 62 entfernt wird, zeigen die Wege des Kontrastmittels in dem Bild 64 zum Beispiel Gesichtspunkte des Blutflusses, wie einen Terminus 68 des Blutflusses, der einen Verschluß oder einen Blutklumpen in den Blutgefäßen indizieren kann. In ähnlicher Weise kann der Blut- und Strömungsfluß um Tumore und andere Karzinome durch diese Subtraktion angezeigt werden.After the injection of the contrast medium 66 , the vessels appear bright. The surrounding anatomy remains essentially unchanged and can be removed from the image set with contrast medium by subtracting the image set without contrast medium. The user can then instruct cell A2, using image spreadsheet generator 10, to perform an associated equation A2 = C1-A1 that causes image spreadsheet generator 10 to subtract image 58 from image 62 so that the basic blood vessels are removed and only the contrast agent 66 and its path through the blood vessels is shown. By subtraction and the resulting filtering of the blood vessels from the image 62 , with which the background tissue from the image 62 is removed, the paths of the contrast medium in the image 64 show, for example, aspects of the blood flow, such as a term 68 of the blood flow, the may indicate an occlusion or a clot of blood in the blood vessels. Similarly, the blood and flow flow around tumors and other carcinomas can be indicated by this subtraction.
Es kann auch Text in die Zellen wie zum Beispiel die Zelle A3 eingegeben werden, wobei dieser Text mit Gleichungen zu anderen Zahlen addiert oder von diesen subtrahiert werden kann. Die Zelle B2 kann sich zum Beispiel durch die Gleichung B2 = A1 + A3 aus den Zellen A1 und A3 zusammensetzen, so daß der Text als Legende oder Beschriftung in das Bild 58 eingefügt werden kann, das dann zum Beispiel in Form von Präsentationsmaterial, wie Dokumenten oder Folien, ausgedruckt oder ausgegeben werden kann. Zusätzlich dazu kann jeder Zelle 50 einer Mehrzahl von anderen Zellen zugeordnet sein und/oder eine Mehrzahl von Bildern indexieren, so daß der Bild- Spreadsheet-Generator 10 ein Eselsohr-Icon 70 oder andere grafische Icons in jeder Zelle oder alternativ dazu nur in solchen Zellen, die eine solche Mehrzahl von Bildern beinhalten, erzeugen kann. Alternativ dazu kann auch ein pop-up-Fenster oder eine pop- up-Benutzer-Schnittstelle (U1) wie ein Eingabefenster 52 erzeugt und angezeigt werden, um dem Benutzer eine selektive Ansicht verschiedener, jedoch einander zugeordneter Bilder zu ermöglichen. Unter Verwendung des Eselsohr-Icons 70, des pop-up-Fensters oder der pop-up-Benutzer-Schnittstelle (U1) kann sich der Benutzer durch die Anzahl von Bildern "blättern", das heißt diese laden oder durchscrollen, wobei das Minuszeichen ein zurückblättern zu einem vorherigen Bild und das Pluszeichen ein Vorwärtsblättern zu einem nächsten Bild bedeutet.Text can also be entered into cells such as cell A3, which text can be added to or subtracted from other numbers using equations. For example, cell B2 can be composed of cells A1 and A3 using the equation B2 = A1 + A3, so that the text can be inserted as legend or label in image 58 , which can then be used, for example, in the form of presentation material such as documents or transparencies, can be printed or output. In addition, each cell 50 may be associated with a plurality of other cells and / or index a plurality of images so that the image spreadsheet generator 10 may have a dog ear icon 70 or other graphic icons in each cell or, alternatively, only in those cells that include such a plurality of images. Alternatively, a pop-up window or a pop-up user interface (U1) such as an input window 52 can also be generated and displayed in order to enable the user to selectively view different, but mutually associated images. Using the dog-ear icon 70 , the pop-up window or the pop-up user interface (U1), the user can "scroll" through the number of images, that is to say load or scroll through them, the minus sign being one scroll back to a previous picture and the plus sign means scroll forward to a next picture.
Bei alternativen Ausführungsformen können Pfeile oder andere, Browser-ähnlich zu betätigende Icons in Verbindung mit oder anstelle der genannten Eselsohr-Icons 70 oder pop-up-Fenster oder UIs vorgesehen sein, wobei das auf dem Schirm 48 in Fig. 2 gezeigte Bild-Spreadsheet auch unter Verwendung eines Internet-Browsers wie z. B. des Microsoft Internet Browers, implementiert werden kann, wobei die Zellen 50 zum Beispiel in Browserrahmen und/oder Webseiten implementiert sind. Bei anderen Ausführungsformen können auch Java-Applets und/oder ActiveX Steuereinheiten unter Verwendung der Microsoft ActiveX Technologie verwendet werden, um das Bild- Spreadsheet und/oder den Bild-Spreadsheet-Generator 10 oder Teile davon zu implementieren. Solche Java-Applets oder ActiveX Steuereinheiten können dann einem Web-Browser oder anderen Internet-basierenden oder World-Wide-Web-basierenden oder Netzwerk-basierenden Anwendungen untergeordnet werden, so daß ein Benutzer auch von einer entfernten Station mit jedem Browser oder jeder Netzwerk-Plattform, die mit Java oder ActiveX kompatibel ist, auf das Bild-Spreadsheet Zugriff nehmen kann.In alternative embodiments, arrows or other browser-like icons can be provided in conjunction with or instead of the aforementioned dog-ear icons 70 or pop-up windows or UIs, with the image spreadsheet shown on screen 48 in FIG. 2 also using an internet browser such as B. the Microsoft Internet Browser, can be implemented, the cells 50 are implemented for example in browser frames and / or websites. In other embodiments, Java applets and / or ActiveX control units using Microsoft ActiveX technology can also be used to implement the image spreadsheet and / or the image spreadsheet generator 10 or parts thereof. Such Java applets or ActiveX control units can then be subordinated to a web browser or other Internet-based or World-Wide-Web-based or network-based applications, so that a user can also use a browser or remote network with any browser or network. Platform that is compatible with Java or ActiveX, can access the image spreadsheet.
Auch unäre Operationen sind für die Zellengleichungen verfügbar, wie zum Beispiel inverse Funktionen, die ein Bild durch seine Negativdarstellung ersetzen, ebenso wie exponentielle Funktion wie die exp()-Funktion als eine Potenz der Basis e des natürlichen Logarithmus, sowie Wurzelfunktionen wie die Quadratwurzelfunktion sqrt(). Weiterhin können auch Filteroperationen unterstützt werden, wie zum Beispiel Farbfilter, Grauskalafilter und Filter zur Erhöhung der Intensität, wobei solche Filter Falschfarben-Verstärkungen erzeugen können, um bestimmte Merkmale wie Tumore oder Kontrastmittel zu unterscheiden.Unary operations are also available for the cell equations, such as inverse functions that replace an image with its negative representation, as well as exponential function like the exp () function as a power of the base e of the natural logarithm, as well as root functions such as the square root function sqrt (). Filter operations can also be supported, such as Color filters, grayscale filters and filters to increase the intensity, such filters False color reinforcements can produce certain features like tumors or to distinguish between contrast agents.
Die Bilder in den Zellen können weiteren Operationen unterworfen werden, wie zum Beispiel einer Schwellwertbildung unter Verwendung von Schwellwert-Funktionen, wobei auch Bild-Segmentationsverfahren verwendet werden können. Als Beispiel zeigt Fig. 3, wie für die Zellen A1 bis C1 ein 3D-Bild 72 eines Kopfes in der Zelle 74 in einer Magnetresonanz-Abbildungssequenz (MRI) transformiert wird, um ein Bild 76 der darunterliegenden Blutgefäße in der Zelle 78 zu erzeugen und somit ein Bild 80 des Gehirns in der Zelle 82 zu zeigen. Es kann zum Beispiel eine segment-Funktion aufgerufen werden wie B1 = segment(A1) und C1 = segment(B1). Zusätzlich können die Bilder 72 bis 76 addiert werden, so daß sie sich in drei Richtungen überlappen und ein in einer anderen Zelle wie B2 wiedergegebenes, kombiniertes Bild entsteht.The images in the cells can be subjected to other operations, such as thresholding using thresholding functions, and image segmentation techniques can also be used. As an example, FIG. 3 shows how for cells A1 to C1 a 3D image 72 of a head in cell 74 is transformed in a magnetic resonance imaging sequence (MRI) in order to generate an image 76 of the underlying blood vessels in cell 78 and thus showing an image 80 of the brain in cell 82 . For example, a segment function can be called like B1 = segment (A1) and C1 = segment (B1). In addition, images 72 through 76 can be added so that they overlap in three directions and a combined image is reproduced in another cell such as B2.
Weitere Operationen können implementiert werden, mit denen eine aufwendige
Bildverarbeitung, wie zum Beispiel eine Projektion der maximalen Intensität (MIP oder
MaxIP) oder eine Projektion der minimalen Intensität (MinIP), erleichtert wird und die
als Zellenfunktionen implementiert werden können. Zum Beispiel kann gemäß Fig. 3
ein Magnetresonanzbild (MR) 84 eines vaskulären Gewebes in einer Datei mit dem
Namen mr_vascular gespeichert werden. Unter Anwendung eines Gefäß-
Segmentationsverfahrens, das durch die Funktion segment_vessel() und eine MIP-
Funktion call MIP() aufgerufen wird, kann das Bild 88 in der Zelle 90 mit der
Bezeichnung A3 durch folgende Gleichungen erzeugt werden:
Further operations can be implemented which facilitate complex image processing, such as a projection of the maximum intensity (MIP or MaxIP) or a projection of the minimum intensity (MinIP), and which can be implemented as cell functions. For example, as shown in FIG. 3, a magnetic resonance image (MR) 84 of a vascular tissue can be stored in a file called mr_vascular. Using a vessel segmentation method that is called by the segment_vessel () function and an MIP call MIP () function, the image 88 in cell 90 with the designation A3 can be generated by the following equations:
A2 = load_image('mr_vascular') und A3 = MIP(segment_vessel(A1)),
A2 = load_image ('mr_vascular') and A3 = MIP (segment_vessel (A1)),
die jeweils in der Zelle A2 bzw. A3 implementiert sind. Bei diesem Beispiel wird ein dem 3D-Bild 84 entsprechender Rohdatensatz in die Zelle A2 geladen, und die Zelle A3 wird so eingestellt, daß sie eine Zusammensetzung aus einer Projektion der maximalen Identität des Datensatzes und des Ergebnisses des Gefäß-Segmentationsverfahrens darstellt.which are implemented in cells A2 and A3, respectively. In this example, a raw data set corresponding to 3D image 84 is loaded into cell A2 and cell A3 is set to represent a composite of a projection of the maximum identity of the data set and the result of the vascular segmentation procedure.
Weitere Funktionen und Bildoperationen können implementiert werden, wie zum Beispiel Bildverarbeitungsfunktionen wie Kantenerfassung, Tiefpaß, Hochpaß, Bandpaß-Filterung und Rauschunterdrückung; ebenso wie Schwellwertbildung; Graupegel-Fensterverarbeitung; Bildverstärkung wie zum Beispiel Kantendetektion, Tiefpaß-/Hochpaß-Filterung, Weichzeichnung und Farbmodifikation; Segmentation wie statische und Bewegungs-basierende Operationen; Morphogenie, Stereo- Korrespondenz; Visualisierung von Volumina und Flächen; Vergleichsoperationen; Reduzieren/Maskieren; Objekterkennung zum Beispiel unter Verwendung von neuralen Netzwerken und Datenklassifizierern; Bildarchiv-Manipulation; Videobearbeitung und andere Bildoperationen wie interaktive, Maus-gesteuerte Rotation, Skalierung und Translation von Bildern. Darüberhinaus sind die Videodaten mehrdimensional mit mindestens einer Zeitachse und mindestens einer räumlichen Achse, wodurch Animationen von zum Beispiel eindimensionalen Kurven von Testergebnissen, zweidimensionalen Röntgenstrahlbildern und dreidimensionalen MRI-Bildern implementiert werden können. Das beschriebene Bild-Spreadsheet schafft somit eine Plattform zum Organisieren, Verarbeiten und Editieren von Videosequenzen für zum Beispiel medizinische und nichtmedizinische Anwendungen. Additional functions and image operations can be implemented, such as Example image processing functions such as edge detection, low pass, high pass, Bandpass filtering and noise reduction; as well as thresholding; Gray level window processing; Image enhancement such as edge detection, Low-pass / high-pass filtering, soft focus and color modification; Segmentation like static and motion based operations; Morphogenicity, stereo Correspondence; Visualization of volumes and areas; Comparison operations; Reduce / mask; Object recognition, for example, using neural Networks and data classifiers; Image archive manipulation; Video editing and other image operations such as interactive, mouse-controlled rotation, scaling and Translation of images. In addition, the video data are multidimensional at least one time axis and at least one spatial axis, whereby Animations of, for example, one-dimensional curves of test results, two-dimensional X-ray images and three-dimensional MRI images can be implemented. The image spreadsheet described thus creates one Platform for organizing, processing and editing video sequences for Example medical and non-medical applications.
Weiterhin können Funktionen und Operationen so eingebettet werden, daß diese andere
Funktionen oder Operationen aufrufen, wie es oben bei der Erzeugung der Zelle A3 in
Fig. 3 beschrieben wurde. Darüberhinaus bezeichnet der Begriff "=" gemäß der hier
verwendeten Definition eine Zuweisung und/oder eine erneute Zuweisung von Zellen
und Variablen, die die Zellen darstellen. Es können auch andere Gleichungs-,
Programmierungs- und/oder operationelle Konventionen verwendet werden. Zum
Beispiel kann die Operation der Zuweisung alternativ auch durch das Symbol ":="
bewirkt werden, während die Boolschen Operationen aufgrund des Symbols "=" ohne
Doppelpunkt ausgeführt werden. Zum Beispiel kann gemäß Fig. 2 das Bild 64 in der
Zelle A2 durch die folgende Boolsche Gleichung erzeugt werden:
Furthermore, functions and operations can be embedded in such a way that they call other functions or operations, as was described above when generating cell A3 in FIG. 3. In addition, the term "=" as defined here refers to an assignment and / or reassignment of cells and variables that represent the cells. Other equation, programming, and / or operational conventions can also be used. For example, the assignment operation can alternatively be effected by the symbol ": =", while the Boolean operations are carried out without a colon due to the symbol "=". For example, according to FIG. 2, image 64 can be generated in cell A2 using the following Boolean equation:
if count = 0 then A2: = (C1-A1) else A2: = B1-A1.if count = 0 then A2: = (C1-A1) else A2: = B1-A1.
Diese Gleichung kann in einem Programm verwendet werden, mit dem das Bild- Spreadsheet unter Verwendung eines Steuerparameters count aufgerufen wird. Solche logischen Programmiermethoden, die in bekannte numerische Spreadsheets implementiert sind, können somit in das beschriebene Bild-Spreadsheet implementiert werden. Zusätzlich dazu kann das Bild-Spreadsheet auch durch eine objektorientierte Programmierung implementiert werden, so daß solche Bild-Spreadsheets in andere Anwendungen importiert werden können, wie zum Beispiel Textprogramme wie Microsoft Word und Datenbanken wie Microsoft Access, die mit der OLE-, DCOM- und/oder ActiveX- Technologien arbeiten.This equation can be used in a program with which the image Spreadsheet is called using a count control parameter. Such logical programming methods that are known in numerical spreadsheets are implemented, can thus be implemented in the image spreadsheet described become. In addition to this, the image spreadsheet can also be an object-oriented one Programming can be implemented so that such image spreadsheets into others Applications can be imported, such as text programs such as Microsoft Word and databases such as Microsoft Access, which use the OLE, DCOM and / or ActiveX technologies work.
Wenn sich der Patient zwischen zwei Aufnahmen von Bildern bewegt hat, führt eine Subtraktion der Bilder gemäß der Beschreibung für die Zellen A1, C1 und A2 in Fig. 2 zu anatomisch falschen Ergebnissen, da nichtkorrespondierende Bereiche subtrahiert werden. Bei dem Bild-Spreadsheet-Generator 10 wird dieses Problem durch Verwendung eines Registrierungsverfahrens gelöst, um die Bilder zum Beispiel durch Translation oder Morphogenie zu modifizieren, so daß sie vor der Anwendung einer mathematischen Operation zwischen den Bildern anatomisch korrekt miteinander korrespondieren. Mit dem Registrierungsverfahren kann auch die Bewegung, die das Subjekt ausgeführt hat, abgeschätzt und eine Korrektur solcher Bewegungen durchgeführt werden, wenn Operationen zwischen den Bildern ausgeführt werden.If the patient has moved between two recordings of images, subtracting the images as described for cells A1, C1 and A2 in FIG. 2 leads to anatomically incorrect results since non-corresponding areas are subtracted. In the image spreadsheet generator 10 , this problem is solved by using a registration method to modify the images, for example by translation or morphogeny, so that they correspond anatomically correctly to one another before the use of a mathematical operation between the images. The registration process can also estimate the motion that the subject has performed and correct such motion when performing operations between the images.
Mit der Registrierung wird eine anatomische Kohärenz der mehrfachen Datensätze sichergestellt. Eine anatomische Kohärenz setzt voraus, daß wenn ein Punkt PA in einem Volumen A mit dem gleichen Bereich eines Patienten korrespondiert, wie ein Punkt PB in einem Volumen B, die registrierte Abbildung zwischen A und B, die durch den Bild- Spreadsheet-Generator 10 aufrechterhalten wird, eine solche anatomische Kohärenz zwischen den Datensätzen beinhaltet.The registration ensures an anatomical coherence of the multiple data sets. Anatomical coherence assumes that if a point P A in volume A corresponds to the same area of a patient as a point P B in volume B, the registered image between A and B by the image spreadsheet generator 10 , such anatomical coherence between the data sets is included.
Bestimmte MR-Aufnahmen, wie zum Beispiel bei neurologischen Untersuchungen, sind gut registriert (justiert), da der Kopf während der Dauer der Aufnahme fixiert werden kann. Eine Bewegung des Patienten kann jedoch nicht bei der Aufnahme anderer Körperteile verhindert werden. Dies betrifft zum Beispiel Umfangsuntersuchungen, bei denen eine Bewegung des Patiententisches mit dem Patienten zwischen verschiedenen Aufnahmen erforderlich ist. Ein Verfahren, das angewendet werden kann, ist die automatische Registrierung von festen Körpern, bei dem durch den Bild-Spreadsheet-Generator 10 und/oder das Grafiksystem 14 eine Transformation eines festen Körpers vorgenommen wird, um bei mehrfachen Untersuchungen eine Registrierung zu erzielen. Zum Beispiel kann eine "fusion"- Taskkarte in den Taskkarten 18 enthalten sein, d. h. die durch den Grafikgenerator 12 mit dem Grafiksystem 14 verwendeten und verfügbaren Funktionen können zu diesem Zweck verwendet werden. Unter Verwendung einer interaktiven Selektion von korrespondierenden Punkten zwischen zwei volumetrischen Untersuchungen kann eine vollständige automatische Registrierung durchgeführt werden, mit der zwei Untersuchungen auf der Basis von Pixel/Voxel-Werten angepaßt werden, um so eine geeignete Ausrichtung unter Verwendung der Registrierungsmarker 56 zu erreichen, die in dem wiedergegebenen Bild-Spreadsheet und dessen Zellen in den Grundeinstellungen unsichtbar sind. Eine solche automatische Registrierung ist bei MRA-Anwendungen sinnvoll, da die Art und die Pixel/Voxel-Statistiken von mehrfachen Untersuchungen einer gemeinsamen physikalischen Struktur sehr ähnlich sind, wie es in den Zellen A1 bis C1 der Fig. 2 gezeigt ist. Auf diese Weise können durch einen Benutzer und/oder durch ein automatisches Anpassungsverfahren zur Registrierung, zum Beispiel durch ein neurales Netzwerk oder Klassifizierer, die Bilder zur Vorbereitung der weiteren Bild-Manipulationen gemäß obiger Beschreibung ausgerichtet werden.Certain MR images, such as neurological examinations, are well registered (adjusted) because the head can be fixed during the duration of the image. However, movement of the patient cannot be prevented when other parts of the body are taken up. This applies, for example, to circumferential examinations in which movement of the patient table with the patient between different exposures is required. One method that can be used is the automatic registration of solid bodies, in which a transformation of a solid body is carried out by the image spreadsheet generator 10 and / or the graphics system 14 in order to achieve registration in the case of multiple examinations. For example, a "fusion" task card can be included in the task cards 18 , ie the functions used and available by the graphics generator 12 with the graphics system 14 can be used for this purpose. Using an interactive selection of corresponding points between two volumetric exams, a full automatic registration can be performed that adjusts two exams based on pixel / voxel values so as to achieve proper alignment using the registration markers 56 which in the reproduced image spreadsheet and its cells are invisible in the basic settings. Such an automatic registration makes sense in MRA applications since the type and pixel / voxel statistics of multiple examinations are very similar to a common physical structure, as shown in cells A1 to C1 of FIG. 2. In this way, the images can be aligned in preparation for the further image manipulations as described above by a user and / or by an automatic adaptation method for registration, for example by a neural network or classifier.
Eine andere verwandte Technik ist die interaktive, auf einer Volumenableitung basierende Registrierung, bei der die Verfügbarkeit einer interaktiven und Echtzeit- Volumenableitung eine Registrierung des festen Körpers auf der Basis einer Visualisierung ermöglicht. Unter Verwendung eines solchen Registrierungsverfahrens können zwei Untersuchungen gleichzeitig volumenabgeleitet sein, wie zum Beispiel die Volumenbilder 72, 76, 80 in Fig. 3. Der Benutzer und/oder die automatische Technik zur Registrierungsanpassung einschließlich neuraler Netzwerke oder Klassifizierer können interaktiv versuchen, die Überlappung zwischen Bildern zu maximieren. Zum Implementieren einer solchen interaktiven Registrierung kann eine Echtzeit- Volumenableitung verwendet werden. Bei einer alternativen Ausführungsform können Transformationen verwendet werden, die einen volumetrischen Körper zur Anpassung an einen anderen deformieren, um eine automatische Verwerfungsregistrierung durchzuführen, mit der Bewegungen von nichtfesten Körpern kompensiert werden können.Another related technique is interactive volume derivation-based registration, in which the availability of an interactive, real-time volume derivation enables solid body registration based on visualization. Using such a registration method, two exams can be volume derived at the same time, such as volume images 72 , 76 , 80 in Figure 3. The user and / or the automatic registration adjustment technique including neural networks or classifiers can interactively try to overlap between images to maximize. Real-time volume derivation can be used to implement such an interactive registration. In an alternative embodiment, transformations can be used that deform one volumetric body to fit another to perform automatic fault registration that can compensate for movements of non-solid bodies.
Es können auch andere bekannte Bild-Registrierungsverfahren verwendet werden, die z. B. auf dem medizinischen Gebiet bekannt sind, wie zum Beispiel ein Verfahren zur Maximierung der beiderseitigen Informationen (MMI), sowie ein Verfahren zur Iteration des nächsten Punktes (ICP), um auf diese Weise eine Anpassung und Manipulation der Bilder in dem Bild-Spreadsheet vorzunehmen.Other known image registration methods can also be used e.g. B. are known in the medical field, such as a method for Maximizing mutual information (MMI), as well as a process for Iteration of the next point (ICP) to make an adjustment and To manipulate the images in the image spreadsheet.
Das Bild-Spreadsheet-System 10 arbeitet in Verbindung mit dem Grafikgenerator 12 unter Anwendung des in Fig. 4 gezeigten Verfahrens. Der Grafikgenerator 12 erhält in einem Schritt 92 Bilddaten und erzeugt in einem Schritt 94 gemäß der Darstellungen in den Fig. 2 und 3 ein Gitter oder Spreadsheet, um zum Beispiel die Zellen A1 bis A3, B1 bis B3, C1 bis C3 usw. zu erzeugen. Es ist klar, daß auch mehr Zellen erzeugt werden können, wobei nur ein Teil der Zellen dargestellt ist und die übrigen Zellen durch Scrollen durch die Zellen wie bei bekannten Spreadsheet-Systemen angezeigt werden können. Nach dem Empfang der Bilddaten in Schritt 92, die eine Reihe von Bildern mit Bild-Begrenzungszeichen wie Vorläufen (Header) sein können, um anzuzeigen, welche Daten mit welchem Bild korrespondieren, unterteilt der Bild- Spreadsheet-Generator 10 den Bild-Anzeigebereich 48 in mindestens eine gleiche oder näherungsweise gleiche Anzahl von Schirmbereichen oder Segmenten, wie Zellen vorhanden sind. Zum Beispiel wird eine Reihe von zwei bis vier Bildern mit einem Format von mindestens zwei mal zwei Zellen angezeigt; eine Reihe von fünf oder sechs Bildern mit einem Format von mindestens zwei mal drei Zellen; eine Reihe von sieben bis neun Bildern mit einem Format von mindestens drei mal drei Zellen usw. Eine erneute Formatierung dieser Formate durch Hinzufügen von Reihen oder Spalten kann durch den Benutzer vorgenommen werden, wobei leere Reihen und Spalten automatisch erzeugt werden können, um zusätzliche Zellen für die Anordnung und Wiedergabe von Ergebnissen von Zellenoperationen zu schaffen.The image spreadsheet system 10 operates in conjunction with the graphics generator 12 using the method shown in FIG. 4. The graphics generator 12 receives image data in a step 92 and generates a grid or spreadsheet in a step 94 as shown in FIGS. 2 and 3 in order to generate the cells A1 to A3, B1 to B3, C1 to C3, etc., for example . It is clear that more cells can also be generated, only a part of the cells being shown and the remaining cells being displayed by scrolling through the cells, as in known spreadsheet systems. Upon receipt of the image data in step 92 , which may be a series of images with image delimiters such as headers, to indicate which data corresponds to which image, the image spreadsheet generator 10 divides the image display area 48 into at least the same or approximately the same number of screen areas or segments as there are cells. For example, a series of two to four images with a format of at least two by two cells is displayed; a series of five or six pictures with a format of at least two times three cells; a series of seven to nine pictures with a format of at least three times three cells, etc. Reformat of these formats by adding rows or columns can be done by the user, whereby empty rows and columns can be automatically generated to add additional cells for to arrange and display results of cell operations.
Mit dem Verfahren werden dann in Schritt 96 die Bilder in die Zellen geladen, so daß die Registrierung jedes Bildes an die Registrierungsmarker 56 angepaßt ist. Nach dem Laden der Bilder in die Zellen wird das Verfahren in Schritt 98 mit Benutzerbefehlen beaufschlagt, um die Bilder zu bearbeiten, wobei in Schritt 100 eine Gleichung eingegeben und in Schritt 102 eine Steuerung der Anzeige durchgeführt werden kann, die auch eine Fensteraufteilung, ein Zoomen und Panning-Funktionen umfassen kann, ebenso wie die Option, Operationen für einen Satz von Zellen gleichzeitig zu verbinden, und in Schritt 104 eine Bild-Spreadsheet-Steuerung möglich ist, die auch Druck- und Speicherbefehle umfaßt.The method then loads the images into the cells in step 96 so that the registration of each image is adapted to the registration markers 56 . After loading the images into the cells, the method is acted upon in step 98 with user commands to edit the images, wherein an equation can be entered in step 100 and the display can be controlled in step 102 , which also includes a window division, zooming and may include panning functions, the option to concurrently combine operations for a set of cells, and image spreadsheet control, including print and save commands, is possible in step 104 .
Zum Eingeben einer Gleichung in Schritt 100 wählt der Benutzer die Zellen zum Beispiel durch Bewegen eines hervorgehobenen Fensters, mit dem die Ränder der gegenwärtig gewählten Zelle hervorgehoben werden, oder auf andere Weise durch Anklicken der gewünschten Zelle aus. Der Benutzer wählt dann einen "define operation"-Befehl, der ein Icon auf dem Schirm 48 oder eine bestimmte Tastenkombination, ein Mausknopf oder ein pull-down-Fensterbefehl sein kann. Daraufhin erscheint das Eintragsfenster 52, in das der Benutzer die gewünschte Operation oder den betreffenden Ausdruck eingibt.To enter an equation in step 100 , the user selects the cells, for example, by moving a highlighted window that highlights the edges of the currently selected cell, or otherwise by clicking the desired cell. The user then selects a "define operation" command, which can be an icon on screen 48 or a particular key combination, a mouse button, or a pull-down window command. The entry window 52 then appears in which the user enters the desired operation or the relevant expression.
Nach der Definition aller Operationen für eine oder mehrere Zelle kann der Benutzer das Bild-Spreadsheet ausführen, um die eingegebenen Operationen mit einem geeigneten Befehl wie zum Beispiel einer vorbestimmten Tastenkombination oder durch ein pull-down-Menü zu implementieren. Der Status der Ausführung der Operationen kann über die GUI 46 zum Beispiel durch Veränderung von Farben auf dem Schirm oder durch Ausgabe des Wortes "ausgeführt" angezeigt werden.After defining all operations for one or more cells, the user can run the image spreadsheet to implement the entered operations with an appropriate command, such as a predetermined key combination, or through a pull-down menu. The status of the execution of the operations can be displayed via the GUI 46, for example by changing colors on the screen or by outputting the word "executed".
Während oder nach dem Eingeben der Gleichung in Schritt 100 oder der Anzeigesteuerung in Schritt 102 kann die Gesamtbild-Spreadsheet-Steuerung in Schritt 104 aktiviert werden, die zum Beispiel einen Speicherknopf zum Speichern des Bild- Spreadsheets und/oder aller ausgewählter Zellen mit den gegenwärtigen Einstellungen, Bildern und/oder Gleichungen umfaßt. Mit dem Schritt 104 kann auch ein neues Bild- Spreadsheet für den gleichen Patienten und/oder eine Untersuchung erzeugt werden, oder es wird ein neues Bild-Spreadsheet für andere Patienten und/oder Untersuchungen erzeugt, was dazu führt, daß das Verfahren zu dem Schritt 92 zurückspringt, um die Bilddaten aufzunehmen. Der Benutzer kann mit dem Schritt 106 veranlaßt werden, vor der Aufnahme neuer Bilddaten die gegenwärtigen Bilddaten beizubehalten oder zu löschen. Wenn die gegenwärtig geladenen Daten zu bearbeiten sind, so wird das Verfahren mit den Schritten 102 bis 106 wiederholt.During or after entering the equation in step 100 or the display control in step 102 , the overall image spreadsheet control can be activated in step 104 , for example a memory button for storing the image spreadsheet and / or all selected cells with the current settings , Images and / or equations. Step 104 may also create a new image spreadsheet for the same patient and / or an exam, or create a new image spreadsheet for other patients and / or exams, leading the method to the step 92 jumps back to capture the image data. Step 106 may prompt the user to keep or delete the current image data before taking new image data. If the currently loaded data is to be processed, the process is repeated with steps 102 to 106 .
Bei alternativen Ausführungsformen kann der Schritt 104 einen Befehl enthalten, mit dem die Ergebnisse der Bearbeitung der gegenwärtigen Bilder in dem Bild-Spreadsheet auf andere Taskkarten wie einer virtuellen Endoskop-Anwendung, übertragen werden. Der Benutzer kann durch Anklicken oder auf andere Weise einen gewünschten Satz von Zellen auswählen, woraufhin die gewünschte Taskkarte aktiviert wird, um die ausgewählten Zellen zu verarbeiten.In alternative embodiments, step 104 may include a command to transfer the results of processing the current images in the image spreadsheet to other task cards, such as a virtual endoscope application. The user can click or otherwise select a desired set of cells, and the desired task card is activated to process the selected cells.
Darüberhinaus kann der Schritt 104 Befehle umfassen, mit denen die eingegebenen Gleichungen als Bild-Spreadsheet-Schablone oder Script, das nicht unbedingt Patienten spezifisch ist, auf zukünftig importierte Bilddaten angewendet wird. Solche Bild- Spreadsheet-Scripte können dann geladen und auf neue Bilddaten oder Untersuchungen angewendet werden. Zum Beispiel kann gemäß Fig. 2 der Prozeß des Entfernens von Hintergrund-Gewebe aus den eingegebenen MRA-Daten durch die Bild- Subtraktionsgleichung in der Zelle A2 so implementiert werden, daß diese auf alle kompatiblen eingegebenen Bilddaten angewendet wird und nicht nur auf die Bilddaten für die Bilder 58 bis 66.In addition, step 104 can include commands with which the entered equations are applied to image data imported in the future as an image spreadsheet template or script, which is not necessarily patient-specific. Such image spreadsheet scripts can then be loaded and applied to new image data or examinations. For example, as shown in Figure 2, the process of removing background tissue from the input MRA data can be implemented by the image subtraction equation in cell A2 so that it is applied to all compatible input image data and not just the image data for pictures 58 to 66 .
Bei einer alternativen Ausführungsform kann das Gitter der Zellen, wie es in den Fig. 2 und 3 gezeigt ist, unterschiedliche Größen aufweisen. Die Zellen können die ursprünglichen Abtastdaten, eine einzige mathematische Formel oder Programme mit einer Mehrzahl von Befehlen enthalten. Jede Zelle des Bild-Spreadsheets kann als Operand für solche Berechnungen verwendet werden. Probleme im Zusammenhang mit einer Fehlanpassung der Auflösung werden durch automatische Interpolation gelöst. Zusätzlich bietet jede einzelne Zelle eine Vielzahl verschiedener Optionen für die Visualisierung, wie zum Beispiel Zellen, die interaktiv schnittweise Ansichten, eine Projektion maximaler Intensität (MIP) oder simulierte Röntgenstrahlenerzeugung, eine Volumenerzeugung usw. darstellen können. Die interaktiven Parameter verändern sich in Abhängigkeit von der Art der Visualisierung. Während der Betrachtung eines Schnittes kann der Benutzer zum Beispiel die Parameter für den Schnitt, die Neigung, den Zoomfaktor, den Fensterwechsel und Pegel auswählen, während bei einer 3D Ansicht Steuereinheiten für eine Kameraposition und andere Parameter usw. hinzugefügt sind.In an alternative embodiment, the grid of cells as shown in FIGS. 2 and 3 can have different sizes. The cells can contain the original sample data, a single mathematical formula, or programs with a plurality of instructions. Each cell of the image spreadsheet can be used as an operand for such calculations. Problems related to resolution mismatch are solved by automatic interpolation. In addition, each individual cell offers a variety of different options for visualization, such as cells that can display interactive sectional views, maximum intensity projection (MIP) or simulated X-ray generation, volume generation, etc. The interactive parameters change depending on the type of visualization. For example, while viewing a section, the user can select the parameters for the section, the inclination, the zoom factor, the window change and level, while in a 3D view control units for a camera position and other parameters etc. are added.
Bei einer anderen alternativen Ausführungsform kann ein Zusammenschluß von Visualisierungen durchgeführt werden, durch den Visualisierungen in verschiedenen Zellen zusammengefaßt werden, so daß Änderungen, die bei den Darstellungsparametern in einer Zelle der zusammengeschlossenen Gruppe auftreten oder implementiert werden, automatisch auf den Rest der Zellen in der Gruppe angewendet werden. Diese Darstellungsparameter umfassen das Fenster, den Pegel, den Zoomfaktor und die Neigung für eine 2D-Ansicht; sowie den Standpunkt, die Kamera- Parameter, Bezugsebenen, Transferfunktionen usw. für eine 3D-Ansicht, ebenso wie eine Filterung und andere Verfahren zur Bildtransformation. Zum Beispiel können gemäß Fig. 2 die Bilder 58 bis 66 in den Zellen A1, A2, B2 bzw. C1 in der Weise zusammengeschlossen werden, daß eine Änderung eines der Visualisierungsparameter von einer Zelle den Visualisierungsparameter der übrigen, zusammengeschlossenen Zellen verändert. Bei diesem Beispiel kann eine Änderung der Auflösung zum Zoomen in einen Teil des Bildes 62 in der Zelle C2 dazu führen, daß der Bild-Spreadsheet- Generator 10 die Auflösung in den Zellen A1, A2, B1 entsprechend ändert, um in einen korrespondierenden Teil der entsprechenden Bilder 58 bis 64 zu zoomen.In another alternate embodiment, visualizations can be merged by merging visualizations into different cells so that changes that occur or are implemented in the display parameters in a cell of the merged group are automatically applied to the rest of the cells in the group be applied. These display parameters include the window, the level, the zoom factor and the inclination for a 2D view; as well as the viewpoint, the camera parameters, reference planes, transfer functions etc. for a 3D view, as well as filtering and other methods for image transformation. For example, according to FIG. 2, images 58 to 66 in cells A1, A2, B2 and C1 can be combined in such a way that a change in one of the visualization parameters of one cell changes the visualization parameter of the other, combined cells. In this example, changing the resolution to zoom into a portion of the image 62 in cell C2 may result in image spreadsheet generator 10 changing the resolution in cells A1, A2, B1 accordingly to a corresponding portion of the image to zoom in corresponding pictures 58 to 64 .
Bei einer anderen alternativen Ausführungsform kann ein Zusammenschluß der interaktiven Messung und des interessierenden Bereiches (ROI) vorgenommen werden. Wenn in einer Zelle der zusammengeschlossenen Gruppe interaktive Messungen wie zum Beispiel Messungen des Abstandes, der Fläche, des Volumens, der Histogramm/Intensitätseigenschaften usw. vorgenommen werden, werden die gleichen Messungen auf die anderen Mitglieder der Gruppe gespiegelt. Für auf einem Histogramm bzw. einer Intensität basierende Messungen kann das Ergebnis in jedem Volumen anders sein. Die ROI-Selektion und die Position der Zeiger oder anderer grafischer Indikatoren in Bezug auf Merkmale in den Bildern werden in ähnlicher Weise zusammengeschlossen.In another alternative embodiment, a merger of the interactive measurement and the area of interest (ROI). If interactive measurements such as for example measurements of the distance, the area, the volume, the Histogram / intensity characteristics etc. are made the same Measurements mirrored to the other members of the group. For on one Histogram or intensity based measurements can result in any Volume be different. The ROI selection and the position of the pointers or others Graphical indicators related to features in the images are made in a similar way joined together.
Der Bild-Spreadsheet-Generator 10 implementiert einen vollständigen Programmiersprachen-Interpreter für Ausdrücke und Gleichungen in den Zellen. Solche Ausdrücke und Gleichungen sind nicht nur einzeilige arithmetische, binäre Operationen oder unäre Funktionen, sondern können auch mehrzeilige Programme sein, die temporäre Variablen, Schleifen, Funktionsdefinitionen und andere Arten von anspruchsvollen Ablaufsteuerungen und Rechenvorschriften enthalten. Die Ausdrücke können auch Aufrufe für durch einen Benutzer bereitgestellte externe Funktionen und vollständige Programme enthalten. Im Ermessen des Benutzers können einzelne Ausdrücke und vollständige Verarbeitungsbögen gespeichert und wieder aufgerufen werden.The image spreadsheet generator 10 implements a full programming language interpreter for expressions and equations in the cells. Such expressions and equations are not only single-line arithmetic, binary operations, or unary functions, but can also be multi-line programs that contain temporary variables, loops, function definitions, and other types of sophisticated sequencing and calculation rules. The terms may also include calls to external functions and complete programs provided by a user. Individual expressions and complete processing sheets can be saved and called up again at the discretion of the user.
Die Daten in einer Zelle müssen nicht unbedingt an jeder räumlichen Stelle einen einzigen Skalar aufweisen. Datensätze können auch Vektor-bewertet sein, wobei die für eine räumliche Stelle gespeicherten Informationen aus einer Liste von Datenelementen mit beliebiger Länge bestehen können. Die Anwendung eines Gradient-Operators auf ein Volumen erzeugt zum Beispiel ein resultierendes Volumen, in dem jedem räumlichen Ort drei Fließkommawerte zugewiesen sind.The data in a cell does not necessarily have to be at every spatial location have a single scalar. Records can also be vector-rated, with those for a spatial location stored information from a list of data items can exist with any length. Applying a gradient operator to for example a volume creates a resulting volume in which everyone spatial location three floating point values are assigned.
Operationen sind zwischen Modalitäten und Arten von Funktionen überladen; dies bedeutet, daß der Bild-Spreadsheet-Generator 10 automatisch die geeignete Operation aus dem Ausdruck und den zugrundeliegenden Daten bestimmt. Für so unterschiedliche Operationen wie zum Beispiel scalare und vektorielle Operationen wird zum Beispiel in dem Fall, in dem der Benutzer scalanvertige Volumina addiert, die scalare Addition verwendet und ein scalarwertiges Ergebnis erzeugt. Wenn jedoch vektorwertige Volumina addiert werden, wird eine andere Art von Operation verwendet, die eine Vektoraddition implementiert, und das Ergebnis ist ein vektorwertiges Volumen. Die Kompatibilität dieser Arten von Operanden in einer Gleichung wird automatisch geprüft, und die Gleichung wird durch den Bild-Spreadsheet-Generator 10 ausgewertet, wenn die Operanden kompatibel sind. Andernfalls informiert der Bild-Spreadsheet- Generator 10 den Benutzer über das Bildsystem 14 über einen Fehler und/oder die Art einer Fehlanpassung und verhindert eine Ausführung der Operation.Operations are overloaded between modalities and types of functions; this means that the image spreadsheet generator 10 automatically determines the appropriate operation from the printout and the underlying data. For operations as different as scalar and vectorial operations, for example, in the case where the user adds scalan-inverted volumes, scalar addition is used and a scalar-valued result is generated. However, when vectored volumes are added, another type of operation that implements vector addition is used and the result is a vectored volume. The compatibility of these types of operands in an equation is automatically checked, and the equation is evaluated by the image spreadsheet generator 10 if the operands are compatible. Otherwise, the image spreadsheet generator 10 informs the user via the image system 14 of an error and / or the type of mismatch and prevents the operation from being carried out.
Mit der obigen Beschreibung wird ein erfindungsgemäßer Bild-Spreadsheet-Generator 10 und ein entsprechendes Verfahren anhand einer bevorzugten Ausführungsform beschrieben. Es sind jedoch zahlreiche Modifikation und Änderungen möglich, ohne den Schutzumfang der Erfindung zu verlassen. Auch wenn zum Beispiel im Zusammenhang mit der bevorzugten Ausführungsform ein Bild-Spreadsheet beschrieben wird, gehört auch eine Bild-Datenbank, die in Verbindung mit dem Bild- Spreadsheet-Generator 10 in der oben beschriebenen Weise arbeitet, zu der Erfindung. Die Beschreibung dient somit nur zur Verdeutlichung und hat keine beschränkende Wirkung.The above description describes an image spreadsheet generator 10 according to the invention and a corresponding method based on a preferred embodiment. However, numerous modifications and changes are possible without leaving the scope of the invention. For example, even if an image spreadsheet is described in connection with the preferred embodiment, an image database that works in conjunction with the image spreadsheet generator 10 in the manner described above also belongs to the invention. The description is therefore only intended to clarify and has no restrictive effect.
Claims (21)
einem Prozessor zum Anzeigen einer grafischen Benutzerschnittstelle (GUI) auf einem Display; und
einem Bild-Spreadsheet-Generator, mit dem bewirkt wird, daß die GUI ein Spreadsheet- Gitter mit einer Mehrzahl von Zellen mit zugeordneten Registrierungsmarkern anzeigt, wobei jeder Zelle eine Gleichung zugeordnet werden kann;
wobei der Spreadsheet-Generator auf Bilddaten mit zugeordneten Registrierungsdaten zum Anzeigen einer Mehrzahl von Bildern in einem Teil der Mehrzahl von Zellen anspricht, wobei die Mehrzahl von Bildern so ausgerichtet und orientiert ist, daß die Registrierungsmarker der entsprechenden Zellen zusammenpassen; und
wobei der Bild-Spreadsheet-Generator auf Benutzer-Eingaben zum Implementieren eines Satzes von Gleichungen in einem ersten Satz von Zellen anspricht, um erste Bilder in dem ersten Satz von Zellen zu transformieren.1. Image system for generating an image spreadsheet with:
a processor for displaying a graphical user interface (GUI) on a display; and
an image spreadsheet generator that causes the GUI to display a spreadsheet grid with a plurality of cells with associated registration markers, and an equation can be associated with each cell;
wherein the spreadsheet generator is responsive to image data with associated registration data for displaying a plurality of images in a portion of the plurality of cells, the plurality of images being aligned and oriented so that the registration markers of the corresponding cells match; and
wherein the image spreadsheet generator is responsive to user input to implement a set of equations in a first set of cells to transform first images in the first set of cells.
einem Prozessor zum Anzeigen einer grafischen Benutzerschnittstelle (GUI) auf einem Display; und
einem Bild-Spreadsheet-Generator, mit dem bewirkt wird, daß die GUI ein Spreadsheet- Gitter mit einer Mehrzahl von Zellen mit zugeordneten Registrierungsmarkem anzeigt, wobei jeder Zelle eine Gleichung zugeordnet werden kann, sowie zum Anzeigen von mehrdimensionalen Bildern;
wobei der Bild-Spreadsheet-Generator auf einen Satz von Gleichungen in einem ersten Satz von Zellen anspricht, um erste Bilder in dem ersten Satz von Zellen zu transformieren;
wobei der Bild-Spreadsheet-Generator auf Bilddaten anspricht, die mit mehrdimensionalen Bildern korrespondieren, zum automatischen Ausrichten der Bilder durch Transformationen des ersten Satzes von Zellen vor der Anwendung des Satzes von Gleichungen auf diesen ersten Satz von Zellen.17. Image system for generating an image spreadsheet with:
a processor for displaying a graphical user interface (GUI) on a display; and
an image spreadsheet generator that causes the GUI to display a spreadsheet grid with a plurality of cells with associated registration markers, where an equation can be assigned to each cell, and to display multi-dimensional images;
wherein the image spreadsheet generator is responsive to a set of equations in a first set of cells to transform first images in the first set of cells;
wherein the image spreadsheet generator is responsive to image data corresponding to multi-dimensional images for automatically aligning the images by transforming the first set of cells prior to applying the set of equations to this first set of cells.
Anzeigen eines Spreadsheet-Gitters mit einer Mehrzahl von Zellen mit einer grafischen Benutzerschnittstelle (GUI);
Zuordnen einer Gleichung zu mindestens einer der Mehrzahl von Zellen;
Verarbeiten von Bilddaten mit zugeordneten Registrierungsdaten zum Anzeigen einer Mehrzahl von Bildern in einem Teil der Mehrzahl von Zellen;
Ausrichten und Orientieren der Mehrzahl von Bildern in den entsprechenden Zellen, so daß die Registrierungsmarker von entsprechenden Zellen zusammenpassen; und
Transformieren von ersten Bildern in einem ersten Satz von Zellen gemäß der mindestens einen Gleichung.21. A method of implementing an image spreadsheet comprising the following steps:
Displaying a spreadsheet grid with a plurality of cells with a graphical user interface (GUI);
Mapping an equation to at least one of the plurality of cells;
Processing image data with associated registration data to display a plurality of images in a portion of the plurality of cells;
Aligning and orienting the plurality of images in the respective cells so that the registration markers of corresponding cells match; and
Transforming first images in a first set of cells according to the at least one equation.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US20006898A | 1998-11-25 | 1998-11-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19953308A1 true DE19953308A1 (en) | 2000-06-08 |
Family
ID=22740187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE1999153308 Ceased DE19953308A1 (en) | 1998-11-25 | 1999-11-05 | Image system for producing image spreadsheet e.g. for medical applications aligns images so that registration markers of corresponding cells in spreadsheet match |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2000172836A (en) |
| DE (1) | DE19953308A1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10160075A1 (en) * | 2001-12-07 | 2003-06-26 | Siemens Ag | Magnetic resonance medical diagnostic imaging system compares image sequence |
| DE10340546A1 (en) * | 2003-09-01 | 2005-03-31 | Siemens Ag | Method and apparatus for visually assisting electrophysiology catheter application in the heart |
| DE10340544A1 (en) * | 2003-09-01 | 2005-03-31 | Siemens Ag | Method and apparatus for visually assisting electrophysiology catheter application in the heart |
| DE10357205A1 (en) * | 2003-12-08 | 2005-07-14 | Siemens Ag | Method for generating result images of an examination object |
| DE102004020587A1 (en) * | 2004-04-27 | 2005-11-24 | Siemens Ag | Method and apparatus for visually assisting a catheter electrophysiology application with 2D fluoroscopic images |
| DE102004043262A1 (en) * | 2004-09-07 | 2006-03-23 | Siemens Ag | Method for recording images of an examination region of a human or animal body in a magnetic resonance system and associated magnetic resonance system |
| DE102004043261A1 (en) * | 2004-09-07 | 2006-03-23 | Siemens Ag | Whole body magnetic resonance imaging procedure displays appropriate parameter lists after selection of possible investigation regions |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6775405B1 (en) * | 2000-09-29 | 2004-08-10 | Koninklijke Philips Electronics, N.V. | Image registration system and method using cross-entropy optimization |
| KR102599391B1 (en) | 2022-04-13 | 2023-11-08 | 주식회사 캐럿펀트 | Apparatus and method for generating artifact drawings based on 3d scan data |
-
1999
- 1999-11-05 DE DE1999153308 patent/DE19953308A1/en not_active Ceased
- 1999-11-25 JP JP11334674A patent/JP2000172836A/en active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10160075A1 (en) * | 2001-12-07 | 2003-06-26 | Siemens Ag | Magnetic resonance medical diagnostic imaging system compares image sequence |
| US7610075B2 (en) | 2001-12-07 | 2009-10-27 | Siemens Aktiengesellschaft | Method for operating a medical imaging diagnostic apparatus |
| DE10160075B4 (en) * | 2001-12-07 | 2005-11-17 | Siemens Ag | Method for operating an imaging medical diagnostic device |
| DE10340546A1 (en) * | 2003-09-01 | 2005-03-31 | Siemens Ag | Method and apparatus for visually assisting electrophysiology catheter application in the heart |
| DE10340544A1 (en) * | 2003-09-01 | 2005-03-31 | Siemens Ag | Method and apparatus for visually assisting electrophysiology catheter application in the heart |
| DE10340544B4 (en) * | 2003-09-01 | 2006-08-03 | Siemens Ag | Device for visual support of electrophysiology catheter application in the heart |
| DE10340546B4 (en) * | 2003-09-01 | 2006-04-20 | Siemens Ag | Method and apparatus for visually assisting electrophysiology catheter application in the heart |
| US9668704B2 (en) | 2003-09-01 | 2017-06-06 | Biosense Webster (Israel) Ltd. | Method and device for visually assisting an electrophysiological use of a catheter in the heart |
| DE10357205A1 (en) * | 2003-12-08 | 2005-07-14 | Siemens Ag | Method for generating result images of an examination object |
| NL1027673C2 (en) | 2003-12-08 | 2005-12-23 | Siemens Ag | Method for generating result images of a research object. |
| DE102004020587A1 (en) * | 2004-04-27 | 2005-11-24 | Siemens Ag | Method and apparatus for visually assisting a catheter electrophysiology application with 2D fluoroscopic images |
| DE102004020587B4 (en) * | 2004-04-27 | 2016-02-18 | Siemens Aktiengesellschaft | Method and apparatus for visually assisting a catheter electrophysiology application with 2D fluoroscopic images |
| US7502642B2 (en) | 2004-04-27 | 2009-03-10 | Siemens Aktiengesellschaft | Method and device for visually supporting an electrophysiological catheter application |
| DE102004043261A1 (en) * | 2004-09-07 | 2006-03-23 | Siemens Ag | Whole body magnetic resonance imaging procedure displays appropriate parameter lists after selection of possible investigation regions |
| US7365538B2 (en) | 2004-09-07 | 2008-04-29 | Siemens Aktiengesellschaft | Method and apparatus for MR image acquisition wherein operating parameter sets are displayed with an image element indicative of an acquisition result |
| DE102004043262B4 (en) * | 2004-09-07 | 2007-06-06 | Siemens Ag | Method for recording images of an examination region of a human or animal body in a magnetic resonance system and associated magnetic resonance system |
| DE102004043262A1 (en) * | 2004-09-07 | 2006-03-23 | Siemens Ag | Method for recording images of an examination region of a human or animal body in a magnetic resonance system and associated magnetic resonance system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000172836A (en) | 2000-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69733265T2 (en) | Improved diagnostic viewer | |
| DE112014004211B4 (en) | Radiotherapy system with extended graphical user interface | |
| DE19955690A1 (en) | System for selection of volume regions in a graphics display based upon segmentation to allow specific features to be observed | |
| DE69819557T2 (en) | VOLUME DISPLAY LIGHTS WITH POINT CODE METHODOLOGY | |
| DE60020876T2 (en) | MODEL-BASED METHOD FOR ORIENTING CARDIOLOGICAL CT AND NUCLEAR RECONNECTIONS | |
| DE102006055173B4 (en) | Method, medical diagnostic imaging system and computer readable storage medium for semi-automatic segmentation technique for low contrast tubular objects | |
| DE102009035441B4 (en) | Method and image processing system for generating a volume view image from inside a body | |
| DE102008028023A1 (en) | Method for displaying a plurality of image data sets and user interface for displaying a plurality of image data sets | |
| DE112005001755T5 (en) | System and method for tree model visualization for the detection of pulmonary embolism | |
| DE102007007206A1 (en) | Systems, methods and devices for the treatment of structures in three-dimensional images | |
| DE19851597A1 (en) | Improved visualization of key features within main image | |
| DE112005001741T5 (en) | System and method for tree projection for the detection of pulmonary embolism | |
| DE102009043868A1 (en) | Semi-automatic registration of data based on a hierarchical network | |
| DE102017214447B4 (en) | Planar visualization of anatomical structures | |
| DE102006058941A1 (en) | Method and apparatus for selecting computer-aided algorithms based on the protocol and / or parameters of an acquisition system | |
| DE102007007191A1 (en) | Systems, methods and devices for handling structures in three-dimensional images with multiple modalities and multiple phases | |
| DE102021210435A1 (en) | Process and device for the visualization of three-dimensional objects | |
| DE102011076878A1 (en) | Method for changing e.g. color value of three-dimensional object in computed tomography application, involves performing change of representation of three-dimensional volume for sample points along beams if points lie in affected areas | |
| DE19953308A1 (en) | Image system for producing image spreadsheet e.g. for medical applications aligns images so that registration markers of corresponding cells in spreadsheet match | |
| DE112022001343T5 (en) | Proposal for an edge using a neural network | |
| DE112019005308T5 (en) | WEIGHTED IMAGE GENERATING DEVICE, METHOD AND PROGRAM, DETERMINING DEVICE, METHOD AND PROGRAM, AREA EXTRACTION DEVICE, METHOD AND PROGRAM AND DETERMINATOR | |
| EP3214562B1 (en) | Determining a series of images depending on a signature set | |
| DE602005005348T2 (en) | CONFORMITY SEGMENTATION OF ORGANS ON MEDICAL PICTURES | |
| DE102011079380A1 (en) | Method, computer program and system for computer-aided evaluation of image data sets | |
| DE10125504B4 (en) | Method and computer system for workflow management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| 8131 | Rejection |