DE10163813A1

DE10163813A1 - Method for displaying different images of an examination object

Info

Publication number: DE10163813A1
Application number: DE10163813A
Authority: DE
Inventors: Peter Roesch; Joern Borgert
Original assignee: Philips Intellectual Property and Standards GmbH
Current assignee: Philips Intellectual Property and Standards GmbH
Priority date: 2001-12-22
Filing date: 2001-12-22
Publication date: 2003-07-03
Also published as: EP1329851A3; JP2003263498A; EP1329851A2; US20030128890A1

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjekts, insbesondere von medizinischen Bildern eines Patienten, mit den Schritten: DOLLAR A - Anzeigen zumindest eines ersten Bildes und eines zweiten Bildes, DOLLAR A - Bestimmen einer elastischen Transformation, die Bildelementen des ersten Bildes jeweils Bildelemente des zweiten Bildes zuordnet, DOLLAR A - Definieren eines Objekts, das dem ersten Bild überlagert und zusammen mit dem ersten Bild dargestellt wird, DOLLAR A - Bestimmen eines dem Objekt in dem ersten Bild korrespondierenden Objekts in dem zweiten Bild mittels der elastischen Transformation, DOLLAR A - Überlagern des zweiten Bildes mit dem korrespondierenden Objekt und DOLLAR A - Darstellen des korrespondierenden Objekts zusammen mit dem zweiten Bild.The invention relates to a method for displaying different images of an examination object, in particular medical images of a patient, with the steps: DOLLAR A - displaying at least one first image and a second image, DOLLAR A - determining an elastic transformation, the image elements of the first image assigns image elements of the second image in each case, DOLLAR A - define an object which is superimposed on the first image and is displayed together with the first image, DOLLAR A - determine an object corresponding to the object in the first image in the second image by means of the elastic transformation, DOLLAR A - overlaying the second image with the corresponding object and DOLLAR A - displaying the corresponding object together with the second image.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjekts sowie ein Computerprogramm zur Umsetzung des Verfahrens. The present invention relates to a method and an apparatus for display of different images of an examination object as well as a Computer program for implementing the method.

In der medizinischen Diagnostik ist es häufig notwendig, anhand von unterschiedlichen Bildern desselben Untersuchungsobjekts Veränderungen an dem Untersuchungsobjekt zu erkennen. Mittels Computertomografie oder Magnetresonanztomografie zu unterschiedlichen Zeiten aufgenommene Bilder sind jedoch in der Regel aus unterschiedlichen Positionen und Blickrichtungen aufgenommen. Ferner führen natürliche Patientenbewegungen dazu, dass sich die Lage und Form der Organe in den unterschiedlichen Bildern voneinander unterscheiden. Das Beugen von Gliedern oder die Atembewegung stellen unstarre Bewegungen dar, das heißt, das anatomische Untersuchungsobjekt kann nicht durch starre Transformationen wie Rotation und Translation in seine Ursprungslage versetzt werden. In medical diagnostics, it is often necessary to use different ones Images of the same examination object changes to the examination object detect. Using computed tomography or magnetic resonance imaging However, pictures taken at different times are usually from different Positions and directions of view added. Furthermore, natural Patient movements cause the position and shape of the organs to differ Differentiate images from each other. Bending limbs or breathing movement represent non-rigid movements, that is, the anatomical examination object can not through rigid transformations like rotation and translation into his Original position to be moved.

Es wird vielfach gewünscht, dass der Arzt anhand der zu unterschiedlichen Zeitpunkten aufgenommenen Bilder erkennen kann, welche Veränderungen an dem dargestellten Untersuchungsobjekts aufgrund natürlicher Bewegungen und Deformationen entstanden sind und welche Veränderungen auf pathologische Veränderungen wie beispielsweise Tumorwachstum zurückzuführen sind. Aufnahmen eines Patienten, die vor und nach einer Operation bzw. Behandlung gemacht wurden, werden routinemäßig miteinander verglichen, um den Erfolg der Behandlung zu beurteilen. It is often desired that the doctor use the different times recorded images can recognize which changes in the displayed The object to be examined was created due to natural movements and deformations are and what changes to pathological changes such as Tumor growth are attributable. Recordings of a patient before and after surgery or treatment is done routinely compared to assess the success of the treatment.

Dem Arzt kommt dabei die schwierige Aufgabe zu, Unterschiede zwischen den Bildern, die auf natürliche Patientenbewegungen zurückzuführen sind, von pathologischen Veränderungen oder Veränderungen aufgrund einer Operation zu unterscheiden. Er wird dabei Herkömmlicherweise durch Abbildungsverfahren unterstützt, die die miteinander zu vergleichenden Bilder aufeinander abbilden. Zum Einsatz kommen dabei elastische Transformationen, da Deformationen des Untersuchungsobjekts häufig keine starren Bewegungen darstellen. Eine Vielzahl von Verfahren zur Bestimmung der die elastische Transformationen spezifizierenden Parameter sind hierzu bekannt, beispielsweise aus P. Rösch, T. Netsch, M. Quist, G. P. Penney, D. L. G. Hill, and J. Weese "Robust 3 D deformation field estimation by template propagation", Volume 1935, pages 521-530, MICCAI, Springer, 2000. The doctor has the difficult task of distinguishing differences between the images that are due to natural patient movements from pathological changes or changes due to surgery. He is conventionally supported by imaging methods that map the images to be compared to one another. Elastic transformations are used here, since deformations of the examination object often do not represent rigid movements. A large number of methods for determining the parameters specifying the elastic transformations are known, for example from P. Rösch, T. Netsch, M. Quist, GP Penney, DLG Hill, and J. Weese "Robust 3 D deformation field estimation by template propagation ", Volume 1935 , pages 521-530, MICCAI, Springer, 2000.

Geeignete Interpolationsverfahren, wie beispielsweise in M. Fornefett, K. Rohr, and S. Stiehl, "Radial base functions with compact support for elastic registration of medical images", Image and Vision Computing, 19: 87-96, 2001 beschrieben, werden eingesetzt, um aus den ermittelten Parametern dichte Transformationsfelder zu erhalten. Die somit erhaltene Abbildung bzw. das Deformationsfeld wird auf eines der Bilder angewandt, um das Ergebnis der Transformation zu berechnen. Das transformierte Bild und das entsprechende ursprüngliche Bild können nebeneinander angezeigt werden, oder die Unterschiede zwischen den Bildern werden mittels Subtraktions- oder Überlagerungsverfahren dargestellt. Suitable interpolation methods, such as in M. Fornefett, K. Rohr, and S. Stiehl, "Radial base functions with compact support for elastic registration of medical images ", Image and Vision Computing, 19: 87-96, 2001 used to obtain dense transformation fields from the determined parameters. The image or the deformation field thus obtained is placed on one of the images applied to calculate the result of the transformation. The transformed picture and the corresponding original image can be displayed side by side, or the differences between the images are subtracted or Superposition method shown.

Die Anwendung elastischer Transformationen hat jedoch gewisse Nachteile. Zum einen führt der Einsatz von Interpolationsverfahren dazu, dass das transformierte Bild verschwommene bzw. unscharfe Ränder aufweist. Zum anderen führen Ungenauigkeiten der ermittelten elastischen Transformation zu Artefakten. Diese Artefakte führen zu signifikanten Änderungen der Form der abgebildeten anatomischen Strukturen. However, the use of elastic transformations has certain disadvantages. On the one hand The use of interpolation methods leads to the transformed image has blurred or blurred edges. On the other hand, inaccuracies result the determined elastic transformation to artifacts. These artifacts lead to significant changes in the shape of the anatomical structures shown.

Am schwerwiegendsten ist jedoch das folgende Problem: Die eingesetzten Verfahren zur Ermittlung einer elastischen Transformation unterscheiden nicht zwischen pathologischen Veränderungen (beispielsweise durch Tumorwachstum) und natürlichen Deformationen des Untersuchungsobjekts (beispielsweise durch Patientenbewegung). Deshalb neigen alle herkömmlich eingesetzten Algorithmen dazu, sowohl pathologische als auch nicht pathologische Veränderungen des abgebildeten Untersuchungsobjekts zu korrigieren. D. h. die Unterschiede zwischen dem ursprünglichen Bild und dem transformierten Bild lassen Rückschlüsse auf die pathologischen Veränderungen oder operativ bedingten Veränderungen nicht zu. Das transformierte Bild ist für die Erstellung einer Diagnose ungeeignet, weshalb Radiologen darauf bestehen, die ursprünglichen Bilder betrachten und interpretieren zu können. Dies hat dazu geführt, dass sich der Einsatz von elastischen Transformationen zur Visualisierung von Bildveränderungen in der klinischen Praxis bislang nicht durchgesetzt hat. However, the most serious problem is the following: The methods used to Determining an elastic transformation does not differentiate between pathological changes (e.g. due to tumor growth) and natural Deformations of the object to be examined (e.g. due to patient movement). Therefore all commonly used algorithms tend to be both pathological as well as non-pathological changes to the object being examined correct. I.e. the differences between the original image and the transformed image can draw conclusions about the pathological changes or surgical due to changes. The transformed image is for creating one Diagnosis inappropriate, which is why radiologists insist on the original images to be able to look at and interpret. This has led to the use of elastic transformations to visualize image changes in clinical Practice has not yet prevailed.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjekts bereitzustellen, welches die vorstehenden Nachteile überwindet und insbesondere die Anwendung von elastischen Transformationen zur klinischen Diagnostik ermöglicht. It is an object of the present invention to provide a method for displaying to provide different images of an examination object, which the overcomes the above disadvantages and in particular the use of elastic Enables transformations to clinical diagnostics.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjekts gelöst, welches die folgenden Schritte aufweist:

- Anzeigen zumindest eines ersten Bildes und eines zweiten Bildes von Untersuchungsobjekten,
- Bestimmen einer elastischen Transformation, die Bildelementen des ersten Bildes jeweils Bildelemente des zweiten Bildes zuordnet,
- Definieren eines Objekts, das dem ersten Bild überlagert und zusammen mit dem ersten Bild dargestellt wird,
- Bestimmen eines dem Objekt in dem ersten Bild korrespondierenden Objekts in dem zweiten Bild mittels der elastischen Transformation,
- Überlagern des zweiten Bildes mit dem korrespondierenden Objekt, und
- Darstellen des korrespondierenden Objekts zusammen mit dem zweiten Bild.

This object is achieved according to the invention by a method for displaying different images of an examination object, which has the following steps:

Displaying at least a first image and a second image of examination objects,
Determining an elastic transformation that assigns image elements of the first image to image elements of the second image,
Defining an object which is superimposed on the first image and is displayed together with the first image,
Determining an object corresponding to the object in the first image in the second image by means of the elastic transformation,
- Overlay the second image with the corresponding object, and
- Represent the corresponding object together with the second image.

Erfindungsgemäß werden die ursprünglich aufgenommenen Bilder unverändert angezeigt. Ein Betrachter kann also weiterhin die Unterschiede in der abgebildeten Anatomie selbstständig beurteilen. Er wird dabei jedoch durch das erfindungsgemäße Verfahren unterstützt. Der Betrachter wählt dazu ein ihn interessierendes Bildelement, z. B. einen Tumor oder ein anatomisches Element in dem ersten Bild aus, indem er ein Objekt definiert, das dem ersten Bild überlagert wird. Als Objekt kommen insbesondere Oberflächen, Umrandungen oder Linien, aber auch einzelne Punkte, sogenannte "landmarks", in Frage. Das Objekt wird dem Betrachter in dem ersten Bild angezeigt. According to the invention, the originally recorded images remain unchanged displayed. So a viewer can still see the differences in the anatomy depicted judge independently. However, it is due to the inventive method supported. The viewer chooses a picture element that interests him, e.g. B. one Tumor or an anatomical element in the first image made by an object defined that is superimposed on the first image. Come as object in particular Surfaces, borders or lines, but also individual points, so-called "landmarks", in question. The object is shown to the viewer in the first image.

Beispielsweise erhält das Objekt einen einheitlichen Farbton, der das Objekt von dem ersten Bild deutlich abhebt. For example, the object gets a uniform hue that separates the object from the first picture stands out clearly.

Mittels der elastischen Transformation wird das entsprechende Objekt in dem zweiten Bildes bestimmt. Die elastische Transformation stellt eine Abbildungsvorschrift dar, die den Bildelementen des ersten Bildes jeweils Bildelemente des zweiten Bildes zuordnet. Die Bildinhalte, insbesondere die Farbtöne, Grauwerte und Helligkeitsstufen des ersten Bildes werden von der elastischen Transformation nicht verändert. Allein dem Ort eines Bildpunktes in dem ersten Bild ordnet die elastische Transformation einen korrespondierenden Ort in dem zweiten Bild zu. Anhand des Teilbereichs des ersten Bildes, der von dem definierten Objekt überlagert wird, wird mittels der elastischen Transformation das korrespondierende Objekt in dem zweiten Bild bestimmt. Das ursprüngliche zweite Bild wird also weiterhin - bis auf das korrespondierende Objekt - unverändert angezeigt. Der Betrachter kann selbstständig abschätzen, ob sich die in den Bildern gezeigte Anatomie geändert hat. Das Ergebnis der elastischen Transformation, das in dem zweiten Bild angezeigt wird, dient somit als Hilfe zur Beurteilung der angezeigten Bilder. By means of the elastic transformation, the corresponding object in the second Image determined. The elastic transformation is a mapping rule that assigns picture elements of the second picture to the picture elements of the first picture. The image content, especially the hues, gray values and brightness levels of the first Images are not changed by the elastic transformation. Just the place of one Pixel in the first image arranges the elastic transformation corresponding location in the second picture. Based on the section of the first image, the is overlaid by the defined object by means of the elastic transformation determines the corresponding object in the second image. The original second Image is still displayed unchanged - except for the corresponding object. The viewer can independently assess whether the one shown in the pictures Anatomy has changed. The result of the elastic transformation, which in the second Image is displayed, thus serves as an aid to assess the images displayed.

Bevorzugt werden jeweils drei erste und zweite Bilder angezeigt, wobei die ersten und zweiten Bilder jeweils drei unterschiedliche, vorzugsweise zueinander orthogonale Schnittflächen eines Untersuchungsobjekts darstellen. Die ersten Bilder geben beispielsweise den Zustand eines Untersuchungsobjekts zu einem anderen Zeitpunkt wieder als die zweiten Bilder. Sie können aber auch Abbildungen unterschiedlicher Untersuchungsobjekte darstellen. Die ersten und zweiten Bilder erlauben dem Betrachter, sich die dreidimensionale Gestalt des abgebildeten Untersuchungsobjekts vorzustellen. Vorzugsweise wird ein in einem der drei ersten Bilder definiertes Objekt jeweils in den übrigen ersten Bildern angezeigt. Es kann also letztlich ein dreidimensionales Objekt, das z. B. einem interessierenden Teil des anatomischen Untersuchungsobjekts entspricht, definiert werden. Die elastische Transformation ordnet den Bildelementen der ersten drei Bilder jeweils Bildelemente der zweiten drei Bilder zu. Das erfindungsgemäße Verfahren ist bevorzugt so ausgestaltet, dass bei einer Änderung des Objekts in einem der ersten Bilder alle Darstellungen des Objekts in allen anderen ersten und zweiten Bildern unmittelbar und automatisch geändert werden. Three first and second images are preferably displayed, the first and second images three different, preferably orthogonal to each other Display cut surfaces of an examination object. Give the first pictures for example, the state of an object under examination at another time than the second pictures. But you can also use different images Display examination objects. The first and second pictures allow the viewer to view the to present the three-dimensional shape of the object being examined. An object defined in one of the first three images is preferably used in the others first pictures shown. So it can ultimately be a three-dimensional object that z. B. corresponds to a part of the anatomical examination object of interest become. The elastic transformation arranges the picture elements of the first three pictures picture elements of the second three pictures. The method according to the invention is preferably configured such that when the object changes in one of the first images all representations of the object in all other first and second pictures immediately and be changed automatically.

Häufig stellen die ersten und zweiten Bilder das Untersuchungsobjekt aus unterschiedlichen Orientierungen dar. Der Betrachter kann bei dem Vergleich der angezeigten Bilder dadurch unterstützt werden, dass Ihm das dargestellte Untersuchungsobjekt in den ersten und zweiten Bildern aus entsprechenden Orientierungen dargestellt wird. Dazu wählt der Betrachter beispielsweise in den ersten Bildern mehrere Punkte bzw. landmarks aus. Daraufhin wird eine Fläche berechnet, in der alle landmarks liegen. Wenn die landmarks nicht in einer Fläche liegen, so wird ein Fläche berechnet, deren euklidscher Abstand zu den landmarks minimal ist. Vorzugsweise werden ebene Flächen berechnet. Es können allerdings auch gekrümmte Flächen mit dem geringsten Abstand zu den landmarks berechnet werden. Daraufhin wird unter Verwendung der elastischen Transformation die entsprechende Fläche für die zweiten Bilder errechnet. Die berechneten Flächen in dem ersten und zweiten Bild stellen jeweils die zu verwendende Betrachtungsebene dar, in der die aufgenommenen Untersuchungsobjekte dargestellt werden. Aus den aufgenommenen Bilddaten wird errechnet, wie sich das Untersuchungsobjekt in den berechneten Flächen darstellt und dem Betrachter angezeigt. The first and second images often exhibit the object under examination different orientations. The viewer can compare the displayed images are supported by the fact that the object to be examined is shown to him in the first and second images from corresponding orientations. To do this, the For example, viewers can see several points or landmarks in the first images. Then an area is calculated in which all landmarks are located. If the landmarks not in an area, an area is calculated whose Euclidean distance is too the landmarks is minimal. Flat surfaces are preferably calculated. It can but also curved surfaces with the smallest distance to the landmarks be calculated. Then using the elastic transformation corresponding area for the second images is calculated. The calculated areas in the The first and second image each represent the viewing plane to be used, in which the recorded objects are displayed. From the recorded Image data is calculated as to how the examination object is in the calculated areas represents and displayed to the viewer.

Vorzugsweise stellt das ausgewählte Objekt in dem ersten Bild einen Rand eines dreidimensionalen Gegenstandes dar. Als Rand kann z. B. die Darstellung einer Tumoroberfläche in dem ersten Bild definiert werden. Das korrespondierende Objekt des zweiten Bildes stellt dann den von der elastischen Transformation berechneten Rand des Tumors zum Zeitpunkt der Aufnahme des zweiten Bildes dar, sofern sich der Tumor zwischenzeitlich nicht verändert hat. Da die berechnete Oberfläche dem ursprünglichen zweiten Bild überlagert angezeigt wird, kann der Radiologe sofort beurteilen, ob sich der Tumor verändert hat oder nicht. Sofern sich der Tumor nämlich verändert hat, stimmt bei einer bevorzugten Ausgestaltung der dem zweiten Bild überlagerte (berechnete) Rand nicht mit dem tatsächlichen Rand des Tumors in dem zweiten Bild überein. Die Diagnose wird ihm nicht abgenommen, er wird jedoch bei der Diagnose unterstützt. The selected object in the first image preferably represents an edge of a three-dimensional object. As the edge z. B. the representation of a Tumor surface can be defined in the first picture. The corresponding object of the second The image then represents the edge of the tumor calculated by the elastic transformation at the time of taking the second picture, provided the tumor has not changed in the meantime. Since the calculated surface is the original second If the image is displayed overlaid, the radiologist can immediately assess whether the tumor changed or not. If the tumor has changed, one is correct preferred embodiment of the (superimposed) edge superimposed on the second image the actual edge of the tumor in the second image. The diagnosis is made not taken from him, but he is supported in the diagnosis.

Es kann auch vorgesehen sein, dass das Objekt durch die elastische Transformation ebenfalls in seiner Größe und Lage verändert wird, sofern der Bildinhalt, dem das Objekt überlagert ist, zwischen dem ersten und zweiten Bild unterschiedlich hinsichtlich Größe und Lage ist, wenn also beispielsweise ein von dem Objekt umrandeter Tumor zwischenzeitlich geschrumpft oder gewachsen ist. Das Objekt wird insbesondere dann derartig verändert werden, wenn bei der Bestimmung der elastischen Transformationsvorschrift Veränderungen des überlagerten Bildinhalts mit berücksichtigt wurden. Wenn also ein umrandeter Tumor in den ersten Bildern dargestellt ist und der Tumor seine Größe verändert hat bis zur Erstellung der zweiten Bilder, wird bei dieser Ausgestaltung wieder der Rand des Tumors in den zweiten Bildern korrekt durch das korrespondierende Objekt markiert sein, was für den Arzt unmittelbar einen Vergleich des Tumors in den Bildern möglich macht. It can also be provided that the object by the elastic transformation its size and location is also changed, provided that the image content to which the object is superimposed, different in size between the first and second image and location, for example if a tumor is surrounded by the object has shrunk or grown in the meantime. The object in particular is then be changed like this when determining the elastic Transformation rule changes in the superimposed image content were taken into account. If a bordered tumor is shown in the first pictures and the tumor is his Has changed size until the creation of the second pictures, is in this configuration again the edge of the tumor in the second images correctly through the corresponding object must be marked, which for the doctor immediately compares the tumor in the pictures.

Das Objekt in dem ersten Bild bzw. in den ersten Bildern kann vorzugsweise manuell ausgewählt werden. Die Auswahl des Objekts kann durch ein Verfahren der modellbasierten Segmentierung erfolgen. Dabei kommen deformierbare Modellbereiche zur Anwendung. Der deformierbare Modellbereich kann dazu beispielsweise an einer geeigneten Position in dem ersten Bild platziert werden und daraufhin deformiert werden. Das korrespondierende Objekt, das in dem zweiten Bild angezeigt wird, gibt aufgrund von Ungenauigkeiten und Artefakten der elastischen Transformation nicht immer die Veränderung des in dem ersten Bild definierten Objekts korrekt wieder. Deshalb ist es bevorzugt möglich, das korrespondierende Objekt in dem zweiten Bild manuell zu korrigieren; es kann jedoch auch eine automatische oder halbautomatische Korrektur vorgesehen sein. The object in the first image or in the first images can preferably be manual to be selected. The selection of the object can be done by a method of model-based segmentation. Here deformable model areas are used Application. For this purpose, the deformable model area can, for example, on a suitable position in the first image and then deformed become. The corresponding object that is shown in the second image gives due to inaccuracies and artifacts of elastic transformation always changing the object defined in the first image correctly again. Therefore, it is preferably possible to have the corresponding object in the second image correct manually; however, it can also be automatic or semi-automatic Correction may be provided.

Das erste Bild stellt vorzugsweise eine Abbildung eines standardisierten Modells eines Untersuchungsobjekts und das zweite Bild eine Abbildung des Untersuchungsobjekts dar. Dieses Verfahren ist insbesondere für den Einsatz in der Werkstoffprüfung geeignet. Beispielsweise kann das Modell eines korrekt gefertigten Bauteils als erstes Bild abgebildet werden. Das zu prüfende Bauteil stellt das zweite Bild dar. Unterschiede zwischen dem korrespondierenden Objekts in dem zweiten Bild und dem Objekt in dem ersten Bild machen dann Abweichungen des zu prüfenden Bauteils von dem korrekt gefertigten Bauteil sichtbar. The first image preferably represents an image of a standardized model of a The object to be examined and the second image represent the object to be examined This method is particularly suitable for use in materials testing. For example, the model of a correctly manufactured component can be shown as the first image become. The component to be tested represents the second picture. Differences between the corresponding object in the second image and the object in the first image then make deviations of the component to be tested from the correctly manufactured one Component visible.

Erfindungsgemäß wird eine Vorrichtung zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjekts bereitgestellt. Die erfindungsgemäße Vorrichtung umfasst ein Anzeigemittel, Mittel zur Definition von Objekten und eine Recheneinheit. Das Anzeigemittel ist dazu vorgesehen, die ersten und zweiten Bilder des Untersuchungsobjekts simultan anzuzeigen. Die Definitionsmittel sollen es dem Radiologen bzw. Betrachter ermöglichen, Objekte in dem ersten Bild zu definieren. Das ausgewählte Objekt wird daraufhin von dem Anzeigemittel in dem ersten Bild angezeigt. Die Recheneinheit ist dazu vorgesehen, die elastische Transformation zu bestimmen, welche den Bildelementen des ersten Bildes jeweils Bildelemente des zweiten Bildes zuordnet. Sie berechnet ferner aus dem ausgewählten Objekt das korrespondierende Objekt, das letztlich von dem Anzeigemittel in dem zweiten Bild dargestellt wird. According to the invention, a device for displaying different images of an examination object provided. The device according to the invention comprises a display means, means for defining objects and a computing unit. The Display means is provided for the first and second images of the Display the object to be examined simultaneously. The means of definition should Allow viewers to define objects in the first image. The selected one The object is then displayed by the display means in the first image. The Computing unit is provided to determine which elastic transformation assigns picture elements of the second picture to the picture elements of the first picture. she further calculates the corresponding object from the selected object is ultimately represented by the display means in the second image.

Ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung wird anhand der beigefügten Figuren nachfolgend erläutert. Es zeigen: A preferred embodiment of the present invention is based on the attached figures explained below. Show it:

Fig. 1a, 1b und 1c drei erste orthogonale Schnittbilder eines Kopfes, Fig. 1a, 1b and 1c are three first orthogonal cross-sectional images of a head,

Fig. 2a, 2b und 2c drei zweite orthogonale Schnittbilder desselben Kopfes, und FIGS. 2a, 2b and 2c three second orthogonal cross-sectional images of the same head, and

Fig. 3 eine erfindungsgemäße Vorrichtung zur simultanen Darstellung der in den Fig. 1 und 2 gezeigten Bilder. Fig. 3 shows a device according to the invention for the simultaneous display of the images shown in Figs. 1 and 2.

Die in den Fig. 1a-1c und 2a-2c dargestellten Schnittbilder eines Kopfes 3 eines Patienten werden dem Radiologen gleichzeitig angezeigt. Sie stellen ein Magnetresonanzbild eines Patienten dar, der unter einer Tumorerkrankung leidet. Die in den Fig. 2a-2c aufgenommenen Bilder wurden nach Gewinnung und Untersuchung einer Gewebeprobe des Tumors aufgenommen. Um die zwischenzeitliche Veränderung des Tumorgewebes beurteilen zu können, muss der Radiologe das Tumorgewebe in den unterschiedlichen Aufnahmen identifizieren können. Dabei wird er von dem erfindungsgemäßen Verfahren unterstützt. The sectional images of a patient's head 3 shown in FIGS. 1a-1c and 2a-2c are displayed to the radiologist at the same time. They represent a magnetic resonance image of a patient suffering from a tumor. The images recorded in FIGS. 2a-2c were taken after obtaining and examining a tissue sample from the tumor. In order to be able to assess the interim change in the tumor tissue, the radiologist must be able to identify the tumor tissue in the different images. He is supported by the method according to the invention.

Bei der in Fig. 3 gezeigten Vorrichtung ist eine Recheneinheit 30 mit einem Anzeigemittel 32 z. B. einem Bildschirm, verbunden, welcher die in den Fig. 1 und 2 dargestellten Bilder anzeigt. Die Recheneinheit 30 berechnet eine elastische Transformation, welche in den Fig. 1a, 1b und 1c dargestellten Bilder auf die in den Fig. 2a, 26 und 2c dargestellten Bilder abbildet. Den in den Fig. 1a, 1b und 1c dargestellten Bildpunkten bzw. Bildelementen werden jeweils entsprechende Bildelemente in den Fig. 2a, 2b und 2c zugeordnet. Die Berechnung der elastischen Transformationen erfolgt mittels bekannter Verfahren. Abhängig davon, welches der bekannten Verfahren zur Berechnung der elastischen Transformation eingesetzt wird, muss gegebenenfalls ein Interpolationsverfahren, beispielsweise unter Verwendung radialer Basisfunktionen, eingesetzt werden, um ein dichtes Transformationsfeld zu erhalten. Die Transformation kann auch durch Parameter kontinuierlicher Funktionen, beispielsweise Polynome, repräsentiert werden. Die berechneten Parameter oder das Deformationsfeld werden von der Recheneinheit 30 für spätere Anwendungen abgespeichert. In the device shown in Fig. 3, a computing unit 30 with a display means 32 z. B. a screen connected, which displays the images shown in FIGS. 1 and 2. The computing unit 30 calculates an elastic transformation which maps images shown in FIGS. 1a, 1b and 1c to the images shown in FIGS. 2a, 26 and 2c. Corresponding picture elements in FIGS. 2a, 2b and 2c are assigned to the pixels or picture elements shown in FIGS. 1a, 1b and 1c. The elastic transformations are calculated using known methods. Depending on which of the known methods is used to calculate the elastic transformation, an interpolation method, for example using radial basis functions, may have to be used in order to obtain a dense transformation field. The transformation can also be represented by parameters of continuous functions, for example polynomials. The calculated parameters or the deformation field are stored by the computing unit 30 for later applications.

Der Anwender wählt mittels einer Auswahleinrichtung 34 einen interessierenden Teilbereich des Untersuchungsobjekts aus, z. B. einen Tumor, und definiert ein Objekt, z. B. den Rand oder die Oberfläche des Teilbereichs. Das definierte Objekt wird dann von den Anzeigemitteln 32 in den ersten Bildern (Fig. 1a, 1b und 1c) angezeigt. Bezugszeichen 1a, 1b und 1c kennzeichnen jeweils das von einem Anwender definierte Objekt. Der in den Fig. 1a, 1b und 1c jeweils dargestellte Teilbereich entspricht vorliegend der Oberfläche eines dreidimensionalen Gegenstandes, beispielsweise eines Tumors. In jeder der orthogonalen Schnittebenen wird somit der Rand dieses Gegenstandes dem Anwender als definiertes Objekt dem Bild überlagert angezeigt. Die Auswahl und Definition des Objekts kann durch deformierbare Modelle oder aktive Konturen vereinfacht werden. Unmittelbar anschließend an die Definition eines Objekts in den ersten Bildern 1a, 1b und 1c werden mittels der Recheneinheit 30 die entsprechenden Objekte (Fig. 2a, 2b und 2c) berechnet und dem zweiten Bild überlagert angezeigt. Die zuvor berechnete elastische Transformation wird auf das definierte Objekt 1a, 1b, 1c der ersten Bilder angewendet, und die Berechnungsergebnisse werden in den zweiten Bildern (Fig. 2a, 2b und 2c) dargestellt. Bezugszeichen 2a, 2b und 2c zeigen das zu den Objektdarstellungen 1a, 1b, 1c korrespondierende berechnete Objekt. Die Berechnungen werden bevorzugt in Echtzeit durchgeführt, so dass ein Anwender bei Veränderung des Objekts in den ersten Bildern sofort die entsprechenden Veränderungen des korrespondierenden Objekts in den zweiten Bildern angezeigt bekommt. The user uses a selection device 34 to select a subarea of interest of the examination object, e.g. A tumor, and defines an object, e.g. B. the edge or surface of the portion. The defined object is then displayed by the display means 32 in the first images ( FIGS. 1a, 1b and 1c). Reference numerals 1 a, 1 b and 1 c each identify the object defined by a user. The partial area shown in FIGS. 1a, 1b and 1c in the present case corresponds to the surface of a three-dimensional object, for example a tumor. In each of the orthogonal sectional planes, the edge of this object is displayed to the user as a defined object superimposed on the image. The selection and definition of the object can be simplified using deformable models or active contours. Immediately following the definition of an object in the first images 1 a, 1 b and 1 c, the corresponding objects ( FIGS. 2a, 2b and 2c) are calculated by means of the computing unit 30 and displayed superimposed on the second image. The previously calculated elastic transformation is applied to the defined object 1 a, 1 b, 1 c of the first images, and the calculation results are shown in the second images ( FIGS. 2a, 2b and 2c). Reference numerals 2 a, 2 b and 2 c show the calculated object corresponding to the object representations 1 a, 1 b, 1 c. The calculations are preferably carried out in real time, so that when the object in the first images changes, a user is immediately shown the corresponding changes in the corresponding object in the second images.

Sofern sich der ausgebildete Teilbereich, also der Tumor, in der Zwischenzeit zwischen der Erstellung der ersten und zweiten Bilder nicht verändert hat, wird das definierte Objekt in den ersten und zweiten Bildern jeweils dieselbe Lage und Orientierung bezüglich des Teilbereichs aufweisen. Wenn als Objekt beispielsweise der Rand des Tumors definiert wurde, wird in den ersten und zweiten Bildern jeweils korrekt der Rand des Tumors markiert sein. Wenn sich jedoch in der Zwischenzeit der Tumor verändert hat, beispielsweise aufgrund einer Tumorbehandlung verkleinert oder aufgrund krankhaften Wachstums vergrößert hat, wird der in den zweiten Bildern angezeigte Rand nicht mehr mit dem tatsächlichen Rand des Tumors übereinstimmen, was dem Betrachter unmittelbar anzeigt, dass sich der Tumor verändert hat. Provided that the developed sub-area, i.e. the tumor, in the meantime between the creation of the first and second images has not changed, the defined one Object in the first and second pictures the same position and orientation with respect to the partial area. For example, if the object is the edge of the tumor has been defined, the edge of the Be marked. However, if the tumor has changed in the meantime, for example reduced due to tumor treatment or due to pathological conditions Growth has increased, the border shown in the second images no longer coincide with the actual edge of the tumor, what the viewer immediately indicates that the tumor has changed.

Eine andere Möglichkeit besteht darin, dass die elastische Transformationsvorschrift auch Veränderungen des Tumors in der Vorschrift selbst mit berücksichtigt, so dass bei Anwendung der elastischen Transformation auf den in den ersten Bildern definierten Rand des Tumors der Rand in den zweiten Bilden ebenfalls, genauso wie der Tumor, seine Größe verändert. Bei Überlagerung des berechneten Randes in den zweiten Bildern wird somit wieder korrekt der Rand des Tumors als Markierung angezeigt. Another possibility is that the elastic transformation rule too Changes in the tumor are taken into account in the regulation itself, so that in Apply the elastic transformation to the edge defined in the first pictures the margin of the tumor in the second images as well as the tumor, its Resized. If the calculated edge is superimposed in the second images thus the edge of the tumor is correctly displayed again as a marker.

Durch die erfindungsgemäße Darstellung mindestens eines ersten und mindestens eines zweiten Bildes eines Untersuchungsobjekts, ohne dass die Bildinhalte des ersten und zweiten Bildes selbst elastisch transformiert werden, werden ein Bildvergleich und eine Beobachtung eventueller Veränderungen des gezeigten Untersuchungsobjekts deutlich vereinfacht, ohne dass durch ungewollte Transformationen Fehler eingeführt werden. Artefakte, die auf Ungenauigkeiten des verwendeten Registrierungsverfahrens oder durch Interpolation des Bildinhalts herrühren, werden dadurch vermieden. Die elastische Transformation wird erfindungsgemäß im Voraus berechnet, was eine Darstellung der Bilder bzw. veränderter Bilder in Echtzeit ermöglicht und somit eine interaktive Beeinflussung der Darstellung durch den Betrachter erlaubt, beispielsweise eine Betrachtung eines Tumorwachstums in einer Zeitserie zahlreicher Bilder. Registrierungsfehler erscheinen bei dem erfindungsgemäßen Verfahren als Fehler zwischen der in den Bildern enthaltenden morphologischen Information und den von dem Benutzer definierten Objekte. Dadurch können Fehler leicht detektiert und interaktiv korrigiert werden. Die Klassifikation von Veränderungen der Pathologie werden somit unterstützt, die Entscheidung selbst ist jedoch dem Experten überlassen. Das erfindungsgemäße Verfahren wird somit eine größere klinische Akzeptanz verglichen mit bekannten Vorgehensweisen erreichen. Through the representation of at least one first and at least one according to the invention second image of an examination subject without the image contents of the first and second picture itself are transformed elastically, a picture comparison and a Observation of any changes to the object being examined clearly simplified, without introducing errors through unwanted transformations. Artifacts due to inaccuracies in the registration process or through Interpolation of the image content are avoided. The elastic According to the invention, transformation is calculated in advance, which is a representation of the Images or changed images in real time and thus an interactive The viewer can influence the representation, for example, an observation tumor growth in a time series of numerous images. Registration error appear in the method according to the invention as an error between that in the pictures containing morphological information and that defined by the user Objects. This makes it easy to detect errors and correct them interactively. The Classification of changes in pathology are thus supported However, the decision itself is left to the experts. The method according to the invention becomes a greater clinical acceptance compared to known approaches to reach.

Claims

1. A method for displaying different images of an examination object, in particular medical images of a patient, with the steps:

Displaying at least a first image and a second image,

Determining an elastic transformation that assigns image elements of the first image to image elements of the second image,

Defining an object which is superimposed on the first image and is displayed together with the first image,

Determining an object corresponding to the object in the first image in the second image by means of the elastic transformation,

- Overlay the second image with the corresponding object, and

- Represent the corresponding object together with the second image.

2. The method according to claim 1, characterized, that three first and second pictures are displayed, the first three and second images each have three different, in particular orthogonal, cut surfaces of the Represent the object to be examined.

3. The method according to claim 2, characterized, that an object defined in one of the first images is in the other first Images is displayed.

4. The method according to claim 1, characterized, that the object superimposed on the first image has an edge of a three-dimensional Represents object.

5. The method according to claim 1, characterized, that the object in the first image is defined manually, automatically or semi-automatically becomes.

6. The method according to claim 1, characterized, that the object in the first image by method of model-based segmentation is defined.

7. The method according to claim 1, characterized, that the corresponding object in the second image is manual, automatic or is corrected semi-automatically.

8. The method according to claim 1, characterized, that the first image and the second image are each images of the same object under examination represent.

9. The method according to claim 1, characterized, that the first image is an illustration of a standardized model of a Represents the object of investigation and the second image is an illustration of the Object to be examined.

10. Device for displaying different images of an examination subject, in particular medical images of a patient, with a display means ( 32 ) for displaying a first image and a second image, a computing unit ( 30 ) for determining an elastic transformation, the image elements of the first image assigns image elements of the second image in each case, and means ( 34 ) for defining an object which is superimposed on the first image and is displayed together with the first image, characterized in that the computing unit ( 30 ) is designed to be an object in the first To determine the image-corresponding object in the second image by means of the elastic transformation, and that the display means ( 32 ) is designed to superimpose the corresponding object on the second image and to display the corresponding object together with the second image.

11. Computer program with computer program means for initiating one Computers to carry out the steps of the method according to claim 1, if the Computer program running on a computer.